JP2005044211A - 奥行情報を含んだ画像の分類・検索方法および装置ならびにプログラム - Google Patents

Abstract

【課題】 奥行情報が付加された画像の分類を容易に行なう。
【解決手段】 画像入力部１０１は、奥行情報を含む画像を画像記憶部１０２に保存する。領域分割部１０３は保存された画像を複数の領域に区分する。領域代表値決定部１０４は各領域に含まれる奥行情報と画像全体での奥行情報とを比較することで、各領域に対する代表値を決定する。相関性検出部１０５は、各領域の代表値を行列の要素とみなし、画像全体に対する奥行特徴行列を算出することで、テンプレート行列との相関性を検出する。識別子付与部１０７は、相関性が最も高いテンプレート行列の有する一意的なＩＤレコードまたはテンプレート行列そのものを画像の識別子として、入力された画像に付与する。画像出力部１０８は、識別子が付与された画像を出力する。
【選択図】 図１

Description

本発明は、奥行情報を含んだ画像の分類および検索を行う方法、装置に関する。

従来、画像の分類方法としては色情報が主に用いられている（特許文献１）。また、他の手段としては、ファイル形式やメタデータ等が利用されている。しかしながら、画像の奥行という構造的な面からの分類方法は、従来手法では複雑な処理が必要となり、簡易な分類を行うことは困難であった。
特開２００３−０６７７６４号公報

本発明の目的は、従来の方法では複雑な処理が必要であった画像の構造的な側面からの画像分類の奥行方向の凹凸分布での画像分類が容易な画像分類方法および装置を提供することにある。

本発明の他の目的は、上記画像分類方法を用いた画像検索方法および装置を提供することにある。

本明細書において、以下の記述を簡易化するために、画像をいくつかの領域に分割し、その領域の代表値としてある値を与え、前記分割された領域を行列と見なし、代表値を行列の要素とするとき、この要素によって構成される行列を画像の「特徴行列」と称し、画像を風景画像や人物画像などに分類を行う際、それらのカテゴリで代表的となる特徴行列を「テンプレート行列」と称する。

本発明の画像分類方法は、
奥行情報を含んだ画像をメモリに保存するステップと、
保存されたデータを、複数の領域に分割するステップと、
各領域に含まれる画像全体での奥行情報を比較することで、各領域に対する代表値を決定するステップと、
各領域の代表値を行列の要素として見なし、画像全体に対する奥行特徴行列を算出し、該奥行特徴行列各テンプレート行列との相関を検出するステップと、
相関性が最も高いテンプレート行列の有する一意的なＩＤコードまたは該テンプレート行列そのものを画像の識別子として、入力された画像に付加する識別子付与ステップと、
識別子が付与された画像を出力するステップを有する。

本発明の画像検索方法は、
画像を入力するし、上記画像分類方法によりテンプレート行列に一意に定まる識別子を求めるステップと、
求められた識別子に基づいて画像データベースから類似画像を検索するステップと、
検索結果を出力するステップを有する。

本発明の他の画像検索方法は、
テンプレート行列を入力し、該テンプレート行列に対して一意に定まる識別子を求めるステップと、
求められた識別子に基づいて画像データベースから類似画像を検索するステップと、
結果を出力するステップを有する。

請求項１と４と７の発明は、従来は色やメタデータによって分類を行っていた奥行情報のついた画像を、奥行情報を利用することによって、より容易に分類することが可能となる。

また、請求項２、３、５〜７の発明は、従来、画像の検索を行う場合、画像データに付加されたメタデータや色、形状、ファイル形式によって検索を行っていたため、ユーザは求めたい画像を取得するまでに検索のキーワードを選択したり、大量の画像を見る必要があり、時間や手間がかかっていたが、本発明を利用することによって、色や形だけでなく、画像の構造という情報を含んだ検索が可能となり、従来よりも容易に、ユーザの求めるものに近い画像を検索することが可能となる。

次に、本発明の実施の形態について図面を参照して説明する。

図１は本発明の一実施形態の画像分類装置の構成図である。本実施形態の画像分類装置は画像入力部１０１と画像記憶部１０２と領域区分部１０３と領域代表値決定部１０４と相関性検出部１０５とテンプレート行列記憶部１０６と識別子付与部１０７と画像出力部１０８とから構成されている。

画像入力部１０１は、色情報のみならず奥行情報を含む画像を入力し、画像記憶部１０２に保存する。たとえば、色の情報として、赤、緑、青の３色の輝度に関する値がＲ、Ｇ、Ｂと与えられるとき、画素ごとに［Ｒ，Ｇ，Ｂ］として表される。この表現のように色情報に奥行の値Ｚを付加して、［Ｒ，Ｇ，Ｂ，Ｚ］と表すことが可能であるとする。

領域区分部１０３は保存された画像を複数の領域に分割する。画像の分割の方法としては、図２に示すように複数の分割方法が考えられる。２０１のように、縦横に複数の四角形の領域に分割する方法や、２０２のように画像に対して斜め方向に複数の四角形の領域に分割する方法、また、２０３のように複数の六角形の領域に分割する方法が考えられるが、分割方法は画像の入力を行う以前に決定されているものとする。また、分割数に関しても、同様に複数の方法が考えられるが、この分割数も分割領域と同じく、画像入力以前に決定されているものとする。計算上のコストを考慮すると、領域の分割数は画像のピクセル数に対して十分小さいものが望ましく、簡易な分割を行うためには、縦横に３×３や３×５などに大まかに分割することが望ましい。また、分割数は、画像の大きさに関わらず一定とする。

領域代表値決定部１０４は分割された領域に対して代表値を決定する。図３は代表値を決定する方法を示した図である。ここでは、奥行情報のヒストグラム分布を利用した代表値決定方法について説明する。３０１に示されるように、画像全体の奥行のヒストグラムを形成し、その平均値をＺａｖとしたとき、その値を求める。ここで、例として奥行情報はカメラのレンズ中心からの距離を取るものとし、単位としてｍの値を持ち、常に正値を取るものとする。よって奥行値は、カメラレンズ中心から０ｍの位置から、Ｚの取りうる最大値までもつものとする。次に、各分割された領域に関して、３０２に示されるように、奥行ヒストグラムを形成する。形成された奥行ヒトグラムを画像全体の奥行ヒストグラムの平均値Ｚａｖとを比較し、領域内の奥行ヒストグラムの平均値がＺａｖよりも大きい値となるときには、領域の代表値として−１の値を与える。また、領域の平均値がＺａｖの値に近い値である場合、領域の代表値として０を与える。そして、領域の平均値がＺａｖよりも小さい値である場合は、代表値として１を与えるものとする。もしくは、撮影点から１０ｍまでの範囲、１０ｍから１００ｍまでの範囲、それ以上の範囲というように、前記分割された領域における奥行方向の閾値を画像を入力する以前に決定しておき、これを利用して奥行情報を分類し、前記分割領域の代表値を決定してもよい。

相関性検出部１０５は図４に示すように、領域代表値決定部１０４で決定された各領域の代表値から画像の奥行特徴行列を作成し、テンプレート行列記憶部１０６中のテンプレート行列との相関を求める。テンプレート行列と、奥行特徴行列の行、列における要素数は同じものであるとする。この要素数は、画像を入力する以前に決定されているものとする。奥行特徴行列とテンプレート行列との相関を求める手法としては、多数考えられるが、例としては、奥行特徴行列とテンプレート行列との差を求めた後、この行列式を求める、という手法でもよい。このとき、値が０に近いほど、奥行特徴行列とテンプレート行列とが類似した行列であるということができる。ここでは、奥行特徴行列とテンプレート行列とがどれだけ似ているか、ということを計算結果として求められる方法であればよい。

識別子付与部１０７は図５に示すように、相関性検出部１０５にて検出された、相似性が最も高いテンプレート行列を画像の識別子として、入力された画像に付加する。この際、テンプレート行列そのものを画像に付加してもよいし、テンプレート行列に対して一意となるＩＤのようなものを画像に付加してもよい。付加する手法としては、電子透かしのように画素そのものに埋め込むという方法も考えられ、また、画像そのものの構造を壊さないような方法でデータを付加するという方法も考えられる。例えば、データのヘッダ部分にデータを付与したり、ＸＭＬ（eXtensibe Markup Language）を用いて別ファイルのようにデータを画像に関連付けを行えば、画像そのものは変質することなく、分類に関する情報を付加することが可能となる。このようにして付加された情報は画像のメタデータの一部として利用してもよい。この結果、付加された識別子によって、入力された画像がどのような奥行情報を含んだ画像であるか分類することが可能となる。

画像出力部１０８は、識別子が付与された画像をディスプレイ、プリンタ等の出力装置に出力する。

次に、本発明の他の実施形態として、構造的に類似する画像を検索する画像検索装置を図６に示す。画像検索装置は画像／テンプレート行列入力部６０１と画像分類装置６０２と識別子決定部６０３と類似画像検索部６０３と検索結果出力部６０５と画像データベース６０６とから構成されている。

画像／テンプレート行列入力部６０１を用いて、ユーザは、検索したい画像の構造に類似した、奥行情報を含んだ画像を選択するか、または、ユーザが検索しようとする画像の構造に近いテンプレート行列を選択する。

ユーザが奥行情報を含んだ画像を入力した場合、図１の画像分類装置６０２を用いて画像の分類を行い、識別子付与までを行い、ユーザが入力した画像を表すテンプレート行列に一意に対応する識別子が出力される。画像／テンプレート行列入力部６０１にてテンプレート行列が入力された場合は、テンプレート行列に一意に対応する識別子が決まっているため、画像分類装置６０２の処理は行わなくともよい。

識別子決定部６０３にて、入力された画像に対する識別子、または、ユーザが入力したテンプレート行列の識別子が決定される。

類似画像検索部６０４では、識別子決定部６０３にて決定された識別子に一致する識別子が付けられている画像を、画像データベース６０６中から検索する。このとき、検索の基準として画像の奥行方向だけでなく、色の分布に関する情報も利用することによって、ユーザの求める画像の検索精度を上げることも可能である。

他にも、ユーザが選択したテンプレート行列の識別子に一致するもののみを検索対象にするだけではなく、類似したものも含めて検索対象としてもよい。なぜなら、テンプレート行列が含まれている空間を考えた場合、画像に含まれる構造が類似したテンプレート行列が偏りをもって存在していると考えられるため、この分布の偏りを参考として、ユーザが選択したテンプレート行列に近い空間に分布する他のテンプレート行列も検索の対象とすることができるため、画像の検索対象を広げることが可能となる。

検索結果出力部６０５にて、類似画像検索部６０４で検索された結果をディスプレイ、プリンタ等に出力する。

なお、本発明の画像分類方法、画像検索方法は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。

本発明の一実施形態の画像分類装置の構成図である。 領域分割の例を示す図である。 領域代表値決定の手順を示す図である。 相関性検出の手順を示す図である。 識別子付与の説明図である。 本発明の他の実施形態の画像検索装置の構成図である。

符号の説明

１０１ 画像入力部
１０２ 画像記憶部
１０３ 領域分割部
１０４ 領域代表値決定部
１０５ 相関性検出部
１０６ テンプレート行列記憶部
１０７ 識別子付与部
１０８ 画像出力部
２０１〜２０３ 領域分割例
３０１ 画像全体での奥行ヒストグラム
３０２ 各領域の奥行ヒストグラム
３０３ 領域代表値
６０１ 画像／テンプレート行列入力部
６０２ 画像分類装置
６０３ 識別子決定部
６０４ 類似画像検索部
６０５ 検索結果出力部
６０６ 画像データベース

Claims (7)

1. 奥行情報を含んだ画像を、その奥行情報を元にして分類する方法であって、
   奥行情報を含む画像をメモリに保存するステップと、
   該画像を複数の領域に分割するステップと、
   前記各領域に含まれる奥行情報と、画像全体での奥行情報とを比較することで、各領域に対する代表値を決定するステップと、
   各領域の代表値を行列の要素として見なし、画像全体に対する奥行特徴行列を算出し、該奥行特徴行列と各テンプレート行列との相関性を検出するステップと、
   相関性が最も高いテンプレート行列の有する一意的なＩＤコード、または該テンプレート行列そのものを画像の識別子として、入力された画像に付与するステップと、
   識別子が付与された画像を出力するステップを有する、奥行情報を含んだ画像の分類方法。
2. 奥行情報を含んだ画像を、その奥行情報を元にして画像データベースから検索する方法であって、
   画像を入力し、請求項１の分類方法によりテンプレート行列に一意に定まる識別子を求めるステップと、
   前記求められた識別子に基づいて画像データベースから類似画像を検索するステップと、
   検索結果を出力するステップを有する、奥行情報を含んだ画像の検索方法。
3. 奥行情報を含んだ画像を、その奥行情報を元にして画像データベースから検索する方法であって、
   テンプレート行列を入力し、該テンプレート行列に対して一意に定まる識別子を求めるステップと、
   前記求められた識別子に基づいて画像データベースから類似画像を検索するステップと、
   検索結果を出力するステップを有する、奥行情報を含んだ画像の検索方法。
4. 奥行情報を含んだ画像を、その奥行情報を元にして分類する装置であって、
   画像メモリと、
   奥行情報を含む画像を入力し、前記画像メモリに保存する手段と、
   画像を複数の領域に区分する手段と、
   前記各領域に含まれる奥行情報と、画像全体での奥行情報とを比較することで、区分された領域に対する代表値を決定する手段と、
   テンプレート行列を記憶したメモリと、
   各領域の代表値を行列の要素として見なし、画像全体に対する奥行特徴行列を算出し、該奥行特徴行列と各テンプレート行列との相関性を検出する手段と、
   相関性が最も高いテンプレート行列の有する一意的なＩＤコード、または該テンプレート行列そのものを画像の識別子として、入力された画像に付与する手段と、
   識別子が付与された画像を出力する手段を有する、奥行情報を含んだ画像の分類装置。
5. 奥行情報を含んだ画像を、その奥行情報を元にして画像データベースから検索する装置であって、
   画像を請求項４の装置に入力して、テンプレート行列に一意に定まる識別子を求める手段と、
   前記求められた識別子に基づいて画像データベースから類似画像を検索する手段と、
   検索結果を出力する手段を有する、奥行情報を含んだ画像の検索装置。
6. 奥行情報を含んだ画像を、その奥行情報を元にして画像データベースから検索する装置であって、
   テンプレート行列を入力することでテンプレート行列に対して一意に定まる識別子を求める手段と、
   前記求められた識別子に基づいて画像データベースから類似画像を検索する手段と、
   検索結果を出力する手段を有する、奥行情報を含んだ画像の検索装置。
7. 請求項１から３のいずれかの方法をコンピュータで実行するためのプログラム。

Images