JP2010079545A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】 局所特徴量を算出するための特徴点の中には、画像を少し回転したり拡大・縮小したりすると、抽出できない（抽出される再現性が低い）不安定な特徴点が存在し、検索精度や認識精度を下げる。
【解決手段】 入力画像を縮小変換し縮小画像を取得し、前記入力画像と前記変換画像とから特徴点を抽出する、前記入力画像と前記変換画像の夫々で対応する位置から抽出されている特徴点を対応特徴点として判定し、対応特徴点に関する局所特徴量を算出し、前記入力画像の局所特徴量として登録する。
【選択図】 図１

Description

本発明は、局所的な特徴を抽出する画像処理装置、画像処理方法およびプログラムに関するものである。

非特許文献１のように、画像の局所的な特徴を数値化した（局所特徴量）を使って類似画像を検索する方法がある。これらの方法では、まず、画像の２次元の輝度分布に対して微分フィルタ（ｓｏｂｅｌ、Ｐｒｅｗｉｔｔ等）を作用させることにより、画像からエッジやコーナなどにある特徴的な点（特徴点）を抽出する。次に、特徴点とその近傍の画素の画素値とから、その特徴点に関する特徴量（局所特徴量）を計算する。画像の検索は、局所特徴量同士のマッチングによって行う。

しかし、抽出した特徴点の中には、画像を少し回転したり拡大・縮小したりすると、再び同じエッジやコーナから抽出できなくなる（再現性が低い）不安定な特徴点が存在する。このような抽出される再現性が低い特徴点は、ノイズとして作用してしまう事が多く、検索や位置合わせ精度が低下する原因になる場合がある。そのため、特許文献１や非特許文献１には、特徴点抽出時に利用する関数値や特徴点候補における画素値にしきい値を設け、しきい値以下となるような特徴点候補を切り捨てる方法が記載されている。
特開平９−４４６６５号公報 Ｃ．Ｓｃｈｍｉｄ ａｎｄ Ｒ．Ｍｏｈｒ"Ｌｏｃａｌｇｒａｙ ｖａｌｕｅ ｉｎｖａｒｉａｎｔｓ ｆｏｒ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ、"ＩＥＥＥ Ｔｒａｎｓ． ＰＡＭＩ．Ｖｏｌ．１９，Ｎｏ．５，ｐｐ５３０−５３５，１９９７．

所定の画素値や特徴点抽出時に利用する関数値を利用するだけでは、不安定な特徴点を除去するには不十分であり、種々の画像変換があっても抽出される再現性の高い特徴点に絞るためにはしきい値を高く設定する必要がある。しかし、しきい値を高くし過ぎると抽出される特徴点が少なくなり過ぎて検索精度や認識精度が著しく低下する恐れがある。

本発明は、上記課題を解決するためになされたもので、抽出される再現性の高い特徴点に絞る方法を提供することを目的とする。

上記課題を解決するために本発明に係る画像処理装置は入力画像に画像変換を施し変換画像を取得する変換手段と、前記入力画像と前記変換画像とから特徴点を抽出する抽出手段と、前記抽出手段によって前記入力画像と前記変換画像の夫々で対応する位置から抽出されている特徴点を対応特徴点として判定する判定手段と、前記判定手段によって判定された対応特徴点に関する局所特徴量を算出し、前記入力画像の局所特徴量として登録する登録手段と、を有することを特徴とする。

また、本発明に係る画像処理装置は入力画像に対して所定の変換率の画像変換を複数回施すことによって互いに変換率の異なる複数の変換画像を取得する変換手段と、前記入力画像と前記複数の変換画像とから特徴点を抽出する抽出手段と、
前記抽出手段によって複数の画像の夫々で対応する位置から抽出されている特徴点を対応特徴点として判定する判定手段と、前記複数回のうち連続する変換画像の夫々から対応特徴点として前記判定手段によって判定された際に、当該対応特徴点に関する局所特徴量を算出し、前記入力画像の局所特徴量として登録する登録手段とを有することを特徴とする。

本発明によれば、特定の画像処理が施された画像であっても抽出される再現性の高い特徴点に絞り込むため、特徴点を使った検索・認識処理の精度や処理効率を向上させることができる。

〔特徴点と局所特徴量〕
まず、特徴量、特徴点および局所特徴量について説明する。画像を検索条件（クエリ画像）として指定して、類似する画像を検索する場合は、２つの画像（クエリ画像とＤＢ内の画像）を比較する処理を行う。画像検索をする場合、予めその画像の内容をよく表す数値や数列を特徴量として画像毎に算出する。そして、この特徴量が似ている画像を類似する画像として検索結果を出力する。画像を検索する際に、画像の内容を示すキーワードを用いる事もあるが、本明細書では画像の画素値から算出し検索・認識に用いるものを特徴量とする。

色の配置情報を特徴量とする例を挙げると、画像を８×８画素の縮小画像に変換して、各画素の位置情報（０，０）〜（８，８）と出現する色を数値化したものとを関連付けて特徴量とする。

しかし、色の配置情報を用いた検索方式では検索困難な画像がある、例えば、背景が異なる画像、画像の一部が障害物で隠れた画像、部分的に拡大・縮小された画像などが挙げられる。

その際に、クエリ画像に含まれる局所的な特徴を比較する手法がある。この方式では、画像の中から両者の対応を取り易い点を選び、更に画像間で点の対応をとる手法がある。この対応の取り易い点を特徴点（ｆｅａｔｕｒｅ ｐｏｉｎｔ）とする。本明細書では特徴点は画像内のコーナやエッジから抽出されるものとする。

＜第１の実施形態＞
図１は、本発明の一実施形態である第１の実施形態における画像登録装置の機能構成の概略を示すブロック図である。（ａ）は画像登録装置１００の機能構成であり、（ｂ）は画像検索装置２００の機能構成である。

図１（ａ）に示すように、特徴量抽出装置１００は、画像入力部１０２、画像変換部１０３、特徴点抽出部１０４、特徴点判定部１０５、局所特徴量算出部１０６、特徴量登録部１０７を有している。

特徴量抽出装置１００において、変換手段としての縮小変換部１０３が画像入力部１０２に入力された入力画像１０１の縮小画像（変換画像）を生成する。さらに、抽出手段としての特徴点抽出部１０４が入力画像１０１及び縮小画像から特徴点の候補を抽出する。判定手段としての特徴点判定部１０５は、特徴点抽出部１０４で抽出された特徴点の候補から、抽出される再現性の高い特徴点を判定して安定した特徴点に絞込む。

局所特徴量算出部１０６は特徴点絞り込み部１０５で絞り込んだ特徴点に関する局所特徴量を算出する。登録手段としての特徴量登録部１０７は、入力された入力画像１０１と算出された局所特徴量とを関連付けて画像特徴データベース１０８に登録する。

次に、図１（ｂ）に示す画像検索装置２００について説明する。図１（ａ）の画像登録装置１００と同一機能を有する構成には同一符号を付すとともに、構成的、機能的にかわらないものについてはその説明を省略する。画像検索装置２００は、画像入力部１０２、画像変換部１０３、特徴点抽出部１０４、特徴点判定部１０５、局所特徴量算出部１０６、比較部２０１を有する。

比較手段としての比較部２０１は局所特徴量算出部１０６の算出した局所特徴量に基づいて画像特徴データベース１０８から入力画像１０１（クエリ画像）に類似した画像を検索し、検索結果２０２として出力する。

次に、各特徴点に関する局所特徴量を抽出する。局所特徴量の特徴量としては、特徴点近傍の模様を数値化したＬｏｃａｌ Ｊｅｔ及びそれらの導関数の組み合わせを用いる。

具体的には、たとえば以下の式１により特徴量を算出する。

Ｖ（ｘ，ｙ）は画像の中で座標（ｘ，ｙ）にある特徴点に関する局所特徴量である。なお、ここで言う座標とはデジタル画像においては画素位置を示すこととする。デジタル画像における画素位置は離散的であるので（整数で表されるので）、計算結果としての実数座標から画素位置を特定しなければならない場合には、座標の整数化が必要となる。本実施形態では、座標が実数値で表されるときには、実数値を丸めて整数値にすることで画素位置を特定する。実数値を丸める方法には四捨五入、小数点以下切り上げ、小数点以下切捨てなどの方法があるが、本実施形態ではどの方法を選択しても良い。ただし、処理の途中で方法を変更しないこととする。

式（１）の右辺で用いている記号は、以下に示す式（２）〜（７）で定義される。ここで、式（２）右辺のＧ（ｘ，ｙ）はガウス関数、Ｉ（ｘ，ｙ）は画像の座標（ｘ，ｙ）における画素値であり、“＊”は畳み込み演算を表す記号である。また、式（３）は式（２）で定義された変数Ｌのｘに関する偏導関数、式（４）は当該変数Ｌのｙに関する偏導関数である。式（５）は式（３）で定義された変数Ｌｘのｙに関する偏導関数、式（６）は式（３）で定義された変数Ｌｘのｘに関する偏導関数、式（７）は式（４）で定義されたＬｙのｙに関する偏導関数である。

ここで、Ｇ（ｘ，ｙ）はガウス関数であるので、通常は標準偏差σを変数として持つが、式（２）では省略している。本実施形態ではσ＝ａｒとして予め定められる。ここでａは定数であり、ｒは着目している特徴点を中心とする円形領域の半径を示し、着目している特徴点に関する局所特徴量を算出する際に参照する領域でもある。

尚、特徴点を含む画素と特徴点近傍の画素の特徴を示す局所特徴量を算出可能な方法であれば、上述の方法以外でもよい。上述の局所特徴量は５つの要素から成るが、要素の数は５つでなくてもよい。例えば、ＳＩＦＴ（要素数１２８）やＰＣＡ−ＳＩＦＴ（要素数２０〜３０程度）においても本発明は適用可能である。

［局所特徴量の登録処理］
次に、画像から抽出する局所特徴量を登録する際に行う処理の詳細について説明する。

図２は、局所特徴量の登録処理の手順を表すフローチャートである。ステップＳ３０１で、画像入力部１０２が入力画像１０１を読み込む。ステップＳ３０２で、画像入力部１０２が入力画像１０１から輝度成分（以降、輝度成分画像とも称す）を抽出する。

ステップＳ３０３では、画像入力部１０２が抽出した輝度成分を縮小変換部１０３が縮小変換しｎ種の異なる解像度の輝度成分画像を取得する。具体的には、縮小変換部１０３が、画像入力部１０２から取得した輝度成分画像を所定の縮小率ｐ（変換率）に従ってｎ回、縮小処理を行う。また、縮小変換をｎ回施すことによってｎ個の縮小画像を取得する（図４参照）。ここで、縮小率ｐ及び縮小回数ｎは予め決められているものとするが、ｎは１以上の整数である必要がある。ただ好ましくは縮小変換を複数回施すことが好ましい。例えば、縮小して２×２画素になる回数を予め演算して決めておいてもよい。

図４は、縮小変換部１０３の縮小変換処理を示す図である。図４は、縮小率ｐが２の−（１／４）乗、縮小画像の枚数ｎが８の場合である。図４において、画像４０１は画像入力部１０２が入力画像１０１から抽出した輝度成分画像である。画像４０２は輝度成分画像から縮小率ｐに従って４回縮小された縮小画像である。画像４０３は当該輝度成分画像から縮小率ｐに従って８回縮小された縮小画像である。

この例では、画像４０２は画像入力部１０２からの輝度成分画像４０１が１／２に縮小された画像となり、画像４０３は輝度成分画像が１／４に縮小された画像となる。

なお、線形補間による画像の縮小変換を行っているが、画像を縮小変換する方法としては他にも、単純に画素を間引く方法や低域フィルタ適用後にサンプリングする方法などを用いてもよい。

次にステップＳ３０４では、特徴点抽出部１０４が、縮小変換部１０３の縮小変換したｎ種の解像度の画像の輝度成分と入力画像４０１の輝度成分とから特徴点の候補を抽出する。

まず特徴点抽出部１０４が、入力画像１０１（４０１）および画像変換部１０３で変換された画像に対してＨａｒｒｉｓ作用素を作用させる。Ｈａｒｒｉｓ作用素を作用させて得られた出力画像について、着目する画素と着目する画素を囲む８画素（合計９画素）の画素値を比較する。そして、着目する画素の画素値が９画素の中で最大になり且つしきい値以上である点を特徴点として抽出する。

次に、ステップＳ３０５では、特徴点判定部１０５が特徴点抽出部１０４の抽出した特徴点の候補から安定した特徴点を判定して、安定した特徴点に絞り込む処理をする。

まず、特徴点判定部１０５が特徴点抽出部１０４の抽出した特徴点の座標を全て、画像変換前の入力画像の座標に変換する。次に、特徴点判定部１０５がステップＳ３０３で特徴点判定部１０５が縮小変換した他の縮小画像上の対応する座標もしくはその座標の近傍に特徴点抽出部１０４によって抽出された特徴点が存在するかを調べる。この時、存在した場合は対応特徴点として採用し、対応特徴点における局所特徴量を算出する。

ここで、近傍とする範囲は自由に定めることができるが、本実施形態では着目している特徴点からの距離が２画素以内となる範囲としている。もし、抽出される特徴点が安定した特徴であるならば、縮小された画像からも近傍の場所で抽出されるはずである。また、特徴点の座標を入力画像の座標に変換したとき、理論的には同じ座標になるはずである。しかしながら、前述のようにデジタル画像では丸め誤差が発生するので、この丸め誤差を考慮して着目している特徴点からの距離が２画素以内となる範囲を近傍と定義する。

このステップＳ３０５について図４、図５を用いて詳しく説明する。

図４は、ステップＳ３０３において画像変換部１０３で生成した縮小画像に、ステップＳ３０４において特徴点抽出部１０４が抽出した特徴点の候補を重ね合わせた、特徴点の抽出例を示す図である。図４において、スケール番号Ｓｃは画像変換部１０３による画像変換回数（ここでは縮小回数）を示す。第一の実施の形態では縮小画像のスケール番号を表し、スケール番号がＳｃ、縮小率がｐのとき、縮小画像の大きさは入力画像（Ｓｃ＝０の画像）の大きさにｐの（Ｓｃ）乗を掛けた値となる。たとえば、縮小率ｐが２の−（１／４）乗、Ｓｃ＝４の縮小画像の大きさは、１／２になる。

７０１は特徴点抽出部１０４でスケール番号Ｓｃ＝２の縮小画像から抽出された特徴点の１つであり、Ｓｃ＝１の縮小画像上での座標をＮ２（ｘ２、ｙ２）とする。７０２は特徴点抽出部１０４でスケール番号Ｓｃ＝３の縮小画像から抽出された特徴点の１つであり、Ｓｃ＝３の縮小画像上での座標をＮ３（ｘ３、ｙ３）とする。７０３は特徴点抽出部１０４でスケール番号Ｓｃ＝４の縮小画像から抽出された特徴点の１つであり、Ｓｃ＝４の縮小画像上での座標をＮ４（ｘ４、ｙ４）とする。

図５は、図４で示した各縮小画像（Ｓｃ＝１〜８）の座標系をスケール番号Ｓｃ＝０の座標系に変換して並べた図である。

今、ステップＳ３０５において、特徴点７０２に着目しているとする。ステップＳ３０５では、まず、Ｎ１（ｘ１、ｙ１）を得る。次に座標変換によって、座標Ｎ１（ｘ１、ｙ１）からＳｃ＝０の座標系における特徴点７０２の座標Ｎ１（Ｘ１、Ｙ１）を計算する。続いて、特徴点抽出部１０４で抽出したＳｃ＝１以外の縮小画像の特徴点について、Ｓｃ＝０の座標系に変換した座標を計算し、特徴点７０１の座標Ｎ１（Ｘ１、Ｙ１）と同一座標あるいはその近傍座標に位置するかを調べる。本実施例では、特徴点７０２の座標Ｎ２（ｘ２、ｙ２）をＳｃ＝０の座標系に変換した結果、座標Ｎ２（Ｘ１、Ｙ１）となる。この場合、座標変換した特徴点７０１の座標Ｎ１（Ｘ１，Ｙ１）と特徴点７０２の座標Ｎ２（Ｘ１，Ｙ１）は一致しているので、縮小変換の変換前と変換後の関係にあり対応特徴点であることが分かる。一致していなくても、Ｎ１とＮ２が互い異なる画像から抽出した特徴点であり、画像４０１におけるＮ１とＮ２の位置が所定距離より近い場合にＮ１とＮ２を対応する位置にある対応特徴点としてもよい。

所定距離は、縮小回数の多い画像から抽出した特徴点を比較するほど大きくしてもよいし、予め設定してもよい。また、ステップＳ３０４で抽出される特徴点の候補の数に応じて、候補の数が多ければ所定範囲を小さくし、候補の数が少なければ所定範囲を大きくしてもよい。

一方で、Ｓｃ＝３の縮小画像にある特徴点７０３に着目すると、Ｓｃ＝３以外の画像に特徴点７０３と対応する位置にある特徴点が存在しない。従って、特徴点７０３は対応特徴点ではない。

ステップＳ３０５では、特徴点抽出部１０４が抽出した特徴点のそれぞれについて前述の処理を実施する。

ステップＳ３０６では、局所特徴量算出部１０６が、特徴点抽出部１０４の抽出した各特徴点について式（１）を用いて局所特徴量を算出する。

次に、ステップＳ３０７で、特徴量登録部１０７が局所特徴量算出部１０６の算出した局所特徴量と入力画像１０１とを関連付けて、画像特徴データベース１０８に登録する。

他にも、図５の特徴点７０１と７０２のように、対応する位置にある対応特徴点であって、更に連続する回数（特徴点７０１は１回、特徴点７０２は２回）で縮小された縮小画像から抽出されている特徴点の局所特徴量のみ登録するようにしてもよい。特徴点７０１と特徴点７０２のように連続する縮小回数で縮小されている画像から対応特徴点として判定された特徴点は、同じエッジやコーナから抽出されている確度が高い。

また、対応特徴点として判定された特徴点７０１、７０２から局所特徴量を算出する場合、特徴点７０１と特徴点７０２の夫々から局所特徴量を算出して夫々の特徴点に関連付けることが好ましい。特徴点７０１と特徴点７０２のどちらか一方だけ選別して局所特徴量を算出してもよい。

ここで、抽出された局所特徴量は特徴点の位置情報と関連付けられ局所特徴量登録部１０７に送られる。

局所特徴量を抽出する方法には、たとえば２次元配列における画像値の分布の勾配や勾配方向に基づいて特徴点ごとに方向（オリエンテーション）を割り当てる方法など、さまざまな方法がある。特徴点に関する局所的な特徴量を算出可能な方法であれば、上述したような特徴量算出方法に限らず適用可能である。

また、ステップＳ３０５において、採用する対応特徴点の数に上限を設けてもよい。上限を設けることで、処理速度を向上させることが可能となる。上限を設ける場合は、縮小率が大きい方から順番に特徴点を選択することで、低域成分から抽出された特徴点から優先的に取捨選択されるようになり、より安定した特徴点を取捨選択できるようになる。

［画像の検索処理］
次に、画像を検索する際に行う各部の動作について説明する。

図３は、画像の検索装置２００処理を示すフローチャートである。図３において、図２と同一の機能を有する工程については、同じ符号を付すとともに機能的にかわらないものについてはその説明を省略する。

ステップＳ５０１では、局所特徴量算出部１０６がクエリ画像１０１から抽出した局所特徴量と画像特徴データベース１０８に登録されている局所特徴量とを比較部２０１が比較する。この比較処理は、画像特徴データベース１０８に登録されている入力画像毎に実施し、比較処理の結果として入力画像毎に類似度を算出する。

次に、ステップＳ５０２で、比較部２０１は検索結果２０２として出力する。検索結果２０２として、例えば、算出した類似度と当該類似度の算出元となった画像とを関連付けて類似度の高い順にリストにしたものが考えられる。また、検索結果としてサムネイルを出力する事も好ましい。

［類似度算出方法］
類似度算出方法を説明するために、まず局所特徴量の比較方法を説明する。局所特徴量の式（１）に示す局所特徴量は５つの要素を持つ数列で示したが、５つ以外の場合でもよい。複数以上の要素を持つ数列は多次元空間のベクトルであるので、２つのベクトルを比較して類似性の判断が可能である。例えば、本実施形態では比較する２つのベクトルから差分のベクトルを算出し、差分のベクトルの絶対値が小さい程類似度が高いと扱う。しかしこの他にも、２つのベクトル間の角度が小さい程類似度が高いとしてもよいし、それらを複合的に扱ってもよい。

以上、本実施形態では、複数の縮小画像において対応する座標から抽出されている特徴点を対応特徴点として取得し、対応特徴点に関する局所特徴量を算出して検索処理をする。

対応特徴点は縮小変換をした際に抽出される再現性の高い安定した特徴点である。従って、ノイズになる特徴点（不安定な特徴点）が減るので検索精度が向上し、処理負荷の軽減にも繋がる。

前述の実施形態では、画像変換として縮小変換を用いているが、他にも種々の
画像変換においても本発明は適用できる。

例えば、画像変換として拡大変換を用いて、所定の変化率として拡大率を用いることで、拡大画像に対しての検索精度が向上する。画像変換として回転変換を用いて、所定の変化率として回転率を用いることで、回転画像に対しての検索精度が向上する。

他にも、画像変換をぼかし処理（ガウスフィルタとのコンボリューション）によってぼかし画像を取得し、所定の変化率を当該ガウスフィルタの標準偏差σの変化率とすると、ノイズが付加された画像に対しての検索精度が向上する。

画像変換としてノイズを付加する処理を用いて、所定の変化率としてノイズの付加度合いを用いることで、ノイズ付加画像に対しての検索精度が向上する。

また、これらの種々の画像変換を組み合わせて用いてもよい。

前述の実施形態では説明のために画像検索を例にしたが、本発明は画像検索に限定されるものではなく、入力画像から特徴点を抽出し局所的な特徴量を算出する認識等の画像処理にも適用可能なものである。

本発明は前述した実施形態の処理を図６に示すようなコンピュータに実行させるプログラムを記憶した記憶媒体を、システム或いは装置に供給することによって実現する。

図６に示すコンピュータ１４００は、ＲＯＭ１４３０の中に前記実施形態で挙げたフローチャートの処理をＣＰＵ１４１０に実現させるプログラムを格納している。そして、プログラムを実行させる際にＲＯＭ１４３０のプログラムをＲＡＭ１４２０に読出しＣＰＵ１４１０が処理できるようにする。ここで、１４５０はバスであり、ＲＯＭ１４３０、ＲＡＭ１４２０、ＣＰＵ１４１０およびＨＤＤのデータをやりとりする。また、コンピュータ１４００はユーザインターフェースに接続されるキーボードやマウスなどの入出力機器からの入力を受ける。また、コンピュータ１４００は、ネットワークインターフェース１４７０に対して入出力を行ったりする。コンピュータ１５００のネットワークインターフェース１４７０はネットワーク１５００を介して、データベース（ＤＢ）１５１０、クライアント（ＣＬＩＥＮＴ）１５２０、プリンタ（ＰＲＩＮＴＥＲ）１５３０と通信可能である。

また、複数のハードウェアとソフトウェアの協同によって前述の実施形態の処理を実現してもよい。例えば、図１（ａ），（ｂ）で示す構成は、その構成の一部をソフトウェアで実現可能であり、また特定の処理に特化したＩＣでも実現可能である。他にも、ネットワークで接続している複数の機器の協同によって実現してもよい。図６を用いて例を挙げると、コンピュータ１４００がプリンタ１５３０やクライアント１５２０から画像を受付けて、コンピュータ１４００が図２のフローチャートの処理を行い、データベース１５１０に登録する形態が挙げられる。また、コンピュータ１４００がクライアント１５２０やプリンタ１５３０から検索依頼とクエリ画像を受付けて、図３のフローチャートの処理を行い、データベース１５１０からクエリ画像に類似する画像を検索する形態も挙げられる。

また、記憶媒体から読み出されたプログラムがコンピュータに挿入された機能拡張ユニットに備わるメモリに書込まれ、その機能拡張ユニットに備わるＣＰＵがそのプログラムコードの指示に基づき、処理を行ってもよい。

また、プログラムコードを供給する記憶媒体として、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、プログラムコードをＣＰＵ（中央処理装置）が読み出し、ＣＰＵが、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）の機能を使って前述の処理を行ってもよい。

本発明の装置の構成例を示すブロック図である。 画像の登録処理の手順を表すフローチャートである。 画像の検索処理の手順を表すフローチャートである。 特徴点の抽出例を示す図である。 対応特徴点の判定方法を示す図である 本発明の概略ハード構成を示す図である。

符号の説明

１００ 画像登録装置
１０１ 入力画像（クエリ画像）
１０２ 画像入力部
１０３ 画像変換部
１０４ 特徴点抽出部
１０５ 特徴点判定部
１０６ 局所特徴量算出部
１０７ 特徴量登録部
１０８ 画像特徴データベース
２００ 画像検索装置
２０１ 比較部
２０２ 検索結果

Claims (14)

1. 入力画像に画像変換を施し変換画像を取得する変換手段と、
   前記入力画像と前記変換画像とから特徴点を抽出する抽出手段と、
   前記抽出手段によって複数の画像の夫々で対応する位置から抽出されている特徴点を対応特徴点として判定する判定手段と、
   前記判定手段によって判定された対応特徴点に関する局所特徴量を算出し、前記入力画像の局所特徴量として登録する登録手段と、
   を有することを特徴とする画像処理装置。
2. 入力画像に対して所定の変換率の画像変換を複数回施すことによって互いに変換率の異なる複数の変換画像を取得する変換手段と、
   前記入力画像と前記複数の変換画像とから特徴点を抽出する抽出手段と、
   前記抽出手段によって複数の画像の夫々で対応する位置から抽出されている特徴点を対応特徴点として判定する判定手段と、
   前記複数回のうち連続する変換画像の夫々から対応特徴点として前記判定手段によって判定された際に、当該対応特徴点に関する局所特徴量を算出し、前記入力画像の局所特徴量として登録する登録手段と
   を有することを特徴とする画像処理装置。
3. 前記判定手段は、前記画像変換を施した変換画像の夫々から抽出された特徴点の座標を画像変換前の入力画像の座標に変換した際に、互いに異なる画像から抽出した特徴点について前記入力画像の座標における特徴点の位置が所定距離より近い特徴点の組み合わせを対応する位置から抽出した対応特徴点として判定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記登録手段は、前記対応特徴点に関する局所特徴量のみを登録することを特徴とする、請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記局所特徴量を記憶するための記憶手段と、
   前記入力画像から算出した局所特徴量と前記記憶手段に記憶されている局所特徴量を比較する比較手段と
   を更に有することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記比較手段の結果を用いて、前記入力画像の局所特徴量に類似している局所特徴量を前記記憶手段から検索する検索手段を更に有することを特徴とする請求項５に記載の画像処理装置。
7. 前記画像変換は縮小変換であって、前記変換手段が前記入力画像を縮小変換することで変換画像を取得することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記画像変換はぼかし処理であって、前記変換手段が前記入力画像をぼかし処理することでぼかし画像を取得することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
9. 前記画像変換は拡大変換であって、前記変換手段が前記入力画像を拡大変換することで変換画像を取得することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
10. 前記画像変換は回転変換であって、前記変換手段が前記入力画像を回転変換することで回転画像を取得することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
11. 前記画像変換はノイズを付加する処理であって、前記変換手段が前記入力画像にノイズを付加することでノイズ付加画像を取得することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
12. 前記登録手段は、前記対応特徴点のうち画像変換の回数の多い画像から抽出した特徴点に関する局所特徴量のみを登録することを特徴とする、請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 変換手段と、抽出手段と、判定手段と、登録手段とを有する画像処理装置が処理する画像処理方法であって、
    前記変換手段が、入力画像に対して画像変換を施し変換画像を取得する変換工程と、
    前記抽出手段が、前記入力画像と前記変換画像とから特徴点を抽出する抽出工程と、
    前記判定手段が、前記抽出工程によって前記入力画像と前記変換画像の夫々から抽出された特徴点のうち対応する位置から抽出されている特徴点を対応特徴点として判定する判定工程と、
    前記登録手段が、前記判定工程によって判定された対応特徴点に関する局所特徴量を算出し、前記入力画像の局所特徴量として登録する登録工程と、
    を有することを特徴とする画像処理方法。
14. コンピュータに、
    入力画像に対して画像変換を施し変換画像を取得する変換工程と、
    前記入力画像と前記変換画像とから特徴点を抽出する抽出工程と、
    前記抽出工程によって前記入力画像と前記変換画像の夫々で対応する位置から抽出されている特徴点を対応特徴点として判定する判定工程と、
    前記判定工程によって判定された対応特徴点に関する局所特徴量を算出し、前記入力画像の局所特徴量として登録する登録工程と、
    を実行させることを特徴とするプログラム。

Images