JP2011243007A - 画像処理装置、その処理方法及びプログラム - Google Patents

Abstract

【課題】
画像の端部からも局所特徴量を算出できるようにした技術を提供する。
【解決手段】
画像処理装置は、画像の端部を所定範囲で拡張し、当該画像から局所領域の設定位置を示す複数の特徴点を検出し、領域の拡張がなされた画像における特徴点各々に対応して局所領域を設定し、当該局所領域内の画像情報に基づいて各特徴点に対応する局所特徴量を算出する。
【選択図】図２

Description

本発明は、画像処理装置、その処理方法及びプログラムに関する。

類似画像を検索する技術が種々提案されている。例えば、画像の全体的な特徴（全体特徴量）を用いて類似画像を検索する方法が知られている。このような技術に関連して、例えば、画像を複数のブロックに分け、それぞれの代表色を用いてパターンマッチングし、色の位置情報を利用して類似画像を検索する方法が提案されている（特許文献１）。

また、画像を複数のブロックに分割して各ブロックの特徴量を算出し、当該特徴量に応じたラベルを付与したラベル行列を生成し、それを全体特徴量とし、当該全体特徴量を用いて検索する方法も知られている（特許文献２）。

画像全体ではなく、画像の局所的な特徴量（局所特徴量）を用いて類似画像を検索する方法も提案されている。この方法では、まず、画像から特徴的な点（局所特徴点）を検出し、特徴点とその近傍の画像情報とに基づいて当該特徴点に対する特徴量（局所特徴量）を計算する。画像の検索は、局所特徴量同士のマッチングによって行なう。

上述のような局所特徴量を利用する手法においては、局所特徴量を回転不変、拡大・縮小不変となる複数の要素で構成される量として定義し、画像を回転したり、拡大・縮小したりした場合であっても検索を可能にする方法が提案されている（非特許文献１）。この他、局所特徴量を算出する技術としては、非特許文献２や非特許文献３に記載された技術も提案されている。

特開平８−２４９３４９号公報 特開平１０−２６０９８３号公報

C． Schmid and R． Mohr， "Localgray value invariants for image retrieval，" IEEE Trans． PAMI．， Vol．19， No．5， pp530-534， 1997． David G． Lowe， "Distinctive Image Features from Scale-Invariant Keypoints，" International Journal of Computer Vision， 60， 2 (2004)， pp． 91-110． Y． Ke and R． Sukthankar， " PCA-SIFT: A More Distinctive Representation for Local Image Descriptors，" Proc． CVPR， pp．506-513， 2004．

局所特徴量を用いたシステムの多くでは、ノイズ耐性を持たせるために、入力画像に対してぼかし処理などのフィルタ処理を施す。フィルタ処理は、一般に、フィルタウインドウと画像とのコンボリューション処理になる。このとき、画像の端の部分（端部）では、フィルタウインドウが画像からはみ出してしまうため、正確なフィルタ処理ができない。

また、局所特徴量の計算に際しては、まず、特徴点を中心とした小サイズの領域（局所特徴量計算領域）を設定し、当該領域内の画素パターンから局所特徴量を計算する。そのため、画像の端部分では局所特徴量計算領域が画像からはみ出してしまう可能性がある。

このように局所特徴量を用いた検索においては、原理的に、画像の端の周辺から局所特徴量を検出することができない領域（局所特徴量計算不可領域）を持つ場合が多い。この局所特徴量計算不可領域は、フィルタウインドウや局所特徴量計算領域のはみ出しに起因して発生する。

そのため、例えば、局所特徴量を利用した検索を情報漏洩セキュリティシステムに適用した場合、局所特徴量計算不可領域内のオブジェクトを検索できず、それに起因したセキュリティホールが生じてしまう可能性がある。このように局所特徴量計算不可領域は、できる限り小さくする必要がある。

そこで、本発明は、上記課題に鑑みてなされたものであり、画像の端部からも局所特徴量を算出できるようにした技術を提供することを目的とする。

上記課題を解決するため、本発明の一態様は、画像から局所特徴量を取得する画像処理装置であって、前記画像の端部を所定範囲で拡張する拡張手段と、前記画像から前記局所特徴量の算出領域を規定する局所領域の設定位置を示す複数の特徴点を検出する検出手段と、前記領域の拡張がなされた前記画像における前記特徴点各々に対応して前記局所領域を設定し、当該局所領域内の画像情報に基づいて各特徴点に対応する局所特徴量を算出する算出手段とを具備する。

本発明によれば、画像の端部からも局所特徴量を算出できる。

局所特徴量の算出が可能とされている領域とそうでない領域との一例を示す図。 本発明の一実施の形態に係わる検索システムの構成の一例を示す図。 画像の端の拡張処理の概念図を示す図。 図２に示す画像登録装置２０における画像登録処理の流れの一例を示すフローチャート。 実施形態２に係わる検索システムの構成の一例を示す図。 実施形態２に係わる画像検索装置３０における画像検索処理の流れの一例を示すフローチャート。 実施形態３に係わる検索システムの構成の一例を示す図。 実施形態３に係わる画像検索装置３０における画像検索処理の流れの一例を示すフローチャート。 実施形態３の変形例の一例を示す図。

以下、本発明の一実施の形態について添付図面を参照して詳細に説明する。

図１を用いて、一般的に、局所特徴量の算出が可能とされている領域と、困難とされている領域とについて説明する。

１１は、フィルタ処理を正確に行なうのが困難な領域である。すなわち、局所特徴量を用いた検索システムの多くは、ノイズ耐性を持たせるために、入力画像に対してぼかし処理などのフィルタ処理を施す。フィルタ処理は、一般に、フィルタウインドウと画像とのコンボリューション処理になる。このとき、画像の端の部分（端部）では、フィルタウインドウが画像からはみ出してしまうため、正確なフィルタ処理ができない。

１２は、局所特徴量の計算を正確に行なうのが困難な領域である。局所特徴量の計算では、まず、特徴点を中心とした小サイズの領域（局所特徴量計算領域）を設定する。その後、局所特徴量計算領域（以下、局所領域と略す）内の画像情報（画素パターン）から局所特徴量を計算する。このとき、画像の端部では、局所領域が画像からはみ出してしまう。１３は、方向の正規化を目的に主方向に応じて４５度回転した局所特徴量計算領域である。

１４は、局所特徴量の算出が可能な領域であり、本実施形態が適用されない場合、局所特徴量は、この局所特徴量算出可能領域（以下、計算可領域と略す）１４上のみから検出されることになる。なお、以降の説明では、正確なフィルタ処理が困難な領域１１と、正確な局所特徴量計算が困難な領域１２とを合わせて「局所特徴量計算不可領域（以下、計算不可領域と略す）」と呼ぶことにする。

（実施形態１）
ここで、図２を用いて、本発明の一実施の形態に係わる検索システムの構成の一例について説明する。

検索システムは、画像登録装置２０と、画像検索装置３０と、画像特徴データベース４０とを具備して構成される。画像登録装置２０及び画像検索装置３０は、画像特徴データベース４０と接続されている。なお、画像登録装置２０と、画像検索装置３０との間は、接続されていても良いし、そうでなくても良い。

画像特徴データベース４０は、画像特徴を格納するデータベースである。画像登録装置２０により入力画像（登録画像）から検出された画像特徴が登録される。

画像登録装置２０は、画像特徴データベース４０への登録対象となる画像（登録画像）に基づいて当該画像における各局所領域についての画像特徴を求め、その結果を画像特徴データベース４０に登録する。

画像検索装置３０は、画像特徴データベース４０からの検索対象となる画像（クエリ画像）に基づいて当該画像における各局所領域についての画像特徴を求め、当該求めた画像特徴に基づいて画像特徴データベース４０から画像検索を行なう。

なお、画像登録装置２０及び画像検索装置３０には、コンピュータが内蔵されている。コンピュータには、ＣＰＵ等の主制御手段、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)、ＨＤＤ（Hard Disk Drive）等の記憶手段が具備される。また、コンピュータにはその他、ボタンやディスプレイ又はタッチパネル等の入出力手段、ネットワークカード等の通信手段等も具備されていても良い。なお、これら各構成部は、バス等により接続され、主制御手段が記憶手段に記憶されたプログラムを実行することで制御される。例えば、画像登録装置２０及び画像検索装置３０各々において実現される機能的な構成は、ＣＰＵがＲＯＭ等に格納されたプログラムを読み出し実行することで実現される。

ここで、画像登録装置２０は、その機能的な構成として、画像入力部２１と、画像端拡張部２２と、特徴点検出部２３と、局所特徴量算出部２４と、画素パターン検査部２５と、特徴量選択部２６と、特徴登録部２７とを具備して構成される。

画像入力部２１は、装置（画像登録装置２０）内に登録画像を入力する。画像入力部２１においては、登録画像を装置内に入力した後、当該画像から輝度成分画像を生成する。そして、輝度成分画像を予め決められた縮小率で段階的に縮小して縮小画像列を生成する。

画像端拡張部２２は、画像入力部２１により生成された縮小画像列内の縮小画像それぞれに対して画像の端を拡張する拡張処理を実施する。拡張幅は、例えば、予め算出されている計算不可領域の幅と同じである。図３は、画像の端の拡張処理の概念図を示す。５１は、縮小画像を示しており、５２は、画像端拡張部２２により処理された画像端の拡張部分を示している。画像端が拡張された結果、縮小画像列内の縮小画像それぞれに対して拡張画像５０が生成される。

ここで、本実施形態に係わる拡張画像の生成は、画像端を境界として当該端から所定範囲内にある画素の画素値を折り返すことで行なう。なお、本実施形態においては、実際に拡張画像を生成するのではなく、演算により画像を拡張する。例えば、画像の左端に位置する点Ｐ（ｉ，ｊ）が左端の辺を境界として折り返された結果、座標（−ｉ，ｊ）の位置に点Ｐ（ｉ，ｊ）と同じ値を持つ画素Ｐ’（−ｉ，ｊ）が生成されるとする。このとき、点Ｐ’へのアクセスは、座標（｜−ｉ｜，ｊ）へのアクセスと等価となる。なお、ここでは、画像を演算により拡張させる場合について説明したが、勿論、画像の端を拡張した新たな画像を生成するように構成しても良い。

特徴点検出部２３は、各拡張画像から局所的な特徴点（局所特徴点）を検出する。特徴点は、局所領域の設定位置を示す。特徴点の検出に際しては、拡張画像５０に対してぼかし処理を施し、ぼかし画像を生成する。そして、当該生成した各ぼかし画像から特徴点を検出する。なお、特徴点の検出には、例えば、Ｈａｒｒｉｓ作用素「C.Harris and M.J. Stephens, “A Combined corner and edge detector," In Alvey Vision Conference, pages 147‐151, 1988.参照」を用いれば良い。

局所特徴量算出部２４は、特徴点検出部２３により検出された各特徴点に対して、当該特徴点を含む周辺領域（特徴点から所定範囲）にある画素値を用いて局所領域（局所特徴量計算領域）を設定する。そして、当該領域内の画素値を用いて局所特徴量を算出する。局所領域は、上述した通り、局所特徴量の算出領域を規定する領域である。

局所特徴量の算出の仕方についてより詳細に説明する。この算出に際して、局所特徴量算出部２４は、まず、特徴点周辺の輝度勾配を調査して主方向を決定する。主方向の決定には、例えば、非特許文献２に記載されている方法を用いれば良い。なお、ノイズの影響を受け難くできるのであれば、これ以外（非特許文献２）の方法を用いて主方向を決定しても良い。

主方向の決定後、局所特徴量算出部２４は、主方向に応じて特徴点を中心に局所領域を回転させる。これにより、方向に対する局所領域の正規化を行なう。そして、この正規化後、局所特徴量を算出する。これにより、算出される局所特徴量は、画像の回転に対して不変性を持つことができる。なお、局所特徴量の算出には、例えば、非特許文献３に記載されている方法を用いれば良い。なお、ノイズの影響を受け難くできるのであれば、これ以外（非特許文献３）の方法を用いて局所特徴量を算出しても良い。以下、説明に出てくる局所領域は、全ての方向に対する正規化が完了しているものとする。

画素パターン検査部２５は、局所特徴量の算出に用いた局所領域内の画素の中から拡張画素（拡張部分に属する画素）を特定し、当該拡張画素の画素値から分散を算出する。そして、この分散値と所定の閾値とを比較し、その比較に基づいて検査結果を出力する。より具体的には、分散値が所定の閾値以下であれば、拡張画素の画素パターンに一様性があるとして「一様性あり」を検査結果として出力し、閾値を越えていれば、「一様性なし」を検査結果として出力する。本実施形態においては、所定の閾値は、例えば、２００〜６００程度の値に設定すれば良い。

特徴量選択部２６は、画素パターン検査部２５による検査結果に基づいて局所特徴量の取捨選択を行なう。より具体的には、画素パターン検査部２５による検査結果により一様性ありと判定された局所特徴量は取得（残し）、画素パターン検査部２５による検査結果により一様性なしと判定された局所特徴量は不採用として廃棄する。

特徴登録部２７は、特徴量選択部２６による処理により廃棄されなかった全ての局所特徴量を画像特徴データベース４０に登録する。この登録に際しては、局所特徴量とともに、画像内における位置（座標）と縮小段階番号とが対応付けて登録される。

次に、画像検索装置３０の構成について説明する。画像検索装置３０は、その機能的な構成として、画像入力部３１と、画像端拡張部３２と、特徴点検出部３３と、局所特徴量算出部３４と、画素パターン検査部３５と、特徴量選択部３６と、特徴比較部３７とを具備して構成される。なお、画像検索装置３０における符号３１〜符号３６までの構成は、画像登録装置２０における符号２１〜符号２６までの構成とそれぞれ同様の機能を果たすため、ここではその説明については省略する。

特徴比較部３７は、上述した処理により得られた画像特徴と、画像特徴データベース４０に格納された複数の画等特徴とを比較し、両者の画像特徴が一致する画像特徴を画像特徴データベース４０から検索する。

以上が、検索システムを構成する装置の構成についての説明である。なお、これら各装置（画像登録装置２０、画像検索装置３０）に設けられる機能的な構成は、必ずしも図示した通りに実現される必要はなく、システム内におけるいずれかの装置にその全部若しくは一部が実現されていれば良い。

次に、図４を用いて、図２に示す画像登録装置２０における画像登録処理の流れの一例について説明する。

画像登録装置２０は、まず、画像入力部２１において、装置（画像登録装置２０）内に入力画像（登録画像）を入力するとともに（Ｓ１０１）、当該画像から輝度成分画像を生成し、当該輝度成分画像に基づいて縮小画像列を生成する（Ｓ１０２）。

次に、画像登録装置２０は、画像端拡張部２２において、当該縮小画像列内の縮小画像それぞれに対して画像の端を拡張する処理を施す（Ｓ１０３）。すなわち、縮小画像それぞれに対応して拡張画像（図３参照）を生成する。

拡張画像の生成が済むと、画像登録装置２０は、特徴点検出部２３において、各拡張画像から局所的な特徴点（局所特徴点）を検出する（Ｓ１０４）。そして、局所特徴量算出部２４において、特徴点検出部２３により検出された特徴点各々に対応して局所領域を設定する。この局所領域の設定が済むと、特徴点検出部２３は、当該領域内の画素値を用いて局所特徴量を算出する（Ｓ１０５）。

局所特徴量の算出が済むと、画像登録装置２０は、画素パターン検査部２５において、画像端拡張前に計算不可領域であった領域から算出された局所領域内の画素パターンを検査する（Ｓ１０６）。具体的には、局所領域内の画素の中から拡張部分に属する画素を拡張画素として特定し、当該拡張画素の画素値から画素値の分散を算出する。そして、この分散値と所定の閾値とを比較し、その比較結果に基づいて、拡張画素の画素パターンに一様性があるか否か（一様性なし）を判定する。

続いて、画像登録装置２０は、特徴量選択部２６において、当該検査結果に基づいて局所特徴量の取捨選択を行なう（Ｓ１０７）。すなわち、一様性ありと判定された局所特徴量を残し、一様性なしと判定された局所特徴量を廃棄する。その後、画像登録装置２０は、特徴登録部２７において、特徴量選択部２６による取捨選択処理で廃棄されなかった全ての局所特徴量に対して、画像内における位置（座標）と縮小段階番号とを対応付けて画像特徴データベース４０に登録する（Ｓ１０８）。

次に、図２に示す画像検索装置３０における画像特徴検索処理の流れの一例について説明する。ここで、画像検索装置３０においては、画像登録装置２０と同様の局所特徴量算出処理を行なった後、その結果に基づいて画像特徴の検索を行なう。そのため、局所特徴量算出処理（Ｓ１０１〜Ｓ１０７）については、同様の処理となるため、ここでは、図４を用いて、相違点する処理について説明する。相違点としては、Ｓ１０８の処理にある。

すなわち、画像検索装置３０は、画像登録装置２０と同様に、局所特徴量算出処理（Ｓ１０１〜Ｓ１０７までの処理）を行なった後、特徴比較部３７において、その処理結果に基づいて検索処理を行なう（Ｓ１０８）。特徴比較部３７においては、一様性ありと判定された全ての局所特徴量と、画像特徴データベース４０に格納（登録）されている各登録画像の局所特徴量とを比較する。そして、その検索結果を出力する。

以上が、画像登録装置２０及び画像検索装置３０における処理の流れについての説明であるが、上述した説明はあくまで一例であり、適宜変更して実施しても良い。

例えば、上記した説明では、画素パターン検査部２５及び３５において、一様性なしと判定された局所特徴量は不採用として廃棄する場合を例に挙げて説明したが、このような処理に限られない。例えば、局所特徴量が不採用である旨の判定がなされた場合、当該局所特徴量の算出元となる局所領域における画像の端部の拡張方法を変更して拡張処理を実施した後、再度、特徴点の検出と局所特徴量の算出とを実施する。そして、当該算出された局所特徴量に対する検査を実施し、当該画像の端部から算出された局所特徴量を採用するか否かの判定を再度行なうように構成しても良い。

また、上述した説明では、画素パターン検査部２５及び３５において、拡張画素の画素値を用いて一様性の有無を判定する場合を例に挙げて説明したが、このような処理に限られない。例えば、拡張画素の画素値ではなく、局所領域内の任意の画素値を用いて一様性の有無を判定しても良い。任意の画素値としては、例えば、全ての画素値、ランダムに選択した画素値、局所領域内における予め定められた部分領域に属する画素値を用いれば良い。

また、上述した説明では、画素パターン検査部２５及び３５における検査処理が開始する前に局所特徴量を算出する場合を例に挙げて説明したが、計算不可領域内に存在する特徴点については、このような処理を行なわないように変更しても良い。例えば、局所特徴量算出部２４及び３４における処理を局所領域の方向に対する正規化までに留め、画素パターン検査部２５及び３５で廃棄されなかった局所領域のみに対して局所特徴量を計算するようにしても良い。

以上説明したように実施形態１によれば、画像の端を拡張させた後、局所特徴量の算出を行なうため、従来、計算が困難又は不可能であった領域（計算不可領域）からも、特徴点の検出と局所特徴量の算出とが行なえる。

また、実施形態１によれば、局所特徴量の計算に用いた領域内の画素の中から拡張部分に属する画素の画素値の分散を算出し、当該分散値が所定の閾値を越えていれば、その局所特徴量を廃棄する。これにより、画像の端付近からも有益な局所特徴を検出できるため、画像の端付近に検索対象となるオブジェクトが存在するような場合であっても、そのオブジェクトを検索できることになる。

（実施形態２）
次に、実施形態２について説明する。実施形態２においては、画像の端部を拡張する前に特徴点を検出し、当該特徴点に対して設定した局所領域が画像端からはみ出る場合に、当該はみ出した領域の拡張可否を判定する。そして、拡張可能と判定した場合にだけ画像の端を拡張するようにした場合について説明する。

図５は、実施形態２に係わる検索システムの構成の一例を示す図である。なお、実施形態１と同様の機能を果たす構成には同一の符号を付し、その説明については省略する場合もある。

ここで、画像登録装置２０には、画像入力部２１と、特徴点検出部２３と、特徴点位置検査部６１と、画素パターン検査部２５と、特徴点選択部６２と、画像端拡張部２２と、局所特徴量算出部２４と、特徴登録部２７とが具備される。すなわち、各構成の処理順番が入れ替わっている点と、特徴点位置検査部６１及び特徴点選択部６２が新たに設けられている点とが実施形態１の構成と相違する。

特徴点検出部２３は、拡張画像ではなく、画像入力部２１により処理された縮小画像列内の縮小画像それぞれから局所的な特徴点（局所特徴点）を検出する。特徴点位置検査部６１は、各特徴点の位置を検出し、当該位置検出の結果、計算不可領域外（領域以外）にある特徴点を局所特徴量算出部２４に向けて出力し、計算不可領域内にある特徴点を画素パターン検査部２５に向けて出力する。

画素パターン検査部２５は、特徴点位置検査部６１から入力を受けた特徴点各々に対応して局所領域を設定する。そして、当該領域内にあり且つ、縮小画像の端からはみ出していない画素の画素値から分散を算出する。これにより、上記同様に、分散値と所定の閾値との関係に基づいて検査結果を出力する。

特徴点選択部６２は、画素パターン検査部２５による検査結果に基づいて特徴点（局所領域）の取捨選択を行なう。画像端拡張部２２は、局所領域が縮小画像の端からはみ出している場合、当該縮小画像の当該はみ出し領域を拡張させる。なお、画像の拡張方法は、実施形態１と同様に、画像端を境界として当該端から所定範囲内にある画素の画素値を折り返すことで実施すれば良い。

局所特徴量算出部２４は、特徴点位置検査部６１及び画像端拡張部２２から入力された特徴点各々に対応して局所特徴量を算出する。なお、特徴点位置検査部６１から特徴点が入力された場合には、局所領域が設定されていないため、局所特徴量算出部２４は、特徴点各々に対応して局所領域の設定を行なった後、局所特徴量の算出を行なうことになる。

特徴登録部２７は、実施形態１と同様に、局所特徴量とともに、画像内における位置（座標）と縮小段階番号とを対応付けて画像特徴データベース４０に登録する。

以上が、実施形態２に係わる画像登録装置２０の構成についての説明である。なお、実施形態２に係わる画像検索装置３０は、画像登録装置２０と同様の構成が追加等された構成であるため、ここでは説明の重複を防ぐためにも、その説明については省略する。

次に、図６を用いて、実施形態２に係わる装置の処理の流れの説明の一例として、画像検索装置３０における画像検索処理の流れについて説明する。

画像検索装置３０は、まず、画像入力部３１において、装置（画像検索装置３０）内に入力画像（クエリ画像）を入力するとともに（Ｓ２０１）、当該画像から輝度成分画像を生成し、当該輝度成分画像に基づいて縮小画像列を生成する（Ｓ２０２）。

次に、画像検索装置３０は、特徴点検出部３３において、各縮小画像から特徴点を検出するとともに（Ｓ２０３）、特徴点位置検査部７１において、各特徴点の位置を検出する（Ｓ２０４）。より具体的には、各特徴点の位置を検出し、当該位置検出の結果、計算不可領域外にある特徴点は、局所特徴量算出部３４に向けて出力し、計算不可領域内にある特徴点は、画素パターン検査部３５に向けて出力する。

ここで、特徴点位置検査部７１から特徴点の入力を受けた局所特徴量算出部３４は、当該入力を受けた特徴点に対して局所領域を設定し、当該局所領域内の画素パターンを用いて局所特徴量を算出する（Ｓ２０６）。その後、画像検索装置３０は、Ｓ２１１の処理に進む。

一方、特徴点位置検査部７１から特徴点の入力を受けた画素パターン検査部３５では、まず、当該特徴点各々に対して局所領域を設定する。そして、当該領域内にあり且つ、縮小画像の端からはみ出していない画素の画素値から分散を算出する。その後、実施形態１と同様に、この分散値と所定の閾値とを比較し、その比較に基づいて検査結果を出力する。より具体的には、分散値が所定の閾値以下であれば、画素パターンに「一様性あり」としてそれを検査結果として出力し、閾値を越えていれば、「一様性なし」を検査結果として出力する（Ｓ２０７）。

続いて、画像検索装置３０は、特徴点選択部７２において、当該検査結果に基づいて特徴点（局所領域）の取捨選択を行なう（Ｓ２０８）。すなわち、一様性ありと判定された特徴点（局所領域）を残し、一様性なしと判定された特徴点（局所領域）を廃棄する。

取捨選択が済むと、画像検索装置３０は、画像端拡張部３２において、取捨選択により残った各局所領域における領域が縮小画像の端からはみ出しているか否かを判定する。判定の結果、はみ出していなければ、処理を行なわず、はみ出していれば、当該縮小画像の当該はみ出し部分を拡張させる（Ｓ２０９）。

その後、画像検索装置３０は、局所特徴量算出部３４において、各局所領域内の画素パターンを用いて局所特徴量を算出する（Ｓ２１０）。局所特徴量の算出が済むと、画像検索装置３０は、特徴比較部３７において、当該算出した局所特徴量を用いて、画像特徴データベース４０に格納された各登録画像の局所特徴量と比較を行なう。そして、その結果を検索結果として出力する（Ｓ２１１）。

なお、実施形態２に係わる画像登録装置２０における画像登録処理では、Ｓ２１１の処理を除いては、上述した処理と同様の処理が行なわれるため、ここではその説明については省略する。すなわち、画像登録装置２０の場合には、Ｓ２１１の処理において、局所特徴量に基づく検索を行なう代わりに、局所特徴量を登録する処理を行なう。

以上説明したように実施形態２によれば、画像の端部を拡張する前に特徴点を検出し、当該検出した特徴点のうち、計算可領域に位置する特徴点に対しては局所領域を設定し、各領域に対応した局所特徴量を算出する。一方、計算不可領域内に位置する特徴点に対しては、局所領域を設定した場合に画像の端部からはみ出る領域があれば、当該領域を拡張させた後、各領域に対応した局所特徴量を算出する。これにより、実施形態１の効果に加えて更に、計算処理の負荷を軽減できる。

（実施形態３）
次に、実施形態３について説明する。実施形態３においては、計算不可領域の拡張可否を検査し、拡張可能と判定した場合にだけ画像の端を拡張するようにした場合について説明する。

図７は、実施形態３に係わる検索システムの構成の一例を示す図である。なお、実施形態１と同様の機能を果たす構成には同一の符号を付し、その説明については省略する場合もある。

ここで、画像登録装置２０には、画像入力部２１と、拡張可否検査部６３と、画像端拡張部２２と、特徴点検出部２３と、局所特徴量算出部２４と、特徴登録部２７とが具備される。すなわち、いくつかの構成が除かれている点と、拡張可否検査部６３が新たに設けられている点とが実施形態１の構成と相違する。

拡張可否検査部６３は、画像入力部２１により処理された縮小画像列内の縮小画像それぞれにおける計算不可領域内の全ての画素値から分散を算出する。そして、この分散値と所定の閾値とを比較し、その比較に基づいて検査結果を出力する。より具体的には、分散値が所定の閾値以下であれば、画素パターンに一様性があるとして「一様性あり」を検査結果として出力し、閾値を越えていれば、「一様性なし」を検査結果として出力する。

画像端拡張部２２は、拡張可否検査部６３により一様性ありと判定された縮小画像の画像端を拡張して拡張画像（拡張縮小画像）を作成する。

以上が、実施形態３に係わる画像登録装置２０の構成についての説明である。なお、実施形態３に係わる画像検索装置３０は、画像登録装置２０と同様の構成が追加等された構成であるため、ここでは説明の重複を防ぐためにも、その説明については省略する。

次に、図８を用いて、実施形態３に係わる装置の処理の流れの説明の一例として、画像検索装置３０における画像検索処理の流れについて説明する。

画像検索装置３０は、まず、画像入力部３１において、装置（画像検索装置３０）内に入力画像（登録画像）を入力するとともに（Ｓ３０１）、当該画像から輝度成分画像を生成し、当該輝度成分画像に基づいて縮小画像列を生成する（Ｓ３０２）。

次に、画像検索装置３０は、拡張可否検査部７３において、縮小画像列内の縮小画像それぞれにおける計算不可領域内の全ての画素値から分散を算出する。そして、この分散値と所定の閾値とを比較し、その比較に基づいて検査結果を出力する。より具体的には、分散値が所定の閾値以下であれば、画素パターンに一様性あるとして「一様性あり」を検査結果として出力し、閾値を越えていれば、「一様性なし」を検査結果として出力する。

ここで、画像検索装置３０は、画像端拡張部３２において、一様性ありと判定された場合（Ｓ３０３でＹＥＳ）、縮小画像の画像端を拡張して拡張画像を作成する（Ｓ３０４）。なお、一様性なしと判定された場合は（Ｓ３０３でＮＯ）、画像端の拡張処理は行なわない。

その後、画像検索装置３０は、特徴点検出部３３において、各拡張画像（又は縮小画像）から局所的な特徴点（局所特徴点）を検出する（Ｓ３０５）。そして、局所特徴量算出部３４において、特徴点検出部３３により検出された各特徴点に対して、その周辺領域の画素値を用いて局所領域を設定する。この局所領域の設定が済むと、特徴点検出部３３は、当該領域内の画素値を用いて局所特徴量を算出する（Ｓ３０６）。

その後、画像検索装置３０は、特徴比較部３７において、当該算出した局所特徴量を用いて、画像特徴データベース４０に格納された各登録画像の局所特徴量と比較を行なう。そして、その結果を検索結果として出力する（Ｓ３０７）。

なお、実施形態３に係わる画像登録装置２０における画像登録処理では、Ｓ３０７の処理を除いては、上述した処理と同様の処理が行なわれるため、ここではその説明については省略する。すなわち、画像登録装置２０の場合には、Ｓ３０７の処理において、局所特徴量に基づく検索を行なう代わりに、局所特徴量を登録する処理を行なう。

以上が、実施形態３に係わる画像登録装置２０及び画像検索装置３０における処理の流れについての説明であるが、上述した説明はあくまで一例であり、適宜変更して実施しても良い。

例えば、上述した実施形態３の説明では、拡張可否検査部６３及び７３においては、各縮小画像における計算不可領域内の全ての画素値を用いて一様性の有無を判定する場合を例に挙げて説明したが、このような処理に限られない。例えば、図９（ａ）に示すように、計算不可領域における画素パターンの一様性を辺毎に判定するように構成しても良い。また、例えば、図９（ｂ）に示すように、計算不可領域を所定のルールに従って複数のブロックに分割し、ブロック毎に画素パターンの一様性を判定するように構成しても良い。なお、図９（ａ）及び（ｂ）における符号９２は、局所特徴量算出可能領域（計算可領域）を示しており、符号９１は、局所特徴量計算不可領域（計算不可領域）を示している。

以上説明したように実施形態３によれば、計算不可領域の拡張可否を検査し、拡張可能と判定した場合にだけ画像の端を拡張する。これにより、実施形態２の効果に加えて更に、計算不可領域における画素パターンが複雑であっても、計算処理の負荷を軽減できる。

以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。ここでいくつか変形例について列挙する。

（変形実施形態１）
例えば、上述した実施形態１〜３では、画素値の分散を算出し、その分散値に基づいて拡張画素の画素パターンにおける一様性の有無を判定する場合を例に挙げて説明したが、これに限られない。例えば、分散値ではなく、標準偏差に基づいて一様性の有無を判定するように構成しても良い。また、例えば、画素値を周波数変換し、当該周波数変換後の係数を参照して一様性の有無を判定するように構成しても良い。この場合、例えば、所定の周波数に対応する係数の値が閾値値以下であるか否かに基づいて一様性の判定を行なう。

（変形実施形態２）
また、一様性の有無を判定するのではなく、画素パターンの周期性の有無を判定するように構成しても良い。この場合、周期性ありと判定された場合に、画像の端を拡張可能と判定する。

周期性の有無の判定方法としては、例えば、所定サイズの局所領域を、画像端に接し且つ、局所領域を最大に含むように設定する。その後、局所領域の自己相関を計算し、最大値が所定の閾値を越えた場合に周期性ありと判定する。又は、局所領域を周波数変換し、最大の係数値と２番目に大きい係数値との比が２以上になった場合に、周期性ありと判定しても良い。なお、周期性の有無の判定が行なえればよく、このような判定方法に限られるものではない。例えば、周期性の有無をテンプレートとの相関に基づいて判定するように構成しても良い。具体的には、周期的な画素パターンを持つテンプレートを予め準備する。そして、所定サイズの局所領域を、画像端に接し且つ、局所領域を最大に含むように設定する。局所領域とテンプレートとの相関値を計算し、当該相関値が所定の閾値を越えた場合に周期性ありと判定する。

（変形実施形態３）
また、一様性の有無を判定するのではなく、画素パターンのランダム性の有無を判定するように構成しても良い。この場合、ランダム性有と判定された場合に、画像の端を拡張可能であると判定する。ランダム性の有無の判定方法としては、例えば、所定サイズの局所領域を、画像端に接し且つ、局所領域を最大に含むように設定して局所領域を周波数変換する。その後、乱数を用いて所定の個数の係数を選択し、係数値の平均を２回計算し、第１の平均値と第２の平均値とを算出する。第１の平均値と第２の平均値との比が１に近い数値であれば（１から所定範囲内の数値であれば）、ランダムであると判定する。又は、所定サイズの局所領域を、画像端に接し且つ、局所領域を最大に含むように設定する。そして、局所領域内の画素値を用いて勾配方向ヒストグラムを生成する。次に、勾配方向ヒストグラムの最大値と最小値との差又は比が閾値以下であれば、ランダムであると判定するように構成しても良い。なお、ランダム性有無の判定が可能であれば良く、必ずしもこのような方法で判定を行なう必要はない。

（変形実施形態４）
また、一様性の有無を判定するのではなく、画素パターンがグラデーションの一部であるか否かを判定するように構成しても良い。この場合、グラデーションの一部であると判定された場合に、画像の端を拡張可能であると判定する。グラデーションの一部であるか否かの判定方法としては、例えば、画素の勾配方向ヒストグラムを生成し、勾配方向ヒストグラムの特定の方向ビンに単一ピークが現れる場合に、グラデーションの一部であると判定すれば良い。

また、周波数変換を用いてグラデーションの一部であるか否かを判定しても良い。例えば、所定サイズの局所領域を、画像端に接し且つ、局所領域を最大に含むように設定して局所領域を周波数変換する。そして、周波数変換後の係数を調べ、所定の周波数帯にピークがあるか否かに基づいて、グラデーションの一部であるか否かを判定しても良い。なお、グラデーションの一部であるか否かの判定が可能であれば良く、必ずしもこのような方法で判定を行なう必要はない。

（変形実施形態５）
また、一様性の有無のみに基づいて画像の端の拡張可否を判定するのではなく、他の要素を考慮して拡張可否を判定するように構成しても良い。例えば、画素パターンの一様性、周期性、ランダム性、グラデーションの一部であるか否かをそれぞれ数値化し、当該数値の重み付け平均が所定の閾値を越えた場合に、画像の端を拡張可能であると判定するようにしても良い。

（変形実施形態６）
また、上述した説明では、画像端を境界として当該端から所定範囲内にある画素の画素値を折り返すことで画像の拡張を実施する場合について説明したが、これに限られない。
ここで、画像の拡張方法について、いくつか列挙する。
１）画像の端近傍（端から所定範囲内）から検出した画素パターンを繰り返すことで画像の端部を拡張するように構成しても良い。
２）画像の端部にある画素の画素値を繰り返して適用することで画像の端部を拡張するように構成しても良い。
３）画像の端近傍（端から所定範囲内）の画素の画素値をランダムに抽出し、当該ランダムに抽出した画素値を用いて画像の端部を拡張するように構成しても良い。
４）画像全体の画素値から画素値の平均値を計算し、当該平均値を用いて画像の端部を拡張するように構成しても良い。

（変形実施形態７）
また、上述した説明では、画像検索装置３０に入力される入力画像（クエリ画像）については特に説明していないが、この画像を加工した後、検索に用いるようにしても良い。クエリ画像の加工例としては、例えば、ユーザによる着目部分領域の切り取り等が挙げられる。

（変形実施形態８）
また、局所特徴量算出部２４及び３４により局所特徴量を算出する前に、局所領域内の各画素値に特徴点からの距離に応じた重み付けを行なうように構成しても良い。重み付けは、ガウス関数を用いた重み付けであっても良いし、また、以下の数式を用いても良い。

ここで、ｖ’（ｘ，ｙ）は、重み付け後の着目画素の画素値であり、ｖ（ｘ，ｙ）は、重み付け前の着目画素の画素値であり、αは、所定の係数（０＜α＜１）である。

また、ｒは、局所領域内の着目画素と特徴点との距離であり、特徴点の座標を（ｘ_０，ｙ_０）として、例えば、以下の数式で算出できる。

（変形実施形態９）
また、上述した説明では、画像登録装置２０及び画像検索装置３０において、局所特徴量算出処理を実施する場合を例に挙げて説明したが、これに限られず、単なる画像処理装置において、このような局所特徴量算出処理を実施するように構成しても良い。

（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 画像から局所特徴量を取得する画像処理装置であって、
   前記画像の端部を所定範囲で拡張する拡張手段と、
   前記画像から前記局所特徴量の算出領域を規定する局所領域の設定位置を示す複数の特徴点を検出する検出手段と、
   前記領域の拡張がなされた前記画像における前記特徴点各々に対応して前記局所領域を設定し、当該局所領域内の画像情報に基づいて各特徴点に対応する局所特徴量を算出する算出手段と
   を具備することを特徴とする画像処理装置。
2. 画像から局所特徴量を取得する画像処理装置であって、
   前記画像の端部を所定範囲で拡張させた拡張画像を生成する拡張手段と、
   前記拡張画像から前記局所特徴量の算出領域を規定する局所領域の設定位置を示す複数の特徴点を検出する検出手段と、
   前記拡張画像における前記特徴点各々に対応して前記局所領域を設定し、当該局所領域内の画像情報に基づいて各特徴点に対応する局所特徴量を算出する算出手段と、
   前記拡張された領域に対して設定された前記局所領域内の画像情報を検査し、その検査結果に基づいて各局所領域から算出された前記局所特徴量を採用するか否かの判定を行なう検査手段と、
   前記拡張された領域以外から算出された局所特徴量と、前記検査手段により前記採用すると判定された局所特徴量とを前記画像における局所特徴量として取得する取得手段と
   を具備することを特徴とする画像処理装置。
3. 前記拡張手段は、
   前記検査手段により前記採用しないと判定された前記局所特徴量の算出元となる局所領域における画像の端部を拡張する拡張方法を変更して拡張を行ない、
   前記検査手段は、
   前記拡張方法を変更して拡張された領域から前記検出手段により検出された特徴点に基づいて前記算出手段により算出された局所特徴量に対して前記判定を再度行なう
   ことを特徴とする請求項２記載の画像処理装置。
4. 画像から局所特徴量を取得する画像処理装置であって、
   前記画像から前記局所特徴量の算出領域を規定する局所領域の設定位置を示す複数の特徴点を検出する検出手段と、
   前記画像における前記特徴点各々に対応して前記局所領域を設定するとともに、該設定した局所領域が前記画像の端からはみ出る場合に、当該はみ出た局所領域内の画像情報を検査し、その検査結果に基づいて当該はみ出た領域に対して設定された前記局所領域に対応する特徴点を採用するか否かを判定する検査手段と、
   前記検査手段により採用すると判定された特徴点に対して設定された前記局所領域における前記画像の端部を所定範囲で拡張する拡張手段と、
   前記画像の端からはみ出ていない局所領域と、前記拡張された局所領域とにおける画像情報に基づいて各特徴点に対応する局所特徴量を算出する算出手段と
   を具備することを特徴とする画像処理装置。
5. 前記検査手段は、
   前記局所領域内における画素の画素値から算出した分散値、又は、
   前記局所領域内における画素の画素値から算出した標準偏差、又は、
   前記局所領域内における画素の画素値を周波数変換することにより得られる係数、又は、
   前記局所領域における画素パターンと所定の画素パターンとの相関、又は、
   前記局所領域における画素の自己相関、又は、
   前記局所領域における画素の画素値から生成した勾配方向ヒストグラム
   のいずれかに基づいて前記採用するか否かの判定を行なう
   ことを特徴とする請求項２から４のいずれか１項に記載の画像処理装置。
6. 画像から局所特徴量を取得する画像処理装置であって、
   前記画像の端部の画像情報を検査し、その検査結果に基づいて前記画像の端部を拡張するか否かを判定する検査手段と、
   前記検査手段により拡張すると判定された場合に前記画像の端部を所定範囲で拡張する拡張手段と、
   前記画像から前記局所特徴量の算出領域を規定する局所領域の設定位置を示す複数の特徴点を検出する検出手段と、
   前記画像における前記特徴点各々に対応して前記局所領域を設定し、当該局所領域内の画像情報に基づいて各特徴点に対応する局所特徴量を算出する算出手段と
   を具備することを特徴とする画像処理装置。
7. 前記検査手段は、
   前記画像の端部を複数の領域に分割し、該分割した各領域に対応して前記画像の端部を拡張するか否かを判定し、
   前記拡張手段は、
   前記拡張すると判定された端部の領域を拡張する
   ことを特徴とする請求項６記載の画像処理装置。
8. 前記検査手段は、
   前記画像の端部における画素の画素値から算出した分散値、又は、
   前記画像の端部における画素の画素値から算出した標準偏差、又は、
   前記画像の端部における画素の画素値を周波数変換することにより得られる係数、又は
   前記画像の端部における画素パターンと所定の画素パターンとの相関、又は
   前記画像の端部における画素の自己相関、又は
   前記画像の端部における画素の画素値から生成した勾配方向ヒストグラム
   のいずれかに基づいて前記画像の端部を拡張するか否かを判定する
   ことを特徴とする請求項６又は７記載の画像処理装置。
9. 前記拡張手段は、
   前記画像の端を境界として該端から所定範囲内にある画素の画素値を折り返す、又は
   前記画像の端から所定範囲内にある画素パターンを検出し、該検出した画素パターンを繰り返す、又は、
   前記画像の端から所定範囲内にある画素の画素値を繰り返す、又は、
   前記画像の端にある画素の画素値を繰り返す、又は、
   前記画像の端から所定範囲内にある画素の画素値をランダムに抽出し、該ランダムに抽出した画素値を用いる、又は、
   前記画像全体の画素値の平均値を算出し、該平均値を用いる
   ことにより前記画像の端部を拡張する
   ことを特徴とする請求項１、２、４及び６のいずれか１項に記載の画像処理装置。
10. 前記算出手段は、
    前記局所領域内における画素の画素値に対して前記特徴点からの距離に応じて重み付けした後、前記局所特徴量を算出する
    ことを特徴とする請求項１、２、４及び６のいずれか１項に記載の画像処理装置。
11. 画像から局所特徴量を取得する画像処理装置の処理方法であって、
    拡張手段が、前記画像の端部を所定範囲で拡張する工程と、
    検出手段が、前記画像から前記局所特徴量の算出領域を規定する局所領域の設定位置を示す複数の特徴点を検出する工程と、
    算出手段が、前記領域の拡張がなされた前記画像における前記特徴点各々に対応して前記局所領域を設定し、当該局所領域内の画像情報に基づいて各特徴点に対応する局所特徴量を算出する工程と
    を含むことを特徴とする画像処理装置の処理方法。
12. コンピュータを、
    画像の端部を所定範囲で拡張する拡張手段、
    前記画像から局所特徴量の算出領域を規定する局所領域の設定位置を示す複数の特徴点を検出する検出手段、
    前記領域の拡張がなされた前記画像における前記特徴点各々に対応して前記局所領域を設定し、当該局所領域内の画像情報に基づいて各特徴点に対応する局所特徴量を算出する算出手段
    として機能させるためのプログラム。

Images