JP2011198130A - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】画像探索のロバスト性を向上させることを課題とする。
【解決手段】画像処理装置１は、同一の物体が異なる視点で画像内に収められた複数の画像を取得する画像取得部２を有する。さらに、画像処理装置１は、画像取得部２によって取得された画像のうち少なくとも１つの画像から得られる特徴点の周辺領域を局所特徴領域とし、当該局所特徴領域の画像から２次元特徴量を導出する２次元特徴量導出部３を有する。さらに、画像処理装置１は、画像取得部２によって取得された複数の画像から局所特徴領域における物体の視差に基づく３次元特徴量を導出する３次元特徴量導出部４を有する。さらに、画像処理装置１は、２次元特徴量導出部３によって導出された２次元特徴量および３次元特徴量導出部４によって導出された３次元特徴量を用いて、特徴点間のマッチングを行うマッチング処理部５を有する。
【選択図】図１

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

画像マッチング（matching）技術として、１つの画像から抽出した特徴点の周辺領域を局所特徴領域として特徴量を求め、その特徴量の類似度を計算することにより、特徴点同士のマッチングを判定する手法が知られている。このように、複数の特徴点のマッチング結果を統合して画像間または画像領域間の類似度を求めることにより、画像から所望の物体を探索あるいは検出することができる。

特開平７−２８７７６２号公報 特開２００６−１９５７５８号公報

しかしながら、上記の従来技術では、以下に説明するように、画像探索のロバスト性が低下するという問題がある。

すなわち、マッチングに使用される画像は２次元のものであっても実際に画像から探索する対象物は３次元の物体である。このため、対象物が画像に収まる向きや大きさ、照明の当たり方などが変われば局所的な画像も変化し、局所特徴領域から得られる特徴量も変化する。このような画像に対する対象物の収まり方の変化により、マッチングに特徴点の検出漏れや誤検出が生じるので、画像探索のロバスト性が低下してしまう。

開示の技術は、上記に鑑みてなされたものであって、画像探索のロバスト性を向上させることができる画像処理装置及び画像処理プログラムを提供することを目的とする。

本願の開示する画像処理装置は、同一の物体が異なる視点で画像内に収められた複数の画像を取得する画像取得部を有する。さらに、前記画像処理装置は、前記画像取得部によって取得された画像のうち少なくとも１つの画像から得られる特徴点の周辺領域を局所特徴領域とし、当該局所特徴領域の画像から２次元特徴量を導出する２次元特徴量導出部を有する。さらに、前記画像処理装置は、前記画像取得部によって取得された複数の画像から前記局所特徴領域における物体の視差に基づく３次元特徴量を導出する３次元特徴量導出部を有する。さらに、前記画像処理装置は、前記２次元特徴量導出部によって導出された２次元特徴量および前記３次元特徴量導出部によって導出された３次元特徴量を用いて、特徴点間のマッチングを行うマッチング処理部を有する。

本願の開示する画像処理装置の一つの態様によれば、画像探索のロバスト性を向上させることができるという効果を奏する。

図１は、実施例１に係る画像処理装置の構成を示すブロック図である。 図２は、実施例２に係る画像処理装置の構成を示すブロック図である。 図３は、探索対象とされる３次元物体の一例を示す図である。 図４Ａは、２次元特徴量の一例を示す図である。 図４Ｂは、２次元特徴量の一例を示す図である。 図５は、部分領域間における視差の検出要領を示す図である。 図６Ａは、３次元特徴量の一例を示す図である。 図６Ｂは、３次元特徴量の一例を示す図である。 図７Ａは、２次元特徴量の一例を示す図である。 図７Ｂは、３次元特徴量の一例を示す図である。 図８は、実施例２に係る局所特徴量の事前登録処理の手順を示すフローチャートである。 図９は、実施例２に係る対象物探索処理の手順を示すフローチャートである。 図１０は、実施例２に係る効果を説明するための図である。 図１１Ａは、色ヒストグラムの一例を示す図である。 図１１Ｂは、色ヒストグラムの一例を示す図である。 図１１Ｃは、相対視差のヒストグラムの一例を示す図である。 図１１Ｄは、相対視差のヒストグラムの一例を示す図である。 図１２は、色別の相対視差を導出する導出要領を説明するための図である。 図１３Ａは、エッジ方位が垂直方向である場合における視差の現れ方を示す図である。 図１３Ｂは、エッジ方位が水平方向である場合における視差の現れ方を示す図である。 図１４は、エッジ方位の検出例を示す図である。 図１５Ａは、２次元特徴量の一例を示す図である。 図１５Ｂは、３次元特徴量の一例を示す図である。 図１６は、実施例３に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。

以下に、本願の開示する画像処理装置及び画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。

図１は、実施例１に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置１は、画像取得部２と、２次元特徴量導出部３と、３次元特徴量導出部４と、マッチング処理部５とを有する。

このうち、画像取得部２は、同一の物体が異なる視点で画像内に収められた複数の画像を取得する。また、２次元特徴量導出部３は、画像取得部２によって取得された画像のうち少なくとも１つの画像から得られる特徴点の周辺領域を局所特徴領域とし、当該局所特徴領域の画像から２次元特徴量を導出する。また、３次元特徴量導出部４は、画像取得部２によって取得された複数の画像から局所特徴領域における物体の視差に基づく３次元特徴量を導出する。

マッチング処理部５は、２次元特徴量導出部３によって導出された２次元特徴量および３次元特徴量導出部４によって導出された３次元特徴量を用いて、特徴点間のマッチングを行う。

このように、本実施例に係る画像処理装置１は、１つの画像から得られる２次元特徴量だけでなく、複数の画像間の視差から対象物の局所的な凹凸の特徴を３次元特徴量として導出した上でマッチングを行う。かかる３次元特徴量は、対象物が画像に収まる向きや大きさ、照明の当たり方などが変化しても平面的な特徴だけを表現する２次元特徴量に比較してその変化は少ない。それゆえ、本実施例に係る画像処理装置１では、画像に対する対象物の収まり方が変化しても、２次元特徴量を用いただけでは誤った特徴点同士がマッチング結果とされる誤対応を３次元特徴量の使用により防止できる。したがって、本実施例に係る画像処理装置１によれば、画像探索のロバスト性を向上させることが可能になる。

一例として、本実施例に係る画像処理装置１は、画像処理装置１に予め登録された画像を用いて、画像取得部２によって取得された複数の画像の中から探索対象とする３次元物体を探索することができる。かかる画像探索の他にも、画像検出や画像認証などのようにマッチング処理を行う画像処理全般に好適に適用できる。

続いて、実施例２に係る画像処理装置について説明する。図２は、実施例２に係る画像処理装置の構成を示すブロック図である。図２に示すように、画像処理装置１０は、表示部１１と、カメラ１２Ｌと、カメラ１２Ｒと、記憶部１３と、制御部１４とを有する。

表示部１１は、モニタ、ディスプレイやタッチパネルなどの表示デバイスである。一例としては、表示部１１は、予め登録されていた３次元物体の画像がカメラ１２Ｌ及びカメラ１２Ｒによって撮像された画像中から検出されたか否かの検出結果などを表示する。

カメラ１２Ｌ及びカメラ１２Ｒは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像デバイスである。一例としては、所定の被写体に正対して左側にカメラ１２Ｌが設けられるとともに右側にカメラ１２Ｒが設けられる。これらカメラ１２Ｌ及びカメラ１２Ｒは、被写体とする物体に対して視差が生じる程度に互いの位置が隔てて配設されるものとする。

なお、ここでは、カメラ１２Ｌから入力される画像を「入力画像Ｌ」と呼び、カメラ１２Ｒから入力される画像を「入力画像Ｒ」と呼び、また、カメラ１２Ｌ及びカメラ１２Ｒによって撮像された２つの画像を総称する場合に「ステレオ画像」と呼ぶこととする。また、カメラ１２Ｌ及びカメラ１２Ｒの両者を区別せずに総称する場合にはカメラ１２と表記する。

記憶部１３は、例えば、フラッシュメモリ（flash memory）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。なお、記憶部１３は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Random Access Memory)、ＲＯＭ（Read Only Memory)であってもよい。

記憶部１３は、制御部１４で実行される各種プログラム、例えばＯＳ（Operating System）などの基本ソフトや画像処理の動作が規定されたプログラムを記憶する。さらに、記憶部１３は、先に述べたプログラムの実行に必要なデータ、例えばマッチングに使用する閾値などを記憶する。このほか、記憶部１３は、局所特徴量データ１３ａを併せて記憶する。

局所特徴量データ１３ａは、カメラ１２Ｌ及びカメラ１２Ｒから入力されるステレオ画像から所望の物体を対象物として探索するために事前登録される局所特徴量を含むデータである。

かかる局所特徴量データ１３ａの一例としては、入力画像Ｌまたは入力画像Ｒから導出された２次元特徴量と、ステレオ画像間の視差から導出された３次元特徴量とが局所特徴量として後述の局所特徴量登録部１８により登録される。なお、ここでは、後述の２次元特徴量導出部１６及び後述の３次元特徴量導出部１７により導出された２次元特徴量及び３次元特徴量が局所特徴量データ１３ａとして登録される場合を想定するが、外部装置から取得した局所特徴量を登録してもかまわない。また、ここでは、２次元特徴量及び３次元特徴量を局所特徴量として登録することとしたが、ステレオ画像そのものを登録することとしてもよい。

また、局所特徴量データ１３ａの一例としては、局所特徴領域ごとにその局所特徴領域から分割された複数の部分領域のうち後述の３次元特徴量導出部１７により３次元特徴量の導出対象または導出除外対象とされた部分領域が登録される。ここで言う局所特徴領域とは、後述の特徴点抽出部１５により入力画像Ｌまたは入力画像Ｒから抽出された特徴点を基点として規定される特徴点の周辺領域を指す。なお、局所特徴領域ごとに異なる分割がなされる場合には、局所特徴領域の分割態様も併せて登録される。

このように、本実施例に係る画像処理装置１０では、局所特徴量データ１３ａを事前登録する段階で３次元特徴量の導出対象または導出除外対象とされた部分領域を保持しておく。これによって、カメラ１２により入力された探索用のステレオ画像から３次元特徴量を導出する段階で後述の３次元特徴量導出部１７に導出対象または導出除外対象を改めて特定させる処理手順を不要化させることができる。なお、探索用のステレオ画像とは、事前登録された局所特徴量データを用いて探索対象とする３次元物体を探索するステレオ画像である。

制御部１４は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路、または、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの電子回路である。

制御部１４は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部１４は、図２に示すように、特徴点抽出部１５と、２次元特徴量導出部１６と、３次元特徴量導出部１７と、局所特徴量登録部１８と、マッチング処理部１９とを有する。

このうち、特徴点抽出部１５は、カメラ１２から入力されるステレオ画像のうち一方の入力画像Ｌまたは入力画像Ｒから特徴点を抽出する処理部である。なお、ここでは、入力画像Ｌから特徴点を抽出する場合を想定して以下の説明を行うが、入力画像Ｒから特徴点を抽出することとしてもかまわない。

一例としては、特徴点抽出部１５は、コーナー検出フィルタなどを使用することにより、入力画像Ｌから探索対象とする３次元物体の画像を特徴付ける特徴点群を検出する。このとき、特徴点抽出部１５は、入力画像Ｌに探索対象物以外の物が映っている場合に、探索対象物に属する特徴点のみが切り分けられるように前処理を行う。かかる前処理の一例としては、特徴点抽出部１５は、画像処理装置１０の管理者から入力デバイスを介して探索対象物の画像が存在する範囲を指定する操作や探索対象物の画像を切り出す操作を受け付けたりする。なお、ここでは、コーナー検出フィルタを使用する場合を例示したが、これ以外にも公知の技術を用いて特徴点を抽出することができる。

また、特徴点抽出部１５は、先に抽出した特徴点に局所特徴領域を設定する。かかる局所特徴領域には、特徴点を基点として固定のサイズを規定してもよく、また、所定の基準により可変サイズを規定してもかまわない。一例としては、特徴点周辺の空間周波数が高いほど局所特徴領域のサイズを小さくし、また、特徴点周辺の空間周波数が低いほど局所特徴領域のサイズを大きく設定する。これによって、特徴点のマッチングの難易度に応じて局所特徴領域のサイズを規定できる。

２次元特徴量導出部１６は、局所特徴領域の２次元特徴量を導出する処理部である。これを説明すると、２次元特徴量導出部１６は、局所特徴領域を所定数の部分領域に分割した上で各部分領域ごとに探索対象物の画像を特徴付ける指標を算出して並べることにより得られる特徴ベクトル（vector）を２次元特徴量として導出する。かかる部分領域ごとの特徴量の一例としては、平均輝度、輝度分散、あるいは色ヒストグラムや勾配ヒストグラムなどが挙げられる。なお、２次元特徴量には、照明や向きや大きさなどに対して可及的に不変な指標を使用するのが好ましい。

この２次元特徴量の導出要領について説明する。図３は、探索対象とされる３次元物体の一例を示す図である。図３に示す符号３０は、探索対象物である３次元物体を示す。図３に示す符号３０Ａは、３次元物体３０において手前に向かって出っ張った凸部分を示す。図３に示す符号３０Ｂは、３次元物体３０において奥に向かって凹んでいる凹部分を指す。図３に示す符号３１Ａ及び符号３１Ｂは、カメラ１２Ｌにより３次元物体３０が撮像された場合に特徴点抽出部１５により特徴点から規定される局所特徴領域を示す。なお、図３に示す例では、特徴点抽出部１５により局所特徴領域の形状として円形が規定される場合を示す。

図３に示す３次元物体３０がカメラ１２Ｌにより撮像されると、入力画像Ｌには、低輝度の四角形が２つ映ることになる。このとき、入力画像Ｌに対するコーナー検出処理を通じて２つの四角形の４隅のコーナーが特徴点群として特徴点抽出部１５により抽出されるとともに図中丸印の領域が特徴点抽出部１５により局所特徴領域として設定される。

図４Ａ及び図４Ｂは、２次元特徴量の一例を示す図である。これら図４Ａ及び図４Ｂの例では、２次元特徴量導出部１６が局所特徴領域を４つの部分領域に分割して部分領域別の平均輝度を導出する場合を想定している。なお、ここでは、局所特徴領域３１Ａ及び局所特徴領域３１Ｂの右上の部分領域を（１）、左上の部分領域を（２）、左下の部分領域を（３）、右下の部分領域を（４）と表記して以下の説明を行う。

ここで、３次元物体３０の白部分の輝度値が２５５、網掛け部分の輝度値が０であるとしたとき、局所特徴領域３１Ａおよび局所特徴領域３１Ｂの部分領域（１）、（２）及び（４）は白部分のみで形成される。このため、部分領域（１）、（２）及び（４）の平均輝度は２次元特徴量導出部１６により「２５５」と算出される。一方、局所特徴領域３１Ａおよび局所特徴領域３１Ｂの部分領域（３）は網掛け部分のみで形成される。このため、部分領域（３）の平均輝度は２次元特徴量導出部１６により「０」と算出される。このため、局所特徴領域３１Ａの特徴ベクトル３２Ａおよび局所特徴領域３１Ｂの特徴ベクトル３２Ｂはいずれも（２５５，２５５，０，２５５）と導出される。なお、ここでは、２次元特徴量として平均輝度を導出する場合を説明したが、公知の技術を用いて輝度分散、色ヒストグラムや勾配ヒストグラムなども導出できる。

このようにして２次元特徴量導出部１６により算出された局所特徴領域における部分領域別の２次元特徴量が後述の局所特徴量登録部１８により局所特徴量データ１３ａとして記憶部１３へ登録される。なお、ここでは、局所特徴量を事前登録する段階で２次元特徴量を導出する場合を説明したが、局所特徴量データ１３ａを用いて対象物を探索する段階でも同様にして２次元特徴量が導出される。

図２の説明に戻り、３次元特徴量導出部１７は、ステレオ画像間で対応する局所特徴領域の３次元特徴量を導出する処理部であり、対応点検出部１７ａと、視差検出部１７ｂとをさらに有する。

対応点検出部１７ａは、入力画像Ｌの特徴点に対応する入力画像Ｒにおける特徴点位置を対応点として検出する処理部である。かかる対応点の検出には、テンプレートマッチングなどの公知の技術を任意に選択して適用できる。

視差検出部１７ｂは、ステレオ画像間で対応する特徴点を対象にその局所特徴領域に含まれる部分領域間の視差を検出する処理部である。図５は、部分領域間における視差の検出要領を示す図である。図５に示す符号４０Ｌは、カメラ１２Ｌから入力された入力画像である。図５に示す符号４０Ｒは、カメラ１２Ｒから入力された入力画像である。図５に示す符号４１Ｌは、入力画像Ｌに映る３次元物体の凸部分を示す。図５に示す符号４１Ｒは、入力画像Ｒに映る３次元物体の凸部分を示す。図５に示す符号４２Ｌは、凸部分４１Ｌの右上コーナーの部分領域を示す。図５に示す符号４２Ｒは、凸部分４１Ｒの右上コーナーの部分領域を示す。図５に示す符号Ｐは、部分領域４２Ｌ及び部分領域４２Ｒの相対視差を示す。

図５に示す例で言えば、視差検出部１７ｂは、一方の入力画像Ｌの部分領域４２Ｌをテンプレートとして他方の入力画像Ｒの局所特徴領域の近傍をテンプレートマッチングすることにより入力画像Ｒの部分領域４２Ｒを探索する。このとき、視差検出部１７ｂは、先のテンプレートマッチングにより得たマッチング結果のうち最も類似度が高いものを入力画像Ｌの部分領域４２Ｌに対応する部分領域とみなす。そして、視差検出部１７ｂは、部分領域Ｌと部分領域Ｒとの間における左右のズレ量を視差Ｐとして算出する。

このように、部分領域Ｌと部分領域Ｒとの視差は、必ずしも実寸の距離である必要はなく、上述のように画像間のズレという相対的な距離を用いることができる。さらに、部分領域Ｌと部分領域Ｒとの視差は、局所的に求めているだけであるため、３次元形状の正確なモデリングとマッチングのような複雑な処理が不要とできる。

かかる視差検出部１７ｂによる視差の検出後に、３次元特徴量導出部１７は、視差検出部１７ｂによって検出された部分領域間の視差を正規化することにより相対視差を導出する。ここで言う「相対視差」とは、一例として、部分領域間の視差からステレオ画像の全部分領域間の視差の平均値または全部分領域間で最も頻度の高い視差を差し引く演算を行うことにより正規化された視差を指す。このようにして３次元特徴量導出部１７により算出された局所特徴領域における部分領域別の相対視差が３次元特徴量とされ、３次元特徴量が後述の局所特徴量登録部１８により局所特徴量データ１３ａとして記憶部１３へ登録される。なお、ここでは、局所特徴量を事前登録する段階で３次元特徴量を導出する場合を説明したが、局所特徴量データ１３ａを用いて対象物を探索する段階でも同様にして３次元特徴量が導出される。

図６Ａ及び図６Ｂは、３次元特徴量の一例を示す図である。これら図６Ａ及び図６Ｂの例では、図３に示した探索対象の３次元物体から導出された相対視差を示す。なお、ステレオ画像の部分領域間で視差が無い場合における相対視差の値はゼロとみなす。また、入力画像Ｌの部分領域が入力画像Ｒの部分領域よりも右にズレる場合、すなわち３次元物体３０の局所的な形状が凸形状である場合における相対視差の値を正と規定する。また、入力画像Ｌの部分領域が入力画像Ｒの部分領域よりも左にズレる場合、すなわち３次元物体３０の局所的な形状が凹形状である場合に相対視差の値を負と規定する。

ここで、図４Ａに示した局所特徴領域３１Ａの２次元特徴量３２Ａおよび図４Ｂに示した局所特徴領域３１Ｂの２次元特徴量３２Ｂは、２次元特徴量導出部１６の説明で述べたように、いずれも（２５５，２５５，０，２５５）と導出されている。一方、局所特徴領域３１Ａの部分領域（３）は凸部分３０Ａに含まれるので、図６Ａに示すように、局所特徴領域３１Ａの３次元特徴量３３Ａは（０，０，１０，０）と算出される。さらに、局所特徴領域３１Ｂの部分領域（３）は凹部分３０Ｂに含まれるので、図６Ｂに示すように、局所特徴領域３１Ｂの３次元特徴量３３Ｂは（０，０，−１０，０）と算出される。

このように、２次元特徴量だけでは殆ど違いが現れないような場合でも、３次元特徴量では明確な差異が現れることになる。それゆえ、２次元特徴量及び３次元特徴量を用いて特徴点のマッチングを行う場合には、図３に示した凸部分３０Ａにおける右上コーナーの特徴点と、凹部分３０Ｂにおける右上コーナーの特徴点とが対応すると判定されることを防止できる。

また、３次元特徴量導出部１７は、局所特徴領域に含まれる全ての部分領域の３次元特徴量を画一的に導出することはしない。なぜなら、３次元特徴量を画一的に導出したのでは、３次元特徴量の計算コストが増大するからである。

このため、３次元特徴量導出部１７は、２次元特徴量導出部１６によって導出された局所特徴領域の２次元特徴量を用いて、複数の部分領域のうち３次元特徴量の導出対象とする部分領域を限定した上で３次元特徴量を導出する。

一例としては、３次元特徴量導出部１７は、２次元特徴量導出部１６によって部分領域ごとに導出された輝度分散が所定の除外閾値よりも小さい部分領域を３次元特徴量の導出対象から除外する。すなわち、輝度分散が極端に小さいケースでは、その部分領域内の輝度の変化が殆ど無い、すなわちマッチングに利用できる模様が殆ど無いことを意味する。このような部分領域の視差を検出したとしても信頼できる正しい値が得られる可能性は低い。それゆえ、輝度分散が極端に小さい部分領域は、３次元特徴量の導出対象から除外することにより３次元特徴量の演算量を削減する。なお、部分領域の輝度分散自体は、２次元特徴量としては類似度算出において十分に有用な情報であり、２次元特徴量として輝度分散を保持することを妨げるものではない。

図７Ａは、２次元特徴量の一例を示す図である。また、図７Ｂは、３次元特徴量の一例を示す図である。図７Ａ及び図７Ｂに示す符号５０は、局所特徴領域を示す。図７Ａに示す符号５１は、局所特徴領域５０における部分領域別の輝度分散を示している。また、図７Ｂに示す符号５２は、局所特徴領域５０における部分領域別の相対視差を示している。なお、ここでは、輝度分散と比較する除外閾値が５であるものとして以下の説明を行う。

図７Ａに示すように、３次元特徴量導出部１７は、局所特徴領域５０における部分領域（１）〜（４）の輝度分散が除外閾値「５」以上であるか否を判定する。このとき、部分領域（１）〜（３）の輝度分散は、除外閾値「５」以上であり、マッチングに利用できる模様が存在することが判明する。一方、部分領域（４）の輝度分散は、除外閾値「５」未満であり、マッチングに利用できる模様に乏しいことが判明する。この場合には、３次元特徴量導出部１７は、３次元特徴量の導出対象から部分領域（４）を除外する。その上で、３次元特徴量導出部１７は、ステレオ画像の部分領域間で部分領域（１）〜（３）の相対視差を算出する。

このようにして、局所特徴領域５０における相対視差として（０，０，１０，×）が得られる。このとき、３次元特徴量の導出対象から除外した部分領域または導出対象とした部分領域は、後述の局所特徴量登録部１８により局所特徴量データ１３ａとして記憶部１４へ登録される。これにより、カメラ１２から入力された探索用のステレオ画像から３次元特徴量を導出する段階で部分領域の輝度分散と除外閾値との比較を改めて行うことを不要化できる。

図２の説明に戻り、局所特徴量登録部１８は、ステレオ画像から導出された２次元特徴量及び３次元特徴量を含む局所特徴量を局所特徴量データ１３ａとして記憶部１３へ事前登録する処理部である。なお、局所特徴量データ１３ａの事前登録は、図示しない入力デバイスを介して局所特徴量の事前登録操作を受け付けた場合に実行される。

マッチング処理部１９は、記憶部１３に局所特徴量データ１３ａとして事前登録された特徴点の局所特徴量と、探索用のステレオ画像から導出された局所特徴量とのマッチングを行う処理部である。

これを説明すると、マッチング処理部１９は、局所特徴量データ１３ａとして事前登録された特徴点群の中から１つ特徴点を選択する。そして、マッチング処理部１９は、特徴点群の中から選択した特徴点の局所特徴量と、探索用のステレオ画像の入力に応答して導出した特徴点の局所特徴量との類似度を算出する。これらの２次元特徴量および３次元特徴量を合わせた局所特徴量について、類似度としてベクトル間の相関係数を用いることとした場合には、類似度が最大の場合に相関係数が１を取る。なお、類似度の算出においては、２次元特徴量および３次元特徴量の類似度を個別に求めた後で両者を合算することとしてもよい。

このような処理を探索側の全ての特徴点に対して繰り返す。そして、探索側の全ての特徴点との間で類似度を算出した後に、マッチング処理部１９は、類似度が所定の閾値以上である特徴点が存在するか否かを判定する。

このとき、類似度が所定の閾値以上である特徴点が存在する場合には、マッチング処理部１９は、探索用のステレオ画像の特徴点群のうち、類似度が最大である特徴点同士が対応すると判定する。一方、類似度が所定の閾値以上である特徴点が１つも存在しない場合には、マッチング処理部１９は、事前登録された特徴点群から選択した特徴点に対応するものが探索用のステレオ画像中に存在しないものと判定する。なお、ここでは、探索側の全ての特徴点との間で類似度を算出する場合を説明したが、閾値以上の特徴点を見つけた時点でマッチング処理を打ち切ることとしてもよい。この場合には、マッチング処理を打ち切らない場合よりも閾値を高く設定するのが好ましい。

その後、マッチング処理部１９は、事前登録された特徴点群の中から別の特徴点を１つ選択し、上記と同様に、探索用のステレオ画像の中に今回選択した特徴点に対応する特徴点があるか否かを探索し続ける。なお、探索用のステレオ画像の特徴点は、一度選択した時に導出された局所特徴量を図示しない作業記憶領域に保存しておけば、二回目以降に選択した場合における２次元特徴量及び３次元特徴量の導出処理を省略することもできる。

また、マッチング処理部１９は、事前登録された全ての特徴点群の局所特徴量を対象にマッチング結果が得られるまで上記のマッチング処理を繰り返し行う。その後、マッチング処理部１９は、探索対象物として事前登録していた３次元物体が探索用のステレオ画像中に存在するか否かを判定する。この探索対象物の有無は、マッチング結果として特徴点同士が対応すると判定された特徴点のペアの数が所定の閾値を超えた場合に、探索対象として事前登録していた３次元物体が画像中に存在すると判定する。なお、マッチした特徴点についてその位置関係を判定の条件に加えることも可能である。

なお、図２に示す２次元特徴量導出部１６、３次元特徴量導出部１７及びマッチング処理部１９は、図１に示した２次元特徴量導出部３、３次元特徴量導出部４及びマッチング処理部５にそれぞれ対応する。また、図２に示すカメラ１２Ｌ及びカメラ１２Ｒは、図１に示した画像取得部２に対応する。先の図１に示した画像取得部２は、図２に示すカメラ１２Ｌ及びカメラ１２Ｒにも対応するが、ステレオ画像を取得するための機能部の一態様に過ぎない。他の一例としては、所定のインタフェースまたはネットワークを介して接続された外部装置からステレオ画像を取得する機能部に置き換えることとしてもよい。

［処理の流れ］
次に、本実施例に係る画像処理装置の処理の流れについて説明する。なお、ここでは、画像処理装置１０によって実行される（１）局所特徴量の事前登録処理を説明してから、（２）対象物探索処理を説明することとする。

（１）局所特徴量の事前登録処理
図８は、実施例２に係る局所特徴量の事前登録処理の手順を示すフローチャートである。この処理は、図示しない入力デバイスを介して局所特徴量の事前登録操作を受け付けた場合に起動する。

図８に示すように、カメラ１２からステレオ画像を受け付けると（ステップＳ１０１）、特徴点抽出部１５は、カメラ１２から入力されるステレオ画像のうち入力画像Ｌから特徴点群を抽出する（ステップＳ１０２）。

その後、対応点検出部１７ａは、ステップＳ１０２で抽出した特徴点群の中から特徴点を１つ選択する（ステップＳ１０３）。続いて、２次元特徴量導出部１６は、局所特徴領域の２次元特徴量を導出する（ステップＳ１０４）。

そして、対応点検出部１７ａは、入力画像Ｌの特徴点に対応する入力画像Ｒにおける特徴点位置を対応点として検出する（ステップＳ１０５）。続いて、視差検出部１７ｂは、ステレオ画像間で対応する特徴点を対象にその局所特徴領域に含まれる部分領域間の視差を検出する（ステップＳ１０６）。そして、３次元特徴量導出部１７は、視差検出部１７ｂによって検出された部分領域間の視差を正規化することにより３次元特徴量を導出する（ステップＳ１０７）。

その後、入力画像Ｌの特徴点群に対して２次元特徴量及び３次元特徴量の導出を実行するまで（ステップＳ１０８否定）、上記のステップＳ１０３〜ステップＳ１０７までの処理を繰り返し行う。

そして、入力画像Ｌの特徴点群に対して２次元特徴量及び３次元特徴量の導出を実行すると（ステップＳ１０８肯定）、局所特徴量登録部１８は、次のような処理を行う。すなわち、局所特徴量登録部１８は、ステレオ画像から導出された２次元特徴量及び３次元特徴量を含む局所特徴量を局所特徴量データ１３ａとして記憶部１３へ登録し（ステップＳ１０９）、処理を終了する。

（２）対象物探索処理
図９は、実施例２に係る対象物探索処理の手順を示すフローチャートである。この処理は、図示しない入力デバイスを介して局所特徴量の事前登録操作を受け付けるとなく、カメラ１２からステレオ画像が入力された場合に、ステレオ画像が探索用であるものと判断して起動する。

図９に示すように、カメラ１２から探索用のステレオ画像を受け付けると（ステップＳ３０１）、特徴点抽出部１５は、探索用のステレオ画像のうち入力画像Ｌから特徴点群を抽出する（ステップＳ３０２）。

そして、マッチング処理部１９は、局所特徴量データ１３ａとして事前登録された特徴点群の中から１つ特徴点を選択する（ステップＳ３０３）。その後、対応点検出部１７ａは、ステップＳ３０２で抽出した探索用のステレオ画像の特徴点群の中から特徴点を１つ選択する（ステップＳ３０４）。続いて、２次元特徴量導出部１６は、局所特徴領域の２次元特徴量を導出する（ステップＳ３０５）。

その後、対応点検出部１７ａは、入力画像Ｌの特徴点に対応する入力画像Ｒにおける特徴点位置を対応点として検出する（ステップＳ３０６）。続いて、視差検出部１７ｂは、ステレオ画像間で対応する特徴点を対象にその局所特徴領域に含まれる部分領域間の視差を検出する（ステップＳ３０７）。そして、３次元特徴量導出部１７は、視差検出部１７ｂによって検出された部分領域間の視差を正規化することにより３次元特徴量を導出する（ステップＳ３０８）。

ここで、マッチング処理部１９は、事前登録された特徴点の局所特徴量と、探索用のステレオ画像の特徴点の局所特徴量との類似度を算出する（ステップＳ３０９）。そして、探索側の全ての特徴点との間で類似度を算出するまで（ステップＳ３１０否定）、上記のステップＳ３０４〜ステップＳ３０９までの処理を繰り返し行う。

その後、探索側の全ての特徴点との間で類似度を算出すると（ステップＳ３１０肯定）、マッチング処理部１９は、類似度が所定の閾値以上である特徴点が存在するか否かを判定する（ステップＳ３１１）。

このとき、類似度が所定の閾値以上である特徴点が存在する場合（ステップＳ３１１肯定）には、マッチング処理部１９は、探索用のステレオ画像の特徴点群のうち、類似度が最大である特徴点同士が対応すると判定する（ステップＳ３１２）。一方、類似度が所定の閾値以上である特徴点が存在しない場合（ステップＳ３１１否定）には、マッチング処理部１９は、事前登録された特徴点群から選択した特徴点に対応するものが探索用のステレオ画像中に存在しないものと判定する（ステップＳ３１３）。

その後、事前登録された全ての特徴点群の局所特徴量を対象にマッチング結果が得られるまで（ステップＳ３１４否定）、上記のステップＳ３０３〜ステップＳ３１３までの処理を繰り返し行う。

そして、事前登録された全ての特徴点群の局所特徴量を対象にマッチング結果が得られると（ステップＳ３１４肯定）、マッチング処理部１９は、次のような処理を行う。すなわち、マッチング処理部１９は、探索対象物として事前登録していた３次元物体が探索用のステレオ画像中に存在するか否かを判定し（ステップＳ３１５）、処理を終了する。なお、探索対象とする３次元物体が複数ある場合には、上記のフローチャートの処理を再度実行する。

［実施例２の効果］
上述してきたように、本実施例に係る画像処理装置１０は、１つの画像から得られる２次元特徴量だけでなく、ステレオ画像間の視差から対象物の局所的な凹凸の特徴を３次元特徴量として導出した上でマッチングを行う。かかる３次元特徴量は、対象物が画像に収まる向きや大きさ、照明の当たり方などが変化しても平面的な特徴だけを表現する２次元特徴量に比較してその変化は少ない。

それゆえ、本実施例に係る画像処理装置１０では、画像に対する対象物の収まり方が変化しても、２次元特徴量を用いただけでは誤った特徴点同士がマッチング結果とされる誤対応を３次元特徴量の使用により防止できる。したがって、本実施例に係る画像処理装置１０によれば、画像探索のロバスト性を向上させることが可能になる。一例として、本実施例に係る画像処理装置１０は、３次元特徴量を用いて特徴点間のマッチングを行うので、探索用のステレオ画像中の対象物が実際の物体なのか印刷された絵なのかを明確に区別する場合に有用である。

図１０は、実施例２に係る効果を説明するための図である。図１０に示す符号６０は、探索対象物である３次元物体を示す。図１０に示す符号６０Ａは、３次元物体３０において手前に向かって出っ張った白塗り凸部分を示す。図１０に示す符号６０Ｂは、３次元物体３０において手前に向かって出っ張った網掛け凸部分を示す。図１０に示す符号６０Ｃは、３次元物体３０上において凹凸なしの平坦網掛け部分を指す。図１０に示す符号６１Ａ、符号６１Ｂ及び符号６１Ｃは、カメラ１２Ｌにより３次元物体３０が撮像された場合に特徴点抽出部１５により特徴点から規定される局所特徴領域を示す。なお、図１０に示す例では、特徴点抽出部１５により局所特徴領域の形状として円形が規定される場合を示す。

図１０に示す３次元物体６０がカメラ１２Ｌにより撮像されると、入力画像Ｌには、凸部分を有する四角形が２つ映るとともに低輝度の四角形が２つ映ることになる。このとき、入力画像Ｌに対するコーナー検出処理を通じて３つの四角形の４隅のコーナーが特徴点群として特徴点抽出部１５により抽出されるとともに図中丸印の領域が特徴点抽出部１５により局所特徴領域として設定される。

ここで、２次元特徴量だけを用いて局所特徴量のマッチングを行った場合には、局所特徴領域６１Ｂと局所特徴量６１Ｃとの間でマッチングの誤対応が生じるおそれがある。さらに、３次元特徴量だけを用いて局所特徴量のマッチングを行った場合にも、局所特徴領域６１Ａと局所特徴量６１Ｂとの間でマッチングの誤対応が生じるおそれがある。しかしながら、本実施例に係る画像処理装置１０のように、２次元特徴量及び３次元特徴量を用いて局所特徴量のマッチングを行った場合には、局所特徴量６１Ａ、局所特徴領域６１Ｂ及び局所特徴量６１Ｃの間でマッチングの誤対応が生じるおそれはない。

このため、２次元特徴量と３次元特徴量を組み合わせた局所特徴量によって、類似度演算に基づく識別能力を向上させ、誤検出を減少させることが可能となる。また、局所的な凹凸は照明や向きやサイズ変化によって変化し難いため、ロバストなマッチングが実現できる。

また、本実施例に係る画像処理装置１０は、局所特徴領域の２次元特徴量を用いて、局所特徴領域から分割される複数の部分領域のうち３次元特徴量の導出対象とする部分領域を限定した上で３次元特徴量を導出する。このため、本実施例に係る画像処理装置１０によれば、３次元特徴量の演算量を削減することが可能になる。

さらに、本実施例に係る画像処理装置１０は、複数の画像間で対応する局所特徴領域の画像を比較することにより物体に対する視点の相違から得られる相対視差を３次元特徴量として導出する。それゆえ、本実施例に係る画像処理装置１０によれば、部分領域の絶対的な距離を実測せずとも視差演算により３次元特徴量を導出することが可能になる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

（１）色ごとの相対視差
上記の実施例２に係る画像処理装置１０では、局所特徴領域の画像に含まれる色ごとに３次元特徴量を導出することもできる。一例として、２次元特徴量として色ヒストグラムを用いるとともに３次元特徴量として色ごとの相対視差を用いる場合を想定する。色ヒストグラムは色相ごとの度数（画素数）を数えて特徴量としたものである。ある局所特徴領域が複数の色の領域に分割される場合には、色に応じた奥行きの違いを局所的な特徴として利用できる。

図１１Ａ及び図１１Ｂは、色ヒストグラムの一例を示す図である。図１１Ｃ及び図１１Ｄは、相対視差のヒストグラムの一例を示す図である。図１１Ａ及び図１１Ｂのグラフにおける縦軸は画素の度数であり、また、横軸は色相である。図１１Ｃ及び図１１Ｄのグラフに示す縦軸は相対視差であり、また、横軸は色相である。

このように、図１１Ａ及び図１１Ｂに示す２次元特徴量だけでは殆ど違いが現れないような場合でも、図１１Ｃ及び図１１Ｄに示す３次元特徴量では明確な差異が現れることになる。例えば、人の顔全体を局所特徴領域と見た場合には、顔の肌色に比べて唇の赤色が手前側となり、目などの黒色が奥側に位置するといった色と相対視差の関係、すなわち手前から順に赤色、肌色、黒色という関係を不変な３次元的特徴として捉えられる。

図１２は、相対視差のヒストグラムの一例を示す図である。図１２に示す左側のグラフは、赤色における視差のヒストグラムである。この左側のグラフは、縦軸が度数を示し、横軸が視差を示す。図１２に示す右側のグラフは、図１１Ｃに示した色別の相対視差のヒストグラムと同じものであり、一番左の赤色のヒストグラム以外は点線で表記している。ここで、赤色の相対視差を導出する場合には、図１２の左側の赤色における視差のヒストグラムのうち最大度数の相対視差を代表値として採用する。この赤色の代表値から赤色の（１）〜（６）の視差の度数の平均を差し引くことにより正規化したものが一番左の赤色の相対視差となる。このようにして他の色についても色別に相対視差を導出できる。なお、相対視差を導出する際には、色ヒストグラムにおいて度数が所定の閾値よりも少ない色についてはノイズの可能性もあることから、相対視差を導出しないようにしてもよい。

このように、局所特徴領域の画像に含まれる色ごとに３次元特徴量を導出することで、特徴点間でより繊細なマッチングを実現でき、マッチング処理の精度を向上させることができる。

（２）エッジ方位に基づく導出対象の限定
上記の実施例２に係る画像処理装置１０は、局所特徴領域の２次元特徴量として、局所特徴領域の画像から検出されるエッジの方位または輝度の勾配を部分領域ごとに導出する。その上で、画像処理装置１０は、部分領域ごとに導出したエッジの方位または輝度の勾配が所定の除外条件を満たす部分領域を３次元特徴量の導出対象から除外した上で３次元特徴量を導出するようにしてもよい。

図１３Ａは、エッジ方位が垂直方向である場合における視差の現れ方を示す図である。また、図１３Ａに示す符号７０は、垂線を示す。図１３Ａに示す符号７１は、視差ゼロの距離を示す。図１３Ａに示す符号７０Ｌは、カメラ画像Ｌに映る垂線の画像を示す。図１３Ａに示す符号７０Ｒは、カメラ画像Ｒに映る垂線の画像を示す。図１３Ｂに示す符号７１は、視差ゼロの距離における垂線を示す。図１３Ｂは、エッジ方位が水平方向である場合における視差の現れ方を示す図である。図１３Ｂに示す符号８０は、水平直線を示す。図１３Ｂに示す符号８０Ｌは、カメラ画像Ｌに映る水平直線の画像を示す。図１３Ｂに示す符号８０Ｒは、カメラ画像Ｒに映る水平直線の画像を示す。

図１３Ａに示す例では、カメラ画像Ｌに映る垂線の画像７０Ｌ及びカメラ画像Ｒに映る垂線の画像７０Ｒの視差は、視差ゼロの距離における垂線７１をはさんで線対称に顕在化することがわかる。一方、図１３Ｂに示す例では、カメラ画像Ｌに映る水平直線の画像８０及びカメラ画像Ｒに映る水平直線の画像８０Ｒの間では、左右にカメラを配設した場合には視差が生じない。このように、エッジ方位が水平方向である場合には、原理的に不可能であるので、部分領域ごとに導出されたエッジ方位が水平方向である部分領域を３次元特徴量の導出対象から除外する。

図１４は、エッジ方位の検出例を示す図である。図１５Ａは、２次元特徴量の一例を示す図である。また、図１５Ｂは、３次元特徴量の一例を示す図である。図１４に示す符号９０は、カメラ画像Ｒを示す。図１４に示す符号９１は、３次元物体において手前に向かって出っ張った凸部分を示す。図１４に示す符号９１Ａは、カメラ１２Ｌにより３次元物体が撮像された場合に特徴点抽出部１５により特徴点から規定される局所特徴領域を示す。図１５Ａ及び図１５Ｂに示す符号９１Ａは、局所特徴領域を示す。図１５Ａに示す符号９２Ａは、局所特徴領域９１Ａにおける部分領域別のエッジ方位を示している。また、図１５Ｂに示す符号９３Ａは、局所特徴領域９１Ａにおける部分領域別の相対視差を示している。なお、ここでは、エッジ方位と比較する除外角度が０°（水平方向）であるものとして以下の説明を行う。

図１５Ａに示すように、３次元特徴量導出部１７は、局所特徴領域９１Ａにおける部分領域（１）〜（４）のエッジ方位が除外角度「０°」であるか否を判定する。このとき、部分領域（１）、（２）及び（４）のエッジ方位は、除外角度「０°」から離れておりマッチングに利用できる模様が存在することが判明する。一方、部分領域（３）のエッジ方位は、除外角度「０°」であり、マッチングに利用できないことが判明する。この場合には、３次元特徴量導出部１７は、３次元特徴量の導出対象から部分領域（３）を除外する。その上で、３次元特徴量導出部１７は、ステレオ画像の部分領域間で部分領域（１）、（２）及び（４）の相対視差を算出する。

このようにして、局所特徴領域９１Ａにおける相対視差として（５，５，×，−５）が得られる。このとき、３次元特徴量の導出対象から除外した部分領域または導出対象とした部分領域は、後述の局所特徴量登録部１８により局所特徴量データ１３ａとして記憶部１４へ登録される。これにより、カメラ１２から入力された探索用のステレオ画像から３次元特徴量を導出する段階で部分領域のエッジ方位と除外角度との比較を改めて行うことを不要化できる。

このように、部分領域ごとに導出されたエッジ方位が水平方向である部分領域を３次元特徴量の導出対象から除外することで、３次元特徴量の演算量を削減することが可能になる。

なお、上記の（１）及び（２）の組合せ、局所特徴量として色ヒストグラムとエッジ方位の両方を利用することもできる。いずれか一方だけでは区別できない局所特徴領域も、色と視差、および、エッジ方位と視差の２種類の３次元特徴量により、十分に識別することが可能になる。さらに、色−エッジ方位の２次元特徴量も加えることができ、識別能力を更に高めることができる。

（３）相対視差における符号のみの使用
上記の実施例２に係る画像処理装置１０は、３次元特徴量の相対視差の利用方法として、遠近の符合のみを用いることもできる。局所領域の平均的な奥行きよりも近ければ＋１、遠ければ−１として簡略化して類似度を求める。マッチングのロバスト性を保ったままリソースの削減が可能である。

（４）対応点の予測
上記の実施例２に係る画像処理装置１０は、ステレオ画像間で特徴点の対応を求める際に、一方の画像で既に求めた２次元特徴量を利用する方法も可能である。一方の画像の特徴点に対応すると思われる予測範囲をもう一方の画像で推定する。その対応予測範囲内で少しずつずらしながら局所領域を設定し、それぞれの２次元特徴量を求める。ステレオ画像間で２次元特徴量の類似度を計算し、最も類似度の高い位置をステレオ対応点として決定する。

この方法では、対応点探索を行う複数の位置で２次元特徴量を求めるため、その分の計算コストが増加するが、単純なテンプレートマッチングではなく不変的な特徴量に変換した後での対応点検出となるのでロバスト性が向上する。左右カメラの間隔が広い場合などステレオ画像間で見え方の違いが大きい場合には、この方法によってステレオ対応点の検出精度を高めることができる。

［その他］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、画像処理装置１０がカメラ１２Ｌ及びカメラ１２Ｒを有する場合を説明したが、ネットワークを介して接続される外部装置、外部記録媒体からステレオ画像を取得することとしてもかまわない。

［画像処理プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１６を用いて、上記の実施例と同様の機能を有する画像処理プログラムを実行するコンピュータの一例について説明する。なお、図１６は、実施例３に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。

図１６に示すように、実施例３におけるコンピュータ１００は、操作部１１０ａと、カメラ１１０ｂと、スピーカ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ（Hard Disk Drive）１７０と、ＲＡＭ（Random Access Memory）１８０と有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

ＲＯＭ１６０には、上記の実施例２で示した特徴点抽出部１５と、２次元特徴量導出部１６と、３次元特徴量導出部１７と、局所特徴量登録部１８と、マッチング処理部１９と同様の機能を発揮する制御プログラムが予め記憶される。つまり、ＲＯＭ１６０には、図１６に示すように、特徴点抽出プログラム１６０ａと、２次元特徴量導出プログラム１６０ｂと、３次元特徴量導出プログラム１６０ｃと、局所特徴量登録プログラム１６０ｄと、マッチング処理プログラム１６０ｅとが記憶される。なお、これらのプログラム１６０ａ〜１６０ｅについては、図２に示した画像処理装置の各構成要素と同様、適宜統合又は分離しても良い。

そして、ＣＰＵ１５０が、これらのプログラム１６０ａ〜１６０ｅをＲＯＭ１６０から読み出して実行する。これによって、ＣＰＵ１５０は、図１６に示すように、各プログラム１６０ａ〜１６０ｅについては、特徴点抽出プロセス１５０ａ、２次元特徴量導出プロセス１５０ｂ及び３次元特徴量導出プロセス１５０ｃとして機能するようになる。さらに、ＣＰＵ１５０は、局所特徴量登録プロセス１５０ｄ及びマッチング処理プロセス１５０ｅとして機能するようになる。なお、各プロセス１５０ａ〜１５０ｅは、図２に示した特徴点抽出部１５と、２次元特徴量導出部１６と、３次元特徴量導出部１７と、局所特徴量登録部１８と、マッチング処理部１９とにそれぞれ対応する。

そして、ＨＤＤ１７０には、局所特徴量データ１７０ａが設けられる。なお、この局所特徴量データ１７０ａは、図２に示した局所特徴量データ１３ａに対応する。

そして、ＣＰＵ１５０は、局所特徴量データ１７０ａを読み出してＲＡＭ１８０に格納する。さらに、ＣＰＵ１５０は、ＲＡＭ１８０に格納された局所特徴量データ１８０ａを用いて、画像処理プログラムを実行する。

なお、上記したデータ再現プログラムについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。

１ 画像処理装置
２ 画像取得部
３ ２次元特徴量導出部
４ ３次元特徴量導出部
５ マッチング処理部
１０ 画像処理装置
１１ 表示部
１２Ｌ，１２Ｒ カメラ
１３ 記憶部
１３ａ 局所特徴量データ
１４ 制御部
１５ 特徴点抽出部
１６ ２次元特徴量導出部
１７ ３次元特徴量導出部
１７ａ 対応点検出部
１７ｂ 視差検出部
１８ 局所特徴量登録部
１９ マッチング処理部

Claims (6)

1. 同一の物体が異なる視点で画像内に収められた複数の画像を取得する画像取得部と、
   前記画像取得部によって取得された画像のうち少なくとも１つの画像から得られる特徴点の周辺領域を局所特徴領域とし、当該局所特徴領域の画像から２次元特徴量を導出する２次元特徴量導出部と、
   前記画像取得部によって取得された複数の画像から前記局所特徴領域における物体の視差に基づく３次元特徴量を導出する３次元特徴量導出部と、
   前記２次元特徴量導出部によって導出された２次元特徴量および前記３次元特徴量導出部によって導出された３次元特徴量を用いて、特徴点間のマッチングを行うマッチング処理部と
   を有することを特徴とする画像処理装置。
2. 前記３次元特徴量導出部は、前記２次元特徴量導出部によって導出された局所特徴領域の２次元特徴量を用いて、前記局所特徴領域から分割される複数の部分領域のうち前記３次元特徴量の導出対象とする部分領域を限定した上で前記３次元特徴量を導出することを特徴とする請求項１に記載の画像処理装置。
3. 前記２次元特徴量導出部は、前記２次元特徴量導出部によって導出された局所特徴領域の２次元特徴量として、前記局所特徴領域の画像から検出されるエッジの方位または輝度の勾配を前記部分領域ごとに導出し、
   前記３次元特徴量導出部は、前記２次元特徴量導出部によって部分領域ごとに導出されたエッジの方位または輝度の勾配が所定の除外条件を満たす部分領域を前記３次元特徴量の導出対象から除外した上で前記３次元特徴量を導出することを特徴とする請求項２に記載の画像処理装置。
4. 前記３次元特徴量導出部は、複数の画像間で対応する局所特徴領域の画像を比較することにより前記物体に対する視点の相違から得られる相対視差を前記３次元特徴量として導出することを特徴とする請求項１、２または３に記載の画像処理装置。
5. 前記３次元特徴量導出部は、前記局所特徴領域の画像に含まれる色ごとに前記３次元特徴量を導出することを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
6. コンピュータに、
   同一の物体が異なる視点で画像内に収められた複数の画像を取得する画像取得手順と、
   前記画像取得手順によって取得された画像のうち少なくとも１つの画像から得られる特徴点の周辺領域を局所特徴領域とし、当該局所特徴領域の画像から２次元特徴量を導出する２次元特徴量導出手順と、
   前記画像取得手順によって取得された複数の画像から前記局所特徴領域における物体の視差に基づく３次元特徴量を導出する３次元特徴量導出手順と、
   前記２次元特徴量導出手順によって導出された２次元特徴量および前記３次元特徴量導出手順によって導出された３次元特徴量を用いて、特徴点間のマッチングを行うマッチング処理手順と
   を実行させることを特徴とする画像処理プログラム。

Images