JP5954712B2 - 画像処理装置、画像処理方法、及びそのプログラム - Google Patents

Description

本発明は、画像処理装置等に関する。特に、画像の位置合わせをする画像処理装置等に関する。

画像から特徴点を検出する技術、及び検出した特徴点から所定の条件を満たす特徴点を抽出する技術が知られている。以後、特徴点の検出及び抽出を、単に、特徴点の抽出ともいう。特徴点を抽出する技術は、例えば、画像のマッチング、画像に含まれる特定オブジェクトの認識、画像の位置合わせ、及び３Ｄ画像生成時のキャリブレーションなどの分野において広く用いられている。

これらの分野においては、同一の物体を異なる視点から撮影した複数の画像のそれぞれに対して、特徴点を抽出した後、異なる画像間で対応する特徴点のペアであるマッチングポイントを見つける。

すなわち、マッチングポイントとは、異なる画像間において同一の空間位置を表す点のペアである。

例えば、所定の視差を有する２枚の画像から立体視用の画像を生成する場合を考える。ここで、２枚の画像には、立体視に必要な、視聴者から見た水平方向の視差に加え、レンズの組み付け誤差や撮影時のブレ等により生じる垂直方向の視差が含まれうる。垂直方向の視差は、快適な立体視を妨げる要因となる。したがって、垂直方向の視差を抑制するように一方の画像を他方の画像にあわせて変換する処理が一般に行われる。具体的には、対応する特徴点間の垂直位置の差がより小さくなるように、一定の条件に基づいて一方の画像を他方にワープするためのワープ行列を生成することが必要である。

したがって、画像の位置合わせにおいては、まず、２枚の画像それぞれから特徴点を抽出する。次に、抽出した特徴点のうち、２枚の画像間で対応するマッチングペアを見つける。その後、マッチングペアに含まれる垂直視差を抑制するようにワープ行列を生成する。最後に、一方の画像にワープ行列による変換処理を施す。これにより、好適な立体視画像を生成できる。

画像から特徴点を抽出するには多くの方法が知られている。例えば、回転及び拡大・縮小等の変換に不変な特徴量であるＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量、又はＳＵＲＦ（Ｓｐｅｅｄｅｄ−ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅ）特徴量等を用いた、種々の特徴点の抽出方法が知られている。

例えば、特許文献１（米国特許出願公開第２００９／００５２７８０号明細書）には、マルチプロセッサシステム用に画像を複数の領域に分割する技術が記載されている。この文献では、ＳＩＦＴによる特徴の抽出にＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）を用いている。ここでは、各領域から抽出される特徴点の数は可変であり、これはＤｏＧの閾値によって決定される。

また、特許文献２（米国特許第５７３１８５１号明細書）には、特徴点に基づく動き補償方式が記載されている。移動オブジェクトの特徴点をある領域内で検索し、これらの特徴点に関連付けられているグリッドが、符号化用に階層構造で形成される。

また、特許文献３（米国特許第５６１７４５９号明細書）には、１つのオブジェクトの輪郭における複数の特徴点を抽出する方法が記載されている。

米国特許出願公開第２００９／００５２７８０号明細書 米国特許第５７３１８５１号明細書 米国特許第５６１７４５９号明細書

しかしながら、上記いずれの従来技術によっても、１枚の画像から抽出される特徴点の画像内における位置の分布が不均一となるために、画像の位置合わせの精度が低下するという課題がある。

従来技術に係る特徴点の抽出処理においては、まず画像に含まれる複数の点における特徴量を算出する。その後、特徴量の値が所定の閾値よりも大きな点を、特徴点として抽出する。

ここで、ある点におけるコントラストが高いほど、当該点の特徴量の値は大きくなる。したがって、１枚の画像において、コントラストが高い部分からは多くの特徴点が抽出されるが、コントラストが低い部分からはほとんど特徴点が抽出されない。その結果、ほとんど特徴点が抽出されなかった部分において、画像の位置合わせの精度が低下してしまう。

そこで、本発明は、画像の位置合わせの精度をより向上させる画像処理装置を提供することを目的とする。

本発明に係る画像処理装置の一態様は、同一の物体を異なる視点から撮影した画像である第１画像と第２画像との垂直方向の視差を抑制する位置合わせをするための特徴点を抽出する画像処理装置であって、前記第１画像及び前記第２画像のそれぞれを、複数のサブ領域へ分割する分割部と、前記サブ領域ごとに、特徴点の抽出処理を行う抽出部とを備え、前記抽出部は、前記抽出処理により抽出される前記特徴点の数の、前記複数のサブ領域間におけるばらつき度合いを示す値が、事前に定められた値以下となるように、前記特徴点の抽出処理を行い、前記抽出部は、前記複数のサブ領域の各々において、当該サブ領域に含まれる複数の画素のそれぞれに対応する特徴量を算出する特徴量算出部と、前記複数の画素のうち、対応する特徴量が事前に定められた特徴点閾値以上となる画素を特徴点として抽出する特徴点抽出部と、前記複数のサブ領域の各々において、前記特徴点抽出部によって抽出された特徴点の数と事前に定められた数Ｎとの差が前記所定値以下となるように、当該サブ領域における前記特徴点閾値の大きさを調整する調整部と、前記調整部により前記特徴点閾値の大きさを調整しても前記特徴点抽出部において前記Ｎとの差が所定値以下となる個数だけ前記特徴点の抽出処理ができない場合、前記特徴点抽出部によって抽出された前記特徴点に基づいて、前記複数のサブ領域のうち第１サブ領域に仮想特徴点を生成する仮想特徴点生成部とを有し、前記仮想特徴点生成部は、前記第１サブ領域において、抽出された特徴点の数と前記仮想特徴点の数との合計値と、前記Ｎとの差が前記所定値以下となる個数だけ、前記仮想特徴点を生成する画像処理装置である。

この構成によると、画像処理装置は、サブ領域ごとに抽出される特徴点の数にばらつきを抑えるように、特徴点を抽出する。したがって、画像内で均一に分布するように特徴点を抽出することができる。その結果、画像処理装置は、画像の位置合わせの精度をより向上させることができる。

なお、本発明は、このような画像処理装置として実現できるだけでなく、画像処理装置に含まれる特徴的な手段をステップとする画像処理方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのはいうまでもない。

さらに、本発明は、このような画像処理装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような画像処理装置を含む画像処理システムとして実現したりできる。

画像内で均一に分布するように特徴点を抽出することにより、画像の位置合わせの精度をより向上させる画像処理装置を提供できる。

図１は、画像内に分布する強い特徴と弱い特徴とを示す概念図である。 図２は、本発明の実施の形態１に係る画像処理装置の機能ブロックを示す図である。 図３は、本発明の実施の形態１に係る画像処理装置が行う全体の処理を示すフローチャートである。 図４Ａは、ある画像に含まれる複数の特徴点の位置を示す図である。 図４Ｂは、従来技術により図４Ａに示される画像から特徴点を抽出した結果を示す図である。 図４Ｃは、本発明の実施の形態１に係る画像処理装置により、図４Ａに示される画像から特徴点を抽出した結果を示す図である。 図５は、本発明の実施の形態１に係る抽出部の機能ブロックを示す図である。 図６は、本発明の実施の形態１に係る画像処理装置の処理の流れをより詳細に説明するフローチャートである。 図７は、図６のステップＳ３０８ａにおいて抽出部が行う処理をより詳細に説明するフローチャートである。 図８は、調整部がコントラストを調整することにより適応的に特徴点を抽出する場合における、画像処理装置が行う処理の流れを示すフローチャートである。 図９は、図８のステップＳ３０８ｂにおいて抽出部が行う処理をより詳細に説明するフローチャートである。 図１０は、参照画像と対象画像との視差を補正する処理の流れを説明するフローチャートである。 図１１は、本発明の実施の形態２に係る画像処理装置が行う、仮想特徴点を生成する処理を説明する概念図である。 図１２は、実施の形態２に係る画像処理装置が備える抽出部の機能ブロックを示す図である。 図１３は、仮想特徴点生成部の機能ブロックを示す図である。 図１４は、仮想特徴点生成部が行う処理を詳細に説明する概念図である。 図１５は、実施の形態２に係る画像処理装置が行う、仮想特徴点を用いた画像の位置合わせ処理の一例を示す詳細なフローチャートである。 図１６Ａは、実施の形態１に係る画像処理装置による特徴点抽出の結果を示す図である。 図１６Ｂは、図１６Ａで示される特徴点に対して、特徴点のマッチングを行った結果を示す図である。 図１６Ｃは、マッチングさせた特徴点のペアによりズレを修正した２枚の画像を重ね合わせた画像を示す図である。 図１７は、本発明の実施の形態１及び２に係る画像処理装置を実現するコンピュータシステムのハードウェア構成を示すブロック図である。

本発明に係る画像処理装置の一態様は、同一の物体を異なる視点から撮影した画像である第１画像と第２画像との垂直方向の視差を抑制する位置合わせをするための特徴点を抽出する画像処理装置であって、前記第１画像及び前記第２画像のそれぞれを、複数のサブ領域へ分割する分割部と、前記サブ領域ごとに、特徴点の抽出処理を行う抽出部とを備え、前記抽出部は、前記抽出処理により抽出される前記特徴点の数の、前記複数のサブ領域間におけるばらつき度合いを示す値が、事前に定められた値以下となるように、前記特徴点の抽出処理を行う。

この構成によると、画像処理装置は、サブ領域ごとに抽出される特徴点の数にばらつきを抑えるように、特徴点を抽出する。したがって、画像内で均一に分布するように特徴点を抽出することができる。その結果、画像処理装置は、画像の位置合わせの精度をより向上させることができる。

具体的には、さらに、前記特徴点に基づいて、前記第１画像と前記第２画像との位置合わせを行う位置合わせ部を備え、前記位置合わせ部は、前記第１画像及び前記第２画像の一方の画像に含まれる特徴点と、これに対応する特徴点であって、他方の画像に含まれる特徴点とをマッチングさせ、マッチングされた特徴点同士の垂直方向の座標値の差がより小さくなるように、少なくとも一方の画像に対して座標変換を施すとしてもよい。

これによると、画像処理装置は、各サブ領域から抽出する特徴点の数を、一定の範囲に保つことができる。

より具体的には、前記抽出部は、前記複数のサブ領域の各々において、当該サブ領域から抽出した特徴点の数と事前に定められた数Ｎとの差が所定値以下となる個数だけ、前記特徴点の抽出処理を行うとしてもよい。

これによると、画像処理装置１００は、サブ領域ごとに特徴点閾値の大きさを調整することにより、当該サブ領域から抽出される特徴点の数を調整することができる。

また、前記抽出部は、前記複数のサブ領域の各々において、当該サブ領域に含まれる複数の画素のそれぞれに対応する特徴量を算出する特徴量算出部と、前記複数の画素のうち、対応する特徴量が事前に定められた特徴点閾値以上となる画素を特徴点として抽出する特徴点抽出部と、前記複数のサブ領域の各々において、前記特徴点抽出部によって抽出された特徴点の数と前記Ｎとの差が前記所定値以下となるように、当該サブ領域における前記特徴点閾値の大きさを調整する調整部とを有するとしてもよい。

これによると、画像処理装置は、不足する特徴点に代わりに、仮想的な特徴点を生成することができる。したがって、コントラストの変化が少ない画像など、所定の数だけ特徴点を抽出することが困難な画像に対しても、より精度よく画像の位置合わせを行うことができる。

具体的には、前記抽出部は、さらに、前記特徴点抽出部によって抽出された前記特徴点に基づいて、前記複数のサブ領域のうち第１サブ領域に仮想特徴点を生成する仮想特徴点生成部を有し、前記仮想特徴点生成部は、前記第１サブ領域において、抽出された特徴点の数と前記仮想特徴点の数との合計値と、前記Ｎとの差が前記所定値以下となる個数だけ、前記仮想特徴点を生成するとしてもよい。

これによると、画像処理装置は、第１画像で既に抽出された２点に基づき、第１画像及び第２画像において仮想特徴点を生成することができる。

また、前記仮想特徴点生成部は、前記第１画像に含まれる特徴点である第１特徴点と第２特徴点とに基づいて、当該第１画像中の仮想特徴点である第１仮想点を生成する第１仮想点生成部と、当該第１画像における、前記第１仮想点と前記第１特徴点との距離、及び当該第１仮想点と前記第２特徴点との距離の各々を含む参照情報を取得する参照情報取得部と、前記第１特徴点に対応する前記第２画像中の点である第３特徴点と、前記第２特徴点に対応する前記第２画像中の点である第４特徴点とを取得する対応点取得部と、前記参照情報を参照することにより、前記第２画像において前記第１仮想点に対応する仮想特徴点として第２仮想点を生成する第２仮想点生成部とを有するとしてもよい。

これによると、画像処理装置１００は、特徴点閾値を調整する代わりにサブ領域ごとに画像のコントラストを調整することで、抽出される特徴点の数を調整することができる。

また、前記抽出部は、前記複数のサブ領域の各々において、当該サブ領域に含まれる複数の画素のそれぞれに対応する特徴量を算出する特徴量算出部と、前記複数の画素のうち、対応する特徴量が事前に定められた特徴点閾値以上となる画素を特徴点として抽出する特徴点抽出部と、前記複数のサブ領域の各々において、前記特徴点抽出部によって抽出された特徴点の数と前記Ｎとの差が前記所定値以下となるように、当該サブ領域における画像コントラストの大きさを調整する調整部とを有するとしてもよい。

これによると、画像処理装置は、各サブ領域から抽出された特徴点の数のサブ領域ごとの差が一定範囲に収まるように、特徴点を抽出することができる。

また、前記抽出部は、前記複数のサブ領域に含まれる第１のサブ領域から抽出された特徴点の数と、前記第１のサブ領域とは異なる第２のサブ領域から抽出された特徴点の数との差が、事前に定められた閾値以下となるように、前記第１のサブ領域及び前記第２のサブ領域から特徴点の抽出処理を行うとしてもよい。

以下、本発明に係る画像処理装置の実施の形態について、図面を参照しながら詳細に説明する。

なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

（実施の形態１）
図１は、画像内に強い特徴と弱い特徴とが分布する様子を示す。ここで、本発明において、画像の特徴には任意の特徴が利用可能である。例えば、画素ごとのコントラスト値などを画像の特徴として利用することが考えられる。

従来の特徴点抽出においては、ある所定の閾値に基づいて、強い特徴を有する特徴点のみが画像から抽出される。これは、抽出される特徴点の数が多すぎないようにすることを目的としている。

しかし、前述のように、強い特徴が画像内において偏在している場合、画像の一部の領域のみから特徴点が抽出されてしまう。その結果、位置合わせの精度が低下するという問題が生じる。

図２は、この課題を解決する、本実施の形態に係る画像処理装置の機能ブロックを示す。

図２に示される画像処理装置１００は、同一の物体を異なる視点から撮影した画像である第１画像と第２画像とを位置合わせをするために、第１画像と第２画像とから特徴点を抽出する画像処理装置である。第１画像及び第２画像は、例えば、立体視用の左眼用画像及び右眼用画像である。

画像処理装置１００は、分割部１０２と、抽出部１０４と、位置合わせ部１０６とを備える。

分割部１０２は、画像データとして取得した第１画像及び第２画像のそれぞれを、複数のサブ領域へ分割する。

抽出部１０４は、サブ領域ごとに、特徴点の抽出処理を行う。より詳細には、抽出部１０４は、抽出された特徴点の数の、複数のサブ領域間におけるばらつき度合いを示す値が事前に定められた値以下となるように、特徴点の抽出処理を行う。具体的には、抽出部１０４は、サブ領域ごとに、抽出処理により当該サブ領域から抽出される特徴点の数と事前に定められた数Ｎとの差が所定値以下となる個数だけ、特徴点の抽出処理を行う。また、抽出部１０４は、抽出した各特徴点について、特徴記述子を算出する。なお、抽出部１０４が行う具体的な処理については、後述する。

位置合わせ部１０６は、抽出された特徴点に基づいて、第１画像と第２画像との垂直方向の視差がより小さくなるように位置合わせを行う。

具体的には、位置合わせ部１０６は、まず、第１画像及び第２画像の一方の画像に含まれる特徴点と、これに対応する特徴点であって、他方の画像に含まれる特徴点とをマッチングさせる。ここで対応する特徴点とは、同じ空間位置を表す特徴点である。

例えば、第１画像を基準とする場合、位置合わせ部１０６は、第１画像に含まれる特徴点の各々に対して、第２画像に含まれる特徴点のうちで特徴記述子が最も類似する特徴点を探索することで、両画像間の特徴点同士をマッチングさせる。

次に、位置合わせ部１０６は、マッチングされた特徴点同士の垂直方向の座標値の差がより小さくなるように、少なくとも一方の画像に対して座標変換を施す。なお、ここでは、第１画像を基準として、第２画像に対して座標変換を施したとする。その後、位置合わせ部１０６は、第１画像、及び座標変換された第２画像を表すデータを出力する。

なお、画像処理装置１００は、位置合わせ部１０６を備えなくてもよい。この場合、画像処理装置１００は、第１の画像及び第２の画像のそれぞれについて抽出した特徴点の座標値を出力する。位置合わせ部１０６が行う処理は、従来技術に係る処理であるため、例えば、画像処理装置１００の外部装置が、位置合わせ部１０６に相当する処理を行うことで、同様の発明の効果を奏する。また、位置合わせ部１０６は、両画像間の特徴点同士をマッチングさせた後に、座標変換を行わなくてもよい。この場合、位置合わせ部１０６は、マッチングさせた特徴点の座標値のペアを出力する。

図３は、画像処理装置１００が行う全体の処理の一例を示すフローチャートである。

まず、ステップＳ１００において、画像処理装置１００に複数の画像（例えば、第１画像及び第２画像）が入力される。

次に、ステップＳ１０２において、分割部１０２は、入力された各画像を複数のサブ領域に分割する。分割数は特に限定されない。また、第１画像と第２画像とで同様に分割してもよく、又は第１画像と第２画像とで異なる分割を行ってもよい。

次に、ステップＳ１０４において、抽出部１０４は、サブ領域ごとに適応的に変更した閾値を用いて、各サブ領域から連続又は並行して特徴点の抽出処理を行う。

さらに、ステップＳ１０６において、抽出部１０４は、先のステップで抽出された各特徴点に対して、特徴記述子を算出する。

次に、ステップＳ１０８において、位置合わせ部１０６は、異なる画像間で特徴点をマッチングさせる。具体的には、第１の画像に含まれる特徴点の中から選択された、ある特徴点の特徴量記述子と最も類似する特徴量記述子を有する特徴点を、第２の画像に含まれる特徴点の中から選択する。こうして選択された２つの特徴点を、マッチングされた特徴点とする。

その後、ステップＳ１１０において、マッチングされた特徴点の座標値のペアを出力する。なお、位置合わせ部１０６は、ステップＳ１０８において、特徴点のマッチングに代わり、特徴点のトラッキングを行ってもよい。

なお、画像処理装置１００は、ステップＳ１０８及びステップＳ１１０の少なくとも一方の処理を省略してもよい。この場合、外部装置が省略されたステップに相当する処理を行うことで、同様の発明の効果を奏する。

次に、図４Ａ〜図４Ｃを参照して、従来技術により抽出された特徴点と、画像処理装置１００が備える抽出部１０４により抽出された特徴点とを比較する。

図４Ａは、ある画像２００に含まれる特徴点の位置を示す。図４Ａにおいて、特徴点２２２のように、塗りつぶされた三角形で示される特徴点は、特徴が強い（すなわち、特徴点の特徴量が大きい）特徴点を示す。また、特徴点２２４のように、ドットがうたれた三角形で示される特徴点は、特徴が中程度（すなわち、特徴点の特徴量の大きさが中程度）の特徴点を示す。また、特徴点２２６のように、白抜きの三角形で示される特徴点は、特徴が弱い（すなわち、特徴点の特徴量が小さい）特徴点を示す。

図４Ｂは、従来技術により画像２００から特徴点を抽出した結果を示す。従来技術によると、抽出される特徴点の大部分は、特徴が強い特徴点が占めている。これは、従来技術においては、画像２００全体において、所定の閾値以上の特徴量を有する点を特徴点として抽出するためである。その結果、図４Ｂに示されるように、抽出された特徴点が画像２００の右上を中心に偏在している。したがって、このような特徴点を、画像の位置合わせ等の何らかの用途の変換行列の生成に用いると、特徴点の分布が不均一であることによって画像全体が不正確に表わされる。

一方、図４Ｃは、本実施の形態に係る画像処理装置１００により、画像２００から特徴点を抽出した結果を示す。画像処理装置１００によると、画像全体からまんべんなく特徴点が抽出されている。抽出された特徴点は、強い特徴点と、比較的強い（すなわち中程度の）特徴点と、弱い特徴点とを含む。図４Ｃに示されるように、抽出された特徴点の分布が均一であれば、特徴点に基づく画像の位置合わせがより頑健になり、かつ安定する。

次に、図５〜図９を参照して、画像処理装置１００が備える抽出部１０４について、より詳細に説明する。

図５は、本実施の形態に係る抽出部１０４の機能ブロックを示す。

図５に示される様に、抽出部１０４は、特徴量算出部１１２と、特徴点抽出部１１４と、調整部１１６とを有する。

特徴量算出部１１２は、分割部１０２によって分割された複数のサブ領域の各々において、当該サブ領域に含まれる複数の画素のそれぞれに対応する特徴量を算出する。前述の通り、特徴量は任意のものが使用できるが、特徴量算出部１１２は、例えば、画素のコントラスト値等を利用して特徴量を算出する。より具体的には、ＳＩＦＴ特徴量、又はＳＵＲＦ特徴量等の勾配ベースの特徴量等を利用することが考えられる。

特徴点抽出部１１４は、複数の画素のうち、対応する特徴量が事前に定められた特徴点閾値以上となる画素を特徴点として抽出する。その後、特徴点抽出部１１４は抽出した特徴点の座標値を出力する。

調整部１１６は、複数のサブ領域の各々において、特徴点抽出部１１４によって抽出された特徴点の数と抽出すべき特徴点の目標数として事前に定められた値Ｎとの差が所定値以下となるように、当該サブ領域における特徴点閾値の大きさを調整する。

具体的には、調整部１１６は、特徴点抽出部１１４によって抽出された特徴点の数がＮよりも小さかった場合には、特徴点閾値の大きさをより小さくする。逆に、特徴点抽出部１１４によって抽出された特徴点の数がＮよりも大きかった場合には、特徴点閾値の大きさをより大きくする。

図６は、画像処理装置１００の処理の流れをより詳細に説明するフローチャートである。

図６において、まず、ステップＳ３０２において、分割部１０２が、参照画像及び対象画像を複数のサブ領域に分割する。なお、前述の第１画像及び第２画像のうち、一方が参照画像に対応し、他方が対象画像に対応する。

次に、ステップＳ３０４において、抽出部１０４は、参照画像及び対象画像それぞれに含まれる各サブ領域に対してコントラスト値を算出する。抽出部１０４は、このコントラスト値に基づき、ステップＳ３０６において、所定の特徴点閾値を用いてサブ領域ごとに特徴点の抽出処理を行う。なお、この特徴点の抽出処理は、抽出部１０４により、サブ領域ごとに連続して処理してもよく、又はサブ領域同士で並列的に処理してもよい。

次に、ステップＳ３０８ａにおいて、抽出部１０４は、特徴点閾値を適応的に調整することにより、各サブ領域が十分な数の特徴点を有するようにする。なお、抽出部１０４は、サブ領域に含まれる特徴点の数のサブ領域ごとの差が所定値以下となるように、特徴点閾値を調整してもよい。

次に、ステップＳ３１０において、抽出部１０４は、抽出された各特徴点に対して特徴記述子を算出する。特徴記述子とは、例えば、抽出された各特徴点において、方向ごとに特徴量を表現した情報である。特徴量は、例えば、方向ごとに算出した輝度値の勾配を示す情報等である。

次に、ステップＳ３１２において、位置合わせ部１０６は、参照画像と対象画像との間で同じ空間位置を表す、対応する特徴点同士をマッチングする。

最後に、ステップＳ３１４において、位置合わせ部１０６は、マッチングされた特徴点の座標値のペアを出力する。

図７は、図６のステップＳ３０８ａにおいて抽出部１０４が行う処理をより詳細に説明するフローチャートである。

まず、ステップＳ４０２において、抽出部１０４は、複数のサブ領域のうちの任意の１つのサブ領域を選択する。その後、特徴量算出部１１２は、選択されたサブ領域に含まれる複数の点について、特徴量を算出する。例えば、特徴量算出部１１２は、サブ領域内の全ての画素について特徴量を算出してもよく、又は、サブ領域内で偏りなくサンプリングされた複数の画素について特徴量を算出してもよい。

次に、ステップＳ４０４において、特徴点抽出部１１４は、選択されたサブ領域において、所定の特徴点閾値を用いて特徴点を抽出する。

次に、ステップＳ４０６において、調整部１１６は、抽出された特徴点の数が、Ｎに達しているか又はＮに近いかを判定する。言いかえれば、調整部１１６は、抽出された特徴点の数と、Ｎとの差が所定値以下であるか否かを判定する。

ここで、特徴点の数がＮに達するか又はＮに近い場合（ステップＳ４０６でｙｅｓ）、調整部１１６は、当該サブ領域において抽出した特徴点を出力する。

その後、ステップＳ４１０において、抽出部１０４は、複数のサブ領域のうちステップＳ４０２において未だ選択されていないサブ領域が存在しないか否か（すなわち、ステップＳ４０２において選択されたサブ領域が、抽出部１０４によって処理されるべき最後のサブ領域であるか否か）を判定する。ここで、ステップＳ４０２において選択されたサブ領域が、処理されるべき最後のサブ領域ではない場合（Ｓ４１０でｎｏ）、抽出部１０４は、次のサブ領域を選択し、同様の処理を行う（Ｓ４０２）。また、ステップＳ４０２において選択されたサブ領域が、処理されるべき最後のサブ領域である場合（Ｓ４１０でｙｅｓ）、ステップＳ４１２において、抽出部１０４は、全てのサブ領域について、抽出された特徴点の座標を出力する。

一方、調整部１１６は、抽出された特徴点の数とＮとの差が所定値を超えている場合（ステップＳ４０６でｎｏ）、ステップＳ４０８において、対象のサブ領域に対して新たな特徴点閾値を設定する。具体的には、抽出された特徴点の数がＮよりも大きい場合、特徴点閾値をより大きくする。また、抽出された特徴点の数がＮよりも小さい場合、特徴点閾値をより小さくする。

その後、抽出部１０４は、再度、特徴点抽出部１１４に当該サブ領域において特徴点を抽出させる（Ｓ４０４）。

なお、図７のフローチャートにおいて、調整部１１６は、サブ領域ごとに特徴点閾値を調整することにより、特徴点を抽出した。しかし、調整部１１６は、特徴点閾値を調整する代わりに、サブ領域ごとに画像のコントラストを調整することにより、特徴点を抽出してもよい。以下、図８及び図９を参照して、より詳細に説明する。

図８は、調整部１１６がコントラストを調整することにより適応的に特徴点を抽出する場合における、画像処理装置１００が行う処理の流れを示すフローチャートである。

なお、図８に示される各処理は、ステップＳ３０８ｂを除き、図６と共通する。よって、ここでは、ステップＳ３０８ｂの処理について説明する。

ステップＳ３０８ｂにおいて、調整部１１６は、サブ領域ごとに画像コントラストを適応的に調整することで、弱い特徴を鮮明にする。この処理により、特徴点抽出部１１４は、弱い特徴を抽出しやすくなる。その結果、抽出部１０４は、各サブ領域が十分な数の特徴点を確実に含むように、特徴点の抽出処理を行うことが可能である。なお、抽出部１０４は、サブ領域に含まれる特徴点の数のサブ領域ごとの差が所定値以下となるように、特徴点閾値を調整してもよい。

図９は、図８のステップＳ３０８ｂにおいて抽出部１０４が行う処理をより詳細に説明するフローチャートである。なお、抽出部１０４が行う処理のうち、図７との違いは、ステップＳ４０９のみである。よって、ステップＳ４０９の処理を中心に説明する。

調整部１１６は、抽出された特徴点の数とＮとの差が所定値を超えている場合（ステップＳ４０６でｎｏ）、ステップＳ４０９において、対象のサブ領域におけるコントラストを調整する。具体的には、調整部１１６は、抽出された特徴点の数がＮよりも少ない場合には、コントラスト値をより大きくする。逆に、抽出された特徴点の数がＮよりも多い場合には、コントラスト値をより小さくする。このように、調整部１１６は、サブ領域ごとに、コントラストを適応的に調整する。

その後、抽出部１０４は、再度、特徴点抽出部１１４に当該サブ領域において特徴点を抽出させる（Ｓ４０４）。

すなわち、抽出部１０４は、複数のサブ領域の各々において、当該サブ領域に含まれる複数の画素のそれぞれに対応する特徴量を算出する特徴量算出部１１２と、複数の画素のうち、対応する特徴量が事前に定められた特徴点閾値以上となる画素を特徴点として抽出する特徴点抽出部１１４と、複数のサブ領域の各々において、特徴点抽出部１１４によって抽出された特徴点の数とＮとの差が所定値以下となるように、当該サブ領域における画像コントラストの大きさを調整する調整部１１６とを有してもよい。

次に、図１０を参照して、画像処理装置１００が参照画像に座標変換処理を施すことにより、位置合わせがなされた２枚の画像を生成する場合の処理の流れについて説明する。

図１０は、画像処理装置１００が、参照画像と対象画像との視差を補正する処理の流れを説明するフローチャートである。

まず、ステップＳ５０２において、分割部１０２は、参照画像及び対象画像を複数のサブ領域に分割する。

次に、ステップＳ５０４において、抽出部１０４は、各画像に対してコントラスト値を算出する。このコントラスト値に基づき、ステップＳ５０６において、抽出部１０４は、所定の閾値を用いて、サブ領域ごとに特徴点の抽出処理を行う。

通常、均一に分布した特徴点が画像から確実に抽出されるような閾値を事前に決定することは困難である。したがって、抽出部１０４は、ステップＳ５０８において、適応的に閾値を調整することにより、位置合わせに十分な数であり、かつ、各サブ領域同士で同じ数となる特徴点を各サブ領域から抽出する。

次に、ステップＳ５１０において、抽出部１０４は、抽出された各特徴点について特徴記述子を算出する。

次に、ステップＳ５１２において、位置合わせ部１０６は、参照画像と対象画像との間で特徴点をマッチングさせる。

次に、ステップＳ５１２において、位置合わせ部１０６は、マッチングさせた特徴点に基づいてワープ行列を算出する。位置合わせ部１０６は、例えば、マッチングさせたそれぞれの特徴点の座標値のうち、画像に対して垂直方向の差を抑制するような行列をワープ行列として算出する。したがって、ワープ行列は、例えばアフィン変換行列、又は回転行列等の形で表される。

最後に、ステップＳ５１４において、位置合わせ部１０６は、ワープ行列を参照画像に適用することにより、参照画像と対象画像との位置関係を、立体視に適するように調整する。

以上述べたように、本実施の形態に係る画像処理装置１００は、１枚の画像をサブ領域に分け、各サブ領域において抽出される特徴点の数が偏らないように、特徴点を抽出するために使用する閾値をサブ領域ごとに調整する。

その結果、画像内で均一に分布するように特徴点を抽出することができる。したがって、画像処理装置１００によると、画像の位置合わせの精度をより向上させることができる。

また、特徴点の抽出後におけるマッチング処理をサブ領域ごとに行うことで、マッチング処理時の探索を並行処理により行うことができる。その結果、画像処理装置１００は、画像の位置合わせをより高速に行うことができる。

（実施の形態２）
実施の形態１に係る画像処理装置１００においても、例えばコントラストの差がほとんどない領域等においては、閾値の調整により適切な特徴点を抽出することは困難となる。

実施の形態２に係る画像処理装置は、この課題を解決するため、仮想特徴点を生成する。以下、より詳細に説明する。

図１１は、仮想特徴点を生成する処理を説明する概念図である。ここでは、ＦＰ１及びＦＰ２は、参照画像において抽出された２つの真の特徴点であるとする。Ｎｏ＿Ｔはテクスチャを含まないサブ領域（テクスチャレス領域）である。また、Ｎｏ＿Ｔには、生成された仮想特徴点ＦａｋｅＰｔが示されている。ここで、仮想特徴点ＦａｋｅＰｔの位置は、ＦａｋｅＰｔとＦＰ１との距離ｄ１、及びＦａｋｅＰｔとＦＰ２との距離ｄ２を特定することにより、抽出された真の２つの特徴点を用いて導き出された点である。

さらに、同じ手法を対象画像にも適用する。これは、参照画像内の２つの真の特徴点とそれぞれマッチングする、対象画像内において抽出された２つの真の特徴点から、それぞれ距離ｄ１、及びｄ２と同じ距離に仮想特徴点を配置することで行われる。

その結果、仮想特徴点を、対象画像及び参照画像に含まれるテクスチャレス領域において生成させることができる。

図１２は、本実施の形態に係る画像処理装置が備える抽出部１０４Ａの機能ブロックを示す。

図１２に示されるように、抽出部１０４Ａは、特徴量算出部１１２と、特徴点抽出部１１４Ａと、調整部１１６と、仮想特徴点生成部１１８とを有する。なお、以下の説明では、図５に示される抽出部１０４と異なる構成要素を中心に説明する。

特徴点抽出部１１４Ａは、調整部１１６による特徴点閾値の調整によっても、必要な数の特徴点が抽出できないと判断した場合には、仮想特徴点生成部１１８に仮想特徴点を生成させる。

仮想特徴点生成部１１８は、特徴点抽出部１１４Ａによって抽出された特徴点に基づいて、複数のサブ領域に含まれる第１のサブ領域に仮想特徴点を生成する。より詳細には、仮想特徴点生成部１１８は、第１のサブ領域において、抽出された特徴点の数と仮想特徴点の数との合計値と、事前に定められた数Ｎとの差が所定値以下となる個数だけ、仮想特徴点を生成する。

ここで、第１のサブ領域は、輝度変化が小さいために調整部１１６によって必要な数の特徴点が抽出できなかったサブ領域である。例えば図１１でＮｏ＿Ｔとして示されるサブ領域が該当する。

図１３は、仮想特徴点生成部１１８の機能ブロックを示す。

図１３に示されるように、仮想特徴点生成部１１８は、第１仮想点生成部１２２と、参照情報取得部１２４と、対応点取得部１２６と、第２仮想点生成部１２８とを有する。

第１仮想点生成部１２２は、特徴点抽出部１１４Ａにより第１画像の中から抽出された特徴点である第１特徴点と第２特徴点とに基づいて、第１画像の中に仮想特徴点を生成する。この仮想特徴点を第１仮想点ともいう。

参照情報取得部１２４は、当該第１画像における、第１仮想点と第１特徴点との距離、及び当該第１仮想点と第２特徴点との距離の各々を含む参照情報を取得する。

対応点取得部１２６は、第１特徴点に対応する第２画像の中の点である第３特徴点と、第２特徴点に対応する第２画像の中の点である第４特徴点とを取得する。

第２仮想点生成部１２８は、参照情報を参照することにより、第２画像において、第１仮想点に対応する仮想特徴点として第２仮想点を生成する。

より具体的には、図１４を参照して、まず、第１仮想点生成部１２２は、複数のサブ領域のうち、抽出された特徴点の数が事前に定められた数Ｎに満たないサブ領域として第１のサブ領域を選択する。さらに、第１仮想点生成部１２２は、例えば、第１のサブ領域から所定の距離以内の、抽出部１０４Ａにより抽出された特徴点の中から、第１特徴点（ＦＰ１ともいう）と第２特徴点（ＦＰ２ともいう）とを選択する。例えば、第１仮想点生成部１２２は、第１サブ領域外のサブ領域に含まれる特徴点であって、第１サブ領域から最も近い特徴点をＦＰ１とし、２番目に近い特徴点をＦＰ２として選択してもよい。

次に、第１仮想点生成部１２２は、ＦＰ１とＦＰ２とを結ぶ線分を所定の比で分割する点として、仮想特徴点を生成する。ここで、第１仮想点生成部１２２は、ＦＰ１とＦＰ２とを結ぶ線分を分割する比を、例えばＦＰ１及びＦＰ２の特徴の強さ（特徴量の大きさ）に比例するように決定してもよい。又は、特徴点が抽出されていないサブ領域内に仮想特徴点が位置するように決定してもよい。又は、ＦＰ１及びＦＰ２の中点として決定してもよい。

次に、参照情報取得部１２４は、第１画像において、ＦＰ１と仮想特徴点との距離ｄ１、及びＦＰ２と仮想特徴点との距離ｄ２を取得する。ｄ１及びｄ２を含む情報を参照情報と呼ぶ。

次に、対応点取得部１２６は、第２画像において抽出された特徴点であって、それぞれＦＰ１及びＦＰ２に対応する点である第３特徴点（ＦＰ３ともいう）及び第４特徴点（ＦＰ４ともいう）を取得する。すなわち、ＦＰ３とＦＰ１とは同じ空間位置に対応する。また、ＦＰ４とＦＰ２とは同じ空間位置に対応する。

最後に、第２仮想点生成部１２８は、参照情報を参照して、ＦＰ３からｄ１の距離にあり、かつ、ＦＰ４からｄ２の距離にある点を仮想特徴点とする。なお、第２仮想点生成部１２８は、ＦＰ３からｄ１の距離にあり、かつ、ＦＰ４からｄ２の距離にある点を中心に、一定領域に含まれる点のうち、仮想特徴点と最も類似する特徴記述子を有する点を、仮想特徴点としてもよい。

図１５は、本実施の形態における仮想特徴点を用いた画像の位置合わせ処理の一例を示す。

ステップＳ７０２において、入力された画像対に対して画像フィルタを適用し、その応答を算出する。画像フィルタとしては、例えばローパスフィルタ、バンドパスフィルタ等が考えられる。

次に、ステップＳ７０４において、分割部１０２は、画像を複数のサブ領域に分ける。なお、分割部１０２は、画像のサブ領域への分割を、これより前に行っていてもよい。

次に、ステップＳ７０６において、抽出部１０４Ａは、各サブ領域から特徴点の抽出処理を行う。さらに、ステップＳ７０８において、抽出部１０４Ａは、抽出された特徴点が十分であるか、及び画像全体に均一に分布しているか否かを確認する。ここで、十分な数の特徴点が画像全体から均一に抽出できたと抽出部１０４Ａが判断した場合（ステップＳ７０８でｙｅｓ）、位置合わせ部１０６は、ステップＳ７１６においてこの抽出された特徴点に対して、マッチング処理を行う。続けて、ステップＳ７１８において、ステップＳ７１６でマッチングされた対応する特徴点同士のペアを用いてワープ行列を生成する。最後に、位置合わせ部１０６は、ステップＳ７２０において画像対の位置合わせを行う。

一方、十分な数の特徴点が画像全体から均一に抽出できていないと抽出部１０４Ａが判断した場合（ステップＳ７０８でｎｏ）、抽出部１０４Ａは、ステップＳ７１０において、特徴点閾値を調整してより弱い特徴を有する特徴点を抽出する。

その結果、十分な数の特徴点が画像全体から均一に抽出できたと抽出部１０４Ａが判断した場合（Ｓ７１１でｙｅｓ）、ステップＳ７１６の処理へ進む。

一方、抽出された特徴点の数が不十分の場合には（ステップＳ７１１でｎｏ）、抽出部１０４Ａは、ステップＳ７１２において、特徴点閾値の調整を既定回数以上行ったか否かを判定する。ここで、まだ既定回数に達していない場合には（ステップＳ７１２でｎｏ）、抽出部１０４Ａは、ステップＳ７１０において再度、特徴点閾値の調整を行う。また、既定回数に達した場合には（ステップＳ７１２でｙｅｓ）、仮想特徴点生成部１１８が、ステップＳ７１３において仮想特徴点を生成する。

以上述べたように、本実施の形態に係る画像処理装置は、特徴点を抽出することが困難なほどコントラストが弱いサブ領域等を含む画像においては、既に抽出できた特徴点に基づき、第１仮想点及びこれに対応する第２仮想点のペアとして仮想特徴点を生成する。その結果、画像処理装置は、抽出部１０４によって抽出された真の特徴点のペアに加え、仮想特徴点のペアを併用することにより、より精度よく画像の位置合わせを行うことができる。

次に図１６Ａ〜図１６Ｃを参照して、本発明に係る画像処理装置による画像位置合わせの結果と、従来の方法による画像位置合わせの結果との比較を一例として示す。

図１６Ａに示す画像８０２、図１６Ｂに示す画像８０４、及び図１６Ｃに示す画像８０６は、本発明に係る画像処理装置による特徴点抽出の結果を示す。一方、図１６Ａに示す画像８０８、図１６Ｂに示す画像８１０、及び図１６Ｃに示す画像８１２は、従来の方法によって、フレーム全体に含まれる画素値に基づいて特徴点を抽出した結果を示す。

まず図１６Ａを参照して、画像８０２におけるサブ領域８２２からは、特徴点が抽出されているが、画像８０８のサブ領域８８２からは、特徴点が１つも抽出されていない。また、画像８０２は、画像全体において、画像８０８の場合よりも特徴点がより均一に分布するよう抽出されている。具体的には、画像８０８における特徴点は、画像の右側に多く集まっている。このように特徴点の分布が不均一であると、以下に述べるように特徴のマッチング及び画像の位置合わせの結果に影響を及ぼす。

図１６Ｂは、特徴点のマッチングを行った結果を示す。画像に示される白線は、マッチングされたペアの特徴点間の位置のズレを示す。より詳細には、画像８０４は、本発明に係る画像処理装置を用いて特徴点を抽出した２枚の画像（例えば左眼用画像及び右眼用画像）において、特徴点のマッチングを行った結果を示す。また、画像８１０は、従来技術を用いて特徴点を抽出した２枚の画像において、特徴点のマッチングを行った結果を示す。

画像８０４におけるマッチングの結果は、従来の方法によって抽出された特徴点によるマッチングの結果を示す画像８１０よりも、画像内でより均一に分布している。特徴点ペア８４２は、参照画像と対象画像との間でマッチングされた特徴点の１つのペアを示す。

図１６Ｃは、マッチングさせた特徴点のペアによりズレを修正した２枚の画像を重ね合わせた画像を示す。より詳細には、画像８０６は、本発明に係る画像処理装置を用いて位置合わせをした２枚の画像を重ね合わせた画像である。また、画像８１２は、従来技術を用いて位置合わせをした２枚の画像を重ね合わせた画像である。画像８０６においては、本発明に係る特徴点抽出に基づく画像の位置合わせの結果がより合理的で画像全体にわたって一貫している。具体的には、遠いオブジェクトは小さな視差を有し、かつ近いオブジェクトはより大きな視差を有している。一方、画像８１２では、従来の特徴点抽出に基づく画像の位置合わせの結果が不正確であり、画像全体にわたって一貫していない。具体的には、遠いオブジェクトが大きな視差を有している。このように、多くの場合、本発明による画像の位置合わせにおいて質の高い結果が得られる。これは、本発明において説明した画像処理装置による特徴点抽出方法によって抽出された均一な特徴点の分布が役立つことを示す。

なお、上記実施の形態１及び２に係る画像処理装置は、取得した参照画像及び対象画像に対して、まず、サブ領域に分割する処理を行った。しかし、画像処理装置は、サブ領域ごとに特徴点を抽出する前に、１枚の画像全体に対して特徴点を抽出し、抽出された特徴点の分布に偏りがある場合にのみ、当該画像を複数のサブ領域に分割してもよい。例えば、図６を参照して、ステップＳ３０２において分割部１０２が参照画像及び対象画像のそれぞれを複数の領域に分ける前の段階で、抽出部１０４が参照画像及び対象画像それぞれの全画像領域から、特徴点を抽出する。その後、抽出部１０４は、抽出された特徴点の、各画像における分布位置の偏りが事前に定められた閾値以上であれば、ステップＳ３０２以降の処理を行ってもよい。

このように全画像領域における分布の適切性を最初に判断することにより、画像処理装置が行う処理の無駄を省くことができる。

また、上記実施の形態１及び２に係る抽出部は、サブ領域ごとに抽出された特徴点の数と事前に定められた数Ｎとを比較し、その差が所定値以下となるように、特徴点閾値を調整した。しかし、抽出部は、サブ領域ごとに抽出された特徴点の数の、サブ領域間におけるばらつき度合いが、事前に定められた値以下となるように特徴点を抽出できれば、他の方法により特徴点閾値を調整してもよい。

例えば、抽出部は、複数のサブ領域のうち、第１のサブ領域から抽出された特徴点の数と、第１のサブ領域とは異なる第２のサブ領域から抽出された特徴点の数との差が、事前に定められた閾値以下となるように、第１のサブ領域及び第２のサブ領域から特徴点を抽出してもよい。さらに、この場合であっても、抽出部は、第１のサブ領域又は第２のサブ領域から抽出された特徴点の数が事前に定められた値Ｍ以下であれば、複数のサブ領域の各々において、当該サブ領域から抽出した特徴点の数と事前に定められた数Ｎとの差が所定値以下となる個数だけ、特徴点を抽出してもよい。

これにより、複数のサブ領域の各々から、偏りなく、かつ、画像の位置合わせを精度よく行うために必要な数の特徴点を抽出することができる。

なお、実施形態１及び２で説明した画像処理装置は、コンピュータにより実現することも可能である。図１７は、本発明に係る画像処理装置を実現するコンピュータシステムのハードウェア構成を示すブロック図である。

本発明に係る画像処理装置は、コンピュータ３４と、コンピュータ３４に指示を与えるためのキーボード３６及びマウス３８と、コンピュータ３４の演算結果等の情報を提示するためのディスプレイ３２と、コンピュータ３４で実行されるプログラムを読み取るためのＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）装置４０及び通信モデム（図示せず）とを含む。

本発明に係る画像処理装置が行う処理であるプログラムは、コンピュータで読取可能な媒体であるＣＤ−ＲＯＭ４２に記憶され、ＣＤ−ＲＯＭ装置４０で読み取られる。又は、コンピュータネットワークを通じて通信モデム５２で読み取られる。

コンピュータ３４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４４と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４６と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４８と、ハードディスク５０と、通信モデム５２と、バス５４とを含む。

ＣＰＵ４４は、ＣＤ−ＲＯＭ装置４０又は通信モデム５２を介して読み取られたプログラムを実行する。ＲＯＭ４６は、コンピュータ３４の動作に必要なプログラムやデータを記憶する。ＲＡＭ４８は、プログラム実行時のパラメタなどのデータを記憶する。ハードディスク５０は、プログラムやデータなどを記憶する。通信モデム５２は、コンピュータネットワークを介して他のコンピュータとの通信を行う。バス５４は、ＣＰＵ４４、ＲＯＭ４６、ＲＡＭ４８、ハードディスク５０、通信モデム５２、ディスプレイ３２、キーボード３６、マウス３８及びＣＤ−ＲＯＭ装置４０を相互に接続する。

さらに、上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらにまた、上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカード又はモジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。

また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよい。また、コンピュータプログラムからなるデジタル信号であるとしてもよい。

さらに、本発明は、上記コンピュータプログラム又は上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、ＵＳＢメモリ、ＳＤカードなどのメモリカード、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。

また、本発明は、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしてもよい。

また、上記プログラム又は上記デジタル信号を上記記録媒体に記録して移送することにより、又は上記プログラム又は上記デジタル信号を、上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

本発明は、画像処理装置に適用でき、特に画像の位置合わせをする画像処理装置等に適用できる。

３２ ディスプレイ
３４ コンピュータ
３６ キーボード
３８ マウス
４０ ＣＤ−ＲＯＭ装置
４２ ＣＤ−ＲＯＭ
４４ ＣＰＵ
４６ ＲＯＭ
４８ ＲＡＭ
５０ ハードディスク
５２ 通信モデム
５４ バス
１００ 画像処理装置
１０２ 分割部
１０４、１０４Ａ 抽出部
１０６ 位置合わせ部
１１２ 特徴量算出部
１１４、１１４Ａ 特徴点抽出部
１１６ 調整部
１１８ 仮想特徴点生成部
１２２ 第１仮想点生成部
１２４ 参照情報取得部
１２６ 対応点取得部
１２８ 第２仮想点生成部
２００、８０２、８０４、８０６、８０８，８１０、８１２ 画像
２２２、２２４、２２６ 特徴点
８２２、８８２ サブ領域
８４２ 特徴点ペア

Claims (8)

1. 同一の物体を異なる視点から撮影した画像である第１画像と第２画像との垂直方向の視差を抑制する位置合わせをするための特徴点を抽出する画像処理装置であって、
   前記第１画像及び前記第２画像のそれぞれを、複数のサブ領域へ分割する分割部と、
   前記第１画像に含まれる複数のサブ領域の各々と、前記第２画像に含まれる複数のサブ領域の各々とにおいて、特徴点の抽出処理を行う抽出部とを備え、
   前記抽出部は、前記抽出処理により抽出される前記特徴点の数の、前記複数のサブ領域間におけるばらつき度合いを示す値が、事前に定められた値以下となるように、前記特徴点の抽出処理を行い、
   前記抽出部は、
   前記複数のサブ領域の各々において、当該サブ領域に含まれる複数の画素のそれぞれに対応する特徴量を算出する特徴量算出部と、
   前記複数の画素のうち、対応する特徴量が事前に定められた特徴点閾値以上となる画素を特徴点として抽出する特徴点抽出部と、
   前記複数のサブ領域の各々において、前記特徴点抽出部によって抽出された特徴点の数と事前に定められた数Ｎとの差が所定値以下となるように、当該サブ領域における前記特徴点閾値の大きさを調整する調整部と、
   前記調整部により前記特徴点閾値の大きさを調整しても前記特徴点抽出部において前記Ｎとの差が前記所定値以下となる個数だけ前記特徴点の抽出処理ができない場合、前記特徴点抽出部によって抽出された前記特徴点に基づいて、前記複数のサブ領域のうち第１サブ領域に仮想特徴点を生成する仮想特徴点生成部とを有し、
   前記仮想特徴点生成部は、前記第１サブ領域において、抽出された特徴点の数と前記仮想特徴点の数との合計値と、前記Ｎとの差が前記所定値以下となる個数だけ、前記仮想特徴点を生成する
   画像処理装置。
2. さらに、前記特徴点に基づいて、前記第１画像と前記第２画像との位置合わせを行う位置合わせ部を備え、
   前記位置合わせ部は、
   前記第１画像及び前記第２画像の一方の画像に含まれる特徴点と、これに対応する特徴点であって、他方の画像に含まれる特徴点とをマッチングさせ、
   マッチングされた特徴点同士の垂直方向の座標値の差がより小さくなるように、少なくとも一方の画像に対して座標変換を施す
   請求項１に記載の画像処理装置。
3. 前記仮想特徴点生成部は、
   前記第１画像に含まれる特徴点である第１特徴点と第２特徴点とに基づいて、当該第１画像中の仮想特徴点である第１仮想点を生成する第１仮想点生成部と、
   当該第１画像における、前記第１仮想点と前記第１特徴点との距離、及び当該第１仮想点と前記第２特徴点との距離の各々を含む参照情報を取得する参照情報取得部と、
   前記第１特徴点に対応する前記第２画像中の点である第３特徴点と、前記第２特徴点に対応する前記第２画像中の点である第４特徴点とを取得する対応点取得部と、
   前記参照情報を参照することにより、前記第２画像において前記第１仮想点に対応する仮想特徴点として第２仮想点を生成する第２仮想点生成部とを有する
   請求項１または２に記載の画像処理装置。
4. 前記抽出部は、前記複数のサブ領域に含まれる第１のサブ領域から抽出された特徴点の数と、前記第１のサブ領域とは異なる第２のサブ領域から抽出された特徴点の数との差が、事前に定められた閾値以下となるように、前記第１のサブ領域及び前記第２のサブ領域から特徴点の抽出処理を行う
   請求項１から３のいずれか１項に記載の画像処理装置。
5. 同一の物体を異なる視点から撮影した画像である第１画像と第２画像との垂直方向の視差を抑制する位置合わせをするための特徴点を抽出する画像処理装置であって、
   前記第１画像及び前記第２画像のそれぞれを、複数のサブ領域へ分割する分割部と、
   前記第１画像に含まれる複数のサブ領域の各々と、前記第２画像に含まれる複数のサブ領域の各々とにおいて、特徴点の抽出処理を行う抽出部とを備え、
   前記抽出部は、前記抽出処理により抽出される前記特徴点の数の、前記複数のサブ領域間におけるばらつき度合いを示す値が、事前に定められた値以下となるように、前記特徴点の抽出処理を行い、
   前記抽出部は、
   前記複数のサブ領域の各々において、当該サブ領域に含まれる複数の画素のそれぞれに対応する特徴量を算出する特徴量算出部と、
   前記複数の画素のうち、対応する特徴量が事前に定められた特徴点閾値以上となる画素を特徴点として抽出する特徴点抽出部と、
   前記複数のサブ領域の各々において、前記特徴点抽出部によって抽出された特徴点の数と事前に定められた数Ｎとの差が所定値以下となるように、当該サブ領域における画像コントラストの大きさを調整する調整部と、を有する
   画像処理装置。
6. 同一の物体を異なる視点から撮影した画像である第１画像と第２画像との垂直方向の視差を抑制する位置合わせをするための特徴点を抽出する画像処理方法であって、
   前記第１画像及び前記第２画像のそれぞれを、複数のサブ領域へ分割する分割ステップと、
   前記第１画像に含まれる複数のサブ領域の各々と、前記第２画像に含まれる複数のサブ領域の各々とにおいて、特徴点の抽出処理を行う抽出ステップとを含み、
   前記抽出ステップにおいては、前記抽出処理により抽出される前記特徴点の数の、前記複数のサブ領域間におけるばらつき度合いが、事前に定められた値以下となるように、前記特徴点の抽出処理を行い、
   前記抽出ステップは、
   前記複数のサブ領域の各々において、当該サブ領域に含まれる複数の画素のそれぞれに対応する特徴量を算出する特徴量算出ステップと、
   前記複数の画素のうち、対応する特徴量が事前に定められた特徴点閾値以上となる画素を特徴点として抽出する特徴点抽出ステップと、
   前記複数のサブ領域の各々において、前記特徴点抽出ステップにおいて抽出された特徴点の数と事前に定められた数Ｎとの差が所定値以下となるように、当該サブ領域における前記特徴点閾値の大きさを調整する調整ステップと、
   前記調整ステップにおいて前記特徴点閾値の大きさを調整しても前記特徴点抽出ステップにおいて前記Ｎとの差が前記所定値以下となる個数だけ前記特徴点の抽出処理ができない場合、前記特徴点抽出ステップにおいて抽出された前記特徴点に基づいて、前記複数のサブ領域のうち第１サブ領域に仮想特徴点を生成する仮想特徴点生成ステップとを含み、
   前記仮想特徴点生成ステップでは、前記第１サブ領域において、抽出された特徴点の数と前記仮想特徴点の数との合計値と、前記Ｎとの差が前記所定値以下となる個数だけ、前記仮想特徴点を生成する
   画像処理方法。
7. 請求項６に記載の画像処理方法をコンピュータに実行させる
   プログラム。
8. 同一の物体を異なる視点から撮影した画像である第１画像と第２画像との垂直方向の視差を抑制する位置合わせをするための特徴点を抽出する画像処理装置に用いられる集積回路であって、
   前記第１画像及び前記第２画像のそれぞれを、複数のサブ領域へ分割する分割部と、
   前記第１画像に含まれる複数のサブ領域の各々と、前記第２画像に含まれる複数のサブ領域の各々とにおいて、特徴点の抽出処理を行う抽出部とを備え、
   前記抽出部は、前記抽出処理により抽出される前記特徴点の数の、前記複数のサブ領域間におけるばらつき度合いを示す値が、事前に定められた値以下となるように、前記特徴点の抽出処理を行い、
   前記抽出部は、
   前記複数のサブ領域の各々において、当該サブ領域に含まれる複数の画素のそれぞれに対応する特徴量を算出する特徴量算出部と、
   前記複数の画素のうち、対応する特徴量が事前に定められた特徴点閾値以上となる画素を特徴点として抽出する特徴点抽出部と、
   前記複数のサブ領域の各々において、前記特徴点抽出部によって抽出された特徴点の数と事前に定められた数Ｎとの差が所定値以下となるように、当該サブ領域における前記特徴点閾値の大きさを調整する調整部と、
   前記調整部により前記特徴点閾値の大きさを調整しても前記特徴点抽出部において前記Ｎとの差が前記所定値以下となる個数だけ前記特徴点の抽出処理ができない場合、前記特徴点抽出部によって抽出された前記特徴点に基づいて、前記複数のサブ領域のうち第１サブ領域に仮想特徴点を生成する仮想特徴点生成部とを有し、
   前記仮想特徴点生成部は、前記第１サブ領域において、抽出された特徴点の数と前記仮想特徴点の数との合計値と、前記Ｎとの差が前記所定値以下となる個数だけ、前記仮想特徴点を生成する
   集積回路。

Images