JP2009237652A - 画像処理装置および方法並びにプログラム - Google Patents

Abstract

【課題】少ない演算量により、相関ウィンドウのサイズを適切に設定できるようにする。
【解決手段】互いに異なる位置において被写体を撮影することにより取得した基準画像Ｇ１と参照画像Ｇ２とを取得し、被写体検出部３０が、基準画像Ｇ１から所定被写体を検出する。基準画像Ｇ１と参照画像Ｇ２との間において、互いに対応する対応点を探索する際に使用される相関ウィンドウのサイズを設定するウィンドウサイズ設定部３３が、基準画像Ｇ１における所定被写体を含む所定被写体領域内の画素と対応する対応点を探索するための相関ウィンドウＷのサイズを、所定被写体領域のサイズに応じて設定する。
【選択図】図１

Description

本発明は、例えばステレオマッチングを行うために、複数の画像間における対応点を探索するための画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。

異なる位置に設けられた２台以上のカメラを用いて被写体を撮像し、これにより取得された複数の画像（基準カメラによる基準画像および参照カメラによる参照画像）の間で対応する画素である対応点を探索し（ステレオマッチング）、互いに対応する基準画像上の画素と、参照画像上の画素との位置の差（視差）を算出し、視差に三角測量の原理を適用することにより、基準カメラまたは参照カメラから当該画素に対応する被写体上の点までの距離を計測して、被写体の立体形状を表す距離画像を生成する手法が提案されている。

ここで、ステレオマッチングを行う際には、図５に示すように、基準画像Ｇ１上の対応点探索の対象となる対象画素Ｐａに写像される実空間上の点は、点Ｐ１，Ｐ２，Ｐ３というように点Ｏ１からの視線上に複数存在するため、実空間上の点Ｐ１ ，Ｐ２ ，Ｐ３ 等の写像である直線（エピポーラ線）上に、対象画素Ｐａに対応する参照画像Ｇ２上の画素Ｐａ′が存在することに基づいて、対象画素Ｐａに対応する参照画像Ｇ２上の画素である対応点が探索される。

なお、図５において点Ｏ１は基準画像を取得する基準カメラの視点、点Ｏ２は参照画像を取得する参照カメラの視点である。ここで、視点とは各カメラの光学系の焦点である。このようにステレオマッチングを行う際には、基準画像上に対応点探索の対象となる対象画素Ｐａを含む相関ウィンドウＷを設定し、参照画像上において基準画像に設定したものと同一の相関ウィンドウＷをエピポーラ線上に沿って移動し、移動位置毎に各画像上の相関ウィンドウ内の各画素についての相関を算出し、参照画像Ｇ２上における相関が所定のしきい値以上となる相関ウィンドウの中央の位置にある画素を、対象画素Ｐａの対応点として求めている。

このように対応点を探索するに際しては、相関ウィンドウのサイズを適切に設定しないと、精度良く対応点を探索することができない。このため、相関ウィンドウのサイズを適切に設定する各種手法が提案されている。例えば、特許文献１には、相関ウィンドウ内の画像に含まれる画素の縦横方向への平均輝度変化率等の特徴量を算出し、特徴量が小さい場合に相関ウィンドウのサイズを大きくする手法が提案されている。

また、特許文献２には、基準画像において、処理対象とする所定サイズの相関元領域から左右に１画素分ずらした２つの参照領域について、それぞれ相関演算を行って２つの相関値を算出し、これら相関値のうち相関がより弱いことを示す相関値を評価値とし、この評価値を所定のしきい値と比較することによって、処理対象としている相関元領域について自己相関が強いか否かを判定し、自己相関が強い場合に相関ウィンドウのサイズを拡大する手法が提案されている。
特開２００１−１９４１２６号公報 特開２００７−１７２５００号公報

しかしながら、特許文献１に記載された手法は、相関ウィンドウ内の画像に含まれる画素の縦横方向への平均輝度変化率等の特徴量を算出する必要があるため、相関ウィンドウのサイズを設定するための演算量が多くなる。また、特許文献２に記載された手法も、基準画像内おいて相関元領域の自己相関を算出しているため、相関ウィンドウのサイズを設定するための演算量が多くなる。

本発明は上記事情に鑑みなされたものであり、少ない演算量により、相関ウィンドウのサイズを適切に設定できるようにすることを目的とする。

本発明による画像処理装置は、互いに異なる位置において被写体を撮影することにより取得した複数の画像を取得する画像取得手段と、
前記複数の画像のうちの基準となる基準画像から所定被写体を検出する被写体検出手段と、
前記基準画像と該基準画像以外の他の画像との間において、互いに対応する対応点を探索する際に使用される相関ウィンドウのサイズを設定するウィンドウサイズ設定手段であって、前記基準画像における前記所定被写体を含む所定被写体領域内の画素と対応する対応点を探索するための前記相関ウィンドウのサイズを、前記所定被写体領域のサイズに応じて設定するウィンドウサイズ設定手段と、
前記相関ウィンドウ内の各画素と、前記他の画像上に設定された相関ウィンドウ内の各画素との相関に基づいて、前記対応点を探索する対応点探索手段とを備えたことを特徴とするものである。

なお、本発明による画像処理装置においては、前記ウィンドウサイズ設定手段を、前記所定被写体領域内の画素と対応する対応点を探索するための前記相関ウィンドウのサイズを、前記所定被写体領域を複数に分割することにより取得した１つの領域のサイズに設定する手段としてもよい。

また、本発明による画像処理装置においては、前記所定被写体を構成する構成部品を検出する構成部品検出手段をさらに備えるものとし、
前記ウィンドウサイズ設定手段を、前記基準画像における前記構成部品を含む構成部品領域内の画素と対応する対応点を探索するための前記相関ウィンドウのサイズを、前記構成部品領域のサイズに応じて設定する手段としてもよい。

この場合、前記ウィンドウサイズ設定手段を、前記構成部品領域内の画素と対応する対応点を探索するための前記相関ウィンドウのサイズを、前記構成部品領域を複数に分割することにより取得した１つの領域のサイズに設定する手段としてもよい。

また、本発明による画像処理装置においては、前記所定被写体を顔としてもよい。

本発明による画像処理方法は、互いに異なる位置において被写体を撮影することにより取得した複数の画像を取得し、
前記複数の画像のうちの基準となる基準画像から所定被写体を検出し、
前記基準画像と該基準画像以外の他の画像との間において、互いに対応する対応点を探索する際に使用される相関ウィンドウのサイズを設定するに際し、前記基準画像における前記所定被写体を含む所定被写体領域内の画素と対応する対応点を探索するための前記相関ウィンドウのサイズを、前記所定被写体領域のサイズに応じて設定し、
前記相関ウィンドウ内の各画素と、前記他の画像上に設定された相関ウィンドウ内の各画素との相関に基づいて、前記対応点を探索することを特徴とするものである。

なお、本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、基準画像と基準画像以外の他の画像との間において、互いに対応する対応点を探索する際に使用される相関ウィンドウのサイズを設定するに際し、基準画像における所定被写体を含む所定被写体領域内の画素と対応する対応点を探索するための相関ウィンドウのサイズを、所定被写体領域のサイズに応じて設定するようにしたものである。

このため、特徴量を算出したり、自己相関を算出したりすることなく、少ない演算量により、相関ウィンドウのサイズを適切に設定することができる。また、とくに所定被写体についての相関ウィンドウのサイズを適切に設定できるため、複数の画像における所定被写体間において、互いに対応する対応点を精度良く探索することができる。

この場合、相関ウィンドウのサイズを、所定被写体領域を複数に分割することにより取得した１つの領域のサイズに設定することにより、簡易に相関ウィンドウのサイズを設定することができる。

また、基準画像における所定被写体内の構成部品を含む構成部品領域内の画素と対応する対応点を探索するための相関ウィンドウのサイズを、構成部品領域のサイズに応じて設定することにより、とくに所定被写体内の構成部品についての相関ウィンドウのサイズを適切に設定できるため、複数の画像における所定被写体内の構成部品間において、互いに対応する対応点を精度良く探索することができる。

この場合、相関ウィンドウのサイズを、構成部品領域を複数に分割することにより取得した１つの領域のサイズに設定することにより、簡易に相関ウィンドウのサイズを設定することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像処理装置を適用した距離測定装置１の内部構成を示す概略ブロック図である。図１に示すように本実施形態による距離測定装置１は、２つの撮像部２１Ａ，２１Ｂ、撮像制御部２２、信号処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、および表示制御部２８を備える。

図２は撮像部２１Ａ，２１Ｂの構成を示す図である。図２に示すように、撮像部２１Ａ，２１Ｂは、レンズ１０Ａ，１０Ｂ、絞り１１Ａ，１１Ｂ、シャッタ１２Ａ，１２Ｂ、ＣＣＤ１３Ａ，１３Ｂ、アナログフロントエンド（ＡＦＥ）１４Ａ，１４ＢおよびＡ／Ｄ変換部１５Ａ，１５Ｂをそれぞれ備える。

レンズ１０Ａ，１０Ｂは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、不図示のレンズ駆動部によりその位置が調整される。なお、本実施形態においては焦点位置は固定されているものとする。

絞り１１Ａ，１１Ｂは、不図示の絞り駆動部により、ＡＥ処理により得られる絞り値データに基づいて絞り径の調整が行われる。なお、本実施形態においては絞り値データは固定されているものとする。

シャッタ１２Ａ，１２Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。なお、本実施形態においてはシャッタスピードは固定されているものとする。

ＣＣＤ１３Ａ，１３Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、ＣＣＤ１３Ａ，１３Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。

ＡＦＥ１４Ａ，１４Ｂは、ＣＣＤ１３Ａ，１３Ｂから出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を施す。

Ａ／Ｄ変換部１５Ａ，１５Ｂは、ＡＦＥ１４Ａ，１４Ｂによりアナログ処理が施されたアナログ撮像信号をデジタル信号に変換する。なお、撮像部２１Ａにより取得される画像データにより表される画像を基準画像Ｇ１、撮像部２１Ｂにより取得される画像データにより表される画像を参照画像Ｇ２とする。

撮像制御部２２は、レリーズボタン押下後に撮像の制御を行う。

なお、本実施形態においては、焦点位置、絞り値データおよびシャッタスピードは固定されているが、ＡＦ処理およびＡＥ処理を行って、撮影の都度、焦点位置、絞り値データおよびシャッタスピードを設定するようにしてもよい。

信号処理部２３は、撮像部２１Ａ，２１Ｂが取得したデジタルの画像データに対して、画像データの感度分布のばらつきおよび光学系の歪みを補正する補正処理を施すとともに、２つの画像を並行化するための並行化処理を施す。さらに、並行化処理後の画像に対してホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。なお、信号処理部２３における処理後の基準画像および参照画像についても、処理前の参照符号Ｇ１，Ｇ２を用いるものとする。また、補正処理、並行化処理および画像処理の３つの処理を合わせて信号処理と称するものとする。

圧縮／伸長処理部２４は、信号処理部２３によって処理が施された基準画像Ｇ１および参照画像Ｇ２を表す画像データ対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を施し、後述するように生成された距離画像の画像データと併せて距離画像の画像ファイルを生成する。この画像ファイルは、基準画像Ｇ１、参照画像Ｇ２および距離画像の画像データを含むものとなる。また、この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が記述されたヘッダが付与される。

フレームメモリ２５は、撮像部２１Ａ，２１Ｂが取得した基準画像Ｇ１および参照画像Ｇ２を表す画像データに対して、前述の信号処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。

メディア制御部２６は、記録メディア２９にアクセスして距離画像の画像ファイルの書き込みと読み込みの制御を行う。

内部メモリ２７は、距離測定装置１において設定される各種定数、およびＣＰＵ３５が実行するプログラム等を記憶する。

表示制御部２８は、フレームメモリ２５に格納された画像データをモニタ２０に表示させたり、記録メディア２９に記録されている画像をモニタ２０に表示させたりするためのものである。

また、距離測定装置１は、被写体検出部３０、構成部品検出部３１、ステレオマッチング部３２、ウィンドウサイズ設定部３３、および距離画像生成部３４を備える。

被写体検出部３０は、カメラ２１Ａ，２１Ｂが撮影により取得した基準画像Ｇ１（信号処理前であっても処理後であってもよい）から所定被写体を含む所定被写体領域を検出する。なお、本実施形態においては、所定被写体として顔を用いるものとし、被写体検出部３０は、基準画像Ｇ１から顔を含む顔領域を検出するものとする。図３は顔の検出を説明するための図である。図３に示すように被写体検出部３０は、基準画像Ｇ１における顔を囲む矩形の領域を顔領域Ｆ１として検出する。

ここで、画像から顔領域を検出する手法としては、テンプレートマッチングによる手法、顔の多数のサンプル画像を用いたマシンラーニング学習により得られた顔判別器を用いる手法等の他、画像における肌色を有しかつ顔の輪郭形状を囲む矩形の領域を顔領域として検出する手法、顔の輪郭形状をなす領域を顔領域として検出する手法等、任意の手法を用いることができる。

構成部品検出部３１は、被写体検出部３０が検出した顔領域から、顔の構成部品を検出する。図４は顔の構成部品の検出を説明するための図である。図４に示すように、構成部品検出部３１は、両目、両耳、両眉、鼻および口を囲む矩形の構成部品領域Ａ１〜Ａ８を顔領域Ｆ１から検出する。なお、顔構成部品を検出する手法としては、各顔構成部品のテンプレートを用いたテンプレートマッチングによる手法、および顔構成部品の多数のサンプル画像を用いたマシンラーニング学習により得られた、顔構成部品毎の判別器を用いる手法等、任意の手法を用いることができる。

ステレオマッチング部３２は、図５に示すように、基準画像Ｇ１上の対応点探索の対象となる対象画素Ｐａに写像される実空間上の点は、点Ｐ１，Ｐ２，Ｐ３というように点Ｏ１からの視線上に複数存在するため、実空間上の点Ｐ１ ，Ｐ２ ，Ｐ３ 等の写像である直線（エピポーラ線）上に、対象画素Ｐａに対応する参照画像Ｒ上の画素Ｐａ′が存在するという事実に基づいて、基準画像Ｇ１と参照画像Ｇ２との対応点を参照画像Ｇ２上において探索する。なお、図５において点Ｏ１は基準カメラとなる撮像部２１Ａの視点、点Ｏ２は参照カメラとなる撮像部２１Ｂの視点である。ここで、視点とは撮像部２１Ａ，２１Ｂの光学系の焦点である。また、対応点の探索は、信号処理のうちの画像処理が施された基準画像Ｇ１および参照画像Ｇ２を用いてもよいが、画像処理前の補正処理および並行化処理のみが施された基準画像Ｇ１および参照画像Ｇ２を用いることが好ましい。

具体的には、ステレオマッチング部３２は、対応点の探索を行う際に、相関ウィンドウＷを参照画像Ｇ２上のエピポーラ線に沿って移動し、各移動位置において基準画像Ｇ１および参照画像Ｇ２の相関ウィンドウＷ内の画素についての相関を算出し、参照画像Ｇ２上の相関が所定のしきい値以上となる位置における相関ウィンドウＷの中心画素を、基準画像Ｇ１上の対象画素Ｐａに対応する対応点とする。なお、相関を評価するための相関評価値としては、差分絶対値和および差分２乗和の逆数等を用いることができる。この場合、相関評価値が小さいほど、相関が大きいものとなる。

図６は並行化処理後の基準画像および参照画像の位置関係を説明するための図である。図６に示すように、撮像部２１Ａ，２１Ｂにおける基準画像Ｇ１および参照画像Ｇ２が得られる面となる画像面は、撮像部２１Ａ，２１Ｂの光軸との交点を原点とする。また、画像面上における撮像部２１Ａ，２１Ｂの座標系をそれぞれ（ｕ，ｖ）、（ｕ′，ｖ′）とする。ここで、並行化処理により撮像部２１Ａ，２１Ｂの光軸は平行となるため、画像面におけるｕ軸およびｕ′軸は同一直線上において同一方向を向くこととなる。また、並行化処理により、参照画像Ｇ２上におけるエピポーラ線は、ｕ′軸に平行なものとなるため、基準画像Ｇ１上におけるｕ軸も、参照画像Ｇ２のエピポーラ線の方向と一致することとなる。

ここで、撮像部２１Ａ，２１Ｂの焦点距離をｆ、基線長をｂとする。なお、焦点距離ｆおよび基線長ｂはキャリブレーションパラメータとしてあらかじめ算出されて内部メモリ２７に記憶されている。このとき、３次元空間上における位置（Ｘ，Ｙ，Ｚ）は、撮像部２１Ａの座標系を基準とすると、下記の式（１）〜（３）により表される。

Ｘ＝ｂ・ｕ／（ｕ−ｕ′） （１）
Ｙ＝ｂ・ｖ／（ｕ−ｕ′） （２）
Ｚ＝ｂ・ｆ／（ｕ−ｕ′） （３）
ここでｕ−ｕ′は、撮像部２１Ａ，２１Ｂの画像面上における対応点の横方向のずれ量（視差）である。また、式（３）より、奥行きである距離Ｚは視差に反比例することが分かる。なお、このようにして算出したＸ，Ｙ，Ｚを距離値とする。また、距離値Ｘ，Ｙはその画素の位置を表す位置情報であり、距離値Ｚは距離すなわち奥行き情報である。なお、距離値Ｘ，Ｙ，Ｚは基準画像Ｇ１および参照画像Ｇ２の共通する範囲においてのみ算出される。このため、後の処理を容易に行うために、距離値Ｘ，Ｙ，Ｚについては、撮像部２１Ａの座標系から、撮像部２１Ａ，２１Ｂそれぞれの画像面の原点の中間位置を原点とする座標系に変換することとする。

距離画像生成部３４は、ステレオマッチング部３２が求めた対応点を用いて、視差（ｕ−ｕ′）を算出するとともに、上記式（１）〜（３）により撮像部２１Ａ，２１Ｂから被写体までの距離を表す距離値Ｘ，Ｙ，Ｚを算出し、算出した距離値Ｘ，Ｙ，Ｚを各画像の画素値とする距離画像の画像データを生成する。なお、距離画像の各画素の距離値Ｚが撮像部２１Ａ，２１Ｂから被写体までの距離を表すものとなる。

なお、上記実施形態においては、エピポーラ線に沿って相関ウィンドウＷを移動して対応点を探索しているが、まずエピポーラ線に沿って相関ウィンドウＷを移動して対応点を探索した後、探索した対応点を基準とした所定範囲内の領域において、エピポーラ線の方向とは関係なく相関ウィンドウＷを移動してさらに相関を算出し、より相関が大きい対応点を探索するようにしてもよい。さらに、エピポーラ線を全く考慮することなく、対応点を探索するようにしてもよい。

ウィンドウサイズ設定部３３は、被写体検出部３０および構成部品検出部３１が検出した顔領域Ｆ１および構成部品領域Ｐ１〜Ｐ８を用いて、ステレオマッチング部３２が対応点を探索する際に使用する相関ウィンドウＷのサイズを設定する。図７は相関ウィンドウＷのサイズの設定を説明するための図である。図７に示すように、基準画像Ｇ１上の対象画像Ｐａが顔領域Ｆ１における構成部品領域Ａ１〜Ａ８外の位置にある場合には、顔領域Ｆ１を２５分割することにより取得した分割領域Ｄ１のサイズに、相関ウィンドウＷのサイズを設定する。また、対象画像Ｐａが顔領域Ｆ１における構成部品領域Ａ１〜Ａ８内の位置にある場合には、図８に示すように、各構成部品領域Ａ１〜Ａ８を４分割することにより取得した分割領域Ｄ２のサイズに、相関ウィンドウＷのサイズを設定する。なお、図８は目の領域Ｐ２を４分割した状態を示している。

一方、対象画像Ｐａが顔領域Ｆ１以外の位置にある場合には、あらかじめ定められた所定領域Ｄ３のサイズに、相関ウィンドウＷのサイズを設定する。

なお、分割領域Ｄ１を取得するための顔領域Ｆ１の分割数は２５に限定されるものでない。また、分割領域Ｄ２を取得するための構成部品領域Ａ１〜Ａ８の分割数は４に限定されるものではない。また、構成部品領域Ａ１〜Ａ８のサイズが分割領域Ｄ１よりも小さい場合には、とくに構成部品領域Ａ１〜Ａ８を分割することなく、構成部品領域Ａ１〜Ａ８のサイズをそのまま相関ウィンドウＷのサイズに設定してもよい。

ＣＰＵ３５は、レリーズボタンを含む入出力部３６からの信号に応じて距離測定装置１の各部を制御する。

データバス３７は、距離測定装置１を構成する各部およびＣＰＵ３５に接続されており、距離測定装置１における各種データおよび各種情報のやり取りを行う。

次いで、本実施形態において行われる処理について説明する。図９は本実施形態において行われる処理を示すフローチャートである。なお、ここでは、レリーズボタンが全押しされて撮影の指示が行われた以降の処理について説明する。

レリーズボタンが全押しされることによりＣＰＵ３５が処理を開始し、撮像部２１Ａ，２１ＢがＣＰＵ３５からの指示により被写体を撮影し（ステップＳＴ１）、さらに信号処理部２３が、取得した画像データに対して補正処理、並行化処理および画像処理（信号処理）を施して基準画像Ｇ１および参照画像Ｇ２を取得する（ステップＳＴ２）。

次いで、被写体検出部３０が基準画像Ｇ１から顔領域Ｆ１を検出し（ステップＳＴ３）、さらに構成部品検出部３１が、顔領域Ｆ１から構成部品領域Ａ１〜Ａ８を検出する（ステップＳＴ４）。そして、ウィンドウサイズ設定部３３が、基準画像Ｇ１の各画素についての相関ウィンドウＷのサイズを設定するためのウィンドウサイズ設定処理を行う（ステップＳＴ５）。

図１０はウィンドウサイズ設定処理のフローチャートである。なお、ここでは、基準画像Ｇ１における左上隅の画素から順に相関ウィンドウＷのサイズを設定する処理を行うものとして説明する。また、画素位置は基準画像Ｇ１上において２次元となるが、説明を簡単にするために１次元で示すものとする。

ウィンドウサイズ設定部２は、ウィンドウサイズ設定処理の対象となる対象画素を最初の画素に設定し（ｉ＝１、ｉは基準画像Ｇ１上の画素の位置、ステップＳＴ１１）、対象画素が基準画像Ｇ１上の顔領域Ｆ１内にあるか否かを判定する（ステップＳＴ１２）。ステップＳＴ１２が肯定されると、さらにウィンドウサイズ設定部３３は、対象画素が構成部品領域Ａ１〜Ａ８内にあるか否かを判定する（ステップＳＴ１３）。

ステップＳＴ１３が否定されると、対象画素が顔領域Ｆ１内にはあるが構成部品領域Ａ１〜Ａ８内にはないことから、ウィンドウサイズ設定部３３は、相関ウィンドウＷのサイズを、顔領域Ｆ１を２５分割することにより取得した分割領域Ｄ１のサイズに設定する（ステップＳＴ１４）。ステップＳＴ１３が肯定されると、ウィンドウサイズ設定部３３は、対象画素が構成部品領域Ａ１〜Ａ８内にあることから、相関ウィンドウＷのサイズを、構成部品領域Ａ１〜Ａ８を４分割することにより取得した分割領域Ｄ２のサイズに設定する（ステップＳＴ１５）。なお、ステップＳＴ１２が否定されると、ウィンドウサイズ設定部３３は、相関ウィンドウＷのサイズをあらかじめ定められた領域Ｄ３のサイズに設定する（ステップＳＴ１６）。

ステップＳＴ１４〜ＳＴ１６に続いて、ウィンドウサイズ設定部３３は、すべての画素について相関ウィンドウＷのサイズを設定したか否かを判定し（ステップＳＴ１７）、ステップＳＴ１７が否定されると、対象画素を次の画素に変更して（ｉ＝ｉ＋１、ステップＳＴ１８）、ステップＳＴ１２に戻る。ステップＳＴ１７が肯定されると、相関ウィンドウサイズ設定処理を終了する。

図９に戻り、ステレオマッチング部３２が基準画像Ｇ１の各画素に対応する参照画像Ｇ２上の対応点を探索する（ステップＳＴ６）。さらに、距離画像生成部３４が対応点に基づいて、距離値Ｘ，Ｙ，Ｚを算出し（ステップＳＴ７）、圧縮／伸長処理部２４が、基準画像Ｇ１および参照画像Ｇ２の画像データ並びに距離値からなる距離画像の画像データを含む距離画像の画像ファイルを生成する（ステップＳＴ８）。そして、ＣＰＵ３５からの指示によりメディア制御部２６が画像ファイルを記録メディア２９に記録し（ステップＳＴ９）、処理を終了する。

なお、図９および図１０に示すフローチャートにおいては、基準画像Ｇ１の全画素についての相関ウィンドウＷのサイズを設定した後に、対応点を探索しているが、基準画像Ｇ１の各画素について、相関ウィンドウＷのサイズの設定および対応点の探索を順次行うようにしてもよい。

このように、本実施形態においては、相関ウィンドウＷのサイズを顔領域Ｆ１のサイズに応じて設定するようにしたため、特徴量を算出したり自己相関を算出したりすることなく、少ない演算量により、相関ウィンドウＷのサイズを適切に設定することができる。また、とくに顔領域Ｆ１についての相関ウィンドウＷのサイズを適切に設定できるため、複数の画像における顔領域間において、互いに対応する対応点を精度良く探索することができる。

また、顔領域Ｆ１の相関ウィンドウＷのサイズを、顔領域Ｆ１を複数に分割することにより取得した１つの分割領域Ｄ１のサイズに設定しているため、簡易に相関ウィンドウＷのサイズを設定することができる。

また、顔領域Ｆ１内の顔構成部品について、相関ウィンドウＷのサイズを構成部品領域Ａ１〜Ａ８のサイズに応じて設定するようにしたため、とくに顔領域内の目、耳、眉、鼻および口という構成部品についての相関ウィンドウＷのサイズを適切に設定でき、これにより、複数の画像における顔領域内の構成部品間において、互いに対応する対応点を精度良く探索することができる。

また、構成部品領域Ａ１〜Ａ８の相関ウィンドウＷのサイズを、構成部品領域Ａ１〜Ａ８を複数に分割することにより取得した１つの領域のサイズに設定しているため、簡易に相関ウィンドウＷのサイズを設定することができる。

なお、上記実施形態においては、あらかじめ定めた分割数により顔領域Ｆ１および構成部品領域Ａ１〜Ａ８を分割しているが、相関ウィンドウＷのサイズを設定する毎に、分割数を入出力部３６から装置１に入力するようにしてもよい。

また、上記実施形態においては、顔領域Ｆ１から構成部品領域Ａ１〜Ａ８を検出し、構成部品領域Ａ１〜Ａ８内においては、構成部品領域Ａ１〜Ａ８のサイズに応じた相関ウィンドウＷのサイズを設定しているが、構成部品領域Ａ１〜Ａ８を検出することなく、顔領域Ｆ１内の画素については、顔領域Ｆ１の分割数に応じたサイズの相関ウィンドウＷのサイズに設定するようにしてもよい。なお、この場合、装置１においては、構成部品検出部３１は不要となる。

また、上記実施形態においては、距離測定装置１内において対応点の探索、対応点の決定および距離画像の生成を行っているが、被写体検出部３０、構成部品検出部３１、ステレオマッチング部３２、ウィンドウサイズ設定部３３、および距離画像生成部３４を装置１外に設け、入出力部３６から基準画像Ｇ１および参照画像Ｇ２の画像データを外部の画像処理装置に出力して、相関ウィンドウＷのサイズの設定、対応点の探索および距離画像の生成を行うようにしてもよい。

また、上記実施形態においては、距離測定装置１において撮像部２１Ａ，２１Ｂにより取得した基準画像Ｇ１および参照画像Ｇ２を用いて距離画像を生成しているが、撮像部２１Ａ，２１Ｂを距離測定装置１とは別個に設け、撮像部２１Ａ，２１Ｂが取得した基準画像Ｇ１および参照画像Ｇ２を距離測定装置に入力し、入力された基準画像Ｇ１および参照画像Ｇ２を用いて距離画像を生成するようにしてもよい。

また、上記実施形態においては、距離測定装置１に２つの撮像部を設け、基準画像Ｇ１および参照画像Ｇ２の２つの画像を用いて距離画像を生成しているが、３以上の撮像部を設け、２以上の参照画像を用いて距離画像を生成する場合にも本発明を適用することができる。

また、上記実施形態においては、所定被写体を顔としているが、車両、建物等、顔以外の被写体を検出の対象にできることはもちろんである。この場合、構成部品は、車両のヘッドライト、建物の窓等を用いればよい。

以上、本発明の実施形態について説明したが、コンピュータを、上記の被写体検出部３０、構成部品検出部３１、ステレオマッチング部３２、ウィンドウサイズ設定部３３、および距離画像生成部３４に対応する手段として機能させ、図９および図１０に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の実施形態による画像処理装置を適用した距離測定装置の内部構成を示す概略ブロック図 撮像部の構成を示す図 顔の検出を説明するための図 顔の構成部品の検出を説明するための図 ステレオマッチングを説明するための図 並行化処理後の基準画像および参照画像の位置関係を説明するための図 相関ウィンドウのサイズの設定を説明するための図（その１） 相関ウィンドウのサイズの設定を説明するための図（その２） 本実施形態において行われる処理を示すフローチャート 本実施形態におけるウィンドウサイズ設定処理のフローチャート １ 距離測定装置 ２１Ａ，２１Ｂ 撮像部 ３０ 被写体検出部 ３１ 構成部品検出部 ３２ ステレオマッチング部 ３３ ウィンドウサイズ設定部 ３４ 距離画像生成部

Claims (7)

1. 互いに異なる位置において被写体を撮影することにより取得した複数の画像を取得する画像取得手段と、
   前記複数の画像のうちの基準となる基準画像から所定被写体を検出する被写体検出手段と、
   前記基準画像と該基準画像以外の他の画像との間において、互いに対応する対応点を探索する際に使用される相関ウィンドウのサイズを設定するウィンドウサイズ設定手段であって、前記基準画像における前記所定被写体を含む所定被写体領域内の画素と対応する対応点を探索するための前記相関ウィンドウのサイズを、前記所定被写体領域のサイズに応じて設定するウィンドウサイズ設定手段と、
   前記相関ウィンドウ内の各画素と、前記他の画像上に設定された相関ウィンドウ内の各画素との相関に基づいて、前記対応点を探索する対応点探索手段とを備えたことを特徴とする画像処理装置。
2. 前記ウィンドウサイズ設定手段は、前記所定被写体領域内の画素と対応する対応点を探索するための前記相関ウィンドウのサイズを、前記所定被写体領域を複数に分割することにより取得した１つの領域のサイズに設定する手段であることを特徴とする請求項１記載の画像処理装置。
3. 前記所定被写体を構成する構成部品を検出する構成部品検出手段をさらに備え、
   前記ウィンドウサイズ設定手段は、前記基準画像における前記構成部品を含む構成部品領域内の画素と対応する対応点を探索するための前記相関ウィンドウのサイズを、前記構成部品領域のサイズに応じて設定する手段であることを特徴とする１または２記載の画像処理装置。
4. 前記ウィンドウサイズ設定手段は、前記構成部品領域内の画素と対応する対応点を探索するための前記相関ウィンドウのサイズを、前記構成部品領域を複数に分割することにより取得した１つの領域のサイズに設定する手段であることを特徴とする請求項３記載の画像処理装置。
5. 前記所定被写体が顔であることを特徴とする請求項１から４のいずれか１項記載の画像処理装置。
6. 互いに異なる位置において被写体を撮影することにより取得した複数の画像を取得し、
   前記複数の画像のうちの基準となる基準画像から所定被写体を検出し、
   前記基準画像と該基準画像以外の他の画像との間において、互いに対応する対応点を探索する際に使用される相関ウィンドウのサイズを設定するに際し、前記基準画像における前記所定被写体を含む所定被写体領域内の画素と対応する対応点を探索するための前記相関ウィンドウのサイズを、前記所定被写体領域のサイズに応じて設定し、
   前記相関ウィンドウ内の各画素と、前記他の画像上に設定された相関ウィンドウ内の各画素との相関に基づいて、前記対応点を探索することを特徴とする画像処理方法。
7. 互いに異なる位置において被写体を撮影することにより取得した複数の画像を取得する手順と、
   前記複数の画像のうちの基準となる基準画像から所定被写体を検出する手順と、
   前記基準画像と該基準画像以外の他の画像との間において、互いに対応する対応点を探索する際に使用される相関ウィンドウのサイズを設定するに際し、前記基準画像における前記所定被写体を含む所定被写体領域内の画素と対応する対応点を探索するための前記相関ウィンドウのサイズを、前記所定被写体領域のサイズに応じて設定する手順と、
   前記相関ウィンドウ内の各画素と、前記他の画像上に設定された相関ウィンドウ内の各画素との相関に基づいて、前記対応点を探索する手順とを有することを特徴とする画像処理方法をコンピュータに実行させるためのプログラム。

Images