JP2003256875A - ステレオ画像の位置ずれ調整装置、位置ずれ調整方法、およびステレオ式監視装置 - Google Patents

Abstract

(57)【要約】 【課題】ステレオ画像の位置ずれを監視制御と並行して
リアルタイムで補正する。 【解決手段】補正部５ａ，５ｂは、アフィンパラメータ
の値に応じて、ステレオ画像のアフィン変換を行う。補
正演算部１３は、補正部５ａから出力された基準画像に
おいて、複数の基準領域を設定し、基準領域のそれぞれ
について、基準画像における基準領域の水平位置irと、
基準領域とその相関先との間の垂直ずれ量djと、基準領
域と相関先との間の水平ずれ量dpixとを含む一致点デー
タを算出する。これらの複数の一致点データに基づい
て、（ir，dj，dpix）空間において、平面を規定する平
面パラメータを算出し、この平面パラメータに基づい
て、アフィンパラメータθ1，θ2，SHFTJの値を補正す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ステレオ画像の位
置ずれを幾何学的な画像変換処理により自動的に調整す
る調整装置、調整方法、および、ステレオ式監視装置に
関する。

【従来の技術】近年、ＣＣＤ等の固体撮像素子を内蔵し
た一対の車載カメラ（ステレオカメラ）を用いたステレ
オ式監視装置が注目されている。三次元計測技術の一つ
であるステレオ法では、一方の画像中の画素ブロックと
相関を有する画素ブロックを他方の画像において特定す
る（ステレオマッチング）。そして、両画像における相
対的なずれ量である視差から、三角測量の原理を用いて
距離データを算出する。したがって、ステレオマッチン
グの精度を高めるためには、換言すると、信頼性の高い
距離データを算出するためには、一対の画像（ステレオ
画像）間には視差以外に位置的なずれが存在しないこと
が望ましい。しかしながら、実際には、ステレオカメラ
の取付位置は、機械的な取付精度に起因した誤差の範囲
内においてずれてしまう。

【０００２】この点に関して、特開２００１−８２９５
５号公報には、ステレオ画像にアフィン変換を施すこと
によって、ステレオカメラの位置ずれを、監視制御と並
行してリアルタイムで補正する位置ずれ調整装置が開示
されている。この調整装置では、ステレオカメラより出
力された一対の撮像画像に対して、アフィンパラメータ
の値に応じたアフィン変換を施す。演算部は、アフィン
パラメータの内、基準画像を基準とした比較画像の回転
ずれに関するパラメータの値と、基準画像を基準とした
比較画像の垂直ずれ（上下ずれ）に関するパラメータの
値とを随時補正する。そのために、まず、アフィン変換
後の基準画像平面上において、複数の基準領域が設定さ
れる。これらの基準領域は、基準画像の同一水平線（基
準線）上において互いに離間して一列に並んでおり、か
つ、それぞれが所定の面積を有している。つぎに、アフ
ィン変換後の比較画像平面上において、それぞれの基準
領域と相関を有する相関領域が特定される。そして、特
定された個々の相関領域の位置を示す一致点に基づい
て、これらの一致点を通る近似線が、比較画像平面上に
おいて特定される。演算部は、比較画像側の近似線が基
準画像の基準線と一致するように、比較画像の回転ずれ
と比較画像の垂直ずれとに関するアフィンパラメータの
値を補正する。

【０００３】

【発明が解決しようとする課題】しかしながら、上記の
従来技術では、基準画像を出力するメインカメラの取付
位置は正しく調整されているものと仮定し、サブカメラ
より出力された比較画像の回転ずれと上下ずれとに関す
る調整のみを行っている。しかしながら、メインカメラ
が上下方向にずれて取付けられている場合、換言すれ
ば、メインカメラの光軸を含む水平面上にサブカメラの
光軸がない場合、エピポーララインを完全に一致するよ
うに調整することができない。そのため、ステレオカメ
ラから対象物までの距離を示す距離データの信頼性が低
下するという問題があった。

【０００４】そこで、本発明の目的は、ステレオ画像の
位置ずれを監視制御と並行してリアルタイムで補正する
ことが可能な新規な調整装置を提供することである。

【０００５】また、本発明の別の目的は、ステレオ画像
の位置ずれ調整において、サブカメラから出力される比
較画像の調整のみならず、メインカメラから出力される
基準画像の調整も行うことで、調整精度の向上を図るこ
とである。

【０００６】さらに、本発明の別の目的は、ステレオ画
像に基づき算出される距離データの信頼性の向上を図る
ことにより、ステレオ式監視装置における対象物の認識
精度の向上を図ることである。

【０００７】

【課題を解決するための手段】かかる課題を解決するた
めに、第１の発明は、ステレオ画像の位置ずれ調整装置
を提供する。この調整装置は、アフィンパラメータの値
に応じて、ステレオ画像のアフィン変換を行う補正部
と、補正部から出力された一方の画像において、複数の
基準領域を設定する設定部と、設定部によって設定され
た基準領域のそれぞれについて、一方の画像における基
準領域の水平位置と、基準領域とその相関先との間の垂
直ずれ量と、基準領域と相関先との間の水平ずれ量とを
含む一致点データを算出するデータ算出部と、データ算
出部によって算出された複数の一致点データに基づい
て、水平位置と垂直ずれ量と水平ずれ量とで構成される
空間において、平面を規定する平面パラメータを算出す
るパラメータ算出部と、パラメータ算出部によって算出
された平面パラメータに基づいて、アフィンパラメータ
の値を補正する補正演算部とを有する。

【０００８】ここで、第１の発明において、上記設定部
は、複数の基準領域が一方の画像平面上に分散するよう
に設定することが好ましい。この場合、設定部は、基準
領域を一方の画像平面上にランダムに設定してもよい。
また、設定部は、同一フレームの基準画像において、或
いは、複数フレームの基準画像において、基準領域を所
定のサンプル個数分設定することが好ましい。

【０００９】また、第１の発明において、一方の画像中
の画素ブロック毎に、画素ブロックの相関先を他方の画
像において特定することにより、画素ブロックの距離デ
ータを算出するステレオ演算部をさらに設けてもよい。
この場合、データ算出部は、基準領域内に含まれる距離
データに基づいて、基準領域の相関先を含む探索範囲を
設定し、この探索領域を探索することによって、基準領
域と相関先を特定することが好ましい。

【００１０】第１の発明において、上記パラメータ算出
部は、データ算出部によって算出された複数の一致点デ
ータに基づいて、水平位置に関する分散を算出するとと
もに、算出された分散が所定のしきい値よりも大きい場
合に、平面パラメータを算出してもよい。また、パラメ
ータ算出部は、データ算出部によって算出された複数の
一致点データに基づいて、水平ずれ量に関する分散を算
出するとともに、算出された分散が所定のしきい値より
も大きい場合に、平面パラメータを算出してもよい。こ
の場合、上記パラメータ算出部は、水平位置と水平ずれ
量とによって規定される全てのサンプル点を通る近似直
線を算出し、この近似直線を基準として、水平位置に関
する分散と、水平ずれ量に関する分散と算出することが
望ましい。

【００１１】第１の発明において、上記補正演算部は、
一方の画像の回転を規定するアフィンパラメータ、他方
の画像の回転を規定するアフィンパラメータ、または、
他方の画像の垂直方向への移動を規定するアフィンパラ
メータの少なくとも一つを補正することが好ましい。

【００１２】第２の発明は、上記第１の発明に係るステ
レオ画像の位置ずれ調整装置と、上記補正部によって、
アフィン変換が行われたステレオ画像より算出された距
離データに基づいて、ステレオ画像に写し出された対象
物を認識する認識部とを有するステレオ式監視装置を提
供する。

【００１３】第３の発明は、ステレオ画像の位置ずれ調
整方法を提供する。この調整方法は、アフィンパラメー
タの値に応じて、ステレオ画像のアフィン変換を行う第
１のステップと、アフィン変換が行われたの一方の画像
において、複数の基準領域を設定する第２のステップ
と、基準領域のそれぞれについて、一方の画像における
基準領域の水平位置と、基準領域とその相関先との間の
垂直ずれ量と、基準領域と相関先との間の水平ずれ量と
を含む一致点データを算出する第３のステップと、複数
の一致点データに基づいて、水平位置と垂直ずれ量と水
平ずれ量とで構成される空間において、平面を規定する
平面パラメータを算出する第４のステップと、平面パラ
メータに基づいて、アフィンパラメータの値を補正する
第５のステップとを有する。

【００１４】ここで、第２の発明において、上記第４の
ステップは、複数の一致点データに基づいて、水平位置
に関する分散を算出するステップを含むことが好まし
い。そして、算出された分散が所定のしきい値よりも大
きい場合に、平面パラメータを算出することが望まし
い。その際、上記第４のステップは、複数の一致点デー
タに基づいて、水平ずれ量に関する分散を算出するステ
ップを含むことが好ましい。そして、算出された分散が
所定のしきい値よりも大きい場合に、平面パラメータを
算出することが望ましい。

【００１５】また、第２の発明において、上記第４のス
テップは、水平位置と水平ずれ量とによって規定される
全てのサンプル点を通る近似直線を算出するステップ
と、算出された近似直線を基準として、水平位置に関す
る分散と、水平ずれ量に関する分散と算出するステップ
とを含んでいてもよい。

【００１６】さらに、第２の発明において、上記第５の
ステップは、一方の画像の回転を規定するアフィンパラ
メータ、他方の画像の回転を規定するアフィンパラメー
タ、または、他方の画像の垂直方向への移動を規定する
アフィンパラメータの少なくとも一つを補正することが
好ましい。

【００１７】

【発明の実施の形態】（第１の実施形態）図１は、本実
施形態に係るステレオ式車外監視装置のブロック構成図
である。車外の景色を撮像するステレオカメラは、ルー
ムミラーの近傍に取付けられており、ＣＣＤ等のイメー
ジセンサを内蔵した一対のカメラ１，２で構成されてい
る。それぞれのカメラ１，２は、車幅方向において所定
の間隔（カメラ基線長）で取付けられている。基準画像
データを得るためのメインカメラ１は、車輌の進行方向
に向かって右側に取付けられている。一方、比較画像を
得るためのサブカメラ２は、進行方向に向かって左側に
取付けられている。カメラ対１，２の同期が取れている
状態において、各カメラ１，２から出力された画像（ス
テレオ画像）は、後段の回路の入力レンジに合致するよ
うに、アナログインターフェース３において調整され
る。また、アナログインターフェース３中のゲインコン
トロールアンプ（ＧＣＡ）３ａにおいて画像の明るさバ
ランスが調整される。

【００１８】アナログインターフェース３において調整
されたアナログ画像は、Ａ／Ｄコンバータ４により、所
定の輝度階調（例えば、256階調のグレースケール）の
デジタル画像に変換される。補正回路５ａ，５ｂは、デ
ジタル化されたそれぞれの画像に対してアフィン変換を
施す。ステレオカメラ１，２の取付位置に関する誤差、
そして、それに起因したステレオ画像のずれ（回転ずれ
や並進ずれ）は、画像にアフィン変換を施すことにより
等価的に補正される。本明細書では、「アフィン変換」
という用語を、画像の回転、移動、拡大・縮小、若しく
は、これらに近似する幾何学的な座標変換を総称する意
味で用いている。本実施形態では、４つのアフィンパラ
メータを用いて、ステレオ画像に数式１，２に示す線形
変換を行っている。数式１は、補正回路５ａが行う基準
画像に対するアフィン変換の変換式を示し、数式２は、
補正回路５ｂが行う比較画像に対するアフィン変換の変
換式を示す。なお、同数式において、（ｉ，ｊ）は原画
像の座標であり、（ｉ’，ｊ’）は変換後の座標であ
る。また、アフィンパラメータSHFTI，SHFTJはそれぞ
れ、ｉ方向（画像の水平方向）の移動、ｊ方向（画像の
垂直方向）の移動を示している。また、アフィンパラメ
ータθ（θ1，θ2）は回転を示し、アフィンパラメータ
ＫはＫ倍の拡大（｜Ｋ｜＜１の場合は縮小）を示してい
る。

【数１】

【数２】

【００１９】基準画像に関するアフィンパラメータθ
1，Ｋの内、画像の拡大を規定する拡大パラメータＫは
固定値（初期設定値）であるが、画像の回転を規定する
回転パラメータθ1は可変値である。また、比較画像に
関するアフィンパラメータθ2，SHFTI，SHFTJの内、拡
大パラメータＫと、画像の水平方向への移動を規定する
水平パラメータSHFTIとは固定値であるが、回転パラメ
ータθ2と、画像の垂直方向への移動を規定する垂直パ
ラメータSHFTJとは可変値である。可変パラメータθ1，
θ2，SHFTJの値は、マイクロコンピュータ９によって随
時算出され、監視制御と並行して、リアルタイムで補正
される。回転パラメータθ1，θ2を可変値とすること
で、本来のカメラ基線（エピポーラライン）に対する基
準画像の回転ずれと比較画像の回転ずれとが解消され
る。また、垂直パラメータSHFTJを可変値とすること
で、基準画像を基準とした比較画像の垂直方向のずれが
解消される。ステレオ画像に対してアフィン変換を施す
ことにより、ステレオマッチングの精度を確保する上で
重要となる「エピポーララインの一致」、すなわち、基
準画像と比較画像との間における水平線の一致が保証さ
れる。なお、アフィン変換回路のハードウェア構成につ
いては、特開平１０−３０７３５２号公報に記述されて
いるので、必要ならば参照されたい。

【００２０】このような画像処理を経て、メインカメラ
１の出力信号から、例えば、水平方向が512画素、垂直
方向が200画素で構成された１フレーム相当の基準画像
データが得られる。また、サブカメラ２の出力信号か
ら、基準画像と垂直方向長が同じで、基準画像よりも大
きな水平方向長を有する１フレーム相当の比較画像デー
タが生成される（一例として、水平方向が640画素、垂
直方向が200画素）。これらの基準画像データおよび比
較画像データは、後段の画像データメモリ７に格納され
る。

【００２１】ステレオ演算回路６は、基準画像データと
比較画像データとに基づいて距離データを算出する。こ
の距離データは、一例として、4×4画素の画素ブロック
を算出単位とし、１フレーム相当の基準画像全体では12
8×50個の距離データが算出され得る。基準画像中の１
画素ブロックを対象とした場合、その対象画素ブロック
の輝度特性と相関を有する領域を比較画像を探索するこ
とにより特定する（ステレオマッチング）。周知のとお
り、ステレオ画像に写し出された対象物までの距離は、
ステレオ画像における視差、すなわち、基準画像と比較
画像との間における水平方向のずれ量として現れる。し
たがって、比較画像の探索を行う場合、対象画素ブロッ
クのｊ座標と同じ水平線（エピポーラライン）上を探索
すればよい。ステレオ演算回路６は、このエピポーララ
イン上を１画素ずつシフトしながら、画素ブロック毎に
対象画素ブロックとの相関を評価する。

【００２２】２つの画素ブロックの相関は、例えば、数
式３に示すシティブロック距離ＣＢ（基本形）を算出す
ることにより評価することができる。同数式において、
ｐijは一方の画素ブロックのｉｊ番目の画素の輝度（輝
度データ）であり、ｐ２ijは他方の画素ブロックのｉｊ
番目の輝度データである。シティブロック距離ＣＢは、
位置的に対応した輝度値ｐ１ij，ｐ２ij対の差（絶対
値）の画素ブロック全体における総和であって、その差
が小さいほど両画素ブロックの相関が大きいことを意味
している。

【数３】ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜

【００２３】基本的には、エピポーラライン上に存在す
る画素ブロック毎に算出されたシティブロック距離ＣＢ
のうち、その値が最小となる画素ブロックが対象画素ブ
ロックの相関先と判断される。このようにして特定され
た相関先と対象画素ブロックとの間の視差から距離デー
タが出力される。なお、シティブロック距離を算出する
ためのハード構成については、特開平５−１１４００９
号公報に開示されているので、必要ならば参照された
い。以上の手法によって算出された距離データは、後段
の距離データメモリ８に格納される。

【００２４】マイクロコンピュータ９（機能的に捉えた
場合、その機能的ブロックである認識部１０）は、道路
形状（白線）や車輌前方の立体物（走行車）といった対
象物を認識する。対象物の認識は、画像データメモリ７
に記憶された画像データと距離データメモリ８に格納さ
れた距離データとに基づいて行われる。また、図示して
いない車速センサ、舵角センサからのセンサ情報、或い
は、ナビゲーション情報等も必要に応じて参照される。
そして、これらの認識結果に基づいて、認識部１０は、
前方のカーブや立体物に対する警報が必要と判定した場
合、モニタやスピーカー等の警報装置１１を作動させて
ドライバーに注意を促す。また、認識部１０は、必要に
応じて、制御装置１２を制御することにより、ＡＴ（自
動変速機）のシフトダウン、エンジン出力の抑制、或い
はブレーキの作動といった車輌制御を実行する。

【００２５】マイクロコンピュータ９（機能的に捉えた
場合、その機能的ブロックである補正演算部１３）は、
図２から図４までのフローチャートに示すルーチンにし
たがい、基準画像の回転パラメータθ1の値、比較画像
の回転パラメータθ2の値、および、比較画像の垂直パ
ラメータSHFTJの値をリアルタイムで補正する。補正さ
れたこれらのパラメータθ1，θ2，SHFTJは、補正回路
５ａ，５ｂに随時フィードバックされる。なお、このル
ーチンは、所定の間隔で繰り返し実行される。

【００２６】まず、ステップ１において、補正演算部１
３は、ｉ番目の基準領域Ｒiを、基準画像平面上にラン
ダムに設定し、この基準領域Ｒi内の輝度データｐと距
離データｄとを読み込む。ここで、ｉは、基準領域Ｒi
の設定個数をカウントする変数である。この変数ｉの初
期値は１であり、所定値（例えばｉ＝20）に到達するま
で、ステップ１２によって順次インクリメントされる。
図６に示すように、基準領域Ｒiは、所定の面積（一例
として16×16画素）を有する。基準画像平面における基
準領域Ｒiの位置を基準点ａiで表す。本実施形態では、
基準領域Ｒiの左下隅を基準点ａiとする。例えば、１番
目の基準領域Ｒ1の位置は、基準点ａ1（ir1，jr1）で表
される。本ステップ１以降ステップ１０までの処理対象
は、ステップ１で設定された基準領域Ｒiである。

【００２７】ステップ２において、基準領域Ｒiのエッ
ジ数ＥＮが算出される。図７に示すように、基準領域Ｒ
i中には、4×4個の距離データｄ、そして16×16個の輝
度データｐが存在する（同図の右側に示した輝度ブロッ
クは、距離データｄ1が算出された画素ブロックに相当
している）。これら256個の輝度データｐから、水平方
向において隣接した画素対毎に輝度差（輝度変化量）Δ
ｐ（絶対値）が算出される。ただし、基準領域Ｒの一番
左側に位置した画素列（例えば、距離データｄ1に係る
画素ブロックについてはｐ11，ｐ12，ｐ13，ｐ14（距離
データｄ5，ｄ9，ｄ13に係る画素ブロックについても同
様））に関しては、その左側に隣接した画素より輝度変
化量Δｐが算出される。結果的に、256個の輝度変化量
Δｐが算出される。つぎに、基準領域Ｒiが輝度エッジ
を有するか否かを評価するために、256個の輝度変化量
Δｐの内、所定の判定しきい値以上のものの数をカウン
トし、その数を基準領域Ｒiのエッジ数ＥＮとする。

【００２８】つぎに、ステップ３において、基準領域Ｒ
iに関する距離データの分布を求め、その最大出現度数
ＭＡＸＮと最頻距離値ＭＦＤとが算出される。上述した
ように、距離データは、１つの視差の算出単位である4
×4の画素ブロック毎に１つ算出されるため、１つの基
準領域Ｒ内には16個の距離データｄiが存在する。図８
は、基準領域Ｒi内に含まれる距離データｄi（ｉ＝1〜1
6）のヒストグラムの説明図である。同図において、横
軸は距離データｄiの値、縦軸は出現度数である。この
ような分布から、最も大きな出現度数が最大出現度数Ｍ
ＡＸＮとして特定され、出現度数が最も大きな距離デー
タｄiの値が最頻距離値ＭＦＤとして特定される。

【００２９】ステップ２およびステップ３で算出された
値ＥＮ，ＭＡＸＮ，ＭＦＤに基づき、ステップ４からス
テップ７において、ステップ１で設定された基準領域Ｒ
iが、二次元マッチングを行うのに”適した領域”であ
るかが評価される。本実施形態では、下記の４つの判定
条件（ステップ４〜ステップ７）の全てを具備する場合
に、基準領域Ｒiが二次元マッチングを行うのに”適し
た領域”であると判断する。

【００３０】（判定条件） １．エッジ数ＥＮが所定の最小規定値ＥＮminよりも大
きいこと（ステップ４） 基準領域Ｒiの相関先を探索する際、そのエッジ数ＥＮ
が小さい（すなわち輝度エッジがあまり存在しない）と
ミスマッチが起こりやすい。そこで、二次元マッチング
の精度の向上を図るために、適切に設定された最小規定
値ＥＮminよりもエッジ数ＥＮが大きいこと、すなわ
ち、基準領域Ｒiが輝度エッジを有することを条件とす
る。

【００３１】２．エッジ数ＥＮが所定の最大規定値ＥＮ
max（ＥＮmax＞ＥＮmin）よりも小さいこと（ステップ
５） 例えば、垣根や林等が写し出された領域の相関先を探索
する場合、茂みの陰影により同様の輝度エッジが多数存
在するため、適切な相関先を特定することが困難とな
る。したがって、二次元マッチングの精度を向上させる
観点から、基準領域Ｒi内に垣根等が写し出されている
場合、その基準領域Ｒiはマッチングを行うのに適切な
領域ではないと判断する。垣根等が写し出されている状
況では、その茂みの陰影により通常よりも多数の輝度エ
ッジが出現する傾向がある。そこで、このような観点で
適切に設定した最大規定値ＥＮmaxとエッジ数ＥＮとを
比較することにより、その基準領域Ｒiが二次元マッチ
ングに適した領域であるか否かを判断する。

【００３２】３．最大出現度数ＭＡＸＮがピーク判定規
定値ＭＡＸＮthよりも大きいこと（ステップ６） この判定条件は、オクリュージョンの影響を評価するも
のである。オクリュージョンの影響をあまり受けていな
い場合、図８に示したヒストグラムにおいて大きなピー
クが一つ出現する傾向がある。これに対して、オクリュ
ージョンの影響が大きくなると、その影響が大きいほど
ピークは低下し、小さなピークが複数個出現するという
傾向がある。このような見地から、ピーク判定規定値Ｍ
ＡＸＮthを適切に設定し、最大出現度数ＭＡＸＮがピー
ク判定規定値ＭＡＸＮthよりも大きい場合、その基準領
域Ｒiはオクリュージョンの影響を受けておらず評価に
適した領域であると判断する。

【００３３】４．最頻距離値ＭＦＤが所定範囲以内であ
ること（ステップ７） この判定条件は、距離データに関するノイズの影響を評
価するためのものである。通常、基準領域Ｒi内の距離
データの値は、所定の距離レンジ内に収まる傾向があ
る。これは、通常、基準領域Ｒi内に写し出される対象
物までの距離は、所定のレンジ内に収まる傾向があるか
らである。したがって、基準領域Ｒiに通常写し出され
るであろう対象物までの距離を考慮して、それに応じた
距離レンジを設定しておく。そして、最頻距離値ＭＦＤ
がこの範囲からはずれている場合、この基準領域Ｒi
は、評価に適さない領域であると判断する。本実施形態
では、16ｍ〜70ｍ（画素ずれ量としては24画素〜6画
素）を所定範囲として設定している。

【００３４】以上のような４つの判定条件に基づき、基
準領域Ｒiがステレオマッチングに”適した領域”であ
ると判断された場合のみ、ステップ４からステップ７ま
での各判断を経て、図３のステップ８に進む。それ以外
の場合は、本ルーチンを抜ける。

【００３５】ステップ８からステップ１０までの各手順
は、一致点Ｐi、すなわち、基準領域Ｒiの相関先の処理
に関する。まず、ステップ８において、基準領域Ｒi内
の距離データｄ（具体的には最頻距離値ＭＦＤ）に基づ
き、探索範囲Ｓiが比較画像において設定される。図６
に示した基準領域Ｒ1を例に説明すると、基準画像平面
において、基準領域Ｒ1の位置を示す基準点ａ1の座標を
（ir1，ij1）とし、その最頻距離値をＭＦＤ1とする。
ステレオ法の原理上、基準領域Ｒ1の相関先（基準領域
Ｒ1と同一面積である16×16画素ブロック）は、基準領
域Ｒ1の基準点ａ1に水平方向のずれ（最頻距離値ＭＦＤ
1）を加えた位置ａs1（ir1＋ＭＦＤ1，j1）付近に存在
する。そこで、予想される上下左右の最大ずれ量を例え
ば4画素ほど見込み、位置ａs1を基準に上下左右方向に
４画素ずらした領域、すなわち24×24画素の領域を探索
範囲Ｓ1として設定する。なお、探索範囲Ｓ1の位置を設
定する他の手法として、最頻距離値ＭＦＤiを用いた場
合よりも精度が劣る可能性があるものの、基準領域Ｒ1
内の距離データｄの平均値を最頻距離値ＭＦＤ1に代え
て用いてもよい。

【００３６】そして、ステップ８において設定された探
索範囲Ｓi内において、一致点Ｐiが算出される（ステッ
プ９）。ここで、「一致点Ｐi」とは、基準領域Ｒiの相
関先に関する比較画像平面上の位置である。図５は、あ
る探索範囲Ｓiにおける一致点Ｐiの詳細な算出手順を示
すフローチャートである。まず、ステップ５１におい
て、基準領域Ｒiと、探索範囲Ｓiに存在する１６×１６
画素の画素領域とのシティブロック距離ＣＢの分布が算
出される。シティブロック距離ＣＢは、探索範囲Ｓi内
に存在する画素ブロック（基準領域Ｒiと同一面積で16
×16画素）毎に上述した数式３に基づいて算出される。
探索範囲Ｓiの全域に渡って比較対象を水平／垂直方向
に１画素ずつオフセットさせながら（二次元マッチン
グ）、比較対象毎に１つのシティブロック距離ＣＢが算
出される。したがって、１つの探索範囲Ｓiにおいて81
個（9×9）のシティブロック距離ＣＢが算出される。こ
れにより、図９に示す探索範囲Ｓi全域におけるシティ
ブロック距離ＣＢの分布が得られる。

【００３７】ステップ５１に続くステップ５２以降にお
いて、探索範囲Ｓiにおける一致点Ｐiが計算される。こ
の一致点Ｐiは、基本的には、シティブロック距離ＣＢ
が極小となる点、すなわち、相関が最も大きい点の座標
（ｉmin,ｊmin）として与えられる。しかしながら、こ
の座標（ｉmin,ｊmin）は離散的な値であり、１画素以
下の精度で位置を指定することができない。そのため、
この値を画像の位置ずれ補正における入力変数として直
接用いるのは、位置の調整精度の観点から好ましくな
い。そこで、上記座標（ｉmin,ｊmin）を仮の一致点Ｐ
i’とし、以下の処理によって、１画素以下の分解能で
位置表示が可能な（真の）一致点Ｐi（ｉsub,ｊsub）を
求める。

【００３８】なお、シティブロック距離ＣＢの極小値が
所定のしきい値よりも大きい場合は、相関が不明確であ
ると判断して、そのサイクルにおける一致点Ｐiの算出
をスキップするようにしてもよい。これにより、適切で
ない相関先が特定されてしまうことを避けることができ
る。

【００３９】以下、一致点Ｐiのｉ座標値、すなわち、
シティブロック距離ＣＢの値が最も小さくなる極小点の
ｉ座標値の算出手法について説明する、なお、これとま
ったく同様の手法で一致点Ｐiのｊ座標値も算出するこ
とができるので、ｊ座標値の算出手順については説明を
省略する。図１０は、ｊmin列の極小点近傍におけるシ
ティブロック距離ＣＢの分布特性を説明するための図で
あり、ステップ５１で算出されたシティブロック距離Ｃ
Ｂの値を丸印でプロットしている。画素の面積が限りな
く小さいと仮定した場合、シティブロック距離ＣＢは破
線で示したように、極小点近傍において左右対称でかつ
連続的に分布するという特性を有する。このような観点
から、破線の極小値、すなわち一致点Ｐiのｉ座標値
は、仮の一致点Ｐi’のｉ座標値とは異なる。

【００４０】そこで、シティブロック距離ＣＢの分布が
極小点近傍において左右対称となる特性を用いて、ステ
ップ５２以降の手順において、仮の一致点Ｐi'を基準と
して右側のシティブロック距離ＣＢの差と左側のそれと
を比較する。そして、直線近似によって、極小点、すな
わち一致点Ｐiのｉ座標値を算出する。まず、ステップ
５２において、数式４に示したように、仮の一致点Ｐ
i’のｉ座標値ｉminに対するｉ座標値ｉmin−１の変化
量を求める。これにより、仮の一致点Ｐi’よりも左側
におけるシティブロック距離ＣＢの変化量を評価する。
同様に、仮の一致点Ｐi’のｉ座標値ｉminに対するｉ座
標値ｉmin＋１の変化量を求めることで、仮の一致点Ｐ
i’よりも右側のシティブロック距離ＣＢの変化量を評
価する。

【数４】 ΔＣＢ0＝ＣＢ[ｉmin−１,ｊmin]−ＣＢ[ｉmin,ｊmin] ΔＣＢ1＝ＣＢ[ｉmin＋１,ｊmin]−ＣＢ[ｉmin,ｊmin]

【００４１】つぎに、ステップ５３において、ステップ
５２で算出された左側のシティブロック距離差ΔＣＢ0
と右側のシティブロック距離差ΔＣＢ1とを比較する。
シティブロック距離ＣＢの分布が極小点周りで対称にな
る特性に基づき、極小点が座標値（ｉmin−１）〜ｉmin
間または座標値ｉmin〜（ｉmin＋１）間のどちらに存在
するのかを判断することができる。

【００４２】ステップ５３において肯定判定された場
合、すなわち、仮の一致点の座標値ｉmin近傍で、シテ
ィブロック距離ＣＢの変化が座標値ｉminの左側よりも
右側の方で大きい場合、極小点は座標値ｉmin〜（ｉmin
−１）間に存在すると判断される。この場合はステップ
５４に進み、点ＣＢ[ｉmin,ｊmin]と点ＣＢ[ｉmin＋１,
ｊmin]とを結ぶ直線Ｌ１の傾きｍを算出する。そして、
それに続くステップ５５において、点ＣＢ[ｉmin−１,
ｊmin]を通り、かつ傾きが−ｍとなる直線Ｌ２を算出す
る。そして、ステップ５５に続くステップ５８におい
て、算出された２本の直線Ｌ１,Ｌ２の交点を計算し、
この交点を真の極小点（すなわち一致点Ｐiのｉ座標値
ｉsub）とする。

【００４３】一方、ステップ５３において否定判定され
た場合、すなわち、仮の一致点の座標値ｉmin近傍で、
シティブロック距離ＣＢの変化が座標ｉminの右側より
も左側の方で大きい場合、極小点は、座標値ｉmin〜
（ｉmin＋１）間に存在すると判断される。この場合は
ステップ５６に進み、点ＣＢ[ｉmin,ｊmin]と点ＣＢ[ｉ
min−１,ｊmin]とを結ぶ直線Ｌ１の傾きｍを算出する。
それに続くステップ５７において、点ＣＢ[ｉmin＋１,
ｊmin]を通り、傾きが−ｍとなる直線Ｌ２を算出する。
そして、ステップ５６においてこれらの直線Ｌ１，Ｌ２
の交点を算出することで、一致点Ｐiのｉ座標値ｉsubを
決定する。

【００４４】図１１は、左側のシティブロック距離差Δ
ＣＢ0の方が右側の差ΔＣＢ1よりも大きい場合に算出さ
れた直線Ｌ１，Ｌ２を示している。同図からわかるよう
に、極小点近傍におけるシティブロック距離ＣＢの分布
を直線Ｌ１，Ｌ２で近似し、その交点を求める。そし
て、この交点を一致点Ｐiのｉ座標値ｉsubとして決定す
る。

【００４５】一致点Ｐiのｉ座標値ｉsubの算出手法と同
じ手法を用いて、一致点Ｐiのｊ座標値ｊsubを算出す
る。これにより、基準領域Ｒiと最も大きな相関を有す
る対象領域の位置Ｐi（ｉsub，ｊsub）（すなわち、サ
ブピクセルレベルの一致点）を、１画素以下の分解能で
算出することができる。

【００４６】図３のステップ１０において、基準領域Ｒ
iに関して算出された一致点データ（ir，dj，dpix）が
マイクロコンピュータ９中のメモリ（図示せず）に一時
的に格納される（ステップ１０）。一致点データは、基
準水平位置ir、垂直ずれ量djおよび水平ずれ量dpixが対
応付けられたデータセットである。基準水平位置irは、
基準画像平面上における基準領域Ｒiの水平位置（基準
点ａiのｉ座標値）であり、例えば、基準領域Ｒ1ではir
1になる。垂直ずれ量djは、基準点ａiと、これが対応す
る一致点Ｐiとの間の垂直方向のずれ量、換言すれば、
基準領域Ｒiとこの相関先との相対的な垂直ずれ量（サ
ブピクセルレベル）である。例えば、基準領域Ｒ1に関
して算出されたサブピクセルレベルの一致点Ｐ1のｊ座
標値がｊsub1とすると、この基準領域Ｒ1の垂直ずれ量d
jは（ｊsub1−jr1）になる。また、水平ずれ量dpixは、
基準点ａiと、これが対応する一致点Ｐiとの間の水平方
向のずれ量、換言すれば、基準領域Ｒiとこの相関先と
の相対的な水平ずれ量（サブピクセルレベル）である。
例えば、基準領域Ｒ1に関して算出されたサブピクセル
レベルの一致点Ｐ1のｉ座標値がｉsub1とするとこの基
準領域Ｒ1の水平ずれ量dpixは（ｉsub1−ir1）になる。

【００４７】ステップ１１において、一致点データ（i
r，dj，dpix）が所定のサンプル個数（例えば20個）だ
けストアされたか否か、すなわち、変数ｉが20に到達し
たか否かが判断される。このステップ２０で否定判定さ
れた場合は、ステップ１２に進み、ｉに１を加算して、
本ルーチンを抜ける。そして、本ルーチンの次の実行サ
イクルで、次の基準領域Ｒi+1がランダムに設定され、
これを処理対象に上述したステップ１〜１０が実行され
ることで、次の基準領域Ｒi+1に関する一致点データが
算出される。これにより、基準領域Ｒ1，Ｒ2，Ｒ3，・・・
の順で、一致点データが順次算出・ストアされる。そし
て、ストアされた一致点データの数がサンプル個数（＝
20）に到達すると、ステップ１１の判定結果が否定から
肯定に変わり、図４のステップ１３に進む。

【００４８】サンプル個数分の基準領域Ｒ1〜Ｒ20を設
定するにあたり重要なことは、これらを基準画像平面上
に分散させ、ばらつかせることである。このばらつきが
保証される限り、基準領域Ｒ1〜Ｒ20を、１フレームの
基準画像内に設定する必要は必ずしもなく、複数フレー
ムの基準画像に亘って設定してもよい。その結果、サン
プルデータである基準水平位置irおよび水平ずれ量dpix
もばらつき、後述する（ir，dj，dpix）空間において、
サンプルデータir，dpixが局所的に集中することを防
ぐ。

【００４９】ステップ１３において、メモリにストアさ
れた20サンプル分の一致点データ（ir，dj，dpix）が読
み出される。続くステップ１４では、読み出された一致
点データに基づいて、基準水平位置ir群のヒストグラム
と水平ずれ量dpix群のヒストグラムとがそれぞれ生成さ
れ、これらのばらつきが評価される。図１２は、基準水
平位置irのヒストグラムの説明図である。同図におい
て、横軸は基準水平位置irの値、縦軸はその出現度数で
ある。このヒストグラムに基づき、基準水平位置irの分
散ＶＥＲirが算出される。本実施形態では、（ir，dj，
dpix）空間における平面を一義に特定し、この平面を規
定するパラメータＡ，Ｂ，Ｃより、アフィンパラメータ
θ1，θ2，SHFTJを算出する。そのため、上記空間にお
いて、サンプルとして抽出された基準水平位置irが局所
的に集中していると、信頼性の高い平面を規定できな
い。そこで、このステップ１４で、基準水平位置irのば
らつきの程度を示す分散ＶＥＲirを算出している。

【００５０】図１３は、水平ずれ量dpixのヒストグラム
の説明図である。同図において、横軸は水平ずれ量dpix
の値、縦軸はその出現度数である。このヒストグラムに
基づき、水平ずれ量dpixの分散ＶＥＲdpixが算出され
る。この分散ＶＥＲdpixを算出する理由は、基準水平位
置irと同様に、サンプルとして抽出された水平ずれ量dp
ixが（ir，dj，dpix）空間において局所的に集中してい
ると、信頼性の高い平面を規定できないからである。

【００５１】ステップ１５では、基準水平位置irの分散
ＶＥＲirが所定のしきい値ＶＥＲ1thよりも大きく、か
つ、水平ずれ量dpixの分散ＶＥＲdpixが所定のしきい値
ＶＥＲ2thよりも大きいか否かが判断される。このステ
ップ１５で否定判定された場合、すなわち、基準水平位
置irまたは水平ずれ量dpixの少なくとも一方がばらつい
ていない場合には、信頼性の高い平面が規定できないと
判断して、ステップ１９のパラメータ更新を行うことな
く、ステップ２０に進む。そして、メモリにストアされ
ていた全ての一致点データをクリアするとともに、変数
ｉもクリアして、本ルーチンを抜ける。これに対して、
ステップ１５で肯定判定された場合は、ステップ１６に
進む。

【００５２】ステップ１６では、全ての一致点データに
対して、数式５で示す三次元平面方程式を当てはめ、最
小二乗法またはハフ変換等によって、（ir，dj，dpix）
空間上の平面を規定するパラメータＡ，Ｂ，Ｃが算出さ
れる。

【数５】Ａ・ir＋Ｂ・dpix＋dj＋Ｃ＝０

【００５３】ステップ１７では、ステップ１６で算出さ
れたパラメータＡ，Ｂ，Ｃに基づき、三次元のカメラず
れ量として、メインカメラ１の回転ずれ量ΔＴrと、サ
ブカメラ２の回転ずれ量ΔＴlと、サブカメラ２の上下
ずれ量ΔＶlとが数式６より算出される。

【数６】ΔＴr＝Ａ−Ｂ ΔＴl＝−Ｂ ΔＶl＝−Ｃ

【００５４】ここで、図１４を参照しながら、上記ずれ
量ΔＴr，ΔＴl，ΔＶlとパラメータＡ，Ｂ，Ｃとの関
係について説明する。メインカメラ１が反時計方向にΔ
Ｔrだけ回転している場合、基準画像の実際のエピポー
ララインＬ1’は、本来のエピポーララインＬ1に対して
この傾き値ΔＴr分回転する。一方、サブカメラ１が反
時計方向にΔＴlだけ回転し、メインカメラ１に対して
平行にΔＶlずれている場合、比較画像の実際のエピポ
ーララインＬ2’は、本来のエピポーララインＬ2に対し
てΔＴrだけ回転し、ΔＶlだけ平行移動する。また、あ
る基準領域Ｒiに関して、基準画像上のその位置を基準
点ａi（ir，jr）とし、比較画像上における相関先の位
置を一致点Ｐi（il，jl）とする。この場合、垂直ずれ
量djは、数式７のように変形できる。

【数式７】 dj＝jl−jr ＝ΔＶl＋ΔＴl・il−ΔＴr・ir ＝ΔＶl＋ΔＴl（dpix＋ir）−ΔＴr・ir ＝ΔＶl＋（ΔＴl−ΔＴr）ir＋ΔＴl・dpix

【００５５】上記変形は、（ir，dj，dpix）空間中で、
１つの平面が構成されることを示している。そして、理
論的には、サンプルデータとして抽出された全ての一致
点データは、この平面上に存在する。そこで、（ir，d
j，dpix）空間内に一致点データを配し、最小二乗法等
により三次元平面（Ａ・ir＋Ｂ・dpix＋dj＋C＝０）を
特定する。これにより、上述した数式６に示す関係式が
一義的に導出される。

【００５６】続くステップ１８では、ずれ量ΔＴr，Δ
Ｔl，ΔＶlが所定のしきい値ΔＴrth，ΔＴlth，ΔＶlt
hよりも大きいか否かが個別に判断される。このステッ
プ１８で否定判定されたずれ量ΔＴr，ΔＴl，ΔＶlに
関しては、対応するアフィンパラメータθ1，θ2，SHFT
Jの現在値が適切に設定されていると判断する。すなわ
ち、ΔＴr≦ΔＴrthの場合はθ1の更新は行われず、Δ
Ｔl≦ΔＴlthの場合はθ2の更新を行われず、ΔＶl≦Δ
Ｖlthの場合はSHFTJの更新を行われない。そして、ステ
ップ２０において、メモリにストアされていた一致点デ
ータ等を全てクリアし、本ルーチンを抜ける。

【００５７】これに対して、ステップ１８で肯定判定さ
れたずれ量ΔＴr，ΔＴl，ΔＶlに関しては、対応する
アフィンパラメータθ1，θ2，SHFTJの更新処理が行わ
れる（ステップ１９）。すなわち、ΔＴr＞ΔＴrthの場
合はθ1が更新され、ΔＴl＞ΔＴlthの場合はθ2が更新
され、ΔＶl＞ΔＶlthの場合はSHFTJが更新される。こ
の更新処理では、数式８に従い、アフィンパラメータθ
1，θ2，SHFTJの値が比例制御によって補正される。

【数８】θ1←θ1−0.25×ΔＴr θ2←θ2−0.25×ΔＴl SHFTJ←SHFTJ−0.25×ΔＶl

【００５８】すなわち、メインカメラ１の回転ずれ量Δ
Ｔrに所定のゲイン（例えば0.25）を乗じた値を、アフ
ィンパラメータθ1の現在値より減算する。補正演算部
１３は、補正後のパラメータθ1を、基準画像のアフィ
ン変換を行う補正回路５ａにフィードバックする。補正
回路５ａは、補正後のパラーメータθ1を適用して、基
準画像のアフィン変換を行う。これにより、メインカメ
ラ１の回転ずれが解消される方向に、基準画像が回転す
る。また、サブカメラ２の回転ずれ量ΔＴlおよび上下
ずれ量ΔＶlに所定のゲインを乗じた値を、アフィンパ
ラメータθ2，SHFTJの現在値よりそれぞれ減算する。補
正演算部１３は、補正後のパラーメータθ2，SHFTJを、
比較画像のアフィン変換を行う補正回路５ｂにフィード
バックする。補正回路５ｂは、補正後のパラーメータθ
2，SHFTJを適用して、比較画像のアフィン変換を行う。
これにより、サブカメラ２の回転／上下ずれが解消され
る方向に、比較画像が回転／上下移動する。そして、ス
テップ１９に続くステップ２０において、メモリにスト
アされていた一致点データ等が全てクリアされて、本ル
ーチンを抜ける。

【００５９】このように、本実施形態では、基準水平位
置ir、垂直ずれ量djおよび水平ずれ量dpixを含む一致点
データに基づき、（ir，dj，dpix）空間における平面を
特定することによって、カメラずれ量ΔＴr，ΔＴl，Δ
Ｖが算出される。そして、これらのずれ量ΔＴr，ΔＴ
l，ΔＶlに応じて、基準画像のアフィンパラメータθ1
と、比較画像のアフィンパラメータθ2，SHFTJとが、フ
ィードバック制御によって調整される。このような調整
をリアルタイムで行うことにより、経年変化や温度変化
等によって、ステレオカメラの光学的位置にずれが生じ
た場合であっても、それを適切に解消することができ
る。その結果、ステレオ処理におけるミスマッチングの
発生を低減し、距離データの信頼性を向上させることが
でき、ステレオ式監視装置の監視精度を一層向上させる
ことが可能になる。

【００６０】特に、本実施形態では、メインカメラ１の
回転ずれも調整しているので、従来技術と比較して、距
離データの算出精度を一層向上させることができる。従
来は、カメラの位置ずれ（エピポーララインの不一致）
に関して、三次元のずれの自由度（基準画像の回転、比
較画像の回転および比較画像の上下）があるにも拘わら
ず、ずれ量を完全に算出することができなかった。なぜ
なら、メインカメラ１の回転ずれは存在しない、或い
は、無視できる程微少である仮定し、２つのパラメータ
（基準点の水平座標、基準点と一致点との垂直ずれ量）
のみに基づいて、カメラの位置ずれ量を算出していたか
らである。そのため、メインカメラ１の光軸を含む水平
面上にサブカメラ２の光軸が存在しない場合、従来は、
エピポーララインを完全に一致させることができず、そ
の結果、算出距離の精度を、対象物までの距離の全域に
亘って確保することが困難であった。これに対して、本
実施形態では、上記２つのパラメータに、基準点ａiと
一致点Ｐiとの水平ずれ量を加えた三次元のパラメータ
を用いて、カメラの位置ずれを算出している。そのた
め、理論的には、三次元のずれを完全に求めることが可
能になり、より正確な位置ずれ調整が可能になる。

【００６１】また、本実施形態では、サンプルである基
準水平位置irと水平ずれ量dpixとのばらつきを分散とし
て評価した上で、これらの分散が所定のしきい値よりも
大きい場合のみ、（ir，dj，dpix）空間上の平面パラメ
ータＡ，Ｂ，Ｃを算出する。換言すれば、これらの分散
が小さく、基準水平位置ir，水平ずれ量dpixが集中して
いる場合には、平面パラメータＡ，Ｂ，Ｃを算出しな
い。これにより、サンプル群ir，dpixが局所的に集中し
ている場合に、信頼性の低い平面が特定されるのを回避
できるので、常に適切なアフィンパラメータθ1，θ2，
SHFTJを算出できる。その結果、距離データの算出精度
を一層向上させることが可能になる。なお、平面の信頼
性を考慮しないのであれば、基準水平位置ir，水平ずれ
量dpixのいずれか一方の分散のみを評価してもよく、或
いは、双方を評価しなくてもよい。

【００６２】また、本実施形態では、一致点Ｐiを探索
する探索範囲Ｓiを、基準領域Ｒi内の距離データに基づ
いて比較的狭い範囲（本実施形態では24×24画素のエリ
ア）に限定している。このように探索範囲Ｓiを絞り込
むことで、一致点Ｐiの探索に要する演算量を大幅に低
減することができる。その結果、マイクロコンピュータ
９の処理能力をそれほど要求することなく、認識・監視
制御と並行して、リアルタイムで位置ずれの調整を行う
ことができるという効果がある。

【００６３】さらに、本実施形態では、基準領域Ｒiが
二次元マッチングを行う上で適した領域であるか否かを
評価し、適していると判断された基準領域Ｒiに基づい
て、一致点Ｐiを算出している。これにより、精度の高
い二次元マッチングを行うことができるため、信頼性の
高い一致点Ｐiを算出することができる。その結果、精
度の高いステレオ画像の位置ずれ調整を安定して行うこ
とができる。

【００６４】なお、上述した実施形態では、基準領域Ｒ
iの位置を基準画像平面上にランダムに設定している。
しかしながら、基準領域Ｒiの位置的なばらつきが確保
される限り、その位置をランダムに設定する必要は必ず
しもなく、１フレームまたは複数フレームの基準画像に
おいて、予め位置を設定しておいてもよい。

【００６５】また、上述した実施形態では、平面を規定
する空間を（ir，dj，dpix）空間としているが、これに
代えて（ir，dj，il）空間を用いてもよい。一致点Ｐi
の水平位置ilおよび水平ズレ量dpixは、dpix＝il−irの
関係にあり、ilが特定されればdpixも一義的に算出され
るからである。このような観点より、本明細書におい
て、「水平ずれ量」とは、水平ずれ量dpixそのもの、若
しくは、水平ずれ量dpixを一義的に特定可能なパラメー
タを広く含む意味で用いている。

【００６６】また、上述した実施形態では、アフィンパ
ラメータθ1，θ2，SHFTJのすべてを補正しているが、
本発明は、これに限定されるものではなく、補正対象と
なるアフィンパラメータθ1，θ2，SHFTJの少なくとも
一つであってもよい。

【００６７】さらに、上述した実施形態では、基準画像
のアフィンパラメータは固定として、比較画像のアフィ
ンパラメータを調整する例について説明した。しかしな
がら、本発明はこれに限定されるものではなく、例え
ば、比較画像のアフィンパラメータを固定として、基準
画像のアフィンパラメータを調整してもよい。

【００６８】（第２の実施形態）第１の実施形態では、
算出平面の信頼性を担保するために、サンプルとして抽
出された一致点データ（ir，dj，dpix）の内、パラメー
タir，dpixのばらつきを分散ＶＥＲir，ＶＥＲdpixによ
って個別に評価している。そして、双方がばらついてい
る場合のみ、（ir，dj，dpix）平面の空間を算出してい
る。しかしながら、図１５に示すようなケース、すなわ
ち、（ir，dj，dpix）空間でサンプル点（ir，dpix）が
略一直線上に並んでしまう極めて稀なケースでは、平面
を一義的に特定できないという不都合が生じる。その結
果、個々のパラメータir，dpixはばらついているにも拘
わらず、不適切なアフィンパラメータθ1，θ2，SHFTJ
が算出され、距離データの精度低下を招くおそれがあ
る。

【００６９】そこで、本実施形態では、サンプルとして
抽出された全ての一致点データを通る近似直線ＢＬを算
出し、この近似直線ＢＬを基準としたばらつきを評価す
ることで、上記不都合を解消する。基本的な処理の流れ
は、図２から図４に示したフローチャートと同様である
が、ステップ１４の手順のみが相違する。

【００７０】具体的には、図４のステップ１４におい
て、まず、全てのサンプル点（ir，dpix）を通る近似直
線ＢＬを最小二乗法により算出する。つぎに、この近似
直線ＢＬを基準とした基準水平位置irのばらつきを分散
ＶＥＲirとして算出する。それとともに、近似直線ＢＬ
を基準とした水平ずれ量dpixのばらつきを分散ＶＥＲdp
ixとして算出する。算出された分散ＶＥＲir，ＶＥＲdp
ixは、図１５のケースでは共にほぼ０となり、近似直線
ＢＬを基準にしたサンプル点（ir，dpix）のばらつきが
大きくなるに従い大きくなる。そして、ステップ１４以
降において、第１の実施形態と同様に、パラメータir，
dpixのばらつきを評価する。

【００７１】本実施形態のような分散算出手法を用いる
ことにより、図１５に示すようなケースでは、ステップ
１５の判定結果が否定となり、アフィンパラメータが更
新されない。その結果、不適切なアフィンパラメータθ
1，θ2，SHFTJが算出されるのを回避でき、距離データ
の精度低下を防止できる。

【発明の効果】このように、本発明では、ステレオ画像
のずれを自動的かつリアルタイムで調整することが可能
になる。そして、位置ずれが適切に調整された画像情報
に基づいて、対象物の認識を行えば、認識精度の向上を
図ることができる。

【図面の簡単な説明】

【図１】本実施形態に係るステレオ式車外監視装置のブ
ロック構成図

【図２】アフィンパラメータの調整手順の一部を示すフ
ローチャート

【図３】図２に続く手順を示すフローチャート

【図４】図３に続く手順を示すフローチャート

【図５】一致点の詳細な算出手順を示すフローチャート

【図６】基準画像における基準領域の説明図

【図７】基準領域に関する輝度データと距離データとの
説明図

【図８】一基準領域に関する距離データｄのヒストグラ
ムの説明図

【図９】一基準領域に関するシティブロック距離の分布
図

【図１０】極小点近傍におけるシティブロック距離の分
布特性の説明図

【図１１】直線近似による一致点の算出手法の説明図

【図１２】基準水平座標irのヒストグラムの説明図

【図１３】水平ずれ量dpixのヒストグラムの説明図

【図１４】ステレオ画像とカメラずれとの関係を示す図

【図１５】（ir，dj，dpix）空間において、サンプル点
（ir，dpix）が略一直線上に並んだケースを示す図

【符号の説明】

１ メインカメラ ２ サブカメラ ３ アナログインターフェース ３ａ ゲインコントロールアンプ ４ Ａ／Ｄコンバータ ５ａ 補正回路 ５ｂ 補正回路 ６ ステレオ演算回路 ７ 画像データメモリ ８ 距離データメモリ ９ マイクロコンピュータ １０ 認識部 １１ 警報装置 １２ 制御装置 １３ 補正演算部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 13/02 Ｈ０４Ｎ 13/02 ５Ｌ０９６ Ｆターム(参考） 2F065 AA06 AA20 AA54 FF05 JJ03 JJ05 JJ26 QQ03 QQ18 QQ24 QQ31 2F112 AC06 BA06 BA12 CA12 FA03 FA35 FA45 5B050 AA09 BA09 BA15 EA12 EA13 FA06 5B057 AA20 CA13 CA16 CB13 CB16 CD02 CD03 CH01 CH11 DB03 DC02 DC34 5C061 AB04 AB08 5L096 AA09 BA20 CA02 FA34 FA66 FA69 GA19 JA06 LA05

Claims (14)

【特許請求の範囲】
1. 【請求項１】ステレオ画像の位置ずれ調整装置におい
   て、 アフィンパラメータの値に応じて、ステレオ画像のアフ
   ィン変換を行う補正部と、 前記補正部から出力された一方の画像において、複数の
   基準領域を設定する設定部と、 前記設定部によって設定された前記基準領域のそれぞれ
   について、前記一方の画像における前記基準領域の水平
   位置と、前記基準領域とその相関先との間の垂直ずれ量
   と、前記基準領域と前記相関先との間の水平ずれ量とを
   含む一致点データを算出するデータ算出部と、 前記データ算出部によって算出された複数の前記一致点
   データに基づいて、前記水平位置と前記垂直ずれ量と前
   記水平ずれ量とで構成される空間において、平面を規定
   する平面パラメータを算出するパラメータ算出部と、 前記パラメータ算出部によって算出された前記平面パラ
   メータに基づいて、前記アフィンパラメータの値を補正
   する補正演算部とを有することを特徴とするステレオ画
   像の位置ずれ調整装置。
2. 【請求項２】前記設定部は、複数の前記基準領域が一方
   の画像平面上に分散するように設定することを特徴とす
   る請求項１に記載されたステレオ画像の位置ずれ調整装
   置。
3. 【請求項３】前記設定部は、前記基準領域を一方の画像
   平面上にランダムに設定することを特徴とする請求項２
   に記載されたステレオ画像の位置ずれ調整装置。
4. 【請求項４】前記設定部は、同一フレームの基準画像に
   おいて、前記基準領域を所定のサンプル個数分設定する
   ことを特徴とする請求項１から３のいずれかに記載され
   たステレオ画像の位置ずれ調整装置。
5. 【請求項５】前記設定部は、複数フレームの基準画像に
   おいて、前記基準領域を所定のサンプル個数分設定する
   ことを特徴とする請求項１から３のいずれかに記載され
   たステレオ画像の位置ずれ調整装置。
6. 【請求項６】一方の画像中の画素ブロック毎に、当該画
   素ブロックの相関先を他方の画像において特定すること
   により、当該画素ブロックの距離データを算出するステ
   レオ演算部をさらに有し、 前記データ算出部は、前記基準領域内に含まれる距離デ
   ータに基づいて、前記基準領域の相関先を含む探索範囲
   を設定し、当該探索領域を探索することによって、前記
   基準領域と相関先を特定することを特徴とする請求項１
   に記載されたステレオ画像の位置ずれ調整装置。
7. 【請求項７】前記パラメータ算出部は、前記データ算出
   部によって算出された複数の前記一致点データに基づい
   て、前記水平位置に関する分散と、前記水平ずれ量に関
   する分散とを算出するとともに、前記水平位置に関する
   分散が所定のしきい値よりも大きく、かつ、前記水平ず
   れ量に関する分散が所定のしきい値よりも大きい場合
   に、前記平面パラメータを算出することを特徴とする請
   求項１に記載されたステレオ画像の位置ずれ調整装置。
8. 【請求項８】前記パラメータ算出部は、前記水平位置と
   前記水平ずれ量とによって規定される全てのサンプル点
   を通る近似直線を算出し、当該近似直線を基準として、
   前記水平位置に関する分散と、前記水平ずれ量に関する
   分散と算出することを特徴とする請求項７に記載された
   ステレオ画像の位置ずれ調整装置。
9. 【請求項９】前記補正演算部は、一方の画像の回転を規
   定するアフィンパラメータ、他方の画像の回転を規定す
   るアフィンパラメータ、または、他方の画像の垂直方向
   への移動を規定するアフィンパラメータの少なくとも一
   つを補正することを特徴とする請求項１から８のいずれ
   かに記載されたステレオ画像の位置ずれ調整装置。
10. 【請求項１０】請求項１から９に記載されたステレオ画
    像の位置ずれ調整装置と、 前記補正部によって、アフィン変換が行われたステレオ
    画像より算出された距離データに基づいて、前記ステレ
    オ画像に写し出された対象物を認識する認識部とを有す
    ることを特徴とするステレオ式監視装置。
11. 【請求項１１】ステレオ画像の位置ずれ調整方法におい
    て、 アフィンパラメータの値に応じて、ステレオ画像のアフ
    ィン変換を行う第１のステップと、 前記アフィン変換が行われたの一方の画像において、複
    数の基準領域を設定する第２のステップと、 前記基準領域のそれぞれについて、前記一方の画像にお
    ける前記基準領域の水平位置と、前記基準領域とその相
    関先との間の垂直ずれ量と、前記基準領域と前記相関先
    との間の水平ずれ量とを含む一致点データを算出する第
    ３のステップと、 複数の前記一致点データに基づいて、前記水平位置と前
    記垂直ずれ量と前記水平ずれ量とで構成される空間にお
    いて、平面を規定する平面パラメータを算出する第４の
    ステップと、 前記平面パラメータに基づいて、前記アフィンパラメー
    タの値を補正する第５のステップとを有することを特徴
    とするステレオ画像の位置ずれ調整方法。
12. 【請求項１２】前記第４のステップは、 複数の前記一致点データに基づいて、前記水平ずれ量に
    関する分散を算出するステップと、 前記水平位置に関する分散が所定のしきい値よりも大き
    く、かつ、前記水平ずれ量に関する分散が所定のしきい
    値よりも大きい場合に、前記平面パラメータを算出する
    ステップとを含むことを特徴とする請求項１１に記載さ
    れたステレオ画像の位置ずれ調整方法。
13. 【請求項１３】前記第４のステップは、 前記水平位置と前記水平ずれ量とによって規定される全
    てのサンプル点を通る近似直線を算出するステップと、 当該近似直線を基準として、前記水平位置に関する分散
    と、前記水平ずれ量に関する分散と算出するステップと
    を含むことを特徴とする請求項１２に記載されたステレ
    オ画像の位置ずれ調整方法。
14. 【請求項１４】前記第５のステップは、一方の画像の回
    転を規定するアフィンパラメータ、他方の画像の回転を
    規定するアフィンパラメータ、または、他方の画像の垂
    直方向への移動を規定するアフィンパラメータの少なく
    とも一つを補正することを特徴とする請求項１１から１
    ３のいずれかに記載されたステレオ画像の位置ずれ調整
    方法。