JP2007200364A - ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 - Google Patents

Abstract

【課題】複数の撮像装置間の画像変換パラメータを求めるステレオキャリブレーション装置であって、画像間の対応直線の組を自動で求めて射影行列を算出することによりステレオキャリブレーションを自動化し、調整員による操作なしで短時間に高精度の画像変換パラメータを獲得するものである。
【解決手段】ステレオキャリブレーション装置は、２個の撮像装置から画像が入力する画像入力部１１と、入力した２個の画像において画像１個あたり少なくとも４個の直線を検出する直線検出部１２と、検出された直線の近傍領域の画像特徴を利用して少なくとも４個の対応直線の組を求める直線対応検出部１３と、得られた対応直線の組から２個の撮像装置間の画像変換パラメータとして射影行列を算出する変換行列算出部１４とからなる。
【選択図】 図１

Description

本発明は、複数の撮像装置間の画像変換パラメータを求めるステレオキャリブレーション装置とそれを用いたステレオ画像監視装置に関する。

ＣＣＤカメラ等の撮像装置を用いて不審人物を自動検知する画像監視装置や、走行車両に搭載される撮像装置を用いて道路上の障害物を発見したり走行レーンを認識する前方監視装置や走行支援装置においては、撮像装置を１個だけ用いる方式よりも、複数の撮像装置で共通視野を監視できるもののほうが容易に高い検知性能が得られる。

この理由は、侵入者や障害物等の検知対象のバリエーションが事実上無限であり、全てカバーできる仕様記述を得ることが現実的には不可能、よって検知対象に似た道路面上のテクスチャや予期しない画像変化等の誤検出要因がある環境においては、画像パターンのみにより検知対象を正しく区別することが大変困難であることによる。一方、複数の撮像手段が使用可能である場合、共通視野についてはステレオ視の原理により対象の３次元位置や構造に関する情報が得られ、検知対象を上記誤検出要因から区別することが容易となる。

但し、対象の３次元情報を精密に得るためには、画像中の全ての場所についてステレオ対応付けの問題を解決せねばならず、屋外環境のように複雑かつ多くの環境外乱が存在する場合には、これも大変困難となる。ところが、特許文献１や特許文献２のような方法を用いると、対象の構造に関する３次元情報は厳密には得られないものの、例えば地面や道路面といった３次元空間内のある平面を基準とし、これと比して高さを持つ画像領域だけを正しく検出でき、屋外環境においても検知対象の有無とその位置については正確に検知することが可能となる。

この方式の原理は次のように説明できる。

今、撮像装置である２つのカメラが監視区域を共通視野として設置されているとする。侵入者や障害物がない場合の監視区域は道路面等の３次元空間内での平面であるとし、これを基準平面と呼ぶ。基準平面上の点Ｘが同時に２つのカメラで撮影されており、一方のカメラでのＸの像の画像座標を（ｘ，ｙ）、もう片方のカメラでのＸの像の画像座標を（ｘ′，ｙ′）、各カメラの焦点距離をｆ，ｆ′とすれば、一方のカメラ画像からもう片方のカメラ画像への変換が射影変換となり

の関係を得る。ここで、各画像座標を斉次座標表現を用いてベクトルｘ＝（ｘ，ｙ，ｆ）^Ｔ，ベクトルｘ’＝（ｘ′，ｙ′，ｆ′）^Ｔと表し（^Ｔは置換を表す）、Ｈ_１１，…，Ｈ_３３を要素とする３×３の行列をＨとすれば、ｓを定数として、

でベクトルｘ→ベクトルｘ’の画像変換が表せる。ｓはベクトルｘに依存し、Ｈの自由度が８であるから、

としても一般性は失われない。Ｘが基準平面上にある限り、Ｈはベクトルｘによらず一定として求めることができ、このＨを射影行列と呼ぶ。射影行列Ｈが既知である場合、（２）式よりベクトルｘ→ベクトルｘ’の変換を求め、一方のカメラ画像での（ｘ，ｙ）近傍の画像特徴（輝度値等）ともう一方のカメラ画像での（ｘ′，ｙ′）近傍の画像特徴を比較し、双方が同じであればＸが基準平面上にあると判定できる。反対に、双方の画像特徴が異なっていればＸは基準平面上にない、つまり基準平面からの高さを持った何らかの侵入物や障害物が画像中の（ｘ，ｙ）あるいは（ｘ′，ｙ′）の位置に存在すると判定することができる。

なお、本明細書において、「ベクトルｘ」は、ベクトル表示を示し、他の文字についても同様である。

このように、予めＨが求められていれば、高さを持つ物体が基準平面上にあるか否かを判定することができ、路面のテクスチャや物体の影等を誤って検知することのない高性能な画像監視装置が実現できる。

以降、Ｈを求める従来方法について説明する。

２個のカメラ画像間で対応する点（画素）の組｛ベクトルｘ_ｍ ＝（ｘ_ｍ ，ｙ_ｍ ，ｆ）^Ｔ ，ベクトルｘ’_ｍ ＝（ｘ′_ｍ ，ｙ′_ｍ ，ｆ′）^Ｔ ｝（ｍ＝１…Ｍ）が４個以上分かっていればＨを求めることができる。具体的には、ベクトルｈ＝（Ｈ_１１，Ｈ_１２，Ｈ_１３，Ｈ_２１，Ｈ_２２，Ｈ_２３，Ｈ_３１，Ｈ_３２）^Ｔ とし、（２）式をベクトルｈの一次式に書き直せば

となる。各対応点の組｛ベクトルｘ’_ｍ ，ベクトルｘ’_ｍ ｝をこれに代入し、得られる連立式を解けばベクトルｈつまりＨが求められる。これから、対応点の組のみからでなく、画像中の直線を検出し、そのカメラ画像間での対応も用いてＨを求める方法が以下のように導かれる。

今、対応点の組｛ベクトルｘ_ｍ ，ベクトルｘ’_ｍ ｝と同時に、カメラ画像間で対応する直線の組｛ａ_ｎ ｘ＋ｂ_ｎ ｙ＋ｃ_ｎ ｆ＝０，ａ′_ｎ ｘ′＋ｂ′_ｎ ｙ′＋ｃ′_ｎ ｆ′＝０｝（ｎ＝１…Ｎ）が求められているとする。直線をパラメータベクトルｌ_ｎ ＝（ａ_ｎ ，ｂ_ｎ ，ｃ_ｎ ）^Ｔ ，ベクトルｌ’_ｎ ＝（ａ′_ｎ ，ｂ′_ｎ ，ｃ′_ｎ ）^Ｔ で表せば、画像上の各直線は

と表され、これと（２）式が同時に成り立つことから、直線に関する射影変換式

が得られる（ｕは定数）。これに対して（４）式と同様の展開を行い、対応点の組｛ベクトルｘ_ｍ ，ベクトルｘ’_ｍ ｝と対応直線の組｛ベクトルｌ_ｎ ，ベクトルｌ’_ｎ ｝により得られるベクトルｈの連立式を一つに合わせれば、最終的に

が得られる。これを解けばベクトルｈつまりＨを求められる。Ｍ＋Ｎが４以上であれば、例えば非特許文献１に記載の様々な解法を用いてＨを計算することが可能である。

以上のように、射影行列を求めるには、カメラ画像間で対応点（画素）や対応直線の組が予め得られていることが前提となる。

ところが、従来、多くの画像監視装置等では、それらの設置時に調整員が手作業により対応点や対応直線の組を求めており、調整員は対応を誤ることなく注意深く作業を行う必要があるとともに、精度良く射影行列を計算するために多数の対応点や対応直線を求めなければならず、長時間の作業が強いられていた。

また、振動の多い場所や車載カメラを用いる等、カメラ取り付けの“ずれ”が起こり得る場合、調整員による再キャリブレーションが行われるまで画像監視装置の誤動作が発生したり、調整員を設置場所へ派遣する必要が生じる等、画像監視装置の使用者にとって極めて不都合な状況が発生する。
特開平１１−３２８３６５号公報 特開２０００−２９３６９３公報 Ｗ．Ｈ．Ｐｒｅｓｓ ｅｔ ａｌ，Ｎｕｍｅｒｉｃａｌ Ｒｅｃｉｐｅｓ ｉｎ Ｃ，ＩＳＢＮ ０−５２１−４３１０８−５

上述のように、特許文献１や特許文献２のような高性能の画像監視装置や障害物検出装置を実現するためには、撮像装置間の画像変換パラメータを求めるため、予めステレオキャリブレーションを行う必要がある。

従来のステレオキャリブレーション装置では、調整員による対応点指定等の手作業が不可欠であり、多大な人的コストと作業時間が必要である。特に多数のステレオキャリブレーションを行わなければならない場合や、カメラの取り付けが不測で変更されるような場合には、さらに人的コストや作業時間が甚大となるという問題点がある。

本発明はこのような事情を鑑みてなされたもので、複数の撮像装置の取り付け位置の違いにより撮影画像に差異が見られる場合においても、画像間の対応直線の組を自動で求めて射影行列を算出することによりステレオキャリブレーションを自動化し、オペレータの操作なしで短時間に高精度の画像変換パラメータを獲得できるステレオキャリブレーション装置とそれを用いたステレオ画像監視装置を提供することにある。

本発明は、予め設定された共通領域を撮影する一対の撮像装置間の画像変換パラメータである射影行列を求めるステレオキャリブレーション装置において、前記一対の撮像装置からの画像をそれぞれ入力する画像入力手段と、前記一対の撮像装置から入力した一対の画像の中の各画像毎に、前記共通領域中にある少なくとも４本の直線をそれぞれ検出する直線検出手段と、前記各画像からそれぞれ検出された直線について同じ画像内の複数直線間の幾何学的関係を利用して、前記一対の画像間における対応直線の組を少なくとも４組求める直線対応検出手段と、前記得られた対応直線の組に基づいて、前記一対の撮像装置間の前記射影行列を算出する変換行列算出手段と、を有するステレオキャリブレーション装置である。

本発明によれば、画像間の対応直線の組からの射影行列算出が自動で行われ、調整員による操作なしで短時間に高精度の画像変換パラメータが獲得できることにより、従来必要であった多大な人的コストや作業時間を大幅に削減できたり、撮像装置の取り付けに変化があったときのステレオ画像監視装置等の誤動作や調整員派遣等の不都合を回避できる等、実用上多大なる効果が奏せられる。

（第１の実施形態）
以下、本発明の第１の実施形態について図１から図９を用いて説明する。

図１は、本実施形態のステレオキャリブレーション装置の概略構成図である。

本実施形態のステレオキャリブレーション装置は、画像入力部１１と、直線検出部１２と、直線対応検出部１３と、変換行列算出部１４とからなる。これら各部１１〜１４の各機能は、コンピュータに記憶されたプログラムによって実現される。

（１）画像入力部１１
画像入力部１１は、任意の複数の撮像装置１０１からの画像が供給される。

本実施形態では、撮像装置１０１は２個のＣＣＤカメラ等の撮像装置からなり、例えば、図２に示すように監視区域上方に２個所設置されたり、車両に２個所搭載される場合には図３に示すように自車両前部の左側と右側に取りつけられる。

ここで、ステレオキャリブレーション装置の動作時には、図２の監視区域のような３次元空間内の平面（例えば、道路面）が両カメラにて撮影されているとし、この平面上には高さを持つ物体がないとする。

よって、後段の直線検出部１２にて検出される直線は全てこの平面上のテクスチャから得られるものとする。

画像入力部１１は、撮像装置１０１から出力される映像信号を逐次Ａ／Ｄ変換し、画像入力部１１内のメモリにディジタル画像あるいは画像列として蓄積する。そして、要求された任意時刻、任意領域の画像を次の直線検出部１２及び直線対応検出部１３に出力する。

（２）直線検出部１２
直線検出部１２は、画像入力部１１に蓄積されている、撮像装置１０１からの複数画像において直線を検出する。

ここでは、輝度勾配の大きい画素が直線状に連なっているものを直線として検出する方法について説明する。

「輝度勾配」とは、画素近傍での輝度変化の度合いを示すものであり、図２の監視区域であれば路面白線の境界といった画像中の構造の境界領域で大きな値となる（単にエッジとも呼ばれる）。

輝度勾配を求める方法としては、例えばＳｏｂｅｌオペレータのようなフィルタを画像に重畳する方法がある。

Ｓｏｂｅｌオペレータによりエッジ画素を求める方法を説明する。

画像中の位置（ｘ，ｙ）での輝度をＩ（ｘ，ｙ）とし、フィルタ各要素Ｆｘ（ｉ，ｊ），Ｆｙ（ｉ，ｊ）が図４のように設定されていると、このフィルタを画像に重畳して得られる値Ｇ_ｘ ，Ｇ_ｙ 、すなわち、

は、各々（ｘ，ｙ）近傍での水平方向及び垂直方向の輝度変化の度合いを示すので、輝度勾配強度Ｇ（ｘ，ｙ）は

等として得られる。よって、この輝度勾配強度が予め定められたしきい値より大きい画素のみを抽出する等によりエッジ画素が求められる。図５は、図２のようにカメラａ，ｂが設置されている場合に、各カメラ画像から得られたエッジ画像の例を示す。

他に輝度勾配を求めるフィルタとしては、Ｌａｐｌａｃｉａｎ，Ｒｏｂｉｎｓｏｎ，Ｃａｎｎｙ等様々なものがあり、どれを用いてもかまわない。公知の輝度勾配算出方法は、例えば非特許文献２（高木、下田監修、画像解析ハンドブック、東京大学出版会、ＩＳＢＮ４−１３−０６１１０７−０）に詳しい。

エッジ画素が求められた後、例えばハフ変換といった方法を用いてエッジ画素を通る直線が検出できる。ハフ変換は画像中の直線を検出する方法として広く知られている（非特許文献２）。簡潔に説明するなら、エッジ画素位置（ｘ，ｙ）を

を用いて（ρ，θ）空間の三角関数曲線に変換したとき、複数のエッジ画素から生じる複数曲線の交点が直線に対応することから、直線をａｘ＋ｂｙ＋ｃ＝０としたときの直線パラメータ（ａ，ｂ，ｃ）を交点の（ρ，θ）値と（１０）式とから算出する方法である。

また、非特許文献３（Ｍ．Ａ．Ｆｉｓｃｈｌｅｒ ｅｔ ａｌ，Ｒａｎｄａｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ：Ａ Ｐａｒａｄｉｇｍ ｆｏｒ Ｍｏｄｅｌ Ｆｉｔｔｉｎｇ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ ａｎｄ Ａｕｔｏｍａｔｅｄ Ｃａｒｔｏｇｒａｐｈｙ，Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ，Ｖｏｌ．２４，Ｎｏ．６，ｐｐ．２５３−２６７，１９８１．）のようなＲＡＮＳＡＣといったロバスト推定による直線当てはめも、エッジ画像における直線検出に有効である。これも簡潔に記述するなら、ランダムに選択された複数のエッジ画素を初期値として、最小２乗法等によりエッジ画素群に直線当てはめを行い、直線からの外れ値（距離）が大きい画素を取り除くとともに外れ値が小さいエッジ画素を新たに含め、再度同様の方法で直線当てはめを行う。最大の外れ値が許容範囲に収まるまで以上の直線当てはめを繰り返せば、直線上に並ぶエッジ画素を通る直線を検出できるというものである。これらの方法により、図５に示されるようにエッジ画素群が不連続であったり、くの字状に曲がって連続していても、図６のように正しく直線を求めることができる。

以上の直線検出処理を、２個の撮像装置からの各画像に対して行い、画像毎に４個以上の直線を求める。直線のパラメータをベクトルｌ＝（ａ，ｂ，ｃ）^Ｔ 、画像座標を斉次座標表現ベクトルｘ＝（ｘ，ｙ，ｆ）^Ｔ としたとき（ｆは焦点距離）、直線はベクトルｌ^Ｔ ベクトルｘ＝０で表される。直線パラメータだけであると、その直線をなすエッジ画素が画像中のどの部分にあるか分からないので、直線上に存在する、あるいは直線近傍の許容範囲内に存在するエッジ画素群の端点２点も、各直線毎に図６丸印のように求める。

（３）直線対応検出部１３
直線対応検出部１３は、上述の直線検出部１２にて検出された直線の近傍画像領域を画像入力部１１から得て、画像特徴の比較により２画像間での対応直線の組を求める。なお、「画像特徴」とは、検出した直線近傍領域と他の領域と区別することができる画像から抽出できる輝度、色、動き等の物理量をいう。

ここで「対応直線の組」とは、２個のカメラ画像に映っている直線の組で、同一の実像を元にするものを指す。例えば、図６でカメラａ，ｂの各画像中に直線ｓ，ｓ′が映っている。図７に示されるように、この２個の直線が監視区域での同一直線の像である場合、直線ｓとｓ′は対応直線の組である。一方、図６の直線ｔ，ｔ′は、図７の別々の直線の像であるため、これらは対応直線の組ではない。

（３−１）領域マッチングによる方法
対応直線の組を検出する方法としては、例えば直線近傍の画像特徴を用いた領域マッチングによる方法を適用することが考えられる。なお、「領域マッチング」とは、比較元の画像領域と比較先の画像領域との一致度を算出する方法である。

最も簡便なＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いる方法を用いて、本願発明の発明者が独自に創作した方法を説明する。

比較する２個の画像領域が同形としてＲで表し、Ｒ中の位置を（ｘ，ｙ）、この位置での比較元の画素輝度をＩ（ｘ，ｙ）、比較先の画素輝度をＩ′（ｘ，ｙ）とした場合、

を求める。この値が小さいほど２つの画像領域は一致している。

直線間でマッチング計算を直接行うことが難しい場合、例えば直線上の任意点を中心とする任意領域について領域マッチングを実施し、その総和を比較すればよい。

図８では、直線の２端点間に５個の矩形領域を等間隔に配置した例を示している。

このような領域設定を異なる２直線について行い、並び順の通りにマッチング計算を行いＥ_Ｒ を求め、その総和ΣＥ_Ｒ が小さければ直線間の一致の度合いが高いと考えられる。図６のカメラａ画像の直線、例えばｓを比較元とし、カメラｂ画像の全直線を比較先として上記処理を行えば、直線近傍の画像パターンが最も似ておりΣＥ_Ｒ が最小となる直線、つまり直線ｓと最も一致する直線ｓ′を検出することができる。

反対に、ｔ，ｔ′のように同じ実像を元としないものは直線近傍の画像パターンが異なるため、一致の度合いの低い、つまりΣＥ_Ｒ が大きな直線しか見つからない。よって、予め定めたしきい値と比較する等により、ｔ，ｔ′については対応直線が見つからないとして、直線対応検出部１３の出力から除外することができる。この手続きをカメラａ画像の全ての直線について行い、カメラｂ画像中の対応直線を求める。

そして、射影行列Ｈを求めるために、少なくとも４組の対応直線の組を求める。

（３−２）動的計画法
比較する２直線の長さ（端点間の距離）が異なっていたり、一方の直線に含まれている部分が他方の直線に含まれていなかったりすると、領域マッチングによる対応直線の検出が困難となる場合が考えられる。このようなときでも有効な方法として動的計画法を適用することが考えられる。

非特許文献４（Ｈ．Ｓａｋｏｅ ｅｔ ａｌ，Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ Ａｌｇｏｒｉｔｈｍ Ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ Ｓｐｏｋｅｎ Ｗｏｒｄ Ｒｅｃｏｇｎｉｔｉｏｎ，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ ＡＳＳＰ，Ｖｏｌ．２６，Ｎｏ．１，ｐｐ．４３−４９，１９７８．）には、音声認識において動的計画法を適用することが記載されている。しかし、この記載は音声認識に関する技術であるため、本願の発明者は、この動的計画法を画像処理に適用して、直線近傍の画像特徴の一致の度合いを判定する技術を独自に創作した。以下、その画像処理に関する動的計画法を説明する。

今、比較元の直線について近傍領域が図９のように設定されており、直線両側の２領域を各々、長辺方向に予め定めた幅で均等に区切り、図９の右図のように２領域から計Ｉ個の微小な領域が得られるとする。

この微小領域について画素輝度の平均値を求めて微小領域の並び順にしたがって並べる等により、直線近傍領域の画像特徴を示す要素Ｉ個のデータ列Ａ＝｛ａ_ｉ ｝を得る。

同様に、比較先の直線についても同様に領域設定し、同じ操作によりＪ個の画像特徴データ列Ｂ＝｛ｂ_ｊ ｝を得る。

Ａ，Ｂの長さＩ，Ｊが異なるときマッチング演算ではＡ，Ｂを比較できない。動的計画法では、例えばｉとｊをもう一つのパラメータｋの関数として表すことにより、この不具合を回避する。

データ列Ａ，Ｂ間の対応状態を

と表す（Ｆをワープ関数と呼ぶ）。ここで、データ差ｄ（ｃ）＝｜ａ_ｉ −ｂ_ｊ ｜を定義し、データ差に対する重み関数をｗ（ｋ）とすれば、ｄ（ｃ）の重み付け和を重み和で正規化した値

は、ワープ関数Ｆにおけるデータ列Ａ，Ｂ間の正規化距離と考えられる。データの対応状態ｃ（ｋ）に応じてｗ（ｋ）を変え、Ｄ_Ｆ （Ａ，Ｂ）が小さくなるよう繰り返し計算を行えば、ＦについてＤ_Ｆ （Ａ，Ｂ）の最小値が探索でき、結果、得られた最小値

はデータＡ，Ｂ間の距離を示すものと見なせる。２直線間で小さなＤが得られたとき直線が一致していると考えられることから、領域マッチング処理と同様にして、以上により画像間の対応直線を検出することが可能である。

なお、データの対応状態ｃ（ｋ）に応じた重み関数ｗ（ｋ）の設定方法は非特許文献４に詳しい。

上記のような方法で、一の画像において検出された全ての直線に関して、他の画像で検出された直線を対応させてそれぞれ正規化距離を求め、この正規化距離が最小の直線を対応する直線として記憶させる。

そして、射影行列Ｈを求めるために、少なくとも４組の対応直線の組を求める。

（３−３）他の方法
他に、画像領域間の一致度を求める方法としては、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）を用いる方法や、正規化相関係数法、構造マッチング等様々なものがあり、任意の方法を用いることが可能である。公知の方法については非特許文献２に詳しい。

また、マッチングを行う領域も、図９のように直線左右の長矩形とする等、任意の設定が可能である。

（４）変換行列算出部１４
変換行列算出部１４は、上述の直線対応検出部１３にて検出された、少なくとも４組の対応直線の組から、撮像装置間の画像変換パラメータである射影行列Ｈを求める。

直線対応検出部１３からは、対応直線の組が｛ベクトルＩ_ｎ ＝（ａ_ｎ ，ｂ_ｎ ，ｃ_ｎ ）^Ｔ ，ベクトルＩ’_ｎ ＝（ａ′_ｎ ，ｂ′_ｎ ，ｃ′_ｎ ）^Ｔ ｝（ｎ＝１…Ｎ）として得られているとする。射影行列Ｈは（３）式と同じに表されるとし、ベクトルｈ＝（Ｈ_１１，Ｈ_１２，Ｈ_１３，Ｈ_２１，Ｈ_２２，Ｈ_２３，Ｈ_３１，Ｈ_３２）^Ｔ とすれば、（７）式のうち直線パラメータについての部分のみを取り出した式

に対して全ての｛ベクトルＩ_ｎ ，ベクトルＩ’_ｎ ｝を代入して解くことにより、ベクトルｈつまりＨが求められる。（１５）式は一般の連立一次方程式なので、非特許文献２にあるように公知の解法が幾つもあるが、代表的なものについて簡単に説明する。（１５）式左辺のベクトルｈにかかる８×２Ｎの行列をＡ、右辺の１×２Ｎのベクトルをｂとすれば

となる。Ａが正方行列（Ｎ＝４）のときはＡが正則であれば逆行列Ａ^−１があって

によりベクトルｈが求まる。

Ａが正方行列ではないときも（Ｎ＞４）、Ａ^Ｔ Ａが正則であれば

と直接解けばベクトルｈが得られる。

より誤差の少ないベクトルｈを求めたい場合、Ａの特異値分解Ａ＝ＵＷＶ^Ｔ 、ここでＵは８×２Ｎの列直交行列、Ｗは８×８の非負対角行列（Ｗ＝〔ｄｉａｇ（ｗ_ｋ ）〕，ｋ＝１…８）、Ｖは８×８の直交行列、を用いて

により、最小２乗解としてベクトルｈを求めることもできる。

他の解法についても非特許文献２に詳しく、任意の解法を用いて（１５）式を解くことによりベクトルｈが求められる。Ｎ＜４のときや行列が正則でない等、ベクトルｈの解がない、あるいは一意には決められないとき、射影行列算出部１４はＨが求められないという出力を行う。

（５）実施形態の効果と適用例
このようにして、画像間の対応直線の組を自動で求めて射影行列を算出することによってステレオキャリブレーションの自動化が実現でき、従来のステレオキャリブレーションで必要であった多大な人的コストや作業時間を大幅に削減できる。

そして、このステレオキャリブレーション装置で得られた射影行列を用いて一対の撮像装置から得られた一対の画像間の変換が可能となる。したがって、一対の撮像装置で前方を監視してステレオ視の原理で障害物等の三次元位置や構造を解析するステレオ画像監視装置に、このステレオキャリブレーション装置を適用することで、前方の監視を簡単に行うことができる。

（変更例）
なお、本発明は上記実施形態に限定されるものではなく、その主旨を逸脱しない範囲で種々変形して実施できることは言うまでもない。

（１）変更例１
例えば、本実施形態では撮像装置は２個としているが、３個以上の撮像装置の場合でも、本実施形態を適用して全てのあるいは任意の２個の撮像装置についてステレオキャリブレーションを行うことができ、結果、任意の複数の撮像装置についての画像変換パラメータを求めることができる。

（２）変更例２
直線対応検出部１３で求められる対応直線の組だけでなく、対応点の組も同時に求められていれば、射影行列算出部１４で（１５）式の代わりに（７）式を用いることにより、対応直線と対応点の組を同時に用いて射影行列を求めることができる。

（３）変更例３
道路面等の基準面は平面と仮定しているが、曲面である場合である場合においても、部分分割して平面と近似する等により本実施形態を適用することが可能である。

（４）変更例４
上記実施形態では、画素輝度あるいは微小領域の平均輝度を画像特徴とした場合の領域マッチング及び動的計画法の例について説明したが、この画像特徴としては、以下に挙げるような、画像から得られる任意の量を用いることが可能である。

例えば、カラーカメラを用いる場合には、マンセル表色系における彩度、色相、あるいはＲＧＢ各プレーンの要素値、さらには一般に知られるＸＹＺ、ＵＣＳ、ＣＭＹ、ＹＩＱ、オストワルト、Ｌ＊ｕ＊ｖ＊、Ｌ＊ａ＊ｂ＊といった任意の表色系に変換したときの要素値が使用可能である。

また、画像に対して空間的あるいは時間的に微分演算や積分演算を行なった結果も画像特徴として使用できる。

具体的には、Sobel の他に Roberts,Robinson, Prewitt, Kirsch, Canny といった空間微分オペレータや、ラプラシアンガウシアン、モーメントオペレータ等を画像に作用させた結果、さらに積分的な平均フィルタやメディアンフィルタといった雑音除去処理の結果も画像特徴として使用できる。

また、各画素に対して予め定められた微小領域で求められる統計量も画像特徴として用いることが可能である。

例えば、平均輝度の他に、中央値、最頻値、範囲、分散、標準偏差、平均偏差などが挙げられる。

さらに、画像に対して任意の物体検出あるいは領域分割処理を行った結果、及び結果から得られる領域のフィレ径や面積、動き量等、画像から算出可能な任意のスカラー量あるいはベクトル量を画像特徴として用いることが可能である。

以上のような画像特徴については、非特許文献２に詳しい。

（５）変更例５
直線検出部１２では輝度勾配を用いてエッジ画素を求めたが、輝度の他にも変更例４で挙げた任意の画像特徴について勾配（言い換えるなら空間変化率）を求めることが可能である。

よって、直線検出部１２においても、任意の画像特徴について変化率が大きい画素をエッジ画素として求めたり、領域分割処理結果の領域境界としてエッジ画素を求めることができる。

（６）変更例６
本発明の目的も、画像監視装置や車両の障害物検出や走行支援の装置のための画像変換パラメータ算出としているが、これに限定されるものではなく、航空機やヘリコプター、産業用あるいは家庭用ロボットに搭載される画像処理を用いた運転支援装置に適用できたり、多数の画像をつなぎ合わせて１個のパノラマ画像を作成するといったメディア処理技術のためにも適用できる等、様々な目的で使用することができる。

（第２の実施形態）
以下、本発明の第２の実施形態について図１０から図１３を用いて説明する。

第２の実施形態のステレオキャリブレーション装置は、画像入力部１１と、直線検出部１２と、直線対応検出部１３と、変換行列算出部１４とからなる。これら各部１１〜１４の各機能は、コンピュータに記憶されたプログラムによって実現される。

この中で画像入力部１１と、直線検出部１２と、変換行列算出部１４とは、第１の実施形態の構成と同じであるため、異なる構成を有する直線対応検出部１３について説明する。

直線対応検出部１３は、直線検出部１２にて検出された全ての直線のうちで、２つの撮像装置の画像間で対応するものの組を検出する。直線近傍の画像特徴のみを用いる場合、第１の実施形態と同じ方法が使用でき、詳細は省略するが、概略は次の通りである。

直線近傍の画像特徴を表すデータ列は、例えば図１０のような直線近傍の微小領域列の各領域毎に平均輝度等の画像特徴を求め、それを領域順に並べる等により得られる。２つの撮像装置の画像で検出された直線同士でこのデータ列を比較すれば、それらの直線が対応するかどうかを知ることができる。

今、図１１に示すように、左の撮像装置からの画像（左画像）で直線ｓが検出されており、これと、右の撮像装置からの画像（右画像）で検出された複数の直線とで、対応する組を見つける場合を考える。右画像で、例えばｔとｔ’の２つの直線が検出されている場合（ｔ”は検出されていないとする）、ｓ近傍の画像特徴パターンを図１０の近傍領域で得、同様にｔとｔ’の近傍での画像特徴パターンを得れば、明暗の順序が同じであるｓとｔとでは非常に近い画像特徴パターンが得られるのに対し、ｓとｔ’とでは明暗の順序が異なるため、画像特徴パターンは異なったものとなる。これにより、この場合はｓとｔとが対応直線であることがわかる。ところが、右画像でｔとｔ’、ｔ”の３つの直線が検出されている場合、ｔとｔ”の近傍での画像特徴パターンが同じようなものとなるため、ｓに対応する直線がｔとｔ”のどちらであるかが、画像特徴だけからでは判定できない場合が生じうる。このようなことは、横断歩道等の繰り返し模様の多いシーンで良く見られるため、繰り返しパターンに対しても有効な対応直線検出方法が必要となる。

このような対応検出の不具合を解決するため、単に比較する２直線の情報のみを比較するのではなく、周囲の複数直線との幾何学的関係を用いて対応検出を行う方法を導入する。

具体的には、周囲の直線とのどのような位置関係で交差しているかという情報（交点パターンと呼ぶ）を用いて、比較する２直線が対応するかどうかを判定する。

原理は、交点パターンといった直線間の幾何学的関係は平面射影変換によっても保存されることに基づく。つまり、どの直線がどの直線と交差するかということは左右の画像間で変りがないし、交点間の距離についても、射影変換なので正確には同じではないが、大きさの順序といった大まかな情報には変化がない。したがって、このような直線間の幾何学的関係を示す情報は、直線固有の特徴として直線の比較に用いることが可能であるとわかる。

以下、図１２、図１３を用いて具体的に説明する。

図１２のように左右画像で直線が得られており、各々１・・・１０、Ａ・・・Ｉのラベルが付けられているとする。例えば、左画像の直線１と右画像の直線Ａについて、交点と交点間の距離がどのようになっているかを見ると、図１３上に示すようになる。今、何らかの方法（後述参照）で直線５と直線Ｄとが対応直線であるとされているとする。これらと直線１，Ａとの交点を基準として各交点までの距離をプロットすると、図１３下左と下中央に示すような交点のパターンが得られる。この交点パターンは、基準とする交点の直線５，Ｄが正しく対応しているとき、図のように良く似たものとなることから、直線５，Ｄが対応直線として検出されていることが正しいとわかる。これに対して、基準交点の直線が正しく対応していないとき、例えば交点７を基準として直線１の交点パターンを求めると（図１３下右）、交点Ｄを基準とした直線Ａの交点パターンとは異なったものが得られる。よって、直線７，Ｄが対応直線と判定することが、直線５，Ｄを対応直線とすることよりも、誤っている可能性が高い。このような交点パターンの比較により、対応直線が正確に判定できることがわかる。

交点パターンを比較する具体的な方法としては、例えば、図１３下の例で言えば、直線Ａと直線１の交点パターンのデータが同じ長さである、あるいは同じ長さにできれば（ｄ５を無視する等）、単純に各データの絶対差の総和Σ｜ｄ’ｉ−ｄｉ｜といったデータ間の違いを示す数値を計算しても良い。また、長さの異なる交点パターンのデータを比較するには、第１の実施形態のようにＤＰマッチングを行うことにより直線間での交点パターン間の距離が求められ、直線間の対応状態を知ることができる。

予め基準とする対応直線を決める方法としては、例えば第１の実施形態のように画像特徴パターンを用いる方法でも良いし、任意の方法が使用できる。

また、予め対応する直線がわかっていなくても、全ての組み合わせについて上記のような交点パターンの比較を行い、最も一致する直線の組を求めれば、一対一に対応直線を決めることができる。

なお、ＤＰマッチング等により交点パターン間の距離を算出するに際し、２つの直線の交点パターンのスケールが大きく異なる場合がある。これに対処するため、距離算出の前にパターンのスケール比（例えば図１３ではｓ＝ｄ’１／（ｄ１＋ｄ５）を求め、これで交点パターンデータを正規化しておいても良い。

ここで、非特許文献５（千葉， 金出， 途切れや近接配置にロバストな線特徴追跡， 電子情報通信学会論文誌 DーII， Vol. J８１ーDーII， No. ８， pp. １７４４ー１７５１， １９９８.）のような直線パラメータに輝度勾配方向を組み入れた評価関数を用いて直線の対応づけを行う方法があるが、比較する２直線の情報のみしか考慮しておらず、本発明で考慮しているような周囲の複数直線との幾何学的関係は看過されるため、原理的に上記のような繰り返し画像パターンの直線に関しては正しい対応が求められない。また、輝度勾配方向も直線の左から右、あるいは右から左といった一方向しか考えられておらず、第１の実施形態および本発明のように近傍領域の画像特徴パターンが対応検出に正確に反映されないため、正しい対応が得られるとは限らないという問題がある。本発明は、非特許文献１では対処できない如何なる場合においても、正しい直線対応が得られる方法となっている。

変換行列算出部１４は、上述の直線対応検出部１３にて検出された対応直線の組から、撮像装置間の画像変換パラメータである射影行列Ｈを求める。最終的には、（１５）式を解いて得られたＨを結果として出力する。

（変更例）
なお、本発明は上記実施の形態に限定されるものではなく、その主旨を逸脱しない範囲で種々変形して実施できることは言うまでもない。

具体的な変更例も第１の実施形態の変更例にて述べている全ての変更例と同じものが考えられる。

本発明の実施形態の障害物検出装置の概略構成図である。 監視区域と撮像装置の設置状態を示す模式図である。 車両に搭載された撮像装置の設置状態を示す模式図である。 直線検出部で輝度勾配を求める方法を示す模式図である。 直線検出部で求められたエッジ画素を示す模式図である。 直線検出部で求められた直線を示す模式図である。 監視区域での直線の対応関係を示す模式図である。 直線対応検出部で画像相関により直線対応を求める方法を示す模式図である。 直線対応検出部で動的計画法により直線対応を求める方法を示す模式図である。 直線対応検出部で動的計画法により直線対応を求める方法を示す模式図である。 画像特徴から直線対応が一意に決められない場合を示す模式図である。 直線検出部で得られた直線の例を示す模式図である。 直線間の幾何学的関係を数値化する模式図である。

符号の説明

１１ 画像入力部
１２ 直線検出部
１３ 直線対応検出部
１４ 変換行列算出部

Claims (8)

1. 予め設定された共通領域を撮影する一対の撮像装置間の画像変換パラメータである射影行列を求めるステレオキャリブレーション装置において、
   前記一対の撮像装置からの画像をそれぞれ入力する画像入力手段と、
   前記一対の撮像装置から入力した一対の画像の中の各画像毎に、前記共通領域中にある少なくとも４本の直線をそれぞれ検出する直線検出手段と、
   前記各画像からそれぞれ検出された直線について同じ画像内の複数直線間の幾何学的関係を利用して、前記一対の画像間における対応直線の組を少なくとも４組求める直線対応検出手段と、
   前記得られた対応直線の組に基づいて、前記一対の撮像装置間の前記射影行列を算出する変換行列算出手段と、
   を有するステレオキャリブレーション装置。
2. 前記直線対応検出手段は、
   前記直線と同じ画像内の複数直線との交点位置から直線間の幾何学的関係を求める、
   請求項１記載のステレオキャリブレーション装置。
3. 前記直線対応検出手段は、
   前記直線の近傍領域の画像特徴と複数直線との幾何学的関係とを同時に利用する、
   請求項１記載のステレオキャリブレーション装置。
4. 予め設定された共通領域を撮影する一対の撮像装置間の画像変換パラメータである射影行列を求めるためにステレオキャリブレーション装置が行うステレオキャリブレーション方法において、
   前記一対の撮像装置からの画像をそれぞれ入力する画像入力ステップと、
   前記一対の撮像装置から入力した一対の画像の中の各画像毎に、前記共通領域中にある少なくとも４本の直線をそれぞれ検出する直線検出ステップと、
   前記各画像からそれぞれ検出された直線について同じ画像内の複数直線間の幾何学的関係を利用して、前記一対の画像間における対応直線の組を少なくとも４組求める直線対応検出ステップと、
   前記得られた対応直線の組に基づいて、前記一対の撮像装置間の前記射影行列を算出する変換行列算出ステップと、
   を有するステレオキャリブレーション方法。
5. 予め設定された共通領域を撮影する一対の撮像装置間の画像変換パラメータである射影行列を求めるステレオキャリブレーション方法をコンピュータによって実現するプログラムにおいて、
   前記一対の撮像装置からの画像をそれぞれ入力する画像入力機能と、
   前記一対の撮像装置から入力した一対の画像の中の各画像毎に、前記共通領域中にある少なくとも４本の直線をそれぞれ検出する直線検出機能と、
   前記各画像からそれぞれ検出された直線について同じ画像内の複数直線間の幾何学的関係を利用して、前記一対の画像間における対応直線の組を少なくとも４組求める直線対応検出機能と、
   前記得られた対応直線の組に基づいて、前記一対の撮像装置間の前記射影行列を算出する変換行列算出機能と、
   を実現するステレオキャリブレーションプログラム。
6. 請求項１から請求項３の中で少なくとも一項に記載されたステレオキャリブレーション装置によって算出された射影行列を用いて、前記一対の撮像装置で前方を監視してステレオ視の原理で障害物等の対象物の三次元位置や構造を解析する、
   ステレオ画像監視装置。
7. ステレオ画像監視装置が行うステレオ画像監視方法であって、
   請求項４に記載されたステレオキャリブレーション方法によって算出された射影行列を用いて、前記一対の撮像装置で前方を監視してステレオ視の原理で障害物等の対象物の三次元位置や構造を解析する、
   ステレオ画像監視方法。
8. コンピュータによって実現されるステレオ画像監視方法のプログラムであって、
   請求項５に記載されたステレオキャリブレーション方法のプログラムによって算出された射影行列を用いて、前記一対の撮像装置で前方を監視してステレオ視の原理で障害物等の対象物の三次元位置や構造を解析する、
   ステレオ画像監視プログラム。

Images