JP2013224919A - 校正装置、距離計測装置及び車両 - Google Patents

Abstract

【課題】より高精度な距離計測を行うために、ステレオカメラの経時的な位置ずれを高精度に補正する。
【解決手段】２地点において一方の撮像装置で撮像された２つの基準画像と、２地点において他方の撮像装置で撮像された２つの対応画像と２つの基準画像とを用い、各地点につき基準画像と対応画像の中の共通する複数の特徴点の位置から算出された複数の視差データとの入力を受け付ける画像取得部（Ｓ５０）と、２つの基準画像の中の共通する複数の特徴点を探索する特徴点探索部（Ｓ５５）と、特徴点探索部により探索された各特徴点に対して、２つの基準画像の各特徴点における２つの視差データを、座標変換する座標変換部（Ｓ６０）と、座標変換部の出力する変換された視差データから、撮像装置の位置に関するパラメータの補正値を算出する補正値計算部と、を備える。
【選択図】図１２

Description

本発明は、ステレオカメラ方式の距離計測装置を校正するための校正装置及びそれを備えた距離計測装置、車両に関する。

近年、車載ステレオカメラが実用化されている。これは、自動車に搭載されたステレオカメラにより、車両前方の距離画像を生成し、その距離画像から障害物を認識して障害物までの距離を計測することにより、衝突防止や車間距離制御のために、運転者に警告を発報したり、ブレーキ、ステアリングなどの制御装置の操作を実行するものである。
特許文献１および２では、静止物体の形状を記憶しておき、記憶された形状と照合して静止物体を認識し、自車の速度センサなどから移動距離を求め、静止物体との距離変化と対応づけることで、視差オフセットを算出する。そして、２つの異なる地点で撮影したステレオ画像から視差オフセット量を計測するという技術が開示されている。
特許文献１および２では、まず１枚の輝度画像から静止被写体を認識するため、静止被写体の形状（例えば青信号）をあらかじめ記録しておく必要がある。なお、記憶している被写体が存在しなければ動作できなので、例えば高速道路上に信号は無いため動作できない。交通標識など静止被写体の形状や大きさは地方や国ごとに異なり、また将来変更される可能性がある。そのため、登録された形状による静止被写体の判別という方法は安定な動作をしない可能性がある。

特許文献３では、自車直前の路面上の濃淡模様から特徴点を抽出し、その特徴点を利用して距離計測を行い、路面の位置、方向を表す路面パラメータを計算し、この路面パラメータの変化から視差オフセットを算出する。
自動車が走行している限り、直前に平坦な路面が存在する可能性は非常に高く、この点、上述したように、対象物を発見できないという問題が生じる可能性は低い。なお、特許文献３に記載の技術によれば、特定形状の被写体を認識する必要がない。

しかし、この技術では、視差オフセットを計算する情報源を路面に限定されてしまい、壁、建物、電柱など平面以外の静止被写体を有効に活用できない。これは特に屋内など車載以外の利用環境では問題となる。
また（カメラ解像度や対応点探索手法に依存するが）、路面上の濃淡は細かく遠距離の特徴点は数が少なくなるため、近距離しか距離計測できず、校正には利用できない。車間距離自動調整など、利用目的によっては、（路面濃淡より大きな構造である）先行車をより遠距離まで計測範囲としたいこともあり、これが校正の精度に悪影響を及ぼす可能性がある。

そこで、より高精度な距離計測を行うために、ステレオカメラの経時的な位置ずれを高精度に補正することが切望されている。
本発明は、上記に鑑みてなされたもので、その目的としては、より高精度な距離計測を行うために、ステレオカメラの経時的な位置ずれを高精度に補正すること、特に、カメラ以外の車速センサなど、自位置情報を計測するセンサに依存せずに、また、特定の形状の被写体の存在を仮定せず、稼働中に撮影される様々な画像を利用して、視差オフセットを安定して検出できる校正装置を提供することにある。

上記の課題を解決するために、請求項１の発明は、２つの撮像装置を用いて距離計測を行う距離計測装置に設定される該撮像装置の位置に関するパラメータを校正するための校正装置であって、２地点において一方の前記撮像装置で撮像された２つの基準画像と、前記２地点において他方の前記撮像装置で撮像された２つの対応画像と前記２つの基準画像とを用い、各地点につき前記基準画像と前記対応画像の中の共通する複数の特徴点の位置から算出された複数の視差データとの入力を受け付ける画像取得部と、前記２つの基準画像の中の共通する複数の特徴点を探索する特徴点探索部と、該特徴点探索部により探索された各前記特徴点に対して、前記２つの基準画像の前記各特徴点における前記２つの視差データを、座標変換する座標変換部と、該座標変換部の出力する変換された視差データから、撮像装置の位置に関するパラメータの補正値を算出する補正値計算部と、を備える校正装置を特徴とする。

本発明によれば、２地点において一方の撮像装置で撮像された２つの基準画像と、この２地点において他方の撮像装置で撮像された２つの対応画像と２つの基準画像とを用い、各地点につき基準画像と対応画像の中の共通する複数の特徴点の位置から算出された複数の視差データとの入力を受け付け、２つの基準画像の中の共通する複数の特徴点を探索し、探索された各特徴点に対して、２つの基準画像の各特徴点における２つの視差データを座標変換し、座標変換された視差データから撮像装置の位置に関するパラメータの補正値を算出するので、ステレオカメラの経時的な位置ずれを高精度に補正すること、特に、カメラ以外の車速センサなど、自位置情報を計測するセンサに依存せずに、また、特定の形状の被写体の存在を仮定せず、稼働中に撮影される様々な画像を利用して、視差オフセットを安定して検出することができる。
この結果、信号機や路面平面などの特定の形状の被写体の存在を仮定せず、稼働中に撮影される様々な画像を利用して、視差オフセットを安定して検出することができる。

静止被写体の視差と視差の差データ対とをプロットしたグラフ図。 ２地点からステレオ撮影を行うためのステレオカメラの配置を示す図。 フレームのステレオ画像を構成するためのクレーム画像を示す図。 特徴点番号毎に視差１（Ｐ０）、視差（Ｐ１）を関連付けしたことを示す図。 図１と同じパラメータ視差の逆数差プロットしたグラフ図。 視差の逆数差空間での視差オフセットを示すグラフ図。 視差比を示すグラフ図。 視差比空間での視差オフセットを示すグラフ図。 本発明の第１実施形態に係わる校正装置を含む距離計測装置、第１実施形態に係わる校正装置を含むハードウエアのブロック図。 図９に示す視差計算部１２で実行されるソフトウエアモジュール全体を示すブロック図。 視差画像生成処理部１４の処理動作を説明するためのフローチャート。 視差オフセット検出処理部１５の１回分の処理を行うためのフローチャート。 本実施形態の距離計測装置を適用可能な車両を示す模式図。

以下に、図面を参照して、本発明の実施の形態を詳細に説明する。
本出願人が先に出願した特願２０１０−２０４３２８（以下、「先願」と記載する）には、例えば車両など移動体に搭載することを前提に、カメラ自身が移動することにより、地面に対して静止した複数の被写体が、同じ距離だけ移動することを利用した校正技術について記載されている。
この技術は、同一被写体を２地点からステレオ撮影することで得られる２つの視差の差を求めることで、視差オフセットの影響をキャンセルするために、「視差」と「視差の差」という２軸からなる空間で計測データをモデル化している。

例えば、基線長１０ｃｍ、レンズ焦点距離５ｍｍ、センサ画素ピッチ３ｕｍという設定において、静止被写体の視差と視差の差データ対をプロットしたグラフを図１に示す。
図１に示すグラフの横軸は、代表視差（√ｐ０＊ｐ１）、縦軸は視差の差（ｐ１−ｐ０）であり、グラフ中の各線、点の意味は以下の通りである。
（ａ）視差オフセットなし（０画素）、２地点間の移動距離３ｍ
（ｂ）視差オフセット１画素、２地点間の移動距離３ｍ
（ｃ）視差オフセット０画素、２地点間の移動距離３．３ｍ
（ｄ）（ｂ）の理想視差データに振幅０．３画素の乱数を加えた仮想計測データ
ここで、図１を参照すると、
（１）（ａ）の視差オフセットなしと（ｂ）視差オフセット＝１画素の曲線にずれがあること、
（２）オフセットのある仮想的な計測データ（ｄ）は確かに（ｂ）の回りに分布していること、
が理解できる。実際にこの（ｄ）のデータに２次曲線をフィットさせると、（ｂ）の曲線に極く近い結果が得られる。

しかし同時に、オフセット０の代わりに移動距離が３．３ｍの曲線（ｃ）は、（ｂ）と非常に近く、（ｂ）と（ｃ）の隔たりは、０．３画素程度の視差計測誤差よりも小さいことが理解できる。つまり、実際の計測データに乗るノイズに微小の偏りがあれば、容易に（ｂ）と（ｃ）をとり違え、その結果０．３画素分の視差オフセットの推定誤差が生じる恐れがある。
したがって、自車両における移動距離センサの有無や、ステレオ画像の対応点探索誤差（視差検出誤差）など、様々な条件にもよるが、視差オフセット検出精度に限界があった。
そこで、視差オフセット検出精度を向上するための視差オフセットの補正方法が切望される。

＜原理＞
本発明による視差オフセットの補正方法の原理について説明する。
まず、図２、図３について
（１）直進移動するステレオカメラ１０、１１によって、２地点（第１地点Ｐ１、第２地点Ｐ２）から、地面に対して静止する被写体、および移動する被写体を含む、周囲の風景として基準画像、参照画像をそれぞれ２枚ずつ撮影する。
（２）第１地点及び第２地点について、基準画像と参照画像との間で対応点（対応する特徴点）を探索しそれぞれの地点での視差画像を算出する。ここで、視差画像とは、視差を画素値とした画像のことである。
（３）第１地点及び第２地点の基準画像間で対応点（対応する特徴点）を探索し、同一被写体を撮影した特徴点を対応づける。
このような処理により、同一被写体を２地点で撮影した２つの視差データの対を（特徴点ごとに）複数収集する。図４は特徴点番号毎に視差１（Ｐ０）、視差２（Ｐ１）を関連付けしたことを示す図である。

本発明も「先願」もともに、多くの被写体が地面に対して静止しており、カメラ自身の移動により静止被写体は（カメラに対して）同一方向に等距離移動するという事実から、静止物体を観測した場合に得られる２つの視差（ｐ０，ｐ１）が従う制約条件を利用して、ステレオカメラの視差オフセットを算出する。
２つの視差の差分（ｐ１−ｐ０）を利用する「先願」では、静止被写体は２次曲線上にのるという制約条件だったため、モデルフィットに課題があった。
一方、本発明では、この２つの視差データの比（ｐ１／ｐ０）や、逆数の差（１／ｐ１−１／ｐ０）を座標軸とする空間を利用することで、より安定したモデルフィッティングを行い、結果としてより信頼度の高い補正を実現する。
本発明では、視差−視差逆数差パラメータ空間横軸に２つの視差の逆数の平均（（１／ｐ０＋１／ｐ１）／２）、縦軸に視差の逆数の差（１／ｐ０−１／ｐ１）をとる。

図５に、図１と同じパラメータをこの空間にプロットしたグラフ図を示す。また、図６に、（ａ）と同じく移動距離３ｍのまま、視差オフセットを、−１、０、１、２画素と振ったグラフ図を示す。
視差の逆数は距離に比例するので、（静止被写体は同一距離移動するという前提から）逆数の差（１／ｐ０−１／ｐ１）は、視差オフセットが０画素ならば一定となる。
視差オフセットが存在する場合の制約の厳密解は複雑になるが、図６に示すように、視差オフセットが±１画素程度の範囲ではほぼ直線で、視差オフセット量に応じて直線の傾きが変化すると見なすことができる。
また、視差検出誤差を考慮すると、視差の逆数を求めているため、視差が小さい（＝逆数が大きい）領域では、相対的にノイズが増えてしまう。しかし、視差の大きい領域（例えば図５の横軸：０から０．０５の範囲）ならば、３．３ｍの移動量と１画素の視差オフセットは、図１とは異なり容易に区別できることが理解できる。

以上の点をまとめると、視差の逆数の和（平均）と差の２軸からなるこの空間では、静止被写体に対応するデータは、
（１）ほぼ直線状に分布する。
（２）移動距離は直線の高さ（ｙ切片）に対応する（移動距離に応じてグラフ全体が縦軸方向に伸縮する）。
（３）視差オフセットは直線の傾きに対応する。
以上のことが理解できる。
フィットすべきモデルが直線ですむこと、未知数である移動距離と視差オフセットが、高さと傾きに分離されることから、この空間でのモデルフィットによる視差オフセットの推定が容易となり、安定して高精度な推定が期待できる。
そこで、視差−視差比パラメータ空間横軸に一方の視差そのもの（ｐ０）、縦軸に視差の比（ｐ０／ｐ１）をとる。

図７は、図５と同様に、図１と同じパラメータをこの空間にプロットしたグラフ図を示す。また、図８に、（ａ）と同じく移動距離３ｍのまま、視差オフセットを、−１、０、１、２画素と振ったグラフ図を示す。
この空間は、図５ともまた違うが、以下の特徴を持つことが理解できる。
（１）静止被写体は（ほぼ）直線状にならぶ（ただし視差オフセット０でも水平ではない）
（２）移動距離に応じて直線は傾きが変化する
（３）視差オフセットに応じて直線は（ほぼ）平行移動する
（４）視差が小さい場合には視差検出誤差の影響が大きいが、視差が大きくなるにつればらつきは小さくなる。
よって、この空間でも、カメラ移動量と視差オフセットは、平行移動と傾きに（近似的に）分離され、３．３ｍの移動量と１画素の視差オフセットの区別も容易となる。
これらのように、２つの視差（ｐ０，ｐ１）を適切な座標系へ変換した後で評価することにより、未知数であるカメラ移動量と視差オフセットをより安定に推定することができるようになる。

「先願」では「視差変化量」として、視差の差（ｐ１−ｐ０）を算出していた。これに対して、本発明では、上記「視差の逆数の差」（１／ｐ０−１／ｐ１）や「視差の比」（ｐ０／ｐ１）を算出する。２地点でのステレオ画像から得られる視差データ対（ｐ０，ｐ１）を、（視差の差ｐ１−ｐ０以外の）適切な座標系に変換することで、後の視差オフセット推定（直線近似）の信頼性を向上させることを特徴とする。
本件は、「先願」において、オフセット値を求めるためにプロットした点から二次曲線を推定する際に、オフセット値が０で距離が異なっている二次曲線と似ていることがあるため混同しやすかった部分を、座標変換によって距離の差とオフセット値の差が切片と傾きに分離することで、より求め易くすることができる。

＜第１実施形態＞
以下、本発明の第１実施形態に係わる校正装置を含む距離計測装置について説明する。
図９は、本発明の第１実施形態に係わる校正装置を含む距離計測装置、第１実施形態に係わる校正装置を含むハードウエアのブロック図である。
第１カメラ１１ａ、第２カメラ１１ｂは、画像を撮影するために、平行配置された２台のカメラである。
視差計算部１２は、２台のカメラ１１ａ、１１ｂで撮影された画像を入力し、視差画像データを出力する。
視差計算部１２は、バス接続されたＣＰＵ（Central Processing Unit)、ＤＲＡＭ（Dynamic Random Access Memory）メモリ、不揮発性フラッシュメモリなどから構成される一般的な電子計算機であり、距離計測機能は、フラッシュメモリに記録され、ＣＰＵ、ＤＲＡＭなどを利用して実行されるソフトウエアプログラムの形態で実装する。

図１０は、図９に示す視差計算部１２で実行されるソフトウエアモジュール全体のブロック図である。
カメラ制御部１３は、２台のカメラを制御し画像データの入力を行う。また、２台のカメラ同期、カメラ初期化、露光制御などを実行する。ここでは説明しないが、必要に応じ、光学系による歪曲、画像回転など、一般的にステレオ距離計測に有効とされる（視差オフセット以外の）画像補正処理を、入力直後に施すことが望ましい。
視差画像生成処理部１４は、カメラ制御部１３から入力されるステレオ画像から、視差画像を生成する。測距装置としての中心的な役割を果す。
視差画像生成処理部１４は、「基準画像」が撮影された同じ複数地点（例えば２地点）において他方の撮像装置（第２カメラ１１ｂ）により撮像された２つの「対応画像」と、カメラ制御部１３から入力される上記２つの「基準画像」と、を用いて各地点におけるステレオ画像の「基準画像」と「対応画像」とに共通する特徴点の位置から複数の「視差データ（視差画像）」を算出する。
図１０に示すように、視差画像生成処理部１４は、カメラ制御部１３から複数地点におけるステレオ画像を取得するステレオ画像取得部３０、各ステレオ画像における特徴点を抽出する特徴点抽出部３１、基準画像と対応画像において対応する特徴点（対応点）を探索する対応点探索部３２、対応点位置の差分から視差を算出する視差算出部３３、算出された視差に基づく視差画像を出力する視差画像出力部３４の各処理部を備えている。
視差オフセット検出処理部１５は、カメラ制御部から入力される基準画像、および、視差画像生成処理部１４から入力される視差画像を利用して、視差オフセットを算出する。算出した視差オフセットは視差画像生成処理部１４に送られ、以降の視差画像生成処理に利用される。
図１０に詳しく示すように、視差オフセット検出処理部１５は、画像取得部２０、特徴点探索部２１、座標変換部２２、補正値計算部２３の各処理部を備えている。
これらの処理部において、画像取得部２０は、複数地点（例えば２地点）において一方の撮像装置（例えば第１カメラ１１ａ）で撮像された複数（例えば２つ）の「基準画像」をカメラ制御部１３から取得する。
さらに、画像取得部２０は、視差画像生成処理部１４によって生成された「基準画像」（の特徴点）に対応する複数（２つ）の「視差データ（視差画像）」の入力を視差画像生成処理部１４から受け付ける。
また、特徴点探索部２１は、画像取得部２０がカメラ制御部１３より取得した２つの（２地点の）「基準画像」の中の共通する複数の特徴点を探索する。
また、座標変換部２２は、特徴点探索部２１により探索された「基準画像」に共通する特徴点に対して、２つの「視差データ（視差画像）」を下記に詳述するように座標変換する。
さらに、補正値計算部２３は、座標変換部２２が出力する座標変換された視差データから、撮像装置（第１カメラ１１ａ、第２カメラ１１ｂ）の位置に関するパラメータの補正値（視差オフセット）を算出して視差画像生成処理部１４に供給する。
視差画像生成処理部１４は、一般的なステレオカメラによる距離計測処理を行う。ただし、視差オフセット検出処理部１５により生成される視差オフセットを利用することで、ハードウエアの経時変化による計測精度劣化を低減する。
視差オフセット検出処理部１５の各処理部における詳細な処理は、下記に詳述するものとする。

次に、図１１に示すフローチャートを参照して、視差画像生成処理部１４の処理動作を説明する。
ステップＳ１０では、ステレオ画像取得部３０（図１０）によりステレオ画像を入力する。すなわち、平行配置された２台のカメラで同時に撮影されたステレオ画像を入力する。
ステップＳ１５では、特徴点抽出部３１（図１０）によりステレオ画像における特徴点を抽出する。ステップＳ２０では、対応点探索部３２（図１０）により対応点の探索を行う。
すなわち、まず基準となる（例えば左カメラ）画像から濃淡変化の激しい特徴点を複数抽出する（ステップＳ１５）。次に反対の（右）カメラ画像から、基準画像上の各特徴点近傍領域（ブロック）と同じ被写体の写った対応点の位置を探索する（ステップＳ２０）。対応点探索には、ＳＡＤ（Sum of Absolute Difference）やＰＯＣ（位相限定相関）など周知の技術を利用することができる。
ステップＳ２５では、視差算出部３３（図１０）により視差を算出する。すなわち、対応点探索処理で算出した左右画像上の対応点位置の差分を取り、視差を算出する。さらに視差オフセット検出処理から入力する視差オフセットを減算し、視差オフセット補正を実行する。後述の視差オフセット検出処理の結果が出るまでは、初期値として０を利用する。
ステップＳ３０では、視差画像出力部３４（図１０）により視差画像を出力する。すなわち、視差オフセット補正がなされた視差を画素値とする視差画像を出力する。
以上の処理を定期的に繰返し実行することで、常にカメラ前方の視差画像を出力し続ける。

視差オフセット検出処理部１５は、入力画像から視差のオフセットを算出する。この視差オフセット検出処理部１５は、温度変化などに追従するため、ステレオカメラの使用中は、常時定期的に繰り返し実行する。図１２は、視差オフセット検出処理部１５の１回分の処理を行うためのフローチャートである。
ステップＳ５０では、画像を入力する。すなわち、カメラ制御部１３から第１地点及び第２地点の基準画像を入力する。また視差画像生成処理部１４から、基準画像に対応する２枚の視差画像を入力する。これらの処理は、図１０における画像取得部２０によって行われる。
ステップＳ５５では、同一被写体を撮影した特徴点を対応づけて対応点を探索する。すなわち、２枚の基準画像間で対応点（対応する特徴点）を探索する。視差画像生成処理部１４内の対応点探索と同様にブロックごとにＳＡＤを計算し、最小値をとる位置を探索する。ただしステレオ画像の対応点探索とは異なり、放射状の探索範囲を設定する。このように探索範囲を設定することにより、対応点探索処理の演算量を低減し、同時に横方向への移動物体や自車の回転をある程度排除できる。かかる処理は、図１０における特徴点探索部２１によって行われる。
ステップＳ６０では、視差データ座標を変換する。すなわち、特徴点ごとに、対応する２つの視差データ（ｐ_０，ｐ_１）から、以下の通り、視差の逆数の平均Ｐ、および逆数の差Ｑを算出する。
Ｐ＝（１／２）×（（１／ｐ_０）＋（１／ｐ_１））…（１）
Ｑ＝（１／ｐ_０）−（１／ｐ_１）…（２）
これらの処理は、図１０における座標変換部２２によって行われる。

次に、補正値算出処理として、座標変換処理により変換された複数の視差データを直線近似し、上記近似直線の位置から補正値を算出する処理について説明する。
モデルフィットＰ−Ｑデータに対してハフ変換により、Ｑ＝ａＰ＋ｂなる直線を抽出する。
具体的には、決定したいパラメータａ、ｂからなる２次元平面の、あらかじめ設定した範囲を所定の間隔で多数の領域に分割し、各領域に対応する２次元配列をメモリ上に用意する。Ｑ＝ａＰ＋ｂという式をａ、ｂ空間の直線とみなし、計測された各ｐ０、ｐ００に対して、上記ａ、ｂ空間を表す２次元配列の、直線ｂ＝−ａＰ＋Ｑ上に「投票」する。全てのデータ（Ｐ，Ｑ）についての投票の結果、最も得票の多い領域に対応するａ、ｂペアが、多くの計測値（Ｐ，Ｑ）を通る直線を表すものと考えられるので、そのａ、ｂペアをモデル直線として選択する。
このように、カメラ自身の移動距離と、視差オフセットの影響を分離しやすい座標系に変換することにより、適用可能性が高く、かつ精度の高い校正装置を実現できる。
計測データの単純な直線近似に基づき補正値を算出することにより、低コストで安定した校正装置を実現できる。

上記原理において説明したように、この直線の位置や傾きが、視差オフセット量およびカメラ移動量に応じて変化する。したがって、ここで得られるパラメータａ、ｂから、視差オフセット推定値を決定することができる。図５、図６に示すような様々なカメラ移動量、視差オフセット量でのシミュレーションを行い、ａ、ｂから視差オフセット量への近似的な換算式をあらかじめ設定しておくことができる。ここでは、以下の式に従い視差オフセット推定値ｐ_ｏｆｆを算出する。
ｐ_ｏｆｆ＝ａ／２ｂ…（３）
なお、この視差オフセットの推定値は、曲線を直線近似した結果であり、モデル段階で推定誤差が避けられない。しかし、この視差オフセット検出処理と補正処理を繰返し実行するので、視差オフセットが０に近づくほど誤差が低減っていれば、多数回の繰返しの後では、０付近に落ち着くことが期待できる。

視差オフセット出力モデルフィットの結果得られた視差オフセットｐ_ｏｆｆを、視差画像生成処理部１４（視差算出部３３）へ送る。
以上の処理は、図１０における補正値計算部２３によって行われる。
なお、正規化と蓄積、信頼性評価も有効であり、実施することが望ましい。
また、本実施形態において説明した座標変換処理では、横軸に二つの視差の逆数の平均を求めたが、いずれかの視差の逆数（１／ｐ_０または１／ｐ_１）をとっても、類似した傾向となる。また、縦軸として、直接逆数の差を計算するのではなく、
（１／ｐ_０−１／ｐ_１）＝（ｐ_１−ｐ_０）／ｐ_０ｐ_１…（４）
を計算することで除算回数を１回減らすこともできる。
以上のように、地点で撮影されたステレオ画像のみから算出されるデータだけを利用して視差オフセット量を推定するので、カメラ以外の車速センサなど、自位置情報を計測するセンサの性能に依存せずに、また、例えば信号機や路面平面など、特定の形状の被写体の存在を仮定せず、稼働中に撮影される様々な画像を利用して、視差オフセットを安定して検出できる校正装置を実現することできる。

＜第２実施形態＞
次に、第２実施形態として、視差−視差比空間を利用する例について説明する。
本実施形態では、第１実施形態とほぼ同様であるので、ここでは第１実施形態と異なるソフトウエアプログラムである「視差オフセット検出処理」における視差データ座標変換処理とモデルフィット処理のみ説明する。
視差データ座標変換の特徴点ごとに、対応する２つの視差データ（ｐ０，ｐ１）から、以下の通り、視差比ｐを算出する。
ｐ＝ｐ０／ｐ１…（５）

次に、座標変換処理として、２つの視差の比を算出する処理について説明する。
第１実施形態において説明したモデルフィット処理と同様に、視差−視差比データに対してハフ変換処理により、ｐ０＝ａｐ＋ｂなる直線を抽出する。
ここで、得られるパラメータａ、ｂから、視差オフセット推定値を決定する。図７、８に示すような様々なカメラ移動量、視差オフセット量でのシミュレーションを行い、ａ、ｂから視差オフセット量への近似的な換算式をあらかじめ設定しておくことができる。ここでは、以下の式に従い視差オフセット推定値（ｐ_ｏｆｆ）を算出する。
ｐ_ｏｆｆ＝（１−ｂ）／２ａ…（６）
このように、探索された各特徴点に対して、２つの基準画像の各特徴点における２つの視差データから２つの視差比を算出し、視差−視差比データに対してハフ変換処理により、ｐ０＝ａｐ＋ｂなる直線を抽出することで、ステレオカメラの経時的な位置ずれを高精度に補正することができる。
特に、カメラ以外の車速センサなど、自位置情報を計測するセンサに依存せずに、また、特定の形状の被写体の存在を仮定せず、稼働中に撮影される様々な画像を利用して、視差オフセットを安定して検出することができる。

＜その他の実施形態＞
図１３は、本実施形態の距離計測装置を適用可能な車両を示す模式図である。
本実施形態の画像処理システムは、車両前方の画像を取得するための撮像ユニット１０１と、取得した画像に基づいて車両１００の前方に存在する他の車両までの距離を算出する等の処理を行う画像解析ユニット１０２を有している。撮像ユニット１０１は、車両１００が走行する前方の画像を撮像できるように、座席のルームミラー位置等に設置されている。撮像ユニット１０１で撮像された車両前方の画像は、画像信号化されて画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から出力された画像信号を解析する。
撮像ユニット１０１として、上記実施形態の第１カメラ１１ａ、第２カメラ１１ｂを適用できる。
また、画像解析ユニット１０２の一部の機能として、上記実施形態の視差計算部１２を適用することが出来る。
車両走行制御ユニット１０８は、画像解析ユニット１０２で計算された距離に基づいてハンドルやブレーキの制御も行うことが出来る。

１１ａ 第１カメラ、１１ｂ 第２カメラ、１２ 視差計算部、１３ カメラ制御部、１４ 視差画像生成処理部、１５ 視差オフセット検出処理部

特許第３４３６０７４号 特開平１０−３４１４５８号公報 特開２００９−１８２８７９公報

Claims (6)

1. ２つの撮像装置を用いて距離計測を行う距離計測装置に設定される該撮像装置の位置に関するパラメータを校正するための校正装置であって、
   ２地点において一方の前記撮像装置で撮像された２つの基準画像と、前記２地点において他方の前記撮像装置で撮像された２つの対応画像と前記２つの基準画像とを用い、各地点につき前記基準画像と前記対応画像の中の共通する複数の特徴点の位置から算出された複数の視差データとの入力を受け付ける画像取得部と、
   前記２つの基準画像の中の共通する複数の特徴点を探索する特徴点探索部と、
   該特徴点探索部により探索された各前記特徴点に対して、前記２つの基準画像の前記各特徴点における前記２つの視差データを座標変換する座標変換部と、
   該座標変換部の出力する変換された視差データから、撮像装置の位置に関するパラメータの補正値を算出する補正値計算部と、を備えることを特徴とする校正装置。
2. 前記座標変換部は、２つの視差の比を算出する手段を備えることを特徴とする請求項１に記載の校正装置。
3. 前記座標変換部は、２つの視差量の逆数の差を算出する手段を備えることを特徴とする請求項１に記載の校正装置。
4. 前記補正値計算部は、前記座標変換部で変換された複数の視差データを直線近似し、前記近似直線の位置から補正値を算出することを特徴とする請求項１に記載の校正装置。
5. ２つの撮像装置を用いて距離計測を行う距離計測装置であって、前記撮像装置の位置に関するパラメータを校正する校正装置を備え、
   前記校正装置は、請求項１乃至４の何れか一項に記載の校正装置であることを特徴とする距離計測装置。
6. 請求項５に記載の距離計測装置を備えたことを特徴とする車両。

Images