JP2014182118A - 車載ステレオカメラの光軸のピッチ角推定方法 - Google Patents

Abstract

【課題】路面及びステレオカメラが相対的にロールしている場合でも、路面に対する車載ステレオカメラの光軸のピッチ角を正確に推定する方法を提供する。
【解決手段】ステレオカメラによって撮影された画像より視差画像を生成しＳ１０、視差画像中の左右に隔置された少なくとも一対の視差点群をＶ-disparity平面に投影しＳ２０、Ｖ-disparity平面において視差点群に対応する直線を求めＳ３０、直線が複数であるか否かを判定しＳ４０、直線が複数であるときには、それらの傾きの異同を判定しＳ６０、傾きが同一であるときには、傾きが複数の直線の傾きと同一で複数の直線の間に位置する一つの直線に対応するピッチ角φを求めるＳ１１０。
【選択図】図３

Description

本発明は、自動車等の車両の車載ステレオカメラに係り、更に詳細には路面に対する車載ステレオカメラの光軸のピッチ角を推定する方法に係る。

自動車等の車両の走行制御においては、先行車両や障害物までの距離が推定され、推定結果に基づいて車両の速度や進路等が制御される。この種の走行制御において、車両の横方向に隔置された一対のカメラを備えたステレオカメラにて車両の前方を撮影し、ステレオ視差（単に「視差」という）を利用して先行車両等までの距離を推定することが既に知られている。

ステレオカメラの光軸は車両の前方かつ下方へ延在しており、路面に対する光軸の傾斜角（ピッチ角）は、路面が平坦であれば、車両の水平方向に対する光軸の傾斜角（俯角）と同一である。しかし、車両が加減速に伴ってピッチングしたり、車両の走行に伴って路面の傾斜角が変動したりすると、光軸のピッチ角は光軸の俯角とは異なる値になる。そのため、車両のピッチング等に拘らず先行車両等までの距離を正確に推定すべく、ステレオカメラにて撮影された画像の上下方向とその視差との関係を示す所謂Ｖ-disparity平面を利用して光軸のピッチ角を推定することが既に知られている。

例えば、下記の特許文献１に記載されている如く、ステレオカメラによって撮影された画像より生成された視差画像に基づいて路面の視差点群がＶ-disparity平面に投影され、Ｖ-disparity平面において視差点群に対応する直線が求められる。そして、Ｖ-disparityの縦座標軸について直線の切片が求められ、その切片及びステレオカメラの焦点距離に基づいて路面に対するステレオカメラの光軸のピッチ角の推定値が演算される。この方法によれば、車両がピッチングしたり路面の傾斜角が変動したりしても、路面に対するステレオカメラの光軸のピッチ角を正確に推定することができる。

特開２００８−３０４３４４号公報

〔発明が解決しようとする課題〕
しかし、上述の方法においては、路面及びステレオカメラが相対的にロールしていたり、撮影された画像に路面とは横方向の傾斜角が異なる平地等が含まれていたりすると、Ｖ-disparity平面においてピッチ角を正確に推定するための直線を求めることができない。特に、路面及びステレオカメラが相対的にロールしている場合には、Ｖ-disparity平面における直線が互いに平行な複数の直線になり、直線の縦座標軸の切片が一つに定まらない。また、撮影された画像に路面以外の平地等が含まれている場合には、Ｖ-disparity平面における直線が複数になると共に、それらの勾配が互いに異なり、この場合にも直線の縦座標軸の切片が一つに定まらない。

本発明は、Ｖ-disparityの直線に基づいて路面に対するステレオカメラの光軸のピッチ角を推定する従来の方法に於ける上述の如き問題に鑑みてなされたものである。そして本発明の主要な課題は、路面及びステレオカメラが相対的にロールしていたり、撮影された画像に路面とは横方向の傾斜角が異なる平地等が含まれていたりする場合にも、路面に対するステレオカメラの光軸のピッチ角を正確に推定することである。

〔課題を解決するための手段及び発明の効果〕
上述の主要な課題は、本発明によれば、車載ステレオカメラによって撮影された画像より生成された視差画像の視差が横軸であり、視差画像の上下方向が縦軸である平面をＶ-disparity平面として、視差画像に基づいて路面の視差点群をＶ-disparity平面に投影し、Ｖ-disparity平面において前記視差点群に対応する直線を求め、求められた直線に基づいて路面に対する前記ステレオカメラの光軸のピッチ角を推定するピッチ角推定方法において、左右に隔置された少なくとも一対の視差点群をＶ-disparity平面に投影し、求められた直線が複数であるか否かを判定し、求められた直線が複数であるときには、複数の直線の傾きの異同を判定し、傾きが同一であるときには、傾きが複数の直線の傾きと同一で複数の直線の間に位置する一つの直線に対応するピッチ角を求めることを特徴とするピッチ角推定方法によって達成される。

後に詳細に説明する如く、路面及びステレオカメラが相対的にロールしている場合には、Ｖ-disparity平面において求められた直線が複数になると共に、それらの直線の傾きが同一になる。そして、複数の直線は相対的なロールがない場合の一つの直線の両側に位置すると共に、複数の直線の間隔は相対的なロールの角度が大きいほど大きい。なお、撮影された画像に路面とは横方向の傾斜角が異なる平地等が含まれている場合には、Ｖ-disparity平面において求められた直線が複数になると共に、それらの直線の傾きが異なる。

上記の構成によれば、Ｖ-disparity平面において求められた直線が複数であるときには、それらの直線の傾きの異同が判定され、傾きが同一であるときには、傾きが複数の直線の傾きと同一で複数の直線の間に位置する一つの直線に対応するピッチ角が求められる。よって、複数の直線の傾きの異同が判定されることなく、複数の直線のうちの何れか一つの直線に対応するピッチ角が推定される場合に比して、ピッチ角を正確に推定することができる。また、路面及びステレオカメラが相対的にロールしているか否かや、撮影された画像に路面とは横方向の傾斜角が異なる平地等が含まれていたりするか否かを判定し、その判定結果を踏まえてピッチ角を求めることができる。

また、本発明によれば、上記の構成において、複数の直線の傾きが同一であるときには、傾きが複数の直線の傾きと同一で複数の直線の間に存在する一つの直線を決定し、該直線に基づいて前記ピッチ角を推定するよう構成される。

上述の如く、複数の直線の傾きが同一であるときには、ピッチ角を正確に推定するための一つの直線は複数の直線の間に位置し、その一つの直線の傾きは複数の直線の傾きと同一である。上記の構成によれば、複数の直線の傾きが同一であるときには、傾きが複数の直線の傾きと同一で複数の直線の間に位置する一つの直線が決定され、該直線に基づいてピッチ角が推定される。よって、例えば、複数の直線のうちの何れか一つの直線に基づいてピッチ角が推定される場合に比して、ピッチ角を正確に推定することができる。

また、本発明によれば、上記の構成において、視差画像の中央に近い前記視差点群に対応する直線の重みが視差画像の中央より遠い前記視差点群に対応する直線の重みよりも大きくなるよう、複数の直線を重み付けして演算処理することにより複数の直線の間に位置する一つの直線を決定するよう構成される。

後に詳細に説明する如く、路面及びステレオカメラが相対的にロールしている場合には、視差点が視差画像の中央から遠くなるほど、視差画像に於ける視差点の縦座標の誤差が大きくなる。よって、視差画像の中央に近い視差点群に対応する直線は、視差画像の中央より遠い視差点群に対応する直線よりも、ピッチ角を推定するための直線としての信頼性が高い。

上記の構成によれば、視差画像の中央に近い前記視差点群に対応する直線の重みが視差画像の中央より遠い前記視差点群に対応する直線の重みよりも大きくなるよう、重み付けして演算処理することにより複数の直線の間に位置する一つの直線が決定される。よって、例えば二つの直線より等距離の位置にそれらに基づく一つの直線が決定される場合に比して、ピッチ角を正確に推定することができる。

また、本発明によれば、上記の構成において、複数の直線の傾きが同一であるときには、各直線に基づいて路面に対する前記ステレオカメラのピッチ角を推定し、推定された複数のピッチ角を平均することにより複数のピッチ角の間にある一つのピッチ角を決定するよう構成される。

複数の直線の傾きが同一であるときには、正確なピッチ角は複数の直線に基づく複数のピッチ角の間の値である。上記の構成によれば、推定された複数のピッチ角を平均することにより複数のピッチ角の間にある一つのピッチ角が決定されるので、例えば推定された複数のピッチ角の何れかが推定値とされる場合に比して、ピッチ角を正確に推定することができる。

また、本発明によれば、上記の構成において、視差画像の中央と前記視差点群との距離が小さいほど大きくなる重みを使用して、推定された複数のピッチ角を重み平均することにより複数のピッチ角の間にある一つのピッチ角を決定するよう構成される。

上記の構成によれば、視差画像の中央と視差点群との距離が小さいほど大きくなる重みを使用して、推定された複数のピッチ角が重み平均されることにより複数のピッチ角の間にある一つのピッチ角が決定される。よって、例えば複数のピッチ角の単純平均値がピッチ角の推定値とされる場合に比して、ピッチ角を正確に推定することができる。

また、本発明によれば、上記の構成において、複数の直線の傾きが同一であるときには、Ｖ-disparity平面の座標系の縦軸について各直線の切片を求め、求められた複数の切片を平均することにより複数の切片の間にある一つの切片を決定し、決定された切片に基づいて前記ピッチ角を推定するよう構成される。

複数の直線の傾きが同一であるときには、正確なピッチ角を推定するための一つの直線の切片は複数の直線の切片の間の値である。上記の構成によれば、複数の切片を平均することにより複数の切片の間にある一つの切片が決定されるので、例えば複数の切片の何れかがピッチ角を推定するための切片とされる場合に比して、ピッチ角を正確に推定することができる。

また、本発明によれば、上記の構成において、視差画像の中央と前記視差点群との距離が小さいほど大きくなる重みを使用して、求められた複数の切片を重み平均することにより複数の切片の間にある一つの切片を決定するよう構成される。

上記の構成によれば、視差画像の中央と視差点群との距離が小さいほど大きくなる重みを使用して、求められた複数の切片が重み平均されることにより複数の切片の間にある一つの切片が決定されるので、例えば複数の切片の単純平均値がピッチ角を推定するための切片とされる場合に比して、ピッチ角を正確に推定することができる。

また、本発明によれば、上記の構成において、複数の直線の傾きが異なるときには、路面の視差点群に対応しない直線を除外し、残りの直線に基づいて前記ピッチ角を推定するよう構成される。

前述の如く、撮影された画像に路面とは横方向の傾斜角が異なる平地等が含まれている場合には、Ｖ-disparity平面において求められた直線が複数になると共に、それらの直線の傾きが異なる値になる。上記の構成によれば、複数の直線の傾きが異なるときには、路面の視差点群に対応しない直線が除外され、残りの直線、即ち、路面の視差点群に対応する直線に基づいてピッチ角が推定される。よって、路面の視差点群に対応しない直線に基づいてピッチ角が不正確に推定されることを確実に防止することができる。

また、本発明によれば、上記の構成において、路面の視差点群に対応する複数の直線の傾きが異なるときには、車両の進路を推定し、推定された車両の進路に基づいて前記ピッチ角を推定するための直線を選択するよう構成される。

車両の前方が分岐路であり、それらの路面の横方向の傾斜角が互いに異なる場合には、Ｖ-disparity平面において求められた路面の視差点群に対応する直線が複数になると共に、それらの直線の傾きが異なる値になる。上記の構成によれば、路面の視差点群に対応する複数の直線の傾きが異なるときには、車両の進路が推定され、推定された車両の進路に基づいてピッチ角を推定するための直線が選択される。よって、例えば車両の進路が推定されることなく、何れかの直線が選択されたり、それらの直線の中間位置に一つの直線が決定されたりする場合に比して、ピッチ角を正確に推定することができる。

〔課題解決手段の好ましい態様〕
本発明の一つの好ましい態様によれば、上記の構成に於いて、複数の直線の傾きが同一であるときには、視差が予め設定された値であるときのＶ-disparity平面の座標系における二つの直線の縦座標について、重みの逆比の内分点が求められ、その内分点を通り二つの直線に平行な一つの直線が、二つの直線の間に位置する一つの直線に決定される。

本発明の他の一つの好ましい態様によれば、上記の構成に於いて、複数の直線の傾きが同一であるときには、Ｖ-disparity平面の座標系における二つの直線の縦座標について、重みの逆比の内分点が種々の視差の値について求められ、それらの内分点を通る一つの直線が、二つの直線の間に位置する一つの直線に決定される。

本発明による車載ステレオカメラのピッチ角推定方法が適用されてよい車両を示す正面図である。 車載ステレオカメラのピッチ角を示す説明図である。 本発明によるピッチ角推定方法の第一の実施形態におけるピッチ角推定制御ルーチンを示すフローチャートである。 本発明によるピッチ角推定方法の第二の実施形態におけるピッチ角推定制御ルーチンを示すフローチャートである。 本発明によるピッチ角推定方法の第三の実施形態におけるピッチ角推定制御ルーチンを示すフローチャートである。 第一の修正例におけるピッチ角推定制御ルーチンを示すフローチャートである。 第二の修正例におけるピッチ角推定制御ルーチンを示すフローチャートである。 第三の修正例におけるピッチ角推定制御ルーチンを示すフローチャートである。 車両の前方の路面が車両に対し相対的にロールしている場合について視差画像の一例を示す図である。 図９に示された視差画像の視差点群が投影され直線が求められたＶ-disparity平面を示す図である。 車両の前方の走行路が湾曲し、ステレオカメラが走行路と共に走行路外の領域（例えば、擁壁や平地）を広い範囲に亘り撮影している場合を示す図である。 図１１に示された場合について、Ｖ-disparity平面に傾きが異なる２本の直線があることを示す図である。 Ｖ-disparity平面において、互いに平行な二つの直線に基づいて補正後の一つの直線を求める要領を示す図である。 視差距離Ｌdに基づいて重みＭを演算するためのマップである。

以下に添付の図を参照しつつ、本発明を幾つかの好ましい実施形態について詳細に説明する。

［第一の実施形態］
図１は、本発明による車載ステレオカメラのピッチ角推定方法が適用されてよい車両を示す正面図、図２は、車載ステレオカメラのピッチ角を示す説明図である。

図１及び図２において、１０は車両を全体的に示しており、車両１０にはステレオカメラ１２が搭載されている。ステレオカメラ１２は車室１４内にてフロントガラス１６の上縁部に近接して配置され、車体１８に取り付けられている。ステレオカメラ１２は車両の左右方向に隔置された一対のカメラ２０Ｌ及び２０Ｒを有し、カメラ２０Ｌ及び２０ＲはＣＣＤ、ＣＭＯＳなどの半導体素子を含んでいる。図示の実施形態においては、カメラ２０Ｌ及び２０Ｒはルームミラー２２の両側に位置している。

ステレオカメラ１２は、車室側から見て左側のカメラ２０Ｌにより撮影された二次元画像と、右側のカメラ２０Ｒにより撮影された二次元画像とよりなるステレオ画像を取得する。カメラ２０Ｌ及び２０Ｒのレンズの中心は、車両１０の中央１０Ｃより等距離の位置に位置し、互いに他に対し距離Ｌ（基線長）隔置されている。また、図には示されていないが、カメラ２０Ｌ及び２０Ｒは互いに同一の焦点距離ｆを有し、基線長Ｌ及び焦点距離ｆは一定の既知の値である。

図２に示されている如く、カメラ２０Ｌ及び２０Ｒの光軸２４Ｌ及び２４Ｒは互いに平行で、車両１０の水平方向２６に対し一定の角度θにて下方へ傾斜している。従って、車両が平坦な路面２８を走行するときには、路面２８に対するステレオカメラ１２のピッチ角φ、即ち路面２８に対する光軸２４Ｌ及び２４Ｒの傾斜角は角度θと等しい。しかし、車両１０がピッチングしたり、車両の走行に伴って路面２８の傾斜角が変化したりすると、ステレオカメラ１２のピッチ角φは角度θとは異なる値になる。

ステレオカメラ１２により取得されたステレオ画像を示す信号は、電子制御装置３０へ入力される。電子制御装置３０は、後述の如く図３に示されたフローチャートに従ってステレオカメラ１２のピッチ角φを演算する。なお、電子制御装置３０は、ＣＰＵとＲＯＭとＲＡＭと入出力ポート装置とを有し、これらが双方向性のコモンバスにより互いに接続されたマイクロコンピュータを含むものであってよい。

この場合、電子制御装置３０は、ステレオ画像に基づいて視差画像を生成し、視差画像に基づいて路面の視差点群をＶ-disparity平面に投影する。そして、電子制御装置３０は、Ｖ-disparity平面において投影された視差点群を直線に近似することにより、視差点群に対応する直線を求める。更に、電子制御装置３０は、Ｖ-disparity平面の上下方向の座標軸である縦軸について直線の切片を求め、該切片に基づいて路面２８に対するステレオカメラ１２の光軸２４Ｌ及び２４Ｒのピッチ角φを演算する。

特に、第一の実施形態においては、電子制御装置３０は、車両１０及びその前方の路面２８が相対的にロールしていることに起因して、Ｖ-disparity平面における直線が複数であるときには、それらの直線の傾きが同一であるか否かを判定する。そして、電子制御装置３０は、複数の直線の傾きが同一であるときには、複数の直線を重み付けして演算処理することにより複数の直線の間に存在する一つの直線を決定する。この場合、視差画像の中央に近い視差点群に対応する直線の重みが、視差画像の中央より遠い視差点群に対応する直線の重みよりも大きくされる。更に、電子制御装置３０は、一つに決定された直線の縦軸切片に基づいて、路面２８に対するステレオカメラ１２の光軸のピッチ角φを演算する。なお、電子制御装置３０は、複数の直線の傾きが同一でないときには、複数の直線より路面に対応する直線を選択し、選択した直線の縦軸切片に基づいてピッチ角φを演算する。

図３は本発明によるピッチ角推定方法の第一の実施形態におけるピッチ角推定制御ルーチンを示すフローチャートである。なお、図３に示されたフローチャートによる制御は、図には示されていないイグニッションスイッチがオンになったときに開始され、所定の時間毎に繰返し実行される。このことは、後述の他の実施形態及び修正例においても同様である。

まず、ステップ１０に先立って、カメラ２０Ｌ及び２０Ｒにより撮影された二次元画像を示す信号の読み込みが行われ、ステップ１０においては、二つの二次元画像に基づいて視差画像が生成される。図９は、車両の前方の路面が車両に対し相対的にロールしている場合について視差画像の一例を示している。図９において、ｘ軸は二次元画像の水平方向に対応し、ｙ軸は二次元画像の上下方向に対応している。

図９に示された視差画像１００は、路面の左側の白線１０２Ｌ及び路面の右側の白線１０２Ｒを含んでおり、１０４は視差画像の中央を示している。また、１０６及び１０８は、ステレオカメラ１２からそれぞれ距離Ｌ1及びＬ2の距離の位置を示している。車両の前方の路面が車両に対し相対的にロールしているので、距離Ｌ1及びＬ2の距離の位置を示す線１０６及び１０８は、視差画像のｘ−ｙ座標で見て傾斜している。図９において、１０６Ｌ及び１０８Ｌは、視差点の例として、それぞれ距離Ｌ1及びＬ2の位置にある白線１０２Ｌの視差点を示し、１０６Ｒ及び１０８Ｒは、視差点の例として、それぞれ距離Ｌ1及びＬ2の位置にある白線１０２Ｒの視差点を示している。視差点１０６Ｌ等は、図９において点として図示されていない他の多数の視差点と共に白線１０２Ｌ及び１０２Ｒの視差点群を構成している。

ステップ２０においては、ステップ１０において生成された視差画像の１０６Ｌ等の視差点群がＶ-disparity平面に投影される。なお、Ｖ-disparity平面は視差ｄを横軸とし、視差画像の上下方向ｙを縦軸（下方が正）とする平面である。そして、原点は視差ｄが０（無限遠）であり、原点の上下方向の位置はステレオカメラ１２の光軸２４Ｌ及び２４Ｒの位置である。

ステップ３０においては、投影された視差点群が直線に近似されることにより、Ｖ-disparity平面において視差点群に対応する直線が求められる。図１０は、図９に示された視差画像１００の視差点群が投影され直線が求められたＶ-disparity平面１１０を示している。図１０において、１１２Ｌ及び１１２Ｒはそれぞれ図９に示された白線１０２Ｌ及び１０２Ｒに対応する直線を示している。

ステップ４０においては、Ｖ-disparity平面において求められた直線が１本であるか否かの判別が行われ、肯定判別が行われたときには制御はステップ２１０へ進み、否定判別が行われたときには制御はステップ５０へ進む。なお、車両の前方の路面が車両に対し相対的にロールしていない場合には、Ｖ-disparity平面において求められる直線は１本であるので、ステップ４０において肯定判別が行われる。これに対し、車両の前方の路面が車両に対し相対的にロールしている場合には、Ｖ-disparity平面において求められる直線が図１０に示されている如く複数になるので、ステップ４０において否定判別が行われる。

ステップ５０においては、Ｖ-disparity平面のｄ−ｙ座標に於ける各直線の傾きが演算される。図１０に示されている如く、ｄ−ｙ座標に於ける直線の傾きをＡとし、ｙ軸の切片をＢとすると、Ｖ-disparity平面の直線は、下記の式（１）にて表される。よって、Ｖ-disparity平面の各直線について傾きＡが演算される。
ｙ＝Ａｄ＋Ｂ …（１）

ステップ６０においては、Ｖ-disparity平面の全ての直線の傾きが同一であるか否かの判別が行われ、否定判別が行われたときには制御はステップ７０へ進み、肯定判別が行われたときには制御はステップ１１０へ進む。なお、車両の左前方の領域及び車両の右前方の領域が車両に対し同一の角度にて同一の方向へ相対的にロールしている場合には、全ての直線の傾きが同一であるので、ステップ６０において肯定判別が行われる。これに対し、車両の左前方の領域及び車両の右前方の領域が車両に対し互いに異なる角度にて相対的にロールしている場合には、少なくとも二つの直線の傾きが異なるので、ステップ６０において否定判別が行われる。

ステップ７０においては、カメラ２０Ｌ及び２０Ｒにより撮影された二次元画像及び又は視差画像に基づいて、画像中の車両の前方の路面の領域が判定される。そして、Ｖ-disparity平面の複数の直線より路面の領域の視差点群に基づいて生成された直線が選択される。

例えば、図１１に示されている如く、車両の前方の走行路１２０が湾曲し、ステレオカメラ１２が走行路１２０と共に走行路外の領域１２２（例えば、擁壁１２２Ａや平地１２２Ｂ）を広い範囲に亘り撮影しているとする。そして、図１２に示されている如く、Ｖ-disparity平面１１０に傾きが異なる２本の直線１２４及び１２６があり、直線１２４は走行路１２０の路面の視差点群に対応する直線であるが、直線１２６は走行路外の領域１２２の視差点群に対応する直線とする。

この場合には、例えば画像処理により、走行路１２０の左右の境界線１２０Ｌ、１２０Ｒが決定され、境界線１２０Ｌと１２０Ｒとの間の領域が「路面の領域」と判定され、路面の領域以外の領域が「走行路外の領域」と判定される。そして、直線１２４が路面の領域と判定された領域の視差点群に対応する直線として選択され、直線１２６は走行路外の領域と判定された領域の視差点群に対応する直線と判定される。

ステップ８０においては、上記ステップ４０の場合と同様に、選択された直線が１本であるか否かの判別が行われる。そして、肯定判別が行われたときには制御はステップ２１０へ進み、否定判別が行われたときには制御はステップ９０へ進む。

ステップ９０においては、上記ステップ６０の場合と同様に、選択された全ての直線の傾きが同一であるか否かの判別が行われる。そして、肯定判別が行われたときには制御はステップ１１０へ進み、否定判別が行われたときには制御はステップ１００へ進む。なお、このステップにおいて否定判別が行われるのは、路面が左右に広がっている場合、即ち車両が分岐路に差し掛かっている場合である。

ステップ１００においては、図には示されていないナビゲーション装置からの情報、操舵角、走行路に対する車両の横方向位置などに基づいて、分岐路に差し掛かっている車両がその後進行する走行路、即ち、車両の進路が推定される。そして、推定された進路に基づいて複数の直線より一つの直線が選択される。ステップ１００が完了すると、制御はステップ２１０へ進む。

ステップ１１０においては、ステレオカメラ１２から予め定められた距離の位置の視差点と視差画像の中央との距離を「視差距離」として、視差距離が小さいほど大きい重みを使用して、Ｖ-disparity平面の複数の直線が一つの直線に補正される。ステップ１１０が完了すると、制御はステップ２１０へ進む。

例えば、図９に示されている如く、予め設定された距離をＬ1として、ステレオカメラ１２から距離Ｌ1の位置にある視差点１０６Ｌ及び１０６Ｒと視差画像の中央１０４との距離をそれぞれＬl及びＬrとする。また、図１０に対応する図１３に示されている如く、距離Ｌ1に対応する視差ｄをｄ1とする。

図１３に示されたＶ-disparity平面１１０において、視差ｄがｄ1であるときの直線１１２Ｌ及び１１２Ｒ上の点１１４Ｌ及び１１４Ｒの間にy軸に沿ってＬr: Ｌlの逆比の内分点１１６が求められる。更に、点１１６を通り、直線１１２Ｌ及び１１２Ｒに平行な直線１１８が補正後の直線、即ち、ピッチ角φを演算するための直線とされる。

なお、視差距離が小さいほど重みが大きい値に設定されるのは、路面及びステレオカメラが相対的にロールしている場合には、視差点が視差画像の中央から遠くなるほど、視差画像に於ける視差点の縦座標の誤差が大きくなるからである。換言すれば、視差画像の中央に近い視差点群に対応する直線は、視差画像の中央より遠い視差点群に対応する直線よりも、ピッチ角を推定するための直線としての信頼性が高いからである。

また、Ｖ-disparity平面の直線が３本以上である場合には、それらの直線や補正後の直線のうちの二つの直線について、上記手順が繰り返されることにより、最終的に一つの補正後の直線が求められる。また、視差ｄが種々の値である場合について二つの直線上の点の間にy軸に沿って視差距離の逆比の内分点が求められ、それらの内分点が直線近似されることにより補正後の直線が求められてもよい。

ステップ２１０においては、Ｖ-disparity平面１１０の縦軸について、一つの直線の切片（上記式（１）のＢの値）が演算される。この場合、一つの直線は、ステップ４０において肯定判別が行われたときには、ステップ３０において生成された直線であり、ステップ４０において否定判別が行われたときには、それぞれステップ１００又は１１０において選択又は補正された直線である。

ステップ２２０においては、ステップ２１０において演算された縦軸切片Ｂ及びカメラ２０Ｌ及び２０Ｒの焦点距離ｆに基づいて、下記の式（２）に従って、ステレオカメラ１２のピッチ角φが演算される。
φ＝tan^−１（Ｂ／ｆ） …（２）

なお、車両１０の水平方向２６に対するカメラ２０Ｌ及び２０Ｒの光軸２４Ｌ及び２４Ｒの下方への傾斜角θを正確に一致させることは困難である。よって、二つの二次元画像に基づいて視差画像を生成する際に、それらの光軸が一致するよう二次元画像がキャリブレーションされる。従って、厳密に言えば、上記式（２）に従って演算されるピッチ角φは、二次元画像がキャリブレーションされた後の光軸の下方への傾斜角である。

次に、車両の前方の状況が種々の場合について、第一の実施形態におけるピッチ角φの演算要領を説明する。

（Ａ１）車両の前方の路面が車両に対し相対的にロールしていない場合
この場合には、視差画像の視差点群がＶ-disparity平面に投影され、投影された視差点群が直線に近似されることにより求められる直線は１本になる。よって、ステップ４０において肯定判別が行われ、ステップ２１０及び２２０が実行されることにより、ステレオカメラ１２のピッチ角φが演算される。

（Ａ２）車両の前方の路面が車両に対し相対的にロールしている場合
この場合には、視差画像の視差点群がＶ-disparity平面に投影され、投影された視差点群が直線に近似されることにより求められる直線は複数（一般的には２本）になる。よって、ステップ４０において否定判別が行われる。

（Ａ２−１）全ての直線の傾きが同一である場合
ステップ６０において肯定判別が行われ、ステップ１１０において複数の直線がそれらの間に位置する一つの直線に補正される。そして、補正後の一つの直線についてステップ２１０及び２２０が実行されることにより、ステレオカメラ１２のピッチ角φが演算される。従って、例えば複数の直線のうちの一つの直線が選択され、その直線についてステップ２１０及び２２０が実行される場合に比して、ピッチ角φを正確に演算することができる。

また、視差画像における視差距離が小さいほど大きい重みを使用して、複数の直線が一つの直線に補正される。従って、例えば二つの直線より等距離の中間点を通る直線が補正後の一つの直線に設定される場合に比して、ピッチ角φを正確に演算することができる。

（Ａ２−２）複数の直線の傾きが同一ではない場合
ステップ６０において否定判別が行われ、ステップ７０において複数の直線から路面に対応する一つの直線が選択される。従って、路面以外の領域に対応する直線に基づいてピッチ角φが誤って演算されることを防止することができる。なお、この作用効果は後述の第二及び第三の実施形態に於いても同様に得られる。

特に、ステップ７０において選択された路面に対応する直線が複数である場合には、ステップ８０において否定判別が行われる。そして、選択された全ての直線の傾きが同一であるときには、ステップ９０において肯定判別が行われ、ステップ１１０において複数の直線が一つの直線に補正される。

また、選択された全ての直線の傾きが同一ではないときには、ステップ９０において否定判別が行われる。そして、ステップ１００において車両の進路が推定され、推定された進路に基づいて複数の直線より一つの直線が選択される。従って、その後車両が走行しない走行路のピッチ角の影響を受けることなく、その後車両が走行する走行路について、ピッチ角φを正確に演算することができる。なお、この作用効果も後述の第二及び第三の実施形態に於いても同様に得られる。

かくして、第一の実施形態によれば、車両及び路面の相対ロールに起因して、Ｖ-disparity平面における直線が複数になる場合にも、複数の直線をそれらの間に位置する１本の直線に補正し、ステレオカメラのピッチ角φを正確に演算することができる。

特に、第一の実施形態によれば、ステップ１１０において、視差距離が小さいほど大きい重みを使用して、二つの直線の間の内分点が求められ、内分点を通り二つの直線に平行な直線が補正後の直線とされる。従って、視差ｄが種々の値である場合について二つの直線上の点の間にy軸に沿って視差距離の逆比の内分点が求められ、それらの内分点が直線近似される場合に比して、電子制御装置３０の演算負荷を低減し、補正後の直線を能率よく求めることができる。

［第二の実施形態］
図４は本発明による車載ステレオカメラのピッチ角推定方法の第二の実施形態におけるピッチ角推定制御ルーチンを示すフローチャートである。

この第二の実施形態においては、ステップ１０〜１００及びステップ２１０、２２０は、それぞれ第一の実施形態の対応するステップと同一の要領にて実行される。また、第一の実施形態のステップ１１０に対応するステップは実行されず、ステップ６０又は９０において肯定判別が行われたときには制御はステップ１２０へ進む。

ステップ１２０においては、視差画像における視差距離が小さい順に複数の直線を直線１〜n（正の整数）として、ステップ２１０の場合と同様に、Ｖ-disparity平面１１０の縦軸について、直線１〜nの切片Ｂ1〜Ｂn（上記式（１）のＢの値）が演算される。

ステップ１３０においては、直線１〜nについて視差画像における視差距離Ｌd1〜Ｌdnが演算されると共に、視差距離Ｌdが小さいほど重みＭが大きい値になるよう、視差距離Ｌd1〜Ｌdnに基づいて図１４に示されたマップより重みＭ1〜Ｍnが演算される。そして、各直線の切片Ｂ1〜Ｂnの重み平均値Ｂaが下記の式（３）に従って演算され、重み平均値Ｂaが直線の切片Ｂとされる。
Ｂa=ΣＭnＢn／ΣＭn …（３）

次に、車両の前方の路面が車両に対し相対的にロールしている場合について、第二の実施形態におけるピッチ角φの演算要領を説明する。なお、「（Ｂ１）車両の前方の路面が車両に対し相対的にロールしていない場合」は、上述の第一の実施形態の（Ａ１）と同一であるので、その説明を省略する。

（Ｂ２−１）全ての直線の傾きが同一である場合
ステップ６０において肯定判別が行われ、ステップ１２０において各直線の切片Ｂ1〜Ｂnが演算される。そして、ステップ１３０において、視差画像における視差距離が小さいほど大きい値に演算された重みＭ1〜Ｍnを使用して、各直線の切片Ｂ1〜Ｂnの重み平均値Ｂaが演算され、重み平均値Ｂaが直線の切片Ｂとされる。更に、ステップ２２０において切片Ｂに基づいてステレオカメラ１２のピッチ角φが演算される。従って、例えば複数の直線のうちの一つの直線が選択され、該直線についてステップ２１０及び２２０が実行される場合に比して、ピッチ角φを正確に演算することができる。

また、視差画像における視差距離が小さいほど大きい重みを使用して、複数の直線の縦軸切片Ｂ1〜Ｂnの重み平均値として一つの直線の縦軸切片に相当する値Ｂが演算される。従って、例えば二つの直線より等距離の中間点を通る直線が求められ、該直線の縦軸切片が補正後の一つの直線縦軸切片に設定される場合に比して、ピッチ角φを正確に演算することができる。

（Ｂ２−２）複数の直線の傾きが同一ではない場合
ステップ６０において否定判別が行われ、ステップ７０において複数の直線から路面に対応する一つの直線が選択される。そして、ステップ７０において選択された路面に対応する直線が１本である場合には、ステップ８０において肯定判別が行われ、その直線についてステップ２１０及び２２０が実行されることにより、ピッチ角φが演算される。

これに対し、ステップ７０において選択された路面に対応する直線が複数である場合には、ステップ８０において否定判別が行われる。そして、選択された全ての直線の傾きが同一であるときには、ステップ９０において肯定判別が行われ、ステップ１２０、１３０、２２０が実行される。これにより、ステップ６０において肯定判別が行われた場合と同一の要領にて、縦軸切片Ｂ1〜Ｂnの重み平均値Ｂａに基づいてピッチ角φが演算される。

かくして、第二の実施形態によれば、車両及び路面の相対ロールに起因して、Ｖ-disparity平面における直線が複数になる場合にも、複数の直線の縦軸切片に基づいて正確な縦軸切片を演算し、これによりステレオカメラのピッチ角φを正確に演算することができる。

特に、第二の実施形態によれば、ステップ１３０において、視差距離が小さいほど大きい重みを使用して、各直線の切片の重み平均値が演算され、その重み平均値が直線の縦軸切片とされる。従って、複数の直線が１本の直線に補正される上述の第一の実施形態の場合に比して、電子制御装置３０の演算負荷を低減し、ピッチ角φを能率よく求めることができる。

［第三の実施形態］
図５は本発明による車載ステレオカメラのピッチ角推定方法の第三の実施形態におけるピッチ角推定制御ルーチンを示すフローチャートである。

この第三の実施形態においては、ステップ１０〜１００、ステップ１２０、及びステップ２１０、２２０は、それぞれ第二の実施形態の対応するステップと同一の要領にて実行される。また、第一の実施形態のステップ１１０に対応するステップは実行されず、ステップ６０及び９０において肯定判別が行われたときには制御はステップ１２０へ進む。さらに、ステップ１２０が完了すると、第二の実施形態のステップ１３０に対応するステップが実行されることなく制御はステップ１４０進む。

ステップ１４０においては、ステップ１２０において演算された直線１〜nの切片Ｂ1〜Ｂnに基づいて、上記式（１）に従ってステレオカメラ１２のピッチ角φ1〜φnが演算される。

ステップ１５０においては、直線１〜nについて視差画像における視差距離Ｌd1〜Ｌdnが演算されると共に、視差距離Ｌdが小さいほど重みＭが大きい値になるよう、視差距離Ｌdに基づいて図１４に示されたマップより重みＭ1〜Ｍnが演算される。そして、ピッチ角φ1〜φnの重み平均値φaが下記の式（４）に従って演算され、重み平均値φaがステレオカメラ１２のピッチ角φとされる。
φa=ΣＭnφn／ΣＭn …（４）

次に、車両の前方の路面が車両に対し相対的にロールしている場合について、第三の実施形態におけるピッチ角φの演算要領を説明する。なお、この第三の実施形態においても、「（Ｃ１）車両の前方の路面が車両に対し相対的にロールしていない場合」は、上述の第一の実施形態の（Ａ１）と同一であるので、その説明を省略する。

（Ｃ２−１）全ての直線の傾きが同一である場合
ステップ６０において肯定判別が行われ、ステップ１２０において各直線の切片Ｂ1〜Ｂnが演算される。そして、ステップ１４０において、切片Ｂ1〜Ｂnに基づいてステレオカメラ１２のピッチ角φ1〜φnが演算される。さらに、ステップ１５０において、視差画像における視差距離が小さいほど大きい値に演算された重みＭ1〜Ｍnを使用して、ピッチ角φ1〜φnの重み平均値φaが演算され、重み平均値φaがステレオカメラ１２のピッチ角φとされる。従って、例えば複数の直線のうちの一つの直線が選択され、該直線についてステップ２１０及び２２０が実行される場合に比して、ピッチ角φを正確に演算することができる。

また、視差画像における視差距離が小さいほど大きい重みを使用して、複数の直線に対応するピッチ角φ1〜φnの重み平均値φaとして一つの直線に対応するピッチ角φが演算される。従って、例えば二つの直線より等距離の中間点を通る直線が求められ、該直線の縦軸切片に基づいてピッチ角φが演算される場合に比して、ピッチ角φを正確に演算することができる。

（Ｃ２−２）複数の直線の傾きが同一ではない場合
ステップ６０において否定判別が行われ、ステップ７０において複数の直線から路面に対応する一つの直線が選択される。そして、ステップ７０において選択された路面に対応する直線が１本である場合には、ステップ８０において肯定判別が行われ、その直線についてステップ２１０及び２２０が実行されることにより、ピッチ角φが演算される。

これに対し、ステップ７０において選択された路面に対応する直線が複数である場合には、ステップ８０において否定判別が行われる。そして、選択された全ての直線の傾きが同一であるときには、ステップ９０において肯定判別が行われ、ステップ１２０、１４０、１５０が実行される。これにより、ステップ６０において肯定判別が行われた場合と同一の要領にて、ピッチ角φ1〜φnの重み平均値φaとしてピッチ角φが演算される。

かくして、第三の実施形態によれば、車両及び路面の相対ロールに起因して、Ｖ-disparity平面における直線が複数になる場合にも、複数の直線に対応するピッチ角φに基づいて、ステレオカメラのピッチ角φを正確に演算することができる。

特に、第三の実施形態によれば、ステップ１５０において、視差距離が小さいほど大きい重みを使用して、各直線に対応するピッチ角の重み平均値が演算され、その重み平均値がステレオカメラのピッチ角φとされる。従って、この第三の実施形態の場合にも、複数の直線が１本の直線に補正される上述の第一の実施形態の場合に比して、電子制御装置３０の演算負荷を低減し、ピッチ角φを能率よく求めることができる。

［第一ないし第三の修正例］
図６ないし図８はそれぞれ第一ないし第三の実施形態に対応する第一ないし第三の修正例におけるピッチ角推定制御ルーチンを示すフローチャートである。

これらの修正例においては、ステップ６０において肯定判別が行われたときには、第一ないし第三の実施形態の場合と同様にステップ１１０等が行われる。しかし、ステップ６０において否定判別が行われたときには、ステップ７０等が行われることなく、制御が一旦終了する。

従って、これらの修正例によれば、車両の前方の路面が車両に対し相対的にロールしており、Ｖ-disparity平面において近似される直線が複数になっても、全ての直線の傾きが同一である場合には、ステレオカメラのピッチ角φを正確に演算することができる。また、全ての直線の傾きが同一ではない場合には、ステレオカメラのピッチ角φは推定されないので、傾きが同一ではない複数の直線に基づいてピッチ角φが不正確に推定されることを防止することができる。

以上においては、本発明を特定の実施形態について詳細に説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の範囲内にて他の種々の実施形態が可能であることは当業者にとって明らかであろう。

例えば、上述の第一の実施形態においては、Ｖ-disparity平面の直線が３本以上である場合には、二つの直線について逆比の内分点を通る直線が繰り返し求められることにより、最終的に一つの補正後の直線が求められる。しかし、上述の第二及び第三の実施形態と同様の手順により一つの直線が通過する点が求められてもよい。

即ち、視差画像における視差距離が小さい順に複数の直線を直線１〜n（正の整数）として、視差ｄが例えば予め設定された値ｄ1であるときの各直線のｙ座標をｙ1〜ｙnとする。そして、各直線について視差画像における視差距離が小さいほど大きい重みＭ1〜Ｍnが演算され、各直線のｙ座標ｙ1〜ｙnの重み平均値ｙaが下記の式（５）に従って演算され、座標（ｄ1，ｙa）の点を通り各直線に平行な直線が補正後の直線とされてもよい。
ｙa=ΣＭnｙn／ΣＭn …（５）

また、上述の第二の実施形態においては、各直線の切片Ｂ1〜Ｂnの重み平均値Ｂaが上記式（３）に従って演算され、重み平均値Ｂaが直線の切片Ｂとされる。しかし、Ｖ-disparity平面の直線が２本である場合には、上述の第一の実施形態と同様の手順により、二つの直線の切片の内分点が直線の切片Ｂとして求められてもよい。

また、上述の第一ないし第三の実施形態においては、ステップ８０において否定判別が行われたときには、即ち、選択された直線が複数である旨の判別が行われたときには、ステップ９０以降が実行される。しかし、ステップ８０において否定判別が行われたときには、制御が一旦終了するよう修正されてもよい。

さらに、上述の第一ないし第三の実施形態においては、ステップ９０において否定判別が行われたときには、即ち、選択された全ての直線の傾きが同一であると判別されないときには、ステップ１００以降が実行される。しかし、ステップ９０において否定判別が行われたときには、制御が一旦終了するよう修正されてもよい。

１０…車両、１２…ステレオカメラ、２０Ｌ、２０Ｒ…カメラ、２４Ｌ、２４Ｒ…光軸、２８…路面、３０…電子制御装置、１００…視差画像、１０２Ｌ、１０２Ｒ…白線、１１０…Ｖ-disparity平面、１２０…走行路、１２２…走行路外の領域

Claims (9)

1. 車載ステレオカメラによって撮影された画像より生成された視差画像の視差が横軸であり、視差画像の上下方向が縦軸である平面をＶ-disparity平面として、視差画像に基づいて路面の視差点群をＶ-disparity平面に投影し、Ｖ-disparity平面において前記視差点群に対応する直線を求め、求められた直線に基づいて路面に対する前記ステレオカメラの光軸のピッチ角を推定するピッチ角推定方法において、
   左右に隔置された少なくとも一対の視差点群をＶ-disparity平面に投影し、求められた直線が複数であるか否かを判定し、求められた直線が複数であるときには、複数の直線の傾きの異同を判定し、傾きが同一であるときには、傾きが複数の直線の傾きと同一で複数の直線の間に位置する一つの直線に対応するピッチ角を求める
   ことを特徴とするピッチ角推定方法。
2. 複数の直線の傾きが同一であるときには、傾きが複数の直線の傾きと同一で複数の直線の間に位置する一つの直線を決定し、該直線に基づいて前記ピッチ角を推定することを特徴とする請求項１に記載のピッチ角推定方法。
3. 視差画像の中央に近い前記視差点群に対応する直線の重みが視差画像の中央より遠い前記視差点群に対応する直線の重みよりも大きくなるよう、複数の直線を重み付けして演算処理することにより複数の直線の間に位置する一つの直線を決定することを特徴とする請求項２に記載のピッチ角推定方法。
4. 複数の直線の傾きが同一であるときには、各直線に基づいて路面に対する前記ステレオカメラのピッチ角を推定し、推定された複数のピッチ角を平均することにより複数のピッチ角の間にある一つのピッチ角を決定することを特徴とする請求項１に記載のピッチ角推定方法。
5. 視差画像の中央と前記視差点群との距離が小さいほど大きくなる重みを使用して、推定された複数のピッチ角を重み平均することにより複数のピッチ角の間にある一つのピッチ角を決定することを特徴とする請求項４に記載のピッチ角推定方法。
6. 複数の直線の傾きが同一であるときには、Ｖ-disparity平面の座標系の縦軸について各直線の切片を求め、求められた複数の切片を平均することにより複数の切片の間にある一つの切片を決定し、決定された切片に基づいて前記ピッチ角を推定することを特徴とする請求項１に記載のピッチ角推定方法。
7. 視差画像の中央と前記視差点群との距離が小さいほど大きくなる重みを使用して、求められた複数の切片を重み平均することにより複数の切片の間にある一つの切片を決定することを特徴とする請求項６に記載のピッチ角推定方法。
8. 複数の直線の傾きが異なるときには、路面の視差点群に対応しない直線を除外し、残りの直線に基づいて前記ピッチ角を推定することを特徴とする請求項１ないし７の何れか一つに記載のピッチ角推定方法。
9. 路面の視差点群に対応する複数の直線の傾きが異なるときには、車両の進路を推定し、推定された車両の進路に基づいて前記ピッチ角を推定するための直線を選択することを特徴とする請求項１ないし８の何れか一つに記載のピッチ角推定方法。

Images