JP2017049147A - 画像処理装置 - Google Patents

Abstract

【課題】ステレオカメラを用いて撮像された画像から被写体の３次元位置情報を認識する画像処理装置において、画像データ中における無限遠点の座標の補正を行う。【解決手段】本発明の画像処理装置は、自車両の進行方向をステレオカメラを用いて撮像して得られた一対の画像データに基づき被写体の３次元位置情報を認識する画像処理装置であって、前記一対の画像データ上における、前記自車両に対向する対向車両の点灯中の左右一対ヘッドライトの位置を検出するヘッドライト検出処理部と、所定の期間中における前記一対の画像データ上での前記左右一対のヘッドライトの移動軌跡を近似した一対の近似曲線の交点の座標を算出し、前記交点の座標に基づき、前記被写体の３次元的な位置を算出の基準となる無限遠位置の補正を行う無限遠位置補正処理部と、を備える。【選択図】図１

Description

本発明は、車両の進行方向をステレオカメラを用いて撮像して得られた画像に基づき被写体の３次元位置情報を認識する画像処理装置に関する。

車外環境を認識する車両システムとして、自車両の進行方向を一対のカメラを備えるステレオカメラで撮像して得られた一対の画像に基づき、被写体と自車両との位置関係を認識する画像処理装置を備えるものがある。このように自車両の進行方向に存在する被写体を認識するシステムでは、被写体までの距離の情報を含めた被写体の３次元位置情報（実空間上における位置の情報）を生成する。具体的には、前記のステレオカメラにより視点の異なる一対の画像データを撮像し、当該一対の画像データ間における被写体の視差を算出し、当該視差に基づいて被写体の３次元位置情報を生成する。

前記の３次元位置情報は、一対のカメラの中央真下の点を原点とし、一対のカメラを結ぶ方向にＸ軸、上下方向にＹ軸、前後方向にＺ軸とした場合の空間上の点（Ｘ，Ｙ，Ｚ）で表される。３次元位置情報は、三角測量の手法に基づき生成されるもので、具体的には、画像上の画素を座標（ｉ，ｊ）で表し、視差をｄｐ、一対のカメラの間隔をＣＤ、１画素当たりの視野角をＰＷ、一対のカメラの取り付け高さをＣＨ、カメラ正面の無限遠点の画像上でのｉ座標、ｊ座標をそれぞれＩＶ、ＪＶとしたときに、以下の［式１］〜［式３］で表される座標変換により求まる。

Ｘ＝ＣＤ／２＋Ｚ・ＰＷ・（ｉ−ＩＶ）…［式１］
Ｙ＝ＣＨ＋Ｚ・ＰＷ・（ｊ−ＪＶ）…［式２］
Ｚ＝ＣＤ／｛ＰＷ・（ｄｐ−ＤＰ）｝…［式３］
前記［式３］における「ＤＰ」は、消失点視差や無限遠対応点などとも称されるが、要するに基準画像と比較画像の間の対応点間の視差ｄｐと、対応点までの実空間上での距離Ｚとが前記［式３］を満たすようにして決定される値である。以下、この「ＤＰ」については「視差オフセット値ＤＰ」と称する。

特開２００３−８３７４２号公報

画像上での無限遠点の座標（ＩＶ，ＪＶ）は、自車両の姿勢変化に応じて変化する。例えば、自車両の加減速や積載物の重量の変化により自車両の姿勢がピッチング方向に変化した場合、自車両に固定されているステレオカメラの画像データ中における無限遠点の位置が変化する。また例えば、振動や熱等に起因して自車両に対するステレオカメラの固定位置が変化した場合にも、画像データ中における無限遠点の位置が変化する。

ステレオカメラによる３次元位置情報の生成を正確に行うには、画像データ中における無限遠点の座標の変化の影響を排除することが望まれる。

本発明は前述した問題を解決するものであり、ステレオカメラを用いて撮像された画像から被写体の３次元位置情報を認識する画像処理装置において、画像データ中における無限遠点の座標の補正を行うことを目的とする。

本発明の一態様の画像処理装置は、自車両の進行方向をステレオカメラを用いて撮像して得られた一対の画像データに基づき被写体の３次元位置情報を認識する画像処理装置であって、前記一対の画像データ上における、前記自車両に対向する対向車両の点灯中の左右一対ヘッドライトの位置を検出するヘッドライト検出処理部と、所定の期間中における前記一対の画像データ上での前記左右一対のヘッドライトの移動軌跡を近似した一対の近似曲線の交点の座標を算出し、前記交点の座標に基づき、前記被写体の３次元的な位置を算出の基準となる無限遠位置の補正を行う無限遠位置補正処理部と、を備える。

本発明によれば、ステレオカメラを用いて撮像された画像から被写体の３次元位置情報を認識する画像処理装置において、画像データ中における無限遠点の座標の補正を行うことができる。

画像処理装置の構成を示すブロック図である。 実空間上において、ヘッドライトを点灯している対向車両が遠方に位置している状態（時刻Ｔ１）を示す図である。 実空間上において、ヘッドライトを点灯している対向車両が近づいた状態（時刻Ｔ２）を示す図である。 時刻Ｔ１にステレオカメラによって撮像された画像データを示す図である。 時刻Ｔ２にステレオカメラによって撮像された画像データを示す図である。 画像処理装置の動作を示すフローチャートである。 対向車両の走行軌跡が曲線状である場合の、画像データ上における一対のヘッドライトの移動軌跡の例を示す図である。 対向車両の走行軌跡が直線状である場合の、画像データ上における一対のヘッドライトの移動軌跡の例を示す図である。

以下に、本発明の好ましい形態について図面を参照して説明する。なお、以下の説明に用いる各図においては、各構成要素を図面上で認識可能な程度の大きさとするため、構成要素毎に縮尺を異ならせてあるものであり、本発明は、これらの図に記載された構成要素の数量、構成要素の形状、構成要素の大きさの比率、及び各構成要素の相対的な位置関係のみに限定されるものではない。

図１に示す本実施形態の画像処理装置１は、ステレオカメラ２が装着された車両に搭載され、ステレオカメラ２によって撮像された画像中に写っている物体（被写体）の車両に対する相対的な位置を算出する。

ステレオカメラ２は、車両の進行方向を視野に収めるように車幅方向に所定の距離だけ離間して配置された、視点の異なる一対の第１カメラ２ａおよび第２カメラ２ｂを備える。第１カメラ２ａおよび第２カメラ２ｂは、同期して同一のフレームレートで動画像を撮像する。

第１カメラ２ａおよび第２カメラ２ｂは、互いの光軸が平行であり、同一の高さに設置される。第１カメラ２ａおよび第２カメラ２ｂのそれぞれの光軸の離間距離が、基線長ＤＣである。本実施形態では一例として、第１カメラ２ａが、車両の進行方向に向かって左側に配置されており、第２カメラ２ｂが、車両の進行方向に向かって右側に配置されている。

ステレオカメラ２は、撮像した画像をデジタルデータに変換するＡ／Ｄコンバータや、画像に対してノイズ除去および輝度値補正等の画像補正を行う画像補正部等を備える。ステレオカメラ２は、撮像した画像をデジタルデータとして画像処理装置１に送信する。

画像処理装置１は、ＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたコンピュータより構成されている。なお、画像処理装置１は、車両の動作を制御するコンピュータを含む車両制御システム３に組み込まれていてもよいし、車両制御システム３とは別のコンピュータであってもよい。

画像処理装置１は、車両制御部３との間で通信可能である。車両制御システム３は、車両に設けられた車速センサ、舵角センサ、加速度センサおよび角速度センサ等を含むセンサ部５から入力される情報と、画像処理装置１から入力される情報と、に基づき、車両の周辺環境を含めた状況を認識し、運転支援に係る動作を実行する。

運転支援に係る動作とは、運転者に対して車線逸脱警告や衝突警告を出力する警告動作、および自動ブレーキや自動操舵等の半自動または自動の運転補助動作等を含む。ステレオカメラを用いた運転支援は公知の技術であるため詳細な説明は省略する。

画像処理装置１は、メモリ１ａ、３次元位置情報生成処理部１ｂ、ヘッドライト検出処理部１ｃ、および無限遠位置補正処理部１ｅを備える。

メモリ１ａは、ステレオカメラ２から入力される画像のデータ等を記憶する。以下では、第１カメラ２ａにより撮像される画像を第１画像データと称し、第２カメラ２ｂにより撮像される画像を第２画像データと称する。

３次元位置情報生成処理部１ｂ、ヘッドライト検出処理部１ｃ、および無限遠位置補正処理部１ｅは、それぞれ以下に説明する画像処理装置１が有する画像処理の機能を実行するための構成を含む。

３次元位置情報生成処理部１ｂは、ステレオカメラ２によって撮像された視点の異なる一対の画像データに基づき、被写体の３次元位置情報を生成する。

３次元位置情報生成処理部１ｂが実行する３次元位置情報生成処理は、第１画像データと第２画像データの間の対応点をパターンマッチングにより検出し、検出された対応点間の座標のずれを視差ｄｐとして算出し、視差ｄｐを用いて三角測量の原理により実空間上における対応点の位置の情報を３次元位置情報として生成する処理である。

前記のような視差ｄｐとしての座標のずれを算出するにあたっては、予め第１画像データおよび第２画像データのうちの一方が「基準画像」、他方が「比較画像」として定められる。

ここで、３次元位置情報は、一対のカメラである第１カメラ２ａと第２カメラ２ｂの中央真下の点を原点とし、一対のカメラを結ぶ方向にＸ軸、上下方向にＹ軸、前後方向にＺ軸ととった場合の実空間における実座標上の点（Ｘ，Ｙ，Ｚ）として表される情報である。

３次元位置情報としてのＸ，Ｙ，Ｚの各値は、画像中における水平方向に平行な軸をｉ軸、垂直方向に平行な軸をｊ軸としたときの画素の座標を（ｉ，ｊ）で表し、一対のカメラの間隔（基線長）をＣＤ、１画素当たりの視野角をＰＷ、一対のカメラの取り付け高さをＣＨ、ステレオカメラ２の正面の無限遠点の基準画像上でのｉ座標、ｊ座標をそれぞれＩＶ、ＪＶとしたときに、下記［式１］〜［式３］で表される座標変換により求まる。

Ｘ＝ＣＤ／２＋Ｚ・ＰＷ・（ｉ−ＩＶ） …［式１］
Ｙ＝ＣＨ＋Ｚ・ＰＷ・（ｊ−ＪＶ） …［式２］
Ｚ＝ＣＤ／｛ＰＷ・（ｄｐ−ＤＰ）｝ …［式３］
前記［式３］における「ＤＰ」は、消失点視差や無限遠対応点などとも称されるが、要するに基準画像と比較画像の間の対応点間の視差ｄｐと、対応点までの実空間上での距離Ｚとが前記［式３］を満たすようにして決定される値である。以下、この「ＤＰ」については「視差オフセット値ＤＰ」と称する。

ヘッドライト検出処理部１ｃは、ステレオカメラ２によって撮像された画像データ中において、自車両に対向している対向車両の点灯中のヘッドライトの位置および視差を検出するヘッドライト検出処理を実行する。

対向車両とは、自車両の前後軸（Ｚ軸）に平行に、自車両に近づく方向に相対的に移動する車両のことである。すなわち、自車両および対向車両のいずれか一方は停止中であってもよい。

ヘッドライト検出処理部１ｃは、第１画像データおよび第２画像データの双方について、対向車両の点灯中のヘッドライトの位置を検出してヘッドライトの視差を算出する。

ヘッドライト検出処理部１ｃが、対向車両のうちの点灯中のヘッドライトを検出し、消灯中のヘッドライトの検出を行わないのは、点灯中であればヘッドライトの光源の位置を検出することができるからである。ヘッドライトの光源の位置はステレオカメラ２の視野内において周囲との輝度差が大きく、かつ光源はほぼ点状であるため、画像処理による位置の測定の誤差を小さくすることができる。消灯中のヘッドライトは、周囲との輝度差が小さいため、例えば周辺光の変化によって画像処理によりヘッドライトとして認識される形状が変化してしまうため、位置の測定の誤差が大きくなってしまう。

図２および図３は、実座標であるＸ−Ｙ平面における対向車両１０を示す図である。図２および図３は、鉛直上方から見た図である。図２および図３では、自車両を描画していないが、前述のように、原点位置が自車両に搭載されたステレオカメラ２の第１カメラ２ａと第２カメラ２ｂの中央真下の点である。図２および図３において、自車両の進行方向は、図面に正対して図の下から上に向かう方向（Ｚ軸に沿って正の方向）である。また、対向車両の進行方向は、図面に正対して図の上から下に向かう方向（Ｚ軸に沿って負の方向）である。なお、図では車両が道路の左側を通行する様子を示しているが、車両は道路の右側を通行する場合であってもよい。

図２は、対向車両１０が自車両の前方の比較的遠い地点に位置している時刻Ｔ１の状態を示している。図３は、時刻Ｔ１において遠い地点に位置していた対向車両１０が、相対移動によってより自車両に近い地点に位置している時刻Ｔ２の状態を示している。時刻Ｔ２は、時刻Ｔ１のΔＴ秒後の状態である。対向車両１０は、ヘッドライトを点灯中である。

以下では、対向車両１０のヘッドライトについて、自車両から見て左側に位置しているヘッドライトを左ヘッドライト１１と称し、自車両から見て右側に位置しているヘッドライトを右ヘッドライト１２と称する。

図４は、ステレオカメラ２によって前記時刻Ｔ１に撮像された画像データを示す図であり、図５は、ステレオカメラ２によって前記時刻Ｔ２に撮像された画像データを示す図である。

図４および図５では、説明のために、ステレオカメラ２によって撮像された第１画像データおよび第２画像データのうちの、第１画像データを実線で示している。また、図５においては、第２画像データ中の破線１０のヘッドライトの位置を点線で示している。図５では、第１画像中の左ヘッドライトに符号１１ａを付し、第２画像中の左ヘッドライトに符号１１ｂを付し、第１画像中の右ヘッドライトに符号１２ａを付し、第２画像中の右ヘッドライトに符号１２ｂを付してある。

前述のように、ヘッドライト検出処理部１ｃは、例えば図５に示すように画像データ中の、対向車両１０の左ヘッドライト１１および右ヘッドライト１２の位置および視差を検出する。

ヘッドライト検出処理部１ｃによって検出される、第１画像データ中における左ヘッドライト１１ａの座標を（ＩＬ１，ＪＬ１）とし、第２画像データ中の左ヘッドライト１１ｂの座標を（ＩＬ２，ＪＬ２）とし、第１画像中における右ヘッドライト１２ａの座標を（ＩＲ１，ＪＲ１）とし、第２画像中の右ヘッドライト１２ｂの座標を（ＩＲ２，ＪＲ２）とする。

また、ヘッドライト検出処理部１ｃによって検出される、画像データ中における左ヘッドライト１１の視差ｄｐＬは、ｄｐＬ＝ＩＬ１−ＩＬ２により算出され、右ヘッドライト１２の視差ｄｐＲは、ｄｐＲ＝ＩＬ１−ＩＬ２により算出される。

無限遠位置補正処理部１ｅは、ヘッドライト検出処理部１ｃによって検出された対向車両のヘッドライトの検出情報に基づいて、現在使用している無限遠位置の誤差を算出し、無限遠位置を補正（校正）する無限遠位置補正処理を実行する。

ここで、無限遠位置とは、前述の３次元位置情報生成処理で用いられる値であり、ステレオカメラ２の正面の無限遠点の基準画像上でのｉ座標およびｊ座標のことである。無限遠点の基準画像上でのｉ座標およびｊ座標の値は、前述のように（ＩＶ，ＪＶ）である。

無限遠位置の値は、自車両の姿勢変化に応じて変化する値である。例えば、自車両の加減速や積載物の重量の変化により自車両の姿勢がピッチング方向に変化した場合、自車両に固定されているステレオカメラ２の画像データ中における無限遠点の位置が変化する。また例えば、振動や熱等に起因して自車両に対するステレオカメラ２の固定位置が変化した場合にも、ステレオカメラ２の画像データ中における無限遠点の位置が変化する。

無限遠位置補正処理において、後述する処理により無限遠位置の誤差を算出した後の、無限遠点位置の補正方法は２種類ある。無限遠点位置の補正方法の１つめは、算出した誤差を打ち消すように、無限遠点の座標値（ＩＶ，ＪＶ）を書き換える方法である。また、無限遠点位置の補正方法の１つめは、無限遠点の座標値（ＩＶ，ＪＶ）は固定値として、算出した誤差を打ち消すように、画像データ上の座標軸（ｉ−ｊ座標）の原点を移動させる方法である。

本実施形態では一例として、無限遠位置補正処理では、算出した誤差に応じて無限遠点の座標値（ＩＶ，ＪＶ）を書き換えるものとする。

図６に、無限遠位置補正処理部１ｅが実行する無限遠位置補正処理のフローチャートを示す。

無限遠位置補正処理ではまずステップＳ１０において、無限遠位置補正処理部１ｅは、ヘッドライト検出部１ｃによる、最新の画像データ上における対向車両１０の点灯中のヘッドライトの検出が成功しているか否かを判定する。ステップＳ１０では、ヘッドライト検出部１ｃが対向車両１０の点灯中である左ヘッドライト１１および右ヘッドライト１２の双方を検出した場合に、ヘッドライトの検出が成功したと判定する。言い換えれば、ヘッドライト検出部１ｃが対向車両１０の左ヘッドライト１１および右ヘッドライト１２の少なくとも一方を検出していない場合には、ヘッドライトの検出が失敗したと判定する。

ステップＳ１０の判定において、ヘッドライト検出部１ｃによる最新の画像データ上における対向車両の点灯中のヘッドライトの検出が失敗している場合には、無限遠位置補正処理を終了する。

ステップＳ１０の判定において、ヘッドライト検出部１ｃによる画像データ上における対向車両の点灯中のヘッドライトの検出が成功している場合には、ステップＳ２０に移行する。

すなわち、ステレオカメラ２により撮像される動画像の画像データ中において、ヘッドライト検出部１ｃによる対向車両の点灯中のヘッドライトの検出が成功した時点で、ステップＳ２０以降の処理が開始される。

ステップＳ２０では、ヘッドライト検出部１ｃにより新たに検出された点灯中の左ヘッドライト１１および右ヘッドライト１２の組に識別子を付し、以後、ステレオカメラ２により撮像される動画像の画像データ中における、この点灯中の左ヘッドライト１１および右ヘッドライト１２の組の移動を追跡する処理を開始する。一例として、以下に説明する処理において追跡する点灯中の左ヘッドライト１１および右ヘッドライト１２の組のことを、ヘッドライト組ｘと称する。

そして、ステップＳ３０からステップＳ５０に示すように、無限遠位置補正処理部１ｅは、ステップＳ２０で追跡を開始したヘッドライト組ｘがステレオカメラ２により撮像される画像データの視野から消えるまで、ヘッドライト組ｘの左ヘッドライト１１および右ヘッドライト１２の位置および視差を検出し続け、この情報をメモリ１ａにヘッドライト検出情報として蓄積する。

ヘッドライト検出情報には、ヘッドライト検出処理部１ｃによって検出される、前述の第１画像データ中の左ヘッドライト１１の座標（ＩＬ１，ＪＬ１）および右ヘッドライト１２の座標（ＩＲ１，ＪＲ１）と、左ヘッドライト１１の視差ｄｐＬおよび右ヘッドライト１２の視差ｄｐＲと、の情報が少なくとも含まれる。

ヘッドライト組ｘの追跡中における、ヘッドライト検出情報の検出処理および記憶処理は、ステレオカメラ２により撮像される画像データの全てのフレームに対して行われてもよいし、所定のフレーム毎に行われてもよい。

ヘッドライト組ｘがステレオカメラ２の視野から消えた場合には、ステップＳ５０において、無限遠位置補正処理部１ｅは、ヘッドライト組ｘの追跡処理を終了する。

なお、ヘッドライト組ｘの追跡処理の実行中に、ステレオカメラ２の視野内に、ヘッドライト組ｘとは異なる対向車両１０の点灯中の左ヘッドライト１１および右ヘッドライト１２の組（ヘッドライト組ｙ）の検出が新たに成功した場合には、無限遠位置補正処理部１ｅは、このヘッドライト組ｙについてもヘッドライト組ｘと同様に追跡し、ヘッドライト組ｙについてのヘッドライト検出情報をメモリ１ａに蓄積する処理を並列的に実行する。すなわち、無限遠位置補正処理は、ヘッドライト検出部１ｃにより検出される対向車両１０の点灯中の左ヘッドライト１１および右ヘッドライト１２の組の全てに対して実行される。

以上に説明したように、無限遠位置補正処理のステップＳ１０からステップＳ５０では、ヘッドライト組ｘがステレオカメラ２の視野内に現れてから消えるまで、当該ヘッドライト組ｘの位置および視差を検出し続け、この情報をヘッドライト検出情報として取得する。

そして、ヘッドライト組ｘがステレオカメラ２の視野内に現れてから消えるまでの一連のヘッドライト検出情報を取得した後に、ステップＳ６０に移行する。ステップＳ６０では、無限遠位置補正処理部１ｅは、ヘッドライト組ｘについてのヘッドライト検出情報を取得した期間Ｐｘ中における、自車両に対する、ヘッドライト組ｘを有する対向車両１０の相対移動の軌跡の形状と位置関係を算出する。

そして、ステップＳ７０において、無限遠位置補正処理部１ｅは、ヘッドライト組ｘについてのヘッドライト検出情報を取得した期間Ｐｘ中において、自車両と対向車両１０の双方の走行軌跡が直線状であり、かつ両者の走行軌跡が平行であったか否かを、判定する。

具体的には、無限遠位置補正処理部１ｅは、期間Ｐｘ中における、センサ部５に含まれる舵角センサの出力情報に基づき、当該期間Ｐｘ中の自車両の走行軌跡が直線状であったか否かを判定する。例えば、期間Ｐｘ中における自車両の舵角が中立付近の所定範囲内に収まっている場合に、無限遠位置補正処理部１ｅは、期間Ｐｘ中における自車両の走行軌跡が直線状であったと判定する。

また、無限遠位置補正処理部１ｅは、ヘッドライト組ｘについてのヘッドライト検出情報に基づき、期間Ｐｘ中の自車両に対する対向車両１０の相対移動の軌跡が直線状であるか否かを判定する。図７は、ヘッドライト検出情報に含まれる、左ヘッドライト１１の座標（ＩＬ１，ＪＬ１）および右ヘッドライト１２の座標（ＩＲ１，ＪＲ１）をｉ−ｊ座標にプロットした図である。図２および図３に示すように、対向車両が自車両の右側を通行している場合、図７に示すように、左ヘッドライト１１および右ヘッドライト１２は、画像データ中の中央から右方向に向かって移動する。

もし期間Ｐｘ中に対向車両が直線状に走行していれば、画像データ中（ｉ−ｊ座標）において左ヘッドライト１１および右ヘッドライト１２は直線状に移動する。また、期間Ｐｘ中に対向車両が進行方向を変えた場合には、図７に示すように、画像データ中における左ヘッドライト１１および右ヘッドライト１２の移動軌跡が曲線状になる。

そこで、本実施形態の無限遠位置補正処理部１ｅは、画像データ中（ｉ−ｊ座標）における期間Ｐｘの左ヘッドライト１１および右ヘッドライト１２の軌道軌跡が、所定の曲率以上の曲線に当てはまる場合に、期間Ｐｘ中の対向車両の走行軌跡が直線状ではなかったと判定する。

また、無限遠位置補正処理部１ｅは、同一時刻において検出された左ヘッドライト１１のｊ座標ＪＬ１と右ヘッドライト１２のｊ座標ＪＲ１の値の差ΔＪと、同一時刻において検出された左ヘッドライト１１の視差ｄｐＬと右ヘッドライト１２の視差ｄｐＲとの値の差Δｄｐを、算出する。すなわち、ΔＪ＝ＪＬ１−ＪＲ１、Δｄｐ＝ｄｐＬ−ｄｐＲである。

もし期間Ｐｘ中に自車両および対向車両が直線状に走行しており、両者の走行軌跡が平行であれば、期間Ｐｘ中の全てのΔＪおよびΔｄｐの値は０近傍となる。そこで、本実施形態の無限遠位置補正処理部１ｅは、期間Ｐｘ中に検出された全てのヘッドライト検出情報から算出されるΔＪおよびΔｄｐの値が、全て０近傍の所定の範囲内である場合に、期間Ｐｘ中の自車両と対向車両の走行軌跡が平行であったと判定する。

以上に説明したような処理により、ヘッドライト組ｘについてのヘッドライト検出情報を取得した期間Ｐｘ中において、自車両と対向車両１０のいずれかの走行軌跡が曲線状であった、または自車両と対向車両１０の走行軌跡が直線状であっても平行ではなかった、と判定した場合（ステップＳ７０のＮＯ）には、ステップＳ１３０に移行し、メモリ１ａに記憶されているヘッドライト組ｘについてのヘッドライト検出情報を消去する。

一方、ステップＳ７０において、ヘッドライト組ｘについてのヘッドライト検出情報を取得した期間Ｐｘ中において、自車両と対向車両１０の双方の走行軌跡が直線状であり、かつ両者の走行軌跡が平行であったと判定した場合には、ステップＳ８０に移行する。期間Ｐｘ中において、自車両と対向車両１０の双方の走行軌跡が直線状であり、かつ両者の走行軌跡が平行である場合には、図８に示すように、画像データ中の左ヘッドライト１１および右ヘッドライト１２の移動軌跡は直線状となる。

ステップＳ８０およびステップＳ９０では、図８に示すように、無限遠位置補正処理部１ｅは、ヘッドライト組ｘについてのヘッドライト検出情報に基づき、期間Ｐｘ中における画像データ中の左ヘッドライト１１および右ヘッドライト１２の移動軌跡を、最小二乗法により直線近似した近似直線Ｌ１および近似直線Ｌ２を算出する。そして、ステップＳ１００において、近似直線Ｌ１および近似直線Ｌ２の交点の座標（ＩＶｃ，ＪＶｃ）を算出する。

近似直線Ｌ１および近似直線Ｌ２は、直線走行中の自車両に対して、平行な反対方向に走行する対向車両１０の、ステレオカメラ２の視野内における左ヘッドライト１１および右ヘッドライト１２の移動軌跡である。よって、この近似直線Ｌ１および近似直線Ｌ２の交点の座標（ＩＶｃ，ＪＶｃ）は、期間Ｐｘ中におけるステレオカメラ２の正面の無限遠点の座標（消失点）である。

次に、ステップＳ１１０において、無限遠位置補正処理部１ｅは、ステップＳ１００で算出した近似直線Ｌ１および近似直線Ｌ２の交点の座標（ＩＶｃ，ＪＶｃ）からの、現在使用している無限遠点の座標（ＩＶ，ＪＶ）の乖離値（Ｉｅ，Ｊｅ）を算出する。すなわち、Ｉｅ＝ＩＶｃ−ＩＶ，Ｊｅ＝ＪＶｃ−ＪＶである。

そして、ステップＳ１２０において、無限遠位置補正処理部１ｅは、乖離値（Ｉｅ，Ｊｅ）を用いて、次式により無限遠点の座標（ＩＶ，ＪＶ）を補正する。次式では、現在の無限遠点の座標を（ＩＶ，ＪＶ）とし、補正後の無限遠点の座標を（ＩＶ’，ＪＶ’）として示している。

ＩＶ’＝ＩＶ＋Ｉｅ
ＪＶ’＝ＪＶ＋Ｊｅ
無限遠位置補正処理部１ｅは、補正後の無限遠点の座標（ＩＶ’，ＪＶ’）の値を、新たな無限遠点の座標（ＩＶ，ＪＶ）としてメモリ１ａに記憶する。なお、前述したように、無限遠点の座標（ＩＶ，ＪＶ）は固定値として、乖離値（Ｉｅ，Ｊｅ）を打ち消すように、画像データ上の座標軸（ｉ−ｊ座標）の原点位置を移動させることでも、無限遠位置の補正を行うことができる。

なお、本実施形態では、ステップＳ１１０において算出した乖離値（Ｉｅ，Ｊｅ）の絶対値が所定の値以上である場合には、乖離値（Ｉｅ，Ｊｅ）の絶対値を前記所定の値とする。言い換えれば、本実施形態では、１度の無限遠位置補正処理によって無限遠点の座標（ＩＶ，ＪＶ）を変更することのできる幅を、所定の値以下に制限している。これは、乖離値（Ｉｅ，Ｊｅ）の算出過程において大きな誤差が含まれた場合に、無限遠点の座標（ＩＶ，ＪＶ）が真の値から急激に大きく逸脱してしまうことを防止するためである。

ステップＳ１２０の後に、ステップＳ１３０において、無限遠位置補正処理部１ｅは、メモリ１ａに記憶されているヘッドライト組ｘについてのヘッドライト検出情報を消去し、無限遠位置補正処理を終了する。

以上に説明したように、本実施形態の画像処理装置１は、自車両の進行方向をステレオカメラ２を用いて撮像して得られた一対の画像データに基づき被写体の３次元位置情報を認識する画像処理装置であって、前記一対の画像データ上における、前記自車両に対向する対向車両１０の点灯中の左右一対ヘッドライト１１、１２の位置を検出するヘッドライト検出処理部１ｃと、所定の期間Ｐｘ中における前記一対の画像データ上での前記左右一対のヘッドライト１１、１２の移動軌跡を近似した一対の近似曲線Ｌ１、Ｌ２の交点の座標（ＩＶｃ，ＪＶｃ）を算出し、前記交点の座標（ＩＶｃ，ＪＶｃ）に基づき、前記被写体の３次元的な位置を算出の基準となる無限遠位置（ＩＶ，ＪＶ）の補正を行う無限遠位置補正処理部１ｅと、を備える。

このような本実施形態の画像処理装置１は、自車両の走行中に無限遠点位置の補正を行うことができるため、自車両のピッチング方向の姿勢変化やステレオカメラ２の取付状態の経時的な変化に伴い生じる無限遠点位置の変化を補正することができる。

例えば、画像データ中の白線等の路面標示から消失点を求め、当該消失点から無限遠点位置の補正を行う従来技術では、積雪等によって路面上の標示が見えない場合に無限遠点位置の補正を行うことができない。本実施形態では、対向車両の点灯中のヘッドライトを用いて無限遠点位置の補正を行うため、路面上に表示が存在しない場合や、標示が見えない場合であっても無限遠点位置の補正を行うことができる。

なお、本実施形態のステップＳ１００で算出する近似直線Ｌ１および近似直線Ｌ２の交点の座標（ＩＶｃ，ＪＶｃ）は消失点であることから、被写体の３次元位置情報を算出するための前記［式３］における視差オフセット値ＤＰの補正にも用いることができる。

本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像処理装置もまた本発明の技術的範囲に含まれるものである。

１ 画像処理装置、
１ａ メモリ、
１ｂ ３次元位置情報生成処理部、
１ｃ ヘッドライト検出処理部、
１ｅ 無限遠位置補正処理部、
２ ステレオカメラ、
２ａ 第１カメラ、
２ｂ 第２カメラ、
３ 車両制御システム、
５ センサ部、
１０ 対向車両、
１１ 左ヘッドライト
１２ 右ヘッドライト、
ＣＤ 基線長、
ＤＰ 視差オフセット値、
ＤＰ’ 補正後の視差オフセット値、
ｄｐ 視差、
ＰＷ １画素当たりの視野角。

Claims (2)

1. 自車両の進行方向をステレオカメラを用いて撮像して得られた一対の画像データに基づき被写体の３次元位置情報を認識する画像処理装置であって、
   前記一対の画像データ上における、前記自車両に対向する対向車両の点灯中の左右一対ヘッドライトの位置を検出するヘッドライト検出処理部と、
   所定の期間中における前記一対の画像データ上での前記左右一対のヘッドライトの移動軌跡を近似した一対の近似曲線の交点の座標を算出し、前記交点の座標に基づき、前記被写体の３次元的な位置を算出の基準となる無限遠位置の補正を行う無限遠位置補正処理部と、
   を備えることを特徴とする画像処理装置。
2. 前記無限遠位置補正処理部は、前記左右一対のヘッドライトの移動軌跡の取得中において、自車両と対向車両の双方の走行軌跡が直線状であり、かつ両者の走行軌跡が平行である場合に、前記無限遠位置の補正を行うことを特徴とする請求項１に記載の画像処理装置。

Images