JP2010176592A - 車両用運転支援装置 - Google Patents

Abstract

【課題】路面の位置する高低差のある立体構造物に関連したエッジ線の検出精度を比較的簡単な構成で向上させる。
【解決手段】基準画像から互いに平行なエッジ線以外のエッジ線を検出対象から除外する第１のエッジ線除外手段(S3)と、基準画像と参照画像とを対比する前段階の処理を行うための手段であって、基準画像において互いに平行なエッジ線で挟まれた内側領域の輝度が所定の輝度よりも高い輝度である互いに平行なエッジ線を検出対象から除外する第２のエッジ線除外手段(S4)とを有し、第１、第２のエッジ線除外手段(S3,S4)により基準画像からエッジ線を除外した後に基準画像に残る互いに平行なエッジ線に基づいて参照画像と対比して路面の立体構造物(52)に関連したエッジ線を抽出する(S10)。
【選択図】図7

Description

本発明は車両用運転支援装置に関する。

車両走行の安全性を向上するために種々の車両用運転支援装置が提案されている。例えば特許文献１には、路面の白線を検出する白線検出装置が開示されている。具体的には、特許文献１は、自動車の後部に配設したカメラから画像を取り込んで輝度情報に基づいてエッジ処理することにより路肩や白線の輪郭線を抽出し、抽出した輪郭線を仮想平面である路面座標系に逆投影し、そして、各輪郭線の間隔を計測して、白線の設計上の基準幅に関連のある輪郭線だけを残して、これを白線幅のデータとして記憶する。白線と路面とが同一面上にあることから、カメラで取得した白線の画像内の位置が異なっていても、路面座標系の輪郭線で囲まれた長尺状の領域の幅が記憶されているデータと同じであれば白線であると判定するものである。

この提案は、白線を検出する精度を高めることを企図しており、同じ長尺状の輪郭線が現れる路肩つまり路側は路面と同一平面上に無く、このため路面座標系の輪郭線の幅が異なったものになることを利用したものである。また、この特許文献1は、二台のカメラ（ステレオカメラ）で取得した画像に関して路面座標系の輪郭で囲まれた長尺状領域の幅方向が白線と路肩では必ず相違したものになることから、これを利用して白線を検出することを提案している。

特許文献２は、路面段差のような立体物の形状把握を可能とするために、上下に配置した２台のカメラ(ステレオカメラ)を使って車両の周囲の路面を撮像して路面の側溝や縁石等の画像を取得して横方向のエッジ線を抽出し、そして、２台のカメラで撮像した画像内の対応点を探索してその類似度を算出した後に、抽出したエッジ線の上側領域で探索した対応点の類似度と、エッジ線の下側領域で探索した対応点の類似度との関係に基づいてエッジ線の周囲の形状を推定することを提案している。

特開２００３−６７７５６号公報 特開２００７−２３２３８９号公報

ステレオカメラを使った画像処理は、一方のカメラから取得した画像を基準画像とし、他方のカメラから取得した画像を参照画像として使用するものであり、基準画像と参照画像との間の位置合わせに誤差が生じると、路面の側部に存在するアスファルトとコンクリートとの境界や路面を補修した跡などの外乱要素によって路面テクスチャの誤検出が生じ易いという問題がある。

本発明の目的は、路面の位置する高低差のある立体構造物に関連したエッジ線の検出精度を比較的簡単な構成で向上させることのできる車両用運転支援装置を提供することにある。

本発明の更なる目的は、路側のエッジ線の検出精度を比較的簡単な構成で向上させることのできる車両用運転支援装置を提供することにある。

上記の技術的課題は、本発明によれば、
異なる位置から対となる基準画像と参照画像を撮像する撮像手段と、
前記基準画像と前記参照画像とを対比して抽出したエッジ線から路面の立体構造体を判別する立体構造判別手段とを有する車両用運転支援装置において、
前記基準画像と前記参照画像とを対比する前段階の処理を行うための手段であって、前記基準画像から互いに平行なエッジ線以外のエッジ線を検出対象から除外する第１のエッジ線除外手段と、
前記基準画像と前記参照画像とを対比する前段階の処理を行うための手段であって、前記基準画像において互いに平行なエッジ線で挟まれた内側領域の輝度が所定の輝度よりも高い輝度である互いに平行なエッジ線を検出対象から除外する第２のエッジ線除外手段とを有し、
前記第１、第２のエッジ線除外手段により前記基準画像からエッジ線を除外した後に該基準画像に残る互いに平行なエッジ線に基づいて前記参照画像と対比して前記路面の立体構造物に関連したエッジ線を抽出することを特徴とする車両用運転支援装置を提供することにより達成される。

すなわち、本発明によれば、基準画像と参照画像とを対比して路側などの路面の立体構造体を抽出する前処理を加え、基準画像に対して第１、第２のエッジ線除外手段により、路面補修跡や白線と推定できるエッジ線を検出対象から除外する処理を行うという比較的簡単な構成でありながら、基準画像と参照画像との対比による路面の立体構造物の検出精度を向上させることができる。

本発明の好ましい実施の形態によれば、
前記第１、第２のエッジ線除外手段により前記基準画像からエッジ線を除外した後に該基準画像に残る互いに平行なエッジ線の付近の輝度が段階的に変化していることを確認する輝度変化判定手段を更に有する。立体構造体は、これを構成する複数の面によって輝度が変化することから、輝度の段階的な変化を確認することで立体構造体の検出精度を更に高めることができる。

本発明の好ましい実施の形態によれば、
前記輝度変化判定手段による確認処理に先立って、前記基準画像に残る互いに平行なエッジ線を横断する方向において該平行なエッジ線の外側の領域の輝度を補正する輝度補正手段を更に有し、この輝度補正を行うことで上述した輝度変化判定手段による判定精度を高めることができる。また、前記輝度補正手段は、予め用意した輝度変換用マップのトーンカーブを使って前記輝度の補正を実行するのが好ましく、これにより上記の輝度補正による階調補正を簡単な構成で行うことができる。また、前記輝度変換用マップが光源の種類及び光源の位置に応じて光源が太陽であるときの太陽の位置に応じた複数の輝度変換用マップと、光源がヘッドライトであるときのヘッドライトの位置に応じた複数の輝度変換用マップとを用意するのがよい。これにより、上述した階調補正を最適化することができる。

また、本発明の好ましい実施の形態によれば、
前記基準画像と前記参照画像との対比において前記平行なエッジ線を含む周辺領域を抽出して、該周辺領域に限定してステレオ法に基づいて特徴点の三次元座標を算出する座標算出手段と、
該座標算出手段により求めた特徴点の高さに関するｚ軸方向の値に基づいて前記互いに平行なエッジ線に相対的な高さの差に基づいて段差の有無を判定する段差判定手段とを更に有し、これにより段差の判定を的確に実行することができる。

実施例が適用された車両の平面図である。 実施例の運転支援装置の全体系統をブロック図で示す図である。 路面に存在する路側、補修跡、白線などを説明するための図である。 路側の部分ではエッジ線の近傍に画像に輝度差が発生することを説明するための図である。 アスファルトとコンクリートとの境界では画像に輝度差が発生しないことを説明するための図である。 路面補修跡では、画像中に互いに平行なエッジ線が存在しないと共に輝度差が変化しないことを説明するための図である。 路側に関連した対象となるエッジ線を検出して、路側に接近し過ぎているときに警報表示及び／又は回避操舵を行う制御の手法を説明するためのフローチャートである。 基準カメラで撮像した基準画像に見られる各種のエッジ線を示す図である。 基準カメラで撮像した基準画像に見られる補修跡に関するエッジ線を検出対象から除外した後の基準画像を説明するための図である。 図９の基準画像から白線に関するエッジ線を検出対象から除外した後の基準画像を説明するための図である。 立面に関する輝度補正に使用する各種のトーンカーブがマップ化されてメモリに記憶されていることを説明するための図である。 平面に関する輝度補正に使用する各種のトーンカーブがマップ化されてメモリに記憶されていることを説明するための図である。 光源が太陽であるときに太陽の位置を検出する一つの方法を説明するための図である。 光源がヘッドライトであるときに、ヘッドライトの位置を検出する一つの方法を説明するための図である。 路側では、これに関連したエッジ線を横断する方向に段階的な輝度の変化があることを説明するための図である。 路側に関連したエッジ線では、三次元座標において相対的な高さの差が存在することを説明するための図である。

以下に、添付の図面に基づいて本発明の好ましい実施例を説明する。

図１において、車両としての自動車ＶＣは、左右の前輪１Ｆと、左右の後輪１Ｒとを有し、この車両ＶＣの車室には、フロントウィンドウガラスを通じて前方空間を撮像する第１、第２の左右の撮像手段としての第１、第２のＣＣＤカメラ２、４を有し、この第１、第２のカメラ２、４は、水平方向に離間して（例えばルームミラーを挟んでその左右に）配置されている。なお、第１、第２撮像手段は、ステレオカメラと通称されるものであればＣＣＤカメラに限定されるものではなく、例えばＣＭＯＳカメラ等の画像センサであればよい。

車両ＶＣにはナビゲーションシステム８が配設され、このナビゲーションシステム８は、周知のように、ドライバに地図情報を視覚的に提供する。また、フロントウィンドウガラスには、運転席１２の前方の部分にウィンドウシールドディスプレイシステム１０が生成した運転支援情報がプロジェクタによって表示され、この運転支援情報には、障害物と衝突の危険性を表示する警報表示が含まれる。また、車両ＶＣにはＧＰＳ受信システム１４及びジャイロセンサ１６が搭載されている。

図２は、運転支援装置の一部を構成するマイクロコンピュータを利用して構成されたコントローラＵ（制御ユニット）を含む制御系統の全体をブロック図で示す。コントローラＵには、右カメラ２、左カメラ４から撮像データが入力される。ここに、右カメラ２は基準カメラを構成し、左カメラ４が参照カメラを構成しているが、右カメラ２を参照カメラとして使用し、左カメラ４を基準カメラとして使用してもよい。前方に向けて配設された左右のカメラ２、４は、その光軸が共に平行となるように配設されている。

コントローラＵには、ＧＰＳ受信システム１４が受け取った位置信号及びジャイロセンサ１６からの車両進行方向信号が入力され、また、ナビゲーションシステム８からの地図データ及びヘッドライトスイッチ１８のヘッドライト点灯が入力されて、これらの信号を受けて光源種類及び位置推定部２０で光源の種類及び位置（例えば太陽の位置）の推定が行われる。

コントローラＵは、各カメラ２、４から取り込んだ画像信号を記憶する第１、第２のメモリ３０、３２つまり、右カメラ（基準カメラ）２から取り込んだ基準画像信号を記憶する基準メモリ３０と、左カメラ（参照カメラ）４から取り込んだ参照画像信号を記憶する参照メモリ３２とを有している。

コントローラＵは、また、太陽に関する位置及び輝度補正関数マップ（後に説明する）を記憶した第３メモリ３４と、ヘッドライトに関する位置及び輝度補正関数マップ（後に説明する）を記憶した第４メモリ３６とを有している。

第１メモリ３０に記憶された基準画像に関し、平行エッジ検出部３８において、この基準画像から長さを有し且つ互いに平行に延びるエッジ線が検出される。このエッジ検出では、平行なエッジ線の無いエッジ線が対象から除外され、また、互いに平行なエッジ線で挟まれた内側領域の輝度が所定値以上であるときには白線などであり、側溝や路側などの段差ではないとして当該平行なエッジ線が対象から除外される。

側溝や路側など段差を示す可能性のあるエッジ線を残してそれ以外の白線、路面補修跡、アスファルトとコンクリートの境界などのエッジ線を対象から除外した後、輝度補正・段差候補領域抽出部４０で、太陽光又はヘッドライトに関する輝度補正関数マップを使って輝度補正を行った後に、対象として残っている互いに平行なエッジ線の付近の領域の抽出が行われる。そして、段差確認部４２において基準画像と参照画像とを使って従来から周知のステレオ法に基づいて、上記抽出した領域に限定した探索により段差の抽出が行われ、次いで距離確認部４４で、段差までの距離が所定距離よりも小さいときには、警報又はキープレーンのための自動操舵の操舵量が算定され、警報及び／又は算出した自動操舵の操作量がウィンドウシールドディスプレイシステム１０及び／又は自動操舵用アクチュエータ４６に供給される。これにより、ウィンドウシールドディスプレイシステム１０によってフロントウィンドウガラスに警報が表示され又は自動操舵によって走行路から逸脱しないように操舵される。

すなわち、実施例では、基準画像だけを対象にして路側の段差と推定されるエッジ線だけを残し、それ以外のエッジ線つまり長さを有するエッジ線を検出対象から除外する方法が採用される。図３は、路面５０を示す。路面５０の両側には、車道と歩道とを区画する路側５２が見られ、また、路面５０には、走行路を規定する白線５６の他に、アスファルトとコンクリートとの境界５８、任意の部位に補修跡５４が見られる。図４は路側５２に関連した段差を説明するための図である。図４を参照して、路側段差を形成する図中の対象エッジ線の特徴は、路側５２の段差の立面５２ａと路側の頂面（平面）５２ｂでは光の反射角度が異なることに伴って輝度変化が発生し、これにより立面５２ａと頂面（平面）５２ｂを横断する非常に短い横断方向距離において、濃淡値の変化が発生する。更に、対象エッジ線と、上記の立面５２ａと頂面（平面）５２ｂの濃淡値の違いによって形成されるエッジ線が、非常に短い横断方向距離において、同じ長さで平行に延びるという特徴がある。

図５は、アスファルトとコンクリートとの境界５８の部位を説明するための図である。この境界５８に関連したエッジ線は、その付近（横断方向の所定距離内）に平行なエッジ線が存在しないという特徴がある。また、境界線５８を横断する方向の近辺つまり横断方向の所定距離内において大きく濃淡値が変化しないという特徴がある。図６は、路面補修跡５４の部位を説明するための図である。この補修跡５４に関連したエッジ線は、その車線を横断する方向の近辺に、関連した平行なエッジ線が存在しないと共に濃淡値が変化しないという特徴がある。

基準画像の特徴点に対応する対応点を参照画像で探索する処理を行う前段階に、基準画像の前処理として、路面の側部に存在する路側５２や側溝の特徴であるところの、(1)平行なエッジ線が存在する；(2)エッジ線を横断する方向におけるエッジ線近傍において濃淡差がある；という２つの判定を実行して、これに該当しないエッジ線を検出対象から除外する処理を行うことで、路側５２や側溝などの路面に存在する立体構造物の段差つまり路面と路側５２などとの境界の検出精度を向上し、路面テクスチャの誤検出を防止することができる。

路側５２の段差つまり路側５２と路面との境界に関するエッジ線（対象エッジ線）の検出に関する具体的な制御を図７のフローチャートに基づいて説明する。先ずステップＳ１で各センサからの入力処置を行った後、基準画像に関してエッジ線の検出が行われる（Ｓ２）。そして、この検出したエッジ線に関して互いに平行ではないエッジ線を対象から外す（Ｓ３）。このステップＳ３の工程が第１のエッジ線除外手段を構成し、これにより、基準カメラ２が撮像した基準画像が図８に図示の画像であるとすると、この基準画像から路面修復跡が検出対象から除外されることになる。この検出対象から路面修復跡とみなされるエッジ線を除外した後の基準画像を図９に示す。次のステップＳ４では、互いに平行なエッジ線で挟まれた内側領域の輝度が所定値以上のものは白線５６であるとして、検出対象から除外される。このステップＳ４の工程が第２のエッジ線除外手段を構成し、この白線５６と推定できるエッジ線を除外した後の基準画像を図１０に示してある。すなわち、この図１０の基準画像は、路側に関連した平行なエッジ線と推定できるエッジ線だけを検出対象として残した基準画像である。

次いでステップＳ５において光源の種類や位置の推定を行う。光源の種類は、例えばヘッドライトスイッチ１８がＯＮ状態であれば光源がヘッドライトであるとみなすことができ、ヘッドライトスイッチ１８がＯＦＦ状態であれば光源が自然光（典型的には太陽）であるとみなす。

次のステップＳ６では、対象とする平行なエッジ線に関してその左右領域つまり平行なエッジ線を横断する方向においてエッジ線の外側の領域に関して輝度補正を行う。この輝度変換補正は、図１１、図１２に示す輝度変換用マップ（トーンカーブ）を使って輝度補正が行われる。図１１は立面用のマップであり、図１２は平面用のマップであり、これらは太陽やヘッドライトの位置や自車両の進行方向の違いによって夫々幾つかのマップが予め第３、第４メモリ３４、３６（図２）に記憶されている。トーンカーブを使った輝度補正に関しては従来から周知であるので、その詳細な説明を省略するが、取得した画像の輝度データを入力として、トーンカーブにより変換することで、太陽やヘッドライトと自車両の進行方向とによって変化する反射光を標準状態の輝度に変換した出力を得るものである。なお、太陽の位置に関しては、図１３に示すように、自車両ＶＣ又は自車両ＶＣの周囲に存在する他車両や構造物の影６２の端までの長さから鉛直線に対する太陽の傾斜角度θ１を知ることで太陽の位置を検出することができる。また、自車両ＶＣのヘッドライトの位置に関しては、図１４に示すように、対象エッジ線に到達するヘッドライト照射光と進行方向との挟み角度θ２、θ３と、対象エッジ線までの距離Ｌ２、Ｌ３によってヘッドランプの位置を算出することができる。

次のステップＳ７では、互いに平行なエッジ線に関してこれを横断する方向においてエッジ線の近傍において輝度が２段階に変化しているか否かの判定が行われる。このステップＳ７の工程が輝度変化判定手段を構成するものである。ところで、路側５２では図１５に図示のように立面（段差）５２ａと平面（頂面）５２ｂを有しており、この立面５２ａと平面５２ｂとでは輝度に差異があることから、路面座標系に位置する対象エッジ線を横断する方向に輝度の段階的な変化の有無を確認することで平行なエッジ線が路側５２に関連したエッジ線であるか否かの推定精度を向上することができる。

ステップＳ７においてＹＥＳであれば、平行なエッジ線は路側５２であると推定して、この平行なエッジ線を含む周辺領域を抽出して、この周辺領域を記憶した後に、この抽出した周辺領域に限定して基準画像の特徴点に対応する対応点を参照画像（左カメラ４の撮像画像）の探索を行い、そしてステレオ法に基づいて図１６に図示のように、三次元座標（ｘ１、ｙ１、ｚ１）（ｘ１、ｙ１、ｚ２）及び／又は（ｘ２、ｙ２、ｚ１）（ｘ２、ｙ２、ｚ２）の算出が行われる（Ｓ８）。このステップＳ８が座標算出手段を構成し、これにより求めた三次元座標に基づいて平行なエッジ線に相対的な高さの差（ｚ１―ｚ２）が存在するか否かの判定が行われる（Ｓ９）。このステップＳ９の工程が段差判定手段を構成する。

そして、このステップＳ９の判定の結果、ＹＥＳであれば、互いに平行なエッジ線は路側５２によるものであると推定して（Ｓ１０）、他の平行なエッジ線に関してもステップＳ６〜Ｓ１０の処理を行って全ての平行なエッジ線に関して路側５２であるか否かを確認した後に、ステップＳ１１２に進んで、自車両ＶＣと路側５２の段差５２ａつまり路側５２と路面との境界との距離を三角測量の原理に従って視差に基づいて計測し、この距離が所定距離まで接近しているか否かを判定してＹＥＳであれば、自車両ＶＣが路側５２に異常接近しているとしてステップＳ１３に進んでフロントウィンドウガラスに警報表示すると共に警報音を発する及び／又は自動操舵により路側５２から自車両ＶＣを遠ざける回避操作が実行される。

上述したように、先ず、路側又は側溝のような互いに平行なエッジ線が撮像画像に現れる路面の立体構造物を検出して、これを運転支援情報として利用する場合に、基準画像と参照画像とを対比する前の処理として基準画像に対して路側などに関連した平行なエッジ線と推定できるエッジ線だけを検出対象として残す処理を前処理として行い、そして、この前処理を行った後の基準画像と参照画像とを使って互いに平行なエッジ線を抽出して路側など立体構造物の確認を行うことから、路面の立体構造物の検出速度及び精度を向上できる。

また、互いに平行なエッジ線が路側などの立体構造物であるか否かをその周辺の輝度の変化で確認することから、路側などの立体構造物の抽出精度を向上することができる。

また、互いに平行なエッジ線の周辺の輝度の変化を判定する前段階において、光源の種類及び光源の位置による輝度変換補正を行うことで輝度の変化の検出精度を向上することができる。また、この輝度変換補正においてトーンカーブを利用することで階調を適正化する補正を簡単に行うことができる。

また、輝度の変化を確認できた互いに平行なエッジ線の周辺領域に限定して参照画像との対比によりステレオ法により三次元座標を算出することから演算処理速度を向上することができる。また、この三次元座標に基づいて平行なエッジ線の間に高さの有無が存在するか否かによって立体構造物を確認することから立体構造物の検出精度を向上することができる。

ＶＣ 車両
２ 右カメラ
４ 左カメラ
６ インストルメントパネル
８ ナビゲーションシステム
１０ ウィンドウシールドディスプレイシステム
１８ ヘッドライトスイッチ
２０ 光源種類及び位置推定部
３０ 右カメラ用メモリ（基準メモリ）
３２ 左カメラ用メモリ（参照メモリ）
３４ 第３メモリ（太陽に関する輝度補正関数マップ）
３６ 第４メモリ（ヘッドライトに関する輝度補正関数マップ）
３８ 平行エッジ検出部
４０ 輝度補正・段差候補領域抽出部
４２ 段差確認部
４４ 距離確認部
４６ 自動操舵アクチュエータ
５０ 路面
５２ 路側
５２ａ 路側段差（立面）
５２ｂ 路側の頂面(平面)
５４ 路面補修跡
５６ 車線を規定する白線
５８ アスファルトとコンクリートとの境界

Claims (6)

1. 異なる位置から対となる基準画像と参照画像を撮像する撮像手段と、
   前記基準画像と前記参照画像とを対比して抽出したエッジ線から路面の立体構造体を判別する立体構造判別手段とを有する車両用運転支援装置において、
   前記基準画像と前記参照画像とを対比する前段階の処理を行うための手段であって、前記基準画像から互いに平行なエッジ線以外のエッジ線を検出対象から除外する第１のエッジ線除外手段と、
   前記基準画像と前記参照画像とを対比する前段階の処理を行うための手段であって、前記基準画像において互いに平行なエッジ線で挟まれた内側領域の輝度が所定の輝度よりも高い輝度である互いに平行なエッジ線を検出対象から除外する第２のエッジ線除外手段とを有し、
   前記第１、第２のエッジ線除外手段により前記基準画像からエッジ線を除外した後に該基準画像に残る互いに平行なエッジ線に基づいて前記参照画像と対比して前記路面の立体構造物に関連したエッジ線を抽出することを特徴とする車両用運転支援装置。
2. 前記第１、第２のエッジ線除外手段により前記基準画像からエッジ線を除外した後に該基準画像に残る互いに平行なエッジ線の付近の輝度が段階的に変化していることを確認する輝度変化判定手段を更に有する、請求項１に記載の車両用運転支援装置。
3. 前記輝度変化判定手段による確認処理に先立って、前記基準画像に残る互いに平行なエッジ線を横断する方向において該平行なエッジ線の外側の領域の輝度を補正する輝度補正手段を更に有する、請求項２に記載の車両用運転支援装置。
4. 前記輝度補正手段は、輝度変換用マップのトーンカーブを使って前記輝度の補正を実行する、請求項３に記載の車両用運転支援装置。
5. 前記輝度変換用マップが光源の種類及び光源の位置に応じて光源が太陽であるときの太陽の位置に応じた複数の輝度変換用マップと、光源がヘッドライトであるときのヘッドライトの位置に応じた複数の輝度変換用マップが用意されている、請求項４に記載の車両用運転支援装置。
6. 前記基準画像と前記参照画像との対比において前記平行なエッジ線を含む周辺領域を抽出して、該周辺領域に限定してステレオ法に基づいて特徴点の三次元座標を算出する座標算出手段と、
   該座標算出手段により求めた特徴点の高さに関するｚ軸方向の値に基づいて前記互いに平行なエッジ線に相対的な高さの差に基づいて段差の有無を判定する段差判定手段とを更に有する、請求項５に記載の車両用運転支援装置。

Images