JP2015191548A - 車外監視装置 - Google Patents

Abstract

【課題】撮像光軸のズレを様々な走行環境下においてリアルタイムに検出することができる車外監視装置を提供する。【解決手段】ステレオ画像認識装置４は、ステレオカメラ３によって撮像された画像に基づいて自車走行路を区画する白線を１次以上の近似式で近似し、自車１が設定時間Ｔ０走行したときの白線に対する自車１の横位置の変化量Ｘｃを近似式の定数Ｃに基づいて算出し、自車１が設定時間Ｔ０走行したときの白線に対する自車１の横位置の変化量Ｘｂを近似式の１次係数Ｂに基づいて算出し、これら第１，第２の横方向移動量Ｘｃ，Ｘｂの差である横方向移動誤差Ｅｒｒが設定閾値Ｅｔｈ１以上であるとき、ステレオカメラ３の水平方向への光軸ズレが発生していると判定する。【選択図】図１０

Description

本発明は、車載カメラで撮像した画像に基づいて車外環境を認識する車外監視装置に関する。

近年、車両の安全性向上を図るため、積極的にドライバの運転操作を支援する運転支援システムが開発されている。この種の運転支援システムとしては、例えば、車載カメラによって車外環境を撮像し、撮像した画像から、路面に敷設された白線や路面上の先行車等の立体物を認識し、これらの認識情報に基づいて、車速制御や操舵支援制御等の各種運転支援制御を行うものが知られている。

ところで、このような運転支援システムに採用される車外監視装置では、カメラ精度や画像処理精度等を極めて高精度とすることが要求され、これらの要求に伴い、カメラの光軸が車体に対して高精度に調整されていることが特に重要となる。例えば、自車前方の車外監視において、白線等の認識を精度良く安定的に行うためには、車体の前後軸に対し、カメラの光軸が水平方向に高精度に調整されていることが重要となる。

これに対し、例えば、特許文献１には、検査工場等において、路面に表示した模擬的なレーンマーキング（具体的には走行路区分線と同様な平行な２直線）の検出処理を行い、検出された模擬レーンマーキング位置を初期設定のカメラパラメータを用いて実平面上の座標に変換し、模擬レーンマーキングの実平面上での中心線と車両ローカル座標系の縦軸との偏角を検出することで、カメラパラメータ補正値を算出する技術が開示されている。

特許第３６００３７８号公報

しかしながら、上述の特許文献１に開示された技術は、路面に左右の白線（レーンマーキング）存在し、且つ、これらの白線が互いに平行であることが保証されている等、所定の条件が既知である検査工場等でなければカメラの撮像光軸のズレ（傾き）を検出することが困難である。

本発明は上記事情に鑑みてなされたもので、撮像光軸のズレを様々な走行環境下においてリアルタイムに検出することができる車外監視装置を提供することを目的とする。

本発明の一態様による車外監視装置は、自車前方の車外環境を撮像する撮像手段と、前記撮像手段によって撮像された画像に基づいて自車走行路を区画する白線を１次以上の近似式で近似する白線近似手段と、自車が設定時間走行したときの前記白線に対する自車の横位置の変化量を前記近似式の定数に基づいて第１の横方向移動量として算出する第１の横方向移動量算出手段と、自車が前記設定時間走行したときの前記白線に対する自車の横位置の変化量を前記近似式の１次係数に基づいて第２の横方向移動量として算出する第２の横方向移動量算出手段と、前記第１の横方向移動量と前記第２の横方向移動量との差が予め設定された閾値以上であるとき前記撮像手段の水平方向への光軸ズレが発生していることを判定する光軸ズレ判定手段と、を備えたものである。

本発明の車外監視装置によれば、撮像光軸のズレを様々な走行環境下においてリアルタイムに検出することができる。

本発明の第１の実施形態に係わり、車両用運転支援システムの概略構成図 同上、撮像画像から切り出される有効領域を示す説明図 同上、車外環境の撮像画像の一例を模式的に示す説明図 同上、図３の画像から検出される白線候補点を示す説明図 同上、検索ライン上における輝度の変化の一例を示す説明図 同上、実空間に投影される白線候補点を示す説明図 同上、（ａ）は走行による自車の移動量を示す説明図であって（ｂ）は前フレームで検出した白線候補点の自車に対する相対的な移動量を示す説明図 同上、白線候補点を用いて演算された白線近似線及び次フレームで用いる白線検出領域を示す説明図 同上、システム停止判定ルーチンを示すフローチャート 同上、水平方向への光軸ズレ判定サブルーチンを示すフローチャート 本発明の第２の実施形態に係わり、垂直方向への光軸ズレ判定サブルーチンを示すフローチャート 同上、自車両から白線候補点までの距離の計算方法を示す説明図 同上、自車両を基準とする白線候補点の高さ計算方法を示す説明図 同上、自車両を基準とした路面の傾斜状態を示す説明図

以下、図面を参照して本発明の形態を説明する。図面は本発明の第１の実施形態に係わり、図１は車両用運転支援システムの概略構成図、図２は撮像画像から切り出される有効領域を示す説明図、図３は車外環境の撮像画像の一例を模式的に示す説明図、図４は図３の画像から検出される白線候補点を示す説明図、図５は検索ライン上における輝度の変化の一例を示す説明図、図６は実空間に投影される白線候補点を示す説明図、図７（ａ）は走行による自車の移動量を示す説明図であって（ｂ）は前フレームで検出した白線候補点の自車に対する相対的な移動量を示す説明図、図８は白線候補点を用いて演算された白線近似線及び次フレームで用いる白線検出領域を示す説明図、図９はシステム停止判定ルーチンを示すフローチャート、図１０は水平方向への光軸ズレ判定サブルーチンを示すフローチャートである。

図１において、符号１は自動車等の車両（自車両）であり、この車両１には運転支援システム２が搭載されている。この運転支援システム２は、例えば、撮像手段としてのステレオカメラ３、ステレオ画像認識装置４、制御ユニット５等を有して構成されている。なお、これらの構成のうち、本実施形態においては、主としてステレオカメラ３及びステレオ画像認識装置４により、自車前方の車外環境を認識する車外監視装置が構成されている。

また、自車両１には、自車速Ｖを検出する車速センサ１１、ヨーレートγを検出するヨーレートセンサ１２、運転支援制御の各機能のＯＮ−ＯＦＦ切換等を行うメインスイッチ１３、ステアリングホイールに連結するステアリング軸に対設されて舵角θｓｔを検出する舵角センサ１４、ドライバによるアクセルペダル踏込量（アクセル開度）θａｃｃを検出するアクセル開度センサ１５等が設けられている。

ステレオカメラ３は、ステレオ光学系として、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組のＣＣＤカメラで構成されている。これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に一定の間隔を持って取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置４に出力する。なお、以下の説明において、ステレオ撮像された画像のうち一方の画像（例えば、右側の画像）を基準画像と称し、他方の画像（例えば、左側の画像）を比較画像と称す。

ここで、本実施形態において、ステレオ画像認識装置４は、例えば、図２に示すように、ステレオカメラ３から入力された各画像データ（撮像画像）のうち、所定サイズの領域を有効領域Ａｇとして切り出し、切り出された基準画像及び比較画像に対し、例えば、以下に示す各種画像処理等を行う。なお、有効領域Ａｇは、例えば、初期設定の状態において、撮像画像の略中央に設定されている。

すなわち、ステレオ画像認識装置４は、先ず、基準画像を例えば４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。さらに、ステレオ画像認識装置４は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジ点として抽出するとともに、抽出した画素（エッジ点）に距離情報を付与することで、距離画像（距離情報を備えたエッジ点の分布画像）を生成する。そして、ステレオ画像認識装置４は、生成した距離画像に対して既知のグルーピング処理を行い、予め記憶しておいた３次元的な枠（ウインドウ）と比較することで、自車前方の白線、側壁、立体物等を認識する。

ここで、本実施形態において認識対象となる白線とは、例えば、単一の車線区画線や車線区画線の内側に視線誘導線等が併設された多重線（二重線等）のように、道路上に延在して自車走行レーンを区画する線を総称するものであり、各線の形態としては、実線、破線等を問わず、さらに、黄色線等をも含む。また、本実施形態の白線認識においては、道路上に実在する白線が二重白線等であっても、左右それぞれ単一の近似式（１次以上の直線或いは曲線近似式）によって近似して認識するものとする。

ところで、実際の道路上に敷設された白線には上述のように各種バリエーションが存在する他、白線の形態は走行路の分岐や合流等に伴って変化する。加えて、道路上には路面補修跡や、水溜まり、雪等の各種ノイズが存在する。従って、画一的な処理によって、全ての場面で精度よく白線を認識することは困難となる。そこで、ステレオ画像認識装置４は、上述のような距離画像に基づくパターンマッチングを用いた白線認識のみに頼ることなく、各種方式を用いた白線認識を補完的に行い、これらの認識結果を総合的に判断して最終的な白線を認識する。

このような白線認識の一つとして、ステレオ画像認識装置４は、自車前方を撮像した一方の画像（例えば、図３に示す基準画像）上の水平方向の輝度変化に基づいて左右の白線認識を行う。

具体的に説明すると、例えば、図４に示すように、ステレオ画像認識装置４は、画像上に左右の白線検出領域Ａｄ（Ａｄｌ，Ａｄｒ）を設定し、各白線検出領域Ａｄ内で水平方向に延在する複数の検索ラインｌに対し、検索ラインｌ毎に車幅方向内側から外側に向けて輝度変化を調べる。そして、ステレオ画像認識装置４は、例えば、図５に示すように、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定閾値以上となる点（エッジ点）を検出する。そして、ステレオ画像認識装置４は、各白線検出領域Ａｄ内の各検索ラインｌ上において、輝度が暗から明に所定以上変化する最初のエッジ点を白線候補点Ｐとしてそれぞれ注出し、実空間上に投影する（図６参照）。

また、ステレオ画像認識装置４は、例えば、図７（ａ）に示す関係から、自車１の車速Ｖと、ヨーレートγから求まるヨー角θとに基づき、撮像画像の１フレームあたり（撮像画像が１フレーム更新されるまでの間ｔ）の自車１の移動量Δｘ，Δｚを、以下の（１）式及び（２）式を用いて演算する。
Δｘ＝Ｖ×ｓｉｎθ …（１）
Δｚ＝Ｖ×ｃｏｓθ …（２）
そして、ステレオ画像認識装置４は、以下の（３）式及び（４）式に示すように、前フレーム以前に検出した白線候補点Ｐold（Ｘold，Ｙold）に対し、自車移動量Δｘ，Δｚを減算した後、現在のフレームにおける車両固定座標系（Ｘ，Ｚ）への座標変換を行うことにより、自車１の後方所定距離以内に存在する白線候補点Ｐpreの座標を演算する（図７（ｂ）参照）。
Ｘpre＝（Ｘold・Δｘ）×ｃｏｓθ−（Ｚold・Δｚ）×ｓｉｎθ …（３）
Ｚpre＝（Ｚold・Δｘ）×ｓｉｎθ＋（Ｚold・Δｚ）×ｃｏｓθ …（４）
そして、ステレオ画像認識装置４は、現フレームにおいて検出した白線候補点Ｐと、前フレーム以前の白線候補点Ｐoldを座標変換して求めた白線候補点Ｐpreと、からなる点列に基づき、左右の白線近似線Ｌｌ，Ｌｒを、最小二乗法を用いて、以下の（５）式及び（６）式に示す近似式で定義する（図８参照）。

ここで、（５）、（６）式において、２次係数Ａ（Ａｌ，Ａｒ）は白線の曲率成分を示すパラメータであり、１次係数Ｂ（Ｂｌ，Ｂｒ）は車線ヨー角成分（自車１に対する白線の傾き成分）を示すパラメータであり、Ｃ（Ｃｌ，Ｃｒ）は車線位置（自車１に対する白線の横位置）を示すパラメータである。

さらに、ステレオ画像認識装置４は、左右の白線近似線Ｌｌ，Ｌｒを車幅方向内側及び外側にそれぞれΔＥオフセットさせることにより、次フレームでの白線検出領域Ａｄｌ，Ａｄｒを設定する（図８参照）。

ステレオ画像認識装置４は、このように白線近似式の算出を設定時間毎に繰り返し行うことで、自車１が設定時間Ｔ０（例えば、Ｔ０＝数十秒〜数分）走行したときの白線に対する自車１の横位置の変化量（第１の横方向移動量Ｘｃ）を白線近似式の定数Ｃに基づいて算出するとともに、自車が設定時間Ｔ０走行したときの白線に対する自車の横位置の変化量（第２の横方向移動量Ｘｂ）を白線近似式の１次係数Ｂに基づいて算出する。そして、ステレオ画像認識装置４は、第１の横方向移動量Ｘｃと第２の横方向移動量Ｘｂとを比較し、これらの差である横方向移動量誤差Ｅｒｒが予め設定された閾値Ｅｔｈ１以上であるとき、ステレオカメラ３の水平方向への光軸ズレが発生していることを判定する。

ここで、本実施形態のステレオカメラ３は左右のカメラが図示しないステー等を介して一体的に保持された構成をなしており、左右のカメラ間の光軸は工場等において厳密に調整されるものである。このため、原則的には、左右のカメラの光軸間にはズレが発生しない。従って、本実施形態において想定する光軸ズレとは、例えば、乗員等がステレオカメラ３に強い衝撃を加えた場合や車体の経年変化等に起因して、自車１に対してステレオカメラ３全体の光軸にズレが生じた場合をいう。すなわち、本実施形態におけるステレオカメラ３の光軸ズレとは、例えば、自車１の前後軸に対して左右のカメラの光軸がともに同様の角度で水平方向に傾くことをいう。

なお、本実施形態におけるステレオカメラ３の光軸ズレ検出において、第１，第２の横方向移動量Ｘｃ，Ｘｂには、例えば、左右の白線それぞれについて算出される横方向移動量の平均値が用いられる。但し、白線が左側或いは右側の何れか一方のみしか検出されていない場合には、検出された白線について算出される横方向移動量がそのまま第１，第２の横方向移動量Ｘｃ，Ｘｂとして用いられる。

また、ステレオ画像認識装置４は、ステレオカメラ３に水平方向の光軸ズレが発生したと判定した場合、ステレオカメラ３で撮像した左右の撮像画像から切り出す有効領域Ａｇの位置を、第１，第２の横方向移動量Ｘｃ，Ｘｂの差Ｅｒｒに応じた補正量Δｉにて補正する（図２中の破線参照）。すなわち、ステレオ画像認識装置４は、ステレオカメラ３の光軸ズレを切り出し位置の調整によって補正する。

また、ステレオ画像認識装置４は、ステレオカメラ３に水平方向の光軸ズレが発生したと判定した場合、ステレオ画像から認識した車外環境（走行環境情報）に基づく車両制御を停止する旨の判定を行い、制御ユニット５に対し、各種運転支援制御の停止を指示する。さらに、ステレオ画像認識装置４は、ステレオカメラ３の光軸ズレが切り出し位置の調整によって補正可能な範囲を超えていると判定したとき、ディーラ等において光軸調整を行う旨の警報を出力する。

このように、本実施形態において、ステレオ画像認識装置４は、白線近似手段、第１の横移動量算出手段、第２の横移動量算出手段、光軸ズレ判定手段、有効領域補正手段、及び、制御停止判定手段としての各機能を実現する。

制御ユニット５には、ステレオ画像認識装置４で認識された自車両１前方の走行環境情報が入力される。さらに、制御ユニット５には、自車両１の走行情報として、車速センサ１１からの車速Ｖ、ヨーレートセンサ１２からのヨーレートγ等が入力されると共に、ドライバによる操作入力情報として、メインスイッチ１３からの操作信号、舵角センサ１４からの舵角θｓｔ、アクセル開度センサ１５からのアクセル開度θａｃｃ等が入力される。

そして、例えば、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つであるＡＣＣ（Adaptive Cruise Control）機能の実行が指示されると、制御ユニット５は、ステレオ画像認識装置４で認識した先行車方向を読み込み、自車走行路上に追従対象の先行車が走行しているか否かを識別する。

その結果、追従対象の先行車が検出されていない場合は、スロットル弁１６の開閉制御（エンジンの出力制御）を通じて、ドライバが設定したセット車速に自車両１の車速Ｖを維持させる定速走行制御を実行する。

一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。この追従走行制御時において、制御ユニット５は、基本的にはスロットル弁１６の開閉制御（エンジンの出力制御）を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁１６の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット５は、アクティブブースタ１７からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離を目標車間距離に収束させる。

また、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の白線（ステレオ画像認識装置４で認識した白線の近似線）に基づいて警報判定用ラインを設定するとともに、自車両１の車速Ｖとヨーレートγとに基づいて自車進行経路を推定する。そして、制御ユニット５は、例えば、自車前方の設定距離（例えば、１０〜１６［ｍ］）内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、自車両１が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。

次に、ステレオカメラ３の光軸状態に基づくシステム停止判定について、図９のシステム停止判定ルーチンに従って説明する。このルーチンは、ステレオ画像認識装置４において、設定時間毎に繰り返し実行されるものであり、ルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ１０１において、運転支援システム２がリセット状態から復帰した直後であるか否かを調べる。ここで、運転支援システム２がリセットされ得る場面としては、例えば、ディーラ等においてステレオカメラ３の交換或いは修理等が行われる場合等が想定される。

そして、ステップＳ１０１において、運転支援システム２がリセット状態から復帰した直後であると判定した場合、ステレオ画像認識装置４は、ステップＳ１０２に進み、ステレオカメラ３に水平方向の光軸ズレが発生していることを示す異常判定フラグＦを「１」にセットした後、ステップＳ１０３に進む。すなわち、運転支援システム２がリセット状態から復帰した場合、ステレオ画像認識装置４は、ステレオカメラ３の光軸ズレが発生していないことが検証されるまでの間、異常判定フラグＦを「１」にセットする。

一方、ステップＳ１０１において、運転支援システム２はリセット状態から復帰した直後ではないと判定した場合、ステレオ画像認識装置４は、そのままステップＳ１０３に進む。

ステップＳ１０１或いはステップＳ１０２からステップＳ１０３に進むと、ステレオ画像認識装置４は、ステレオカメラ３の光軸ズレ判定を行う。

この光軸ズレ判定は、例えば、図１０に示す水平方向への光軸ズレ判定サブルーチンのフローチャートに従って実行されるものであり、サブルーチンがスタートすると、ステレオ画像認識装置４は、ステップＳ２０１において、上述の（５）、（６）式で示した白線近似式の１次係数Ｂ及び定数Ｃを取得する。すなわち、ステレオ画像認識装置４は、自車走行レーンを規定する白線情報として、自車１に対する白線の傾き情報、及び、自車１に対する白線の横位置情報を取得する。

続くステップＳ２０２において、ステレオ画像認識装置４は、自車１が走行を開始してから設定時間Ｔ０以上経過しているか否か（すなわち、自車１が必要なサンプリング時間Ｔ０走行しているか否か）を調べる。

そして、ステップＳ２０２において、自車１の走行開始から設定時間Ｔ０以上が経過していないと判定した場合、ステレオ画像認識装置４は、そのまま、サブルーチンを抜ける。

一方、ステップＳ２０２において、自車１の走行開始から設定時間Ｔ０以上が経過していると判定した場合、ステレオ画像認識装置４は、ステップＳ２０３に進み、取得した定数Ｃに基づいて、過去設定時間Ｔ０の自車１の走行に伴う白線に対する横方向移動量（第１の横方向移動量Ｘｃ）を算出する。すなわち、現時点における白線に対する自車位置がＣ２であり、白線に対する設定時間Ｔ０前における白線に対する自車位置がＣ１である場合、ステレオ画像認識装置４は、第１の横方向移動量Ｘｃを、以下の（７）式により算出する。
Ｘｃ＝Ｃ２−Ｃ１ …（７）
そして、ステップＳ２０３からステップＳ２０４に進むと、ステレオ画像認識装置４は、取得した１次係数Ｂに基づいて、過去設定時間Ｔ０の自車１の走行に伴う白線に対する横方向移動量（第２の横方向移動量Ｘｂ）を算出する。すなわち、現時点における時刻がｔ２であり、設定時間Ｔ０前における時刻がｔ１である場合、ステレオ画像認識装置４は、第２の横方向移動量Ｘｂを、以下の（８）式により算出する。

そして、ステップＳ２０５に進むと、ステレオ画像認識装置４は、以下の（９）式により、第１の横方向移動量Ｘｃと第２の横方向移動量Ｘｂとの差を、横方向移動量誤差Ｅｒｒとして算出する。
Ｅｒｒ＝Ｘｃ−Ｘｂ …（９）
ここで、横方向移動量誤差Ｅｒｒは、基本的には、ステレオカメラ３の光軸方向が正しく調整されている場合には略零となる値である。

すなわち、上述の（５）、（６）式に示した白線近似式において、定数Ｃは、自車１の側方における白線との相対位置を示すものであるため、ステレオカメラ３の水平方向の光軸ズレによってはさほど影響を受けない値となる。従って、定数Ｃをパラメータとして用いて算出される第１の横方向移動量Ｘｃは、仮にステレオカメラ３に水平方向の光軸ズレが発生したとしても、自車１の実際の横方向移動量に対して略誤差なく算出することが可能となる。一方、１次係数Ｂは、自車１に対する白線の傾きを示す係数であるため、ステレオカメラ３の水平方向の光軸ズレに大きな影響を受ける値である。従って、１次係数Ｂをパラメータとして用いて算出される第２の横方向移動量Ｘｂは、ステレオカメラ３に水平方向の光軸ズレが発生している場合、自車１の実際に横方向移動量に対して誤差を有する値が算出される。これらの理由から、上述の（９）式において算出される横方向移動量誤差Ｅｒｒは、ステレオカメラ３に水平方向の光軸ズレが発生していない場合には略零となり、光軸ズレが発生している場合には、その絶対値が所定以上の大きさの値となる。

ステップＳ２０５からステップＳ２０６に進むと、ステレオ画像認識装置４は、異常判定フラグＦが「１」にセットされているか否かを調べる。

そして、ステップＳ２０６において、異常判定フラグＦが「１」にセットされておらず「０」にクリアされていると判定した場合、ステレオが画像認識装置４は、ステップＳ２０７に進み、横方向移動誤差の絶対値｜Ｅｒｒ｜が予め設定された閾値Ｅｔｈ１以上の状態にあり、且つ、当該状態が予め設定された時間Ｔ１以上維持されているか否かを調べる。

そして、ステップＳ２０７において、横方向移動誤差の絶対値｜Ｅｒｒ｜が閾値Ｅｔｈ１未満であると判定した場合、或いは、横方向移動誤差の絶対値｜Ｅｒｒ｜が閾値以上であっても設定時間Ｔ１以上維持されていないと判定した場合、ステレオ画像認識装置４は、そのまま、サブルーチンを抜ける。

一方、ステップＳ２０７において、横方向移動誤差の絶対値｜Ｅｒｒ｜が閾値Ｅｔｈ１以上の状態が設定時間Ｔ１以上維持されていると判定した場合、ステレオ画像認識装置４は、ステップＳ２０８に進み、異常判定フラグＦを「１」にセットした後、サブルーチンを抜ける。

また、ステップＳ２０６において、異常判定フラグＦが「１」にセットされていると判定した場合、ステレオ画像認識装置４は、ステップＳ２０９に進み、横方向移動誤差の絶対値｜Ｅｒｒ｜が予め設定された閾値Ｅｔｈ２未満の状態にあり、且つ、当該状態が予め設定された時間Ｔ２以上維持されているか否かを調べる。なお、閾値Ｅｔｈ２及び設定時間Ｔ２は、例えば、上述の閾値Ｅｒｒ１及びＴ１とそれぞれ同様の値であっても良い。

そして、ステップＳ２０９において、横方向移動誤差の絶対値｜Ｅｒｒ｜が閾値Ｅｔｈ２以上であると判定した場合、或いは、横方向移動誤差Ｅｒｒが閾値Ｅｔｈ２未満であっても設定時間Ｔ２以上維持されていないと判定した場合、ステレオ画像認識装置４は、そのまま、サブルーチンを抜ける。

一方、ステップＳ２０９において、横方向移動誤差の絶対値｜Ｅｒｒ｜が閾値Ｅｔｈ２未満の状態が設定時間Ｔ２以上維持されていると判定した場合、ステレオ画像認識装置４は、ステップＳ２１０に進み、異常判定フラグＦを「０」にクリアした後、サブルーチンを抜ける。

図９に示すメインルーチンにおいて、ステップＳ１０３からステップＳ１０４に進むと、ステレオ画像認識装置４は、異常判定フラグＦが「１」にセットされているか否かを調べる。

そして、ステップＳ１０４において、異常判定フラグＦが「０」にクリアされていると判定した場合、ステレオ画像認識装置４は、ステップＳ１０５に進み、制御ユニット５等に対してシステム実行許可を行った後、ルーチンを抜ける。これにより、制御ユニット５等は、ステレオ画像によって認識した車外環境（走行環境情報）に基づく車両制御の実行が許可され、メインスイッチ１３等を通じたドライバ等による設定状況等に応じて、車速制御や操舵支援制御等の各種車両制御を適宜実施することが可能となる。

一方、ステップＳ１０４において、異常判定フラグＦが「１」にセットされていると判定した場合、ステレオ画像認識装置４は、ステップＳ１０６に進み、異常判定フラグＦが「１」にセットされている要因が運転支援システム２のリセットによるものであるか否かを調べる。

そして、ステップＳ１０６において、異常判定フラグＦが「１」にセットされている要因が運転支援システム２のリセットであると判定した場合、ステレオ画像認識装置４は、ステップＳ１１１に進む。

一方、ステップＳ１０６において、異常判定フラグＦが「１」にセットされている要因が運転支援システム２のリセットでないと判定した場合、ステレオ画像認識装置４は、ステップＳ１０７に進み、ステレオカメラ３によって撮像された左右の撮像画像から切り出される有効領域Ａｇが補正可能な状態にあるか否かを調べる。ここで、有効領域Ａｇを補正可能な状態とは、例えば、撮像画像上において有効領域Ａｇが水平方向の右端或いは左端に到達しておらず、補正によって有効領域Ａｇを撮像画像上の水平方向に移動させる余地がある状態をいう。

そして、ステップＳ１０７において、撮像画像に対して有効領域Ａｇを補正可能な状態にないと判定した場合、ステレオ画像認識装置４は、ステップＳ１１０に進み、ステレオカメラ３に光軸ズレが発生している旨をドライバに報知するための警報を出力した後、ステップＳ１１１に進む。

一方、ステップＳ１０７において、撮像画像に対して有効領域Ａｇを補正可能な状態にあると判定した場合、ステレオ画像認識装置４は、ステップＳ１０８に進み、有効領域Ａｇの補正が行われてから設定時間Ｔ０以上が経過しているか否かを調べる。

そして、ステップＳ１０８において、有効領域Ａｇの補正が過去に行われており、当該有効領域Ａｇの補正が行われてから未だ設定時間Ｔ０以上が経過していないと判定した場合、ステレオ画像認識装置４は、ステップＳ１１１に進む。すなわち、有効領域Ａｇの補正が過去に行われている場合、設定時間Ｔ０が経過するまでの間は、当該補正によって光軸ズレが解消されたか否かの判断が上述のステップＳ１０３において困難であるため、新たに有効領域Ａｇの補正を行うことなく、ステップＳ１１１に進む。

一方、ステップＳ１０８において、有効領域Ａｇの補正が過去に行われていないと判定した場合、或いは、有効領域Ａｇの補正が過去に行われている場合であって且つ当該補正から設定時間Ｔ０以上が経過していると判定した場合、ステレオ画像認識装置４は、ステップＳ１０９に進み、例えば、撮像画像上の有効領域Ａｇの切り出し位置を横方向移動誤差Ｅｒｒに応じた補正量Δｉにて水平方向に補正した後、ステップＳ１１１に進む。すなわち、ステレオ画像認識装置４には、例えば、横方向移動誤差Ｅｒｒに応じた補正量Δｉを示すマップ等が予め設定されており、ステレオ画像認識装置４は、このマップ等を参照して求めた補正量Δｉにて有効領域Ａｇの補正を行う。

そして、ステップＳ１０６、ステップＳ１０８、ステップＳ１０９、或いは、ステップＳ１１０からステップＳ１１１に進むと、ステレオ画像認識装置４は、制御ユニット５等に対してシステムを停止する旨の指示を行った後、ルーチンを抜ける。これにより、制御ユニット５等においては、ステレオ画像から認識した車外情報に基づく各種車両制御が停止される。

このような実施形態によれば、ステレオカメラ３によって撮像された画像に基づいて自車走行路を区画する白線を１次以上の近似式で近似し、自車１が設定時間Ｔ０走行したときの白線に対する自車１の横位置の変化量（第１の横方向移動量Ｘｃ）を近似式の定数Ｃに基づいて算出するとともに、自車１が設定時間Ｔ０走行したときの白線に対する自車１の横位置の変化量（第２の横方向移動量Ｘｂ）を近似式の１次係数Ｂに基づいて算出し、これら第１の横方向移動量Ｘｃと第２の横方向移動量Ｘｂとの差である横方向移動誤差の絶対値｜Ｅｒｒ｜が設定閾値Ｅｔｈ１以上であるとき、自車１に対するステレオカメラ３の水平方向への光軸ズレが発生していることを判定することにより、撮像光軸のズレを様々な走行環境下においてリアルタイムに検出することができる。

すなわち、撮像画像に基づいて認識される白線近似式の特性上、自車１の即応における白線との相対位置を示す定数Ｃはステレオカメラ３の光軸ズレによってはさほど影響を受けないという性質を有する一方、自車１に対する白線の傾きを示す１次係数Ｂはステレオカメラ３の光軸ズレに大きな影響を受けるという性質に着目し、これらに基づいてそれぞれ算出した第１，第２の横方向移動量Ｘｃ，Ｘｂの差（横方向移動誤差）の絶対値｜Ｅｒｒ｜が設定閾値Ｅｔｈ１以上である場合にはステレオカメラ３の光軸ズレが発生していることを判定することにより、自車走行路を区画する左右の白線のうち少なくとも何れか一方が検出されている環境下において光軸ズレをリアルタイムに検出することができる。

この場合において、光軸ズレが発生していることを判定した場合には、横方向移動誤差Ｅｒｒに応じた補正量Δｉにて撮像画像上の有効領域Ａｇを補正することにより、軽微な光軸ズレであれば整備工場等において機械的な光軸調整を行うことなく、自車１において直ちに光軸補正を行うことができる。

次に、図１１乃至図１４は本発明の第２の実施形態に係わり、図１１は垂直方向への光軸ズレ判定サブルーチンを示すフローチャート、図１２は自車両から白線候補点までの距離の計算方法を示す説明図、図１３は自車両を基準とする白線候補点の高さ計算方法を示す説明図、図１４は自車両を基準とした路面の傾斜状態を示す説明図である。なお、本実施形態は、上述の第１の実施形態に対し、ステレオカメラ３の垂直方向への光軸ズレ判定を追加したものである。

すなわち、本実施形態においては、第１の実施形態で示したステップＳ１０３の処理において、水平方向のみならず垂直方向への光軸ズレについても判定される。また、詳細な説明については省略するが、ステップＳ１０３において垂直方向への光軸ズレが判定されると、本実施形態のステレオ画像認識装置４は、図９に示すステップＳ１０４以下の処理について、水平方向への光軸ズレに対する判定結果に対する処理と略同様の処理を行う。但し、ステレオ画像認識装置４は、ステップＳ１０４以下の処理において、水平方向或いは垂直方向の少なくとも何れか一方への光軸ズレ等に基づいて異常警報の出力やシステム停止等を行い、また、垂直方向に光軸ズレが発生している旨の判定がなされ手いる場合、ステレオ画像認識装置４は、ステップＳ１０９において、有効領域Ａｇを垂直方向に補正する。

垂直方向への光軸ズレ判定は、例えば、図１１に示す光軸ズレ判定サブルーチンのフローチャートに従って実行されるものであり、このサブルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ３０１において、路面の傾斜を表す近似式を算出する。すなわち、ステレオ画像認識装置４は、例えば、ステレオカメラを構成する左右のカメラ３１Ｌ，３１Ｒの光軸が自車１の水平方向に対して誤差なく調整されているとの過程のもと、路面の傾斜を算出する。

具体的に説明すると、ステレオ画像認識装置４は、先ず、白線候補点Ｐｎについて、左右のカメラ３１Ｌ，３１Ｒの視差に基づき、光軸方向の距離（白線までの距離ｚ）を求める。すなわち、例えば、図１２に示すように、自車までの距離をｚ［ｍｍ］、カメラ間距離をＬ［ｍｍ］、各カメラ３１Ｌ，３１Ｒのレンズ光学系３１Ｌａ，３１Ｒａから撮像素子３１Ｌｂ，３１Ｒｂまでの焦点間距離をｆ［ｍｍ］、右カメラ３１Ｒを基準とする左右カメラ３１Ｌ，３１Ｒ間の視差（ピクセル数）をｄ［ｐｉｘ］、画素ピッチ（横）をＷｉ［ｍｍ／ｐｉｘ］とすると、比例関係から、例えば、以下の（１０）式が導かれる。

Ｌ：ｚ＝ｄ・Ｗｉ：ｆ …（１０）
さらに、この（１０）式を変形すると、以下の（１１）式を得ることができる。
ｚ＝（Ｌ・ｆ）／（ｄ・Ｗｉ） …（１１）
また、例えば、図１３に示すように、各カメラ３１Ｌ，３１Ｒの地表からの高さをＣＡＨＭ［ｍｍ］、光軸ｊｖを基準とする白線候補点Ｐｎの結像位置の座標をｊ［ｐｉｘ］、画素ピッチをＷｊ［ｍｍ／ｐｉｘ］とすると、白線候補点Ｐｎの高さｙについて、例えば、以下の（１２）式が導かれる。

（ＣＡＨＭ−ｙ）／ｚ＝（Ｗｉ・（ｊ−ｊｖ））／ｆ …（１２）
さらに、この（１２）式を変形すると、以下の（１３）式を得ることができる。
ｙ＝（（Ｗｉ・（ｊ−ｊｖ））／ｆ）・ｚ＋ＣＡＨＭ …（１３）
従って、上記した（１１）式及び（１３）式から、白線候補点ＰｎのＺ座標及びＹ座標を算出することができる。

ステレオ画像認識装置４は、このような計算を距離画像上における各白線候補点に対して行い、これらの分布を、例えば、図１４に示すように、各点の座標をＺ−Ｙ平面上で，以下の（１４）式によって直線近似する。
Ｙ＝ａ・Ｚ＋ｂ …（１４）
これにより、ステレオ画像認識装置４では、カメラ３１Ｌ，３１Ｒの光軸を基準とした道路の傾きａ及び高さｂの変動（換言すれば、自車走行路が平坦路であると仮定した場合の自車両（カメラ）の傾き及び高さの変動）を検出することができる。

ステップＳ３０１からステップＳ３０２に進むと、ステレオ画像認識装置４は、自車１の走行開始から設定時間Ｔ０以上が経過しているか否かを調べる。

そして、ステップＳ３０２において、自車１の走行開始から設定時間Ｔ０以上が経過していないと判定した場合、ステレオ画像認識装置４は、そのまま、サブルーチンを抜ける。

一方、ステップＳ３０２において、自車１の走行開始から設定時間Ｔ０以上が経過していると判定した場合、ステレオ画像認識装置４は、ステップＳ３０３に進み、算出した（１４）式中において路面の傾きを示す１次係数ａの過去設定時間Ｔ０の履歴に基づき、路面の傾きの平均値ａ_aveを算出する。

そして、ステップＳ３０３からステップＳ３０４に進むと、ステレオ画像認識装置４は、ステレオカメラ３の垂直方向への光軸ズレが発生していることを示す異常判定フラグＦ２が「１」にセットされているか否かを調べる。

そして、ステップＳ３０４において、異常判定フラグＦ２が「１」にセットされておらず「０」にクリアされていると判定した場合、ステレオ画像認識装置４は、ステップＳ３０５に進み、路面の傾きの平均値の絶対値｜ａ_ave｜が予め設定された閾値ａｔｈ１以上であるか否かを調べる。

そして、ステップＳ３０５において、傾きの平均値の絶対値｜ａ_ave｜が閾値ａｔｈ１未満であると判定した場合、ステレオ画像認識装置４は、そのまま、サブルーチンを抜ける。

一方、ステップＳ３０５において、傾きの平均値の絶対値｜ａ_ave｜が閾値ａｔｈ１以上であると判定した場合、ステレオ画像認識装置４は、ステップＳ３０６に進み、異常判定フラグＦ２を「１」にセットした後、サブルーチンを抜ける。

また、ステップＳ３０４において、異常判定フラグＦ２が「１」にセットされていると判定した場合、ステレオ画像認識装置４は、ステップＳ３０７に進み、傾きの平均値の絶対値｜ａ_ave｜が予め設定された閾値ａｔｈ２未満であるか否かを調べる。なお、閾値ａｔｈ２は、上述の閾値ａｔｈ１と同様の値であっても良い。

そして、ステップＳ３０７において、傾きの平均値の絶対値｜ａ_ave｜が閾値ａｔｈ２以上であると判定した場合、ステレオ画像認識装置４は、そのまま、サブルーチンを抜ける。

一方、ステップＳ３０７において、傾きの平均値の絶対値｜ａ_ave｜が閾値ａｔｈ２未満であると判定した場合、ステレオ画像認識装置４は、ステップＳ３０８に進み、異常判定フラグＦ２を「０」にクリアした後、サブルーチンを抜ける。

このような実施形態によれば、上述の第１の実施形態と同様の効果を奏することができる。

なお、本発明は、以上説明した各実施形態に限定されることなく、種々の変形や変更が可能であり、それらも本発明の技術的範囲内である。例えば、上述の各実施形態においては、ステレオカメラの光軸ズレについて説明したが、特に水平方向の光軸ズレに関しては、車外を監視するための撮像手段が単眼カメラであっても、当該単眼カメラで撮像した画像に基づいて自車走行路を区画する白線を１次以上の近似式で近似することができる場合には、本発明を適用可能であることは勿論である。

１ … 自車両（自車）
２ … 運転支援システム
３ … ステレオカメラ（撮像手段）
４ … ステレオ画像認識装置（白線近似手段、第１の横方向移動量算出手段、第２の横方向移動量算出手段、光軸ズレ判定手段、有効領域補正手段、制御停止判定手段）
５ … 制御ユニット
１１ … 車速センサ
１２ … ヨーレートセンサ
１３ … メインスイッチ
１４ … 舵角センサ
１５ … アクセル開度センサ
１６ … スロットル弁
１７ … アクティブブースタ
３１Ｌ，３１Ｒ … 左右のカメラ
３１Ｌａ，３１Ｒａ … レンズ光学系
３１Ｌｂ，３１Ｒｂ … 撮像素子

Claims (3)

1. 自車前方の車外環境を撮像する撮像手段と、
   前記撮像手段によって撮像された画像に基づいて自車走行路を区画する白線を１次以上の近似式で近似する白線近似手段と、
   自車が設定時間走行したときの前記白線に対する自車の横位置の変化量を前記近似式の定数に基づいて第１の横方向移動量として算出する第１の横方向移動量算出手段と、
   自車が前記設定時間走行したときの前記白線に対する自車の横位置の変化量を前記近似式の１次係数に基づいて第２の横方向移動量として算出する第２の横方向移動量算出手段と、
   前記第１の横方向移動量と前記第２の横方向移動量との差が予め設定された閾値以上であるとき前記撮像手段の水平方向への光軸ズレが発生していることを判定する光軸ズレ判定手段と、を備えたことを特徴とする車外監視装置。
2. 前記光軸ズレ判定手段によって前記光軸ズレが発生していることを判定したとき、前記撮像手段によって撮像した画像から切り出す有効領域を前記第１の横方向移動量と前記第２の横方向移動量との差に応じて補正する有効領域補正手段を備えたことを特徴とする請求項１に記載の車外監視装置。
3. 前記光軸ズレ判定手段によって前記光軸ズレが発生していることを判定したとき、撮像した画像情報に基づいて行う車両制御の停止を判定する制御停止判定手段を備えたことを特徴とする請求項１又は請求項２に記載の車外監視装置。

Images