JP2007256090A

JP2007256090A - 車両用環境認識装置及び車両用環境認識方法

Info

Publication number: JP2007256090A
Application number: JP2006081137A
Authority: JP
Inventors: Hidekazu Nishiuchi; 秀和西内
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2006-03-23
Filing date: 2006-03-23
Publication date: 2007-10-04
Anticipated expiration: 2026-03-23
Also published as: JP5151050B2

Abstract

【課題】ピッチング等の車両挙動が発生した場合でもその影響を受けず安定した障害物検出を行う車両用環境認識装置を提供する。
【解決手段】スリット光発光装置５からスリット光を、自車体の下方から車体の前方に向かって一定の角速度でスキャンし、撮像画面１４におけるスリット光の移動変化の有無を、物体検出プログラムＰ９によって監視することで走路や物体の抽出を行う。また、スリット光とは別に前方に向かって照準光を照射し、撮像画面１４における照準光の位置変動に基づいて、車体の上下動に伴うスリット光の位置変動の補正を行う。
【選択図】図２

Description

本発明は、路面上の凹凸や物体の存在を認識する車両用環境認識装置及び車両用環境認識方法に関する。

従来から、車両において自車両近傍の障害物を検出する障害物検出技術が知られている。特許文献１に記載のものはステレオカメラを用いた障害物検出技術であり、ステレオカメラで撮影した２方向からの画像情報の差分に基づいて、自車両近傍の障害物や道路環境等、自車両の周囲環境を認識するものである。
特開２００５−４５３３８号公報

しかしながら、ステレオカメラの視軸を基準として距離情報が算出されるため、ピッチング等の車両の挙動によりカメラの視軸の方向が変化すると、観測対象が実空間において上下に移動したものとして計測されるため、自車両近傍の障害物や道路環境等の周囲環境を精度高く検出できなくなるという問題があった。

上記課題を解決するために、請求項１の車両用環境認識装置は、車幅方向に広がる照射光を、路面上において自車両の近傍から遠方に向けて照射する照射光照射手段と、前記照射光を撮像する撮像手段と、前記撮像手段が撮像した撮像画像中における前記路面上の凹凸若しくは前記路面上の物体等の路面変化部位により前記照射光の形状が変化したことを検出する照射光形状変化検出手段と、前記照射光形状変化検出手段により検出された前記照射光の形状変化に基づいて、前記自車両から前記路面変化部位までの距離を演算する距離演算手段と、自車両前方の所定の位置に照準光を照射する照準光照射手段と、前記撮像手段が前記照射光を撮像する際に合わせて撮像する前記照準光の位置変化に基づいて、自車両の車両挙動を検出する車両挙動監視手段と、該車両挙動監視手段により検出された車両挙動量によって、前記照射光の照射方向を補正する姿勢補正手段と、を有することを特徴とする。

本発明の車両用環境認識装置によれば、ピッチング等の車両の挙動によりカメラの視軸の方向が変化しても、自車両近傍の障害物や道路環境等の周囲環境を精度高く検出できる。

以下、本発明を実施するための最良の形態を図面を用いて説明する。

図１は実施の形態にかかる車両用環境認識装置のシステムブロック図を示している。この車両用環境認識装置１は、路面を撮像する撮像手段としてのＣＣＤカメラ２と、ＣＣＤカメラ２の路面撮像画像を記憶する画像メモリ３と、マイクロプロセッサ４と、照射光として水平方向に延びるスリット光を照射するスリット光発光装置５（照射光照射手段）と、ピッチングによるスリット光の照射範囲の変動を補正するスリット光発光装置の制御装置６と、自車両のピッチングを検出するための照準光を照射するピッチング照準光発光装置７（照準光照射手段）と、ピッチングによる照準光の照射方向の変動を補正するピッチング照準光発光装置の制御装置８と、撮像画面を表示するモニター１０と、物体等の検出を知らせる音声発生装置１１と、スピーカ１２を備えている。モニター１０はマイクロプロセッサ４から出力された周囲環境情報を含む路面画像を運転者に表示する。上記のスリット光は車幅方向に延びる１以上の線状部を有する照射光である。

マイクロプロセッサ４には、所定時間に所定枚数の画像（例えば１秒間に３０フレーム）を撮像したり、撮像を停止したりするようにＣＣＤカメラ２を制御する路面撮像プログラムＰ１と、画像メモリ３に記憶された撮像画像データを所定時間毎に所定フォーマットによりモニター１０に出力する画像処理プログラムＰ２と、ピッチング照準光発光装置７から照準光を照射するピッチング照準光制御プログラムＰ３と、当該照準光の変動量から自動車Ａｍの車体のピッチングの挙動量を演算するピッチング監視プログラムＰ４（車両挙動監視手段）と、ピッチング監視プログラムＰ４の検出した自車両のピッチングによる挙動量によってピッチング監視用の照準光の照射方向及び後述するスリット光の照射方向を補正するピッチング補正プログラムＰ５と、スリット光発光装置５から路面にスリット光を照射するスリット光制御プログラムＰ６と、撮像画面上のスリット光から移動速度を演算するスリット光速度演算プログラムＰ７と、スリット光速度演算プログラムＰ７により得られたスリット光の移動速度の変動の程度から走路領域を検出する走路検出プログラムＰ８（路面検出手段）と、画像メモリ３にロードされた路面の画像データとスリット光速度演算プログラムＰ７により得られたスリット光の移動速度の変化に基づいて路面上の物体等の存在を検出する物体検出プログラムＰ９（路面変化部位の検出手段）と、物体検出プログラムＰ９と走路検出プログラムＰ８の走路領域データとに基づいて自車両から物体までの距離を演算した後、モニターの画面１４に物体までの距離及び物体の高さを表示する物体距離演算プログラムＰ１０（路面の変化部位の距離演算手段）と、を有する。

ＣＣＤカメラ２は、車室内に設置されたルームミラー（図示省略）部に自車両前方を撮影するように取り付けられている。このＣＣＤカメラ２は、マイクロプロセッサ４の路面撮像プログラムＰ１の命令により例えば図３に示す自動車Ａｍの進行方向前方の路面１３を撮像する。ＣＣＤカメラ２が所定時間毎（一例として１秒間に３０フレーム）に撮像した路面画像は、画像メモリ３に一時的に記憶されたのちマイクロプロセッサ４に次々に出力される。マイクロプロセッサ４の画像処理プログラムＰ２は、図２に示すように、画像メモリ３から所定時間毎に次々に送られてくる路面画像フレームを撮像画面１４として処理し、モニター１０に出力する。

図４はスリット光発光装置５の平面的な構成の概略図を示し、図５はスリット光発光装置５の側面的な構成の概略図を示す。スリット光発光装置５の筐体１６の内部には、路面状態を観察する照射光を発するランプ１７と、ランプ１７の照射光を路面に平行なスリット光に変えるスリット板１８と、スリット光を車体の下側から車体の前方方向に走査するガルバノミラー１９と、ランプ１７を点灯させる図示しない電源回路部が配備される。

ランプ１７は、人の眼には見えないように例えば赤外光を発行する赤外線ランプで構成され、歩行者や他の車の乗員等への煩わしさを防止できるようになっている。ランプ１７は縞模様が形成されるように赤外線レーザー光等を照射するレーザー発光素子で構成されるものであっても良い。

スリット板１８には路面に対して平行な水平方向に延びる細長いスリット穴２０が開口されている。スリット板１８のスリット穴２０は１個形成されていても良いが、縦方向に２以上形成されていても良い。スリット板１８の照射方向前方には、ガルバノミラー１９が配置されている。

ガルバノミラー１９は、前進の場合、スリット板１８を通過した車幅方向に延びるスリット光を上下方向に走査する。ガルバノミラー１９は、筐体１６の側壁に設けられたモーター２２の回転軸によってスリット光を車体の下側から上方向にスキャンするように回転する。なお、ガルバノミラー１９の代わりにポリゴンミラーのような多角柱状のミラーを用いて走査速度を速くしても良い。筐体１６の前側の開口部２１には透明カバー２３が取り付けられている。

スリット光発光装置の制御装置６は、スリット光発光装置５の姿勢を補正する姿勢補正手段を構成する。スリット光発光装置の制御装置６は、図７に示すように、筐体１６の傾斜角度を決めるモーター３０を有する。照射光であるスリット光の照射範囲は、ガルバノミラー１９の制御範囲及び筐体１６の上下方向の傾きによって決められる。スリット光発光装置５は、架台３０に搭載されており、架台３０は、車体のフロントグリル１５内側のフレーム３１に取り付けられた取付軸３２に支持されている。取付軸３２は車幅方向に水平に延びるように設置されている。架台３０は、この取付軸３２に対して照射光であるスリット光の照射角度を調整できるように取り付けられていると共に、モーター３３の回転軸に取り付けられるリンク３４に連結されている。リンク３４は架台３０に固定されたレバー３５に連結されており、モーター３３が所定の角度回動すると、リンク３４の動きによってレバー３５が架台３０の向きを所定の角度に変えることが出来るようになっている。

マイクロプロセッサ４には、平坦な路面１３に対するスリット光の照射初期角度のデータと、スリット光をスキャンする際のスキャンの角速度のデータとが予め記憶され、スリット光制御プログラムＰ６はこのデータに基づいて、スリット光発光装置の制御装置６とスリット光発光装置５とを制御する。

ピッチング照準光発光装置７は、スリット光発光装置５と共にフロントグリル１５内側に配備される。ピッチング照準光発光装置７は、筐体７Ｂの内部にランプ７Ａが配備され、筐体７Ｂの前方部の開口部にレンズ７Ｃが設けられている。ピッチング照準光発光装置７は、架台８０の上に設置されており、架台８０は車体のフロントグリル１５内側のフレーム３１に取付軸８２によって回動可能に支持されている。架台８０には、ピッチング照準光発光装置の制御装置８が設けられている。このピッチング照準光発光装置の制御装置８は、モーター８３、リンク８４、レバー８５を備えており、モーター８３はフレーム３１に固定されている。リンク８４の一端はモーター８３の回転軸に固定されており、リンク８４の他端はレバー８５の一端に連結されている。レバー８５の他端は架台８０に固定されている。モーター８３の電源回路は自動車のバッテリーに接続され、ピッチング補正プログラムＰ５の命令により指示された角度にピッチング照準光発光装置７を向ける。

ピッチング照準光制御プログラムＰ３はピッチング照準光発光装置７からピッチング検出用の照準光Ｔ２を照射する。

ピッチング監視プログラムＰ４は、ピッチング照準光発光装置７から照射される照準光Ｔ２を監視する。また、ピッチング監視プログラムＰ４は、監視の前に、モニター１０の撮像画面１４中に撮像された部位の内、変動の最も少ない部位（後述）を照射基準位置Ｔ１として設定し、ピッチング照準光制御プログラムＰ３で照射基準位置Ｔ１に照準光Ｔ２を先ず照射した後に、撮像画面１４上の照準光Ｔ２を監視する。

ピッチング監視プログラムＰ４は、この照準光Ｔ２が照射基準位置Ｔ１から離れた量が許容量以上に変動したときに、ピッチング発生と判断する。更に、ピッチング監視プログラムＰ４はこのピッチング検出と共に、ピッチング量並びにピッチング角速度を算出し、ピッチング量並びにピッチング角速度を、スリット光制御プログラムＰ６、ピッチング照準光制御プログラムＰ３、ピッチング補正プログラムＰ５に渡す。ピッチング監視プログラムＰ４は、車両挙動監視手段であり、ＣＣＤカメラ２の撮像画像における照準光の照射方向の変化を観測することで、補正が正しく行われたか否かを判断する補正の信頼性を判定する機能を有する。

ピッチング補正プログラムＰ５は、ピッチングにより変動した照準光Ｔ２の照射方向を補正する制御信号を制御装置８に出力する。つまり、ピッチング補正プログラムＰ５は、ピッチング監視プログラムＰ４が検出した自動車Ａｍのピッチングの挙動量並びにピッチング角速度のデータに基づいて、ピッチング検出用のピッチング照準光発光装置７の照射角度を補正するように、ピッチング照準光発光装置の制御装置８を制御する。

制御装置８は、ピッチング補正プログラムＰ５の補正命令に基づいて、撮像画面の中の照射基準位置Ｔ１の位置に照準光Ｔ２が位置するように、架台８０のモーター８３の制御を行い、ピッチング照準光発光装置７の照射角度を補正する。

更に、ピッチング補正プログラムＰ５は、この補正の後に、再度照準光Ｔ２と照射基準光Ｔ１の比較を行い、ピッチング補正が正しく行われているかの検証を行う。

スリット光制御プログラムＰ６は、マイクロプロセッサ４に記憶された照射初期方向のデータ、照射光をスキャンする際のスキャンの範囲及びスキャンの角速度のデータに基づいて、自車の前方を一定速度の照射光であるスリット光をスキャンする制御信号を、スリット光発光装置の制御装置６に出力する。

また、スリット光制御プログラムＰ６は、ガルバノミラー１９で反射するスリット光が指定した角速度で路面１３をスキャンできるように、モーター２２の回転速度を決める。また、スリット光制御プログラムＰ６は、スキャンするスリット光の点灯・消灯等の指示命令をランプ１７の電源回路に出力し、ランプ１７の発光を制御する。このランプ１７の電源回路部の制御は必要によりランプ１７の点滅或いは照度の制御であっても良い。

さらに、ピッチング補正プログラムＰ５は、照準光Ｔ２の照射方向と共にスリット光の照射範囲を補正するように、スリット光制御プログラムＰ６に出力する。

ピッチング補正プログラムＰ５は、ピッチングにより変動したスリット光の照射方向を補正する制御信号をスリット光発光装置の制御装置６に出力する。つまり、ピッチング補正プログラムＰ５は、ピッチング監視プログラムＰ４が検出した自動車Ａｍのピッチングの挙動量並びにピッチング角速度のデータに基づいて、スリット光発光装置５の照射角度及びスキャン終了角度を補正するように、スリット光発光装置の制御装置６を制御する。

なお、スリット光制御プログラムＰ６は、走行モードや停止モードにおいて、路面状態を検出するという路面撮像プログラムＰ１と画像処理プログラムＰ２が立ち上がった後に、自動車の速度やスリット光発光装置５の高さに応じて、ガルバノメーター１９を回転させる角速度を制御したり、ランプ１７の点灯や消灯或いは点滅等の制御を行う。

スリット光速度演算プログラムＰ７は、スリット光が路面上を移動する速度を演算する。

走路検出プログラムＰ８は、スリット光速度演算プログラムＰ７が演算したスリット光の移動速度の変動量が所定範囲内にある領域を走路として検出する。

物体検出プログラムＰ９は、撮像画面１４上においてスリット光が路面１３上の物体に当たって速度が変化したことを検出する。即ち、図２及び図８に示すように、物体にスリット光が当たったときに当該スリット光の移動速度は路面上を走査されるスリット光に比べて遅れる。このとき、ＣＣＤカメラ２はこの状態を撮像しているので、図２に示すように、モニター１０の撮像画面１４の物体に当たったスリット光は画面下方に突出するように変形する。

物体距離演算プログラムＰ１０は、物体検出プログラムＰ９の検出物体と走路検出プログラムＰ８の検出路面のデータに基づいて、自車両から物体までの距離を演算してモニター１０の監視画面１４Ｂ（図２参照）に出力する。

物体距離演算プログラムＰ１０は、上述のスリット光の突出部分が何番目のフレームに表れたかを検出して、路面１３上に物体或いは突起部があると判断する。また、物体距離演算プログラムＰ１０は、変形したスリット光の変形部分の高さから、物体の高さを演算し、監視画面１４Ｂには例えば「前方○○ｍに高さ○○ｃｍの物体があります。」等の表示を行うと共に、音声発生装置１１の例えば音声ＩＣ等によりスピーカ１２から「前方○○ｍに高さ○○ｃｍの物体があります。」等の音声を発生する。

路面が凹んでいるときには路面画像上では同一スリット光において凹みに当たったスリット光が先に進んだようになるので、その進んだ部位が所定速度以上であると、路面の陥没部に当たったと判断できる。

次に、スリット光をスキャンしたときの路面画像上におけるスリット光の移動速度の変化から同一平面及び物体を抽出する原理を説明する。

図９、図１０には、車両の進行方向にスリット光をスキャンし、撮像画面１４上における照射光の移動速度の変化を観測して路面１３及び物体１を抽出する原理が表示されている。

ここで、車両前後方向を座標軸のＸ軸に、車幅方向をＹ軸に設定する。

図９は時刻Ｔ1における照射光および撮像画面１４を示し、図１０は時刻Ｔ１からδｔだけ過ぎた時刻Ｔ２における照射光および撮像画像を示す。また、図９、図１０の撮像画面１４はＸ軸上をスキャンするスリット光のＹ座標およびＹ方向の移動速度の関係を示す。

時刻Ｔ１においてはスリット光はすべて同一平面である路面１３を照射しているため、同一時刻に照射されたスリット光は同じＹ座標上に位置する。しかし、時刻Ｔ２時においてスリット光が物体１に照射されると、走路面に照射されるスリット光のＹ座標と物体１に照射されるスリット光のＹ座標は異なる。

図１１は路面をスキャンした時のスリット光の移動速度変化を示す。図１１に示すように、路面１３上に物体１が存在している場合、あるＸ座標Ｘobsについて、撮像フレーム（ある時刻におけるフレーム）と照射光のＹ座標位置の関係および撮像フレーム（他の時刻におけるフレーム）とＹ座標移動速度の関係をプロットすると、図１１における第２６フレームにおいてＹ座標位置が変わり、撮像画面１４上での移動速度が不連続に変化していることがわかる。

このようにスリット光を一定の角速度でスキャンし、撮像画面１４上における照射光のＹ座標方向の移動速度の変化を観測することにより、平面と平面が異なる角度で重なる接点、すなわち段差のある点が検出でき、段差を境界として撮像された画像を平面ごとに分割、抽出することができる。即ち、第２６フレームにおいて物体を検出していることが検出され、スキャン開始から第２６フレームの経過時間（ｔ）及びスリット光の移動速度（ｖ）並びにカメラ２の設置高さ（ｈ）から物体の位置及び高さを演算できる。

図１２はピッチングが発生する前の撮像状態および路面画像、図１３はピッチングが発生した後の撮像状態および路面画像を示す。原理上、ピッチング照準光発光装置７は、撮像画面１４内に存在する補正基準物（例えば先行車）のある一点にピッチング補正用の照射光を照射する。ピッチング監視プログラムＰ４は、この照射光が当たる部分を照射基準点Ｔ１と決めると、ピッチングが発生した場合、図１２に示すように、ピッチング発生前の照射基準点Ｔ１に対して照射点Ｔ２がずれる。ピッチング監視プログラムＰ４は、このずれをモニター１０上の撮像画像１４から算出し、ずれがなくなるようにピッチング補正用照準光と物体検出用のスリット光の照射角度を補正する（ピッチング補正制御）。

ここで、ピッチング監視プログラムＰ４は、撮像画像１４上でピッチング補正用照準光を確認できるため、撮像画像１４からピッチング補正制御が正しく行われたかどうかを判定することができる。ピッチング補正制御が正しく行われた場合に、物体検出用スリット光による物体検出の動作が行われる。

図１４には、以上述べた基本原理に従って車両用環境認識装置を実施する処理フローが示されている。システム全体の大きな流れとして、この車両用環境認識装置は、フロー開始後にピッチング補正の必要性を判断し、必要があれば、ピッチング補正を行い（ステップＳ１００）、不要であれば物体抽出を行い（ステップＳ１０１）、１回のピッチング補正と物体検出動作を終了する。従って、走行時の所定時間を単位としてピッチング補正（ステップＳ１００）と、物体抽出（ステップＳ１０１）とを繰り返す。

図１５に上記のピッチング補正処理の流れを示す。ステップＳ２０１は、画像メモリ３に記録された画像データをマイクロプロセッサ４に読み込む。次に、ステップＳ２０２は、画像メモリ３から読み込んだ画像データに対してオプティカルフロー処理により、各画素に投影された物体の画像上の速度（画像速度）を算出する。ステップＳ２０３は、Ｓ２０２で算出された画像速度について、各フレームのライン毎に統計処理により分散値を算出する。ステップＳ２０４は、Ｓ２０３で算出された各ラインの分散値を比較し、最小となる分散値を示すラインを抽出する。ステップＳ２０５は、Ｓ２０４で算出されたライン上の任意の領域（点）を補正基準点Ｔ１として設定する。

この補正基準点Ｔ１は車両挙動によりその位置がずれにくい位置に設定されるのが望ましい。このため、ステップＳ２０２〜Ｓ２０５の処理を行い、画像上でもっとも動きの変化がない部分（速度分散値が最小となる部分）を補正基準点Ｔ１に設定する。補正基準点Ｔ１は分散値が最小となるライン上の任意の点で構わず、例えばガードレール、先行車等の位置に設定する。

ステップＳ２０６は、ピッチング照準光発光装置７からのピッチング補正用の照準光の照射を停止する。

ステップＳ２０７は、ピッチング補正用の照準光が照射されていない状態の画像データを画像メモリ３からマイクロプロセッサ４へ読み込む。

ステップＳ２０８は、Ｓ２０５で設定された補正基準点Ｔ１の撮像画面１４上の座標を算出する。

ステップＳ２０９は、後述するＳ２１６で算出されるピッチング補正角に基づき、ピッチング照準光発光装置の制御装置８でピッチング照準光発光装置７の姿勢を補正して照準光を補正基準点Ｔ１に照射する。

ステップＳ２１０は、ピッチング補正用の照準光を補正基準点Ｔ１に照射している状態において、路面の撮像画像データを画像メモリ３からマイクロプロセッサ４へ読み込む。

ステップＳ２１１は、Ｓ２０７とＳ２１０により読み込まれた２つの画像の差分演算を行なう。

ステップＳ２１２は、Ｓ２１１により算出された差分画像をある所定の閾値で二値化してピッチング補正用照準光２を抽出し、ピッチング補正用照準光の画像上の座標Ｔ２を算出する。

ステップＳ２１３は、Ｓ２０８とＳ２１２で算出された補正基準点Ｔ１の座標とピッチング補正用照準光の画像上の座標Ｔ２のずれを算出する。

ステップＳ２１４において、Ｓ２１３で算出された座標ずれがある所定の画素数以下である場合はステップＳ２１５に進み、座標ずれがある所定の画素数より大きい場合はステップＳ２１６に進む判断を行う。

ステップＳ２１５は、補正が正しく行なわれた場合にＯＮとし、正しく行われていない場合にＯＦＦとする補正フラグをＯＮに設定する。

ステップＳ２１６は、Ｓ２１３で算出された座標ずれを幾何学的に計算し、ステップＳ２１７は、ピッチング補正を行うためのピッチング補正角を算出する。ステップＳ２１８は補正フラグをＯＦＦに設定する。

次に、路面上の物体の検出処理の流れを説明する。図１６は物体の検出処理の流れを示す。ステップＳ３０１は、マイクロプロセッサ４のスリット光制御プログラムＰ６から出力される照射初期位置、照射終了位置、照射角速度の制御信号に基づき、スリット光発光装置５から物体検出用照射光であるスリット光を車両前方手前から車両前方遠方に向けて一定の角速度でスキャンさせる。

ステップＳ３０２は、ＣＣＤカメラ２で撮像した画像データを画像メモリ３からマイクロプロセッサ４へ読み込む。ステップＳ３０３は、Ｓ３０２でマイクロプロセッサ４に読み込まれた画像データと１フレーム前に読み込まれた画像データの差分処理を行なう。ステップＳ３０４は、Ｓ３０３で算出された差分画像を二値化してエッジ検出処理を行ない、該エッジの画面上の速度（画面速度）を算出する。

ステップＳ３０５は、前述のＳ２１５またはＳ２１８で設定された補正フラグをチェックし、補正フラグがＯＮの場合（補正が正しく行われている場合）はＳ３０６へ移行し、ＯＦＦの場合（補正が正しく行われていない場合）はＳ３０１へ移行する。ステップＳ３０６は、Ｓ３０５で算出された画面速度を各ｘ座標で観測し、速度変化が発生するｙ座標を抽出する。速度変化が発生するｙ座標が抽出された場合はＳ３０７を実施する。

ステップＳ３０７は、Ｓ３０６で抽出された速度変化が発生するｙ座標にはさまれた領域を物体検出クラスタとして設定する。ステップＳ３０８は、Ｓ３０７で設定抽出された各クラスタにおいて、自車両最近傍のクラスタを走路とする。また、物体を示すクラスタと路面１３との接点のｙ座標とカメラ設置高に基づいて、自車両から物体までの距離、高さを算出する。

ステップＳ３０９は、Ｓ３０１においてマイクロプロセッサ４で指定された照射終了位置まで物体検出用照射光であるスリット光がスキャンしたか否かのチェックを行い、スキャン照射終了位置に到達した場合は照射位置方向をスキャン照射初期位置に変更し、スキャン照射終了位置に満たない場合は続けてスキャンするようにし、Ｓ３０１を実施する。

以上説明したように、本発明の実施の形態にかかる車両用環境認識装置によれば、スリット光発光装置５からスリット光を自車両の走行方向前方に照射し、スリット光を車体の下方から車体の前方に向かって一定の角速度でスキャンし、撮像画面１４におけるスリット光の移動変化の有無を、物体検出プログラムＰ９によって監視することで走路や物体の抽出を行うことができる。

このため、平坦な路面のように認識対象に模様がないような場合でも、路面を認識することができる。また、撮像された路面の撮像画面１４の照準光Ｔ２の位置座標と照射基準点Ｔ１の位置座標との比較から車両挙動を算出し、ピッチング等による車両上下挙動が発生した場合であっても、ピッチング挙動等の補正処理を行って撮像画面１４における路面の上下変動を補正するため、ピッチングの影響を受けない安定した路面環境情報を提供できる。

また、撮像画面１４から算出したピッチング挙動情報を用いて、補正した方向に照射した照準光Ｔ２の位置座標について、ピッチング前の照射方向と同一であるかどうかの検証処理を撮像画面１４上の照射基準光Ｔ１との比較で行うことができるので、スリット光の照射制御における過渡状態を把握し且つ排除でき、車両挙動が発生した場合でも安定して周囲環境情報を提供できる。

更に、自車両の最近傍領域を走路とし、その領域から照射光を一定の角速度でスキャンしながら走路面と異なる角度を持つ位置を検出するので、走路との段差が検出され、それまでスキャンした領域を走路面として抽出することができる。

また、照射したスリット光を走路面から一定の速度でスキャンし、走路面と異なる角度の面をもつ物を物体として抽出しているため、走路と物体の接点が判別できるのみならず、走路面及びカメラの設置高さから三角測量によって自車両から物体までの距離を容易に算出できる。

さらに、不可視光を照射しその光を撮像しているので、側道を歩行する歩行者などへの影響がない。更に、照射光をある特定のパタン（例えばスリット光）で照射するため、近傍に同様の装置があっても、自分の照射した照射光を他の車両の照射光と区別できる。また、スリット光とカメラの水平方向の軸３２を一致させると、近傍から遠方まで視差を補正することなく車両挙動の検出が精度よくできる。

なお、上記の実施の形態では、ピッチング照準光発生装置７の制御装置８とスリット光発光装置５の制御装置６とを別々に設けたが、一つの架台３０に並列的に搭載してピッチング補正を行っても良い。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

例えば、本車両用環境認識装置を、自動車の後方を向くように設けて後退時に自動車の後方の路面状況を撮像し、車体後方の状況を画面１４に表示して監視通報するようにしても良く、自動車以外の車両に適用しても良い。

また、ＣＣＤカメラ２はＣＭＯＳ等他の撮像素子を用いたカメラでも良い。

本発明の実施の形態にかかる車両用環境認識装置のシステムブロック図である。モニター上の撮像画面と、撮像画面を出力する画像処理プログラムと、撮像画像上のスリット光から車両挙動を検出する車両挙動監視プログラムと、物体検出プログラムと、照射光速度演算プログラム等の関係図を示す説明図である。本発明の実施の形態により路面を監視する状況を示す説明図である。本発明の実施の形態にかかるスリット光発光装置の平面的構成を示す図である。本発明の実施の形態にかかるスリット光発光装置の側面的構成を示す図である。本発明の実施の形態にかかるピッチング照準光発光装置の側面的構成を示す図である。本発明の実施の形態にかかるスリット光発光装置とピッチング照準光発光装置との平面的な配備状態を示す図である。照射光であるスリット光を一定角度で照射して物体を検出するときのスリットの形状変化を示す図である。スリット光のスキャン走査により路面を検出しているときの撮像画像を示す図である。スリット光のスキャン走査により路面の物体を検出したときの撮像画像を示す図である。路面における照射光スキャン時の移動速度変化を示す図である。ピッチング補正をするための補正前の状態を示す図である。ピッチングの発生によって補正を必要とする状態を示す図である。図１の車両用環境認識装置のシステムの全体フロー図である。図１の車両用環境認識装置のシステムにおけるピッチング補正時のフロー図である。図１の車両用環境認識装置のシステムにおける物体検出時のフロー図である。

符号の説明

１車両用環境認識装置
２ＣＣＤカメラ
３画像メモリ
４マイクロプロセッサ
５スリット光発光装置
６スリット光発光装置の制御装置（姿勢補正手段）
７ピッチング照準光発光装置
８ピッチング照準光発光装置の制御装置
Ｐ１路面撮像プログラム
Ｐ２画像処理プログラム
Ｐ３ピッチング照準光制御プログラム
Ｐ４ピッチング監視プログラム（車両挙動監視手段）
Ｐ５ピッチング補正プログラム
Ｐ６スリット光制御プログラム
Ｐ７スリット光速度演算プログラム
Ｐ８走路検出プログラム（路面変化の検出手段）
Ｐ９物体検出プログラム（路面変化の検出手段）
Ｐ１０物体距離演算プログラム（路面変化部位の距離演算手段）

Claims

車幅方向に広がる照射光を、路面上において自車両の近傍から遠方に向けて照射する照射光照射手段と、
前記照射光を撮像する撮像手段と、
前記撮像手段が撮像した撮像画像中における前記路面上の凹凸若しくは前記路面上の物体等の路面変化部位による前記照射光の形状変化を検出する照射光形状変化検出手段と、
前記照射光形状変化検出手段により検出された前記照射光の形状変化に基づいて、前記自車両から前記路面変化部位までの距離を演算する距離演算手段と、
自車両前方の所定の位置に照準光を照射する照準光照射手段と、
前記撮像手段が前記照射光を撮像する際に合わせて撮像する前記照準光の位置変化に基づいて、自車両の車両挙動を検出する車両挙動監視手段と、
該車両挙動監視手段により検出された車両挙動量によって、前記照射光の照射方向を補正する姿勢補正手段と、
を有することを特徴とする車両用環境認識装置。
請求項１の車両用環境認識装置において、
前記車両挙動監視手段は、前記撮像手段が撮像した撮像画像中における補正前後の前記照準光の位置変化に基づいて、前記照射光の照射方向についての補正の信頼性を判定する機能を有することを特徴とする車両用環境認識装置。
請求項１または請求項２の何れかの車両用環境認識装置において、
前記照射光の形状変化量が所定時間内において所定値以下である領域を路面として抽出する路面検出手段を
有することを特徴とする車両用環境認識装置。
請求項１乃至請求項３の何れかの車両用環境認識装置において、
前記照射光照射手段は、前記照射光として車幅方向に延びる線状の光を用い、該線状の光を自車両近傍から遠方に走査することを特徴とする車両用環境認識装置。
請求項４の車両用環境認識装置において、
前記距離演算手段は、前記照射光が前記路面を走査する照射速度及び走査開始位置から路面変化部位に至るまでの経過時間並びに前記照射光照射手段の路面からの高さに基づいて、前記自車両から前記路面変化部位までの距離を演算する機能を有することを特徴とする車両用環境認識装置。
請求項１乃至請求項５の何れかの車両用環境認識装置において、
前記照射光照射手段は、前記照射光として非可視光を用いる
ことを特徴とする車両用環境認識装置。
請求項１乃至請求項６の何れかの車両用環境認識装置において、
前記照射光照射手段は、前記照射光として所定のパターンの光を投光する
ことを特徴とする車両用環境認識装置。
請求項１乃至請求項７の何れかの車両用環境認識装置において、
前記照射光照射手段は、前記照射光を点滅して投光する
ことを特徴とする車両用環境認識装置。
請求項１乃至請求項８の何れかの車両用環境認識装置において、
前記照射光照射手段と前記撮像手段とを同軸に設置した
ことを特徴とする車両用環境認識装置。
車幅方向に広がる照射光を、路面上において自車両の近傍から遠方に向かって照射し、
前記照射光を撮像し、
前記照射光の撮像画像中における前記路面上の凹凸若しくは前記路面上の物体等の路面変化部位による前記照射光の形状変化を検出し、
前記照射光の形状変化に基づき、前記自車両から前記路面変化部位までの距離を演算することを特徴とする車両用環境認識方法。
請求項１０の車両用環境認識方法において、
自車両前方の所定の位置に照準光を照射し、
前記撮像手段が前記照射光を撮像する際に合わせて撮像する前記照準光の位置変化に基づいて、自車両の車両挙動を検出し、
検出された自車両の車両挙動量に基づいて前記照射光の照射方向を補正することを特徴とする車両用環境認識方法。
請求項１１の車両用環境認識方法において、
前記撮像画像における前記照準光の照射方向の位置変化に基づいて、前記補正の信頼性を判定することを特徴とする車両用環境認識方法。
請求項１０乃至請求項１２の何れかの車両用環境認識方法において、
前記照射光の形状変化量が所定時間内において所定値以下である領域を路面として抽出することを特徴とする車両用環境認識方法。