JP2004032528A - 画像認識装置 - Google Patents
画像認識装置 Download PDFInfo
- Publication number
- JP2004032528A JP2004032528A JP2002188214A JP2002188214A JP2004032528A JP 2004032528 A JP2004032528 A JP 2004032528A JP 2002188214 A JP2002188214 A JP 2002188214A JP 2002188214 A JP2002188214 A JP 2002188214A JP 2004032528 A JP2004032528 A JP 2004032528A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- imaging
- captured
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
【課題】後側方車両を検知しやすい撮像画像を得られるように後方撮像装置の露光制御を行う。
【解決手段】前方撮像装置１による前方撮像画像において、予め設定した測光領域の照度値を算出して記憶しておく。後側方車両が存在する場合には、この後側方車両が存在する位置に対応する照度値を、前方撮像画像における照度値の中から検索し、これに基づいて次回撮像時における後方撮像装置２の露光制御を行う。後側方車両が存在しない場合には、後方撮像装置２による後方撮像画像において車両を検出することの可能な最遠方に相当する位置に対応する照度値を検索し、これに基づいて次回撮像時における後方撮像装置２の露光制御を行う。
【選択図】 図９
【解決手段】前方撮像装置１による前方撮像画像において、予め設定した測光領域の照度値を算出して記憶しておく。後側方車両が存在する場合には、この後側方車両が存在する位置に対応する照度値を、前方撮像画像における照度値の中から検索し、これに基づいて次回撮像時における後方撮像装置２の露光制御を行う。後側方車両が存在しない場合には、後方撮像装置２による後方撮像画像において車両を検出することの可能な最遠方に相当する位置に対応する照度値を検索し、これに基づいて次回撮像時における後方撮像装置２の露光制御を行う。
【選択図】 図９
Description
【０００１】
【発明の属する技術分野】
この発明は、自車両周囲の画像を撮像し、これに基づき自車両周囲に存在する物体を検出するようにした画像認識装置に関し、特に、露光制御を的確に行うようにした画像認識装置に関する。
【０００２】
【従来の技術】
従来より、自車両周囲を撮像手段によって撮像し、この撮像画像によって自車両周囲の物体を検出し、この物体の位置情報を、車両の自動制御又は一部自動制御に用いる技術が提案されている。
例えば、特開２００１−８１９５号公報等においては、ＣＣＤカメラの撮像明度信号に基づき、その明度レベルに応じて昼間、薄暮、夜間の何れであるかを判断し、また、ヘッドライド、フォグランプ等のオンオフ信号やライトレベル切り替え信号といったライト信号と、ワイパのオンオフ信号、ワイピング周期切り替え信号といったワイパ信号とに基づいて、自車両の周囲環境を予測し、さらに、Ａ／Ｔシフト位置、車速、信号等に基づいて車両が前進しているか／後退しているか、また、低速、中速、高速の何れで走行しているのかを判断し、これらに基づき、ＣＣＤカメラの絞り調整を、車両後退時のリアビュー用、昼間用、夜間用の３種類から選択するようにしている。このように、自車両の周囲環境に応じた絞りに設定することによって、より鮮明な画像を得るようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の絞り調整方法においては、絞り調整を、リアビュー用、昼間用、夜間用の３種類のみから選択設定するようにしているため、例えばトンネル等の明るさが急激に変化する状況や、夜間でも照明が明るい状況、また、夕方などで、早めにヘッドライトを点灯した状況等において、ＣＣＤカメラの絞り調整を的確に行うことができず、真っ黒或いは真っ白になる等といった不鮮明な撮像画像になってしまうという問題がある。
【０００４】
そこで、この発明は、上記従来の未解決の問題に着目してなされたものであり、ＣＣＤカメラ等の撮像手段の絞り調整を、より的確に行うことの可能な画像認識装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る画像認識装置は、車両に搭載され且つ車両進行方向前方を撮像する前方撮像手段及び車両進行方向後方を撮像する後方撮像手段を備えており、撮像画像の画像状態を調整するための後方撮像手段に対する画像調整を行う際には、前方撮像手段で撮像した車両進行方向前方の撮像画像に基づいて行われる。
【０００６】
したがって、前方撮像手段で撮像した撮像画像のうち、後方撮像手段が次に撮像対象としている領域に相当する撮像画像に基づいて、後方撮像手段の画像調整を行うことによって、後方撮像手段が次に撮像対象としている領域の実際の状況に応じて後方撮像手段の画像調整が行われることになる。
【０００７】
【発明の効果】
本発明に係る画像認識装置によれば、車両進行方向後方を撮像する後方撮像手段に対する画像調整を、車両進行方向前方を撮像する前方撮像手段で撮像した撮像画像に基づいて行うようにしたから、例えば、後方撮像手段が次に撮像対象とする領域に相当する、前方撮像手段で先に撮像した撮像画像に基づいて、後方撮像手段の画像調整を行うことによって、後方撮像手段が撮像対象とする領域の実際の状況に適した画像調整を行うことができ、撮像対象に対する撮像環境が急に変化するような場合であっても、この撮像環境の変化を考慮して後方撮像手段に対する画像調整が行われているから、鮮明な画像を得ることができる。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本発明を適用した車両用画像認識装置の一実施形態を示す構成図である。
図１において、前方撮像装置１及び後方撮像装置２は、ＣＣＤカメラ等のＣＣＤ撮像素子のような撮像デバイスで構成され、前方撮像装置１は、例えば、車幅方向中央の、車室内のフロントウィンドウ上部に取り付けられ、図２に示すように、車両前方の道路を含む車両の周囲環境を撮像する。また、後方撮像装置２は、例えばトランクリッドの後端部内側に埋設され、図２に示すように、後側方車両や道路白線等を撮像する。
【０００９】
また、車両の適所には、図３に示すように、ドライバによる方向指示器の操作を検出する方向指示器スイッチ５、図示しないステアリングホイールの操舵角を検出する操舵角センサ６、各車輪の車輪速を検出する車輪速センサ７が配設され、これらセンサの検出信号及び前記前方撮像装置１及び後方撮像装置２による撮像情報は、コントローラ１０に入力される。コントローラ１０は、前記前方撮像装置１及び後方撮像装置２からの撮像情報、及び各種センサの検出信号に基づいて、前方撮像装置１及び後方撮像装置２の絞り調整を行うための後述の露光制御処理を実行すると共に、自車両後方を監視するための後述の後方監視処理を実行し、自車両への接近車両の有無を監視して、必要に応じて警報を発生させる。なお、前記露光制御処理及び後方監視処理は、例えば割り込み処理によって所定周期で実行されるようになっている。
【００１０】
図４は、コントローラ１０の機能構成を示す機能ブロック図であって、前方撮像装置１による撮像画像からレーンマークを検出する前方レーンマーク検出手段２１、この前方レーンマーク検出手段２１で検出したレーンマークに基づいて先行車両を検出する先行車検出手段２２、前方撮像装置１による撮像画像に対し、後述の走行状態検出手段４１からの操舵角、前述の前方レーンマーク検出手段２１からのレーンマークと自車両との相対位置関係等に基づいて照度値を検出するための測光領域を設定する測光領域設定手段２６、測光領域設定手段２６で設定した測光領域内の照度値を演算する照度演算手段２７、当該照度演算手段２７で演算した照度データを記憶するための照度データ保存手段２８、照度演算手段２７で演算した照度データ、先行車検出手段２２での検出結果に基づいて前方撮像装置１の露光制御を行う前方露光制御手段２９、後方撮像装置２による撮像画像、走行状態検出手段４１の各種検出結果、後述の接近車両判定手段４９及び相対位置、速度、加速度算出手段５０の各種検出結果、及び照度データ保存手段２８で保存した前方撮像装置１による撮像画像における照度データをもとに後方撮像装置２の露光制御を行う後方露光制御手段３１を備えている。
【００１１】
また、方向指示器スイッチ５、操舵角センサ６、車輪速センサ７の検出信号をもとに、自車両の走行状態を検出する走行状態検出手段４１、走行状態検出手段４１の検出結果に基づいてヨー角を検出するヨー角検出手段４２、走行状態検出手段４１の検出結果及びヨー角検出手段４２の検出結果に基づき後方撮像装置２による後方撮像画像においてレーンマークを検出する後方レーンマーク検出手段４３、後方レーンマーク検出手段４３の検出結果に基づいて、後方撮像画像におけるレーンマーク形状を推定する後方レーンマーク形状推定手段４４、後方レーンマーク形状推定手段４４で推定したレーンマーク形状に基づいて後側方車両を検出するための検出領域を設定する検出領域設定手段４５、検出領域設定手段４５で設定した検出領域において後側方車両の特徴を表す画像特徴点を検出する画像特徴点検出手段４６、後方撮像画像においてレーンマークの消失点を検出する消失点検出手段４７、消失点検出手段４７で検出した消失点に基づいて画像特徴点のオプティカルフローを検出するオプティカルフロー検出手段４８、オプティカルフロー検出手段４８の検出結果に基づいて、接近車両が存在するかを判定する接近車両判定手段４９、接近車両判定手段４９で接近車両を検出したときにこれと自車両との相対関係を検出する相対位置、速度、加速度算出手段５０、この相対位置、速度、加速度算出手段５０での検出結果に基づいて、接近車両と自車両との接触可能性を判断し、これに応じて、警報装置８を作動させる警報判定手段５１を備えている。
【００１２】
図５は、コントローラ１０で実行される、露光制御処理の処理手順の一例を示すフローチャートである。
この露光制御処理では、まず、ステップＳ２で、操舵角センサ６、車輪速センサ７の検出信号を読み込み、各車輪速センサ７の検出信号に基づいて、次式（１）にしたがって、車速Ｖ（ｎ）を算出する。なお、式（１）中のａは、車輪の外径に基づいて設定される定数、Ｗ（ｎ）は、例えば、四輪の車輪速の平均値、後輪の車輪速の平均値、車輪速の最低値、等、公知の手順で算出される車輪速Ｗの代表値である。
【００１３】
Ｖ（ｎ）＝ａ×Ｗ（ｎ） ……（１）
次いで、ステップＳ４に移行し、前方撮像装置１からの画像情報を読み込み、次いでステップＳ６に移行し、前方撮像装置１の露光制御処理を行う。
この露光制御処理では、図６に示すようにまず、ステップＳ１１で、前方撮像装置１による前方撮像画像において、レーンマークの検出を行い、このレーンマークと自車両との位置関係を検出する。このレーンマークの検出は、例えば、微分処理によりエッジ強調を行う方法や、空間フィルタリングを用いてノイズ除去を行う方法等といった、公知の画像処理手法を用いればよい。
【００１４】
次いで、ステップＳ１２に移行し、前記前方撮像画像において、先行車両を検出し、自車両と先行車両との位置関係を検出する。この先行車両の検出は、微分処理により得た特徴形状によるパターン・マッチング処理や、エッジ強調、空間フィルタリングを用いたノイズ除去等による、公知の画像処理手法を用いればよい。また、レーザ等による距離測定手段による先行車両検出と組み合わせた検出を行うようにしてもよく、このようにすることによって、より検出精度、安定性を向上させることができる。
【００１５】
そして、ステップＳ１１の処理でレーンマークを検出することができた場合には、ステップＳ１３からステップＳ１４に移行し、ステップＳ１１で検出したレーンマークと自車両との位置関係とに基づいて、前記前方撮像画像の、自車両の走行路に相当する領域に、図７（ａ）に示すように、測光領域ｆ１〜ｆ３を設定する。なお、この測光領域は、ここでは、複数設定しているが、１つでもよく、任意数の測光領域を設定することができ、また、その大きさも任意に設定することができる。
【００１６】
そして、測光領域を複数設定する場合には、例えば図８に示すように、自車両の進行方向における実際の距離が等間隔となるように設定する。
このとき、操舵角センサ６からの操舵角φに基づき、自車両が直線路を走行していると判定されるときには、図７（ａ）に示すように、左右のレーンマークの中央に測光領域を設定し、自車両がカーブ路を走行していると判定されるときには、図７（ｂ）に示すように、自車両とレーンマークとの相対位置関係に基づいて、前方撮像画像において、自車両が走行すると予測される位置に測光領域が設定されるように、レーンマークとの横方向位置を調整する。
【００１７】
一方、前記ステップＳ１１の処理でレーンマークを検出することができなかった場合には、ステップＳ１３からステップＳ１５に移行し、操舵角φに基づいて測光領域の横方向位置を調整する。例えば、前記ステップＳ２で算出した車速Ｖと操舵角センサ７で検出された操舵角φに基づいて次式（２）にしたがって旋回半径Ｒを算出する。そして、この旋回半径Ｒに応じたレーンマーク位置と、直進時におけるレーンマーク位置及び直進時の測光領域とを前方撮像画像上に想定し、これらレーンマーク位置の差異に基づいて直進時の測光領域の横位置を調整し、操舵角φに応じた測光領域を設定する。なお、（２）式中のＬは自車両のホイールベース長、Ｋは自車両のスタビリティファクタ、Δｔは、前回処理実行時から今回処理実行時までの経過時間である。
【００１８】
Ｒ（ｎ）＝Ｌ／φ（ｎ）×（１＋Ｋ×Ｖ（ｎ）２ ） ……（２）
そして、前記ステップＳ１４又はステップＳ１５で、測光領域を設定したならば、ステップＳ１６に移行し、各測光領域内について各画素を探索して画像濃度値を算出する。次いでステップＳ１７に移行し、ステップＳ１５で算出した各測光領域における画像濃度値と、前方撮像装置１の光電変換特性とに基づいて、各測光領域についてその照度値の絶対値を算出し、これを配列ＬＸ（ｎ，ｐ）と対応付けて所定の記憶領域に格納する（ステップＳ１８）。なお、前記配列ＬＸ（ｎ，ｐ）において、ｎは、時点ｎにおける前方撮像画像を識別するためのフレーム番号、ｐは、測光領域の位置番号を表す。
【００１９】
次いで、ステップＳ１９に移行し、今回の前方撮像画像における各照度値や各画像濃度値に基づき、次回撮像時の前方撮像装置１の露光特性を決定する制御値として、例えば、シャッタ速度、ゲイン値等を設定する。
具体的には、先行車両が存在する場合には、前方撮像画像において先行車両の存在位置に相当する領域又はその近傍の領域に設定された測光領域における照度値に基づいて露光制御を行う。一方、先行車両が存在しない場合には、前方撮像画像において自車両からの実際の距離が最も遠方となる測光領域における照度値に基づいて露光制御を行う。
【００２０】
そして、図５に戻って、ステップＳ８に移行し、次に、後方撮像装置２に対する露光制御を行う。
この後方撮像装置２に対する露光制御は、図９に示すように、まず、ステップＳ２１で、自車両の後側方に接近車両が存在するか否かを判断する。この判断は、後述の、後方監視処理における前回の接近車両の有無の検出結果に基づいて行う。
【００２１】
そして、後側方に接近車両が存在する場合には、ステップＳ２２に移行し、各時点における前方撮像画像のうち、後方撮像装置２による次の撮像時点ｎ＋１における後側方接近車両の到達位置に相当する前方撮像画像を特定する。この特定した前方撮像画像における各測光領域の照度値を、撮像時点ｎ＋１における後方撮像画像に相当する照度値として設定する。
【００２２】
ここで、前記図８に示すように、前方撮像画像において自車両に最も近い測光領域に相当する位置から自車両先端までの実際の距離をＬｆ１、自車両の全長をＬｆ、後方撮像装置２による後方撮像画像における測光位置ｒ１に相当する位置から自車両後端までの実際の距離をＬｒ１としたとき、次式（３）が成り立つ。なお、式（３）中の、Ｖ（ｎ）は各前方画像撮像時点における車速を表し、Ｆは、１秒間における前方撮像画像のフレーム数（例えば３０フレーム／秒程度）を表す。
【００２３】
【数１】
【００２４】
したがって、前記（３）式を満足するｍを検出することによって、前方撮像画像の測光位置ｆ１での照度値データから、後方撮像画像の測光位置ｒ１での照度値を推定することができる。つまり、後方撮像画像の測光位置ｒ１における照度値は、次式（４）で表すことができる。なお、式（３）及び（４）中のｍは、次の撮像時点における後方撮像画像において測光位置ｒ１に相当する、前方撮像画像の測光位置ｆ１が属する前方撮像画像のフレーム番号を表す。また、ｐは、自車両先端から実際の距離Ｌｆ１だけ離れた位置に相当する領域に設定される測光領域に相当する。
【００２５】
ＬＸｒ１＝ＬＸ（ｍ，ｐ） ……（４）
つまり、以前の撮像時点ｍにおける前方撮像画像の測光位置ｆ１における照度値が、次の撮像時点における後方撮像画像の測光位置ｒ１に当てはまることになる。なお、ここでは、前方撮像画像の測光位置ｆ１から後方撮像画像の測光位置ｒ１に当てはめているが、前方撮像画像の測光位置ｒ２に当てはめたり、また、前方撮像画像の測光位置ｆ２から後方撮像画像の測光位置ｒ１に当てはめたり、前方撮像画像の測光位置ｆ３から後方撮像画像の測光位置ｒ１に当てはめたりすることも可能である。同様に、前方撮像画像の測光位置ｆ１、ｆ２、ｆ３を、測光位置ｒ２、ｒ３に当てはめることも可能である。
【００２６】
そして、このようにして照度値を特定したならば、ステップＳ２３に移行し、特定した照度値に基づいて 後方撮像装置２の露光特性を決定する制御値として、シャッタ速度、ゲイン値等を設定する。このように設定することによって、実際の照度に適した制御値が設定されることになる。
なお、このとき、後側方車両の車両位置を測光位置としてこの測光位置に対応する照度値を特定し、これに基づき露光制御を行う。つまり、後方撮像画像において、後側方車両を良好に識別することが可能な後方撮像画像を得ることができるように露光制御を行う。
【００２７】
一方、前記ステップＳ２１で後側方接近車両が存在しない場合には、ステップＳ２６に移行し、後方撮像装置２により撮像した後方撮像画像において車両を検出することの可能な最大距離位置に適した照度値を検出し、ステップＳ２７に移行して、ステップＳ２６で求めた照度値を実現し得る、制御値を、後方撮像装置２の露光特性の制御値として設定する。
【００２８】
このように後側方から接近してくる車両の位置に露光を合わせることにより、後側方車両を検出しやすい後方撮像画像を得ることができる。また、後側方から接近する車両が存在しない場合には検出可能な最大距離の位置で、最も検出しやすい状態の後方撮像画像を得ることができる。
このようにして、後方撮像装置２の露光制御が終了すると図５に戻って、露光制御処理を終了する。
【００２９】
図１０は、後方監視処理の処理手順の一例を示すフローチャートである。
この後方監視処理では、まず、ステップＳ３１において、方向指示器スイッチ５、操舵角センサ６、車輪速センサ７の検出信号を読み込み、ステップＳ３２に移行して、各車輪速センサ７からの検出信号に基づき前述のようにして、車速Ｖを算出する。
【００３０】
次いで、ステップＳ３３に移行し、後方撮像装置２からの撮像情報を読み込み、この後方撮像情報に基づいてステップＳ３４で接近車両検出処理を行う。
この接近車両検出処理では、図１１に示すように、まず、ステップＳ４１で、後方撮像画像においてレーンマークの検出を行う。このレーンマークの検出は、図１２にハッチングで示す後方撮像画像の左右及び下部側の端部の検出領域Ｍａに対して行い、後方撮像画像の端部とレーンマークとの交点の位置座標を検出する。図１２は、自車両が３車線の中央の走行路を走行している場合の自車両後方の撮像画像であって、この場合には、自車両から後方をみたときの自車両の左側の走行路のレーンマークＰｌ１、Ｐｌ２の位置座標（ｘ，ｙ）と、自車両の右側の走行路のレーンマークＰｒ１、Ｐｒ２（ｘ，ｙ）の位置座標とを検出する。
【００３１】
なお、後方撮像画像上における位置（ｘ，ｙ）は、図１３に示すように、後方撮像画像の左上端を基準として右方向を正とするｘ軸上の座標であり且つ左上端を基準として下方向を正とするｙ軸上の座標である。
このレーンマークの検出は、例えば撮像画像におけるレーンマークと道路面との輝度差を利用し、微分処理によるエッジ強調や、空間フィルタリングを用いたノイズ除去等の画像処理手法を用いてレーンマークを表す近似線を特定し、この近似線上の点をレーンマークとして検出する。なお、ここでは、演算量を削減する目的で検出領域Ｍａに対してのみレーンマークの検出を行うようにした場合について説明したが、これに限るものではなく、例えば、後方撮像画像の全域についてレーンマークの検出を行うようにしてもよい。
【００３２】
また、ここでは、自車両後部に設けた後方撮像装置２による後方撮像画像からレーンマーク位置を検出するようにしているが、前方撮像装置１による車両前方の前方撮像画像からレーンマークを検出し、レーンマーク位置に対する自車両位置、ヨー角θを算出し、これらに基づいて前方撮像画像から検出したレーンマークから後方撮像画像におけるレーンマーク位置を推定するようにしてもよい。また、後方撮像画像からレーンマークを検出し、さらに前方撮像画像に基づいて後方撮像画像におけるレーンマークを推定し、両者のうち何れか良好に検出することのできた方に基づいてレーンマーク位置を特定するようにしてもよい。
【００３３】
このようにして、後方撮像画像におけるレーンマーク位置を推定したならば、ステップＳ４２に移行し、後方撮像画像におけるレーンマークの位置座標（ｘ，ｙ）を、次式（５）に基づいて、図１３に示すように、画像座標から道路座標へ変換し、道路座標上でのレーンマークの位置座標（Ｘ，Ｚ）を算出する。なお、道路座標は、図１３に示すように、後方撮像装置２のレンズの中心点を基準として車幅方向右側を正とするＸ軸上の座標でありまた、Ｚは自車両よりも焦点距離ｆだけ後方の位置を基準とし車両前後前後方向後側を正とするＺ軸上の点である。
【００３４】
【数２】
【００３５】
なお、式（５）中のｆは、後方撮像装置２の焦点距離、Ｈは、後方撮像装置２の取り付け高さである。
なお、道路環境によっては、レーンマークを検出できない場合がある。このような場合には、方向指示器の操作状況と、操舵角とに基づいて、以下の手順で後方道路座標上におけるレーンマークの位置座標（Ｘ，Ｚ）を算出する。
【００３６】
つまり、まず、方向指示器スイッチ５の検出信号と、操舵角センサ６からの操舵角φと、に基づいて、自車両が、直進路を走行しているか、カーブ路を走行しているか、車線変更中であるかを判定し、これに応じてレーンマーク位置を推定する。
まず、方向指示器がオフであり、操舵角φが零もしくは零近傍の一定値範囲内に り、操舵が行われていないとみなすことができるときには、自車両は直進路を走行していると判定する。直進路を走行している場合には、後方撮像装置２による撮像軸は、前回と同じであるとみなすことができるから、道路画像上のレーンマークの位置座標（Ｘ，Ｚ）として前回値を設定する。
【００３７】
ここで、道路画像上におけるレーンマークの位置座標（Ｘ，Ｚ）は、自車両の現在位置を基準として設定されているから、前回算出時の位置座標（Ｘ，Ｚ）に、位置座標算出周期当たりの自車両の前後方向移動分ΔＺ及び左右方向移動分ΔＸを加算することによって、前回算出時の位置座標（Ｘ，Ｚ）を今回算出時の位置座標と同じ座標軸上の座標に変換することができる。
【００３８】
したがって、各処理実行時に算出されたレーンマークの位置座標（Ｘ，Ｚ）からなるデータ群を［Ｘ（Ｎ），Ｙ（Ｎ）］としたとき、このデータ群のそれぞれに、位置座標算出周期当たりの自車両の前後方向移動分ΔＺ及び左右方向移動分ΔＸを加算することによって、前回以前に算出した位置座標からなるデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］を、順次、今回算出時の位置座標と同じ座標軸上の座標に変換することができる。なお、前記道路画像上の位置座標のデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］は、１車線道路である場合には車線両端の２本のレーンマークに相当する２つのデータ列、２車線道路である場合には３本のレーンマークに相当する３つのデータ列、３車線道路である場合には４本のレーンマークに相当する４つのデータ列から構成される。
【００３９】
一方、方向指示器がオフであり、且つ操舵角が零よりも大きい、又はしきい値以上であり操舵が行われているとみなすことができる場合には、カーブ中であるとみなすことができる。
この場合には、図１４（ａ）に示すように、操舵角φから算出される旋回半径Ｒｃと、後方撮像装置２の取り付け位置とから算出することができる。つまり、後方撮像装置２の今回の撮像軸は、前回の撮像時点における撮像軸に対し、旋回分のヨー角Δθを持つことになる。
【００４０】
前回までのデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］は、発生したヨー角Δθ及び、自車両の移動量ΔＸ及びΔＺに基づいて補正することによって、今回の撮像画像座標上の座標に変換されることになる。
ここで、前記旋回分のヨー角Δθは、車輪速センサ７からの各車輪速に基づく今回検出時の車速Ｖ（ｎ）と操舵角センサ６からの前回検出時の操舵角φ（ｎ−１）とに基づき前記（２）式にしたがって、旋回半径Ｒｃを算出する。そして、旋回半径Ｒｃに基づいて次式（６）にしたがって、ヨー角Δθを算出する。
【００４１】
Δθ（ｎ）＝ΔＳ（ｎ）／２πＲｃ（ｎ）×３６０° ……（６）
ΔＳ（ｎ）＝Ｖ（ｎ）×Δｔ
一方、方向指示器がオンのときには、車線変更中と判断する。そして、前回までの位置座標のデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］に基づいて、その連続性から、直進路を走行しているのか、カーブ路を走行しているのを判断する。
【００４２】
そして、直進路から車線変更を行う場合には、図１４（ｂ）に示すように、レーンマークは前回処理実行時から直線的に連続していると仮定することができ、また、この場合、今回の後方撮像装置２による撮像軸は、前回の撮像軸に比較して旋回分のヨー角Δθを持つことになるので、今回の後方撮像画像におけるレーンマーク位置は、前回のレーンマーク位置に対して、自車両前後方向への変化分ΔＸと、旋回分のヨー角Δθとに応じて補正した位置となる。
【００４３】
したがって、前回までの位置座標のデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］は、発生したヨー角Δθ及び移動分ΔＸ及びΔＺに基づいて補正することによって、今回の撮像画像の座標軸上の位置座標に変換されることになる。
そして、カーブ路から車線変更を行う場合には、前回までの位置座標のデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］から、公知の手順でカーブ路半径Ｒｃを推定する。そして、今回のレーンマーク位置を、カーブ路半径Ｒｃと、後方撮像装置２の取り付け位置とから算出する。つまり、今回の後方撮像装置２の撮像軸は、前回の撮像軸に対して旋回分のヨー角Δθを持つことになる。
【００４４】
したがって、前回までの位置座標のデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］は、これらを発生したヨー角Δθ及び自車両の移動量ΔＸ、ΔＺに応じて補正することによって今回の撮像画像座標上の座標に変換されることになる。
以上の処理を連続的に行い、位置座標のデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］を順次更新することによって、今回の後方撮像画像座標上における、レーンマーク位置を検出することができる。
【００４５】
このようにして、後方撮像画像座標上におけるレーンマーク位置を検出すると、次にステップＳ４３に移行し、ステップＳ４２で得られたレーンマークの位置座標のデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］に基づいて後方撮像画像におけるレーンマークの境界線を求める。これは、例えば、位置座標のデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］の前後する位置座標を直線でつないでレーンマークの境界線としてもよく、また、位置座標に基づいて曲線近似線を算出しこれをレーンマークの境界線としてもよい。
【００４６】
次いで、ステップＳ４４に移行し、後方から接近する他の車両を検出するための検出領域Ｍｂの設定を行う。この検出領域Ｍｂは、図１５に示すように、自車両の走行路の隣の走行路に相当する領域に設定する。つまり、自車両を走行している走行路と、自車両から走行路１つおいた隣の走行路を走行する車両は、自車両と接触する危険性はないので、検出領域としないようにしている。
【００４７】
次いで、ステップＳ４５に移行し、後方撮像画像に設定された検出領域Ｍｂにおいて探索を行い、他車両の画像と、道路面や背景等の画像との輝度差を利用して、他車両の画像の境界を検出する。この検出方法としては、微分処理によるエッジ強調や、空間フィルタリングを用いたノイズ除去等の画像処理手法を用いればよい。
【００４８】
そして、検出した他車両の境界から、図１６に示すように、予め定められた所定の条件に適合する特徴点Ｅを抽出する。なお図１６においては、特徴点Ｅとして１つの特徴点を抽出するようにしているが、複数抽出するようにしてもよい。次いで、ステップＳ４６に移行し、今回の後方撮像画像と、前回の後方撮像画像とに基づいて、後方撮像画像上における消失点ＦＯＥを検出する。具体的には、図１７に示すように、後方撮像装置２の取り付け位置より算出される撮像画像上のＦＯＥ位置を基準ＦＯＥとし、時間的に連続する２つの後方撮像画像から、特徴点Ｅのマイナスベクトルが向かう収束点、又はプラスベクトルが遠ざかる起点を消失点ＦＯＥとして検出し、基準ＦＯＥを算出した消失点ＦＯＥに置き換え、順次この処理を繰り返し行って消失点ＦＯＥを更新する。或いは、基準ＦＯＥを規定の割合に応じて補正するようにしてもよい。また、走行路に白線等の道路区分線が存在する場合には、後方撮像画像の中から、微分処理によるエッジ強調や、空間フィルタリングを用いたノイズの除去等の画像処理手法を用いて白線検出を行い、その検出結果に基づいて白線曲線の延長線を求め、その検出結果に基づいて消失点ＦＯＥを算出し基準ＦＯＥを算出した消失点ＦＯＥに置き換えるようにしてもよい。また、前方撮像装置１の前方撮像画像に基づいて道路白線形状を検出し、その検出結果に基づいて消失点ＦＯＥを算出するようにしてもよい。
【００４９】
次いでステップＳ４７に移行し、今回の後方撮像画像において、前回処理実行時に算出した特徴点Ｅ（ｎ−１）と前回の消失点ＦＯＥとを通る直線上に位置する特徴点Ｅ（ｎ）を検索することによって、今回検出した特徴点Ｅ（ｎ）に対応する前回の特徴点Ｅ（ｎ−１）を特定し、特徴点Ｅ（ｎ−１）から特徴点Ｅ（ｎ）に向かうベクトルを算出してオプティカルフローＯＰ（ｎ−１）を形成する。この処理を繰り返し行うことによって、各時点における後方撮像画像における同一の特徴点を結ぶオプティカルフローＯＰが形成されることになる。
【００５０】
そして、このようにしてオプティカルフローＯＰを形成した後、ステップＳ４８に移行し、ステップＳ４７で検出されたオプティカルフローＯＰの大きさや、向きなどに基づいて、オプティカルフローのうちから自車両に接近する物体のオプティカルフローを選出すると共に、同じ物体によるオプティカルフローをグループ化して後続車両を検出する。
【００５１】
このようにして後続車両の検出を行ったならば、図１０に戻ってステップＳ３５に移行し、警報処理を行う。
この警報処理は、図１８に示すように、まず、ステップＳ５１で、ステップＳ３４での接近車両検出処理で検出した、後続車両の撮像画像上の位置の連続する後方撮像画像間の移動量から、自車両と他車両との相対位置、相対速度及び加速度を算出する。
【００５２】
次いで、ステップＳ５２に移行し、他車両との接触の可能性の判断を行う。この判断は、例えば、他車両が自車両に追いつくまでに要する所要時間Ｔを例えば次式（７）にしたがって推定し、方向指示器センサ５の検出信号に基づき方向指示器がオン状態となっており、且つ追いつくまでの所要時間Ｔがしきい値Ｔα以下であるときに危険性ありと判定する。
【００５３】
Ｔ＝［（ΔＶ２ ＋２＊ΔＡ＊Ｓ）１／２ ＋ΔＶ］／ΔＡ ……（７）
なお、前記しきい値Ｔαは固定値でもよいし、また、自車両と車線変更側のレーンマークまでの距離Ｓｈｒ、自車両の横移動速度Ｖｈに応じて可変設定するようにしてもよい。
なお、ここでは、方向指示器がオンとなっているときに、自車両が車線変更をすると判断するようにした場合について説明したが、例えば、操舵角センサ６の検出信号に基づいて操舵角の変化量から、車線変更を判断するようにしてもよく、また、レーンマークの検出結果と自車牢との相対位置との接近度合によって車線変更を判断するようにしてもよい。
【００５４】
そして、ステップＳ５２での他車両との接触の可能性の判断の結果、自車両と接触する可能性があると判断されるときには、ステップＳ５３の処理で、警報装置８を作動させ、ドライバに注意を促す。
この警報装置８は、例えば、表示器、スピーカ等によって、後方撮像装置２で撮像した後方撮像画像を表示したり、或いは注意を促すメッセージや接近車両位置等を表示して映像によって注意を促すようにしてもよく、また、音声ガイダンス或いは警報音或いは、危険を通知するための音声によって注意を促すようにしてもよい。
【００５５】
なお、他車両が自車両に到達するまでの所要時間だけでなく、自車両の車線変更に伴う他車両への横方向の接近度合を考慮して警報を発生させるようにしてもよく、また、単に、自車両と他作用との接近度合に基づいて警報を発生させるようにしてもよい。
次に、上記実施の形態の動作を説明する。
【００５６】
コントローラ１０では、起動されると、前記後方監視処理を所定周期で実行し、後方監視処理では、後方撮像装置２による後方撮像画像に基づきレーンマークを検出し、自車両が走行する走行路の両隣の走行路上の他車両の有無を検出し、検出した他車両が自車両に接触する可能性があると予測されるときには、警報装置８を作動させてドライバに注意を促す。
【００５７】
コントローラ１０では、この後方監視処理と共に、前記露光制御処理を実行し、前方撮像装置１による前方撮像画像に基づき自車両前方のレーンマークを検出し（ステップＳ１１）、さらに先行車両の有無を検出する（ステップＳ１２）。そしてレーンマークが検出できており、自車両が直線路を走行していると判定されるときには、図７（ａ）に示すように、自車両の走行路の左右のレーンマークの中央に相当する位置に複数、この場合３つの測光領域を設定する。また、自車両がカーブ路を走行していると判定されるときには、図７（ｂ）に示すように、自車両とレーンマークとの相対位置関係に基づいて、複数、この場合３つの測光領域を設定し、このとき、前方撮像画像において、自車両が走行すると予測される位置に相当する領域に測光領域が位置するように、レーンマークとの横方向位置を調整する。また、レーンマークを検出することができなかった場合には、同様に複数の測光領域を設定するが、その横方向位置を、操舵角φに基づいて調整する（ステップＳ１３〜Ｓ１５）。
【００５８】
そして、このようにして設定した測光領域について画像濃度値を求め、前方撮像装置１の光電特性に基づいて各測光領域の照度絶対値を求め、これを配列ＬＸ（ｎ，ｐ）と対応付けて所定の記憶領域に格納する（ステップＳ１６〜Ｓ１８）。
そして、このようにして各測光領域毎に検出した照度絶対値に基づいて、次回の前方撮像装置１による撮像時の露光調整を行い（ステップＳ１９）、このとき、例えば、先行車両が存在しない場合には、自車両から最も遠方に位置する測光領域の照度絶対値に基づいて、前方撮像装置１の露光調整を行う。
【００５９】
したがって、前方撮像装置１による次の撮像タイミングで撮像を行った場合には、このときの露光調整は、自車両から最も遠方に位置する測光領域の照度絶対値に基づいて設定され、つまり、遠方を撮像対象として露光制御が行われるから、遠方ほど良好な撮像画像を得ることができることになり、このとき実際の照度に応じて露光制御が行われることになるから、先行車両が出現した場合には速やかにこれを検出することができることになる。
【００６０】
この状態から、自車両がトンネルの手前に差しかかると、先行車両が存在しないことから、引き続き遠方を撮像対象として露光制御が行われる。したがって、トンネル内とトンネル外とでは輝度差が大きいことから、図１９（ａ）に示すように、前方撮像画像において、トンネル外に相当する領域については白っぽくなり物体を検知しにくいものの、トンネル内に相当する領域については、物体を検知しやすい撮像画像を得ることができ、つまり、トンネル内を走行する先行車両を検出しやすい撮像画像を得ることができることになる。このとき、トンネル外に相当する領域については、前方撮像画像において物体を検知しにくいが、このとき先行車両は存在しないから、物体を検知しにくい前方撮像画像であっても問題はない。
【００６１】
そして、トンネル内を走行中は、先行車両が存在しないことから引き続き遠方を撮像対象として露光制御が行われるが、トンネル内の輝度差は小さいから、トンネル内の照度に応じた露光制御が行われることになって全体に良好な撮像画像を得ることができる。このとき、例えば、トンネル内の照明等によって一部明るい領域がある場合等であっても、前方撮像画像上の照度に応じて遠方を撮像対象として露光制御が行われることになるから、照明に応じた露光制御が行われることになり、良好な撮像画像を得ることができる。
【００６２】
そして、図２０（ａ）に示すように、自車両がトンネル出口に差しかかると、前方撮像画像においてトンネル内とトンネル外とで輝度差が大きくなるが、先行車両が存在しないことから、引き続き遠方を撮像対象として露光制御が行われることになる。したがって、トンネル内に相当する領域については前方撮像画像が黒っぽくなって物体を検知しにくいものの、トンネル外に相当する領域については、物体を検知しやすい撮像画像を得ることができる。したがって、トンネル外を走行する先行車両を検出しやすい撮像画像を得ることができ、このとき、トンネル内に相当する領域については、物体を検知しにくい撮像画像となるが、先行車両が存在しないから問題はない。
【００６３】
そして、自車両がトンネル外を走行する状態となると、引き続き遠方を撮像対象として露光制御が行われ、前方撮像画像の遠方位置に相当するトンネル外の照度に応じた露光制御が行われるが、前方撮像画像内において輝度差は小さいから、全体に良好な撮像画像を得ることができる。
一方、先行車両が存在する場合には、先行車両が存在する位置近傍の測光領域の照度絶対値に基づいて前方撮像装置１の露光調整が行われる。
【００６４】
したがって、次の時点で前方撮像装置１によって撮像を行った場合には、先行車両近傍を撮像対象として露光調整が行われた状態で撮像されることになり、つまり、先行車両近傍に相当する物体を識別可能な画像を得ることができるから、先行車両の動きを的確に検出することができることになる。
そして、例えば図１９（ｂ）に示すように自車両がトンネル入り口に差しかかった場合には、先行車両が存在することから、この先行車両の近傍の測光領域の照度絶対値に基づいて前方撮像装置１の露光調整が行われることになる。また、図２０（ｂ）に示すように、自車両がトンネル出口手前に差しかかった場合には、先行車両が存在することから、この先行車両の近傍の測光領域の照度絶対値に基づいて前方撮像装置１の露光調整が行われることになる。
【００６５】
したがって、トンネルの入り口や出口付近では、トンネル内とトンネル外とで輝度差が大きくなるため、輝度調整が全体に良好な撮像画像を得ることはできないが、先行車両近傍を撮像対象として露光調整が行われた状態で撮像されることになるから、先行車両近傍が良好に輝度調整された画像を得ることができ、先行車両を的確に検出することができ、その動きを的確に検出することができることになる。
【００６６】
一方、後方撮像装置２の露光制御は、前方撮像画像の各測光領域について検出した照度値に基づいて行われ、後方監視処理において、後側方接近車両が存在しないと判断された場合には、後方撮像装置２により撮像した後方撮像画像において車両を検出することの可能な遠方位置を撮像対象とし、この位置に該当する、前方撮像画像における照度値の配列ＸＬを特定する。
【００６７】
つまり、例えば、図８において、後方撮像装置２による後方撮像画像においてｒ３位置に相当する位置に存在する車両まで検出することができるのであれば、このｒ３位置を撮像対象とし、このｒ３位置に相当する配列ＸＬを特定する。そして、これに基づき次回撮像時の後方撮像装置２における露光制御を行う。
したがって、次回撮像時には、ｒ３位置に相当する領域が撮像対象として撮像が行われ、このとき、後方撮像装置２の露光制御は、先に先方撮像装置１によって撮像された前方撮像画像に基づき検出された実際のｒ３位置に相当する領域の照度値に応じて設定されているから、ｒ３位置に適した露光制御がなされた状態で後方撮像装置２による撮像が行われることになる。よって、ｒ３位置における物体を検知しやすい後方撮像画像を得ることができることになり、車両後方から他車両が接近したとしても、この接近した他車両を、後方撮像画像において容易的確に検出することができ、より早い段階で検出することができることになる。
【００６８】
そして、例えば、自車両がトンネルに差しかかり、図２１（ａ）に示すように、トンネル内部に入った場合には、後側方車両が検出されないことから、引き続きｒ３位置に相当する配列ＸＬに基づき後方撮像装置２における露光制御が行われ、つまり、後方撮像画像遠方を撮像対象として露光制御が行われる。したがって、後方撮像画像においてトンネル内に相当する領域については、黒っぽくなって不鮮明な画像となり物体を検知しにくいものの、トンネル外に相当する領域については、物体を検知しやすい画像を得ることができる。つまり、後側方車両を検出しやすい後方撮像画像を得ることができるから、後側方車両をより早い段階で検出することができる。
【００６９】
そして、トンネル内においては、引き続き後方撮像画像遠方を撮像対象として露光制御が行われることになるから、後側方車両を検出しやすい後方撮像画像を得ることができ、その後、トンネル出口に差しかかると、後方撮像画像において輝度差が大きくなるが、同様に、後方撮像画像遠方を撮像対象として露光制御が行われるから、トンネル内部に相当する領域が撮像対象として露光制御が行われることになって、後側方車両をより早い時点で検出することができる。
【００７０】
一方、後側方車両が検出されている場合には、この自車両と後側方車両との相対位置に基づいて、次回後方撮像装置２により撮像されたときの、この後側方車両位置に対応する照度値が、前方撮像画像における照度値の配列ＸＬに基づいて設定され、この照度値に基づいて後方撮像装置２の露光制御が行われる。
したがって、次回後方撮像装置２によって撮像された後方撮像画像は、後側方車両近傍を撮像対象として露光制御が行われた画像となるから、後側方車両を検出しやすい画像となり、後側方車両の動きを的確に検出することができる。
【００７１】
また、例えば、自車両が図２１（ｂ）に示すように、トンネル内入り口付近に位置し、後側方車両が遠方に存在する場合、後方撮像画像は、輝度差が大きくなるが、このとき、後側方車両を撮像対象として露光制御が行われるから、トンネル内部に相当する領域については、物体を検出しにくいが、トンネル外部に相当する領域は、後側方車両を識別しやすい画像となる。このとき、図２１（ｃ）に示すように、後側方車両が比較的自車両近傍に存在する場合には、後側方車両付近、つまり図２１（ｃ）の場合には、トンネル内部に相当する領域が撮像対象として露光制御が行われることになって、トンネル外部については、物体を検知しにくい画像となるものの、トンネル内部に相当する領域については、物体を検知しやすい画像となり、後側方車両を的確に検出することができる。
【００７２】
また、このとき、後方撮像装置２の露光調整は、前方撮像装置１による前方撮像画像において検出した実際の照度に基づいて設定している。ここで、後方撮像装置２の後方撮像画像から照度を検出し、これに基づいて後方撮像装置２の露光制御を行った場合、前回の撮像時点における撮像対象に基づいて次回の撮像を行うことになり、車両が走行している場合には、前回の撮像対象とは異なる撮像対象に対して、前回の撮像対象に適した露光制御が行われることになる。しかしながら、上述のように、後方撮像装置２で次回撮像対象とする領域を、前方撮像装置１で撮像したときの前方撮像画像に基づき検出した照度値に基づいて、後方撮像装置２の露光制御を行うようにしているから、次回撮像対象とする領域に適した露光制御が行われることになり、撮像対象とする領域に適した露光制御を行うことができる。
【００７３】
したがって、上述のように、トンネルの入り口や出口等、明るさが極端に変化するような環境下においても、後方撮像装置２については、後側方車両が存在する位置、或いは後側方車両が存在しない場合には、後方撮像装置２で撮像可能な遠方位置に適した、光環境の変化に即応した露光制御が行われることになり、安定して良好な画像認識を行うことができ、後側方車両の動きをより高精度に検出することができると共に、後側方車両の出現をより早い段階で的確に検出することができる。
【００７４】
また、夜間に照明の明るい走行路を走行している場合や、夕方等に早めにヘッドライトを点灯した状態等においても、先行車両や、後側方車両が存在する場合には、これら先行車両や後側方車両が存在する位置の実際の照度値に基づいてこれらを検知しやすい照度値となるように露光制御を行い、また、これらが存在しない場合には、撮像画像内の遠方位置における実際の照度値に基づいて、この遠方位置に存在する物体を検知しやすい照度値となるように露光制御を行うようにしているから、先行車両や後側方車両を的確に検知することができ、また、より遠方に位置する時点でこれらを検知することができる。また、この場合も、後方撮像装置２については、前方撮像画像に基づき検出した実際の照度値に基づいて露光制御を行うようにしているから、周囲の輝度変化に速やかに対応して適切な露光制御を行うことができ、後側方車両をより的確に検出することができる。
【００７５】
また、このように、前方撮像装置１による前方撮像画像の各領域の実際の照度値を検出し、これに応じて前方撮像装置１及び後方撮像装置２の露光制御を行うから、撮像対象とする領域に適した露光制御を行うことができ的確な撮像画像を得ることができる。
なお、上記実施の形態においては、前方撮像装置１による前方撮像画像に基づいて、後方撮像装置２の露光制御を行うようにした場合について説明したが、例えば、自車両が後進する場合には、後方撮像装置２による後方撮像画像に基づいて前方撮像装置１の露光制御を行うようにしてもよい。つまり、自車両が後進する場合には、後方撮像装置２による後方撮像画像を、上記実施の形態における前方撮像画像とし、前方撮像装置１による前方撮像画像を、上記実施の形態における後方撮像画像として取り扱い、例えば、車両の進行方向を検出する進行方向検出手段を設け、この進行方向検出手段で後進を検出した場合には、後方撮像装置２の後方撮像画像に対し、上記前方撮像画像に対する処理と同様の処理を行って照度値を検出し、これに基づき、前方撮像装置１の露光制御を行うようにすればよい。このとき、車両前方に車両が存在する場合にはこの車両を撮像対象として前方撮像装置１の露光制御を行い、車両前方に車両が存在しない場合には、前方撮像装置１で撮像可能な遠方位置に相当する領域を撮像対象として露光制御を行うようにすればよい。
【００７６】
また、上記実施の形態においては、前方撮像装置１及び後方撮像装置２の二つの撮像装置を設けた場合について説明したが、必ずしも前方を撮像する装置及び後方を撮像する装置の２つの撮像装置である必要はなく、１つ或いは３以上の撮像装置により時間差をもって同一の撮像対象を撮像するような場合であっても適用することができる。つまり、この場合には、ある撮像対象領域を先の時点で撮像した撮像画像に基づいて照度値を検出しておき、この撮像対象領域を次の時点で撮像するときに、この撮像対象を先の時点で撮像したときの照度値に基づいて、撮像装置の露光制御を行うようにすればよい。
【００７７】
また、上記実施の形態においては、前方撮像装置１による前方撮像画像において、先行車両が存在する場合にはこの先行車両に合わせて露光制御を行い、先行車両が存在しない場合には前方撮像画像の遠方位置に相当する領域に合わせて露光制御を行うようにし、先行車両を検出しやすい画像を得ることができるように前方撮像装置１の露光制御を行うようにした場合について説明したが、これに限るものではなく、例えば、レーンマークを検出しやすい画像を得ることができるように、前方撮像装置１の露光制御を行うようにしてもよい。
【００７８】
ここで、上記実施の形態において、前方撮像装置１が前方撮像手段に対応し、後方撮像装置２が後方撮像手段に対応し、図５のステップＳ８及び図６のステップＳ１３〜ステップＳ１８において、測光領域を設定しこれに基づいて照度絶対値を検出し記憶する処理が画像調整手段に対応し、図６のステップＳ１３からステップＳ１８の処理が調整情報検出手段に対応し、図９のステップＳ２１、Ｓ２２、Ｓ２６の処理が検索手段に対応し、ステップＳ２３、Ｓ２７の処理が調整手段に対応し、図１０のステップＳ３１からステップＳ３４の処理が後側方接近車両検出手段に対応している。
【図面の簡単な説明】
【図１】本発明を適用した、画像認識装置の一例を示す概略構成図である。
【図２】図１の前方撮像装置１及び後方撮像装置２の撮像範囲を説明するための説明図である。
【図３】本発明を適用した画像認識装置の一例を示すブロック図である。
【図４】図２のコントローラ１０の機能構成を示すブロック図である。
【図５】露光制御処理の処理手順の一例を示すフローチャートである。
【図６】図４中の、前方撮像装置の露光制御処理の処理手順の一例を示すフローチャートである。
【図７】測光領域の設定方法を説明するための説明図である。
【図８】測光領域の設定方法を説明するための説明図である。
【図９】図４中の、後方撮像装置の露光制御処理の処理手順の一例を示すフローチャートである。
【図１０】後方監視処理の処理手順の一例を示すフローチャートである。
【図１１】図１０中の、接近車両検出処理の処理手順の一例を示すフローチャートである。
【図１２】レーンマークを検出するための検出領域Ｍａの一例である。
【図１３】撮像座標系と道路座標系との関係を説明するための説明図である。
【図１４】前時点までのレーンマークの位置座標のデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］を、今回の撮像画像の座標軸上の位置座標に変換する際の変換方法を説明するための説明図である。
【図１５】後側方の車両を検出するための検出領域Ｍｂの一例である。
【図１６】後側方車両を検出するための説明図である。
【図１７】後側方車両検出のためのオプティカルフローの作成方法を説明するための説明図である。
【図１８】図１０中の、警報処理の処理手順の一例を示すフローチャートである。
【図１９】前方撮像装置１による前方撮像画像の一例を示す説明図である。
【図２０】前方撮像装置１による前方撮像画像の一例を示す説明図である。
【図２１】後方撮像装置２による後方撮像画像の一例を示す説明図である。
【符号の説明】
１ 前方撮像装置
２ 後方撮像装置
５ 方向指示器スイッチ
６ 操舵角センサ
７ 車輪速センサ
８ 警報装置
１０ コントローラ
【発明の属する技術分野】
この発明は、自車両周囲の画像を撮像し、これに基づき自車両周囲に存在する物体を検出するようにした画像認識装置に関し、特に、露光制御を的確に行うようにした画像認識装置に関する。
【０００２】
【従来の技術】
従来より、自車両周囲を撮像手段によって撮像し、この撮像画像によって自車両周囲の物体を検出し、この物体の位置情報を、車両の自動制御又は一部自動制御に用いる技術が提案されている。
例えば、特開２００１−８１９５号公報等においては、ＣＣＤカメラの撮像明度信号に基づき、その明度レベルに応じて昼間、薄暮、夜間の何れであるかを判断し、また、ヘッドライド、フォグランプ等のオンオフ信号やライトレベル切り替え信号といったライト信号と、ワイパのオンオフ信号、ワイピング周期切り替え信号といったワイパ信号とに基づいて、自車両の周囲環境を予測し、さらに、Ａ／Ｔシフト位置、車速、信号等に基づいて車両が前進しているか／後退しているか、また、低速、中速、高速の何れで走行しているのかを判断し、これらに基づき、ＣＣＤカメラの絞り調整を、車両後退時のリアビュー用、昼間用、夜間用の３種類から選択するようにしている。このように、自車両の周囲環境に応じた絞りに設定することによって、より鮮明な画像を得るようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の絞り調整方法においては、絞り調整を、リアビュー用、昼間用、夜間用の３種類のみから選択設定するようにしているため、例えばトンネル等の明るさが急激に変化する状況や、夜間でも照明が明るい状況、また、夕方などで、早めにヘッドライトを点灯した状況等において、ＣＣＤカメラの絞り調整を的確に行うことができず、真っ黒或いは真っ白になる等といった不鮮明な撮像画像になってしまうという問題がある。
【０００４】
そこで、この発明は、上記従来の未解決の問題に着目してなされたものであり、ＣＣＤカメラ等の撮像手段の絞り調整を、より的確に行うことの可能な画像認識装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る画像認識装置は、車両に搭載され且つ車両進行方向前方を撮像する前方撮像手段及び車両進行方向後方を撮像する後方撮像手段を備えており、撮像画像の画像状態を調整するための後方撮像手段に対する画像調整を行う際には、前方撮像手段で撮像した車両進行方向前方の撮像画像に基づいて行われる。
【０００６】
したがって、前方撮像手段で撮像した撮像画像のうち、後方撮像手段が次に撮像対象としている領域に相当する撮像画像に基づいて、後方撮像手段の画像調整を行うことによって、後方撮像手段が次に撮像対象としている領域の実際の状況に応じて後方撮像手段の画像調整が行われることになる。
【０００７】
【発明の効果】
本発明に係る画像認識装置によれば、車両進行方向後方を撮像する後方撮像手段に対する画像調整を、車両進行方向前方を撮像する前方撮像手段で撮像した撮像画像に基づいて行うようにしたから、例えば、後方撮像手段が次に撮像対象とする領域に相当する、前方撮像手段で先に撮像した撮像画像に基づいて、後方撮像手段の画像調整を行うことによって、後方撮像手段が撮像対象とする領域の実際の状況に適した画像調整を行うことができ、撮像対象に対する撮像環境が急に変化するような場合であっても、この撮像環境の変化を考慮して後方撮像手段に対する画像調整が行われているから、鮮明な画像を得ることができる。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本発明を適用した車両用画像認識装置の一実施形態を示す構成図である。
図１において、前方撮像装置１及び後方撮像装置２は、ＣＣＤカメラ等のＣＣＤ撮像素子のような撮像デバイスで構成され、前方撮像装置１は、例えば、車幅方向中央の、車室内のフロントウィンドウ上部に取り付けられ、図２に示すように、車両前方の道路を含む車両の周囲環境を撮像する。また、後方撮像装置２は、例えばトランクリッドの後端部内側に埋設され、図２に示すように、後側方車両や道路白線等を撮像する。
【０００９】
また、車両の適所には、図３に示すように、ドライバによる方向指示器の操作を検出する方向指示器スイッチ５、図示しないステアリングホイールの操舵角を検出する操舵角センサ６、各車輪の車輪速を検出する車輪速センサ７が配設され、これらセンサの検出信号及び前記前方撮像装置１及び後方撮像装置２による撮像情報は、コントローラ１０に入力される。コントローラ１０は、前記前方撮像装置１及び後方撮像装置２からの撮像情報、及び各種センサの検出信号に基づいて、前方撮像装置１及び後方撮像装置２の絞り調整を行うための後述の露光制御処理を実行すると共に、自車両後方を監視するための後述の後方監視処理を実行し、自車両への接近車両の有無を監視して、必要に応じて警報を発生させる。なお、前記露光制御処理及び後方監視処理は、例えば割り込み処理によって所定周期で実行されるようになっている。
【００１０】
図４は、コントローラ１０の機能構成を示す機能ブロック図であって、前方撮像装置１による撮像画像からレーンマークを検出する前方レーンマーク検出手段２１、この前方レーンマーク検出手段２１で検出したレーンマークに基づいて先行車両を検出する先行車検出手段２２、前方撮像装置１による撮像画像に対し、後述の走行状態検出手段４１からの操舵角、前述の前方レーンマーク検出手段２１からのレーンマークと自車両との相対位置関係等に基づいて照度値を検出するための測光領域を設定する測光領域設定手段２６、測光領域設定手段２６で設定した測光領域内の照度値を演算する照度演算手段２７、当該照度演算手段２７で演算した照度データを記憶するための照度データ保存手段２８、照度演算手段２７で演算した照度データ、先行車検出手段２２での検出結果に基づいて前方撮像装置１の露光制御を行う前方露光制御手段２９、後方撮像装置２による撮像画像、走行状態検出手段４１の各種検出結果、後述の接近車両判定手段４９及び相対位置、速度、加速度算出手段５０の各種検出結果、及び照度データ保存手段２８で保存した前方撮像装置１による撮像画像における照度データをもとに後方撮像装置２の露光制御を行う後方露光制御手段３１を備えている。
【００１１】
また、方向指示器スイッチ５、操舵角センサ６、車輪速センサ７の検出信号をもとに、自車両の走行状態を検出する走行状態検出手段４１、走行状態検出手段４１の検出結果に基づいてヨー角を検出するヨー角検出手段４２、走行状態検出手段４１の検出結果及びヨー角検出手段４２の検出結果に基づき後方撮像装置２による後方撮像画像においてレーンマークを検出する後方レーンマーク検出手段４３、後方レーンマーク検出手段４３の検出結果に基づいて、後方撮像画像におけるレーンマーク形状を推定する後方レーンマーク形状推定手段４４、後方レーンマーク形状推定手段４４で推定したレーンマーク形状に基づいて後側方車両を検出するための検出領域を設定する検出領域設定手段４５、検出領域設定手段４５で設定した検出領域において後側方車両の特徴を表す画像特徴点を検出する画像特徴点検出手段４６、後方撮像画像においてレーンマークの消失点を検出する消失点検出手段４７、消失点検出手段４７で検出した消失点に基づいて画像特徴点のオプティカルフローを検出するオプティカルフロー検出手段４８、オプティカルフロー検出手段４８の検出結果に基づいて、接近車両が存在するかを判定する接近車両判定手段４９、接近車両判定手段４９で接近車両を検出したときにこれと自車両との相対関係を検出する相対位置、速度、加速度算出手段５０、この相対位置、速度、加速度算出手段５０での検出結果に基づいて、接近車両と自車両との接触可能性を判断し、これに応じて、警報装置８を作動させる警報判定手段５１を備えている。
【００１２】
図５は、コントローラ１０で実行される、露光制御処理の処理手順の一例を示すフローチャートである。
この露光制御処理では、まず、ステップＳ２で、操舵角センサ６、車輪速センサ７の検出信号を読み込み、各車輪速センサ７の検出信号に基づいて、次式（１）にしたがって、車速Ｖ（ｎ）を算出する。なお、式（１）中のａは、車輪の外径に基づいて設定される定数、Ｗ（ｎ）は、例えば、四輪の車輪速の平均値、後輪の車輪速の平均値、車輪速の最低値、等、公知の手順で算出される車輪速Ｗの代表値である。
【００１３】
Ｖ（ｎ）＝ａ×Ｗ（ｎ） ……（１）
次いで、ステップＳ４に移行し、前方撮像装置１からの画像情報を読み込み、次いでステップＳ６に移行し、前方撮像装置１の露光制御処理を行う。
この露光制御処理では、図６に示すようにまず、ステップＳ１１で、前方撮像装置１による前方撮像画像において、レーンマークの検出を行い、このレーンマークと自車両との位置関係を検出する。このレーンマークの検出は、例えば、微分処理によりエッジ強調を行う方法や、空間フィルタリングを用いてノイズ除去を行う方法等といった、公知の画像処理手法を用いればよい。
【００１４】
次いで、ステップＳ１２に移行し、前記前方撮像画像において、先行車両を検出し、自車両と先行車両との位置関係を検出する。この先行車両の検出は、微分処理により得た特徴形状によるパターン・マッチング処理や、エッジ強調、空間フィルタリングを用いたノイズ除去等による、公知の画像処理手法を用いればよい。また、レーザ等による距離測定手段による先行車両検出と組み合わせた検出を行うようにしてもよく、このようにすることによって、より検出精度、安定性を向上させることができる。
【００１５】
そして、ステップＳ１１の処理でレーンマークを検出することができた場合には、ステップＳ１３からステップＳ１４に移行し、ステップＳ１１で検出したレーンマークと自車両との位置関係とに基づいて、前記前方撮像画像の、自車両の走行路に相当する領域に、図７（ａ）に示すように、測光領域ｆ１〜ｆ３を設定する。なお、この測光領域は、ここでは、複数設定しているが、１つでもよく、任意数の測光領域を設定することができ、また、その大きさも任意に設定することができる。
【００１６】
そして、測光領域を複数設定する場合には、例えば図８に示すように、自車両の進行方向における実際の距離が等間隔となるように設定する。
このとき、操舵角センサ６からの操舵角φに基づき、自車両が直線路を走行していると判定されるときには、図７（ａ）に示すように、左右のレーンマークの中央に測光領域を設定し、自車両がカーブ路を走行していると判定されるときには、図７（ｂ）に示すように、自車両とレーンマークとの相対位置関係に基づいて、前方撮像画像において、自車両が走行すると予測される位置に測光領域が設定されるように、レーンマークとの横方向位置を調整する。
【００１７】
一方、前記ステップＳ１１の処理でレーンマークを検出することができなかった場合には、ステップＳ１３からステップＳ１５に移行し、操舵角φに基づいて測光領域の横方向位置を調整する。例えば、前記ステップＳ２で算出した車速Ｖと操舵角センサ７で検出された操舵角φに基づいて次式（２）にしたがって旋回半径Ｒを算出する。そして、この旋回半径Ｒに応じたレーンマーク位置と、直進時におけるレーンマーク位置及び直進時の測光領域とを前方撮像画像上に想定し、これらレーンマーク位置の差異に基づいて直進時の測光領域の横位置を調整し、操舵角φに応じた測光領域を設定する。なお、（２）式中のＬは自車両のホイールベース長、Ｋは自車両のスタビリティファクタ、Δｔは、前回処理実行時から今回処理実行時までの経過時間である。
【００１８】
Ｒ（ｎ）＝Ｌ／φ（ｎ）×（１＋Ｋ×Ｖ（ｎ）２ ） ……（２）
そして、前記ステップＳ１４又はステップＳ１５で、測光領域を設定したならば、ステップＳ１６に移行し、各測光領域内について各画素を探索して画像濃度値を算出する。次いでステップＳ１７に移行し、ステップＳ１５で算出した各測光領域における画像濃度値と、前方撮像装置１の光電変換特性とに基づいて、各測光領域についてその照度値の絶対値を算出し、これを配列ＬＸ（ｎ，ｐ）と対応付けて所定の記憶領域に格納する（ステップＳ１８）。なお、前記配列ＬＸ（ｎ，ｐ）において、ｎは、時点ｎにおける前方撮像画像を識別するためのフレーム番号、ｐは、測光領域の位置番号を表す。
【００１９】
次いで、ステップＳ１９に移行し、今回の前方撮像画像における各照度値や各画像濃度値に基づき、次回撮像時の前方撮像装置１の露光特性を決定する制御値として、例えば、シャッタ速度、ゲイン値等を設定する。
具体的には、先行車両が存在する場合には、前方撮像画像において先行車両の存在位置に相当する領域又はその近傍の領域に設定された測光領域における照度値に基づいて露光制御を行う。一方、先行車両が存在しない場合には、前方撮像画像において自車両からの実際の距離が最も遠方となる測光領域における照度値に基づいて露光制御を行う。
【００２０】
そして、図５に戻って、ステップＳ８に移行し、次に、後方撮像装置２に対する露光制御を行う。
この後方撮像装置２に対する露光制御は、図９に示すように、まず、ステップＳ２１で、自車両の後側方に接近車両が存在するか否かを判断する。この判断は、後述の、後方監視処理における前回の接近車両の有無の検出結果に基づいて行う。
【００２１】
そして、後側方に接近車両が存在する場合には、ステップＳ２２に移行し、各時点における前方撮像画像のうち、後方撮像装置２による次の撮像時点ｎ＋１における後側方接近車両の到達位置に相当する前方撮像画像を特定する。この特定した前方撮像画像における各測光領域の照度値を、撮像時点ｎ＋１における後方撮像画像に相当する照度値として設定する。
【００２２】
ここで、前記図８に示すように、前方撮像画像において自車両に最も近い測光領域に相当する位置から自車両先端までの実際の距離をＬｆ１、自車両の全長をＬｆ、後方撮像装置２による後方撮像画像における測光位置ｒ１に相当する位置から自車両後端までの実際の距離をＬｒ１としたとき、次式（３）が成り立つ。なお、式（３）中の、Ｖ（ｎ）は各前方画像撮像時点における車速を表し、Ｆは、１秒間における前方撮像画像のフレーム数（例えば３０フレーム／秒程度）を表す。
【００２３】
【数１】
したがって、前記（３）式を満足するｍを検出することによって、前方撮像画像の測光位置ｆ１での照度値データから、後方撮像画像の測光位置ｒ１での照度値を推定することができる。つまり、後方撮像画像の測光位置ｒ１における照度値は、次式（４）で表すことができる。なお、式（３）及び（４）中のｍは、次の撮像時点における後方撮像画像において測光位置ｒ１に相当する、前方撮像画像の測光位置ｆ１が属する前方撮像画像のフレーム番号を表す。また、ｐは、自車両先端から実際の距離Ｌｆ１だけ離れた位置に相当する領域に設定される測光領域に相当する。
【００２５】
ＬＸｒ１＝ＬＸ（ｍ，ｐ） ……（４）
つまり、以前の撮像時点ｍにおける前方撮像画像の測光位置ｆ１における照度値が、次の撮像時点における後方撮像画像の測光位置ｒ１に当てはまることになる。なお、ここでは、前方撮像画像の測光位置ｆ１から後方撮像画像の測光位置ｒ１に当てはめているが、前方撮像画像の測光位置ｒ２に当てはめたり、また、前方撮像画像の測光位置ｆ２から後方撮像画像の測光位置ｒ１に当てはめたり、前方撮像画像の測光位置ｆ３から後方撮像画像の測光位置ｒ１に当てはめたりすることも可能である。同様に、前方撮像画像の測光位置ｆ１、ｆ２、ｆ３を、測光位置ｒ２、ｒ３に当てはめることも可能である。
【００２６】
そして、このようにして照度値を特定したならば、ステップＳ２３に移行し、特定した照度値に基づいて 後方撮像装置２の露光特性を決定する制御値として、シャッタ速度、ゲイン値等を設定する。このように設定することによって、実際の照度に適した制御値が設定されることになる。
なお、このとき、後側方車両の車両位置を測光位置としてこの測光位置に対応する照度値を特定し、これに基づき露光制御を行う。つまり、後方撮像画像において、後側方車両を良好に識別することが可能な後方撮像画像を得ることができるように露光制御を行う。
【００２７】
一方、前記ステップＳ２１で後側方接近車両が存在しない場合には、ステップＳ２６に移行し、後方撮像装置２により撮像した後方撮像画像において車両を検出することの可能な最大距離位置に適した照度値を検出し、ステップＳ２７に移行して、ステップＳ２６で求めた照度値を実現し得る、制御値を、後方撮像装置２の露光特性の制御値として設定する。
【００２８】
このように後側方から接近してくる車両の位置に露光を合わせることにより、後側方車両を検出しやすい後方撮像画像を得ることができる。また、後側方から接近する車両が存在しない場合には検出可能な最大距離の位置で、最も検出しやすい状態の後方撮像画像を得ることができる。
このようにして、後方撮像装置２の露光制御が終了すると図５に戻って、露光制御処理を終了する。
【００２９】
図１０は、後方監視処理の処理手順の一例を示すフローチャートである。
この後方監視処理では、まず、ステップＳ３１において、方向指示器スイッチ５、操舵角センサ６、車輪速センサ７の検出信号を読み込み、ステップＳ３２に移行して、各車輪速センサ７からの検出信号に基づき前述のようにして、車速Ｖを算出する。
【００３０】
次いで、ステップＳ３３に移行し、後方撮像装置２からの撮像情報を読み込み、この後方撮像情報に基づいてステップＳ３４で接近車両検出処理を行う。
この接近車両検出処理では、図１１に示すように、まず、ステップＳ４１で、後方撮像画像においてレーンマークの検出を行う。このレーンマークの検出は、図１２にハッチングで示す後方撮像画像の左右及び下部側の端部の検出領域Ｍａに対して行い、後方撮像画像の端部とレーンマークとの交点の位置座標を検出する。図１２は、自車両が３車線の中央の走行路を走行している場合の自車両後方の撮像画像であって、この場合には、自車両から後方をみたときの自車両の左側の走行路のレーンマークＰｌ１、Ｐｌ２の位置座標（ｘ，ｙ）と、自車両の右側の走行路のレーンマークＰｒ１、Ｐｒ２（ｘ，ｙ）の位置座標とを検出する。
【００３１】
なお、後方撮像画像上における位置（ｘ，ｙ）は、図１３に示すように、後方撮像画像の左上端を基準として右方向を正とするｘ軸上の座標であり且つ左上端を基準として下方向を正とするｙ軸上の座標である。
このレーンマークの検出は、例えば撮像画像におけるレーンマークと道路面との輝度差を利用し、微分処理によるエッジ強調や、空間フィルタリングを用いたノイズ除去等の画像処理手法を用いてレーンマークを表す近似線を特定し、この近似線上の点をレーンマークとして検出する。なお、ここでは、演算量を削減する目的で検出領域Ｍａに対してのみレーンマークの検出を行うようにした場合について説明したが、これに限るものではなく、例えば、後方撮像画像の全域についてレーンマークの検出を行うようにしてもよい。
【００３２】
また、ここでは、自車両後部に設けた後方撮像装置２による後方撮像画像からレーンマーク位置を検出するようにしているが、前方撮像装置１による車両前方の前方撮像画像からレーンマークを検出し、レーンマーク位置に対する自車両位置、ヨー角θを算出し、これらに基づいて前方撮像画像から検出したレーンマークから後方撮像画像におけるレーンマーク位置を推定するようにしてもよい。また、後方撮像画像からレーンマークを検出し、さらに前方撮像画像に基づいて後方撮像画像におけるレーンマークを推定し、両者のうち何れか良好に検出することのできた方に基づいてレーンマーク位置を特定するようにしてもよい。
【００３３】
このようにして、後方撮像画像におけるレーンマーク位置を推定したならば、ステップＳ４２に移行し、後方撮像画像におけるレーンマークの位置座標（ｘ，ｙ）を、次式（５）に基づいて、図１３に示すように、画像座標から道路座標へ変換し、道路座標上でのレーンマークの位置座標（Ｘ，Ｚ）を算出する。なお、道路座標は、図１３に示すように、後方撮像装置２のレンズの中心点を基準として車幅方向右側を正とするＸ軸上の座標でありまた、Ｚは自車両よりも焦点距離ｆだけ後方の位置を基準とし車両前後前後方向後側を正とするＺ軸上の点である。
【００３４】
【数２】
なお、式（５）中のｆは、後方撮像装置２の焦点距離、Ｈは、後方撮像装置２の取り付け高さである。
なお、道路環境によっては、レーンマークを検出できない場合がある。このような場合には、方向指示器の操作状況と、操舵角とに基づいて、以下の手順で後方道路座標上におけるレーンマークの位置座標（Ｘ，Ｚ）を算出する。
【００３６】
つまり、まず、方向指示器スイッチ５の検出信号と、操舵角センサ６からの操舵角φと、に基づいて、自車両が、直進路を走行しているか、カーブ路を走行しているか、車線変更中であるかを判定し、これに応じてレーンマーク位置を推定する。
まず、方向指示器がオフであり、操舵角φが零もしくは零近傍の一定値範囲内に り、操舵が行われていないとみなすことができるときには、自車両は直進路を走行していると判定する。直進路を走行している場合には、後方撮像装置２による撮像軸は、前回と同じであるとみなすことができるから、道路画像上のレーンマークの位置座標（Ｘ，Ｚ）として前回値を設定する。
【００３７】
ここで、道路画像上におけるレーンマークの位置座標（Ｘ，Ｚ）は、自車両の現在位置を基準として設定されているから、前回算出時の位置座標（Ｘ，Ｚ）に、位置座標算出周期当たりの自車両の前後方向移動分ΔＺ及び左右方向移動分ΔＸを加算することによって、前回算出時の位置座標（Ｘ，Ｚ）を今回算出時の位置座標と同じ座標軸上の座標に変換することができる。
【００３８】
したがって、各処理実行時に算出されたレーンマークの位置座標（Ｘ，Ｚ）からなるデータ群を［Ｘ（Ｎ），Ｙ（Ｎ）］としたとき、このデータ群のそれぞれに、位置座標算出周期当たりの自車両の前後方向移動分ΔＺ及び左右方向移動分ΔＸを加算することによって、前回以前に算出した位置座標からなるデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］を、順次、今回算出時の位置座標と同じ座標軸上の座標に変換することができる。なお、前記道路画像上の位置座標のデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］は、１車線道路である場合には車線両端の２本のレーンマークに相当する２つのデータ列、２車線道路である場合には３本のレーンマークに相当する３つのデータ列、３車線道路である場合には４本のレーンマークに相当する４つのデータ列から構成される。
【００３９】
一方、方向指示器がオフであり、且つ操舵角が零よりも大きい、又はしきい値以上であり操舵が行われているとみなすことができる場合には、カーブ中であるとみなすことができる。
この場合には、図１４（ａ）に示すように、操舵角φから算出される旋回半径Ｒｃと、後方撮像装置２の取り付け位置とから算出することができる。つまり、後方撮像装置２の今回の撮像軸は、前回の撮像時点における撮像軸に対し、旋回分のヨー角Δθを持つことになる。
【００４０】
前回までのデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］は、発生したヨー角Δθ及び、自車両の移動量ΔＸ及びΔＺに基づいて補正することによって、今回の撮像画像座標上の座標に変換されることになる。
ここで、前記旋回分のヨー角Δθは、車輪速センサ７からの各車輪速に基づく今回検出時の車速Ｖ（ｎ）と操舵角センサ６からの前回検出時の操舵角φ（ｎ−１）とに基づき前記（２）式にしたがって、旋回半径Ｒｃを算出する。そして、旋回半径Ｒｃに基づいて次式（６）にしたがって、ヨー角Δθを算出する。
【００４１】
Δθ（ｎ）＝ΔＳ（ｎ）／２πＲｃ（ｎ）×３６０° ……（６）
ΔＳ（ｎ）＝Ｖ（ｎ）×Δｔ
一方、方向指示器がオンのときには、車線変更中と判断する。そして、前回までの位置座標のデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］に基づいて、その連続性から、直進路を走行しているのか、カーブ路を走行しているのを判断する。
【００４２】
そして、直進路から車線変更を行う場合には、図１４（ｂ）に示すように、レーンマークは前回処理実行時から直線的に連続していると仮定することができ、また、この場合、今回の後方撮像装置２による撮像軸は、前回の撮像軸に比較して旋回分のヨー角Δθを持つことになるので、今回の後方撮像画像におけるレーンマーク位置は、前回のレーンマーク位置に対して、自車両前後方向への変化分ΔＸと、旋回分のヨー角Δθとに応じて補正した位置となる。
【００４３】
したがって、前回までの位置座標のデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］は、発生したヨー角Δθ及び移動分ΔＸ及びΔＺに基づいて補正することによって、今回の撮像画像の座標軸上の位置座標に変換されることになる。
そして、カーブ路から車線変更を行う場合には、前回までの位置座標のデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］から、公知の手順でカーブ路半径Ｒｃを推定する。そして、今回のレーンマーク位置を、カーブ路半径Ｒｃと、後方撮像装置２の取り付け位置とから算出する。つまり、今回の後方撮像装置２の撮像軸は、前回の撮像軸に対して旋回分のヨー角Δθを持つことになる。
【００４４】
したがって、前回までの位置座標のデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］は、これらを発生したヨー角Δθ及び自車両の移動量ΔＸ、ΔＺに応じて補正することによって今回の撮像画像座標上の座標に変換されることになる。
以上の処理を連続的に行い、位置座標のデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］を順次更新することによって、今回の後方撮像画像座標上における、レーンマーク位置を検出することができる。
【００４５】
このようにして、後方撮像画像座標上におけるレーンマーク位置を検出すると、次にステップＳ４３に移行し、ステップＳ４２で得られたレーンマークの位置座標のデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］に基づいて後方撮像画像におけるレーンマークの境界線を求める。これは、例えば、位置座標のデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］の前後する位置座標を直線でつないでレーンマークの境界線としてもよく、また、位置座標に基づいて曲線近似線を算出しこれをレーンマークの境界線としてもよい。
【００４６】
次いで、ステップＳ４４に移行し、後方から接近する他の車両を検出するための検出領域Ｍｂの設定を行う。この検出領域Ｍｂは、図１５に示すように、自車両の走行路の隣の走行路に相当する領域に設定する。つまり、自車両を走行している走行路と、自車両から走行路１つおいた隣の走行路を走行する車両は、自車両と接触する危険性はないので、検出領域としないようにしている。
【００４７】
次いで、ステップＳ４５に移行し、後方撮像画像に設定された検出領域Ｍｂにおいて探索を行い、他車両の画像と、道路面や背景等の画像との輝度差を利用して、他車両の画像の境界を検出する。この検出方法としては、微分処理によるエッジ強調や、空間フィルタリングを用いたノイズ除去等の画像処理手法を用いればよい。
【００４８】
そして、検出した他車両の境界から、図１６に示すように、予め定められた所定の条件に適合する特徴点Ｅを抽出する。なお図１６においては、特徴点Ｅとして１つの特徴点を抽出するようにしているが、複数抽出するようにしてもよい。次いで、ステップＳ４６に移行し、今回の後方撮像画像と、前回の後方撮像画像とに基づいて、後方撮像画像上における消失点ＦＯＥを検出する。具体的には、図１７に示すように、後方撮像装置２の取り付け位置より算出される撮像画像上のＦＯＥ位置を基準ＦＯＥとし、時間的に連続する２つの後方撮像画像から、特徴点Ｅのマイナスベクトルが向かう収束点、又はプラスベクトルが遠ざかる起点を消失点ＦＯＥとして検出し、基準ＦＯＥを算出した消失点ＦＯＥに置き換え、順次この処理を繰り返し行って消失点ＦＯＥを更新する。或いは、基準ＦＯＥを規定の割合に応じて補正するようにしてもよい。また、走行路に白線等の道路区分線が存在する場合には、後方撮像画像の中から、微分処理によるエッジ強調や、空間フィルタリングを用いたノイズの除去等の画像処理手法を用いて白線検出を行い、その検出結果に基づいて白線曲線の延長線を求め、その検出結果に基づいて消失点ＦＯＥを算出し基準ＦＯＥを算出した消失点ＦＯＥに置き換えるようにしてもよい。また、前方撮像装置１の前方撮像画像に基づいて道路白線形状を検出し、その検出結果に基づいて消失点ＦＯＥを算出するようにしてもよい。
【００４９】
次いでステップＳ４７に移行し、今回の後方撮像画像において、前回処理実行時に算出した特徴点Ｅ（ｎ−１）と前回の消失点ＦＯＥとを通る直線上に位置する特徴点Ｅ（ｎ）を検索することによって、今回検出した特徴点Ｅ（ｎ）に対応する前回の特徴点Ｅ（ｎ−１）を特定し、特徴点Ｅ（ｎ−１）から特徴点Ｅ（ｎ）に向かうベクトルを算出してオプティカルフローＯＰ（ｎ−１）を形成する。この処理を繰り返し行うことによって、各時点における後方撮像画像における同一の特徴点を結ぶオプティカルフローＯＰが形成されることになる。
【００５０】
そして、このようにしてオプティカルフローＯＰを形成した後、ステップＳ４８に移行し、ステップＳ４７で検出されたオプティカルフローＯＰの大きさや、向きなどに基づいて、オプティカルフローのうちから自車両に接近する物体のオプティカルフローを選出すると共に、同じ物体によるオプティカルフローをグループ化して後続車両を検出する。
【００５１】
このようにして後続車両の検出を行ったならば、図１０に戻ってステップＳ３５に移行し、警報処理を行う。
この警報処理は、図１８に示すように、まず、ステップＳ５１で、ステップＳ３４での接近車両検出処理で検出した、後続車両の撮像画像上の位置の連続する後方撮像画像間の移動量から、自車両と他車両との相対位置、相対速度及び加速度を算出する。
【００５２】
次いで、ステップＳ５２に移行し、他車両との接触の可能性の判断を行う。この判断は、例えば、他車両が自車両に追いつくまでに要する所要時間Ｔを例えば次式（７）にしたがって推定し、方向指示器センサ５の検出信号に基づき方向指示器がオン状態となっており、且つ追いつくまでの所要時間Ｔがしきい値Ｔα以下であるときに危険性ありと判定する。
【００５３】
Ｔ＝［（ΔＶ２ ＋２＊ΔＡ＊Ｓ）１／２ ＋ΔＶ］／ΔＡ ……（７）
なお、前記しきい値Ｔαは固定値でもよいし、また、自車両と車線変更側のレーンマークまでの距離Ｓｈｒ、自車両の横移動速度Ｖｈに応じて可変設定するようにしてもよい。
なお、ここでは、方向指示器がオンとなっているときに、自車両が車線変更をすると判断するようにした場合について説明したが、例えば、操舵角センサ６の検出信号に基づいて操舵角の変化量から、車線変更を判断するようにしてもよく、また、レーンマークの検出結果と自車牢との相対位置との接近度合によって車線変更を判断するようにしてもよい。
【００５４】
そして、ステップＳ５２での他車両との接触の可能性の判断の結果、自車両と接触する可能性があると判断されるときには、ステップＳ５３の処理で、警報装置８を作動させ、ドライバに注意を促す。
この警報装置８は、例えば、表示器、スピーカ等によって、後方撮像装置２で撮像した後方撮像画像を表示したり、或いは注意を促すメッセージや接近車両位置等を表示して映像によって注意を促すようにしてもよく、また、音声ガイダンス或いは警報音或いは、危険を通知するための音声によって注意を促すようにしてもよい。
【００５５】
なお、他車両が自車両に到達するまでの所要時間だけでなく、自車両の車線変更に伴う他車両への横方向の接近度合を考慮して警報を発生させるようにしてもよく、また、単に、自車両と他作用との接近度合に基づいて警報を発生させるようにしてもよい。
次に、上記実施の形態の動作を説明する。
【００５６】
コントローラ１０では、起動されると、前記後方監視処理を所定周期で実行し、後方監視処理では、後方撮像装置２による後方撮像画像に基づきレーンマークを検出し、自車両が走行する走行路の両隣の走行路上の他車両の有無を検出し、検出した他車両が自車両に接触する可能性があると予測されるときには、警報装置８を作動させてドライバに注意を促す。
【００５７】
コントローラ１０では、この後方監視処理と共に、前記露光制御処理を実行し、前方撮像装置１による前方撮像画像に基づき自車両前方のレーンマークを検出し（ステップＳ１１）、さらに先行車両の有無を検出する（ステップＳ１２）。そしてレーンマークが検出できており、自車両が直線路を走行していると判定されるときには、図７（ａ）に示すように、自車両の走行路の左右のレーンマークの中央に相当する位置に複数、この場合３つの測光領域を設定する。また、自車両がカーブ路を走行していると判定されるときには、図７（ｂ）に示すように、自車両とレーンマークとの相対位置関係に基づいて、複数、この場合３つの測光領域を設定し、このとき、前方撮像画像において、自車両が走行すると予測される位置に相当する領域に測光領域が位置するように、レーンマークとの横方向位置を調整する。また、レーンマークを検出することができなかった場合には、同様に複数の測光領域を設定するが、その横方向位置を、操舵角φに基づいて調整する（ステップＳ１３〜Ｓ１５）。
【００５８】
そして、このようにして設定した測光領域について画像濃度値を求め、前方撮像装置１の光電特性に基づいて各測光領域の照度絶対値を求め、これを配列ＬＸ（ｎ，ｐ）と対応付けて所定の記憶領域に格納する（ステップＳ１６〜Ｓ１８）。
そして、このようにして各測光領域毎に検出した照度絶対値に基づいて、次回の前方撮像装置１による撮像時の露光調整を行い（ステップＳ１９）、このとき、例えば、先行車両が存在しない場合には、自車両から最も遠方に位置する測光領域の照度絶対値に基づいて、前方撮像装置１の露光調整を行う。
【００５９】
したがって、前方撮像装置１による次の撮像タイミングで撮像を行った場合には、このときの露光調整は、自車両から最も遠方に位置する測光領域の照度絶対値に基づいて設定され、つまり、遠方を撮像対象として露光制御が行われるから、遠方ほど良好な撮像画像を得ることができることになり、このとき実際の照度に応じて露光制御が行われることになるから、先行車両が出現した場合には速やかにこれを検出することができることになる。
【００６０】
この状態から、自車両がトンネルの手前に差しかかると、先行車両が存在しないことから、引き続き遠方を撮像対象として露光制御が行われる。したがって、トンネル内とトンネル外とでは輝度差が大きいことから、図１９（ａ）に示すように、前方撮像画像において、トンネル外に相当する領域については白っぽくなり物体を検知しにくいものの、トンネル内に相当する領域については、物体を検知しやすい撮像画像を得ることができ、つまり、トンネル内を走行する先行車両を検出しやすい撮像画像を得ることができることになる。このとき、トンネル外に相当する領域については、前方撮像画像において物体を検知しにくいが、このとき先行車両は存在しないから、物体を検知しにくい前方撮像画像であっても問題はない。
【００６１】
そして、トンネル内を走行中は、先行車両が存在しないことから引き続き遠方を撮像対象として露光制御が行われるが、トンネル内の輝度差は小さいから、トンネル内の照度に応じた露光制御が行われることになって全体に良好な撮像画像を得ることができる。このとき、例えば、トンネル内の照明等によって一部明るい領域がある場合等であっても、前方撮像画像上の照度に応じて遠方を撮像対象として露光制御が行われることになるから、照明に応じた露光制御が行われることになり、良好な撮像画像を得ることができる。
【００６２】
そして、図２０（ａ）に示すように、自車両がトンネル出口に差しかかると、前方撮像画像においてトンネル内とトンネル外とで輝度差が大きくなるが、先行車両が存在しないことから、引き続き遠方を撮像対象として露光制御が行われることになる。したがって、トンネル内に相当する領域については前方撮像画像が黒っぽくなって物体を検知しにくいものの、トンネル外に相当する領域については、物体を検知しやすい撮像画像を得ることができる。したがって、トンネル外を走行する先行車両を検出しやすい撮像画像を得ることができ、このとき、トンネル内に相当する領域については、物体を検知しにくい撮像画像となるが、先行車両が存在しないから問題はない。
【００６３】
そして、自車両がトンネル外を走行する状態となると、引き続き遠方を撮像対象として露光制御が行われ、前方撮像画像の遠方位置に相当するトンネル外の照度に応じた露光制御が行われるが、前方撮像画像内において輝度差は小さいから、全体に良好な撮像画像を得ることができる。
一方、先行車両が存在する場合には、先行車両が存在する位置近傍の測光領域の照度絶対値に基づいて前方撮像装置１の露光調整が行われる。
【００６４】
したがって、次の時点で前方撮像装置１によって撮像を行った場合には、先行車両近傍を撮像対象として露光調整が行われた状態で撮像されることになり、つまり、先行車両近傍に相当する物体を識別可能な画像を得ることができるから、先行車両の動きを的確に検出することができることになる。
そして、例えば図１９（ｂ）に示すように自車両がトンネル入り口に差しかかった場合には、先行車両が存在することから、この先行車両の近傍の測光領域の照度絶対値に基づいて前方撮像装置１の露光調整が行われることになる。また、図２０（ｂ）に示すように、自車両がトンネル出口手前に差しかかった場合には、先行車両が存在することから、この先行車両の近傍の測光領域の照度絶対値に基づいて前方撮像装置１の露光調整が行われることになる。
【００６５】
したがって、トンネルの入り口や出口付近では、トンネル内とトンネル外とで輝度差が大きくなるため、輝度調整が全体に良好な撮像画像を得ることはできないが、先行車両近傍を撮像対象として露光調整が行われた状態で撮像されることになるから、先行車両近傍が良好に輝度調整された画像を得ることができ、先行車両を的確に検出することができ、その動きを的確に検出することができることになる。
【００６６】
一方、後方撮像装置２の露光制御は、前方撮像画像の各測光領域について検出した照度値に基づいて行われ、後方監視処理において、後側方接近車両が存在しないと判断された場合には、後方撮像装置２により撮像した後方撮像画像において車両を検出することの可能な遠方位置を撮像対象とし、この位置に該当する、前方撮像画像における照度値の配列ＸＬを特定する。
【００６７】
つまり、例えば、図８において、後方撮像装置２による後方撮像画像においてｒ３位置に相当する位置に存在する車両まで検出することができるのであれば、このｒ３位置を撮像対象とし、このｒ３位置に相当する配列ＸＬを特定する。そして、これに基づき次回撮像時の後方撮像装置２における露光制御を行う。
したがって、次回撮像時には、ｒ３位置に相当する領域が撮像対象として撮像が行われ、このとき、後方撮像装置２の露光制御は、先に先方撮像装置１によって撮像された前方撮像画像に基づき検出された実際のｒ３位置に相当する領域の照度値に応じて設定されているから、ｒ３位置に適した露光制御がなされた状態で後方撮像装置２による撮像が行われることになる。よって、ｒ３位置における物体を検知しやすい後方撮像画像を得ることができることになり、車両後方から他車両が接近したとしても、この接近した他車両を、後方撮像画像において容易的確に検出することができ、より早い段階で検出することができることになる。
【００６８】
そして、例えば、自車両がトンネルに差しかかり、図２１（ａ）に示すように、トンネル内部に入った場合には、後側方車両が検出されないことから、引き続きｒ３位置に相当する配列ＸＬに基づき後方撮像装置２における露光制御が行われ、つまり、後方撮像画像遠方を撮像対象として露光制御が行われる。したがって、後方撮像画像においてトンネル内に相当する領域については、黒っぽくなって不鮮明な画像となり物体を検知しにくいものの、トンネル外に相当する領域については、物体を検知しやすい画像を得ることができる。つまり、後側方車両を検出しやすい後方撮像画像を得ることができるから、後側方車両をより早い段階で検出することができる。
【００６９】
そして、トンネル内においては、引き続き後方撮像画像遠方を撮像対象として露光制御が行われることになるから、後側方車両を検出しやすい後方撮像画像を得ることができ、その後、トンネル出口に差しかかると、後方撮像画像において輝度差が大きくなるが、同様に、後方撮像画像遠方を撮像対象として露光制御が行われるから、トンネル内部に相当する領域が撮像対象として露光制御が行われることになって、後側方車両をより早い時点で検出することができる。
【００７０】
一方、後側方車両が検出されている場合には、この自車両と後側方車両との相対位置に基づいて、次回後方撮像装置２により撮像されたときの、この後側方車両位置に対応する照度値が、前方撮像画像における照度値の配列ＸＬに基づいて設定され、この照度値に基づいて後方撮像装置２の露光制御が行われる。
したがって、次回後方撮像装置２によって撮像された後方撮像画像は、後側方車両近傍を撮像対象として露光制御が行われた画像となるから、後側方車両を検出しやすい画像となり、後側方車両の動きを的確に検出することができる。
【００７１】
また、例えば、自車両が図２１（ｂ）に示すように、トンネル内入り口付近に位置し、後側方車両が遠方に存在する場合、後方撮像画像は、輝度差が大きくなるが、このとき、後側方車両を撮像対象として露光制御が行われるから、トンネル内部に相当する領域については、物体を検出しにくいが、トンネル外部に相当する領域は、後側方車両を識別しやすい画像となる。このとき、図２１（ｃ）に示すように、後側方車両が比較的自車両近傍に存在する場合には、後側方車両付近、つまり図２１（ｃ）の場合には、トンネル内部に相当する領域が撮像対象として露光制御が行われることになって、トンネル外部については、物体を検知しにくい画像となるものの、トンネル内部に相当する領域については、物体を検知しやすい画像となり、後側方車両を的確に検出することができる。
【００７２】
また、このとき、後方撮像装置２の露光調整は、前方撮像装置１による前方撮像画像において検出した実際の照度に基づいて設定している。ここで、後方撮像装置２の後方撮像画像から照度を検出し、これに基づいて後方撮像装置２の露光制御を行った場合、前回の撮像時点における撮像対象に基づいて次回の撮像を行うことになり、車両が走行している場合には、前回の撮像対象とは異なる撮像対象に対して、前回の撮像対象に適した露光制御が行われることになる。しかしながら、上述のように、後方撮像装置２で次回撮像対象とする領域を、前方撮像装置１で撮像したときの前方撮像画像に基づき検出した照度値に基づいて、後方撮像装置２の露光制御を行うようにしているから、次回撮像対象とする領域に適した露光制御が行われることになり、撮像対象とする領域に適した露光制御を行うことができる。
【００７３】
したがって、上述のように、トンネルの入り口や出口等、明るさが極端に変化するような環境下においても、後方撮像装置２については、後側方車両が存在する位置、或いは後側方車両が存在しない場合には、後方撮像装置２で撮像可能な遠方位置に適した、光環境の変化に即応した露光制御が行われることになり、安定して良好な画像認識を行うことができ、後側方車両の動きをより高精度に検出することができると共に、後側方車両の出現をより早い段階で的確に検出することができる。
【００７４】
また、夜間に照明の明るい走行路を走行している場合や、夕方等に早めにヘッドライトを点灯した状態等においても、先行車両や、後側方車両が存在する場合には、これら先行車両や後側方車両が存在する位置の実際の照度値に基づいてこれらを検知しやすい照度値となるように露光制御を行い、また、これらが存在しない場合には、撮像画像内の遠方位置における実際の照度値に基づいて、この遠方位置に存在する物体を検知しやすい照度値となるように露光制御を行うようにしているから、先行車両や後側方車両を的確に検知することができ、また、より遠方に位置する時点でこれらを検知することができる。また、この場合も、後方撮像装置２については、前方撮像画像に基づき検出した実際の照度値に基づいて露光制御を行うようにしているから、周囲の輝度変化に速やかに対応して適切な露光制御を行うことができ、後側方車両をより的確に検出することができる。
【００７５】
また、このように、前方撮像装置１による前方撮像画像の各領域の実際の照度値を検出し、これに応じて前方撮像装置１及び後方撮像装置２の露光制御を行うから、撮像対象とする領域に適した露光制御を行うことができ的確な撮像画像を得ることができる。
なお、上記実施の形態においては、前方撮像装置１による前方撮像画像に基づいて、後方撮像装置２の露光制御を行うようにした場合について説明したが、例えば、自車両が後進する場合には、後方撮像装置２による後方撮像画像に基づいて前方撮像装置１の露光制御を行うようにしてもよい。つまり、自車両が後進する場合には、後方撮像装置２による後方撮像画像を、上記実施の形態における前方撮像画像とし、前方撮像装置１による前方撮像画像を、上記実施の形態における後方撮像画像として取り扱い、例えば、車両の進行方向を検出する進行方向検出手段を設け、この進行方向検出手段で後進を検出した場合には、後方撮像装置２の後方撮像画像に対し、上記前方撮像画像に対する処理と同様の処理を行って照度値を検出し、これに基づき、前方撮像装置１の露光制御を行うようにすればよい。このとき、車両前方に車両が存在する場合にはこの車両を撮像対象として前方撮像装置１の露光制御を行い、車両前方に車両が存在しない場合には、前方撮像装置１で撮像可能な遠方位置に相当する領域を撮像対象として露光制御を行うようにすればよい。
【００７６】
また、上記実施の形態においては、前方撮像装置１及び後方撮像装置２の二つの撮像装置を設けた場合について説明したが、必ずしも前方を撮像する装置及び後方を撮像する装置の２つの撮像装置である必要はなく、１つ或いは３以上の撮像装置により時間差をもって同一の撮像対象を撮像するような場合であっても適用することができる。つまり、この場合には、ある撮像対象領域を先の時点で撮像した撮像画像に基づいて照度値を検出しておき、この撮像対象領域を次の時点で撮像するときに、この撮像対象を先の時点で撮像したときの照度値に基づいて、撮像装置の露光制御を行うようにすればよい。
【００７７】
また、上記実施の形態においては、前方撮像装置１による前方撮像画像において、先行車両が存在する場合にはこの先行車両に合わせて露光制御を行い、先行車両が存在しない場合には前方撮像画像の遠方位置に相当する領域に合わせて露光制御を行うようにし、先行車両を検出しやすい画像を得ることができるように前方撮像装置１の露光制御を行うようにした場合について説明したが、これに限るものではなく、例えば、レーンマークを検出しやすい画像を得ることができるように、前方撮像装置１の露光制御を行うようにしてもよい。
【００７８】
ここで、上記実施の形態において、前方撮像装置１が前方撮像手段に対応し、後方撮像装置２が後方撮像手段に対応し、図５のステップＳ８及び図６のステップＳ１３〜ステップＳ１８において、測光領域を設定しこれに基づいて照度絶対値を検出し記憶する処理が画像調整手段に対応し、図６のステップＳ１３からステップＳ１８の処理が調整情報検出手段に対応し、図９のステップＳ２１、Ｓ２２、Ｓ２６の処理が検索手段に対応し、ステップＳ２３、Ｓ２７の処理が調整手段に対応し、図１０のステップＳ３１からステップＳ３４の処理が後側方接近車両検出手段に対応している。
【図面の簡単な説明】
【図１】本発明を適用した、画像認識装置の一例を示す概略構成図である。
【図２】図１の前方撮像装置１及び後方撮像装置２の撮像範囲を説明するための説明図である。
【図３】本発明を適用した画像認識装置の一例を示すブロック図である。
【図４】図２のコントローラ１０の機能構成を示すブロック図である。
【図５】露光制御処理の処理手順の一例を示すフローチャートである。
【図６】図４中の、前方撮像装置の露光制御処理の処理手順の一例を示すフローチャートである。
【図７】測光領域の設定方法を説明するための説明図である。
【図８】測光領域の設定方法を説明するための説明図である。
【図９】図４中の、後方撮像装置の露光制御処理の処理手順の一例を示すフローチャートである。
【図１０】後方監視処理の処理手順の一例を示すフローチャートである。
【図１１】図１０中の、接近車両検出処理の処理手順の一例を示すフローチャートである。
【図１２】レーンマークを検出するための検出領域Ｍａの一例である。
【図１３】撮像座標系と道路座標系との関係を説明するための説明図である。
【図１４】前時点までのレーンマークの位置座標のデータ群［Ｘ（Ｎ），Ｙ（Ｎ）］を、今回の撮像画像の座標軸上の位置座標に変換する際の変換方法を説明するための説明図である。
【図１５】後側方の車両を検出するための検出領域Ｍｂの一例である。
【図１６】後側方車両を検出するための説明図である。
【図１７】後側方車両検出のためのオプティカルフローの作成方法を説明するための説明図である。
【図１８】図１０中の、警報処理の処理手順の一例を示すフローチャートである。
【図１９】前方撮像装置１による前方撮像画像の一例を示す説明図である。
【図２０】前方撮像装置１による前方撮像画像の一例を示す説明図である。
【図２１】後方撮像装置２による後方撮像画像の一例を示す説明図である。
【符号の説明】
１ 前方撮像装置
２ 後方撮像装置
５ 方向指示器スイッチ
６ 操舵角センサ
７ 車輪速センサ
８ 警報装置
１０ コントローラ
Claims (11)
- 車両に搭載され且つ車両進行方向前方を撮像する前方撮像手段及び車両進行方向後方を撮像する後方撮像手段を備え、
前記後方撮像手段に対する撮像画像の画像状態を調整するための画像調整を、前記前方撮像手段で撮像した車両進行方向前方の撮像画像に基づいて行うようにしたことを特徴とする画像認識装置。 - 車両に搭載され且つ車両進行方向前方を撮像する前方撮像手段及び車両進行方向後方を撮像する後方撮像手段と、
前記後方撮像手段に対する撮像画像の画像状態を調整するための画像調整を、前記前方撮像手段で先に撮像した撮像画像に基づいて行う画像調整手段と、を備えることを特徴とする画像認識装置。 - 前記画像調整手段は、前記前方撮像手段で撮像した撮像画像に基づき、その画像状態を調整するために必要な調整情報を検出し、これを記憶する調整情報検出手段と、
当該調整情報検出手段で記憶する記憶情報から、前記後方撮像手段で次に撮像対象とする領域に相当する調整情報を検索する検索手段と、
当該検索手段で検索した調整情報に基づいて、前記後方撮像手段の画像調整を行う調整手段と、を備えることを特徴とする請求項２記載の画像認識装置。 - 前記調整情報は、撮像画像に対応する撮像対象領域の照度を表す情報であることを特徴とする請求項３記載の画像認識装置。
- 前記前方撮像手段は車両前部に設けられ且つ前記後方撮像手段は車両後部に設けられ、
前記調整情報検出手段は、前記前方撮像手段で撮像された車両前方の撮像画像から車両前方の照度を表す情報を前記調整情報として検出し、
前記調整手段は、前記車両前方の照度を表す情報に基づいて、前記後方撮像手段の露光調整を行うようになっていることを特徴とする請求項３記載の画像認識装置。 - 後側方接近車両の有無を検出する後側方接近車両検出手段を備え、
前記調整手段は、前記後側方接近車両検出手段での後側方接近車両の検出結果に応じて、前記後方撮像手段に対する画像調整内容を変更するようになっていることを特徴とする請求項３乃至５の何れかに記載の画像認識装置。 - 前記検索手段は、前記後側方接近車両検出手段で前記後側方接近車両を検出したときには、当該後側方接近車両が存在する領域を次の撮像対象領域としてこの領域に相当する調整情報を検索するようになっていることを特徴とする請求項６記載の画像認識装置。
- 前記検索手段は、前記後側方接近車両検出手段で前記後側方接近車両を検出しないときには、前記後方撮像手段による撮像画像において車両を検知可能な最遠方領域を次の撮像対象領域として前記調整情報を検索するようになっていることを特徴とする請求項６又は７記載の画像認識装置。
- 前記調整情報検出手段は、前記前方撮像手段による撮像画像内に複数の測光領域を設定し、この測光領域についてのみ調整情報を検出し、検出した調整情報を、前記撮像画像を特定する情報及び前記測光領域を特定する情報と対応付けて記憶し、
前記検索手段は、後方撮像手段による撮像対象の領域に相当する撮像画像及び測光領域を特定し、特定した撮像画像及び測光領域に該当する調整情報を前記調整情報検出手段で記憶する記憶情報の中から検出するようになっていることを特徴とする請求項３乃至８の何れかに記載の画像認識装置。 - 前記前方撮像手段による撮像画像に基づいて、当該撮像画像の画像調整を行う前方撮像手段用の画像調整手段を備えることを特徴とする請求項２乃至９の何れかに記載の画像認識装置。
- 撮像手段による撮像画像の画像調整を、前記撮像手段が次の撮像対象としている領域をこれ以前に撮像したときの撮像画像に基づいて行うことを特徴とする画像認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002188214A JP3960146B2 (ja) | 2002-06-27 | 2002-06-27 | 画像認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002188214A JP3960146B2 (ja) | 2002-06-27 | 2002-06-27 | 画像認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004032528A true JP2004032528A (ja) | 2004-01-29 |
| JP3960146B2 JP3960146B2 (ja) | 2007-08-15 |
Family
ID=31183032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002188214A Expired - Lifetime JP3960146B2 (ja) | 2002-06-27 | 2002-06-27 | 画像認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3960146B2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006004188A (ja) * | 2004-06-17 | 2006-01-05 | Daihatsu Motor Co Ltd | 障害物認識方法及び障害物認識装置 |
| JP2007274377A (ja) * | 2006-03-31 | 2007-10-18 | Denso Corp | 周辺監視装置、プログラム |
| JP2007300181A (ja) * | 2006-04-27 | 2007-11-15 | Denso Corp | 周辺認識装置、周辺認識方法、プログラム |
| JP2008206033A (ja) * | 2007-02-22 | 2008-09-04 | Mitsubishi Electric Engineering Co Ltd | 撮像装置 |
| JP2009177309A (ja) * | 2008-01-22 | 2009-08-06 | Fuji Heavy Ind Ltd | 撮像手段の調整装置および車外監視装置 |
| JP2009187169A (ja) * | 2008-02-05 | 2009-08-20 | Hitachi Ltd | 走行レーン検出装置 |
| WO2009118057A1 (de) | 2008-03-26 | 2009-10-01 | Robert Bosch Gmbh | Bildaufnahmesystem für ein fahrzeug, fahrzeug, steuereinrichtung und verfahren zur regelung eines bildsensors eines fahrzeugs |
| JP2011233763A (ja) * | 2010-04-28 | 2011-11-17 | Denso Corp | 車載用撮像装置及び車載用画像処理装置 |
| JP2011248830A (ja) * | 2010-05-31 | 2011-12-08 | Nissan Motor Co Ltd | 移動体挙動検出装置及び方法 |
| JP2012124963A (ja) * | 2012-03-15 | 2012-06-28 | Konica Minolta Holdings Inc | 車載用撮像装置および車載用撮像装置の撮像方法 |
| JP2015054598A (ja) * | 2013-09-11 | 2015-03-23 | 本田技研工業株式会社 | 車両用表示装置 |
| WO2016104504A1 (ja) * | 2014-12-25 | 2016-06-30 | 株式会社デンソー | 画像処理システム及び画像処理装置 |
-
2002
- 2002-06-27 JP JP2002188214A patent/JP3960146B2/ja not_active Expired - Lifetime
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006004188A (ja) * | 2004-06-17 | 2006-01-05 | Daihatsu Motor Co Ltd | 障害物認識方法及び障害物認識装置 |
| JP2007274377A (ja) * | 2006-03-31 | 2007-10-18 | Denso Corp | 周辺監視装置、プログラム |
| JP2007300181A (ja) * | 2006-04-27 | 2007-11-15 | Denso Corp | 周辺認識装置、周辺認識方法、プログラム |
| JP4676373B2 (ja) * | 2006-04-27 | 2011-04-27 | 株式会社デンソー | 周辺認識装置、周辺認識方法、プログラム |
| JP2008206033A (ja) * | 2007-02-22 | 2008-09-04 | Mitsubishi Electric Engineering Co Ltd | 撮像装置 |
| JP2009177309A (ja) * | 2008-01-22 | 2009-08-06 | Fuji Heavy Ind Ltd | 撮像手段の調整装置および車外監視装置 |
| JP2009187169A (ja) * | 2008-02-05 | 2009-08-20 | Hitachi Ltd | 走行レーン検出装置 |
| DE102008000819B4 (de) | 2008-03-26 | 2018-12-27 | Robert Bosch Gmbh | Steuereinrichtung zur Steuerung eines Bildsensors, Bildaufnahmesystem und Verfahren zur Regelung eines Bildsensors eines Fahrzeugs |
| WO2009118057A1 (de) | 2008-03-26 | 2009-10-01 | Robert Bosch Gmbh | Bildaufnahmesystem für ein fahrzeug, fahrzeug, steuereinrichtung und verfahren zur regelung eines bildsensors eines fahrzeugs |
| JP2011233763A (ja) * | 2010-04-28 | 2011-11-17 | Denso Corp | 車載用撮像装置及び車載用画像処理装置 |
| JP2011248830A (ja) * | 2010-05-31 | 2011-12-08 | Nissan Motor Co Ltd | 移動体挙動検出装置及び方法 |
| JP2012124963A (ja) * | 2012-03-15 | 2012-06-28 | Konica Minolta Holdings Inc | 車載用撮像装置および車載用撮像装置の撮像方法 |
| JP2015054598A (ja) * | 2013-09-11 | 2015-03-23 | 本田技研工業株式会社 | 車両用表示装置 |
| WO2016104504A1 (ja) * | 2014-12-25 | 2016-06-30 | 株式会社デンソー | 画像処理システム及び画像処理装置 |
| JP2016123021A (ja) * | 2014-12-25 | 2016-07-07 | 株式会社デンソー | 画像処理システム及び画像処理装置 |
| CN107113402A (zh) * | 2014-12-25 | 2017-08-29 | 株式会社电装 | 图像处理系统以及图像处理装置 |
| CN107113402B (zh) * | 2014-12-25 | 2019-10-25 | 株式会社电装 | 图像处理系统以及图像处理装置 |
| DE112015005753B4 (de) | 2014-12-25 | 2022-05-05 | Denso Corporation | Bildverarbeitungssystem und Vorrichtung davon |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3960146B2 (ja) | 2007-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5421072B2 (ja) | 接近物体検知システム | |
| JP4914234B2 (ja) | 先行車両検出装置 | |
| JP5615862B2 (ja) | 車両周囲監視装置 | |
| JP6120395B2 (ja) | 車載装置 | |
| CN103874931B (zh) | 用于求取车辆的环境中的对象的位置的方法和设备 | |
| WO2007111220A1 (ja) | 道路区画線検出装置 | |
| JPH06107096A (ja) | 車両用前方監視方法 | |
| JP3960146B2 (ja) | 画像認識装置 | |
| JP2001028050A (ja) | 歩行者検知装置 | |
| JP4980970B2 (ja) | 撮像手段の調整装置および物体検出装置 | |
| JP4990806B2 (ja) | 撮像手段の調整装置および車外監視装置 | |
| JP2008225822A (ja) | 道路区画線検出装置 | |
| JP5760635B2 (ja) | 走行支援装置 | |
| JP2020016628A (ja) | 距離算出装置 | |
| JP2019158662A (ja) | 物標認識装置及び車両走行制御システム | |
| JP4798576B2 (ja) | 付着物検出装置 | |
| JP2004086417A (ja) | 横断歩道等における歩行者検出方法及び同装置 | |
| JP5004923B2 (ja) | 車両の運転支援装置 | |
| JPH0973529A (ja) | 二輪車監視装置 | |
| JP7003972B2 (ja) | 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム | |
| JP5898535B2 (ja) | 撮像ユニットの露光制御装置 | |
| JP6253175B2 (ja) | 車両の外部環境認識装置 | |
| US11679769B2 (en) | Traffic signal recognition method and traffic signal recognition device | |
| JP2022060118A (ja) | 区画線認識装置 | |
| JP2023052713A (ja) | 撮像装置、撮像システム及び撮像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050425 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070301 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070403 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070424 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070507 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3960146 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100525 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130525 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140525 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |