JP2007086881A - 車両用運転支援装置 - Google Patents

Abstract

【課題】 自車両が左右の見通しの悪い交差路に進入する際に、その交差路に係る左方向及び右方向の景色について最適な範囲の画像を表示可能にすること。
【解決手段】 制御装置５は、自車両が交差路へ進入しようとするタイミングで前方左カメラ１及び前方右カメラ１による各撮影画像をそれぞれ左方向画像及び右方向画像として取り込むと共に、それらの画像を解析することにより進入対象の交差路に係る左方向消失点及び右方向消失点を推定する。さらに、制御装置５は、左方向画像から左方向消失点を基準とした所定視野角の画像を左視野画像として抽出すると共に、右方向画像から記右方向消失点を基準とした所定視野角の画像を右視野画像として抽出し、それらの左視野画像及び右視野画像を左右に並べた状態の再生用合成画像を生成する。このように生成された再生用合成画像は、車両内に設けられた表示装置６で表示される。
【選択図】 図１

Description

本発明は、左右の見通しが悪い交差路などに自車両が進入する際に、車両前部に設けられたカメラにより車両の左方向及び右方向の景色を撮影し、その撮影画像を車両運転者に提供するようにした車両用運転支援装置に関する。

従来、左右の見通しが悪い交差路などに自車両が進入する場合の運転支援機能として、車両の前部に配置した２台のカメラにより交差路の左方向及び右方向の景色を撮影して左方向画像及び右方向画像を取得し、それらの画像を左右に並べた形態の１枚の表示画像として車室内の表示装置で再生する装置が考えられている（特許文献１参照）。この場合、左方向画像及び右方向画像の尺度が不均一であると、各画像での距離感が異なってしまうため、その尺度が同一とされるものであるが、左方向画像及び右方向画像の各視野領域の大きさ（視野角）や向き（視野角中心の方向）については、交差路に対する自車両の進入角度などの実際の走行状況や、交差路の左右方向の見通しの良し悪しなどに応じて変更することが望ましい。

このため、特許文献１に記載された装置では、左方向画像及び右方向画像の各視野領域の大きさの変更（左右の画面比率の変更）を合成比率スイッチからの指示に従って行うと共に、左方向画像及び右方向画像の各視野領域の向きの変更を、ハンドル角信号またはカーナビゲーション装置からのナビゲーション情報（特には、交差路と自車両が走行中の道路との接続角度を示す情報）によって示される交差路への自車両の進入角度や、ユーザが操作する視野選択スイッチからの指示情報に従って行う構成としている。
特開平１０−２５８６８２号公報

カーナビゲーション装置から取得する前述のようなナビゲーション情報により示される道路形状は、線分の組み合わせにより近似した形態となっている。つまり、例えば、図２０に模式的に示すように、直線状の道路Ａの形状は、例えばセンタラインを通る１本の線分ａで近似され、この道路Ａに交差する曲線状の道路Ｂの形状は、複数の線分ｂの組み合わせにより近似されることになる。このため、ナビゲーション情報により指示される道路Ａ及びＢの接続角度（この例ではθ１）と、道路Ｂを走行する車両Ｃの道路Ａへの実際の進入角度（この例ではθ２）とが大きく異なる場合が出てくる。また、自車両が走行中の道路形状が、緩やかなカーブが連続している形態であった場合などには、ハンドル角だけでは、交差路への自車両の進入角度を正確に検出することができないという事情がある。

従って、車両に搭載されたカメラにより撮影した左方向画像及び右方向画像の各視野領域の向きの変更を、ハンドル角信号またはナビゲーション情報によって示される交差路への自車両の進入角度に基づいて決定するようにした従来の装置では、左方向画像及び右方向画像の各視野領域の向きを常時において正確に設定することが困難になり、自車両が左右の見通しが悪い交差路に進入する場合において、自車両の左方向及び右方向の景色について最適な範囲の画像を表示することができないという問題点があった。

本発明は上記事情に鑑みてなされたものであり、その目的は、自車両が左右の見通しの悪い交差路に進入する際に、その交差路に係る左方向及び右方向の景色について最適な範囲の画像を表示可能となる車両用運転支援装置を提供することにある。

請求項１に記載した手段によれば、少なくとも車両が交差路へ進入しようとするタイミングにおいて、画像解析手段が、車両の前部に配置された第１カメラ及び第２カメラによる各撮影画像（車両前部から左方向及び右方向の景色をそれぞれ撮影した画像）を、左方向画像及び右方向画像として取り込むと共に、それらの画像を解析することにより当該進入対象の交差路に係る左方向消失点及び右方向消失点を推定するようになる。

尚、このような左方向消失点及び右方向消失点は、車両が進入しようとする交差路の左側方向及び右側方向を車両前部（カメラ配置部位）から見た場合における見通し可能な各最遠地点に対応するものである。また、上記のような各消失点の推定は、例えば、左方向画像及び右方向画像の解析処理を行うことにより、交差路の両端輪郭線を認識すると共に、それらの両端輪郭線の延長線の交点をそれぞれ検出し、このように検出した各交点をそれぞれ左方向消失点及び右方向消失点とする、という手法、或いは、左方向画像及び右方向画像の解析処理により交差路両側の建造物などの少なくとも２本の輪郭近似線を認識すると共に、それらの輪郭近似線の延長線の交点をそれぞれ検出し、このように検出した各交点をそれぞれ左方向消失点及び右方向消失点とする、という手法により実行可能である。

上記のように、画像解析手段において左方向消失点及び右方向消失点の推定が行われた後には、画像合成手段が、前記左方向画像から左方向消失点を基準とした所定視野角の画像を左視野画像として抽出すると共に、前記右方向画像から右方向消失点を基準とした所定視野角の画像を右視野画像として抽出し、それらの左視野画像及び右視野画像を左右に並べた状態の再生用合成画像を生成するようになる。

この場合、上記のような右視野画像及び左視野画像の抽出は、例えば、以下に述べるような形態で行えば良いものである。即ち、前記左方向画像にあっては、左方向消失点より右側に位置した領域の画像が自車両に近い領域（交差路上に存在する他の車両や障害物をより正確に認識することが必要な領域）に対応することになるから、左方向消失点を基準とした場合に、その左方向消失点の左側領域の視野角に比べて右側領域の視野角が相対的に大きくなる形態で左視野画像を抽出する。また、前記右方向画像にあっては、右方向消失点より左側に位置した領域の画像が自車両に近い領域に対応することになるから、右方向消失点を基準とした場合に、その右方向消失点の右側領域の視野角に比べて左側領域の視野角が相対的に大きくなる形態で右視野画像を抽出する。

そして、このようにして画像合成手段により生成された再生用合成画像は、車両の運転者から視認可能な位置に設置された表示手段で表示されるようになる。従って、車両運転者は、左右の見通しが悪い交差路などに自車両が進入する場合であっても、当該交差路の左方向及び右方向の状態を、上記表示手段で表示された再生用合成画像に基づいて的確に認識できるようになる。この場合、当該再生用合成画像は、前記左方向消失点を基準に抽出された左視野画像及び前記右方向消失点を基準に抽出された右視野画像、つまり、自車両の左方向及び右方向の景色について最適な範囲の画像を合成した状態のものであるから、上記のような交差路の状態認識を一段と的確に行い得るようになる。

請求項２記載の手段によれば、前記画像解析手段は、少なくとも車両が交差路へ進入しようとするタイミングにおいて取り込んだ前記左方向画像及び前記右方向画像を解析することにより、当該進入対象の交差路に係る左方向及び右方向の視野を阻害する遮蔽物（建造物の壁、塀など）の有無を検出し、遮蔽物を検出したときには、その遮蔽物が検出された方向の交差路を見通せるエリアと当該遮蔽物との境界線を推定するようになる。

また、前記画像合成手段は、画像解析手段により上記境界線が推定された状態では、その境界線を基準とした所定視野角の画像を前記左視野画像及び／または前記右視野画像として抽出するようになる。

この場合、上記のような右視野画像や左視野画像の抽出は、例えば、以下に述べるような形態で行えば良いものである。即ち、例えば、前記左方向画像から遮蔽物を検出した場合、前記境界線より左側に位置した領域については遮蔽物の存在により見通し不可能になる領域であるから、前記境界線を基準とした場合に、その境界線の左側領域（つまり遮蔽物が存在する領域）については、遮蔽物が存在することを認知可能にするための比較的狭い視野角の画像のみを抽出し、且つ境界線の右側領域については、所定範囲の視野角の画像を抽出し、これらの抽出画像を左視野画像とする。つまり、このような場合において、左視野画像の視野角は、遮蔽物が大きい場合ほど相対的に小さくなるものであり、その分だけ右視野画像の視野角を大きくすることが可能になる。尚、前記右方向画像から遮蔽物を検出した場合には、上記と同様の手法により右視野画像を抽出することになる。

請求項３記載の手段によれば、前述のような手法に基づいた交差路に係る左方向消失点及び右方向消失点の推定時に、一方の消失点を推定できなかった場合には、消失点を推定できた側のカメラで撮影した画像により示される交差路についての輪郭線形状と、データ取得手段を通じて取得した道路地図情報により示される交差路形状とに基づいて、上記推定不能消失点の位置を推定できるものであり、これにより、実際に使用する場合の有用性が非常に高くなるものである。

請求項４記載の手段によれば、交差路に係る左方向消失点及び右方向消失点の一方を推定できなかった場合には、消失点を推定できた側のカメラで撮影した画像により示される交差路についての輪郭線形状を射影変換して鳥瞰画像を取得し、前記データ取得手段を通じて取得した道路地図情報により示される交差路形状に基づいて、前記消失点を推定できなかった側のカメラによる撮影画像領域に係る交差路についての鳥瞰画像上での輪郭線形状を推定し、推定した輪郭線形状を前記射影変換と逆方向に射影変換した結果に基づいて、上記推定不能消失点の位置を推定するようになるから、その推定を的確に行い得るようになる。

以下、本発明の一実施例について図１〜図１９を参照しながら説明する、
図２には、本発明による車両用運転支援装置が搭載された車両の平面図が示されている。この図２において、模式的に示した前方左カメラ１（第１カメラに相当）、前方右カメラ２（第２カメラに相当）及び前方カメラ３は、車両４の前部に組み込み状に設けられたものであり、前方左カメラ１及び前方右カメラ２は、車両４の左方向及び右方向に設定された所定の水平視野角θａの範囲の景色をそれぞれ撮影可能に配置され、前方カメラ３は、車両４の前方向に設定された所定の水平視野角θｂの範囲景色を撮影可能に配置される。

図１には、車両用運転支援装置の概略構成が機能ブロックの組み合わせにより示されている。この図１において、前述した前方左カメラ１、前方右カメラ２、前方カメラ３は、制御装置５（画像解析手段、画像合成手段に相当）からの指令によって動作されるものであり、それらカメラ１、２、３により撮影された画像データは、当該制御装置５へ入力される構成となっている。

制御装置５に接続された表示装置６は、車両４（図２参照）の車室内に当該車両４の運転者から容易に視認可能な位置に設置されており、表示要素として例えばカラー液晶パネルを用いた構成となっている。この表示装置６では、後述するカーナビゲーション装置７（データ取得手段に相当）によるナビゲーション画面（道路地図画面、メニュー画面など）や各種情報提供画面の表示動作が行われると共に、前記各カメラ１、２、３による撮影画像の表示動作が行われる。

カーナビゲーション装置７は、制御装置５と通信を行う車載ＬＡＮ８（例えばＣＡＮプロトコルによるネットワーク）に接続されたもので、この車載ＬＡＮ８には、ヨーレートセンサ９、車速センサ１０、スイッチ要素１１が接続されている（図１では、通信用のインタフェースを省略している）。尚、カーナビゲーション装置７は、ＧＰＳ受信機（図示せず）による車両４の現在位置情報の算出時に、ヨーレートセンサ９及び車速センサ１０からのセンサ出力も利用する構成となっている。また、前方左カメラ１、前方右カメラ２、前方カメラ３、表示装置６を、制御装置５に対して車載ＬＡＮ８を介して接続する構成も可能である。

上記スイッチ要素１１は、後述する表示ＯＮ要求及び表示ＯＦＦ要求を、車両運転者の操作に応じて選択的に発生するために設けられている。尚、スイッチ要素１１としては、車両運転者が操作する通常のスイッチ装置を用いれば良いが、音声認識手段を利用して実現することも可能である。

前記制御装置５は、マイコンを主体に構成されたもので、前述した前方左カメラ１、前方右カメラ２、前方カメラ３の動作を制御する機能の他に、各カメラ１、２、３から入力される画像データのための画像処理機能並びに前記表示装置６に係る表示動作の制御機能などが設定されている。

図３〜図１０のフローチャートには、制御装置５による制御内容のうち本発明の要旨に関係した前方左右方向画像処理に対応した部分が示されており、以下これについて関連した作用と共に説明する。

図３には、車両４（以下、自車両とも呼ぶ）の走行時において実行される前方左右方向画像処理の全体の流れが示されている。この図３において、前方左右方向画像処理は、車速センサ１０からの車速信号により示される自車両の速度（以下、車速と呼ぶ）が第１の規定速度（例えば時速２０ｋｍ）以下にあるときに開始される（ステップＳ１）。

車速が第１の規定速度以下の状態では、自車両が、事前に登録してある表示必要地点に到達したか否かを判断する（ステップＳ２）。ここで、表示必要地点とは、前方左カメラ１及び前方右カメラ２による撮影画像の表示が必要になる地点、つまり、自車両が交差路に進入する際において左右の見通しが悪い状況が発生する地点のことであり、基本的には、カーナビゲーション装置７にナビゲーション情報の一部として予め登録されている。また、このような登録地点以外にも、ユーザ定義の地点を、ナビゲーション装置７上での操作或いは別途に設けた地点登録スイッチなどの操作により、ナビゲーション情報に対応した表示必要地点として登録できる構成となっている。

自車両が表示必要地点に到達していないとき（ステップＳ２：ＮＯ）には、スイッチ要素１１の操作に応じた表示ＯＮ要求があったか否かを判断し（ステップＳ３）、このような表示ＯＮ要求がないとき（ステップＳ３：ＮＯ）には、初期状態（ステップＳ１）へ戻る。これに対して、ステップＳ２、Ｓ３の何れかで「ＹＥＳ」と判断したときには、交差路左右消失点推定ルーチンＳ４を実行する。この場合、上記表示ＯＮ要求は、左右の見通しが悪い交差路などに自車両が進入する際に車両運転者がスイッチ要素１１を操作することにより発生させるものである。尚、制御装置５に対して、上記のような表示ＯＮ要求があった地点を、前述した表示必要地点として登録するという学習機能を付加しても良いものである。

図４のフローチャートには、上記交差路左右消失点推定ルーチンＳ４の内容が示されている。即ち、このルーチンＳ４では、まず、画像解析・消失点推定ルーチンＤ１を実行する。この画像解析・消失点推定ルーチンＤ１では、前方左カメラ１及び前方右カメラ２による各撮影画像をそれぞれ左方向画像及び右方向画像として取り込み、それらの画像を、エッジ検出、細線化、線の連結処理、線セグメントのマッチングなどの画像処理手法を使用して解析することにより、自車両の進入対象の交差路に係る左方向消失点及び右方向消失点を推定する。具体的には、このような消失点の推定は、以下のようにして行うことになる。

つまり、上述のように取り込んだ左方向画像及び右方向画像の一例を示す図１１のように、それらの画像の解析処理を行うことにより、交差路の両端輪郭線（左方向画像について破線Ｌａ、Ｌｂで示し、右方向画像について破線Ｒａ、Ｒｂで示す）を認識すると共に、それらの両端輪郭線Ｌａ、Ｌｂ及びＲａ、Ｒｂの延長線の交点をそれぞれ検出し、このように検出した各交点をそれぞれ左方向消失点Ｌｃ及び右方向消失点Ｒｃとする。

或いは、図１１と同様の左方向画像及び右方向画像の例を示す図１２のように、それらの画像の解析処理により交差路両側の建造物などの少なくとも２本の輪郭近似線（左方向画像について破線Ｌｄ、Ｌｅで示し、右方向画像について破線Ｒｄ、Ｒｅで示す）を認識すると共に、それらの輪郭近似線Ｌｄ、Ｌｅ及びＲｄ、Ｒｅの延長線の交点をそれぞれ検出し、このように検出した各交点をそれぞれ左方向消失点Ｌｃ及び右方向消失点Ｒｃとする。

要するに、上記のような左方向消失点Ｌｃ及び右方向消失点Ｒｃは、車両４が進入しようとする交差路の左側方向及び右側方向の景色を車両４の前部（カメラ配置部位）から見た場合における見通し可能な各最遠地点に対応するものである。

図４において、上記画像解析・消失点推定ルーチンＤ１の実行後には、左方向消失点及び右方向消失点の推定が両方とも成功したか否かを判断し（ステップＤ２）、「ＹＥＳ」の場合には、そのままリターンして交差路左右消失点推定ルーチンＳ４を終了する。これに対して、ステップＤ２で「ＮＯ」と判断した場合には、左方向消失点の推定に成功したか否かを判断する（ステップＤ３）。このステップＤ３で「ＹＥＳ」と判断した場合には、左方向画像から右方向消失点を推定するための左方向画像による右方向消失点推定ルーチンＤ４を実行した後にリターンして交差路左右消失点推定ルーチンＳ４を終了する。

図５には、上記左方向画像による右方向消失点推定ルーチンＤ４の内容が示されている。即ち、図５において、消失点を検出できた側の画像である左方向画像中の交差路についての両端輪郭線の形状を射影変換することにより、図１３（ａ）に示すような交差路輪郭線（符号ＯＬ１、ＯＬ２を付して示す）についての鳥瞰画像を取得する（ステップＥ１）。

次いで、カーナビゲーション装置７から、上記交差路の形状（図１３（ｂ）に一例を図示）を示すナビゲーション情報（道路地図情報に相当）を取得した上で、上記鳥瞰画像における交差路輪郭線ＯＬ１、ＯＬ２を、当該ナビゲーション情報により示される図１３（ｂ）のような交差路形状を参照して右側に延長し、右方向画像領域（前方右カメラ２による撮影領域）での交差路輪郭線（符号ＰＬ１、ＰＬ２を付して示す）の形状を推定する（ステップＥ２）。

この後には、ステップＥ２で推定した交差路輪郭線ＰＬ１、ＰＬ２の形状を、右方向画象上で前述の射影変換と逆方向に射影変換して交差路輪郭線を推定するステップＥ３、このように射影変換した交差路輪郭線の形状から、右方向消失点の水平位置を推定するステップＥ４を順次実行した後にリターンする。尚、図１４には、左方向画像（交差路の両端輪郭線を破線Ｌａ、Ｌｂで示す）の一例と、右方向画像上での右方向消失点推定結果の一例が示されている。この図１４においては、右方向画象上での逆方向の射影変換により得られた交差路輪郭線の形状がＲａ′、Ｒｂ′で示され、推定された右方向消失点がＲｃ′で示されている。

図４において、ステップＤ３で「ＮＯ」と判断した場合（左方向消失点の推定に失敗した場合）には、右方向消失点の推定に成功したか否かを判断する（ステップＤ５）。このステップＤ５で「ＹＥＳ」と判断した場合には、右方向画像から左方向消失点を推定するための右方向画像による左方向消失点推定ルーチンＤ６を実行した後にリターンして交差路左右消失点推定ルーチンＳ４を終了する。

図６には、上記右方向画像による左方向消失点推定ルーチンＤ５の内容が示されている。即ち、このルーチンＤ５では、前記図５に示した左方向画像による右方向消失点推定ルーチンＤ４でのステップＥ１〜Ｅ４と同等内容のステップＦ１〜Ｆ４を実行すること入力により、左方向消失点を推定するものである。

図４において、ステップＥ５で「ＮＯ」と判断した場合、つまり、左方向消失点及び右方向消失点の推定を双方とも失敗した場合には、前方カメラ３により撮影した前方画像から当該左右方向の消失点を推定する左右方向消失点推定ルーチンＤ７を実行した後にリターンして交差路左右消失点推定ルーチンＳ４を終了する。

図７には、上記左右方向消失点推定ルーチンＤ７の内容が示されている。即ち、図７において、前方カメラ３による撮影画像を前方画像として取り込み、当該前方画像中の交差路についての端部の輪郭線を認識すると共に、その輪郭線の形状を射影変換することにより、図１５（ａ）に示すような交差路輪郭線（符号ＯＬを付して示す）についての鳥瞰画像を取得する（ステップＧ１）。

次いで、カーナビゲーション装置７から、上記交差路の形状（図１５（ｂ）に一例を図示）を示すナビゲーション情報（道路地図情報に相当）を取得した上で、上記鳥瞰画像における交差路輪郭線ＯＬを、当該ナビゲーション情報により示される図１５（ｂ）のような交差路形状を参照して左側及び右側にそれぞれ延長し、左方向画像領域（前方左カメラ１による撮影領域）での交差路輪郭線（符号ＰＬＬ１、ＰＬＬ２を付して示す）の形状、並びに右方向画像領域（前方右カメラ２による撮影領域）での交差路輪郭線（符号ＰＬＲ１、ＰＬＲ２を付して示す）の形状を推定する（ステップＧ２）。

この後には、ステップＧ２で推定した交差路輪郭線ＰＬＬ１、ＰＬＬ２及びＰＬＲ１、ＰＬＲ２の形状を、左方向画面上及び右方向画象上で前述の射影変換と逆方向に射影変換して交差路輪郭線を推定するステップＧ３、このように射影変換した交差路輪郭線の形状から、左方向消失点及び右方向消失点の水平位置を推定するステップＧ４を順次実行した後にリターンする。尚、図１６には、前方画像（交差路輪郭線ＯＬを破線で示す）の一例と、左方向画像上での左方向消失点推定結果及び右方向画像上での右方向消失点推定結果の一例が示されている。この図１６においては、左方向画象上での逆方向の射影変換により得られた交差路輪郭線の形状がＬａ′、Ｌｂ′で示されると共に、推定された左方向消失点がＬｃ′で示され、さらに、右方向画象上での逆方向の射影変換により得られた交差路輪郭線の形状がＲａ′、Ｒｂ′で示されると共に、推定された右方向消失点がＲｃ′で示されている。

尚、実際には、上記のような消失点推定ルーチンＤ４、Ｄ６、Ｄ７を含む交差路左右消失点推定ルーチンＳ４を実行したにも拘らず、左方向消失点及び右方向消失点の推定が双方とも失敗することもあり得る。

図３に戻って、上述したような交差路左右消失点推定ルーチンＳ４の実行後には、左右遮蔽物推定ルーチンＳ５を実行するものであり、このルーチンＳ５の内容が以下に説明する図８のフローチャートに示されている。

即ち、図８において、左右遮蔽物推定ルーチンＳ５では、まず、前方左カメラ１及び前方右カメラ２の各視野領域における対象物（壁などの遮蔽物）までの距離を、単眼移動ステレオ処理（つまり、車両４の進行に伴う前方左カメラ１及び前方右カメラ２の移動距離をそれぞれ基線長とした三角測量により測定する処理）により検出し、その検出結果により遮蔽物領域を推定する（ステップＨ１）。

次いで、前方左カメラ１による左方向画像及び前方右カメラ２による右方向画像中から検出した線分の方向性の確率分布に基づいて、当該左方向画像及び右方向画像中の遮蔽物領域を推定し（ステップＨ２）、ステップＨ１及びＨ２での各推定結果を合成することにより、遮蔽物領域の範囲を絞り込む（ステップＨ３）。

この後には、上記のように絞り込んだ遮蔽物領域のテクスチャ特徴を抽出し、壁面、樹木、電柱などからなる遮蔽物領域を推定する（ステップＨ４）。次いで、このようなテクスチャ特徴による推定結果を前記ステップＨ３での合成推定結果により穴埋めすることにより、遮蔽物境界線（遮蔽物が検出された方向の交差路を見通せるエリアと当該遮蔽物との境界線）を推定するステップＨ５を実行した後にリターンする。

図１７には、左方向画像及び右方向画像の一例が示されている。この例は、左方向画像中に遮蔽物（壁）が存在する状態に対応するものであり、上述した左右遮蔽物推定ルーチンＳ５では、当該遮蔽物が存在する領域を推定し、このように推定した遮蔽物領域と、交差路を見通せるエリアとの境界が遮蔽物境界線（破線Ｙで示す）として推定することになる。尚、右方向画像中には、前記交差路左右消失点推定ルーチンＳ４において推定された交差路の両端輪郭線Ｒａ、Ｒｂ、並びに右方向消失点Ｒｃが示されている。
尚、実際には、上記のような左右遮蔽物推定ルーチンＳ５を実行したにも拘らず、遮蔽物境界線の推定に失敗することもあり得る。

図３において、上記左右遮蔽物推定ルーチンＳ５の実行後には、表示エリア判断ルーチンＳ６を実行するものであり、図９には、このルーチンＳ６の内容が示されている。
即ち、図９において、表示エリア判断ルーチンＳ６では、まず、左方向画像から抽出して表示装置６での表示に供するための左視野画像の範囲、並びに右方向画像から抽出して表示装置６での表示に供するための右視野画像の範囲をそれぞれ決定するための表示エリア選択ルーチンＪ１を実行する。

図１０には、当該表示エリア選択ルーチンＪ１の具体的内容が示されている。但し、この表示エリア選択ルーチンＪ１は、左方向画像及び右方向画像について個別に実行されるものであり、ここでは左方向画像から左視野画像の抽出範囲を決定する場合を例にして説明する。
図１０において、表示エリア選択ルーチンＪ１では、最初に、左方向消失点、遮蔽物境界線の双方について推定を失敗したか否かを判断する（ステップＫ１）。但し、ここでいう遮蔽物境界線の推定失敗とは、左方向画像中に遮蔽物が存在しなかった状態も含むものである。

このステップＫ１で「ＹＥＳ」と判断した場合には、左視野画像の抽出範囲として、予め決められた標準表示範囲を選択するステップＫ２を実行した後にリターンする。尚、上記標準表示範囲は、例えば、前方左カメラ１により撮影された左方向画像の中心を基準とした所定視野角の範囲に決められるものである。

これに対して、左右方向消失点、遮蔽物境界線の何れか一つについて推定が成功していた場合（ステップＫ１：ＮＯ）には、左方向消失点の推定に成功しているか否かを判断する（ステップＫ３）。ここで「ＹＥＳ」と判断した場合には、遮蔽物境界線の推定にも成功しているか否かを判断する（ステップＫ４）。

このステップＫ４で「ＮＯ」と判断した場合、つまり、左方向消失点の推定に成功し、遮蔽物境界線の推定に失敗或いは遮蔽物が存在しない状態にあった場合には、左視野画像の抽出範囲を、左方向消失点を基準に選択するステップＫ５を実行した後にリターンする。このステップＫ５では、左視野画像の抽出範囲の選択を、例えば以下のような形態で行うようになっている。

即ち、前記図１１を参考に説明すると、左方向画像にあっては、左方向消失点Ｌｃより右側に位置した領域の画像が自車両に近い領域（交差路上に存在する他の車両や障害物をより正確に認識することが必要な領域）に対応することになるから、左方向消失点Ｌｃを基準として、その左方向消失点Ｌｃの左側領域の視野角に比べて右側領域の視野角が相対的に大きくなる形態で左視野画像（図１８に一例を示す）を抽出する。尚、図１１の例において、右方向画像からの右視野画像の抽出範囲を、右方向消失点Ｒｃを基準に選択する場合には、右方向消失点Ｒｃより左側に位置した領域の画像が自車両に近い領域に対応することになるから、右方向消失点Ｒｃを基準として、その右方向消失点Ｒｃの右側領域の視野角に比べて左側領域の視野角が相対的に大きくなる形態で右視野画像（図１８に一例を示す）を抽出することになる。

一方、前記ステップＫ３で「ＮＯ」と判断した場合、つまり、左方向消失点の推定に失敗し、遮蔽物境界線の推定に成功した状態にあった場合には、左視野画像の抽出範囲を、遮蔽物境界線の推定結果を基準に選択するステップＫ６を実行した後にリターンする。このステップＫ６では、左視野画像の抽出範囲の選択を、例えば以下のような形態で行うようになっている。

即ち、前記図１２を参考に説明すると、左方向画像にあっては、遮蔽物境界線Ｙより左側に位置した領域については遮蔽物の存在により見通し不可能になる領域であるから、前記遮蔽物境界線Ｙを基準とした場合に、その境界線Ｙの左側領域（つまり遮蔽物が存在する領域）については、遮蔽物が存在することを認知可能にするための比較的狭い視野角の画像のみを抽出し、且つ遮蔽物境界線Ｙの右側領域については、所定範囲の視野角の画像を抽出し、これらの抽出画像を左視野画像（図１９に一例を示す）とする。つまり、このような場合において、左視野画像の視野角は、遮蔽物が大きい場合ほど相対的に小さくなるものであり、その分だけ右視野画像の視野角を大きくすることが可能になる。

前記ステップＫ４で「ＹＥＳ」と判断した場合、つまり、左方向消失点の推定及び遮蔽物境界線の推定の双方に成功した状態にあった場合には、各推定結果に基づいた前述のような画像選択範囲（左視野画像の抽出範囲）が狭くなる方の左視野画像を選択するステップＫ７を実行した後にリターンする。
尚、前にも述べたように、このような表示エリア選択ルーチンＪ１は、右方向画像についても実行されるものである。

図９において、表示エリア選択ルーチンＪ１の実行後には、当該ルーチンＪ１により選択された範囲の左視野画像及び右視野画像を左右に並べた状態の再生用合成画像（図１８、図１９に一例を示す）を生成し（ステップＪ２）、この後に、当該再生用合成画像の幅が表示装置６の表示エリアの大きさに比べて不足しているか否かを判断する（ステップＪ３）。

このステップＪ３で「ＹＥＳ」と判断した場合には、表示エリア幅拡大ステップＪ４を実行した後にリターンする。このステップＪ４では、以下（１）〜（３）のような処理を行う。

（１）左視野画像及び右視野画像の一方の抽出基準が、ナビゲーション情報に基づいた推定交差路輪郭線の逆方向の射影変換により推定した左方向消失点或いは右方向消失点、つまり、図５の左方向画像による右方向消失点推定ルーチンＤ４、図６の右方向画像による左方向消失点推定ルーチンＤ６の何れかにより推定された左方向消失点或いは右方向消失点であった場合には、左視野画像及び右視野画像のうち当該推定消失点を基準とした側の視野画像の抽出範囲（表示エリア幅）を拡大する。
（２）左視野画像及び右視野画像の一方の抽出基準が、推定した遮蔽物境界線であった場合には、左視野画像及び右視野画像のうち当該遮蔽物境界線を基準とした視野画像の抽出範囲を拡大する。
（３）上記（１）及び（２）の何れでもない場合には、左視野画像及び右視野画像の双方について視野画像の抽出範囲を拡大する。

一方、前記ステップＪ３で「ＮＯ」と判断した場合には、再生用合成画像の幅が表示装置６の表示エリアの大きさに比べて過剰であるか否かを判断する（ステップＪ５）。このステップＪ５で「ＮＯ」と判断した場合（再生用合成画像の幅が適正である場合に相当）には、そのままリターンするが、「ＹＥＳ」と判断した場合には、表示エリア幅縮小ステップＪ６を実行した後にリターンする。このステップＪ６では、以下（４）、（５）のような処理を行う。

（４）左視野画像及び右視野画像の一方の抽出基準が、ナビゲーション情報に基づいた推定交差路輪郭線の逆方向の射影変換により推定した左方向消失点或いは右方向消失点、つまり、図５の左方向消失点推定ルーチンＤ４、図６の右方向消失点推定ルーチンＤ６の何れかにより推定された左方向消失点或いは右方向消失点であった場合には、左視野画像及び右視野画像のうち当該推定消失点を基準とした側の視野画像の抽出範囲（表示エリア幅）を縮小する。
（５）上記（４）以外の場合には、左視野画像及び右視野画像の双方について視野画像の抽出範囲を縮小する。

図３に戻って、表示エリア判断ルーチンＳ６の実行後には、前記表示エリア判断ルーチンＳ６内のステップＪ２で生成された再生用合成画像を、表示装置６上において図１８及び図１９に一例を示すように表示する（ステップＳ７）。

この後には、車速が前記第１の規定速度より高い値に設定された第２の規定速度（例えば時速２５ｋｍ）以上であるか否かを判断し（ステップＳ８）、「ＹＥＳ」と判断した場合には、ステップＳ１（初期状態）へ戻る。これにより、車速が第２の規定速度以上となったときには、交差路左右消失点推定ルーチンＳ４、左右遮蔽物推定ルーチンＳ５、表示エリア判断ルーチンＳ６、画像表示ステップＳ７の実行が停止されて表示装置６上での左視野画像及び右視野画像の表示が終了する。

一方、ステップＳ８で「ＮＯ」と判断した場合には、自車両が、例えばカーナビゲーション装置７のナビゲーション情報により示される表示不要地点に到達したか否か（或いは、自車両が表示必要地点から規定距離以上走行したか否か）を判断し（ステップＳ９）、「ＹＥＳ」の場合にはステップＳ１へ戻る。これにより、表示装置６上での左視野画像及び右視野画像の表示が終了する。尚、走行距離は、車速センサ１０からの車速信号を時間積分することにより得られる。

上記ステップＳ９で「ＮＯ」と判断した場合には、スイッチ要素１１の操作に応じた表示ＯＦＦ要求があったか否かを判断する（ステップＳ１０）。このような表示ＯＦＦ要求がない場合には、交差路左右消失点推定ルーチンＳ４へ戻るが、表示ＯＦＦ要求があった場合にはステップＳ１へ戻るものであり、これにより、表示装置６上での左視野画像及び右視野画像の表示が終了する。

以上要するに、本実施例によれば以下に述べるような作用・効果を奏するものである。 即ち、自車両（車両４）が第１の規定速度（例えば２０ｋｍ）以下で交差路へ進入しようとするタイミング（自車両がカーナビゲーション装置７のナビゲーション情報により示される表示必要地点に到達したタイミング、或いは車両運転者がスイッチ要素１１の操作により表示ＯＮ要求を発したタイミング）においては、制御装置５が、車両４の前部に配置された前方左カメラ１及び前方右カメラ２による各撮影画像（車両前部から左方向及び右方向の景色をそれぞれ撮影した画像）を、左方向画像及び右方向画像として取り込むと共に、それらの画像を解析することにより当該進入対象の交差路に係る左方向消失点及び右方向消失点を推定するようになる。

また、制御装置５は、上記のように、左方向消失点及び右方向消失点の推定を行った後には、左方向画像から左方向消失点を基準とした所定視野角の画像を左視野画像として抽出すると共に、前記右方向画像から右方向消失点を基準とした所定視野角の画像を右視野画像として抽出し、それらの左視野画像及び右視野画像を左右に並べた状態の再生用合成画像を生成し、その再生用合成画像を、車両４内に当該車両４の運転者から視認可能な位置に設置された表示装置６において表示するようになる。

従って、車両運転者は、左右の見通しが悪い交差路などに自車両が進入する場合であっても、当該交差路の左方向及び右方向の状態を、上記表示装置で表示された再生用合成画像に基づいて的確に認識できるようになる。この場合、当該再生用合成画像は、前記左方向消失点を基準に抽出された左視野画像及び前記右方向消失点を基準に抽出された右視野画像、つまり、自車両の左方向及び右方向の景色について最適な範囲の画像を合成した状態のものであるから、上記のような交差路の状態認識を一段と的確に行い得るようになる。

さらに、制御装置６は、自車両（車両４）が第１の規定速度（例えば２０ｋｍ）以下で交差路へ進入しようとするタイミングにおいて取り込んだ前記左方向画像及び前記右方向画像を解析することにより、当該進入対象の交差路に係る左方向及び右方向の視野を阻害する遮蔽物（建造物の壁、塀など）の有無を検出し、遮蔽物を検出したときには、その遮蔽物が検出された方向の交差路を見通せるエリアと当該遮蔽物との境界線を推定するようになる。そして、制御装置５は、上記のように遮蔽物境界線の推定を行った後には、その境界線を基準とした所定視野角の画像を前記左視野画像及び／または前記右視野画像として抽出する共に、抽出した画像に基づいて作成した再生用合成画像を表示装置６において表示するようになる。

この場合、左視野画像及び右視野画像の各視野角は、その視野画像中に遮蔽物が存在する場合に、遮蔽物が存在しない側の他方の視野画像の視野角に比べて相対的に小さくなるように構成されているから、その分だけ他方の視野画像の視野角を大きくすることが可能になり、結果的に表示装置６を通じた視認性の向上を実現できるようになる。

また、制御装置５は、交差路に係る左方向消失点及び右方向消失点の一方を推定できない状態では、消失点を推定できた側のカメラ（前方左カメラ１或いは前方左カメラ２）で撮影した画像により示される交差路についての輪郭線形状と、カーナビゲーション装置７を通じて取得したナビゲーション情報により示される交差路形状とに基づいて、上記推定不能消失点の位置を推定する構成、具体的には、消失点を推定できた側のカメラで撮影した画像により示される交差路についての輪郭線形状を射影変換して鳥瞰画像を取得し、カーナビゲーション装置７を通じて取得したナビゲーション情報により示される交差路形状に基づいて、前記消失点を推定できなかった側のカメラによる撮影画像領域に係る交差路についての鳥瞰画像上での輪郭線形状を推定し、推定した輪郭線形状を前記射影変換と逆方向に射影変換した結果に基づいて、上記推定不能消失点の位置を推定する構成となっているから、その推定を的確に行い得るようになって、実際に使用する場合の有用性が非常に高くなるものである。

さらに、制御装置５は、交差路に係る左方向消失点及び右方向消失点を双方ともに推定できない状態では、前方カメラ３により撮影された前方画像により示される交差路についての輪郭線形状と、カーナビゲーション装置７を通じて取得した道路地図情報により示される交差路形状とに基づいて、上記左方向消失点及び右方向消失点の位置を推定する構成となっているから、実際に使用する場合の有用性が一段と高くなるものである。

（他の実施の形態）
本発明は上記した実施例に限定されるものではなく、例えば以下のような変形または拡張が可能である。
車両の前部に前方左カメラ１、前方右カメラ２及び前方カメラ３を設ける構成としたが、これらと同様のカメラ群を車両の後部にも設け、それらの撮影画像を前記実施例と同様の手段により表示装置６に表示する構成としても良く、このような構成とした場合には、車両４を後退走行させながら交差路に進入する場合にも対応できることになる。
データ取得手段としてカーナビゲーション装置７を使用する構成としたが、地図データベースを備えた外部ネットワークなどから、無線通信手段を通じて道路地図情報を取得する手段をデータ取得手段として設ける構成としても良い。

本発明の一実施例の全体構成を示す機能ブロック図 車両の平面図 制御装置により実行される前方左右方向画像処理の全体を示すフローチャート 前方左右方向画像処理の内容を示すフローチャート（その１） 前方左右方向画像処理の内容を示すフローチャート（その２） 前方左右方向画像処理の内容を示すフローチャート（その３） 前方左右方向画像処理の内容を示すフローチャート（その４） 前方左右方向画像処理の内容を示すフローチャート（その５） 前方左右方向画像処理の内容を示すフローチャート（その６） 前方左右方向画像処理の内容を示すフローチャート（その７） 左方向画像及び右方向画像の一例を示す図（その１） 左方向画像及び右方向画像の一例を示す図（その２） 消失点の推定アルゴリズムを説明するための模式図（その１） 左方向画像及び右方向消失点推定結果の一例を示す図 消失点の推定アルゴリズムを説明するための模式図（その２） 前方画像、左方向消失点推定結果及び右方向消失点推定結果の一例を示す図 左方向画像及び右方向画像の一例を示す図（その３） 左視野画像、右視野画像及び再生用合成画像の一例を示す図（その１） 左視野画像、右視野画像及び再生用合成画像の一例を示す図（その２） 従来技術を説明するための道路形状などの模式図

符号の説明

１は前方左カメラ（第１カメラ）、２は前方右カメラ（第２カメラ）、３は前方カメラ、４は車両、５は制御装置（画像解析手段、画像合成手段）、６は表示装置（表示手段）、７はカーナビゲーション装置（データ取得手段）を示す。

Claims (4)

1. 車両の前部に当該車両の左方向及び右方向の景色をそれぞれ撮影可能に配置された第１カメラ及び第２カメラと、
   少なくとも前記車両が交差路へ進入しようとするタイミングで前記第１カメラ及び第２カメラによる各撮影画像をそれぞれ左方向画像及び右方向画像として取り込むと共に、それらの画像を解析することにより当該進入対象の交差路に係る左方向消失点及び右方向消失点を推定する画像解析手段と、
   前記第１カメラにより撮影された左方向画像から前記左方向消失点を基準とした所定視野角の画像を左視野画像として抽出すると共に、前記第２カメラにより撮影された右方向画像から前記右方向消失点を基準とした所定視野角の画像を右視野画像として抽出し、それらの左視野画像及び右視野画像を左右に並べた状態の再生用合成画像を生成する画像合成手段と、
   前記車両の運転者から視認可能な位置に前記再生用合成画像を表示するために設置された表示手段と、
   を備えたことを特徴とする車両用運転支援装置。
2. 前記画像解析手段は、前記左方向画像及び前記右方向画像を解析することにより、前記進入対象の交差路に係る左方向及び右方向の視野を阻害する遮蔽物の有無を検出すると共に、遮蔽物を検出したときには、その遮蔽物が検出された方向の交差路を見通せるエリアと当該遮蔽物との境界線を推定するように構成され、
   前記画像合成手段は、前記画像解析手段により前記境界線が推定された状態では、その境界線を基準とした所定視野角の画像を前記左視野画像及び／または前記右視野画像として抽出するように構成されることを特徴とする請求項１記載の車両用運転支援装置。
3. 車両の現在位置に対応した交差路の形状を示す道路地図情報を取得可能なデータ取得手段を備え、
   前記画像解析手段は、前記交差路に係る左方向消失点及び右方向消失点の一方を推定できない状態では、消失点を推定できた側のカメラで撮影した画像により示される交差路についての輪郭線形状と前記データ取得手段を通じて取得した道路地図情報により示される交差路形状とに基づいて、上記推定不能消失点の位置を推定するように構成されていることを特徴とする請求項１または２記載の車両用運転支援装置。
4. 請求項３記載の車両用運転支援装置において、
   前記画像解析手段は、前記交差路に係る左方向消失点及び右方向消失点の一方を推定できない状態では、消失点を推定できた側のカメラで撮影した画像により示される交差路についての輪郭線形状を射影変換して鳥瞰画像を取得し、前記データ取得手段を通じて取得した道路地図情報により示される交差路形状に基づいて、前記消失点を推定できなかった側のカメラによる撮影画像領域に係る交差路についての鳥瞰画像上での輪郭線形状を推定し、推定した輪郭線形状を前記射影変換と逆方向に射影変換した結果に基づいて、上記推定不能消失点の位置を推定するように構成されていることを特徴とする車両用運転支援装置。