JP2012175314A - 車両の運転支援装置 - Google Patents

Abstract

【課題】自車周辺の俯瞰画像と、自車前方走行路の鳥瞰画像とを、モニタ画面に表示して、運転者が狭小路であっても容易にこれを通過し得るよう支援する装置を提供する。
【解決手段】(a)は、狭小路における自車10と、道路境界21,22と、電柱23,24との位置関係を上方から見て示し、(b)は、自車10が狭小路内で (a)のような道路幅方向右寄り位置に居る時のモニタ画面5を示す。モニタ画面5には、下半分に自車周辺の俯瞰画像を、また上半分に自車前方走行路の鳥瞰画像を表示し、更に、左右ドアミラーの外端を通って画面に沿って上下方向へ垂直な自車通過幅表示線54,55を表示する。自車が(a)のような右寄り位置に居る場合、直進時に、最幅狭部を構成する電柱24と接触して通過不能であることが、(b)のモニタ画面5上における自車通過可能幅表示線55と電柱24の画像との相対位置から容易に把握することができる。
【選択図】図１１

Description

本発明は、自車および自車周辺と、自車前方とを、運転者が目視し得るようモニタ画面に表示して、車両の運転を行っている運転者を支援するようにした装置に関するものである。

かように運転を支援するために、複数の視点映像を組み合わせて、一つの画面に表示し、この画面を運転者が目視することで運転の一助となし得るようにした技術が従来より、例えば特許文献1に記載のごとくに知られている。

この提案技術は、自車の上方から見た自車周辺の俯瞰画像を映し出す画面、および、自車正面の道路環境画像を映し出す画面のうち、前者の自車周辺を映し出す俯瞰画面の上縁に、後者の前方道路環境を映し出す前方道路画面の下縁が連なるよう、両画面を上下方向に並べてモニタへ表示するものである。

特開２００２−１０９６９７号公報

しかし、特許文献1に記載の提案技術では、車両上方から見た自車周辺俯瞰画像と、車両正面から見た道路環境画像とを上下方向に並べてモニタへ表示するため、両画像間での連続感に欠ける。
そのため、前方道路にある単一の障害物が一時的に、上下方向に並べた自車周辺俯瞰画像および道路環境画像の双方に表示されたり、この障害物が、上下方向に並べた自車周辺俯瞰画像および道路環境画像の何れにも表示されないことがある。

更には同じ障害物が、上方の道路環境画像から消えた後に、下方における自車周辺俯瞰画像のずれた位置から現れるなど、自車周辺の環境を両画像における表示から把握するのが困難であるという問題も生ずる。

本発明は、自車周辺を表示する画像と、前方の道路環境画像とが連続性を持つようなものにすることで、上記の問題を解消し得るようにした車両の運転支援装置を提供することを目的とする。

この目的のため、第1発明による車両の運転支援装置は、以下のごとくにこれを構成する。
先ず本発明の前提となる車両の運転支援装置は、自車および自車周辺と、自車前方とを、運転者が目視し得るようモニタ画面に表示して、車両の運転を支援するようにしたものである。

本発明は、かかる車両の運転支援装置に対し、以下のような自車周辺画像作成手段と、前方走行路画像作成手段と、画像接続手段とを設けた構成に特徴づけられる。

自車周辺画像作成手段は、自車の少なくとも前端部および自車前端部周辺の走行路が、自車を真下に見下ろすように見た俯瞰画像として表示された自車周辺画像を作成し、
前方走行路画像作成手段は、 直進走行時における自車前方走行路内の所定位置にある側部の後方への流れが自車の長手方向に沿うように変換され、自車前方走行路が、自車から所定の見下ろし角をもって見た鳥瞰画像として表示された前方走行路画像を作成するものである。

また画像接続手段は、これら自車周辺画像作成手段および前方走行路画像作成手段で作成した自車周辺画像および前方走行路画像を、自車周辺画像の自車走行方向前方側における走行方向横断線に、前方走行路画像の自車走行方向後方側における走行方向横断線が重なるよう、相互に接続して連続画像となし、この連続画像を上記モニタ画面に表示するものである。

上記した本発明による車両の運転支援装置にあっては、
自車の少なくとも前端部および自車前端部周辺の走行路に係わる自車周辺画像が、自車を真下に見下ろすように見た俯瞰画像であり、また、
自車前方の走行路に係わる前方走行路画像が、直進走行時における自車前方走行路内の所定位置にある側部の後方への流れが自車の長手方向に沿うように変換され、自車前方走行路が、自車から所定の見下ろし角をもって見た鳥瞰画像であるため、
自車周辺画像の自車走行方向前方側における走行方向横断線に、前方走行路画像の自車走行方向後方側における走行方向横断線が重なるよう、これら自車周辺画像および前方走行路画像を相互に接続して連続画像を得るとき、自車周辺画像および前方走行路画像間の連続感を容易に優れたものとなし得る。

そのため、前方走行路にある単一の障害物が一時的に、上下方向に接続させた自車周辺画像および前方走行路画像の双方に表示されたり、この障害物が、自車周辺画像および前方走行路画像の何れにも表示されないといった問題を発生することがない。

更に同じ障害物なら、この障害物は上方の前方走行路画像から消えた後に、下方における自車周辺画像の同じ位置から現れることとなり、
同じ障害物が、上方の前方走行路画像から消えた後に、下方における自車周辺画像のずれた位置から現れて、自車周辺の環境を両画像における表示から把握するのが困難であるという問題も回避することができる。

本発明の第1実施例になる運転支援装置の全体構成を示す機能別ブロック線図である。 図1に示したカメラの、車両に対する設置箇所を示す図で、 (a)は、車両の上方から見て示す平面図、 (b)は、車両の左側方から見て示す側面図である。 図1におけるコントロールユニットが実行する運転支援画像作成プログラムを示すオプティカルフローチャートである。 図2に示すように設置したカメラの仮想カメラ位置を示す図で、 (a)は、車両の上方から見て示す平面図、 (b)は、車両の左側方から見て示す側面図、 (c)は、同じく車両の左側方から見て、上方仮想カメラ位置の撮影領域を示す側面図である。 運転支援画像を構成する俯瞰画像と、鳥瞰画像との接続に関する説明図で、 (a)は、接続境界線が直線である場合の説明図、 (b)は、接続境界線が湾曲している場合の説明図である。 運転支援画像を構成する俯瞰画像および鳥瞰画像に歪みが在る場合におけるこれら画像の接続要領説明図で、 (a)は、俯瞰画像および鳥瞰画像を接続前の状態で個別に示す説明図、 (b)は、俯瞰画像および鳥瞰画像を接続境界線において合致させる方法の説明図である。 運転支援画像の作成要領説明図で、 (a)は、自車の真上から真下への視点で見た自車前部周辺俯瞰画像の全体平面図、 (b)は、自車前部周辺俯瞰画像を、真上からの視点ではなく、ある俯瞰角度（見下ろし角）を持って見下ろした鳥瞰画像の説明図、 (c)は、鳥瞰画像の左上領域における自車通過可能幅表示線がモニタ画面に対し垂直になるように表した鳥瞰画像の説明図、 (d)は、鳥瞰画像の右上領域における自車通過可能幅表示線がモニタ画面に対し垂直になるように表した鳥瞰画像の説明図、 (e)は、(c),(d)における鳥瞰画像の合成画像を示す説明図である。 狭小路における自車の3位置と、道路(壁)と、電柱等の立体障害障害物との位置関係を上方から見て示す作用説明図である。 自車が図8の3位置に居るときのモニタ画面を示し、 (a)は、自車が図8の第1位置に居るときのモニタ画面を示す正面図、 (b)は、自車が図8の第2位置に居るときのモニタ画面を示す正面図、 (c)は、自車が図8の第3位置に居るときのモニタ画面を示す正面図である。 自車が道路幅方向中央に居るときの作用説明図で、 (a)は、自車の上方から見下ろした平面図、 (b)は、モニタ画面を示す正面図である。 自車が道路幅方向右寄り位置に居るときの作用説明図で、 (a)は、自車の上方から見下ろした平面図、 (b)は、モニタ画面を示す正面図である。 本発明の第2実施例になる運転支援装置の全体構成を示す機能別ブロック線図である。 図12におけるコントロールユニットが実行する運転支援画像作成プログラムを示すオプティカルフローチャートである。 狭小路における自車の2位置と、道路(壁)と、電柱等の立体障害障害物との位置関係を上方から見て示す作用説明図である。 自車が図14の2位置に居るときのモニタ画面を示し、 (a)は、自車が図14の第1位置に居るときのモニタ画面を示す正面図、 (b)は、自車が図14の第2位置に居るときのモニタ画面を示す正面図である。 自車が道路幅方向中央に居るときの作用説明図で、 (a)は、自車の上方から見下ろした平面図、 (b)は、モニタ画面を示す正面図である。 自車が道路幅方向左寄り位置に居るときの作用説明図で、 (a)は、自車の上方から見下ろした平面図、 (b)は、モニタ画面を示す正面図である。

以下、本発明の実施の形態を、図面に基づき詳細に説明する。
＜第1実施例の構成＞
図1は、本発明の第1実施例になる運転支援装置の全体構成を示す機能別ブロック線図で、1は前端カメラ、2は右側カメラ、3は左側カメラをそれぞれ示す。

前端カメラ1は図2(a),(b)に示すごとく、自車10の前端部10Fであって、その車幅方向中央付近に配して設置する。
この設置に当たっては前端カメラ1を、車両進行方向の正面で、且つ、45°前方下向きに指向させる。
そして前端カメラ1は、広角（画角が例えば180°）カメラとし、自車前端部10Fの左右隅角部をも含む自車前端部10Fやその周辺走行路部分に関した前周辺画像(第1鳥瞰画像)を撮影するものとする。
ここで鳥瞰画像とは、自車から図2(b)のように所定の見下ろし角をもって見た前方画像を意味するものである。

右側カメラ2は、同じく図2(a),(b)に示すように、自車10の右ドアミラー10R付近に略下向きに設置した広角（画角が例えば180°）カメラで、右ドアミラー10Rの付近における自車10の側面やその周辺走行路部分を含む右周辺画像（俯瞰画像）を撮影するものとする。
ここで俯瞰画像とは、自車10を真下に見下ろすように見た平面画像を意味するものである。
左側カメラ3は、同じく図2(a),(b)に示すように、自車10の左ドアミラー10L付近に略下向きに設置した広角（画角が例えば180°）カメラで、左ドアミラー10Lの付近における自車10の側面やその周辺走行路部分を含む左周辺画像（俯瞰画像）を撮影するものとする。

しかし、カメラ1〜3の設置箇所や、向きや、画角等は上記のものに何ら限定されるものではなく、視点変換等の既存技術を使って、上記したような前周辺画像、右周辺画像、および左周辺画像を得るようにしてもよいのは言うまでもない。

カメラ1〜3の撮影画像はそれぞれコントロールユニット100へ入力され、このコントロールユニット100は、運転者の操作による起動スイッチ4のON時に、後述する運転支援画像を作成してモニタ5に表示する。
モニタ5は、車室内インストルメントパネルなど、運転席の近辺に設置して、運転者がモニタ画面上の上記運転支援画像を視認し得るようになす。

コントロールユニット100は、図1の機能別ブロック線図で示すようなもので、図3に示す制御プログラムを実行して、モニタ5上に表示すべき上記の運転支援画像を作成するものである。

先ず、図1の機能別ブロック線図によりコントロールユニット100を説明するに、これは、右側用鳥瞰視点変換部110と、左側用鳥瞰視点変換部115と、鳥瞰画像合成部120と、鳥瞰画像重畳部130と、マスクアイコン記憶部132と、オプティカルフロー位置強調線記憶部134と、画像接続部140と、前端用俯瞰視点変換部150と、右側用俯瞰視点変換部152と、左側用俯瞰視点変換部154と、俯瞰画像合成部160と、俯瞰画像重畳部170と、自車アイコン記憶部175とで構成する。

右側用鳥瞰視点変換部110は、前端カメラ1で撮影した鳥瞰画像を、進行方向へ向けた自車の右側面位置からの画像に視点変換して（図2のように、前端カメラ1が自車前部10Fの車幅方向中央で前方正面に斜め下向き配置されている場合、図4(a),(b)のように前端カメラ1と同じ車両前後方向位置でこの前端カメラ1から例えば略90cm右側における右側仮想カメラ7からの視点に変換して）、即ち、自車直進時に、無限遠点から、自車右側面に流れる画素のオプティカルフローが、モニタ5上の右側でで上から下へ略垂直になるよう視点変換して、第2鳥瞰画像を作成し、この第2鳥瞰画像を鳥瞰画像合成部120へ出力する。
この第2鳥瞰画像に係わる仮想カメラ７は進行方向遠方の障害物を含む範囲の画像を撮影し、特に、仮想カメラ7の光軸中心が図4(b)に示すごとく路面と交差する位置を第2鳥瞰画像の下端（自車10に一番近い端）として第2鳥瞰画像を作成する。

左側面鳥瞰視点変換部115は、前端カメラ1で撮影した鳥瞰画像を、進行方向へ向けた自車の左側面位置からの画像に視点変換して（図2のように、前端カメラ1が自車前部10Fの車幅方向中央で前方正面に斜め下向き配置されている場合、図4(a),(b)のように前端カメラ1と同じ車両前後方向位置でこの前端カメラ1から例えば略90cm左側における左側仮想カメラ8からの視点に変換して）、即ち、自車直進時に、無限遠点から、自車左側面に流れる画素のオプティカルフローが、モニタ5上の左側で上から下へ略垂直になるよう視点変換して、第3鳥瞰画像を作成し、この第3鳥瞰画像を鳥瞰画像合成部120へ出力する。
この第3鳥瞰画像に係わる仮想カメラ8は進行方向遠方の障害物を含む範囲の画像を撮影し、特に、仮想カメラ8の光軸中心が図4(b)に示すごとく路面と交差する位置を第2鳥瞰画像の下端（自車10に一番近い端）として第2鳥瞰画像を作成する。

鳥瞰画像合成部120は、右側用鳥瞰視点変換部110および左側用鳥瞰視点変換部115で上記のごとくに視点変換され、無限遠から、自車左右側面へ流れる画素のオプティカルフローが略垂直な左右の鳥瞰画像より、自車の左右側面延長線付近を含む画像の一部を切り出して合成し、この合成した画像を鳥瞰画像重畳部130へ出力する。
当該合成した鳥瞰画像は、本発明における前方走行路画像に相当し、従って右側用鳥瞰視点変換部110、左側面鳥瞰視点変換部115、および鳥瞰画像合成部120は、本発明における前方走行路画像作成手段に相当する。

マスクアイコン記憶部132は、上記鳥瞰画像合成部で合成された画像のうち、垂直方向位置ZがZ=0の路面で、右側面の延長線付近の画像と、左側面延長線付近の画像との両方に写っている画素のうち、どちらか一方の画素部位をマスキングして見えなくするアイコンを記憶し、当該記憶したアイコンを鳥瞰画像重畳部130へ出力する。

オプティカルフロー位置強調線記憶部134は、自車10の左右側面位置、若しくは、左右ドアミラー10L,10Rの先端位置における、自車の前方向への延長線アイコンを記憶し、これを鳥瞰画像重畳部130へ出力する。
鳥瞰画像重畳部130は、鳥瞰画像合成部120からの第2鳥瞰画像および第3鳥瞰画像の合成画像に、マスクアイコン記憶部132からのマスクアイコンと、オプティカルフロー位置強調線記憶部134からの延長線アイコンとを重畳する。

上記した自車前方向への延長線アイコンは、本発明における自車通過可能幅表示線に相当し、従って鳥瞰画像重畳部130およびオプティカルフロー位置強調線記憶部134は、本発明における自車通過可能幅表示線設定手段に相当する。

前端用俯瞰視点変換部150は、前端カメラ1で撮影した画像を、自車10の上方から真下に見下ろした俯瞰画像に視点変換して（図2のように、両側カメラ2,3がドアミラー10R,10L付近に下向きに設置されている場合、図4(a),(c)のように両側カメラ2,3と同じ車両前後方向位置でこれらカメラ2,3間の中央上方位置における上方仮想カメラ9からの視点に変換して）、第1俯瞰画像を作成し、これを俯瞰画像合成部160へ出力する。

右側用俯瞰視点変換部152は、右側カメラ2で撮影した自車右側面の画像を、自車10の真上にある上方仮想カメラ9から真下に見下ろした第2俯瞰画像に視点変換して、この第2俯瞰画像を俯瞰画像合成部160へ出力する。

左側用俯瞰視点変換部154は、左側カメラ3で撮影した自車左側面の画像を、自車10の真上にある上方仮想カメラ9から真下に見下ろした第3俯瞰画像に視点変換して、この第3俯瞰画像を俯瞰画像合成部160へ出力する。

俯瞰画像合成部160は、前端用俯瞰視点変換部150、右側用俯瞰視点変換部152、および左側用俯瞰視点変換部154で視点変換された第1〜3俯瞰画像より、自車10の正面および左右側面の一部を含む画像の一部を切り出して合成し、自車10の前端部周辺における俯瞰画像を作成して俯瞰画像重畳部170へ出力する。

自車アイコン記憶部175は、自車10の正面と左右側面の位置部のアイコンを記憶し、俯瞰画像重畳部170へ出力する。
俯瞰画像重畳部170は、俯瞰画像合成部160で合成された自車前部周辺の俯瞰画像に対し、自車アイコン記憶部175に記憶されている自車アイコンを重畳して、自車前部を含む自車周辺を真上から真下に見下ろした俯瞰画像を作成して、画像接続部140へ出力する。

この俯瞰画像が本発明における自車周辺画像に相当し、従って前端用俯瞰視点変換部150、右側用俯瞰視点変換部152、左側用俯瞰視点変換部154、俯瞰画像合成部160、自車アイコン記憶部175、および俯瞰画像重畳部170は、本発明における自車周辺画像作成手段に相当する。

画像接続部140は、鳥瞰画像重畳部130で作成された自車前方に係わる自車前方鳥瞰画像と、俯瞰画像重畳部170で作成された自車前部およびその周辺に係わる自車前部周辺俯瞰画像とを接続し、接続した画像をモニタ5へ出力して、このモニタ5上に表示させる。
従って画像接続部140は、本発明における画像接続手段に相当する。

ところで、鳥瞰画像重畳部130からの自車前方鳥瞰画像と、俯瞰画像重畳部170からの自車前部周辺俯瞰画像との上記接続に際しては、図5(a)の三次元座標（X軸：車幅方向、Y軸：車両前後方向、Z：車両上下方向）に基づき説明すると、自車前方鳥瞰画像51の自車走行方向後方側における走行方向横断線51aと、自車前部周辺俯瞰画像52の自車走行方向前方側における走行方向横断線52aとが重なって、モニタ画面上下方向に連なるよう自車前方鳥瞰画像51および自車前部周辺俯瞰画像52を境界線53で相互に接続し、図5(a)に示すような連続画像となす。

なお、これらの図における線「54」および「55」はそれぞれ、オプティカルフロー位置強調線記憶部134からの自車前方向延長線アイコン（自車通過可能幅表示線）を示し、モニタ画面の上から自車前方鳥瞰画像51および自車前部周辺俯瞰画像52の双方に亘ってモニタ画面の下へと延在するよう表示させる。

ところで、自車前方鳥瞰画像51および自車前部周辺俯瞰画像52が共に歪んでいる場合、これら画像を接続すると図5(b)に示すごとく、画像境界線53が湾曲して自車前方鳥瞰画像51を図5(a)のような平面に維持し得ず、湾曲形状などに変形させてしまう。
この場合は、自車前方鳥瞰画像51および自車前部周辺俯瞰画像52内における歪みを、Z=０の地面において同一箇所が同一形状となるように画像変換し、当該箇所を基準にして自車前方鳥瞰画像51および自車前部周辺俯瞰画像52の相互接続を行う。
このため、接続境界線53は直線とならず、自車10を基準にしてこれからの距離が略等しい円弧形状、若しくは、カメラのレンズ歪みに近い形状となる。

図6は、図5(b)で説明したように湾曲形状の鳥瞰画像51と俯瞰画像52とを接続するときの接続方法を示す。
図6(a)に示すごとく、鳥瞰画像51がレンズ歪み等の原因で歪んでおり（歪み具合をグリッド線の変形により示す）、俯瞰画像52がレンズ歪み等の原因で歪んでおり（歪み具合をグリッド線の変形により示す）、両画像51,52の接続に際して基準となる接続境界線51a,52aが図示のごとくに湾曲している場合、両画像51,52の接続を以下のごとくに行う。

つまり図6(b)に示すように、鳥瞰画像51を図の上下左右方向へ拡大して変形画像となし、鳥瞰画像51内における接続境界線51aが、俯瞰画像52内における接続境界線52aと同形状になるようにし、かように鳥瞰画像51を拡大変形させた状態で、鳥瞰画像51内における接続境界線51aと、俯瞰画像52内における接続境界線52aとの箇所において鳥瞰画像51と俯瞰画像52とを相互に接続させる。
これによって、鳥瞰画像51と俯瞰画像52とを、湾曲していても境界線51a,52aにおいて相互に接続することができる。

鳥瞰画像51と俯瞰画像52との接続に当たっては、鳥瞰画像51内で最も歪みの少ない箇所、具体的にはカメラ光軸を基準とし、カメラ光軸を通る左右方向の線において鳥瞰画像51と俯瞰画像52との接続を行ってもよい。
しかし、実際のカメラにおけるレンズの歪み特性を考慮すると、図6に示すように、カメラ光軸中心を基準とした上下方向と、左右方向の直線以外は湾曲しており、特に、少ないカメラ数で自車の全周囲を撮影しようとすると、カメラ一つ当たりでの撮影範囲を広くする必要があるため、撮影範囲の広い広角レンズ付きのカメラを利用することとなり、撮影画像の周辺部では、像の歪みを生じやすい。

従って、鳥瞰画像51に関しては、カメラの設置位置を変えることなく、光軸中心基準の左右方向以外の、任意の撮影範囲（例えば、遠方まで写っている部分の像）を得たい場合、俯瞰画像52との接続部（境界線）が直線状にならない場合が多い。
俯瞰画像52については、自車真上の任意の距離から、地面に対して垂直方向に見下ろした画像であり、地表面（Ｚ＝０面）を基準にして、上下左右方向（車両基準のＸＹ平面）の歪みが生じないよう視点変換されているため、鳥瞰画像51のように、ＸＹ平面での左右方向の直線が、曲線に表示されることはない。

図6に示すように、一方（図の上部）が鳥瞰画像51で、もう一方（図の下部）が俯瞰画像52である場合、地表面を基準とした境界線51a,52aが両図で一致するように各々の画像の縦および横方向の縮尺を変更し（上図を高さ方向で約2.7倍、横方向で約1.2倍）、上図の境界線51aと、下図の境界線52aにおいて鳥瞰画像51および俯瞰画像52を接続すると、Ｚ＝０面で連続した画像が得られる。
この場合、上図と下図の接続箇所は直線状にはならず、湾曲した状態で、且つ、各々の画像に多少の歪みはあるものの、運転者が死角を確認するには充分なレベルの画像となる。

もちろん、鳥瞰画像51を画像変換等の手法を用いて画素マッピングを不均一、若しくは、変形させることで、鳥瞰画像51と俯瞰画像52との接続部53を直線状にすることも可能ではあるが、
車両が前進した場合奥行き方向において、自車10が一定速度であるにも関わらず、モニタ内のある画素の箇所では路面上の固定障害物がゆっくりと画面内で自車10に接近して、同一モニタ内の別の箇所では路面上の固定障害物が急激に早く自車10に接近するなど、実際と異なった接近速度で表示されるという問題が発生してしまう。

従って、上記したように、カメラ光軸を基準にした左右方向の直線に沿って鳥瞰画像51の接続部を作成するのが、モニタ内での路面固定障害物の接近速度が均一になるという意味合いにおいて好ましい。
しかし本実施例では図5に示すように、自車10から所定距離離れた左右箇所にある進行方向のオプティカルフロー54,55を、鳥瞰画像51および俯瞰画像52の双方に亘って延在するよう、自車進行方向と平行、且つ、直線状に表示するため、図5(b)に示すように、鳥瞰画像51と俯瞰画像52との接続境界線53で、路面固定障害物の自車への接近速度の不均一が発生する表示であっても（接続境界線53が湾曲していても）、自車から左右方向に所定距離離れた箇所における、進行方向と平行で、且つ、直線状のオプティカルフローを作成することは可能である。

これによって、路面固定障害物との接近速度の不均一は生じるものの、自車走行車線の左右端部、若しくは、左右壁の付け根等からなる直線部が、モニタ内で進行方向と平行で、且つ、直線状に表示されるため、自車を道路に平行で、且つ、端部に寄せる行動を行い易くなるといった効果が得られる。

なお単なる俯瞰（ＡＶＭ）と比較しても、鳥瞰画像には遠方の像も表示されているので、モニタ内で急激に現れる、若しくは、実際に運転者が視認した障害物と、モニタ内の障害物との対比に時間を取られ、モニタ内で急激に障害物を回避するといったことなく、実際の運転中に肉眼で確認した障害物と、モニタ内に表示される遠方障害物との対応付け（関係）を把握し易い。
従って、モニタ内画像と運転者が視認している障害物との対比に要する時間を短くでき、且つ、たとえモニタを注視していたとしても、遠方と自車直近の死角に至るまで間での情報を連続してモニタ内で把握することができるため、即座に、精度の高い運転操作を実行することが可能であるという効果を奏し得る。

図1のコントロールユニット100が、モニタ5上に表示すべき運転支援画像を上記のように作成する制御プログラムを、図3に基づき以下に説明する。
図3の制御プログラムは図示せざるイグニッションスイッチのON時に開始され、先ずステップＳ10において、自車10に設置されたカメラ1〜3や、図示せざるレーザレンジファインダおよび超音波センサ等の各種センサを起動する。

次のステップＳ20においては、上記カメラ1〜3の撮影画像や、レーザレンジファインダおよび超音波センサからの信号を用いて、自車正面方向の幅員を計測する。
ステップＳ30においては、図1の起動スイッチ4がONされたか否かを判断し、起動スイッチ4がONされていれば、運転者がシステムの作動を希望していないため、制御をステップＳ20に戻して待機し、起動スイッチ4がONされていれば、運転者がシステムの作動を希望しているため、制御をステップＳ40以降に順次進める。

ステップＳ40においては、自車の車幅方向における中心を基準に、左右方向に所定距離だけ離れた箇所、具体的には略右ドアミラー先端部と、略左ドアミラー先端部との2箇所が、モニタ5上で演算上発生する運転者が不可視の垂直となる垂直オプティカルフロー（視点）を設定する。
ステップＳ50においては、車両前端の車幅方向中央に設置された前端カメラ1の映像から、遠方の画素部分を切り出して第1鳥瞰画像を作成する。

ステップＳ60においては、ステップＳ50で作成した第1鳥瞰画像を、ステップＳ40で設定したオプティカルフロー箇所（右ドアミラー先端部）となる様に視点（剪断）変換して第2鳥瞰画像を作成する（図1の右側用鳥瞰視点変換部110）。
ステップＳ60においては、ステップＳ50で作成した第1鳥瞰画像を、ステップＳ40で設定したオプティカルフロー箇所（左ドアミラー先端部）となる様に視点（剪断）変換して第3鳥瞰画像を作成する（図1の左側用鳥瞰視点変換部115）。

ステップＳ80においては、ステップＳ60で作成した第2鳥瞰画像（右側視点）と、ステップＳ70で作成した第3鳥瞰画像（左側視点）とにおいて、Z=0面（地面）で、同一箇所が撮影される画素をマスキングする（図1の鳥瞰画像重畳部130およびマスクアイコン記憶部132）。

第2鳥瞰画像と第3鳥瞰画像は、第1鳥瞰画像を異なる視点（図4の仮想カメラ位置7,8）から見たものに視点変換したものであるため、特に画像内の遠方（無限遠点付近）については、両鳥瞰画像内に同一箇所が存在する。
このため、自車正面の障害物が単一であっても、この単一障害物が第2鳥瞰画像と第3鳥瞰画像との両方の画像に存在することとなり、障害物の正確な数を把握しづらい。
この問題を解決するため、第2鳥瞰画像と第3鳥瞰画像の両方に映っている画素については、他の色等でマスキング処理を施すこととする。

ステップＳ90においては、前端カメラ1、右側カメラ2、左側カメラ3の画像を、自車を真上から（図4の仮想カメラ位置9から）見下ろした視点の俯瞰画像に視点変換し（図1の俯瞰視点変換部150,152,154）、更に、これら3個の俯瞰画像を合成して、自車とその周辺を含む自車周辺俯瞰画像を作成する。

ステップＳ100においては、ステップＳ60で作成した第2鳥瞰画像のオプティカルフロー位置（右ドアミラー先端部）と、ステップＳ70で作成した第3鳥瞰画像のオプティカルフロー位置（左ドアミラー先端部）と、ステップＳ90で作成した自車周辺俯瞰画像のオプティカルフロー位置（左右のドアミラー先端部）との車幅方向位置が一致するように画像を接続して合成する（図1の画像接続部140）。

ステップＳ110においては、ステップＳ100で上記のように合成して得られた運転支援画像を、車室内運転席近傍のモニタ5へ向け出力して、当該モニタ5上に表示する。

ステップＳ120においては、ステップＳ30でONがなされた起動スイッチ4がOFFされたか否かをチェックし、
起動スイッチ4がOFFされない間は、ステップＳ120での「起動スイッチ4のOFF判定」を継続して、引き続き上記した運転支援画像のモニタ表示を行う。
起動スイッチ4がOFFされると、ステップＳ120がステップＳ130を選択するようになり、このステップＳ130において、モニタ5における運転支援画像を消して非表示にし、図3の制御プログラムを終了する。

＜運転支援画像＞
上記のごとくに作成してモニタ5に表示させる運転支援画像を、図7に基づき以下に詳述する。
図7(a)は、自車の真上から真下への視点で見た自車前部周辺俯瞰画像52の全体を示し、前記した視点変換やオプティカルフローの方向を理解し易くなるよう、地表面（Z=0面）における格子状のメッシュを併記した。

自車前部周辺俯瞰画像52の比較的自車走行方向前方側における走行方向横断線52aよりも図の下半分領域56には、自車10の自車アイコン57と、その周辺を含む画像とが表示されており、図の上部が自車前方である。
本実施例では、自車前部周辺俯瞰画像52の走行方向横断線52aよりも図の下半分領域56を、ここに映し出された自車アイコン57およびその周辺画像と共に、運転支援画像のうちの自車前部周辺俯瞰画像として利用する。

自車前部周辺俯瞰画像52の下半分領域56には更に、自車がステアリング中立状態で直進した時の、車両左側面から所定距離（ドアミラー先端部や、更にマージンを取った50cm〜1m）離れた位置での画像の流れ方向（オプティカルフロー）54a、および、車両右側面から所定距離離れた位置の画像の流れ方向（オプティカルフロー）55aを表示した。

図7(b)は、同図(a)の自車前部周辺俯瞰画像52を、真上からの視点ではなく、ある俯瞰角度（見下ろし角）を持って見下ろした鳥瞰画像を示す。

図17(c)は、同図(b)の鳥瞰画像を、同図(b)の左側オプティカルフロー54aに対し車両走行方向に連なる左側オプティカルフロー54bがモニタ画面5に垂直になるよう視点変換（例えば、剪断変換や遠近変換）した、前端カメラ1の映像を示し、領域51bは、運転支援画像における第2鳥瞰画像として利用する領域である。

図17(d)は、同図(b)の鳥瞰画像を、同図(b)の右側オプティカルフロー55aに対し車両走行方向に連なる右側オプティカルフロー55bがモニタ画面5に垂直になるよう視点変換（例えば、剪断変換や遠近変換）した、前端カメラ1の映像を示し、領域51cは、運転支援画像における第3鳥瞰画像として利用する領域である。

図7(e)は、自車左右側面から所定距離離れた位置(所定の側部)における自車左右のオプティカルフロー54a,54bおよび55a,55b(後方への流れ)がそれぞれモニタ画面5に対して垂直方向になるよう、つまり、直進走行時における自車前方の走行路内所定側部の後方への流れが自車の長手方向に沿うように変換され、自車の直進時にモニタ画面5の上から下へ垂直方向に流れるようになした運転支援画像を示す。
この画像変換は、図示のない走行路の消失点が、普通の鳥瞰画像だと略画像の中央に位置するが、その消失点を２つに分けて、走行路の自車左右側面から所定距離離れた位置(所定の側部)に配置するように変換した画像である。

またモニタ画面5に表示される運転支援画像の構成は、下半分領域56が俯瞰画像であり、右上領域51cが視点変換後の第3鳥瞰画像であり、左上領域51bが視点変換後の第2鳥瞰画像である。
これら領域の画像はそれぞれ、Z=0面（地表面）において連続性を確保し、且つ、接続部での大きさを同じにするため、第2鳥瞰画像と第3鳥瞰画像の倍率を調整している。

＜第1実施例の作用＞
上記した第1実施例の作用を図8，9に基づき以下に詳述する。
図8は、狭小路における自車10（10-1,10-2,10-3の3位置で示した）と、道路(壁)21,22と、電柱23,24等の立体障害障害物との位置関係を上方から見て示し、
図9(a),(b),(c)はそれぞれ、自車10が図8における10-1の位置、10-2の位置、および10-3の位置に居る時のモニタ画面5を示す。

先ず図8を説明するに、21は、自車の進行方向に対しての道路の左端部（稜線）、若しくは、左壁や側溝で、自車の走行可能領域の左境界を示し、
22は自車の進行方向に対しての道路の右端部（稜線）、若しくは、右壁や側溝で、自車の走行可能領域の右境界を示す。
23は、道路の自車進行方向に対して、左側に設置されている電柱（立体障害物、標識、ポール、ガードレール、側溝等）を示し、
24は道路の自車進行方向に対して、右側に設置されている右電柱（立体障害物、標識、ポール、ガードレール、側溝等）を示す。

自車位置10-1は、自車が電柱3（幅狭部）に至る直前の自車位置で、自車位置10-2は、電柱3（幅狭部）の真横における自車位置で、自車位置10-3は、右電柱24（幅狭部）に至る直前の自車位置である。
なお図8におけるL1位置、L2位置、およびL3位置はそれぞれ、自車10が10-1の位置、10-2の位置、および10-3の位置に居る時の図9(a),(b),(c)に示すモニタ画面5の画像接続境界線53（俯瞰画像および鳥瞰画像間の境界）に映し出される自車前方位置を示す。

なお図8，9における54,55はそれぞれ、自車10から所定距離離れた左右箇所（左右ドアミラー先端部）にある進行方向のオプティカルフローを示す。
本実施例ではオプティカルフロー54,55を、自車10の左右ドアミラー先端部にある進行方向のオプティカルフローとして自車通過可能幅表示線としたが、これに限られるものではない。
また、このオプティカルフロー上に重畳するように運転者が認識可能な自車通過可能幅表示線（走行路通過可能幅表示線）を設けてもよい。

図9(a),(b),(c)はそれぞれ上記した通り、自車10が10-1の位置、10-2の位置、および10-3の位置に居る時のモニタ画面5を示すが、モニタ画面5における画像接続境界線53よりも上半分は鳥瞰画像で、下半分は俯瞰画像である。
鳥瞰画像部では、前端オプティカルフローントカメラ1の映像を処理して、自車がステアリング中立状態で直進した時、オプティカルフロー54,55の左接続箇所と右接続箇所で、モニタ画面5の上下方向に対して平行になるようにする。

従って、地面（Z=0面）における左右の道路稜線や壁の付根部分21,22が、モニタ画面5内で鳥瞰画像と俯瞰画像と（境界53）の双方で略直線に表示される。
反面、鳥瞰画像側では、剪断変換や遠近変換等を用いて、Z=0面を基準にした視点変換を行っているため、特に電柱23,24や駐車車両等の立体障害物は歪んで表示されることになる。

また、鳥瞰画像側はモニタ画面5と垂直になるオプティカルフロー54,55を2本設定しているので、2画面を合成することになる。
この際に、Z=0面を基準にして、2画面の両方に映っている画素部については、どちらか片方の画面を採用する、若しくは、図9に黒三角部で示すようにマスキングする。
これによって、実際には一つしか存在しない障害物が、モニタ画面5内に複数個表示されてしまうのを防止することができる。

自車10が図8に10-1で示す位置に居る時のモニタ画面5を示す図9(a)では、鳥瞰画像と俯瞰画像との接続境界線53は、図8のL1位置を表示している。
従って、左電柱23および右電柱24がともに鳥瞰画像側に表示されている。
また自車10が図8に10-2で示す位置に居る時のモニタ画面5を示す図9(b)では、鳥瞰画像と俯瞰画像との接続境界線53は、図8のL2位置を表示している。
従って、俯瞰画像側に左電柱23が表示され、鳥瞰画像側に右電柱24が表示されている。
更に自車10が図8に10-3で示す位置に居る時のモニタ画面5を示す図9(c)では、鳥瞰画像と俯瞰画像との接続境界線53は、図8のL3位置を表示している。
従って、俯瞰画像側に左電柱23が表示されなくなり、鳥瞰画像側に右電柱24が表示されている。

上記の説明から明らかなように、自車10の進行（直進）に伴って、道路端部や壁21,22および電柱23,24はモニタ画面5上を移動してゆくものの、自車10および左右のオプティカルフロー（自車通過可能幅表示線）は、鳥瞰画像と俯瞰画像内において変化しない。
従って、自車10を左右の道路端部21,22に寄せる行動（幅寄せ）において、従来のように道路端が放射線状になって、運転者が自車側面の延長線との関係を把握できないという問題を生ずることがないと共に、幅寄せに利用する環境情報（道路端部と自車側面の延長線との角度）が歪むという問題を生ずることもない。
また、自車の遠方までモニタ画面5内に表示されるため、幅寄せ行動を事前に開始することができて、安全運転支援に大いに有用である。
更に、俯瞰画像のみに比べて、道路端部も自車の遠方から表示されているため、行動の準備ができ、安心感も提供できるといった効果を有する。

＜第1実施例の効果＞
上記した第1実施例の効果を図10，11に基づき以下に説明する。
図10(a)および図11(a)はそれぞれ、狭小路における自車10と、道路(壁)21,22と、電柱23,24との位置関係の二例を上方から見て示し、
図10(b)は、自車10が狭小路内で図10(a)のような道路幅方向左寄り位置に居る時のモニタ画面5を示し、
図11(b)は、自車10が狭小路内で図11(a)のような道路幅方向右寄り位置に居る時のモニタ画面5を示す。

自車10が図10(a)のような左寄り位置に居る場合、直進時に、最幅狭部を接触することなく通過可能であることが、図10(b)のモニタ画面5上におけるオプティカルフロー（自車通過可能幅表示線）54と左電柱23の画像との相対位置から容易に把握することができる。
具合的には、図10(b)のモニタ画面5から、これに垂直なオプティカルフロー（自車通過可能幅表示線）54,55間の走路幅内に、道路の稜線（壁）21,22や障害物である電柱23,24の画像が存在していないのを認知することができ、このまま自車10を直進させても、周辺環境との接触が無いことを容易に把握することができる。

自車10が図11(a)のような右寄り位置に居る場合、直進時に、最幅狭部を構成する電柱24と接触して通過不能であることが、図11(b)のモニタ画面5上におけるオプティカルフロー（自車通過可能幅表示線）55と電柱24の画像との相対位置から容易に把握することができる。
具合的には、図11(b)のモニタ画面5から、これに垂直なオプティカルフロー（自車通過可能幅表示線）54,55間の走路幅内に、障害物である電柱24の画像が存在しているのを認知することができ、このまま自車10を直進させると、電柱24に接触することを容易に把握することができる。

ところで第1実施例においては、自車周辺画像が上記の通り、自車を真下に見下ろすように見た俯瞰画像であり、また、前方走行路画像が、自車から所定の見下ろし角をもって見た鳥瞰画像であるため、
自車周辺画像52の自車走行方向前方側における走行方向横断線52aに、前方走行路画像51の自車走行方向後方側における走行方向横断線51aが重なるよう、これら自車周辺画像および前方走行路画像を相互に接続して連続画像を得るとき、自車周辺画像および前方走行路画像間の連続感を容易に優れたものとなし得る。

そのため、前方走行路にある単一の障害物が一時的に、上下方向に接続させた自車周辺画像および前方走行路画像の双方に表示されたり、この障害物が、自車周辺画像および前方走行路画像の何れにも表示されないといった問題を発生することがない。

更に同じ障害物なら、この障害物は上方の前方走行路画像から消えた後に、下方における自車周辺画像の同じ位置から現れることとなり、
同じ障害物が、上方の前方走行路画像から消えた後に、下方における自車周辺画像のずれた位置から現れて、自車周辺の環境を両画像における表示から把握するのが困難であるという問題も回避することができる。

更に第1実施例においては、モニタ画面5に垂直なオプティカルフロー54,55を、左右ドアミラー先端部にある進行方向のオプティカルフローとして自車通過可能幅表示線としたため、
該左右のオプティカルフロー54,55間に障害物が存在している場合は、回避行動（操舵）を取る必要があり、該オプティカルフロー54,55間に障害物が存在していない場合には、そのまま直進可能であることを容易に把握できるという画面表示になっており、運転支援に大いに有用である。
また同じ理由から、現在の自車位置のまま直進した場合において、道路稜線（壁）や電柱との接触判断を、最幅狭部がモニタ画面5内の遠方（鳥瞰映像部）にある段階から判断可能であり、且つ、左右の垂直オプティカルフロー54,55間における障害物の有無を確認するといった直感的な表示で当該判断が可能であるといった効果を奏することができる。

第1実施例においては更に、オプティカルフロー（自車通過可能幅表示線）54,55を、俯瞰画像および鳥瞰画像に個別に重畳表示して設定し、これらオプティカルフロー（自車通過可能幅表示線）54,55が相互に略直線状につながるよう矯正して、俯瞰画像および鳥瞰画像の接続を行うため、
自車が直進する時に、障害物の有無を確認すべき領域（左右のオプティカルフロー54,55間）の境界を把握し易く、上記の効果を更に顕著なものにすることができる。

そして、オプティカルフロー（自車通過可能幅表示線）54,55が相互に略直線状につながるよう矯正するに際し、俯瞰画像の剪断変換により当該矯正を行うため、
鳥瞰画像における奥行方向の情報の歪みが少なく、表示画面から奥行感を把握し易く、上記の効果を更に顕著なものにすることができる。

また、俯瞰画像および鳥瞰画像の接続を、Z=0の地表面において行うため、立体物であっても、これを確実にモニタ画面5内に表示させ得て、遠方から近くまでの接近軌跡を想起し易く、上記の効果を更に顕著なものにすることができる。

更に俯瞰画像および鳥瞰画像の接続時に、相互に重複する画素部をマスキングして表示させないようにしたため、障害物の数や配置が実際と異なる表示になることがなく、上記の効果を更に顕著なものにすることができる。

加えて、俯瞰画像および鳥瞰画像の接続に際し、俯瞰画像を撮影する前端カメラ1の光軸と地表面との交差部（図8のL1,L2,L3位置）において当該接続を行うため、鳥瞰画像と俯瞰画像との接続境界線53が図9のごとく横一直線になり、ここにおける画像の歪みが少なく、画像から走行環境を把握し易く、上記の効果を更に顕著なものにすることができる。

＜第2実施例の構成＞
図12は、本発明の第2実施例になる運転支援装置の全体構成を示す機能別ブロック線図で、1は前端カメラ、2は右側カメラ、3は左側カメラ、6はレーザレンジファインダ群、7は超音波センサ群をそれぞれ示す。

前端カメラ1は図2(a),(b)につき前述したごとく、自車前端部10Fの車幅方向中央付近に、45°前方下向きに設置し、自車前端部10Fの左右隅角部をも含む自車前端部10Fやその周辺走行路部分に関した前周辺画像(第1鳥瞰画像)を撮影する広角（画角が例えば180°）カメラとする。

右側カメラ2は、同じく図2(a),(b) につき前述したごとく、右ドアミラー10R付近に略下向きに設置し、右ドアミラー10Rの付近における自車10の側面やその周辺走行路部分を含む右周辺画像（俯瞰画像）を撮影する広角（画角が例えば180°）カメラとする。
左側カメラ3は、同じく図2(a),(b) につき前述したごとく、左ドアミラー10L付近に略下向きに設置し、左ドアミラー10Lの付近における自車10の側面やその周辺走行路部分を含む左周辺画像（俯瞰画像）を撮影する広角（画角が例えば180°）カメラとする。

レーザレンジファインダ群6は、自車の左右両方の前隅角部付近に設置し、自車前方に存在する立体障害物までの距離と、その方角（角度）を検出するものとする。
超音波センサ群7は、自車の左右両方の前隅角部付近に、所定の間隔と角度を持って複数個設置し、自車前方の直近に存在する立体障害物までの距離を検出するものとする。

カメラ1〜3の撮影画像と、レーザレンジファインダ群6および超音波センサ群7の検出結果はそれぞれコントロールユニット200へ入力され、このコントロールユニット200は、後述する運転支援画像を作成してモニタ5に表示する。
モニタ5は、車室内インストルメントパネルなど、運転席の近辺に設置して、運転者がモニタ画面上の上記運転支援画像を視認し得るようになす。

コントロールユニット200は、図12の機能別ブロック線図で示すようなもので、図13に示す制御プログラムを実行して、モニタ5上に表示すべき上記の運転支援画像を作成するものである。

先ず、図12の機能別ブロック線図によりコントロールユニット200を説明するに、これは、右側用鳥瞰視点変換部250と、左側用鳥瞰視点変換部255と、鳥瞰画像合成部120と、鳥瞰画像重畳部130と、マスクアイコン記憶部132と、オプティカルフロー位置強調線記憶部134と、画像接続部140と、前端用俯瞰視点変換部150と、右側用俯瞰視点変換部152と、左側用俯瞰視点変換部154と、俯瞰画像合成部160と、俯瞰画像重畳部170と、自車アイコン記憶部175と、周辺環境検出部210と、画像処理部220と、最狭部幅員検出部230と、表示自動起動部235と、右ギャップ検出部240と、左ギャップ検出部241と、右オプティカルフロー位置決定部244と、左オプティカルフロー位置決定部246とで構成する。

図12のコントロールユニット200は、カメラ1〜3で撮影された画像を基に、レーザレンジファインダ群6および超音波センサ群7の検出値や、画像処理部220で検出された幅員に基づいて運転支援画像を作成し、この運転支援画像をモニタ5に出力して表示させるものである。

右側用鳥瞰視点変換部250は、前端カメラ1で撮影した画像を、進行方向へ向けた自車右側における所定位置（後述する右オプティカルフロー位置決定部244の出力）からの画像に視点変換して、つまり、自車直進時に、無限遠点から、自車右側の所定位置に流れる画素のオプティカルフローが、モニタ5上で上から下へ略垂直になるよう視点変換して、鳥瞰画像合成部120へ出力する。

左側用鳥瞰視点変換部255は、前端カメラ1で撮影した画像を、進行方向へ向けた自車左側における所定位置（後述する左オプティカルフロー位置決定部246の出力）からの画像に視点変換して、つまり、自車直進時に、無限遠点から、自車左側の所定位置に流れる画素のオプティカルフローが、モニタ5上で上から下へ略垂直になるよう視点変換して、鳥瞰画像合成部120へ出力する。

鳥瞰画像合成部120は、右側用鳥瞰視点変換部250と、左側用鳥瞰視点変換部255とで視点変換され、無限遠から、自車左右側の所定位置へ流れる画素のオプティカルフローが略垂直な左右の鳥瞰画像から、自車の左右所定位置からの延長線付近を含む画像の一部を切り出して合成し、鳥瞰画像重畳部130へ出力する。

マスクアイコン記憶部132は、上記鳥瞰画像合成部120で合成された画像のうち、Z=0面で、右側所定位置からの延長線付近の画像と、左側所定位置からの延長線付近の画像との両方に写っている画素のうち、どちらか一方の画素部位をマスキングするアイコンを記憶し、鳥瞰画像重畳部130へ出力する。

オプティカルフロー位置強調線記憶部134は、後述する右オプティカルフロー位置決定部244と、左オプティカルフロー位置決定部246とで決定された位置における、自車の前方向へのオプティカルフロー位置強調アイコンを記憶し、鳥瞰画像重畳部130へ出力する。
鳥瞰画像重畳部130は、鳥瞰画像合成部120からの第2鳥瞰画像および第3鳥瞰画像の合成画像に、マスクアイコン記憶部132からのマスクアイコンと、オプティカルフロー位置強調線記憶部134からの延長線アイコンとを重畳する。

上記した自車前方向への延長線アイコンは、本発明における走行路通過可能幅表示線に相当し、従って鳥瞰画像重畳部130およびオプティカルフロー位置強調線記憶部134は、本発明における走行路通過可能幅表示線設定手段に相当する。
画像接続部140は、鳥瞰画像重畳部130で作成された鳥瞰画像と、後述するように俯瞰画像重畳部170で作成された俯瞰画像とを接続して、モニタ5へ出力する。

前端用俯瞰視点変換部150は、前端カメラ1で撮影した画像を、自車の真上から見下ろした第1俯瞰画像に視点変換して、俯瞰画像合成部160へ出力する。
右側用俯瞰視点変換部152は、右側カメラ2で撮影した自車右側面の画像を、自車の真上から見下ろした第2俯瞰画像に視点変換して、俯瞰画像合成部160へ出力する。
左側用俯瞰視点変換部154は、左側カメラ3で撮影した自車左側面の画像を、自車の真上から見下ろした第3俯瞰画像に視点変換して、俯瞰画像合成部160へ出力する。

俯瞰画像合成部160は、前端用俯瞰視点変換部150と、右側用俯瞰視点変換部152と、左側用俯瞰視点変換部154とで視点変換された俯瞰画像から、自車の正面および左右側面の一部を含む画像の一部を切り出して合成し、自車周辺の俯瞰画像を作成して俯瞰画像重畳部170へ出力する。
俯瞰画像合成部170は、俯瞰画像合成部160で合成された自車周辺の俯瞰画像に、自車アイコン記憶部175に記憶されている自車アイコンを重畳し、自車を含む自車周辺を真上から見下ろした画像に合成して、画像接続部140へ出力する。
自車アイコン記憶部175は、自車の正面と左右側面の位置部のアイコンを記憶し、俯瞰画像重畳部170へ出力する。

画像処理部220は、前端カメラ1で撮影した自車前方の画像を画像処理して、障害物の配置や、幅員等の環境情報を取得し、周辺環境検出部210へ出力する。
周辺環境検出部210は、レーザレンジファンダ群6、超音波センサ群7、画像処理部220から、自車前方の環境情報（障害物の配置や、走行可能エリアの特定情報）を取得して最狭部幅員検出部230へ出力する。

最狭部幅員検出部230は、周辺環境検出部210の出力から、立体障害物間のギャップや幅員が、所定値以下（例えば3.5m以下）の箇所を検出して、その結果を表示自動起動部235へ出力する。
表示自動起動部235は、最狭部までの距離（例えば、最狭部までの距離が6m以上で、且つ、20m以下）に基づいて、本実施例の運転支援装置を起動する信号を出力する。

右ギャップ検出部240は、自車が最狭部検出部230で検出した最狭部へ直進した時に、自車の右側面と、最狭部を構成する右障害物とのギャップ（距離）を検出して、その結果を右オプティカルフロー位置決定部242へ出力する。
左ギャップ検出部242は、自車が最狭部検出部230で検出した最狭部へ直進した時に、自車の左側面と、最狭部を構成する左障害物とのギャップ（距離）を検出して、その結果を左オプティカルフロー位置決定部246へ出力する。

右オプティカルフロー位置決定部244は、右ギャップ検出部240からの出力を受け、自車右側面からのギャップ（距離）だけ離れた位置に、モニタ5内で垂直に延在するオプティカルフロー位置を決定し、右側用鳥瞰視点変換部250へ出力する。
左オプティカルフロー位置決定部246は、左ギャップ検出部242からの出力を受け、自車左側面からのギャップ（距離）だけ離れた位置に、モニタ5内で垂直に延在するオプティカルフロー位置を決定し、左側鳥瞰視点変換部255へ出力する。

図12のコントロールユニット200が、モニタ5上に表示すべき運転支援画像を上記のように作成する制御プログラムを、図13に基づき以下に説明する。
図13の制御プログラムは図示せざるイグニッションスイッチのON時に開始され、先ずステップＳ10において、自車10に設置されたカメラ1〜3や、レーザレンジファインダ群6および超音波センサ群7などの各種センサを起動する。

次のステップＳ20においては、上記カメラ1〜3の撮影画像や、レーザレンジファインダ群6および超音波センサ群7の検出結果を用いて、自車正面方向の幅員を計測する。
ステップＳ200においては、ステップＳ20で計測した自車正面方向の幅員が所定値以下の最狭部（例えば幅員3.5m以下の箇所）が在るか否かをチェックし、
所定値（3.5m）以下の幅員箇所が無ければ、システムの作動（運転支援）が不要であるため、制御をステップＳ20に戻して待機し、
所定値（3.5m）以下の幅員箇所が在れば、システムの作動（運転支援）が必要であるため、制御をステップＳ210以降に順次進める。

ステップＳ210においては、ステップＳ200で判定した所定値（3.5m）以下の最狹幅員箇所が、更に後方（奥行き方向）の第2所定距離（例えば6m）以内で連続しているか否かを確認し、連続しているようであれば、該第2所定距離（6ｍ）の範囲内の最狭部を出力する。
ステップＳ220においては、ステップＳ210で検出した第2所定距離（6ｍ）の範囲内の最狭部に自車がそのまま直進した場合における、自車右側面から最狭部右側障害物までの右ギャップと、自車左側面から最狭部左側障害物までの左ギャップとを演算する。

ステップＳ230においては、ステップＳ220で演算した最狭部の右側障害物までの右ギャップ位置を、自車右側においてモニタ5上で垂直となる右オプティカルフロー（視点）位置に設定すると共に、
ステップＳ220で演算した最狭部の左側障害物までの左ギャップ位置を、自車左側においてモニタ5上で垂直となる左オプティカルフロー（視点）位置に設定する。

ステップＳ50においては、車両前端の車幅方向中央に設置された前端カメラ1の映像から、遠方の画素部分（具体的には、前端カメラ１の映像の上半分）を切り出して第1鳥瞰画像を作成する。
ステップＳ240においては、上記の第1鳥瞰画像を、ステップＳ220で設定した右ギャップ位置（右オプティカルフロー位置）となるように視点（剪断）変換して、自車右側の第4鳥瞰画像を作成する。
ステップＳ250においては、上記の第1鳥瞰画像を、ステップＳ220で設定した左ギャップ位置（左オプティカルフロー位置）となるように視点（剪断）変換して、自車左側の第5鳥瞰画像を作成する。

ステップＳ260においては、ステップＳ240で作成した第4鳥瞰画像（右側視点）と、ステップＳ250で作成した第5鳥瞰画像（左側視点）とで、Z=0面（地面）において同一箇所が撮影される画素をマスキングする。
なお視点変換の種類にもよるが、剪断変換であれば、概ねステップＳ230で設定した左右オプティカルフロー位置と、モニタ上辺との交点を底辺とし、鳥瞰画像と俯瞰画像との接続部で、且つ、自車左右方向の中心（０X）の延長線との交点を頂点とした三角形部分が、第4鳥瞰画像および第5鳥瞰画像のZ=0面における同一箇所撮影領域に該当する。

ステップＳ90においては、前端カメラ1、右側カメラ2、左側カメラ3の画像を、自車を真上から（図4の仮想カメラ位置9から）見下ろした視点の俯瞰画像に視点変換し（図1の俯瞰視点変換部150,152,154）、更に、これら3個の俯瞰画像を合成して、自車とその周辺を含む自車周辺俯瞰画像を作成する。

ステップＳ100においては、ステップＳ240で作成した第4鳥瞰画像のオプティカルフロー位置（最狭部右側障害物までの右ギャップ）と、ステップＳ250で作成した第5鳥瞰画像のオプティカルフロー位置（最狭部左側障害物までの左ギャップ）と、ステップＳ90で作成した俯瞰画像の対応する側におけるオプティカルフロー位置とが、横方向において合致するよう、俯瞰画像と、第4，5鳥瞰画像とを接続して合成する（図12の画像接続部140）。

ステップＳ110においては、ステップＳ100で上記のように合成して得られた運転支援画像を、車室内運転席近傍のモニタ5へ向け出力して、当該モニタ5上に表示する。

ステップＳ270においては、ステップＳ110でモニタ表示させた運転支援画像内の最狭部と、自車との左右方向の横位置が変化したか否かをチェックし、自車の横位置変化があった場合は、再度、モニタ5内における左右垂直オプティカルフローの位置を設置し直す必要があるため、制御をステップＳ20に戻して、前記した処理によりモニタ5内における左右垂直オプティカルフローの位置を設置し直し、自車の横位置変化が無い間は、制御をステップＳ280に進める。

自車の横位置変化があった場合に（ステップＳ270）、再度、モニタ5内における左右垂直オプティカルフローの位置を設置し直す必要がある理由は、
本実施例においては、第1実施例のように左右垂直オプティカルフロー位置が所定位置（自車ドアミラー先端部位置）に固定されているのでなく、最狭部の左右障害物の位置により決まるためであり、本実施例においては自車の横位置が変化した場合でも、道路に対する左右オプティカルフロー位置が変化しない。

ステップＳ270で自車の横位置変化が無いと判定する場合に選択されるステップＳ280においては、ステップＳ210で検出した最狭部（幅員3.5m以下の箇所）を自車が通過したか否かをチェックする。
ステップＳ280で自車が最狭部を未だ通過していないと判定する間は、ステップＳ280でのチェックを繰り返して、自車が最狹部を通過するまで待機する。
ステップＳ280で自車が最狭部を通過したと判定すとき、制御をステップＳ130に進め、モニタ5における運転支援画像を消して非表示にし、図13の制御プログラムを終了する。

＜第2実施例の作用＞
上記した第2実施例の作用を図14，15に基づき以下に詳述する。
図14は、狭小路における自車10（10-4,10-5の2位置で示した）と、道路(壁)21,22と、電柱25等の立体障害障害物との位置関係を上方から見て示し、
図15(a),(b)はそれぞれ、自車10が図14における10-4の位置、および10-5の位置に居る時のモニタ画面5を示す。

先ず図14を説明するに、21は、自車の進行方向に対しての道路の左端部（稜線）、若しくは、左壁や側溝で、自車の走行可能領域の左境界を示し、
22は自車の進行方向に対しての道路の右端部（稜線）、若しくは、右壁や側溝で、自車の走行可能領域の右境界を示す。
25は、道路の自車進行方向に対して、左側に設置されている電柱（立体障害物、標識、ポール、ガードレール、側溝等）を示す。

自車位置10-4は、電柱25（幅狭部）から遠く（例えば20m以上）離れている自車位置で、自車位置10-5は、電柱3（幅狭部）に至る直前の自車位置である。
なお図14におけるL4位置およびL5位置はそれぞれ、自車10が10-4の位置および10-5の位置に居る時の図15(a),(b)に示すモニタ画面5の画像接続境界線53（俯瞰画像および鳥瞰画像間の境界）に映し出される自車前方位置を示す。

なお図14および図15(a)における61,62はそれぞれ、自車が自車位置10-4に居る時の鳥瞰画像内の左右オプティカルフローと、俯瞰画像内の左右オプティカルフローとをそれぞれ直線に繋いだ、前方走行路の通過可能幅を表示する左右オプティカルフロー（走行路通過可能幅表示線）を示す。
これら左右オプティカルフロー（走行路通過可能幅表示線）61,62は、自車位置10-4において障害物が未だ近くにないことから、最狭部（幅員）を画成する道路の左端部（稜線）、若しくは、左壁や側溝などの左右境界線21,22によって決まり、これら左右境界線21,22から前記した左右ギャップだけ内側に設定される。

また図14および図15(b)における63,64はそれぞれ、自車が自車位置10-5に居る時の鳥瞰画像内の左右オプティカルフローと、俯瞰画像内の左右オプティカルフローとをそれぞれ直線に繋いだ、前方走行路の通過可能幅を表示する左右オプティカルフロー（走行路通過可能幅表示線）を示す。
これら左右オプティカルフロー（走行路通過可能幅表示線）63,64は、自車位置10-5において電柱25が近くに存在することから、最狭部（幅員）を画成する左側の電柱25と、道路の右境界線22とによって決まり、これら電柱25および右境界線22から前記した左右ギャップだけ内側に設定される。

図15(a),(b)はそれぞれ上記した通り、自車10が10-4の位置および10-5の位置に居る時のモニタ画面5を示すが、モニタ画面5における画像接続境界線53よりも上半分は鳥瞰画像で、下半分は俯瞰画像である。
鳥瞰画像部では、前端オプティカルフローントカメラ1の映像を処理して、自車がステアリング中立状態で直進した時、オプティカルフロー54,55の左接続箇所と右接続箇所で、モニタ画面5の上下方向に対して平行になるようにする。

つまり本実施例においては、左右オプティカルフロー61,61および62,63をそれぞれ、自車前方の最狭部（幅員）画成物体に基づき設定して、走行路通過可能幅表示線とする。
従って、本実施例における左右オプティカルフロー（走行路通過可能幅表示線）61,61および62,63は、道路環境によって決まり、自車の左右位置が変化しても固定されたままである。

自車10が図14に10-4で示す位置に居る時のモニタ画面5を示す図15(a)では、鳥瞰画像と俯瞰画像との接続境界線53は、図14のL4位置を表示している。
従って、俯瞰画像側および鳥瞰画像側には左右道路境界21,22と、これから所定ギャップだけ内側における左右オプティカルフロー（走行路通過可能幅表示線）61,61とが表示されている。

自車10が図14に10-5で示す位置に居る時のモニタ画面5を示す図15(b)では、鳥瞰画像と俯瞰画像との接続境界線53は、図14のL5位置を表示している。
従って、俯瞰画像側に左右道路境界21,22が表示され、鳥瞰画像側に左電柱25および右道路境界22が表示され、これら俯瞰画像側および鳥瞰画像側の双方に、左電柱25から所定ギャップだけ内側における左オプティカルフロー（走行路通過可能幅表示線）63と、右道路境界22から所定ギャップだけ内側における右オプティカルフロー（走行路通過可能幅表示線）64とが表示されている。
そして、最狭部における通過可能な経路の左右端に位置する箇所の左右オプティカルフロー（走行路通過可能幅表示線）63,64が、モニタ画面5に平行で、且つ、俯瞰画像および鳥瞰画像を通る直線として表示されるため、自車位置10-5から道路最狭部（電柱25）までの経路を鳥瞰画像内で想起し易い。

また、当該道路経路内の障害物の有無を、鳥瞰画像の遠方からでも確認し易いため、最狭部手前から自車の横位置を調整（操舵）しておけば、最狭部の中でも所望の個所を通過することができ、例えば、運転席側ギャップが小さくて助手席側ギャップが大きくなる最狹部箇所を通過したり、逆に、助手席側ギャップが小さくて運転席側ギャップが大きくなる最狹部箇所を通過することが容易に可能である。

上記した処から明らかなように、現在走行している道路の幅員や、前方の最狭部ギャップ間距離に基いて、オプティカルフローが直線となる位置を可変にすることで、最狭部における、走行可能な経路の左右端部箇所を近くし易くなるため、不連続な電柱配置や駐車車両等が存在するような環境でも、自車の通過可能な経路を想起し易くて対応が容易である。
従って、第1実施例の場合、自車を横方向で何処まで最狭部に接近させも大丈夫なのか予測しづらい表示であったのに対し、第2実施例においては、最狭部である環境側を基準にして、走行可能経路の左右端部に直線オプティカルフローを設定するため、
走行可能経路部分を想起しやすく、当該経路内で所望の経路、例えば運転席側、若しくは、助手席側へ、ギリギリに自車を寄せることも可能となる。

＜第2実施例の効果＞
上記した第2実施例の効果を図16，17に基づき以下に説明する。
図16(a)および図17(a)はそれぞれ、自車10が図14に10-5で示す位置に居る時における自車10と、道路(壁)21,22と、電柱25との位置関係を、自車10の横位置が異なる場合につき、上方から見て示し、
図16(b)は、自車10が狭小路内で図16(a)のような道路幅方向左寄り位置に居る時のモニタ画面5を示し、
図17(b)は、自車10が狭小路内で図17(a)のように更に道路幅方向右寄り位置に居る時のモニタ画面5を示す。

自車が図16(a),(b)に示す横位置である場合、直進時に、最幅狭部を電柱25および道路右境界22に接触することなく通過可能であることが、図16(b)のモニタ画面5上におけるオプティカルフロー（走行路通過可能幅表示線）63,64間の領域に収まった自車位置10-5から容易に把握することができる。

自車が図17(a),(b)に示す横位置である場合、直進時に、最幅狭部を画成する電柱25および道路右境界22のうち、電柱25に接触して通過不能であることが、図17(b)のモニタ画面5上におけるオプティカルフロー（走行路通過可能幅表示線）63,64間の領域からはみ出した自車位置10-5から容易に把握することができる。

ところで本実施例においては、第1実施例の前記した効果に加えて、以下のような効果をも奏することができる。
つまり、道路最狹部を画成する道路環境を基準に左右オプティカルフロー63,64（61,62）を設定したため、画像処理の演算負荷を減ずることができてコスト的に有利である。

また、これら左右オプティカルフロー63,64（61,62）を走行路通過可能幅表示線となし、これらに対する横方向自車位置から道路最狹部を通過可能か否かを判断し得るようにして運転を支援することとしたため、
左右オプティカルフロー63,64（61,62）の幅が、第1実施例における自車通過可能幅表示線54,55よりも広く表示されることになる。

このため本実施例においては、最狭部を通過可能な経路の幅を予め知ることができ、最狹部の通過経路を制限範囲内で自由に選ぶことが可能となり、例えば、最狭部の中心を通り抜ける経路を選択したり、最狭部の右寄り、若しくは、左寄りを通り抜ける経路を選択することができ、運転戦略の許容範囲を広げることが可能になる。

また障害物を回避する操舵についても、どの程度の操舵を行なえば、障害物を回避できるかを、事前に予測することができ、当該オプティカルフロー内側から障害物を外すまでの操舵量を容易に想起することができる。
従って本実施例では、道路環境側最狭部における、通り抜け可能な経路の幅を、これがモニタ5内の遠方（鳥瞰画像部）にある段階から判断できるという効果が奏し得られる。

１ 前端カメラ
２ 右側カメラ
３ 左側カメラ
４ 軌道スイッチ
５ モニタ
６ レーザレンジファインダ群
７ 超音波センサ群
7〜9 仮想カメラ位置
10 自車
21,22 左右道路境界
23,24,25 電柱
51 自車前方鳥瞰画像
51a 走行方向横断線
52 自車前部周辺俯瞰画像
52a 走行方向横断線
53 画像接続境界線
54,55 オプティカルフロー（自車通過可能幅表示線）
57 自車アイコン
61,62 オプティカルフロー（走行路通過可能幅表示線）
63,64 オプティカルフロー（走行路通過可能幅表示線）
100 コントロールユニット
110 右側用鳥瞰視点変換部
115 左側用鳥瞰視点変換部
120 鳥瞰画像合成部
130 鳥瞰画像重畳部
132 マスクアイコン記憶部
134 オプティカルフロー位置強調線記憶部
140 画像接続部
150 前端用俯瞰視点変換部
152 右側用俯瞰視点変換部
154 左側用俯瞰視点変換部
160 俯瞰画像合成部
170 俯瞰画像重畳部
175 自車アイコン記憶部
200 コントロールユニット
210 周辺環境検出部
220 画像処理部
230 最狭部幅員検出部
235 表示自動起動部
240 右ギャップ検出部
241 左ギャップ検出部
244 右オプティカルフロー位置決定部
246 左オプティカルフロー位置決定部
250 右側用鳥瞰視点変換部
255 左側用鳥瞰視点変換部

Claims (7)

1. 自車および自車周辺と、自車前方とを、運転者が目視し得るようモニタ画面に表示して、車両の運転を支援するようにした装置において、
   自車の少なくとも前端部および自車前端部周辺の走行路が、自車を真下に見下ろすように見た俯瞰画像として表示された自車周辺画像を作成する自車周辺画像作成手段と、
   直進走行時における自車前方走行路内の所定位置にある側部の後方への流れが自車の長手方向に沿うように変換され、自車前方走行路が、自車から所定の見下ろし角をもって見た鳥瞰画像として表示された前方走行路画像を作成する前方走行路画像作成手段と、
   これら手段で作成した自車周辺画像および前方走行路画像を、自車周辺画像の自車走行方向前方側における走行方向横断線に、前方走行路画像の自車走行方向後方側における走行方向横断線が重なるよう、相互に接続して連続画像となし、前記モニタ画面に表示する画像接続手段とを
   具備してなることを特徴とする車両の運転支援装置。
2. 請求項1に記載された車両の運転支援装置において、
   前記自車周辺画像内或いは前記前方走行路画像内に表示された前方走行路の通過可能な幅を示す相互に離間した略直線の走行路通過可能幅表示線を、前記自車周辺画像および前方走行路画像内における走行路に沿うよう配して前記連続画像内に設定する走行路通過可能幅表示線設定手段を設けたことを特徴とする車両の運転支援装置。
3. 請求項2に記載された車両の運転支援装置において、
   前記走行路通過可能幅表示線設定手段は、自車周辺画像に設けた自車通過可能幅表示線および前方走行路画像に設けた走行路通過可能幅表示線を個別に重畳表示して設定するものであり、
   前記画像接続手段は、これら自車周辺画像および前方走行路画像の前記接続に際し、自車周辺画像および前方走行路画像の前記自車通過可能幅表示線または走行路通過可能幅表示線が相互に略直線状につながるよう矯正して、該自車周辺画像および前方走行路画像の接続を行うものであることを特徴とする車両の運転支援装置。
4. 請求項3に記載された車両の運転支援装置において、
   前記画像接続手段は、自車周辺画像および前方走行路画像の前記自車通過可能幅表示線または走行路通過可能幅表示線が相互に略直線状につながるよう矯正するに際し、前記前記自車周辺画像の剪断変換により該矯正を行うものであることを特徴とする車両の運転支援装置。
5. 請求項1〜4のいずれか1項に記載された車両の運転支援装置において、
   前記画像接続手段は、前記自車周辺画像および前方走行路画像の前記接続を地表面において行うものであることを特徴とする車両の運転支援装置。
6. 請求項1〜5のいずれか1項に記載された車両の運転支援装置において、
   前記画像接続手段は、前記自車周辺画像および前方走行路画像の前記接続時に、相互に重複する画素部をマスキングして表示させないようにしたものであることを特徴とする車両の運転支援装置。
7. 請求項1〜6のいずれか1項に記載された車両の運転支援装置において、
   前記画像接続手段は、前記自車周辺画像および前方走行路画像の前記接続に際し、前記自車周辺画像を撮影するカメラの光軸と地表面との交差部において該接続を行うものであることを特徴とする車両の運転支援装置。

Images