JP2010067095A

JP2010067095A - 運転支援装置

Info

Publication number: JP2010067095A
Application number: JP2008234028A
Authority: JP
Inventors: Takashi Shimizu; 貴士清水; Hiroyuki Matsumoto; 洋幸松本; Takahiro Maemura; 高広前村; Keisuke Kaminan; 恵資上南
Original assignee: Mitsubishi Motors Corp
Current assignee: Mitsubishi Motors Corp
Priority date: 2008-09-11
Filing date: 2008-09-11
Publication date: 2010-03-25
Anticipated expiration: 2028-09-11
Also published as: JP5083137B2

Abstract

【課題】目標物を俯瞰画像から切り出して表示する際に、自車両あるいは目標物が移動しても目標物を画面内に表示し続けることができる運転支援装置を提供すること。
【解決手段】自車両２１に搭載された前方カメラ１、後方カメラ２、右カメラ３および左カメラ４によりそれぞれ撮像された映像から合成した自車両を中心とした俯瞰映像上において、仮想中心点Ｐ１における自車両２１に対するｔ秒後の自車両２１の仮想中心点の位置をヨーレートγから算出された移動量をもとに推定し、仮想中心点Ｐ２と目標物４５との位置関係、すなわち仮想中心点Ｐ２から目標物４５を見たときの角度θ２と、仮想中心点Ｐ２から目標物４５までの距離Ｌ２を、前記俯瞰映像から演算して求め、角度θ２の方向を中心とした拡大表示範囲を設定する。
【選択図】図２

Description

本発明は、車両に設けられた複数の撮像装置により撮像した画像を合成し、車両を中心とした車両全周の俯瞰画像をディスプレイに表示するとともに、表示された目標物を指定することでその目標物を前記俯瞰画像から切り出して表示する運転支援装置に関する。

従来、自動車に複数の撮像装置を設け、各撮像装置により撮像した画像を合成することで、自動車の周囲全周の俯瞰画像を生成し運転席のモニタに表示することで、駐車場などにおける運転操作を容易かつ安全に行えるようにした運転支援装置がある。
図１２は、従来の運転支援装置における自車両２１に取り付けられている前方カメラ１、後方カメラ２、右カメラ３および左カメラ４と、それら各カメラの撮像エリアを示す説明図である。
符号３１は前方カメラ１の撮像エリア、符号３２は後方カメラ２の撮像エリア、符号３３は右カメラ３の撮像エリア、符号３４は左カメラ４の撮像エリアを示している。
また、図１３は、従来の運転支援装置における前方カメラ１、後方カメラ２、右カメラ３および左カメラ４により撮像された映像の合成映像である俯瞰映像が表示される俯瞰映像表示画面１０１と、その俯瞰映像表示画面１０１の俯瞰映像の映像切出し枠１０２と、その映像切出し位置の映像が拡大されて表示された拡大表示画面１２１を示す画面図である。
この拡大表示画面１２１には、俯瞰映像の映像切出し枠１０２に表示されている目標物、図１３に示す例では木立１３１と自車両２１の車体後部が拡大されて表示されている。

このような運転支援装置として次のようなものが提案されている。
すなわち、車両に設置した複数のカメラ設置部に取り付けられた個々のカメラにより車両周囲を撮像する撮像部と、運転者に情報を提供する表示部とを有し、複数の運転シーンの中からエンジン始動時に通常走行シーンを選択する始動シーン選択部と、車速を検出する車速センサと、シフト位置を検出するシフト位置検出部と、ウインカーの方向を検出するウインカー検出部と、ハンドルの操舵角を検出する操舵角センサと、各センサおよび各検出部により検出された情報より表示画面構成を切り替える画面モード切替部とを備えた運転支援装置が提案されている（特許文献１参照）。
この運転支援装置では、ウインカーの情報やハンドル操舵角の情報により後側方の見せる領域を変更することが可能であり、特に、高速モード時にウインカー入力を検出した場合、ウインカー方向の合成画像を拡大表示する。
特開２００２−１０９６９７号公報

したがって、従来の運転支援装置では、拡大表示画面１２１に表示される着目したい目標物などの映像は、自車両の移動に伴って拡大表示画面内で相対的に移動することになり、このため拡大表示画面１２１から外れてしまい、目標物を拡大画面内に表示し続けることができないという課題があった。
また、目標部が移動可能なものであり、実際に移動している場合、最初、目標物を拡大画面内に表示している状態であっても、目標物の移動に伴い拡大画面から外れてしまい、目標物を画面内に表示し続けることができないという課題があった。
本発明は、このような事情に鑑みてなされたものであり、目標物を俯瞰画像から切り出して表示する際に、自車両あるいは前記目標物が移動しても前記目標物を画面内に表示し続けることができる運転支援装置を提供することを目的とする。

上述の目的を達成するため、本発明は、車両の周囲の映像をモニタに表示する運転支援装置であって、前記車両に搭載され、それぞれ異なる方向の車両周囲を撮像する複数の撮像装置と、前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰映像を合成して前記モニタに表示する映像合成手段と、前記映像合成手段により合成した俯瞰映像上の選択された目標物の前記車両に対する位置を算出する目標物位置算出手段と、前記車両の動きを推定し、前記動きで前記車両が走行するときの前記車両の推定位置を算出し、前記車両の推定位置と、前記目標物位置算出手段で算出した前記目標物の位置との間の位置関係を算出する相対位置演算手段と、前記相対位置演算手段により算出した前記車両の推定位置と前記目標物との間の位置関係をもとに、前記選択された目標物を含む前記俯瞰映像の一部またはカメラで直接撮像した映像の一部を切り出す映像切出し位置を調整する映像切出し位置調整手段とを備えることを特徴とする。

また本発明は、車両の周囲の映像をモニタに表示する運転支援装置であって、前記車両に搭載され、それぞれ異なる方向の車両周囲を撮像する複数の撮像装置と、前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰映像を合成して前記モニタに表示する映像合成手段と、前記映像合成手段により合成した俯瞰映像上の選択された選択目標物の前記車両に対する位置を算出する目標物位置算出手段と、前記選択目標物の特徴点を抽出し、前記特徴点の動きベクトルを算出する特徴点検出手段と、前記特徴点検出手段により求められた前記選択目標物の各特徴点の動きベクトルから前記選択目標物が前記車両に接近してくる接近目標物であるか否かを検出する移動物体検出手段と、前記特徴点検出手段により接近してくるとして検出された前記接近目標物の特徴点をもとに前記車両を中心とする俯瞰画像上の前記接近目標物を追跡し前記接近目標物とその位置を捕捉する特徴点追跡手段と、前記車両の動きを推定し、前記推定した動きで前記車両が走行するときの前記車両の推定位置を算出し、前記車両の推定位置と、前記特徴点追跡手段により捕捉した前記接近目標物の位置とをもとに、前記推定した動きで前記車両が走行したときの前記車両の推定位置と前記接近目標物の位置との間の位置関係を算出する動きベクトル相対位置演算手段と、前記動きベクトル相対位置演算手段により算出した前記車両の推定位置と前記接近目標物との間の位置関係をもとに、前記接近目標物を含む前記俯瞰映像の一部またはカメラで直接撮像した映像の一部を切り出す映像切出し位置を調整する映像切出し位置調整手段とを備えることを特徴とする。

本発明によれば、自車両あるいは目標物が移動しても、俯瞰画像から切り出されて表示される前記目標物は表示画面から外れてしまうことがなく、前記目標物を画面内に表示し続けることができる運転支援装置を提供できる効果がある。

（第１の実施の形態）
図１は、本発明の第１の実施の形態である自動車に適用したときの運転支援装置の構成を示すブロック図である。
この運転支援装置は、自車両の前方を撮像する前方カメラ１、後方を撮像する後方カメラ２、右側方を撮像する右カメラ３、左側方を撮像する左カメラ４と、マイクロコンピュータにより構成されたＥＣＵ（電子制御ユニット）５、モニタ装置６、車速センサ７、ハンドル角（操舵角）センサ８、ゲートウェイ９およびタッチパネル１６を備えている。
また、ＥＣＵ５は、相対位置演算手段１１、映像切出位置調整手段１２および映像合成手段１３を備えている。

前方カメラ１は、例えば自車両前部のフロントグリル中央に取り付けられて自車両の前方を撮像するカメラである。
後方カメラ２は、例えばリアウィンドウが設けられた自車両後部に取り付けられて自車両の後方を撮像するカメラである。
右カメラ３は、例えば右側ドアミラーを支持するドアミラー支持部突端に取り付けられて自車両の右側方を撮像するカメラである。
左カメラ４は、例えば左側ドアミラーを支持するドアミラー支持部突端に取り付けられて自車両の左側方を撮像するカメラである。

ＥＣＵ５は各部を制御するマイクロコンピュータにより構成されている。
ＥＣＵ５は、特に前方カメラ１、後方カメラ２、右カメラ３および左カメラ４により撮像した映像の合成処理を含む、この運転支援装置特有の機能を実現するための各種処理を行う。
ＥＣＵ５の相対位置演算手段１１は、自車両から目標物４５（図２）までの距離と角度を演算して求める機能、操舵角と、タイヤ移動量や車速から自車両２１の移動に伴う自車両２１（仮想基準点）と目標物４５との位置関係を推定し、自車両２１が移動したときの仮想中心点から目標物４５までの距離と角度を演算して求める機能を備えている。
映像切出位置調整手段１２は、モニタ装置６の画面に表示出力された俯瞰映像から選択された目標物を含む前記俯瞰映像の拡大表示範囲を規定する映像切出位置を、前記相対位置演算手段１１により演算した自車両と前記目標物との位置関係、つまり距離と角度とに応じて調整する機能を備えている。

映像合成手段１３は、前方カメラ１、後方カメラ２、右カメラ３および左カメラ４によりそれぞれ撮像された映像から自車両を中心とした俯瞰映像を合成する。
モニタ装置６は、各種計器が設けられた運転席のフロントパネルに設けられている。
モニタ装置６は、この運転支援装置による前方カメラ１、後方カメラ２、右カメラ３および左カメラ４により撮像した映像による俯瞰映像や、この俯瞰映像から切り出された領域についての拡大映像を表示したり、ＧＰＳ装置による地図画像上での現在位置表示や、ＧＰＳ装置を操作するための操作用アイコンの表示、さらにエアコンやカーオーディオ装置の操作用アイコンの表示を兼ねている。
車速センサ７は、自車両の速度を検出するセンサであり、出力された速度情報を積分することで自車両の移動量を検出できる。
ハンドル角（操舵角）センサ８は、操作されているステアリングの操作角度情報を検出するセンサであり、自車両の進行方向を検出する。
ゲートウェイ９は、車速センサ７やハンドル角センサ８をＥＣＵ５に接続可能にして、車速センサ７やハンドル角センサ８の出力についてＥＣＵ５で処理できるようにするための整合性を確保する装置である。
タッチパネル１６はモニタ装置６の画面上に配置され、この画面上の触れられた位置を特定可能にする信号を出力する。

図２は、この実施の形態の運転支援装置のモニタ装置６に表示出力された自車両２１の俯瞰映像の一例を示す説明図である。
図２には、自車両２１と、前方カメラ１の撮像エリア３１、後方カメラ２の撮像エリア３２、右カメラ３の撮像エリア３３および左カメラ４の撮像エリア３４と、着目したい目標物４５と、目標物４５後方に位置する背景物４６，４７と、仮想中心点Ｐが示されている。
また、符号４１は、モニタ装置６の画面上でタッチパネル１６に対するタッチ操作により選択された着目したい目標物４５の拡大表示範囲である。
この拡大表示範囲４５の映像が、図２に示す俯瞰映像とともにモニタ装置６の画面に表示出力される。
仮想中心点Ｐは、自車両２１からの前記選択された目標物４５までの距離と角度(方位)を特定するための基準点である。
図１に示すＥＣＵ５の相対位置演算手段１１は、図２に示す俯瞰映像をもとに自車両２１から目標物４５までの距離Ｌ１と角度θ１を演算して求める機能を備えている。
また、映像切出位置調整手段１２は、モニタ装置６の画面に表示出力された図２に示す俯瞰映像から選択された目標物４５に対応する俯瞰映像の拡大表示範囲４１を規定する映像切出位置を、相対位置演算手段１１により演算された自車両２１と前記目標物４５との距離Ｌと角度θとに応じて補正する機能を備えている。

図３は、この実施の形態の運転支援装置において映像切出位置の補正を行わないときの動作を示す説明図である。
図４は、図３に示す映像切出位置の補正を行わないときの自車両２１の移動に伴う拡大表示範囲４１とその映像を示す説明図である。
図５は、この実施の形態の運転支援装置において映像切出位置の補正が行われたときの動作を示す説明図である。
図６は、図５に示す映像切出位置の補正が行われたときの自車両２１の移動に伴う拡大表示範囲４１とその映像を示す説明図である。
図７は、この実施の形態の運転支援装置の動作を示すフローチャートである。
図８は、モニタ装置６における自車両２１を中心とする俯瞰映像を表示している俯瞰映像表示画面６１と、俯瞰映像表示画面６１に表示された映像のうちで着目したい映像を拡大表示する拡大表示画面６２を示す画面図である。

以下、図７に示すフローチャートに従い動作について説明する。
この運転支援装置では、自車両２１に取り付けられている前方カメラ１、後方カメラ２、右カメラ３および左カメラ４によりそれぞれ撮像された映像は、映像合成手段１３により合成されて自車両２１を中心とした俯瞰映像として、図８に示すように、モニタ装置６の俯瞰映像表示画面６１に表示される。
そして、この俯瞰映像には前方カメラ１と右カメラ３により撮像された着目したい目標物４５とその後方に位置する背景物４６，４７が映し出されている。
ユーザ、この場合、自車両２１の運転者は、モニタ装置６の図８に示す俯瞰映像表示画面６１の着目したい目標物４５に対し指先で触れるタッチ操作を行う。
この結果、タッチパネル１６からは指先が触れた位置（タッチ操作された位置）を特定可能にする信号が出力される。
ＥＣＵ５はこのとき表示出力している映像と、前記タッチ操作された位置を特定可能にする信号をもとにタッチ操作された対象が目標物４５であることを判定する。
つまり俯瞰映像から選択された目標物４５を判定する（ステップＳ１）。

次に、自車両２１の仮想中心点Ｐから前記選択した目標物４５までの距離Ｌと角度θ(方位)を俯瞰映像から演算して求める（ステップＳ２）。
この距離Ｌと角度θは次のようにして求められる。
図８に示す俯瞰画像において「Ａ」と「Ｂ」の値は既知であり、また仮想中心点Ｐから目標物４５までの「ａ」および「ｂ」の値、図８に示す俯瞰映像表示画面６１上での自車両２１を基準とした目標物４５の位置座標も求めることが出来る。
つまり、距離は（ａ^２＋ｂ^２）の平方根で求めることが出来る。
仮想中心点から目標部４５を見たときの、目標物４５を撮像可能な右カメラ３の光軸に対する角度はｔａｎ^−１（ｂ／ａ）で求めることが出来る。
このときの距離をＬ１、角度をθ１とすると、この角度θ１方向を中心とした拡大表示範囲を設定する。
図５では、この設定された拡大表示範囲を符号４１’により破線で示している。
また、このとき図６（ａ）に示された映像が拡大表示範囲４１’の映像として図８の拡大表示出力部１６２に表示出力される。

次に、操舵角と、タイヤ移動量や車速から自車両２１の移動に伴う自車両２１と目標物４５との位置関係を推定する（ステップＳ３）。
この自車両２１と目標物４５との位置関係の推定は、次のようにして行う。
車速センサ７、ハンドル角センサ８を含む各種センサから自車両２１の挙動を解析する。
すなわち、自車両２１が移動したときのモデルを２輪モデルを用いて表し、ヨーレートγ、車速Ｖ、ホイールベース長ｌ、操舵角δとすると、ヨーレートγはＶδ／ｌで求めることが出来る。
つまり、ヨーレートγは速度とホイールベース長と操舵角により決定される。
この結果、Ｖδ／ｌを積分することで原点、すなわち仮想中心点Ｐからのｔ秒後の自車両２１の向きと、仮想中心点Ｐの移動量も算出できる。
この結果、ヨーレートγから算出したｔ秒後の自車両２１の向きと、仮想中心点Ｐの移動量をもとに図８に示す俯瞰映像表示画面６１上にｔ秒後の自車両２１の仮想中心点Ｐを反映させる。
図５はこのようにして算出されたｔ秒後の自車両２１の向きと、仮想中心点の移動量をもとに俯瞰映像上に反映された新たな仮想中心点Ｐ２と、この仮想中心点Ｐ２に対応して設定された拡大表示範囲４１”を示している。
図５では、仮想中心点Ｐ１における自車両２１の向きが破線で示され、このとき操舵角θｃ、タイヤ移動量がＬｃであるとｔ秒後の自車両２１の向きは実線で示される状態になり、仮想中心点は前記ヨーレートγ（速度はタイヤ移動量Ｌｃから求められる）から算出された移動量をもとにＰ２の位置へ移動し、その位置が特定されることになる。
さらに、前記算出したｔ秒後の仮想中心点Ｐ２と目標物４５との位置関係、すなわち仮想中心点Ｐ２から目標物４５を見たときの角度θ２を求める。
この角度θ２は、目標物４５を撮像可能な右カメラ３の光軸に対する角度である。目標物４５の位置座標、仮想中心点Ｐ２の位置が特定される結果、自車両２１の仮想中心点Ｐ２から目標物４５までの距離Ｌ２と角度θ２が俯瞰映像から演算して求めることが出来る。

そして、角度θ２の方向を中心とした拡大表示範囲を設定する（ステップＳ４）。
図５では、この設定された拡大表示範囲を拡大表示範囲４１”として実線で示している。
また、このとき図６（ｂ）に示された映像が拡大表示範囲４１”の映像として図８の拡大表示出力部１６２に表示出力される。

以上説明したように、この実施の形態では、操舵角と、タイヤ移動量や車速から自車両２１の移動に伴う自車両２１（仮想基準点）と目標物４５との位置関係を推定し、自車両２１が移動したときの仮想中心点Ｐ２から目標物４５までの距離Ｌ２と角度θ２を求め、角度θ２の方向を中心とした拡大表示範囲、映像切出し位置を設定する。
あるいは、操舵角と、タイヤ移動量や車速から自車両２１の移動に伴う自車両２１（仮想基準点）と目標物４５との位置関係を推定し、自車両２１が移動したときの仮想中心点Ｐ２から目標物４５までの距離Ｌ２と角度θ２を求め、この角度θ２をもとに、前記推定前に設定されていた拡大表示範囲、映像切出し位置を調整する。
従って、自車両２１と目標物４５との位置関係の推定、拡大表示範囲、映像切出し位置の補正が行われない従来技術では、拡大表示範囲、映像切出し位置は自車両２１を中心とした角度θ１の方向を中心とする一定範囲であったため、自車両２１の移動に従い図３、図４に示すように右カメラ３により撮像される方向が目標物４５に対し移動するため、目標物４５は設定されている拡大表示範囲、映像切出し枠から短時間のうちに外れてしまうという不都合が発生していた。
これに対して、この実施の形態では、自車両２１の移動に従い拡大表示範囲、映像切出し位置は図５に示すように角度θ２の方向を中心として設定されることから、目標物４５は拡大表示範囲４１”、映像切出し枠の略中央に表示されることになる。
すなわち、第１の実施の形態では、映像切出位置調整手段１２が、相対位置演算手段１１により算出した車両の推定位置と目標物との間の位置関係をもとに、選択された目標物を含む俯瞰映像の一部を切り出す映像切出し位置を調整することにより、切り出されて表示される目標物は表示画面から外れてしまうことがなく、目標物を画面内に表示し続けることができるという効果が奏される。なお、映像切出位置調整手段１２が切り出す映像は、前記選択された目標物を含むカメラで直接撮像した映像の一部であってもよく、この場合も上記の効果が奏される。

（第２の実施の形態）
次に、本発明の第２の実施の形態の運転支援装置について説明する。
図９は、第２の実施の形態の運転支援装置の構成を示すブロック図である。図９において、図１と同一または相当の部分については同一の符号を付し説明を省略する。
第２の実施の形態では、目標物４５が移動可能な物体であり、自車両２１に対し実際に移動している場合について説明する。
この場合、オプティカルフロー手法（動きベクトルを検出する手法）を用いることで目標物４５を補足し、目標物４５までの距離を計算し、移動の際に出現する目標物４５の特徴点のオプティカルフローから自車両２１および目標物４５が移動したときの自車両２１と目標物４５との位置関係を推定できるようにして、目標物４５を拡大表示範囲４１”、映像切出し枠の略中央に精度よく表示する。

図９において、ＥＣＵ５は、第１の実施の形態と同様に構成された相対位置演算手段１１、映像切出位置調整手段１２、映像合成手段１３に加えて、オプティカルフローの手法を利用可能にするための特徴点検出手段９１、移動物体検出手段９２、特徴点追跡手段９３および動きベクトル相対位置演算手段１１１をさらに備えている。
特徴点検出手段９１は、自車両を中心とする俯瞰画像から選択された目標物、すなわち選択目標物の複数の特徴点を検出し、これら各特徴点のオプティカルフローを計算することでその動きベクトルを求める機能を備えている。
移動物体検出手段９２は、特徴点検出手段９１により求められた選択目標物の各特徴点の動きベクトルから選択目標物が自車両２１に接近してくる接近目標物であるか否かを検出する機能を備えている。言い換えると、移動物体検出手段９２は、特徴点検出手段９１により求められた各特徴点の動きベクトルから自車両２１に接近してくる接近移動物体を検出する機能を備えている。
特徴点追跡手段９３は、特徴点検出手段９１により接近してくるとして検出された接近目標物の特徴点をもとに自車両２１を中心とする俯瞰画像上の前記接近目標物を追跡し前記接近目標物とその位置を捕捉する機能を備えている。言い換えると、特徴点追跡手段９３は、特徴点検出手段９１により検出された接近移動物体の画像領域を特定し、その特定した画像領域の特徴点をもとに自車両２１を中心とする俯瞰画像上で接近目標物とその位置を補足追跡する機能を備えている。
動きベクトル相対位置演算手段１１１は、自車両２１の動きを推定し、前記推定した動きで自車両２１が走行するときの自車両２１の推定位置を算出し、自車両２１の推定位置と、前記特徴点追跡手段９３により捕捉した接近目標物の位置、または前記捕捉した接近目標物の速度、方向などの動きをもとに推定した接近目標物の推定位置をもとに、前記推定した動きで自車両２１が走行したときの自車両２１の推定位置と接近目標物の位置との間の位置関係を算出する機能を備えている。

図１０は、この実施の形態の運転支援装置の動作を示すフローチャートである。
以下、このフローチャートを参照して動作について説明する。
この運転支援装置でも、モニタ装置６の画面には図８に示す自車両２１を中心とした俯瞰映像が俯瞰映像表示画面６１に表示出力される。
そして、この俯瞰映像には前方カメラ１と右カメラ３により撮像された着目したい目標物４５とその後方に位置する背景物４６，４７が映し出されている。
ユーザ、この場合、自車両２１の運転者は、モニタ装置６の図８に示す俯瞰映像表示画面６１の着目したい目標物４５に対し指先で触れるタッチ操作を行う。
この結果、タッチパネル１６からは指先が触れた位置、タッチ操作された位置を特定可能にする信号が出力される。
ＥＣＵ５はこのとき表示出力している映像と、前記タッチ操作された位置を特定可能にする信号をもとにタッチ操作された対象が選択目標物であることを判定する。
つまり俯瞰映像から選択された選択目標物を判定する（ステップＳ１１）。
次に、前記判定した選択目標物の複数の特徴点を抽出する（ステップＳ１２）。

続いて、前記抽出した複数の特徴点のオプティカルフローを演算する（ステップＳ１３）。
すなわち、特徴点検出手段９１により、自車両２１を中心とする俯瞰画像から選択された選択目標物の複数の特徴点を検出し、これら各特徴点のオプティカルフローを計算することでその動きベクトルを求める。
そして、移動物体検出手段９２は、特徴点検出手段９１により求められた各特徴点の動きベクトルから、選択目標物が自車両２１に接近してくる接近目標物４５であるか否かを検出する。言い換えると、移動物体検出手段９２は、特徴点検出手段９１により求められた各特徴点の動きベクトルから、前記選択目標物を自車両２１に接近してくる方向のベクトルを有する接近移動物体４５として検出する。
そして、特徴点追跡手段９３は、特徴点検出手段９１により接近してくるとして検出された接近目標物４５の特徴点をもとに自車両２１を中心とする俯瞰画像上の接近目標物４５を追跡し接近目標物４５とその位置を捕捉する（ステップＳ１４）。言い換えると、特徴点追跡手段９３は、特徴点検出手段９１により特徴点が検出された接近移動物体の画像領域を特定し、その特定した画像領域の特徴点をもとに自車両を中心とする俯瞰画像上で接近目標物４５とその位置を補足追跡し、自車両２１に対する移動方向と速度を特定する。
そして、自車両２１の仮想中心点ＰからステップＳ１４で捕捉した接近目標物４５までの距離Ｌと角度θ(方位)を前記第１の実施の形態と同様にして俯瞰映像から演算して求める（ステップＳ１５）。

次に、接近目標物４５の速度、移動方向と、自車両２１の操舵角、タイヤ移動量や車速から自車両２１の移動に伴う自車両２１と接近目標物４５との位置関係を推定する（ステップＳ１６）。
この自車両２１と接近目標物４５との位置関係の推定は次のようにして行う。
図１１は、この実施の形態の自車両２１と接近目標物４５との位置関係の推定動作を示す説明図である。
この実施の形態では、前記オプティカルフロー手法により接近目標物４５の挙動を解析するとともに、車速センサ７、ハンドル角センサ８を含む各種センサから自車両２１の挙動を解析する。
すなわち、自車両２１が移動したときのモデルを２輪モデルを用いて表し、前記第１の実施の形態と同様にヨーレートγ、車速Ｖ、ホイールベース長ｌ、操舵角δとする。
ヨーレートγはＶδ／ｌで求めることが出来、Ｖδ／ｌを積分することで原点、すなわち仮想中心点Ｐからのｔ秒後の自車両２１の向きと、仮想中心点Ｐの移動量も算出できる。
この結果、ヨーレートγから算出したｔ秒後の自車両２１の向きと、仮想中心点Ｐの移動量をもとに図８に示す俯瞰映像表示画面６１上でｔ秒後の自車両２１の仮想中心点Ｐを反映させる。
また、接近目標物４５についても、動きベクトル相対位置演算手段１１１により自車両２１に対するｔ秒後の接近目標物４５の位置をオプティカルフロー手法により求めた接近目標物４５の特徴点の速度、移動方向から推定して算出し、ｔ秒後の自車両２１に対する接近目標物４５の位置を図８に示す俯瞰映像表示画面６１上に反映させる。
図１１はこのようにして算出されたｔ秒後の接近目標物４５の位置と、自車両２１の向きと、仮想中心点の移動量をもとに俯瞰映像上に反映された新たな仮想中心点Ｐ２を示している。

さらに、前記算出したｔ秒後の仮想中心点Ｐ２から是算出した位置の接近目標物４５を見たときの角度θ２を求める。この角度θ２は、接近目標物４５を撮像可能な右カメラ３の光軸に対する角度である。
従って、自車両２１が急転回をして後方カメラ２が接近目標物４５を撮像可能な状態になったときにはそのときの仮想中心点Ｐから接近目標物４５を見たときの、後方カメラ２の光軸に対する角度を求めることになる。
すなわち、自車両２１の仮想中心点Ｐ２から接近目標物４５までの距離Ｌ２と角度θ２を俯瞰映像から演算して求める。
この距離Ｌ２と角度θ２はステップＳ１６で推定し算出た自車両２１と接近目標物４５との位置関係から求めることが出来る。そして、角度θ２の方向を中心とした拡大表示範囲４１”を設定する（ステップＳ１７）。

以上説明したように、第２の実施の形態によれば、自車両２１および接近目標物４５が移動している場合であっても、一定時間後の自車両２１と接近目標物４５との位置関係を推定できることから、接近目標物４５を拡大表示範囲４１”、映像切出し枠の略中央に精度よく表示できる。
すなわち、第２の実施の形態では、映像切出し位置調整手段１２が、動きベクトル相対位置演算手段１１１により算出した車両の推定位置と接近目標物との間の位置関係をもとに、接近目標物を含む俯瞰映像の一部を切り出す映像切出し位置を調整することにより、切り出されて表示される接近目標物は表示画面から外れてしまうことがなく、接近目標物を画面内に表示し続けることができるという効果が奏される。なお、映像切出位置調整手段１２が切り出す映像は、前記接近目標物を含むカメラで直接撮像した映像の一部であってもよく、この場合も上記の効果が奏される。

本発明の第１の実施の形態である運転支援装置の構成を示すブロック図である。本発明の第１の実施の形態の運転支援装置のモニタ装置に表示出力された自車両の俯瞰映像の一例を示す説明図である。本発明の第１の実施の形態における運転支援装置において映像切出位置の補正を行わないときの動作を示す説明図である。本発明の第１の実施の形態の運転支援装置において映像切出位置の補正を行わないときの自車両の移動に伴う拡大表示範囲とその映像を示す説明図である。本発明の第１の実施の形態において映像切出位置の補正が行われたときの動作を示す説明図である。本発明の第１の実施の形態における映像切出位置の補正が行われたときの自車両の移動に伴う拡大表示範囲とその映像を示す説明図である。本発明の第１の実施の形態の運転支援装置の動作を示すフローチャートである。本発明の第１の実施の形態の運転支援装置における俯瞰映像表示画面と拡大表示画面を示す画面図である。本発明の第２の実施の形態である運転支援装置の構成を示すブロック図である。本発明の第２の実施の形態の運転支援装置の動作を示すフローチャートである。本発明の第２の実施の形態の自車両と接近目標物との位置関係の推定動作を示す説明図である。従来の運転支援装置における自車両に取り付けられている各カメラの撮像エリアを示す説明図である。従来の運転支援装置における各カメラにより撮像された映像の合成映像である俯瞰映像が表示される俯瞰映像表示画面と、俯瞰映像の映像切出し枠と、拡大表示画面を示す画面図である。

符号の説明

１……前方カメラ、２……後方カメラ、３……右カメラ、４……左カメラ、５……ＥＣＵ、６……モニタ装置、７……車速センサ、８……ハンドル角センサ、１１……相対位置演算手段、１２……映像切出位置調整手段、１３……映像合成手段、９１……特徴点検出手段、９２……移動物体検出手段、９３……特徴点追跡手段、１１１……動きベクトル相対位置演算手段。

Claims

車両の周囲の映像をモニタに表示する運転支援装置であって、
前記車両に搭載され、それぞれ異なる方向の車両周囲を撮像する複数の撮像装置と、
前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰映像を合成して前記モニタに表示する映像合成手段と、
前記映像合成手段により合成した俯瞰映像上の選択された目標物の前記車両に対する位置を算出する目標物位置算出手段と、
前記車両の動きを推定し、前記動きで前記車両が走行するときの前記車両の推定位置を算出し、前記車両の推定位置と、前記目標物位置算出手段で算出した前記目標物の位置との間の位置関係を算出する相対位置演算手段と、
前記相対位置演算手段により算出した前記車両の推定位置と前記目標物との間の位置関係をもとに、前記選択された目標物を含む前記俯瞰映像の一部またはカメラで直接撮像した映像の一部を切り出す映像切出し位置を調整する映像切出し位置調整手段とを備える、
ことを特徴とする運転支援装置。
前記相対位置演算手段は、前記車両の速度、移動量、進行方向を推定し、前記推定した動きで前記車両が走行したときの前記車両の推定位置と前記目標物との間の角度、距離を算出することを特徴とする請求項１記載の運転支援装置。
前記映像切出し位置調整手段は、前記選択された目標物を含む前記俯瞰映像の一部を切り出し拡大表示するときの映像切出し位置を調整することを特徴とする請求項１または２記載の運転支援装置。
車両の周囲の映像をモニタに表示する運転支援装置であって、
前記車両に搭載され、それぞれ異なる方向の車両周囲を撮像する複数の撮像装置と、
前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰映像を合成して前記モニタに表示する映像合成手段と、
前記映像合成手段により合成した俯瞰映像上の選択された選択目標物の前記車両に対する位置を算出する目標物位置算出手段と、
前記選択目標物の特徴点を抽出し、前記特徴点の動きベクトルを算出する特徴点検出手段と、
前記特徴点検出手段により求められた前記選択目標物の各特徴点の動きベクトルから前記選択目標物が前記車両に接近してくる接近目標物であるか否かを検出する移動物体検出手段と、
前記特徴点検出手段により接近してくるとして検出された前記接近目標物の特徴点をもとに前記車両を中心とする俯瞰画像上の前記接近目標物を追跡し前記接近目標物とその位置を捕捉する特徴点追跡手段と、
前記車両の動きを推定し、前記推定した動きで前記車両が走行するときの前記車両の推定位置を算出し、前記車両の推定位置と、前記特徴点追跡手段により捕捉した前記接近目標物の位置とをもとに、前記推定した動きで前記車両が走行したときの前記車両の推定位置と前記接近目標物の位置との間の位置関係を算出する動きベクトル相対位置演算手段と、
前記動きベクトル相対位置演算手段により算出した前記車両の推定位置と前記接近目標物との間の位置関係をもとに、前記接近目標物を含む前記俯瞰映像の一部またはカメラで直接撮像した映像の一部を切り出す映像切出し位置を調整する映像切出し位置調整手段とを備える、
ことを特徴とする運転支援装置。
前記動きベクトル相対位置演算手段は、前記車両の速度、移動量、進行方向を推定し、前記推定した動きで前記車両が走行したときの前記車両の推定位置と、前記特徴点追跡手段により捕捉した前記移動目標物の位置とをもとに、前記車両の推定位置と前記接近目標物との間の角度、距離を算出することを特徴とする請求項４記載の運転支援装置。
前記映像切出し位置調整手段は、前記接近目標物を含む前記俯瞰映像の一部を切り出し拡大表示するときの映像切出し位置を調整することを特徴とする請求項４または５記載の運転支援装置。