JP2011065520A - 運転支援装置 - Google Patents

Abstract

【課題】運転者の違和感を抑制しつつ的確な安全確認支援を行うことができる運転支援装置を提供する。
【解決手段】運転支援装置は、車両の周囲を撮像する撮像部と、前記撮像部により撮影された画像を、車室内に設定された仮想視点から見た車両の周囲の画像に変換すると共に、前記仮想視点を中心として視覚方向を連続的に変化させた連続画像を生成する画像生成部と、前記画像生成部により生成された前記連続画像を表示する表示部と、シフトポジションが、前進走行のレンジ又は後退走行のレンジに切り替えられた場合に、前記表示部に前記連続画像を表示させる制御部と、を備える。
【選択図】図６

Description

本発明は、運転支援装置に関する。

車両の前後左右に設けられたカメラにより車両の周囲を撮像し、これらのカメラにより撮影された画像を、画像処理ユニットにより車両上方を仮想視点として見た俯瞰画像に変換して、車室内に設けられたディスプレイに表示させる運転支援装置が知られている（例えば、特許文献１参照）。当該運転支援装置によれば、運転者の視野を広げることができ、運転者の利便性を向上させることができる。

特開２００６−３４１６４１号公報

ところで、上記運転支援装置では、異なるカメラにより撮影された画像を合成して俯瞰画像を生成するが、合成された画像の境界部分に死角ができ、運転者が、着目したい障害物を認識できない場合がある。また、運転者は、自車両を駐車場に駐車させる際に、運転席から自車両の周囲を見回す。このため、ディスプレイに表示される俯瞰画像は、実際に運転席から見える映像と視点が異なるので、運転者に違和感を生じさせることが考えられる。

本発明は上記事情に鑑み、運転者の違和感を抑制しつつ的確な安全確認支援を行うことができる運転支援装置を提供することを課題とする。

上記課題を達成するため、運転支援装置は、車両の周囲を撮像する撮像部と、前記撮像部により撮影された画像を、車室内に設定された仮想視点から見た車両の周囲の画像に変換すると共に、前記仮想視点を中心として視覚方向を連続的に変化させた連続画像を生成する画像生成部と、前記画像生成部により生成された前記連続画像を表示する表示部と、シフトポジションが、前進走行のレンジ又は後退走行のレンジに切り替えられた場合に、前記表示部に前記連続画像を表示させる制御部と、を備える。

上記運転支援装置において、前記画像生成部は、助手席側、車両後方及び車両前方の何れか一方、運転席側の順序で前記視覚方向が変化する前記連続画像を生成してもよい。
上記運転支援装置は、前記撮像部により撮像された画像に基づいて立体物を検出する立体物検出部を備えてもよく、前記制御部は、前記立体物検出部により前記立体物が検出された場合に、前記撮像部により撮像された前記立体物の画像を前記表示部に表示させてもよい。

上記運転支援装置において、前記画像生成部は、シフトポジションが、前進走行のレンジに切り替えられた場合に、車両前方、助手席側、車両後方、運転席側の順序で前記視覚方向が変化する前記連続画像を生成し、シフトポジションが、後退走行のレンジに切り替えられた場合に、車両後方、助手席側、車両前方、運転席側の順序で前記視覚方向が変化する前記連続画像を生成してもよい。

上記運転支援装置において、前記画像生成部は、運転席を仮想視点として見た前記連続画像を生成してもよい。

上記運転支援装置によれば、運転者の違和感を抑制しつつ的確な安全確認支援を行うことができる。

本発明の一実施形態に係る運転支援装置の概略構成を示すブロック図である。 本実施形態に係る運転支援装置を備える自車両を示す平面図である。 自車両を、駐車場に駐車させるシーンを示す平面図である。 運転支援装置の動作を説明するためのフローチャートである。 ディスプレイに表示される映像を示す画像図である。 ディスプレイに表示される映像を示す画像図である。 ディスプレイに表示される映像を示す画像図である。 ディスプレイに表示される映像を示す画像図である。 ディスプレイに表示される映像を示す画像図である。 ディスプレイに表示される映像を示す画像図である。 ディスプレイに表示される映像を示す画像図である。 ディスプレイに表示される映像を示す画像図である。 運転支援装置の動作を説明するためのフローチャートである。 ディスプレイに表示される映像を示す画像図である。 運転支援装置の動作を説明するためのフローチャートである。

以下、本発明の実施の形態について説明する。
図１は、本発明の一実施形態に係る運転支援装置１０の概略構成を示すブロック図である。また、図２は、本実施形態に係る運転支援装置１０を備える自車両１００を示す平面図である。これらの図に示すように、本実施形態に係る運転支援装置１０は、運転支援装置１０全体の制御を司るＥＣＵ（Electronic Control Unit）８０と、自車両１００の周囲を撮像する複数（本実施形態では４個）のカメラ（撮像部）４１、４２、４３、４４と、カメラ４１〜４４により撮影された画像を処理する画像処理ユニット（画像生成部）３０と、画像処理ユニット３０により処理された画像を表示するディスプレイ（表示部）２０とを備えている。

図２に示すように、カメラ４１は、車両前面における車幅方向中央部に配設され、カメラ４２は、車両左側面（助手席側側面）のサイドミラー１１０に配設されている。また、カメラ４３は、車両後面における車幅方向中央部に配設され、カメラ４４は、車両右側面（運転席側側面）のサイドミラー１１０に配設されている。
カメラ４１〜４４は、画角が１８０°の広角撮影用のカメラである。カメラ４１は、車両前方を１８０°の画角で撮像する。また、カメラ４２は、車両左方を１８０°の画角で撮像する。また、カメラ４３は、車両後方を１８０°の画角で撮像する。さらに、カメラ４４は、車両右方を１８０°の画角で撮像する。

画像処理ユニット３０は、カメラ４１〜４４により撮影された画像を座標変換（視点変換）して、運転席を仮想視点として見た車両の周囲の画像を生成する。画像処理ユニット３０は、撮影画像と座標変換後の画像との画素配置対応関係を記憶した変換テーブルを、各カメラ４１〜４４毎に有しており、各カメラ４１〜４４により撮影された画像を、それぞれの変換テーブルに基づいて座標変換する。また、画像処理ユニット３０は、運転席に設定された仮想視点を中心として視覚方向が連続的に変化する連続画像を生成する。当該連続画像は、例えば、車両左前方（即ち助手席の左前方）から始まり、車両左方、車両後方、車両右方、車両右前方（即ち運転席の右前方）を経由して車両前方で終わる。

そして、画像処理ユニット３０は、生成した画像データを、順次、ディスプレイ２０に送信する。ディスプレイ２０は、画像処理ユニット３０から順次送信される画像データに基づいて、順次、画像処理ユニット３０により生成された画像を表示する。
ＥＣＵ８０は、自車両１００の周辺映像のディスプレイ２０への表示をＯＮ／ＯＦＦするスイッチ８２と、画像処理ユニット３０により生成された画像を解析して自車両１００に対して相対移動する立体物を検出する立体物検出部８４とを備えている。

スイッチ８２は、ディスプレイ２０への周辺映像の表示をＯＮ／ＯＦＦするスイッチである。このスイッチ８２は、運転者によるシフトレバー１２０の操作によって、シフトポジションが、駐停車状態となるレンジ（本実施形態では、Ｐ（パーキング）レンジ及びＮ（ニュートラル）レンジ）から前進走行状態となるレンジ（本実施形態では、Ｄ（ドライブ）レンジ、Ｌ（ロー）レンジ及び２（セカンド）レンジ）、又は、後退走行状態となるレンジ（本実施形態では、Ｒ（リバース）レンジ）とに切替えられた場合に、ＯＦＦからＯＮに切り替わる。また、スイッチ８２は、シフトポジションが、前進走行状態となるレンジと後退走行状態となるレンジとの間で相互に切り替えられた場合にも、ＯＦＦからＯＮに切り替わる。一方で、スイッチ８２は、ディスプレイ２０への周辺映像の表示がＯＮの状態で、シフトポジションの切り替えが行われた場合、及び、所定速度（例えば、１０ｋｍ／ｈ等の徐行速度）を超えた場合に、ＯＦＦに切り替わる。

また、立体物検出部８４は、画像処理ユニット３０が生成した画像中のコントラスト比や色相等が変化する箇所（例えば、画像中の立体物のエッジやコーナー等）を特徴点として抽出し、時刻変化に伴う当該特徴点の位置変化を追跡する。立体物検出部８４は、画像中の当該特徴点の位置変化と、予め記憶した算出式とに基づいて、特徴点を三次元空間座標に変換すると共に特徴点の自車両１００に対する相対速度を算出する。そして、立体物検出部８４は、自車両１００に対する相対速度を有する特徴点の有無により、画像中の立体物の有無を検出すると共に、当該特徴点の三次元空間座標と相対速度とから、立体物の位置、立体物と自車両１００との距離を算出する。

ＥＣＵ８０は、立体物検出部８４により画像中の立体物が検出された場合、ディスプレイ２０に、立体物検出部８４により検出された立体物が映り込んでいる静止画像を表示させる。
なお、運転支援装置１０では、シフトポジションの切り替えに連動して自動でスイッチ８２のＯＮ／ＯＦＦが切り替えられる自動切り替えモードと、ユーザの操作によりスイッチ８２のＯＮ／ＯＦＦが切り替えられる手動切り替えモードとを、ディスプレイ２０のタッチパネル又はディスプレイ２０の周囲の操作キーにより選択できるようになっている。

次に、運転支援装置１０の動作について説明する。図３は、自車両１００を、駐車場に駐車させるシーンを示す平面図である。この図に示すように、自車両１００の後方に位置する駐車エリアＰ１は、自車両１００を駐車させるエリアである。この駐車エリアＰ１の左右両側の駐車エリアＰ２、Ｐ３にはそれぞれ車両１０３、１０４が駐車されている。また、駐車エリアＰ１の左前方に前後に並列された駐車エリアＰ４、Ｐ５にはそれぞれ車両１０１、１０２が駐車されている。また、駐車エリアＰ１の右前方に前後に並列された駐車エリアＰ６、Ｐ７にはそれぞれ車両１０５、１０６が駐車されている。

図４は、運転支援装置１０の動作を説明するためのフローチャートである。このフローチャートに示すように、スイッチ８２が自動切り替えモードに設定されている場合に、処理ルーチンが開始されてステップ１００へ移行する。ステップ１００では、ＥＣＵ８０が、シフトポジションがＰレンジ、Ｄレンジ、又はＮレンジからＲレンジへ切り替わったか否か、または、シフトポジションがＰレンジ又はＮレンジからＤレンジへ切り替わったか否かを判定する。判定が肯定された場合には、ステップ１０２へ移行する。

ステップ１０２では、ＥＣＵ８０が、スイッチ８２をＯＮにしてステップ１０４へ移行する。ステップ１０４では、ＥＣＵ８０が、立体物検出部８４により立体物が検出されたか否かを判定する。ここで、立体物検出部８４により検出される立体物は、自車両１００に対して相対速度を有するもの、例えば、自車両１００に接近する人等である。判定が肯定された場合には、ステップ１０６へ移行する一方、判定が否定された場合には、ステップ３００へ移行する。

ステップ１０６では、画像処理ユニット３０が、立体物検出部８４により検出された立体物が移り込んだ画像を座標変換したうえで合成し、運転席を仮想視点として見た画像と、自車両１００の上方を仮想視点として見た俯瞰画像とを生成する。ここで、画像処理ユニット３０は、異なるカメラで撮影した画像の繋ぎ目部分において、繋ぎ合わされる画像の画素を交互に配置することにより、当該繋ぎ目部分における画像の不連続性を緩和させた画像（所謂シームレスの画像）を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する。

図５は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０には、運転席を仮想視点として見た車外映像Ｉ１のみならず、運転席に設定された仮想視点から見た車内映像Ｉ２をも表示する表示部２１と、俯瞰映像Ｉ４を表示する表示部２２と、撮影位置を示す位置情報を表示する表示部２３とが設けられている。

表示部２１は、車内映像Ｉ２を表示部２１の全面に表示し、車外映像Ｉ１を車内映像Ｉ２と重ねて表示する。ここで、表示部２１は、車内映像Ｉ２における車外映像Ｉ１と重なる領域Ｉ３を、透過映像として表示する。
また、表示部２２は、俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置に相当する部分を赤色等、その他の部分とは異なる色で表示する。

次に、ステップ１０８では、ＥＣＵ８０が、立体物検出部８４により検出された立体物と自車両１００との距離が増加したか否かを判定する。即ち、ＥＣＵ８０は、立体物検出部８４により検出された立体物が自車両１００から離れて行っているか否かを判定する。判定が肯定された場合には、ステップ１１０へ移行する。
ステップ１１０では、ＥＣＵ８０が、立体物検出部８４により検出された立体物を撮影したカメラ４１〜４４が、前後のカメラ４１、４３であるか、左右のカメラ４２、４４であるかを判定する。前後のカメラ４１、４３である場合にはステップ１１２へ移行する一方、左右のカメラ４２、４４である場合にはステップ３００へ移行する。

ステップ１１２では、立体物検出部８４により検出された立体物を撮影したカメラ４１〜４４が、車両前方のカメラ４１であるか、車両後方のカメラ４３であるかを判定する。車両前方のカメラ４１と判定された場合には、ステップ１１４へ移行する一方、車両後方のカメラ４３と判定された場合には、ステップ２００へ移行する。
ステップ１１４では、画像処理ユニット３０が、車両前方のカメラ４１が撮影した画像と車両左方のカメラ４２が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両左前方の画像と、車両上方を仮想視点として見た車両左前方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４１が撮影した画像と、カメラ４２が撮影した画像との繋ぎ目部分において、前者と後者との画素を交互に配置することにより、上述のシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する。

図６は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、運転席を仮想視点として見た車両左前方の車外映像Ｉ１と、運転席に設定された仮想視点の左前方の車内映像Ｉ２とを表示する。また、表示部２１は、車内映像Ｉ２を表示部２１の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の左側に重ねて表示する。ここでは、表示部２１において、自車両１００の左前方に位置する車両１０１、１０２が、車外映像Ｉ１に映り込む。

また、ディスプレイ２０の表示部２２は、車両左前方の俯瞰映像Ｉ４を表示する。さらに、ディスプレイ２０の表示部２３は、撮影位置である車両左前方に相当する部分を赤色等、その他の部分とは異なる色で表示する。
次に、ステップ１１６では、画像処理ユニット３０が、車両左方のカメラ４２が撮影した画像を座標変換し、運転席を仮想視点として見た車両左方の画像と、自車両１００の上方を仮想視点として見た車両左方の俯瞰画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する。

図７は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、運転席を仮想視点として見た車両左方の車外映像Ｉ１と、運転席に設定された仮想視点の左方の車内映像Ｉ２とを重ねて表示する。表示部２１は、車内映像Ｉ２をディスプレイ２０の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の左側に重ねて表示する。また、表示部２１は、車内映像Ｉ２における車外映像Ｉ１と重なる領域Ｉ３を、透過映像として表示する。ここでは、表示部２１において、自車両１００の左前方に位置する車両１０２が、車外映像Ｉ１の右端に映り込む。

ここで、ステップ１１４からステップ１１６へ移行する際に、画像処理ユニット３０は、運転席に設定された仮想視点を中心として視覚方向を車両左前方から車両左方に連続的に変化させた連続画像を生成する。そして、ディスプレイ２０の表示部２１は、図６に示す車両左方の映像から図７に示す車両左前方の映像に連続的に遷移する連続映像を表示する。

また、表示部２２は、車両左方の俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置である車両左方に相当する部分を赤色等、その他の部分とは異なる色で表示する。
次に、ステップ１１８では、画像処理ユニット３０が、車両左方のカメラ４２が撮影した画像と車両後方のカメラ４３が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両左後方の画像と、車両上方を仮想視点として見た車両左後方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４２が撮影した画像と、カメラ４３が撮影した画像との繋ぎ目部分において、前者と後者との画素を交互に配置することにより、シームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する。

図８は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、運転席を仮想視点として見た車両左後方の車外映像Ｉ１と、運転席に設定された仮想視点の左後方の車内映像Ｉ２とを表示する。また、表示部２１は、車内映像Ｉ２を表示部２１の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の左側に重ねて表示する。ここでは、表示部２１において、自車両１００の左後方に位置する車両１０３が車外映像Ｉ１に映り込む。

ここで、ステップ１１６からステップ１１８へ移行する際に、画像処理ユニット３０は、運転席に設定された仮想視点を中心として視覚方向を車両左方から車両左後方に連続的に変化させた連続画像を生成する。そして、ディスプレイ２０の表示部２１は、図７に示す車両左方の映像から図８に示す車両左後方の映像に連続的に遷移する連続映像を表示する。

また、表示部２２は、車両左後方の俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置である車両左後方に相当する部分を赤色等、その他の部分とは異なる色で表示する。
次に、ステップ１２０では、画像処理ユニット３０が、車両後方のカメラ４３により撮影された画像を座標変換し、運転席を仮想視点として見た車両後方の画像と、自車両１００の上方を仮想視点として見た車両後方の俯瞰画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する。

図９は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、運転席を仮想視点として見た車両後方の車外映像Ｉ１と、運転席に設定された仮想視点の後方の車内映像Ｉ２とを重ねて表示する。表示部２１は、車内映像Ｉ２をディスプレイ２０の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の上側に重ねて表示する。また、車内映像Ｉ２における車外映像Ｉ１と重なる領域Ｉ３は、透過映像として表示する。ここでは、表示部２１において、自車両１００の後方に位置する車両１０３、１０４が、車外映像Ｉ１の両端に映り込む。

ここで、ステップ１１８からステップ１２０へ移行する際に、画像処理ユニット３０は、運転席に設定された仮想視点を中心として視覚方向を車両左後方から車両後方に連続的に変化させた連続画像を生成する。そして、ディスプレイ２０の表示部２１は、図８に示す車両左後方の映像から図９に示す車両後方の映像に連続的に遷移する連続映像を表示する。

また、表示部２２は、車両後方の俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置である車両後方に相当する部分を赤色等、その他の部分とは異なる色で表示する。
次に、ステップ１２２では、画像処理ユニット３０が、車両後方のカメラ４３が撮像した画像と車両左方のカメラ４４が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両右後方の画像と、自車両１００の上方を仮想視点として見た車両右後方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４３が撮影した画像と、カメラ４４が撮影した画像との繋ぎ目部分において、前者と後者との画素を交互に配置することにより、シームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する。

図１０は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、運転席を仮想視点として見た車両右後方の車外映像Ｉ１と、運転席に設定された仮想視点の右後方の車内映像Ｉ２とを重ねて表示する。表示部２１は、車内映像Ｉ２をディスプレイ２０の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の右側に重ねて表示する。また、表示部２１は、車内映像Ｉ２における車外映像Ｉ１と重なる領域Ｉ３を、透過映像として表示する。ここでは、表示部２１は、自車両１００の右後方に位置する車両１０４を、車外映像Ｉ１として表示する。

ここで、ステップ１２０からステップ１２２へ移行する際に、画像処理ユニット３０は、運転席に設定された仮想視点を中心として視覚方向を車両後方から車両右後方に連続的に変化させた連続画像を生成する。そして、ディスプレイ２０の表示部２１は、図９に示す車両後方の映像から図１０に示す車両右後方の映像に連続的に遷移する連続映像を表示する。

また、表示部２２は、車両右後方の俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置である車両右後方に相当する部分を赤色等、その他の部分とは異なる色で表示する。
次に、ステップ１２４では、画像処理ユニット３０が、車両右方のカメラ４４が撮像した画像を座標変換し、運転席を仮想視点として見た車両右方の画像と、自車両１００の上方を仮想視点として見た車両右方の俯瞰画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する。

図１１は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、運転席を仮想視点として見た車両右方の車外映像Ｉ１と、運転席に設定された仮想視点の右方の車内映像Ｉ２とを重ねて表示する。表示部２１は、車内映像Ｉ２をディスプレイ２０の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の右側に重ねて表示する。また、表示部２１は、車内映像Ｉ２における車外映像Ｉ１と重なる領域Ｉ３を、透過映像として表示する。ここでは、表示部２１において、自車両１００の右前方に位置する車両１０２の一部が車外映像Ｉ１の左端に映り込む。

ここで、ステップ１２２からステップ１２４へ移行する際に、画像処理ユニット３０は、運転席に設定された仮想視点を中心として視覚方向を車両右後方から車両右方に連続的に変化させた連続画像を生成する。そして、ディスプレイ２０の表示部２１は、図１０に示す車両右後方の映像から図１１に示す車両右方の映像に連続的に遷移する連続映像を表示する。

また、表示部２２は、車両右方の俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置である車両右方に相当する部分を赤色等、その他の部分とは異なる色で表示する。
次に、ステップ１２６では、画像処理ユニット３０が、車両右方のカメラ４４が撮像した画像と車両前方のカメラ４１が撮像した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両右前方の画像と、自車両１００の上方を仮想視点として見た車両右前方の俯瞰画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する。

図１２は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、運転席を仮想視点として見た車両右前方の車外映像Ｉ１と、運転席に設定された仮想視点の右前方の車内映像Ｉ２とを重ねて表示する。表示部２１は、車内映像Ｉ２をディスプレイ２０の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の右側に重ねて表示する。また、表示部２１は、車内映像Ｉ２における車外映像Ｉ１と重なる領域Ｉ３を、透過映像として表示する。ここでは、表示部２１は、自車両１００の右前方に位置する車両１０２を車外映像Ｉ１として表示する。

ここで、ステップ１２４からステップ１２６へ移行する際に、画像処理ユニット３０は、運転席に設定された仮想視点を中心として視覚方向を車両右方から車両右前方に連続的に変化させた連続画像を生成する。そして、ディスプレイ２０の表示部２１は、図１１に示す車両右方の映像から図１２に示す車両右前方の映像に連続的に遷移する連続映像を表示する。

また、表示部２２は、車両右前方の俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置である車両右前方に相当する部分を赤色等、その他の部分とは異なる色で表示する。そして、処理ルーチンを終了する。
即ち、立体物が車両前方のカメラ４１により撮影された場合には、画像処理ユニット３０が、車両左方（助手席側）、車両後方、車両右方（運転席側）の順序で、運転席に設定された仮想視点を中心として視覚方向が連続的に遷移する連続画像を生成し、ディスプレイ２０が、当該連続画像を表示する。

図１３は、ステップ２００以降の運転支援装置１０の動作を説明するためのフローチャートである。ステップ１１２において、ＥＣＵ８０が、立体物を撮影したカメラが車両後方のカメラ４３であると判定した場合、ステップ２００以降の処理ルーチンが開始される。ステップ２００では、画像処理ユニット３０が、車両後方のカメラ４３が撮影した画像と車両左方のカメラ４２が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両左後方の画像と、車両上方を仮想視点として見た車両左後方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４３が撮影した画像とカメラ４２が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図８参照）。

次に、ステップ２０２では、画像処理ユニット３０が、車両左方のカメラ４２が撮影した画像を座標変換し、運転席を仮想視点として見た車両左方の画像と、車両上方を仮想視点として見た車両左方の俯瞰画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図７参照）。
次に、ステップ２０４では、画像処理ユニット３０が、車両左方のカメラ４２が撮影した画像と車両前方のカメラ４１が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両左前方の画像と、車両上方を仮想視点として見た車両左前方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４２が撮影した画像とカメラ４１が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図６参照）。

次に、ステップ２０６では、画像処理ユニット３０が、車両前方のカメラ４１が撮影した画像を座標変換し、運転席を仮想視点として見た車両前方の画像と、車両上方を仮想視点として見た車両前方の俯瞰画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１４参照）。
次に、ステップ２０８では、画像処理ユニット３０が、車両前方のカメラ４１が撮影した画像と車両右方のカメラ４４が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両右前方の画像と、車両上方を仮想視点として見た車両右前方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４１が撮影した画像とカメラ４４が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１２参照）。

次に、ステップ２１０では、画像処理ユニット３０が、車両右方のカメラ４４が撮影した画像を座標変換し、運転席を仮想視点として見た車両右方の画像と、車両上方を仮想視点として見た車両右方の俯瞰画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１１参照）。
次に、ステップ２１２では、画像処理ユニット３０が、車両右方のカメラ４４が撮影した画像と車両後方のカメラ４３が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両右後方の画像と、車両上方を仮想視点として見た車両右後方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４４が撮影した画像とカメラ４３が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１０参照）。

即ち、自車両１００に接近する立体物が車両後方のカメラ４３により撮影された場合には、画像処理ユニット３０が、車両左方（助手席側）、車両前方、車両右方（運転席側）の順序で、運転席に設定された仮想視点を中心として視覚方向が連続的に遷移する連続画像を生成し、ディスプレイ２０が、当該連続画像を表示する。
図１５は、ステップ３００以降の運転支援装置１０の動作を説明するためのフローチャートである。ＥＣＵ８０は、立体物検出部８４により立体物が検出されなかった場合（ステップ１０４）、及び、立体物を撮影したカメラが車両左右のカメラ４２、４４であると判定した場合（ステップ１１０）、ステップ３００へ移行し、シフトポジションがＤレンジであるかＲレンジであるかを判定する。Ｄレンジである場合には、ステップ３０２へ移行する一方、Ｒレンジである場合には、ステップ３２０へ移行する。

ステップ３０２では、画像処理ユニット３０が、車両前方のカメラ４１が撮影した画像を座標変換し、運転席を仮想視点として見た車両前方の画像と、車両上方を仮想視点として見た車両前方の俯瞰画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１４参照）。
次に、ステップ３０４では、画像処理ユニット３０が、車両前方のカメラ４１が撮影した画像と車両左方のカメラ４２が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点して見た車両左前方の画像と、車両上方を仮想視点として見た車両左前方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４１が撮影した画像とカメラ４２が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図６参照）。

次に、ステップ３０６では、画像処理ユニット３０が、車両左方のカメラ４２が撮影した画像を座標変換し、運転席を仮想視点として見た車両左方の画像と、車両上方を仮想視点として見た車両左方の画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図７参照）。
次に、ステップ３０８では、画像処理ユニット３０が、車両左方のカメラ４２が撮影した画像と車両後方のカメラ４３が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両左後方の画像と、車両上方を仮想視点として見た車両左後方の画像を生成する。ここで、画像処理ユニット３０は、カメラ４２が撮影した画像とカメラ４３が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図８参照）。

次に、ステップ３１０では、画像処理ユニット３０が、車両後方のカメラ４３が撮影した画像を座標変換し、運転席を仮想視点として見た車両後方の画像と、車両上方を仮想視点として見た車両後方の画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図９参照）。
次に、ステップ３１２では、画像処理ユニット３０が、車両後方のカメラ４３が撮影した画像と車両右方のカメラ４４が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両右後方の画像と、車両上方を仮想視点として見た車両右後方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４３が撮影した画像とカメラ４４が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１０参照）。

次に、ステップ３１４では、画像処理ユニット３０が、車両右方のカメラ４４が撮影した画像を座標変換し、運転席を仮想視点として見た車両右方の画像と、車両上方を仮想視点として見た車両右方の俯瞰画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１１参照）。
次に、ステップ３１６では、画像処理ユニット３０が、車両右方のカメラ４４が撮影した画像と車両前方のカメラ４１が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両右前方の画像と、車両上方を仮想視点として見た車両右前方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４４が撮影した画像とカメラ４１が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１２参照）。そして、処理ルーチンを終了する。

即ち、自車両１００に接近する立体物がカメラ４１〜４４により撮影されない状態でシフトポジションがＤレンジである場合、または、立体物が車両左右のカメラ４２、４４により撮影されると共にシフトポジションがＤレンジである場合には、画像処理ユニット３０が、車両前方、車両左方（助手席側）、車両後方、車両右方（運転席側）の順序で、運転席に設定された仮想視点を中心として視覚方向が連続的に遷移する連続画像を生成し、ディスプレイ２０が、当該連続画像を表示する。

一方、ステップ３００において、ＥＣＵ８０が、シフトポジションがＲレンジであると判定した場合には、ステップ３２０において、画像処理ユニット３０が、車両後方のカメラが撮影した画像を座標変換し、運転席を仮想視点として見た車両後方の画像と、車両上方を仮想視点として見た車両後方の俯瞰画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図９参照）。

次に、ステップ３２２では、画像処理ユニット３０が、車両後方のカメラ４３が撮影した画像と車両左方のカメラ４２が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点して見た車両左後方の画像と、車両上方を仮想視点として見た車両左後方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４３が撮影した画像とカメラ４２が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図８参照）。

次に、ステップ３２４では、画像処理ユニット３０が、車両左方のカメラ４２が撮影した画像を座標変換し、運転席を仮想視点として見た車両左方の画像と、車両上方を仮想視点として見た車両左方の画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図７参照）。
次に、ステップ３２６では、画像処理ユニット３０が、車両左方のカメラ４２が撮影した画像と車両前方のカメラ４１が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両左前方の画像と、車両上方を仮想視点として見た車両左前方の画像とを生成する。ここで、画像処理ユニット３０は、カメラ４２が撮影した画像とカメラ４１が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図６参照）。

次に、ステップ３２８では、画像処理ユニット３０が、車両前方のカメラ４１が撮影した画像を座標変換し、運転席を仮想視点として見た車両前方の画像と、車両上方を仮想視点として見た車両前方の画像とを生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１４参照）。
次に、ステップ３３０では、画像処理ユニット３０が、車両前方のカメラ４１が撮影した画像と車両右方のカメラ４４が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両右前方の画像と、車両上方を仮想視点して見た車両右前方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４１が撮影した画像とカメラ４４が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１２参照）。

次に、ステップ３３２では、画像処理ユニット３０が、車両右方のカメラ４４が撮影した画像を座標変換し、運転席を仮想視点として見た車両右方の画像と、車両上方を仮想視点として見た車両右方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、シームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１１参照）。

次に、ステップ３３４では、画像処理ユニット３０が、車両右方のカメラ４４が撮影した画像と車両後方のカメラ４３が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両右後方の画像と、車両上方を仮想視点として見た車両右後方の俯瞰画像とを生成する。ここで、画像処理ユニット３０は、カメラ４４が撮影した画像とカメラ４３が撮影した画像との繋ぎ目部分が連続的であるシームレスの画像を生成する。そして、ディスプレイ２０は、画像処理ユニット３０が生成した画像を表示する（図１０参照）。そして、処理ルーチンを終了する。

即ち、自車両１００に接近する立体物がカメラ４１〜４４により撮影されない状態でシフトポジションがＲレンジである場合、または、立体物が車両左右のカメラ４２、４４により撮影されると共にシフトポジションがＲレンジである場合には、画像処理ユニット３０が、車両後方、車両左方（助手席側）、車両前方、車両右方（運転席側）の順序で、運転席に設定された仮想視点を中心として視覚方向が連続的に遷移する連続画像を生成し、ディスプレイ２０が、当該連続画像を表示する。

以上、説明したように、本実施形態に係る運転支援装置１０では、シフトポジションがＤレンジ（前進走行レンジ）又はＲレンジ（後退走行レンジ）に切替えられた場合、即ち、運転者が自車両１００を駐停車状態から前進又は後退させる場合、自車両１００の乗員が車両の周囲を１周見回した際に、自車両１００を透過して自車両１００の乗員の視覚で捉えられるような映像が、ディスプレイ２０に連続的に表示される。これにより、車両上方を仮想視点として見る俯瞰画像と比して、ディスプレイ２０に表示される映像と、実際に自車両１００の乗員の視覚で捉えられる車両の周囲の映像との差異を低減できる。また、運転者は、側方や後方等、撮影位置の切り替えを行うことなく、車両の周囲の全方位の死角を、ディスプレイ２０に表示される映像で確認することができる。従って、本実施形態に係る運転支援装置１０によれば、運転者の違和感を抑制しつつ的確な安全確認支援を行うことができる。

また、本実施形態に係る運転支援装置１０では、運転席を仮想視点として車両の周囲を見回したような映像が、ディスプレイ２０に表示される。これにより、運転者の違和感を抑制でき、運転者の臨場感を増大させることができる。
また、本実施形態に係る運転支援装置１０では、シフトポジションがＤレンジの場合には、前方から始まって助手席側を経由して後方、運転席側へと遷移する連続画像をディスプレイ２０に表示させる。また、シフトポジションがＲレンジの場合には、後方から始まって助手席側を経由して前方、運転席側へと遷移する連続画像をディスプレイ２０に表示させる。即ち、運転者が自車両１００を駐停車状態から前進させる場合には、始めに移動方向である車両前方をディスプレイ２０に表示させ、次に、死角がより多い助手席側をディスプレイ２０に表示させる。また、運転者が自車両１００を駐停車状態から後退させる場合には、始めに移動方向である車両後方をディスプレイ２０に表示させ、次に、死角がより多い助手席側をディスプレイ２０に表示させる。これにより、運転者は、移動方向及び死角が多い方向の状況を、速やかに確認することができる。

また、本実施形態に係る運転支援装置１０では、立体物検出部８４によって自車両１００に接近する立体物が検出された場合に、当該立体物をディスプレイ２０に表示させる。これにより、運転者が、自車両１００に接近する人等を見落とすことを抑制できる。そして、その後、自車両１００の周囲がディスプレイ２０に表示されるので、運転者は、実際に周囲の安全確認を行うこともできる。

また、本実施形態に係る運転支援装置１０では、運転席を仮想視点として見た車外映像Ｉ１と、当該仮想視点から見た車内映像Ｉ２とを重ねてディスプレイ２０に表示させ、車外映像Ｉ１と車内映像Ｉ２との重なり合う領域Ｉ３を透過映像としてディスプレイ２０に表示させている。即ち、運転者が自車両１００の周囲を見回した際に運転者の視覚で捉えられる映像全体を、ディスプレイ２０に表示させている。従って、本実施形態に係る運転支援装置１０によれば、運転者に臨場感を感じさせることができる。

以上、本発明の実施形態について説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。例えば、本実施形態に係る運転支援装置１０では、自車両１００の周囲の全周の車外映像Ｉ１を、連続的にディスプレイ２０に表示させた。しかし、車両前方の車外映像Ｉ１のディスプレイ２０への表示は行わない、あるいは、助手席側の車外映像Ｉ１のディスプレイ２０への表示のみ行う等、ディスプレイ２０に表示させる車外映像Ｉ１の範囲については適宜設定できる。

また、本実施形態に係る運転支援装置１０では、運転席を仮想視点として見た連続画像をディスプレイ２０に表示させたが、仮想視点の設定位置は運転席には限られない。例えば、助手席側の車外映像をディスプレイ２０に表示させる場合には助手席に仮想視点を設定する等、表示させる画像に近い座席に設定してもよい。
また、本実施形態では、４個のカメラ４１〜４４を車両前後左右に設けたが、カメラの設置数、設置位置は、それに限定されるものではなく、適宜変更できる。また、本実施形態では、カメラ４１〜４４を１８０°の画角を有する広角カメラとしたが、カメラはそれに限定されるものではなく、画角が１８０°よりも狭いカメラ等、他のカメラに変更してもよい。

また、本実施形態では、ＥＣＵ８０が、シフトポジションがＰレンジ、Ｄレンジ、又はＮレンジからＲレンジへ切り替えられた場合、または、シフトポジションがＰレンジ、Ｎレンジ、又はＲレンジからＤレンジへ切り替えられた場合に、スイッチ８２をＯＮにしている。しかしながら、例えば、マニュアルトランスミッションを搭載している車両において、ＮレンジからＲレンジに切替えられた場合、ＮレンジからＬＯＷレンジに切替えられた場合に、運転支援装置１０の作動スイッチをＯＮにする等することもできる。

１０ 運転支援装置
２０ ディスプレイ（表示部）
２１〜２３ 表示部
３０ 画像処理ユニット（画像生成部）
４１〜４４ カメラ（撮像部）
８０ ＥＣＵ（制御部）
８２ スイッチ
８４ 立体物検出部
１００ 自車両
１０１〜１０６ 車両
１１０ サイドミラー

Claims (5)

1. 車両の周囲を撮像する撮像部と、
   前記撮像部により撮影された画像を、車室内に設定された仮想視点から見た車両の周囲の画像に変換すると共に、前記仮想視点を中心として視覚方向を連続的に変化させた連続画像を生成する画像生成部と、
   前記画像生成部により生成された前記連続画像を表示する表示部と、
   シフトポジションが、前進走行のレンジ又は後退走行のレンジに切り替えられた場合に、前記表示部に前記連続画像を表示させる制御部と、
   を備える運転支援装置。
2. 前記画像生成部は、助手席側、車両後方及び車両前方の何れか一方、運転席側の順序で前記視覚方向が変化する前記連続画像を生成する請求項１に記載の運転支援装置。
3. 前記撮像部により撮像された画像に基づいて立体物を検出する立体物検出部を備え、
   前記制御部は、前記立体物検出部により前記立体物が検出された場合に、前記撮像部により撮像された前記立体物の画像を前記表示部に表示させる請求項１又は請求項２に記載の運転支援装置。
4. 前記画像生成部は、シフトポジションが、前進走行のレンジに切り替えられた場合に、車両前方、助手席側、車両後方、運転席側の順序で前記視覚方向が変化する前記連続画像を生成し、シフトポジションが、後退走行のレンジに切り替えられた場合に、車両後方、助手席側、車両前方、運転席側の順序で前記視覚方向が変化する前記連続画像を生成する請求項１から請求項３までの何れか１項に記載の運転支援装置。
5. 前記画像生成部は、運転席に設定された仮想視点から見た前記連続画像を生成する請求項１から請求項４までの何れか１項に記載の運転支援装置。

Images