JP2011066763A

JP2011066763A - 運転支援装置

Info

Publication number: JP2011066763A
Application number: JP2009216879A
Authority: JP
Inventors: Takashi Shimizu; 貴士清水
Original assignee: Mitsubishi Motors Corp
Current assignee: Mitsubishi Motors Corp
Priority date: 2009-09-18
Filing date: 2009-09-18
Publication date: 2011-03-31
Anticipated expiration: 2029-09-18
Also published as: JP5158051B2

Abstract

【課題】運転者の違和感を抑制しつつ運転者の視野を広げて運転者の利便性を向上させることができる運転支援装置を提供する。
【解決手段】運転支援装置は、車両の周囲を撮像する撮像部と、前記撮像部により撮影された画像を、運転席に着席した乗員の視点を仮想視点として見た車両の周囲の画像に変換すると共に、前記仮想視点を中心として視覚方向を連続的に変化させた連続画像を生成する画像生成部と、前記画像生成部により生成された前記連続画像を表示する表示部と、を備える。
【選択図】図５

Description

本発明は、運転支援装置に関する。

車両の前後左右に設けられたカメラにより車両の周囲を撮像し、これらのカメラにより撮影された画像を、画像処理ユニットにより車両上方を仮想視点として見た俯瞰画像に変換して、車室内に設けられたディスプレイに表示させる技術が知られている（例えば、特許文献１参照）。当該技術によれば、運転者の視野を広げることができ、運転者の利便性を向上させることができる。

特開２００６−３４１６４１号公報

ところで、運転者は、自車両を駐車場に駐車させる際に、運転席から自車両の周囲を見回す。このため、ディスプレイに表示される俯瞰画像は、実際に運転席から見える映像と視点が異なるので、運転者に違和感を生じさせることが考えられる。
本発明は上記事情に鑑み、運転者の違和感を抑制しつつ運転者の視野を広げて運転者の利便性を向上させることができる運転支援装置を提供することを課題とする。

上記課題を達成するため、運転支援装置は、車両の周囲を撮像する撮像部と、前記撮像部により撮影された画像を、運転席に着席した乗員の視点を仮想視点として見た車両の周囲の画像に変換すると共に、前記仮想視点を中心として視覚方向を連続的に変化させた連続画像を生成する画像生成部と、前記画像生成部により生成された前記連続画像を表示する表示部と、を備える。

上記運転支援装置は、車外の撮像位置を指定する指定情報を受け付ける情報受付部を備えてもよく、上記運転支援装置において、前記画像生成部が、前記情報受付部が受け付けた前記撮像位置を、当該撮像位置に最も近接した座席に着席した乗員の視点を仮想視点として見た車外の画像に変換した指定画像を生成し、前記表示部が、前記画像生成部により生成された前記指定画像を表示してもよい。

上記運転支援装置において、前記画像生成部が、車内の画像を透過画像として車外の画像と重ね合わせた重ね合せ画像を生成し、前記表示部が、前記画像生成部により生成された前記重ね合せ画像を表示してもよい。
上記運転支援装置は、車外の音を収集する集音部と、前記撮像部により車両の周囲が撮像される際に前記集音部により収集された音を、前記撮像部により撮影された画像を前記表示部が表示する際に車内で発生させる発音部と、を備えてもよい。

上記運転支援装置によれば、運転者の違和感を抑制しつつ運転者の視野を広げて運転者の利便性を向上させることができる。

本発明の一実施形態に係る運転支援装置の概略構成を示すブロック図である。本実施形態に係る運転支援装置を備える自車両を示す平面図である。自車両を、駐車場に駐車させるシーンを示す平面図である。運転支援装置の動作を説明するためのフローチャートである。ディスプレイに表示される映像を示す画像図である。ディスプレイに表示される映像を示す画像図である。ディスプレイに表示される映像を示す画像図である。ディスプレイに表示される映像を示す画像図である。ディスプレイに表示される映像を示す画像図である。ディスプレイに表示される映像を示す画像図である。ディスプレイに表示される映像を示す画像図である。ディスプレイに表示される映像を示す画像図である。ディスプレイに表示される映像を示す画像図である。

以下、本発明の実施の形態について説明する。
図１は、本発明の一実施形態に係る運転支援装置１０の概略構成を示すブロック図である。また、図２は、本実施形態に係る運転支援装置１０を備える自車両１００を示す平面図である。これらの図に示すように、本実施形態に係る運転支援装置１０は、運転支援装置１０全体の制御を司るＥＣＵ（Electronic Control Unit）８０と、自車両１００の周囲を撮像する複数（本実施形態では４個）のカメラ（撮像部）４１、４２、４３、４４と、カメラ４１、４２、４３、４４により撮影された画像を処理する画像処理ユニット（画像生成部）３０と、画像処理ユニット３０により処理された画像を表示するディスプレイ（表示部）２０と、自車両１００の周囲の音を収集する複数（本実施形態では４個）の集音用のマイク（集音部）６１、６２、６３、６４と、マイク６１、６２、６３、６４により収集された音を処理する音声処理ユニット５０と、音声処理ユニット５０により処理された音を発するスピーカ（発音部）７０とを備えている。

ＥＣＵ８０は、所定の運転状態になった場合、例えば、シフトポジションがＰ（パーキング）レンジからＲ（リバース）レンジに切替えられた場合、シフトポジションがＰレンジからＤ（ドライブ）レンジに切替えられた場合に、運転支援装置１０を作動させる。
また、ＥＣＵ８０は、ディスプレイ２０の周囲又はディスプレイ２０内に配設された操作キーの操作に応じて、運転支援装置１０の動作を切替える。例えば、後述の表示部（情報受付部）２３（図４参照）は、車外映像の位置を指定するためのタッチパネルとなっており、当該タッチパネルにより車外映像の位置が指定された場合に、後述の表示部２１（図４参照）に表示させる映像を、指定された位置の映像に切替える。

図２に示すように、カメラ４１及びマイク６１は、車両前面における車幅方向中央部に配設され、カメラ４２及びマイク６２は、車両左側面（助手席側側面）のサイドミラー１０２に配設されている。また、カメラ４３及びマイク６３は、車両後面における車幅方向中央部に配設され、カメラ４４及びマイク６４は、車両右側面（運転席側側面）のサイドミラー１０２に配設されている。

カメラ４１〜４４は、画角が１８０°の広角撮影用のカメラである。カメラ４１は、車両前方を１８０°の画角で撮像する。また、カメラ４２は、車両左方を１８０°の画角で撮像する。また、カメラ４３は、車両後方を１８０°の画角で撮像する。さらに、カメラ４４は、車両右方を１８０°の画角で撮像する。
画像処理ユニット３０は、カメラ４１〜４４により撮影された画像を座標変換（視点変換）して、運転席を仮想視点として見た車両の周囲の画像を作成する。画像処理ユニット３０は、撮影画像と座標変換後の画像との画素配置対応関係を記憶した変換テーブルを、各カメラ４１〜４４毎に有しており、各カメラ４１〜４４により撮影された画像を、それぞれの変換テーブルに基づいて座標変換する。また、画像処理ユニット３０は、作成した画像のデータを、順次、ディスプレイ２０に送信する。

ディスプレイ２０は、画像処理ユニット３０から順次送信される画像のデータに基づいて、順次、画像処理ユニット３０により作成された画像を表示する。
マイク６１〜６４は、単一指向性のマイクである。マイク６１は、車両前方の音を収集し、マイク６２は、車両左方の音を収集する。また、マイク６３は、車両後方の音を収集し、マイク６４は、車両右方の音を収集する。

音声処理ユニット５０は、マイク６１〜６４により収集された音を、所定のタイミングでスピーカ７０から発生させる。詳細には、カメラ４１により撮影された画像をディスプレイ２０に表示させる場合に、マイク６１により収集された音をスピーカ７０から発生させ、カメラ４２により撮影された画像をディスプレイ２０に表示させる場合に、マイク６２により収集された音をスピーカ７０から発生させる。また、カメラ４３により撮影された画像をディスプレイ２０に表示させる場合に、マイク６３により収集された音をスピーカ７０から発生させる。さらに、カメラ４４により撮影された画像をディスプレイ２０に表示させる場合に、マイク６４により収集された音をスピーカ７０から発生させる。

次に、運転支援装置１０の動作について説明する。図３は、自車両１００を、駐車場に駐車させるシーンを示す平面図である。この図に示すように、自車両１００の後方に位置する駐車エリアＰ１は、自車両１００を駐車させるエリアである。この駐車エリアＰ１の左右両側の駐車エリアＰ２、Ｐ３にはそれぞれ車両１０３、１０４が駐車されている。また、駐車エリアＰ１の左前方に前後に並列された駐車エリアＰ４、Ｐ５にはそれぞれ車両１０１、１０２が駐車されている。また、駐車エリアＰ１の右前方に前後に並列された駐車エリアＰ６、Ｐ７にはそれぞれ車両１０５、１０６が駐車されている。

図４は、運転支援装置１０の動作を説明するためのフローチャートである。このフローチャートに示すように、自車両１００のスタートスイッチがオンの場合に、処理ルーチンが開始されてステップ１００へ移行する。ステップ１００では、ＥＣＵ８０が、シフトポジションがＰレンジ、Ｄレンジ、又はＮレンジからＲレンジへ切り替わったか否か、または、シフトポジションがＰレンジ又はＮレンジからＤレンジへ切り替わったか否かを判定する。判定が肯定された場合には、ステップ１０２へ移行する。

ステップ１０２では、ＥＣＵ８０が、運転支援装置１０の作動スイッチをＯＮにしてステップ１０４へ移行する。ステップ１０４では、車両前方のカメラ４１が車両前方を撮像し、左側のカメラ４２が車両左方を撮像する。画像処理ユニット３０は、カメラ４１、４２が撮影した画像を座標変換したうえで合成し、運転席を仮想視点として見た車両左前方の画像と、自車両の上方を仮想視点として見た俯瞰画像とを作成する。ここで、画像処理ユニット３０は、カメラ４１が撮影した画像と、カメラ４２が撮影した画像との繋ぎ目部分において、前者と後者との画素を交互に配置することにより、当該繋ぎ目部分における画像の不連続性を緩和させた画像（所謂シームレスの画像）を作成する。そして、ディスプレイ２０は、画像処理ユニット３０が作成した画像を表示する。

また、車両前方のマイク６１が車両前方の音を収集し、車両左方のマイク６２が車両左方の音を収集する。音声処理ユニット５０は、マイク６１、６２が収集した音を合成して、画像処理ユニット３０が作成した画像がディスプレイ２０に表示されるのと同時にスピーカ７０から発生させる。
図５は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０には、運転席を仮想視点として見た車両左前方の車外映像Ｉ１のみならず、運転席に設定された仮想視点の左前方の車内映像Ｉ２をも表示する表示部２１と、俯瞰映像Ｉ４を表示する表示部２２と、撮影位置を示す位置情報を表示する表示部２３とが設けられている。

表示部２１は、車内映像Ｉ２を表示部２１の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の左側に重ねて表示する。自車両１００の左前方には車両１０１、１０２が位置するので、これらが、車外映像Ｉ１として表示部２１に表示される。ここで、表示部２１は、車内映像Ｉ２における車外映像Ｉ１と重なる領域Ｉ３を、透過映像として表示する。
また、表示部２２は、車両左前方の俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置である車両左前方に相当する部分を赤色等、その他の部分とは異なる色で表示する。

次に、ステップ１０６では、車両左方のカメラ４２が車両左方を撮像する。画像処理ユニット３０は、カメラ４２が撮像した画像を座標変換し、運転席を仮想視点として見た車両左方の画像と、車両上方を仮想視点として見た車両左方の俯瞰画像とを作成する。そして、ディスプレイ２０は、画像処理ユニット３０が作成した画像を表示する。
また、車両左方のマイク６２が車両左方の音を収集する。音声処理ユニット５０は、マイク６２が収集した音を、画像処理ユニット３０が作成した画像がディスプレイ２０に表示されるのと同時にスピーカ７０から発生させる。

図６は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、運転席を仮想視点として見た車両左方の車外映像Ｉ１と、運転席に設定された仮想視点の左方の車内映像Ｉ２とを重ねて表示する。表示部２１は、車内映像Ｉ２をディスプレイ２０の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の左側に重ねて表示する。また、表示部２１は、車内映像Ｉ２における車外映像Ｉ１と重なる領域Ｉ３を、透過映像として表示する。ここでは、表示部２１において、自車両１００の左前方に位置する車両１０２の一部が、僅かに車外映像Ｉ１の右端に映り込む。

ここで、ステップ１０４からステップ１０６へ移行する際に、画像処理ユニット３０は、運転席に設定された仮想視点を中心として視覚方向を車両左前方から車両左方に連続的に変化させた連続画像を生成する。そして、ディスプレイ２０の表示部２１は、図５に示す車両左前方の映像から図６に示す車両左方の映像に連続的に遷移する連続映像を表示する。

また、表示部２２は、車両左方の俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置である車両左方に相当する部分を赤色等、その他の部分とは異なる色で表示する。
次に、ステップ１０８では、車両左方のカメラ４２が車両左方を撮像し、車両後方のカメラ４３が車両後方を撮像する。画像処理ユニット３０は、カメラ４２、４３が撮影した画像を座標変換したうえで合成し、運転席を仮想視点として見た車両左後方の画像と、自車両１００の上方を仮想視点として見た俯瞰画像とを作成する。ここで、画像処理ユニット３０は、カメラ４２が撮影した画像と、カメラ４３が撮影した画像との繋ぎ目部分において、前者と後者との画素を交互に配置することにより、当該繋ぎ目部分における画像の不連続性を緩和させた画像を作成する。そして、ディスプレイ２０は、画像処理ユニット３０が作成した画像を表示する。

また、車両前方のマイク６２が車両左方の音を収集し、車両後方のマイク６３が車両後方の音を収集する。音声処理ユニット５０は、マイク６２、６３が収集した音を合成して、画像処理ユニット３０が作成した画像がディスプレイ２０に表示されるのと同時にスピーカ７０から発生させる。
図７は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、運転席を仮想視点として見た車両左後方の車外映像Ｉ１と、運転席に設定された仮想視点の左後方の車内映像Ｉ２とを重ねて表示する。表示部２１は、車内映像Ｉ２をディスプレイ２０の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の左側に重ねて表示する。また、表示部２１は、車内映像Ｉ２における車外映像Ｉ１と重なる領域Ｉ３を、透過映像として表示する。ここでは、自車両１００の左後方には車両１０３が位置するので、表示部２１は、車両１０３を車外映像Ｉ１として表示する。

ここで、ステップ１０６からステップ１０８へ移行する際に、画像処理ユニット３０は、運転席に設定された仮想視点を中心として視覚方向を車両左方から車両左後方に連続的に変化させた連続画像を生成する。そして、ディスプレイ２０の表示部２１は、図６に示す車両左方の映像から図７に示す車両左後方の映像に連続的に遷移する連続映像を表示する。

また、表示部２２は、車両左後方の俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置である車両左後方に相当する部分を赤色等、その他の部分とは異なる色で表示する。
次に、ステップ１１０では、車両左方のカメラ４２が車両左方を撮像し、車両後方のカメラ４３が車両後方を撮像する。画像処理ユニット３０は、カメラ４２が撮像した画像とカメラ４３が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両後方左側の画像と、自車両１００の上方を仮想視点として見た車両後方の俯瞰画像とを作成する。ここで、画像処理ユニット３０は、カメラ４２が撮影した画像と、カメラ４３が撮影した画像との繋ぎ目部分において、前者と後者との画素を交互に配置することにより、当該繋ぎ目部分における画像の不連続性を緩和させた画像を作成する。そして、ディスプレイ２０は、画像処理ユニット３０が作成した画像を表示する。

また、車両左方のマイク６２が車両左方の音を収集し、車両後方のマイク６３が車両後方の音を収集する。音声処理ユニット５０は、マイク６２、６３が収集した音を合成して、画像処理ユニット３０が作成した画像がディスプレイ２０に表示されるのと同時にスピーカ７０から発生させる。
図８は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、運転席を仮想視点として見た車両後方左側の車外映像Ｉ１と、運転席に設定された仮想視点の後方左側の車内映像Ｉ２とを重ねて表示する。表示部２１は、車内映像Ｉ２をディスプレイ２０の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の上側に重ねて表示する。また、車内映像Ｉ２における車外映像Ｉ１と重なる領域Ｉ３は、透過映像として表示する。ここでは、表示部２１において、自車両１００の左後方に位置する車両１０３の一部が、僅かに車外映像Ｉ１の左端に映り込む。

ここで、ステップ１０８からステップ１１０へ移行する際に、画像処理ユニット３０は、運転席に設定された仮想視点を中心として視覚方向を車両左後方から車両後方左側に連続的に変化させた連続画像を生成する。そして、ディスプレイ２０の表示部２１は、図７に示す車両左後方の映像から図８に示す車両後方左側の映像に連続的に遷移する連続映像を表示する。

また、表示部２２は、車両後方左側の俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置である車両後方左側に相当する部分を赤色等、その他の部分とは異なる色で表示する。
次に、ステップ１１２では、車両後方のカメラ４３が車両後方を撮像し、車両右方のカメラ４４が車両右方を撮像する。画像処理ユニット３０は、カメラ４３が撮像した画像とカメラ４４が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両後方右側の画像と、自車両１００の上方を仮想視点として見た車両後方の俯瞰画像とを作成する。ここで、画像処理ユニット３０は、カメラ４３が撮影した画像と、カメラ４４が撮影した画像との繋ぎ目部分において、前者と後者との画素を交互に配置することにより、当該繋ぎ目部分における画像の不連続性を緩和させた画像を作成する。そして、ディスプレイ２０は、画像処理ユニット３０が作成した画像を表示する。

また、車両後方のマイク６３が車両後方の音を収集し、車両右方のマイク６４が車両右方の音を収集する。音声処理ユニット５０は、マイク６３、６４が収集した音を合成して、画像処理ユニット３０が作成した画像がディスプレイ２０に表示されるのと同時にスピーカ７０から発生させる。
図９は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、運転席を仮想視点として見た車両後方右側の車外映像Ｉ１と、運転席に設定された仮想視点の後方右側の車内映像Ｉ２とを重ねて表示する。表示部２１は、車内映像Ｉ２をディスプレイ２０の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の上側に重ねて表示する。また、表示部２１は、車内映像Ｉ２における車外映像Ｉ１と重なる領域Ｉ３を、透過映像として表示する。ここでは、表示部２１において、自車両１００の右後方に位置する車両１０４の一部が僅かに車外映像Ｉ１の右端に映りこむ。

ここで、ステップ１１０からステップ１１２へ移行する際に、画像処理ユニット３０は、運転席に設定された仮想視点を中心として視覚方向を車両後方左側から車両後方右側に連続的に変化させた連続画像を生成する。そして、ディスプレイ２０の表示部２１は、図８に示す車両後方左側の映像から図９に示す車両後方右側の映像に連続的に遷移する連続映像を表示する。

また、表示部２２は、車両後方の俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置である車両後方右側に相当する部分を赤色等、その他の部分とは異なる色で表示する。
次に、ステップ１１４では、車両後方のカメラ４３が車両後方を撮像し、車両右方のカメラ４４が車両右方を撮像する。画像処理ユニット３０は、カメラ４３が撮像した画像とカメラ４４が撮影した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両右後方の画像と、自車両１００の上方を仮想視点として見た車両左方の俯瞰画像とを作成する。ここで、画像処理ユニット３０は、カメラ４３が撮影した画像と、カメラ４４が撮影した画像との繋ぎ目部分において、前者と後者との画素を交互に配置することにより、当該繋ぎ目部分における画像の不連続性を緩和させた画像を作成する。そして、ディスプレイ２０は、画像処理ユニット３０が作成した画像を表示する。

また、車両後方のマイク６４が車両左方の音を収集し、車両前方のマイク６１が車両前方の音を収集する。音声処理ユニット５０は、マイク６４、６１が収集した音を合成して、画像処理ユニット３０が作成した画像がディスプレイ２０に表示されるのと同時にスピーカ７０から発生させる。
図１０は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、運転席を仮想視点として見た車両右後方の車外映像Ｉ１と、運転席に設定された仮想視点の右後方の車内映像Ｉ２とを重ねて表示する。表示部２１は、車内映像Ｉ２をディスプレイ２０の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の右側に重ねて表示する。また、表示部２１は、車内映像Ｉ２における車外映像Ｉ１と重なる領域Ｉ３を、透過映像として表示する。ここでは、表示部２１は、自車両１００の左後方に位置する車両１０３を、車外映像Ｉ１として表示する。

ここで、ステップ１１２からステップ１１４へ移行する際に、画像処理ユニット３０は、運転席に設定された仮想視点を中心として視覚方向を車両後方右側から車両右後方に連続的に変化させた連続画像を生成する。そして、ディスプレイ２０の表示部２１は、図９に示す車両後方右側の映像から図１０に示す車両右後方の映像に連続的に遷移する連続映像を表示する。

また、表示部２２は、車両右方の俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置である車両右後方に相当する部分を赤色等、その他の部分とは異なる色で表示する。
次に、ステップ１１６では、車両右方のカメラ４４が車両右方を撮像する。画像処理ユニット３０は、カメラ４４が撮像した画像を座標変換し、運転席を仮想視点として見た車両右方の画像と、自車両１００の上方を仮想視点として見た車両右方の俯瞰画像とを作成する。そして、ディスプレイ２０は、画像処理ユニット３０が作成した画像を表示する。

また、車両右方のマイク６４が車両右方の音を収集し、車両前方のマイク６１が車両前方の音を収集する。音声処理ユニット５０は、マイク６４、６１が収集した音を合成して、画像処理ユニット３０が作成した画像がディスプレイ２０に表示されるのと同時にスピーカ７０から発生させる。
図１１は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、運転席を仮想視点として見た車両右方の車外映像Ｉ１と、運転席に設定された仮想視点の右方の車内映像Ｉ２とを重ねて表示する。表示部２１は、車内映像Ｉ２をディスプレイ２０の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の右側に重ねて表示する。また、表示部２１は、車内映像Ｉ２における車外映像Ｉ１と重なる領域Ｉ３を、透過映像として表示する。ここでは、表示部２１において、自車両１００の右前方に位置する車両１０２の一部が僅かに車外映像Ｉ１の左端に映り込む。

ここで、ステップ１１４からステップ１１６へ移行する際に、画像処理ユニット３０は、運転席に設定された仮想視点を中心として視覚方向を車両右後方から車両右方に連続的に変化させた連続画像を生成する。そして、ディスプレイ２０の表示部２１は、図１０に示す車両右後方の映像から図１１に示す車両右方の映像に連続的に遷移する連続映像を表示する。

また、表示部２２は、車両右方の俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置である車両右方に相当する部分を赤色等、その他の部分とは異なる色で表示する。
次に、ステップ１１８では、車両右方のカメラ４４が車両右方を撮像し、車両前方のカメラ４１が車両前方を撮像する。画像処理ユニット３０は、カメラ４４が撮像した画像と、カメラ４１が撮像した画像とを座標変換したうえで合成し、運転席を仮想視点として見た車両右前方の画像と、自車両１００の上方を仮想視点として見た車両右前方の俯瞰画像とを作成する。そして、ディスプレイ２０は、画像処理ユニット３０が作成した画像を表示する。

また、車両右方のマイク６４が車両右方の音を収集し、車両前方のマイク６１が車両前方の音を収集する。音声処理ユニット５０は、マイク６４、６１が収集した音を合成して、画像処理ユニット３０が作成した画像がディスプレイ２０に表示されるのと同時にスピーカ７０から発生させる。
図１２は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、運転席を仮想視点として見た車両右前方の車外映像Ｉ１と、運転席に設定された仮想視点の右前方の車内映像Ｉ２とを重ねて表示する。表示部２１は、車内映像Ｉ２をディスプレイ２０の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の右側に重ねて表示する。また、表示部２１は、車内映像Ｉ２における車外映像Ｉ１と重なる領域Ｉ３を、透過映像として表示する。ここでは、表示部２１は、自車両１００の右前方に位置する車両１０２を車外映像Ｉ１として表示する。

ここで、ステップ１１６からステップ１１８へ移行する際に、画像処理ユニット３０は、運転席に設定された仮想視点を中心として視覚方向を車両右方から車両右前方に連続的に変化させた連続画像を生成する。そして、ディスプレイ２０の表示部２１は、図１１に示す車両右方の映像から図１２に示す車両右前方の映像に連続的に遷移する連続映像を表示する。

また、表示部２２は、車両右前方の俯瞰映像Ｉ４を表示する。さらに、表示部２３は、撮影位置である車両右前方に相当する部分を赤色等、その他の部分とは異なる色で表示する。
次に、ステップ１２０では、車両前方のカメラ４１が車両前方を撮像する。画像処理ユニット３０は、カメラ４１が撮像した画像を座標変換して、運転席を仮想視点として見た車両前方の画像と、自車両１００の上方を仮想視点として見た車両前方の俯瞰画像とを作成する。そして、ディスプレイ２０は、画像処理ユニット３０が作成した画像を表示する。

また、車両前方のマイク６１が車両前方の音を収集する。音声処理ユニット５０は、マイク６１が収集した音を、画像処理ユニット３０が作成した画像がディスプレイ２０に表示されるのと同時にスピーカ７０から音を発生させる。
次に、ステップ１２２では、ＥＣＵ８０が、表示部２３のタッチパネルが操作されたか否かを判定し、判定が肯定された場合には、ステップ１２４へ移行する一方、判定が否定された場合にはステップ１２６へ移行する。

ここで、表示部２３のタッチパネルは、車両前方、車両左前方、車両左方、車両左後方、車両後方、車両右後方、車両右方、及び車両右前方をそれぞれ指定する複数の操作キーを備えている。ステップ１２４において、ＥＣＵ８０は、表示部２３のタッチパネルの操作キーにより撮影位置が指定された場合に、当該撮影位置に最も近接された座席を仮想視点として見た当該撮影位置の画像と、自車両１００の上方を仮想視点として見た当該撮影位置の俯瞰画像とを、画像処理ユニット３００に作成させる。例えば、ＥＣＵ８０は、表示部２３のタッチパネルの車両左後方を指定する操作キーが操作された場合に、助手席側後部座席を仮想視点として見た車両左後方の画像と、自車両１００の上方を仮想視点として見た車両左後方の俯瞰画像とを、画像処理ユニット３００に作成させる。

図１３は、本ステップにおいてディスプレイ２０に表示される映像を示す画像図である。この図に示すように、ディスプレイ２０の表示部２１は、助手席側後部座席を仮想視点とする車両左後方の車外映像Ｉ１と、助手席側後部座席に設定された仮想視点の左後方の車内映像Ｉ２とを重ねて表示する。表示部２１は、車内映像Ｉ２をディスプレイ２０の全面に表示し、車外映像Ｉ１を車内映像Ｉ２の上側に重ねて表示する。また、表示部２１は、車内映像Ｉ２における車外映像Ｉ１と重なる領域Ｉ３を、透過映像として表示する。ここでは、表示部２１において、自車両１００の左後方に位置する車両１０３の一部が車外映像Ｉ１の左端に映り込む。

次に、ステップ１２６では、ＥＣＵ８０が、シフトポジションがＲレンジからＰレンジ、Ｄレンジ又はＮレンジへ切り替わったか否か、または、シフトポジションがＤレンジからＰレンジ又はＮレンジへ切り替わったか否かを判定する。判定が肯定された場合には処理ルーチンを終了する。
以上、説明したように、本実施形態に係る運転支援装置１０では、運転者が自車両１００を駐車スペースに駐車させる際、もしくは自車両１００を駐車スペースから発進させる際に、運転者が車両の周囲を１周見回した際に、自車両１００を透過して運転者の視覚で捉えられるような映像が、ディスプレイ２０に連続的に表示される。このため、車両上方を仮想視点として見る俯瞰画像と比して、ディスプレイ２０に表示される映像と、実際に運転者の視覚で捉えられる車両の周囲の映像との差異を低減でき、運転者の違和感を低減させることができる。また、側方や後方等、撮影位置の切り替えを行うことなく、車両の周囲の全方位の死角を、ディスプレイ２０に表示される映像で確認することができる。さらに、各カメラ４１〜４４で撮影された画像を合成するに際して、合成される画像間の繋ぎ目部分の不連続性を緩和させる処理を行っている。従って、本実施形態に係る運転支援装置１０によれば、運転者の違和感を抑制しつつ運転者の視野を広げて運転者の利便性を向上させることができる。

また、本実施形態に係る運転支援装置１０では、表示部２３のタッチパネルにより、撮影位置が指定された場合に、当該撮影位置に最も近接した座席に着席した乗員の視覚で捉えられるような映像が、ディスプレイ２０に表示される。このため、複数の乗員が自車両１００に乗っている場合に、車外の見たい場所を最も見易い座席に着席している乗員が、当該場所に存する障害物の位置を運転者にアドバイスするのと同等の効果を得ることができる。従って、本実施形態に係る運転支援装置１０によれば、運転者の利便性をより一層向上させることができる。

また、本実施形態に係る運転支援装置１０では、運転席を仮想視点として見た車外映像Ｉ１と、当該仮想視点から見た車内映像Ｉ２とを重ねてディスプレイ２０に表示させ、車外映像Ｉ１と車内映像Ｉ２との重なり合う領域Ｉ３を透過映像としてディスプレイ２０に表示させている。即ち、運転者が自車両１００の周囲を見回した際に運転者の視覚で捉えられる映像全体を、ディスプレイ２０に表示させている。従って、本実施形態に係る運転支援装置１０によれば、運転者に臨場感を感じさせることができる。

また、本実施形態に係る運転支援装置１０では、マイク６１〜６４により収集された音を、車外映像Ｉ１をディスプレイ２０に表示させるのと同時にスピーカ７０から発生させる。従って、本実施形態に係る運転支援装置１０によれば、運転者に臨場感を感じさせることができる。
また、本実施形態に係る運転支援装置１０では、例えば、車両左前方の車外映像Ｉ１をディスプレイ２０に表示させるのと同時に、マイク６１、６２により車両左前方から収集した音をスピーカ７０から発生させる等、ディスプレイ２０に表示される車外映像Ｉ１と同一方向の音を、スピーカ７０から発生させる。従って、本実施形態に係る運転支援装置１０によれば、運転者が感じる臨場感をより一層高めることができる。

以上、本発明の実施形態について説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。例えば、本実施形態に係る運転支援装置１０では、自車両１００の周囲の全周の車外映像Ｉ１を、連続的にディスプレイ２０に表示させた。しかし、車両前方の車外映像Ｉ１のディスプレイ２０への表示は行わない、あるいは、助手席側の車外映像Ｉ１のディスプレイ２０への表示のみ行う等、ディスプレイ２０に表示させる車外映像Ｉ１の範囲については適宜設定できる。

また、本実施形態では、４個のカメラ４１〜４４を車両前後左右に設けたが、カメラの設置数、設置位置は、それに限定されるものではなく、適宜変更できる。また、本実施形態では、カメラ４１〜４４を１８０°の画角を有する広角カメラとしたが、カメラはそれに限定されるものではなく、画角が１８０°よりも狭いカメラ等、他のカメラに変更してもよい。また、本実施形態では、４個のマイク６１〜６４を車両前後左右に設けたが、マイクの設置数、設置位置は、それに限定されるものではなく、適宜選択できる。

また、本実施形態では、ＥＣＵ８０が、シフトポジションがＰ（パーキング）レンジからＲ（リバース）レンジに切替えられた場合、シフトポジションがＰレンジからＤ（ドライブ）レンジに切替えられた場合に、運転支援装置１０の作動スイッチをＯＮにしている。しかしながら、例えば、マニュアルトランスミッションを搭載している車両において、ＮレンジからＲレンジに切替えられた場合、ＮレンジからＬＯＷレンジに切替えられた場合に、運転支援装置１０の作動スイッチをＯＮにする等することもできる。

１０運転支援装置
２０ディスプレイ（表示部）
２１〜２３表示部
３０画像処理ユニット（画像生成部）
４１〜４４カメラ（撮像部）
５０音声処理ユニット
６１〜６４マイク（集音部）
７０スピーカ（発音部）
１００自車両
１０１〜１０６車両

Claims

車両の周囲を撮像する撮像部と、
前記撮像部により撮影された画像を、運転席に着席した乗員の視点を仮想視点として見た車両の周囲の画像に変換すると共に、前記仮想視点を中心として視覚方向を連続的に変化させた連続画像を生成する画像生成部と、
前記画像生成部により生成された前記連続画像を表示する表示部と、
を備える運転支援装置。
車外の撮像位置を指定する指定情報を受け付ける情報受付部を備え、
前記画像生成部は、前記情報受付部が受け付けた前記撮像位置を、当該撮像位置に最も近接した座席に着席した乗員の視点を仮想視点として見た車外の画像に変換した指定画像を生成し、
前記表示部は、前記画像生成部により生成された前記指定画像を表示する請求項１に記載の運転支援装置。
前記画像生成部は、車内の画像を透過画像として車外の画像と重ね合わせた重ね合せ画像を生成し、
前記表示部は、前記画像生成部により生成された前記重ね合せ画像を表示する請求項１又は請求項２に記載の運転支援装置。
車外の音を収集する集音部と、
前記撮像部により車両の周囲が撮像される際に前記集音部により収集された音を、前記撮像部により撮影された画像を前記表示部が表示する際に車内で発生させる発音部と、
を備える請求項１から請求項３までの何れか１項に記載の運転支援装置。