JP2019029757A - 表示制御装置、表示システム、表示制御方法、及び、プログラム - Google Patents

Abstract

【課題】駐車区画に対する車両の向きが適切であるか否か判断することを容易にする技術を提供する。【解決手段】表示制御装置９は、車両２の後方を撮影した映像に対応する後方映像データ、車両２の左側方を撮影した映像に対応する左側方映像データ、および、車両２の右側方を撮影した映像に対応する右側方映像データを取得する映像データ取得部２１と、車両２の進行方向において車両２が進行することが予想される予想軌跡線としての舵角非連動線３０を生成する予想軌跡線生成部２４と、後方映像データに舵角非連動線３０を重畳させると共に、後方映像データに左側方映像データ及び右側方映像データを合成した合成映像データを生成する、合成映像データ生成部２８と、合成映像データを表示装置８に出力する表示制御部２３と、を備える。【選択図】図８

Description

本発明は、表示制御装置、表示システム、表示制御方法、及び、プログラムに関する。

特許文献１は、車両の後方視界画面を撮像する撮像手段と、後方視界画面を表示する表示手段とを用い、ステアリング舵角に応じて変化する予想軌跡線を後方視界画面に重ね合わせて表示させることで、運転者の駐車操作を支援する駐車支援方法を開示している。

特開２００６−２９８２０８号公報

しかしながら、上記特許文献１の方法では、車両が駐車区画内に深く進入すると、駐車区画を車幅方向で区画する駐車区画線が撮像手段の画角内に収まらなくなる。従って、車両が駐車区画内に深く進入すると、運転者が後方視界画像を通じて駐車区画線を認識し難くなるので、駐車区画に対する車両の向きが適切であるか否か判断するのが困難となる。

本発明の目的は、駐車区画に対する車両の向きが適切であるか否か判断することを容易にする技術を提供することにある。

一実施形態に係る表示制御装置は、車両の進行方向を撮影した映像に対応する進行方向映像データ、前記車両の左側方を撮影した映像に対応する左側方映像データ、および、前記車両の右側方を撮影した映像に対応する右側方映像データを取得する映像データ取得部と、前記車両の進行方向において前記車両が進行することが予想される予想軌跡線を生成する予想軌跡線生成部と、前記進行方向映像データに前記予想軌跡線を重畳させると共に、前記進行方向映像データに前記左側方映像データ又は前記右側方映像データのうち少なくとも何れか一方を合成した合成映像データを生成する、合成映像データ生成部と、前記合成映像データを表示装置に出力する表示制御部と、を備える。

他の一実施形態に係る表示制御方法は、車両の進行方向を撮影した映像に対応する進行方向映像データ、前記車両の左側方を撮影した映像に対応する左側方映像データ、および、前記車両の右側方を撮影した映像に対応する右側方映像データを取得する映像データ取得ステップと、前記車両の進行方向において前記車両が進行することが予想される予想軌跡線を生成する予想軌跡線生成ステップと、前記進行方向映像データに前記予想軌跡線を重畳させると共に、前記進行方向映像データに前記左側方映像データ又は前記右側方映像データのうち少なくとも何れか一方を合成した合成映像データを生成する、合成映像データ生成ステップと、前記合成映像データを表示装置に出力する表示制御ステップと、を含む。

更に他の一実施形態に係るプログラムは、車両の進行方向を撮影した映像に対応する進行方向映像データ、前記車両の左側方を撮影した映像に対応する左側方映像データ、および、前記車両の右側方を撮影した映像に対応する右側方映像データを取得する映像データ取得ステップと、前記車両の進行方向において前記車両が進行することが予想される予想軌跡線を生成する予想軌跡線生成ステップと、前記進行方向映像データに前記予想軌跡線を重畳させると共に、前記進行方向映像データに前記左側方映像データ又は前記右側方映像データのうち少なくとも何れか一方を合成した合成映像データを生成する、合成映像データ生成ステップと、前記合成映像データを表示装置に出力する表示制御ステップと、をコンピュータに実行させる。

本発明によれば、駐車区画に対する車両の向きが適切であるか否か判断することが容易となる。

表示システムの機能ブロック図である。（第１実施形態） 所望の駐車区画に向けて車両を後退させている様子を示す俯瞰図である。（第１実施形態） 後方映像データを例示する図である。（第１実施形態） 後方映像データに重畳された舵角非連動線を例示する図である。（第１実施形態） 後方映像データに重畳された舵角連動線を例示する図である。（第１実施形態） 視点変換された左側方映像データを例示する図である。（第１実施形態） 舵角非連動線を重畳させた後方映像データを例示する図である。（第１実施形態） 合成映像データを例示する図である。（第１実施形態） 表示制御装置の制御フローである。（第１実施形態） 表示システムの機能ブロック図である。（第２実施形態） 後方映像データを例示する図である。（第２実施形態） 表示制御装置の制御フローである。（第２実施形態） 視点変換された左側方映像データを例示する図である。（第３実施形態） 表示制御装置の制御フローである。（第３実施形態） 視点変換された左側方映像データを例示する図である。（第４実施形態）

（第１実施形態）
以下、図１から図９を参照して、第１実施形態を説明する。図１は、表示システムの機能ブロック図を示している。図２は、所望の駐車区画に向けて車両を後退させている様子を示す俯瞰図を示している。本実施形態では、所望の駐車区画３に向けて車両２を移動させる際の車両２の進行方向を車両２の後退方向、即ち、車両２の後方とする。しかしながら、所望の駐車区画３に向けて車両２を移動させる際の車両２の進行方向を車両２の前進方向、即ち、車両２の前方としてもよい。

＜構成＞
図１に示す表示システム１は、運転者の駐車操作を補助するものである。具体的には、表示システム１は、図２に示すように、運転者が車両２を後退させることにより車両２を所望の駐車区画３に向けて移動させる際の駐車操作を補助する。

図１に示すように、表示システム１は、前方カメラ４と、後方カメラ５と、左側方カメラ６と、右側方カメラ７と、表示装置８と、表示制御装置９と、を備えている。

図２に示すように、前方カメラ４は、車両２の前端２ａに配置され、車両２の前端２ａから車両２の前方を撮像するカメラである。前方カメラ４は、撮像した映像に対応する前方映像データを表示制御装置９に出力する。図２には、前方カメラ４の画角４ａと撮像範囲４ｂを破線で示している。

後方カメラ５は、車両２の後端２ｂに配置され、車両２の後端２ｂから車両２の後方を撮像するカメラである。後方カメラ５は、撮像した映像に対応する後方映像データを表示制御装置９に出力する。図２には、後方カメラ５の画角５ａと撮像範囲５ｂを破線で示している。図３には、後方映像データを例示している。図３には、車両２が向かっている駐車区画３を車幅方向で区画する駐車区画線としての縦向き駐車区画線３５と、車両２が向かっている駐車区画３を車両２の前後方向で区画する駐車区画線としての横向き駐車区画線３６と、が示されている。

図２に戻り、左側方カメラ６は、車両２の左端２ｃに配置され、車両２の左端２ｃから車両２の左側方を撮像するカメラである。本実施形態において、左側方カメラ６は、車両２の左端２ｃに配置されている左サイドミラー１０に配置されており、車両２の左サイドミラー１０から車両２の左側方を撮像する。左側方カメラ６は、撮像した映像に対応する左側方映像データを表示制御装置９に出力する。図２には、左側方カメラ６の画角６ａ及び撮像範囲６ｂを破線で示している。

右側方カメラ７は、車両２の右端２ｄに配置され、車両２の右端２ｄから車両２の右側方を撮像するカメラである。本実施形態において、右側方カメラ７は、車両２の右端２ｄに配置されている右サイドミラー１１に配置されており、車両２の右サイドミラー１１から車両２の右側方を撮像する。右側方カメラ７は、撮像した映像に対応する右側方映像データを表示制御装置９に出力する。図２には、右側方カメラ７の画角７ａ及び撮像範囲７ｂを破線で示している。

前方カメラ４は、車両２の前方を撮影するカメラであり、車両２の前方水平面を含んだ範囲を撮影する。後方カメラ５は、車両２の後方を撮影するカメラであり、車両２の後方水平面を含んだ範囲を撮影する。前方カメラ４及び後方カメラ５は、車両２の進行方向を確認するのに用いられる。

左側方カメラ６は、車両２の左側方を撮影するカメラであり、車両２の左側方下部を含んだ範囲を撮影する。右側方カメラ７は、車両２の右側方を撮影するカメラであり、車両２の右側方下部を含んだ範囲を撮影する。左側方カメラ６及び右側方カメラ７は、全方位モニターすなわち俯瞰映像を構成するための映像を撮影するカメラである。

俯瞰映像を構成するための映像を撮影するカメラとして、左側方カメラ６及び右側方カメラ７に加えて、図示しない俯瞰映像用前方カメラおよび俯瞰映像用後方カメラをさらに備えていてもよい。また、前方カメラ４及び後方カメラ５の撮影範囲が車両２の前方下部および後方下部を含む場合は、前方カメラ４および後方カメラ５が撮影した映像を俯瞰映像を構成するための映像として用いてもよい。

図１に戻り、表示装置８は、例えば、液晶表示装置、有機ＥＬ（有機エレクトロルミネッセンス）表示装置、ヘッドアップディスプレイである。表示装置８は、運転者が駐車操作する際に目視可能な位置に配置される。表示装置８は、表示画面８ａを有する。

表示制御装置９は、中央演算処理器としてのCPU（Central Processing Unit）と、読み書き自由のRAM（Random Access Memory）、読み出し専用のROM（Read Only Memory）を備えている。そして、CPUがROMに記憶されているプログラムを読み出して実行することで、プログラムは、CPUなどのハードウェアを、車両情報取得部２０、映像データ取得部２１、映像処理部２２、表示制御部２３、として機能させる。

車両情報取得部２０は、CANなどを通じて、車両情報を取得する。CANなどとは、CAN（Controller Area Network）やMOST（Media Oriented Systems Transport）、イーサネット（登録商標）等の車内ネットワークを意味する。車両情報取得部２０は、後退情報取得部２０ａ、及び、舵角情報取得部２０ｂを有する。後退情報取得部２０ａは、車両２のシフトレバーの操作情報を取得する。舵角情報取得部２０ｂは、車両２のハンドルの舵角情報を取得する。車両情報は、操作情報及び舵角情報を含み得る。車両情報取得部２０は、取得した車両情報を映像処理部２２に出力する。

映像データ取得部２１は、前方カメラ４から前方映像データを取得する。映像データ取得部２１は、後方カメラ５から後方映像データを取得する。映像データ取得部２１は、左側方カメラ６から左側方映像データを取得する。映像データ取得部２１は、右側方カメラ７から右側方映像データを取得する。映像データ取得部２１は、取得した前方映像データ及び後方映像データ、左側方映像データ、右側方映像データを映像処理部２２に出力する。

映像処理部２２は、映像データ取得部２１が取得した前方映像データ及び後方映像データ、左側方映像データ、右側方映像データに対し各種処理を行う。映像処理部２２は、各種処理の処理内容に応じて、予想軌跡線生成部２４と、視点変換処理部２７と、合成映像データ生成部２８と、を有する。

予想軌跡線生成部２４は、車両２の進行方向において車両２が進行することが予想される予想軌跡線を生成する。予想軌跡線は、図４及び図５に示すように、第一予想軌跡線としての舵角非連動線３０と、第二予想軌跡線としての舵角連動線３１と、を含み得る。

図４に示すように、舵角非連動線３０は、車両２の前後方向に沿って直線的に延びる２本の縦線３０ａと、２本の縦線３０ａを連結する２本の横線３０ｂと、から構成されている。２本の縦線３０ａの間の間隔は、車両２の車幅に一致している。２本の横線３０ｂは、省略される場合がある。横線３０ｂの本数は２本に限らない。また、各横線３０ｂは、車両２を起点とした車両２の後方の所定距離を示していてもよい。

図５に示すように、舵角連動線３１は、舵角情報に基づいて湾曲する２本の縦線３１ａと、２本の縦線３１ａを連結する２本の横線３１ｂと、から構成されている。２本の縦線３１ａの間の間隔は、車両２の車幅に一致している。２本の横線３１ｂは、省略される場合がある。横線３１ｂの本数は２本に限らない。また、各横線３１ｂは、車両２を起点とした車両２の後方の所定距離を示していてもよい。

図１に戻り、視点変換処理部２７は、前方映像データ及び後方映像データ、左側方映像データ、右側方映像データに対して、車両２を真上から見下ろすように仮想的な視点の移動を行う視点変換処理を実行する。視点変換処理には、仮想的な視点の移動に加えて、必要な範囲の切出し処理および映像データの歪補正処理も含まれる。図６には、車両２が駐車区画３内に深く進入した段階における上記視点変換処理が行われた左側方映像データを例示している。ただし、上記視点変換処理が行われた左側方映像データの向きを理解できるよう、説明の便宜上、図６には、車両２を破線で併せて表示した。

図１に戻り、合成映像データ生成部２８は、後方映像データに舵角非連動線３０を重畳させると共に、後方映像データに左側方映像データ及び右側方映像データを合成した合成映像データを生成する。図７には、舵角非連動線３０が重畳された後方映像データ４０を示している。図７に示すように、車両２が駐車区画３内に深く進入すると、車両２を車幅方向で挟む２つの縦向き駐車区画線３５の後方映像データ４０上で確認できる長さが極めて短くなるので、運転者にとって、駐車区画３に対する車両２の向きが適切であるか否か判断し難くなっている。そこで、合成映像データ生成部２８は、更に、図８に示すように、後方映像データ４０に左側方映像データ４１Ｌ及び右側方映像データ４１Ｒを合成した合成映像データ４２を生成する。このように、十分な長さの縦向き駐車区画線３５を画角内に収めた左側方映像データ４１Ｌ、及び、十分な長さの縦向き駐車区画線３５を画角内に収めた右側方映像データ４１Ｒを後方映像データ４０に合成することで、車両２が駐車区画３に深く進入した段階でも、運転者が、駐車区画３に対する車両２の向きが適切であるか否かを判断し易くなる。

本実施形態において、左側方映像データ４１Ｌは、後方映像データ４０の中の右側領域４０Ｒに合成されている。同様に、右側方映像データ４１Ｒは、後方映像データ４０の中の左側領域４０Ｌに合成されている。このように左側方映像データ４１Ｌと右側方映像データ４１Ｒを左右逆に配置することで、運転者が車両２の後方に顔を向けているように表示される後方映像データ４０と、左側方映像データ４１Ｌ及び右側方映像データ４１Ｒと、を違和感なく見比べることができる。

また、図８に示すように、後方映像データ４０における車両２の進行方向２Ｐは紙面において下から上へ向かう方向である。同様に、左側方映像データ４１Ｌ及び右側方映像データ４１Ｒにおける車両２の進行方向２Ｑは紙面上において下から上へ向かう方向である。このように、合成映像データ生成部２８は、後方映像データ４０における車両２の進行方向２Ｐと、左側方映像データ４１Ｌ及び右側方映像データ４１Ｒにおける車両２の進行方向２Ｑと、が一致するように、後方映像データ４０に左側方映像データ４１Ｌ及び右側方映像データ４１Ｒを合成する。このように合成映像データ４２において進行方向２Ｐと進行方向２Ｑを一致させることで、一致していない場合と比較して、車両２が向かっている駐車区画３に対する車両２の向きを適切にするためにハンドルをどちらに切るべきかを運転者が容易且つ直感的に判断できるようになる。

また、合成映像データ生成部２８は、図８に示すように、後方映像データ４０に左側方映像データを合成するに際し、左側方映像データのすべてを後方映像データ４０に合成するのではなく、図６において二点鎖線で示すように車両２に比較的近い部分４３のみを後方映像データ４０に合成するようにしている。このように左側方映像データにおける合成の対象を狭く限定することで、図８に示すように、合成映像データ４２において縦向き駐車区画線３５を拡大表示することができる。右側方映像データについても同様である。また、合成映像データ生成部２８は、図８に示すように、後方映像データ４０の右側または左側に左側方映像データおよび右側方映像データを重畳させるのではなく、図７に示す後方映像データ４０の表示範囲を維持した状態で、後方映像データ４０の右側または左側に左側方映像データおよび右側方映像データを接続して表示してもよい。

図１に戻り、表示制御部２３は、合成映像データを表示装置８に出力する。

＜作動＞
次に、図９を参照して、表示制御装置９の制御フローを説明する。

図９に示すように、先ず、表示制御装置９は、シフトレバーがリバースポジションへと切り替わるまで処理を待機させる（S100：NO）。

シフトレバーがリバースポジションへと切り替わったら（S100:YES）、映像データ取得部２１が、後方映像データ及び左側方映像データ、右側方映像データを取得する（S110）。

次に、視点変換処理部２７が、左側方映像データ及び右側方映像データに対して視点変換処理を行う（S120）。

次に、予想軌跡線生成部２４が、図４に示す舵角非連動線３０を生成する（S130）。

次に、合成映像データ生成部２８が、合成映像データを生成する（S160）。具体的には、合成映像データ生成部２８は、先ず、図４及び図７に示すように、後方映像データに舵角非連動線３０を重畳させる（S170）。次に、合成映像データ生成部２８は、図８に示すように、舵角非連動線３０を重畳させた後方映像データ４０に、左側方映像データ４１Ｌ及び右側方映像データ４１Ｒを合成する（S180）。これにより、合成映像データ生成部２８は、図８に示す合成映像データ４２を生成する。

次に、表示制御部２３が、映像処理部２２が生成した合成映像データを表示装置８に出力する（S220）。これにより、合成映像データが表示装置８の表示画面８ａに表示される。

そして、表示制御装置９は、シフトレバーがリバースポジション以外のポジションへ切り替わるまで（S230：YES）、S110からS220のステップを繰り返し、シフトレバーがリバースポジション以外のポジションへ切り替わったら（S230:NO）、処理を終了する。

以上に、第１実施形態を説明したが、上記第１実施形態は、以下の特徴を有する。

表示制御装置９は、車両２の後方を撮影した映像に対応する後方映像データ、車両２の左側方を撮影した映像に対応する左側方映像データ、および、車両２の右側方を撮影した映像に対応する右側方映像データを取得する映像データ取得部２１と、車両２の進行方向において車両２が進行することが予想される予想軌跡線としての舵角非連動線３０を生成する予想軌跡線生成部２４と、後方映像データに舵角非連動線３０を重畳させると共に、後方映像データに左側方映像データ及び右側方映像データを合成した合成映像データを生成する、合成映像データ生成部２８と、合成映像データを表示装置８に出力する表示制御部２３と、を備える。以上の構成によれば、車両２が駐車する駐車区画３に対する車両２の向きが適切であるか否か判断することを容易にすることができる。更に言えば、以上の構成によれば、車両２が駐車区画３に深く進入した段階でも、運転者が、車両２が駐車する駐車区画３に対する車両２の向きが適切であるか否かを判断し易くなる。

また、図８に示すように、合成映像データ生成部２８は、後方映像データ４０の中の右側領域４０Ｒに左側方映像データ４１Ｌを合成し、後方映像データ４０の中の左側領域４０Ｌに右側方映像データ４１Ｒを合成する。以上の構成によれば、左側方映像データ４１Ｌや右側方映像データ４１Ｒが後方映像データ４０の中の中央や上下領域に合成される場合と比較して、車両２が駐車する駐車区画３に対する車両２の向きが適切であるか否か、直感的に判断できるようになる。

また、図８に示すように、合成映像データ生成部２８は、後方映像データ４０における車両２の進行方向２Ｐと、左側方映像データ及び前記右側方映像データにおける車両２の進行方向２Ｑと、が一致するように、後方映像データ４０に左側方映像データ４１Ｌ及び右側方映像データ４１Ｒを合成する。このように合成映像データ４２において、進行方向２Ｐと進行方向２Ｑを一致させることで、一致していない場合と比較して、車両２が駐車する駐車区画３に対する車両２の向きを適切にするためにハンドルをどちらに切るべきかを運転者が容易且つ直感的に判断できるようになる。

また、表示システム１は、図１及び図６に示すように、更に、左側方映像データ及び右側方映像データに対して車両２を真上から見るような視点変換処理を行う視点変換処理部２７を更に備える。そして、合成映像データ生成部２８は、図８に示すように、後方映像データ４０に視点変換処理された左側方映像データ４１Ｌ及び右側方映像データ４１Ｒを合成する。以上の構成によれば、左側方映像データ４１Ｌ及び右側方映像データ４１Ｒにおいて縦向き駐車区画線３５が直線的に表示されるので、車両２が駐車する駐車区画３に対する車両２の向きが適切であるか否か明確に判断できるようになる。

また、表示システム１は、少なくとも、表示制御装置９を備える。表示システム１は、少なくとも、車両２の後方を撮影する後方カメラ５と、車両２の左側方を撮影する左側方カメラ６と、車両２の右側方を撮影する右側方カメラ７と、表示装置８と、のうち少なくとも何れかを備える。

また、図９に示すように、表示制御方法は、車両２の後方を撮影した映像に対応する後方映像データ、車両２の左側方を撮影した映像に対応する左側方映像データ、および、車両２の右側方を撮影した映像に対応する右側方映像データを取得する映像データ取得ステップ（S110）と、車両２の進行方向において車両２が進行することが予想される予想軌跡線としての舵角非連動線３０を生成する予想軌跡線生成ステップ（S130）と、後方映像データに舵角非連動線３０を重畳させると共に、後方映像データに左側方映像データ及び右側方映像データを合成した合成映像データを生成する、合成映像データ生成ステップ（S160）と、合成映像データを表示装置８に出力する表示制御ステップ（S220）と、を含む。以上の方法によれば、車両２が駐車する駐車区画３に対する車両２の向きが適切であるか否か判断することを容易にすることができる。更に言えば、以上の方法によれば、車両２が駐車区画３に深く進入した段階でも、運転者が、車両２が駐車する駐車区画３に対する車両２の向きが適切であるか否かを判断し易くなる。

上記第１実施形態は、例えば、以下のように変更できる。

上記第１実施形態では、所望の駐車区画３に向けて車両２を移動させる際の車両２の進行方向を車両２の後退方向、即ち、車両２の後方とした。しかしながら、所望の駐車区画３に向けて車両２を移動させる際の車両２の進行方向を車両２の前進方向、即ち、車両２の前方としてもよい。この場合、第1実施形態の説明においては、「後退方向」「後方」「後方映像データ」を適宜、「前進方向」「前方」「前方映像データ」に読み替えるものとする。以降の各実施形態においても同様である。

また、上記第１実施形態において、合成映像データ生成部２８は、後方映像データに図４に示す舵角非連動線３０を重畳させることとした。しかし、これに代えて、合成映像データ生成部２８は、後方映像データに図５に示す舵角連動線３１を重畳させることとしてもよい。

また、上記第１実施形態において、合成映像データ生成部２８は、後方映像データに左側方映像データ及び右側方映像データを合成することとした。しかし、これに代えて、合成映像データ生成部２８は、後方映像データに左側方映像データ又は右側方映像データのうち何れか一方のみを合成することとしてもよい。

なお、上記第１実施形態において、合成映像データ生成部２８は、後方映像データ４０の中の右側領域４０Ｒに左側方映像データ４１Ｌを合成し、後方映像データ４０の中の左側領域４０Ｌに右側方映像データ４１Ｒを合成することとした。しかし、これに代えて、合成映像データ生成部２８は、後方映像データ４０の中の左側領域４０Ｌに左側方映像データ４１Ｌを合成したり、後方映像データ４０の中の右側領域４０Ｒに右側方映像データ４１Ｒを合成したり、後方映像データ４０の中の左側領域４０Ｌ又は右側領域４０Ｒの何れかに左側方映像データ４１Ｌ及び右側方映像データ４１Ｒを合成してもよい。即ち、合成映像データ生成部２８は、後方映像データ４０の中の左側領域４０Ｌ又は右側領域４０Ｒの少なくとも何れか一方に、左側方映像データ４１Ｌ又は右側方映像データ４１Ｒのうち少なくとも何れか一方を合成することができる。

更に言えば、上記第１実施形態において、合成映像データ生成部２８は、後方映像データ４０よりも右側又は左側の領域に左側方映像データ４１Ｌを合成したり、後方映像データ４０よりも右側又は左側の領域に右側方映像データ４１Ｒを合成したり、後方映像データ４０よりも右側又は左側の何れか一方の領域に左側方映像データ４１Ｌ及び右側方映像データ４１Ｒを合成してもよい。即ち、合成映像データ生成部２８は、後方映像データ４０よりも左側又は右側の領域の少なくとも何れか一方に、左側方映像データ４１Ｌ又は右側方映像データ４１Ｒのうち少なくとも何れか一方を合成することができる。

また、上記第１実施形態の視点変換処理部２７は、省略することもできる。この場合、合成映像データ生成部２８は、後方映像データに左側方映像データ及び右側方映像データを視点変換することなくそのまま合成する。視点変換処理部２７を省略する場合、左側方映像データ及び右側方映像データに対して歪補正処理を行ってもよい。この場合の歪補正処理とは、左側方カメラ６および右側方カメラ７の撮影画角が広角であることに基づく映像の湾曲に対し、図８に示すように駐車区画線が直線となるような補正である。

（第２〜第４実施形態）
以下、図１０から図１５を参照して、第２〜第４実施形態を説明する。第２〜第４実施形態では、以下の共通する特徴を有している。即ち、例えば図１０に示すように、表示システム１は、後方映像データ、左側方映像データ、及び、右側方映像データのうち少なくとも何れか１つに基づいて、車両２が向かっている駐車区画３を区画する駐車区画線を認識する認識部２５を更に備える。合成映像データ生成部２８は、認識部２５が認識した駐車区画線と車両２との位置関係が所定の位置関係となった場合に、後方映像データに左側方映像データ又は右側方映像データのうち少なくとも何れか一方を合成する。以上の構成によれば、駐車区画線と車両２との位置関係に応じて、合成映像データ生成部２８による合成の有無を切り替えることができる。

以下、第２〜第４実施形態を詳細に説明する。

（第２実施形態）
以下、図１０から図１２を参照して、第２実施形態を説明する。以下、本実施形態が上記第１実施形態と相違する点を中心に説明し、重複する説明は省略する。

＜構成＞
図１０に示すように、本実施形態の映像処理部２２は、更に、認識部２５及び算出部２６を有する。

認識部２５は、図１１に示すように、後方映像データに基づいて、車両２が向かっている駐車区画３を車幅方向で区画する縦向き駐車区画線３５として、左縦向き駐車区画線３５Ｌ及び右縦向き駐車区画線３５Ｒを認識する。左縦向き駐車区画線３５Ｌは、車両２が向かっている駐車区画３の左側を区画する。右縦向き駐車区画線３５Ｒは、車両２が向かっている駐車区画３の右側を区画する。左縦向き駐車区画線３５Ｌ及び右縦向き駐車区画線３５Ｒを認識する方法としては、例えばエッヂ検出などの公知の画像処理方法を採用し得る。また、認識部２５は、左縦向き駐車区画線３５Ｌの遠端部３５ａ及び右縦向き駐車区画線３５Ｒの遠端部３５ａを検出する。遠端部３５ａとは、縦向き駐車区画線３５の長手方向における２つの端部のうち、車両２の後退方向側（進行方向側）の端部である。

算出部２６は、左縦向き駐車区画線３５Ｌと車両２との位置関係、及び、右縦向き駐車区画線３５Ｒと車両２との位置関係を算出する。具体的には、算出部２６は、左縦向き駐車区画線３５Ｌの遠端部３５ａと車両２との間の距離を算出する。また、算出部２６は、右縦向き駐車区画線３５Ｒの遠端部３５ａと車両２との間の距離を算出する。ここで、左縦向き駐車区画線３５Ｌの遠端部３５ａと車両２との間の距離とは、車両２の基準点に対する左縦向き駐車区画線３５Ｌの遠端部３５ａの水平離間距離を意味する。車両２の基準点は、バンパーや後方カメラ５など任意に設定することができる。右縦向き駐車区画線３５Ｒについても同様である。

合成映像データ生成部２８は、左縦向き駐車区画線３５Ｌと車両２との位置関係、及び、右縦向き駐車区画線３５Ｒと車両２との位置関係が所定の位置関係となった場合に、後方映像データに左側方映像データ及び右側方映像データを合成する。具体的には、合成映像データ生成部２８は、左縦向き駐車区画線３５Ｌの遠端部３５ａと車両２との間の距離が所定値未満となり、且つ、右縦向き駐車区画線３５Ｒの遠端部３５ａと車両２との間の距離が所定値未満となった場合に、後方映像データに左側方映像データ及び右側方映像データを合成する。

＜作動＞
本実施形態では、図１２に示すように、舵角非連動線３０を生成するステップ（S130）と、合成映像データを生成するステップ（S160）と、の間に、認識するステップ（S140）と、算出するステップ（S150）と、が挿入される。また、合成映像データを生成するステップ（S160）においては、合成するステップ（S180）に代えて、判定するステップ（S190）、通常表示モードを実行するステップ（S200）、合成表示モードを実行するステップ（S210）が挿入される。

認識するステップ（S140）において、認識部２５は、図１１に示すように、左縦向き駐車区画線３５Ｌ及びその遠端部３５ａを認識する。同様に、認識部２５は、右縦向き駐車区画線３５Ｒ及びその遠端部３５ａを認識する。

算出するステップ（S150）において、算出部２６は、左縦向き駐車区画線３５Ｌの遠端部３５ａと車両２との間の距離を算出する。また、算出部２６は、右縦向き駐車区画線３５Ｒの遠端部３５ａと車両２との間の距離を算出する。

判定するステップ（S190）において、合成映像データ生成部２８は、左縦向き駐車区画線３５Ｌの遠端部３５ａと車両２との間の距離が所定値未満であり、且つ、右縦向き駐車区画線３５Ｒの遠端部３５ａと車両２との間の距離が所定値未満であるか否か判定する（S190）。S190における判定に用いる所定値とは、例えば後方映像データの画素値から算出される、左縦向き駐車区画線３５Ｌの遠端部３５ａまでの距離、または右縦向き駐車区画線３５Ｒの遠端部３５ａまでの距離が、２ｍ未満となったときなどである。または、距離に換算せずに画素数で判断してもよい。さらには、左縦向き駐車区画線３５Ｌの遠端部３５ａまたは右縦向き駐車区画線３５Ｒの遠端部３５ａが後方画像データの下方２分の１の範囲や３分の１の範囲に存在するか否かの判断としてもよい。

S190において偽判定となった場合は（S190:NO）、合成映像データ生成部２８は、通常表示モードを実行する（S200）。通常表示モードにおいて、合成映像データ生成部２８が生成する合成映像データは、後方映像データに舵角非連動線３０は重畳させるものの、後方映像データに左側方映像データや右側方映像データは合成させないものである。一方、S190において真判定となった場合は（S190:YES）、合成映像データ生成部２８は、合成表示モードを実行する（S210）。合成表示モードにおいて、合成映像データ生成部２８が生成する合成映像データは、後方映像データに舵角非連動線３０を重畳させると共に、後方映像データに左側方映像データ及び右側方映像データを合成させたものである。この条件分岐の技術的な意義は以下の通りである。

即ち、車両２が駐車区画３に深く進入する前の段階であれば、表示装置８の表示画面８ａを通じて、運転手は、車両２が向かっている駐車区画３に対する車両２の向きが適切であるか否かを容易に判断することができる。しかしながら、車両２が駐車区画３に深く進入すると、車両２を車幅方向で挟む２つの駐車区画線３５の、表示装置８の表示画面８ａ上で確認できる長さが極めて短くなるので、運転者にとって、駐車区画３に対する車両２の向きが適切であるか否か判断し難くなる。そこで、本実施形態では、判定するステップ（S190）により車両２が駐車区画３に深く進入したか否かを判定し、車両２が駐車区画３に深く進入した場合に、後方映像データに左側方映像データ及び右側方映像データを合成するものとしている。以上の構成によれば、車両２が駐車区画３に深く進入する前の段階における表示装置８の表示内容を簡素にすることができると共に、車両２が駐車区画３に深く進入した段階では運転者が駐車区画３に対する車両２の向きが適切であるか否かを判断し易くなる。

以上に、第２実施形態を説明したが、上記第２実施形態は、以下の特徴を有する。

即ち、認識部２５は、後方映像データに基づいて、車両２が向かっている駐車区画３を車幅方向で区画する駐車区画線を縦向き駐車区画線３５として認識する。縦向き駐車区画線３５は、第一駐車区画線に対応している。合成映像データ生成部２８は、縦向き駐車区画線３５の遠端部３５ａと、車両２と、の間の距離が所定値未満となった場合に（S190:YES）、後方映像データに左側方映像データ及び右側方映像データを合成する（S210）。以上の構成によれば、車両２が駐車区画３に深く進入する前の段階における表示装置８の表示内容を簡素にすることができると共に、車両２が駐車区画３に深く進入した段階では運転者が駐車区画３に対する車両２の向きが適切であるか否かを判断し易くなる。

上記第２実施形態は、以下のように変更できる。

即ち、合成映像データ生成部２８は、後方映像データに左側方映像データ又は前記右側方映像データのうち少なくとも何れか一方のみを合成するようにしてもよい。

また、合成映像データ生成部２８は、左縦向き駐車区画線３５Ｌの遠端部３５ａと車両２との間の距離が所定値未満であり、且つ、右縦向き駐車区画線３５Ｒの遠端部３５ａと車両２との間の距離が所定値未満でない場合、後方映像データに左側方映像データ又は右側方映像データの何れかのみを合成するようにしてもよい。同様に、合成映像データ生成部２８は、左縦向き駐車区画線３５Ｌの遠端部３５ａと車両２との間の距離が所定値未満でなく、且つ、右縦向き駐車区画線３５Ｒの遠端部３５ａと車両２との間の距離が所定値未満である場合、後方映像データに左側方映像データ又は右側方映像データの何れかのみを合成するようにしてもよい。

（第３実施形態）
以下、図１３及び図１４を参照して、第３実施形態を説明する。以下、本実施形態が上記第２実施形態と相違する点を中心に説明し、重複する説明は省略する。図１３には、視点変換された左側方映像データを示している。

＜構成＞
図１３に示すように、認識部２５は、左側方映像データに基づいて、車両２が向かっている駐車区画３を車幅方向で区画する縦向き駐車区画線３５を左縦向き駐車区画線３５Ｌとして認識する。左縦向き駐車区画線３５Ｌは、第二駐車区画線に対応している。

算出部２６は、左縦向き駐車区画線３５Ｌと車両２との位置関係を算出する。具体的には、算出部２６は、左縦向き駐車区画線３５Ｌと、車両２の前後方向３７と、の間の角度θを算出する。なお、算出部２６は、左縦向き駐車区画線３５Ｌと、車両２の前後方向３７と、の間の角度θを算出することに代えて、左縦向き駐車区画線３５Ｌと、左側方映像データの垂直線と、の間の角度を角度θとして算出してもよい。

合成映像データ生成部２８は、角度θが所定値未満となった場合に、後方映像データに左側方映像データ及び右側方映像データを合成する。

＜作動＞
本実施形態では、図１４に示すように、認識するステップ（S140）において、認識部２５は、図１３に示すように、左側方映像データに基づいて、車両２が向かっている駐車区画３を車幅方向で区画する縦向き駐車区画線３５を左縦向き駐車区画線３５Ｌとして認識する。

また、算出するステップ（S150）において、算出部２６は、左縦向き駐車区画線３５Ｌと、車両２の前後方向３７と、の間の角度θを算出する。この角度θは、一般に、車両２が駐車区画３に深く進入すればするほど小さくなっていくものである。

判定するステップ（S190）において、合成映像データ生成部２８は、角度θが所定値未満であるか否か判定する（S190）。S190において偽判定となった場合は（S190:NO）、合成映像データ生成部２８は、通常表示モードを実行する（S200）。一方、S190において真判定となった場合は（S190:YES）、合成映像データ生成部２８は、合成表示モードを実行する（S210）。この条件分岐の技術的な意義は以下の通りである。

即ち、車両２が駐車区画３に深く進入する前の段階であれば、表示装置８の表示画面８ａを通じて、運転手は、車両２が向かっている駐車区画３に対する車両２の向きが適切であるか否かを容易に判断することができる。しかしながら、車両２が駐車区画３に深く進入すると、車両２を車幅方向で挟む２つの駐車区画線３５の、表示装置８の表示画面８ａ上で確認できる長さが極めて短くなるので、運転者にとって、駐車区画３に対する車両２の向きが適切であるか否か判断し難くなる。そこで、本実施形態では、判定するステップ（S190）により車両２が駐車区画３に深く進入したか否かを判定し、車両２が駐車区画３に深く進入した場合に、後方映像データに左側方映像データ及び右側方映像データを合成するものとしている。以上の構成によれば、車両２が駐車区画３に深く進入する前の段階における表示装置８の表示内容を簡素にすることができると共に、車両２が駐車区画３に深く進入した段階では運転者が駐車区画３に対する車両２の向きが適切であるか否かを判断し易くなる。

以上に、第３実施形態を説明したが、上記第３実施形態は、以下の特徴を有する。

認識部２５は、左側方映像データに基づいて、車両２が向かっている駐車区画３を車幅方向で区画する縦向き駐車区画線３５を左縦向き駐車区画線３５Ｌとして認識する。左縦向き駐車区画線３５Ｌは、第二駐車区画線に対応している。合成映像データ生成部２８は、左縦向き駐車区画線３５Ｌと、車両２の前後方向３７と、の間の角度θが所定値未満となった場合に（S190:YES）、後方映像データに左側方映像データ及び右側方映像データを合成する（S210）。以上の構成によれば、車両２が駐車区画３に深く進入する前の段階における表示装置８の表示内容を簡素にすることができると共に、車両２が駐車区画３に深く進入した段階では運転者が駐車区画３に対する車両２の向きが適切であるか否かを判断し易くなる。

上記第３実施形態は、例えば、以下のように変更できる。

認識部２５は、左側方映像データ又は右側方映像データに基づいて、車両２が向かっている駐車区画３を車幅方向で区画する駐車区画線として左縦向き駐車区画線３５Ｌ又は右縦向き駐車区画線３５Ｒを認識し、合成映像データ生成部２８は、左縦向き駐車区画線３５Ｌ又は右縦向き駐車区画線３５Ｒと、車両２の前後方向３７と、の間の角度θが所定値未満となった場合に、後方映像データに左側方映像データ又は右側方映像データのうち少なくとも何れか一方を合成するようにしてもよい。

（第４実施形態）
以下、図１５を参照して、第４実施形態を説明する。以下、本実施形態が上記第２実施形態と相違する点を中心に説明し、重複する説明は省略する。図１５には、視点変換された左側方映像データを示している。

＜構成＞
図１３に示すように、認識部２５は、左側方映像データに基づいて、車両２が向かっている駐車区画３を車幅方向で区画する縦向き駐車区画線３５を左縦向き駐車区画線３５Ｌとして認識する。左縦向き駐車区画線３５Ｌは、第二駐車区画線に対応している。また、認識部２５は、左縦向き駐車区画線３５Ｌの遠端部３５ａを検出する。

算出部２６は、左縦向き駐車区画線３５Ｌと車両２との位置関係を算出する。具体的には、算出部２６は、左縦向き駐車区画線３５Ｌの遠端部３５ａと車両２との間の距離を算出する。

合成映像データ生成部２８は、左縦向き駐車区画線３５Ｌと車両２との位置関係が所定の位置関係となった場合に、後方映像データに左側方映像データ及び右側方映像データを合成する。具体的には、合成映像データ生成部２８は、左縦向き駐車区画線３５Ｌの遠端部３５ａと車両２との間の距離が所定値未満となった場合に、後方映像データに左側方映像データ及び右側方映像データを合成する。

＜作動＞
本実施形態の制御フローについては、上記第２実施形態の図１２に記載のものと同一であるから、以下、図１２を適宜参照されたい。

認識するステップ（S140）において、認識部２５は、図１５に示すように、左側方映像データに基づいて、車両２が向かっている駐車区画３を車幅方向で区画する縦向き駐車区画線３５を左縦向き駐車区画線３５Ｌとして認識する。また、認識部２５は、左縦向き駐車区画線３５Ｌの遠端部３５ａを検出する。

また、算出するステップ（S150）において、算出部２６は、左縦向き駐車区画線３５Ｌの遠端部３５ａと車両２との間の距離を算出する。

判定するステップ（S190）において、合成映像データ生成部２８は、左縦向き駐車区画線３５Ｌの遠端部３５ａと車両２との間の距離が所定値未満であるか否か判定する（S190）。S190において偽判定となった場合は（S190:NO）、合成映像データ生成部２８は、通常表示モードを実行する（S200）。一方、S190において真判定となった場合は（S190:YES）、合成映像データ生成部２８は、合成表示モードを実行する（S210）。この条件分岐の技術的な意義は第２実施形態で説明した通りである。

以上に、第４実施形態を説明したが、上記第４実施形態は、以下の特徴を有する。

認識部２５は、左側方映像データに基づいて、車両２が向かっている駐車区画３を車幅方向で区画する縦向き駐車区画線３５を左縦向き駐車区画線３５Ｌとして認識する。左縦向き駐車区画線３５Ｌは、第二駐車区画線に対応している。合成映像データ生成部２８は、左縦向き駐車区画線３５Ｌの遠端部３５ａと、車両２と、の間の距離が所定値未満となった場合に（S190:YES）、後方映像データに左側方映像データ及び右側方映像データを合成する（S210）。以上の構成によれば、車両２が駐車区画３に深く進入する前の段階における表示装置８の表示内容を簡素にすることができると共に、車両２が駐車区画３に深く進入した段階では運転者が駐車区画３に対する車両２の向きが適切であるか否かを判断し易くなる。

上記第４実施形態は、以下のように変更できる。

認識部２５は、左側方映像データ又は右側方映像データに基づいて、車両２が向かっている駐車区画３を車幅方向で区画する駐車区画線として左縦向き駐車区画線３５Ｌ又は右縦向き駐車区画線３５Ｒを認識し、合成映像データ生成部２８は、左縦向き駐車区画線３５Ｌ又は右縦向き駐車区画線３５Ｒの遠端部３５ａと、車両２と、の間の距離が所定値未満となった場合に、後方映像データに左側方映像データ又は右側方映像データのうち少なくとも何れか一方を合成するようにしてもよい。

上記第３実施形態から第４実施形態は、以下のように変更できる。

即ち、視点変換処理部２７を省略した上で、認識部２５は、左側方映像データに基づいて、車両２の駐車区画３の左側を区画する駐車区画線を左縦向き駐車区画線３５Ｌとして認識し、合成映像データ生成部２８は、左縦向き駐車区画線３５Ｌが表示装置８の表示画面８ａ上で直線として表示されるように左側方映像データに歪補正を行った上で、後方映像データに左側方映像データを合成するようにしてもよい。なお、左縦向き駐車区画線３５Ｌは、第二駐車区画線に対応している。

同様に、視点変換処理部２７を省略した上で、認識部２５は、右側方映像データに基づいて、車両２の駐車区画３の右側を区画する駐車区画線を右縦向き駐車区画線３５Ｒとして認識し、合成映像データ生成部２８は、右縦向き駐車区画線３５Ｒが表示装置８の表示画面８ａ上で直線として表示されるように右側方映像データに歪補正を行った上で、後方映像データに右側方映像データを合成するようにしてもよい。

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

また、第１実施形態、第２実施形態、第３実施形態、第４実施形態は、相互に組み合わせて実施することができる。特に、第２実施形態と第３実施形態を組みあせたり、第２実施形態と第４実施形態を組み合わせたりすることができる。

１ 表示システム
２ 車両
２ａ 前端
２ｂ 後端
２ｃ 左端
２ｄ 右端
２Ｐ 進行方向
２Ｑ 進行方向
３ 駐車区画
４ 前方カメラ
４ａ 画角
４ｂ 撮像範囲
５ 後方カメラ
５ａ 画角
５ｂ 撮像範囲
６ 左側方カメラ
６ａ 画角
６ｂ 撮像範囲
７ 右側方カメラ
７ａ 画角
７ｂ 撮像範囲
８ 表示装置
８ａ 表示画面
９ 表示制御装置
１０ 左サイドミラー
１１ 右サイドミラー
２０ 車両情報取得部
２０ａ 後退情報取得部
２０ｂ 舵角情報取得部
２１ 映像データ取得部
２２ 映像処理部
２３ 表示制御部
２４ 予想軌跡線生成部
２５ 認識部
２６ 算出部
２７ 視点変換処理部
２８ 合成映像データ生成部
３０ 舵角非連動線
３０ａ 縦線
３０ｂ 横線
３１ 舵角連動線
３１ａ 縦線
３１ｂ 横線
３５ 縦向き駐車区画線
３５ａ 遠端部
３５Ｌ 左縦向き駐車区画線
３５Ｒ 右縦向き駐車区画線
３６ 横向き駐車区画線
３７ 前後方向
４０ 後方映像データ
４０Ｌ 左側領域
４０Ｒ 右側領域
４１Ｌ 左側方映像データ
４１Ｒ 右側方映像データ
４２ 合成映像データ
４３ 部分
θ 角度

Claims (12)

1. 車両の進行方向を撮影した映像に対応する進行方向映像データ、前記車両の左側方を撮影した映像に対応する左側方映像データ、および、前記車両の右側方を撮影した映像に対応する右側方映像データを取得する映像データ取得部と、
   前記車両の進行方向において前記車両が進行することが予想される予想軌跡線を生成する予想軌跡線生成部と、
   前記進行方向映像データに前記予想軌跡線を重畳させると共に、前記進行方向映像データに前記左側方映像データ又は前記右側方映像データのうち少なくとも何れか一方を合成した合成映像データを生成する、合成映像データ生成部と、
   前記合成映像データを表示装置に出力する表示制御部と、
   を備えることを特徴とする表示制御装置。
2. 前記進行方向映像データ、前記左側方映像データ、及び、前記右側方映像データのうち少なくとも何れか１つに基づいて、前記車両が向かっている駐車区画を区画する駐車区画線を認識する認識部を更に備え、
   前記合成映像データ生成部は、前記駐車区画線と前記車両との位置関係が所定の位置関係となった場合に、前記進行方向映像データに前記左側方映像データ又は前記右側方映像データのうち少なくとも何れか一方を合成する、
   請求項１に記載の表示制御装置。
3. 前記認識部は、前記進行方向映像データに基づいて、前記車両が向かっている前記駐車区画を車幅方向で区画する駐車区画線を第一駐車区画線として認識し、
   前記合成映像データ生成部は、前記第一駐車区画線の遠端部と、前記車両と、の間の距離が所定値未満となった場合に、前記進行方向映像データに前記左側方映像データ又は前記右側方映像データのうち少なくとも何れか一方を合成する、
   請求項２に記載の表示制御装置。
4. 前記認識部は、前記左側方映像データ又は前記右側方映像データに基づいて、前記車両が向かっている前記駐車区画を車幅方向で区画する駐車区画線を第二駐車区画線として認識し、
   前記合成映像データ生成部は、前記第二駐車区画線と、前記車両の前後方向と、の間の角度が所定値未満となった場合に、前記進行方向映像データに前記左側方映像データ又は前記右側方映像データのうち少なくとも何れか一方を合成する、
   請求項２または３に記載の表示制御装置。
5. 前記認識部は、前記左側方映像データ又は前記右側方映像データに基づいて、前記車両が向かっている前記駐車区画を車幅方向で区画する駐車区画線を第二駐車区画線として認識し、
   前記合成映像データ生成部は、前記第二駐車区画線の遠端部と、前記車両と、の間の距離が所定値未満となった場合に、前記進行方向映像データに前記左側方映像データ又は前記右側方映像データのうち少なくとも何れか一方を合成する、
   請求項２または３に記載の表示制御装置。
6. 前記認識部は、前記左側方映像データに基づいて、前記車両が向かっている前記駐車区画の左側を区画する駐車区画線を第二駐車区画線として認識し、
   前記合成映像データ生成部は、前記第二駐車区画線が前記表示装置の表示画面上で直線として表示されるように前記左側方映像データに歪補正を行った上で、前記進行方向映像データに前記左側方映像データを合成し、
   又は、
   前記認識部は、前記右側方映像データに基づいて、前記車両が向かっている前記駐車区画の右側を区画する駐車区画線を第二駐車区画線として認識し、
   前記合成映像データ生成部は、前記第二駐車区画線が前記表示装置の表示画面上で直線として表示されるように前記右側方映像データに歪補正を行った上で、前記進行方向映像データに前記右側方映像データを合成する、
   請求項２または３に記載の表示制御装置。
7. 前記合成映像データ生成部は、前記進行方向映像データの中の左側領域又は右側領域の少なくとも何れか一方に、前記左側方映像データ又は前記右側方映像データのうち少なくとも何れか一方を合成し、
   又は、
   前記合成映像データ生成部は、前記進行方向映像データよりも左側又は右側の領域の少なくとも何れか一方に、前記左側方映像データ又は前記右側方映像データのうち少なくとも何れか一方を合成する、
   請求項１から請求項６の何れか１項に記載の表示制御装置。
8. 前記合成映像データ生成部は、前記進行方向映像データにおける前記車両の進行方向と、前記左側方映像データ又は前記右側方映像データのうち少なくとも何れか一方における前記車両の進行方向と、が一致するように、前記進行方向映像データに前記左側方映像データ又は前記右側方映像データのうち少なくとも何れか一方を合成する、
   請求項７に記載の表示制御装置。
9. 前記左側方映像データ又は前記右側方映像データのうち少なくとも何れか一方に対して前記車両を真上から見るような視点変換処理を行う視点変換処理部を更に備え、
   前記合成映像データ生成部は、前記進行方向映像データに前記視点変換処理された前記左側方映像データ又は前記右側方映像データのうち少なくとも何れか一方を合成する、
   請求項１から請求項８の何れか１項に記載の表示制御装置。
10. 請求項１から請求項９の何れか１項に記載の前記表示制御装置と、
    前記車両の進行方向を撮影する進行方向カメラと、前記車両の左側方を撮影する左側方カメラと、前記車両の右側方を撮影する右側方カメラと、前記表示装置と、のうち少なくとも何れかと、
    を備える表示システム。
11. 車両の進行方向を撮影した映像に対応する進行方向映像データ、前記車両の左側方を撮影した映像に対応する左側方映像データ、および、前記車両の右側方を撮影した映像に対応する右側方映像データを取得する映像データ取得ステップと、
    前記車両の進行方向において前記車両が進行することが予想される予想軌跡線を生成する予想軌跡線生成ステップと、
    前記進行方向映像データに前記予想軌跡線を重畳させると共に、前記進行方向映像データに前記左側方映像データ又は前記右側方映像データのうち少なくとも何れか一方を合成した合成映像データを生成する、合成映像データ生成ステップと、
    前記合成映像データを表示装置に出力する表示制御ステップと、
    を含む、
    表示制御方法。
12. 車両の進行方向を撮影した映像に対応する進行方向映像データ、前記車両の左側方を撮影した映像に対応する左側方映像データ、および、前記車両の右側方を撮影した映像に対応する右側方映像データを取得する映像データ取得ステップと、
    前記車両の進行方向において前記車両が進行することが予想される予想軌跡線を生成する予想軌跡線生成ステップと、
    前記進行方向映像データに前記予想軌跡線を重畳させると共に、前記進行方向映像データに前記左側方映像データ又は前記右側方映像データのうち少なくとも何れか一方を合成した合成映像データを生成する、合成映像データ生成ステップと、
    前記合成映像データを表示装置に出力する表示制御ステップと、
    をコンピュータに実行させるプログラム。

Images