JP2018050180A - 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム - Google Patents

Abstract

【課題】運転者の視線の移動を抑制し、車両周辺の障害物を適切に確認可能とする。【解決手段】車両の前後左右を撮影する複数のカメラからの周辺映像を取得する映像取得部４２と、車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得部４３と、映像取得部４２が取得した周辺映像に視点変換処理を行い車両の上方から見たような俯瞰映像を生成し、生成した俯瞰映像の中央部に、障害物情報取得部４３が障害物を検出した方向に対応するカメラからの周辺映像を合成した俯瞰映像を生成する映像生成部４５と、映像生成部４５が生成した俯瞰映像を表示パネル３１に表示させる表示制御部４８と、を有する。【選択図】図１

Description

本発明は、俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラムに関する。

車両の俯瞰映像を表示する、ナビゲーション装置などの車載装置の表示パネルは、横長形状であることが多い。このため、縦長形状の俯瞰映像は、表示パネルの全面に表示されない。そこで、自車両に近接する障害物を検出した場合、車両の俯瞰映像と、障害物の方向を撮像した映像とを並べて表示する技術が知られている（例えば、特許文献１参照）。

特開２０１１−２５１６８１号公報

この技術では、障害物を検出した場合、運転者は、俯瞰映像と障害物の検出方向の映像とを視線を移動し確認することになる。

本発明は、上記に鑑みてなされたものであって、運転者の視線の移動を抑制し、車両周辺の障害物を適切に確認可能とすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る俯瞰映像生成装置は、車両の前後左右を撮影する複数のカメラからの周辺映像を取得する映像取得部と、前記車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得部と、前記映像取得部が取得した周辺映像に視点変換処理を行い前記車両の上方から見たような俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記障害物情報取得部が障害物を検出した方向に対応する前記カメラからの周辺映像を合成した俯瞰映像を生成する映像生成部と、前記映像生成部が生成した俯瞰映像を表示部に表示させる表示制御部と、を有することを特徴とする。

本発明に係る俯瞰映像生成システムは、上記の俯瞰映像生成装置と、前記カメラと、前記車両の周辺において障害物を検出し前記障害物情報取得部に障害物情報を供給する障害物検出部と、前記表示部との少なくともいずれかとを備える。

本発明に係る俯瞰映像生成方法は、車両の前後左右を撮影する複数のカメラからの周辺映像を取得する映像取得ステップと、前記車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得ステップと、前記映像取得ステップで取得した周辺映像に視点変換処理を行い前記車両の上方から見たような俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記障害物情報取得ステップで障害物を検出した方向に対応する前記カメラからの周辺映像を合成した俯瞰映像を生成する映像生成ステップと、前記映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップとを含む。

本発明に係るプログラムは、車両の前後左右を撮影する複数のカメラからの周辺映像を取得する映像取得ステップと、前記車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得ステップと、前記映像取得ステップで取得した周辺映像に視点変換処理を行い前記車両の上方から見たような俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記障害物情報取得ステップで障害物を検出した方向に対応する前記カメラからの周辺映像を合成した俯瞰映像を生成する映像生成ステップと、前記映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップを俯瞰映像生成装置として動作するコンピュータに実行させる。

本発明によれば、運転者の視線の移動を抑制し、車両周辺の障害物を適切に確認可能とすることができるという効果を奏する。

図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。 図２は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を表示した表示パネルを示す図である。 図３は、第一実施形態に係る俯瞰映像生成システムで生成した、横長形状の俯瞰映像を表示した表示パネルを示す図である。 図４は、第一実施形態に係る俯瞰映像生成システムにおける、横長形状の俯瞰映像の生成方法を説明する図である。 図５は、図４の俯瞰映像から生成した、横長形状とした俯瞰映像の一例を示す図である。 図６は、第一実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。 図７は、第二実施形態に係る俯瞰映像生成システムにおける、横長形状の俯瞰映像の生成方法を説明する図である。 図８は、図７の俯瞰映像から生成した、横長形状とした俯瞰映像の一例を示す図である。 図９は、第三実施形態に係る俯瞰映像生成システムにおける、横長形状の俯瞰映像の生成方法を説明する図である。 図１０は、図９の俯瞰映像から生成した、横長形状とした俯瞰映像の一例を示す図である。 図１１は、第四実施形態に係る俯瞰映像生成システムにおける、横長形状の俯瞰映像の生成方法を説明する図である。 図１２は、図１１の俯瞰映像から生成した、横長形状とした俯瞰映像の一例を示す図である。 図１３は、第五実施形態に係る俯瞰映像生成システムにおける、横長形状の俯瞰映像の生成方法を説明する図である。 図１４は、図１３の俯瞰映像から生成した、横長形状とした俯瞰映像の一例を示す図である。 図１５は、俯瞰映像生成システムにおける、横長形状の俯瞰映像の生成方法の他の例を説明する図である。 図１６は、図１５の俯瞰映像から生成した、横長形状とした俯瞰映像の一例を示す図である。

以下に添付図面を参照して、本発明に係る俯瞰映像生成装置４０、俯瞰映像生成システム１、俯瞰映像生成方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

［第一実施形態］
図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。俯瞰映像生成システム１は、車両に搭載されている。俯瞰映像生成システム１は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。

図１を用いて、俯瞰映像生成システム１について説明する。俯瞰映像生成システム１は、前方カメラ１１と、後方カメラ１２と、左側方カメラ１３と、右側方カメラ１４と、前方センサ（障害物検出部）２１と、後方センサ（障害物検出部）２２と、左側方センサ（障害物検出部）２３と、右側方センサ（障害物検出部）２４と、表示パネル３１と、俯瞰映像生成装置４０とを有する。

前方カメラ１１は、車両の前方に配置され、車両の前方を中心とした周辺を撮影する。前方カメラ１１は、撮影した映像を俯瞰映像生成装置４０の映像取得部４２へ出力する。

後方カメラ１２は、車両の後方に配置され、車両の後方を中心とした周辺を撮影する。後方カメラ１２は、撮影した映像を俯瞰映像生成装置４０の映像取得部４２へ出力する。

左側方カメラ１３は、車両の左側方に配置され、車両の左側方を中心とした周辺を撮影する。左側方カメラ１３は、撮影した映像を俯瞰映像生成装置４０の映像取得部４２へ出力する。

右側方カメラ１４は、車両の右側方に配置され、車両の右側方を中心とした周辺を撮影する。右側方カメラ１４は、撮影した映像を俯瞰映像生成装置４０の映像取得部４２へ出力する。

このような前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで、車両の全方位を撮影する。

前方センサ２１は、車両の前方に配置され、車両の前方における障害物を検出する。前方センサ２１は、例えば、赤外線センサまたは超音波センサである。前方センサ２１は、車両と接触するおそれがある、地上から高さを有するものを検出する。前方センサ２１は、例えば、車両から５ｍ程度までの距離の障害物を検出する。前方センサ２１は、鉛直方向視において、センサの中央部を中心とした、例えば、３０°程度の範囲の障害物を検出する。前方センサ２１の検出範囲は、左側方センサ２３および右側方センサ２４の検出範囲の一部と重複していてもよい。前方センサ２１は、複数のセンサの組み合わせで構成されていてもよい。前方センサ２１は、検出した障害物の障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。

後方センサ２２は、車両の後方に配置され、車両の後方における障害物を検出する。後方センサ２２は、例えば、赤外線センサまたは超音波センサである。後方センサ２２は、車両と接触するおそれがある、地上から高さを有するものを検出する。後方センサ２２は、例えば、車両から５ｍ程度までの距離の障害物を検出する。後方センサ２２は、鉛直方向視において、センサの中央部を中心とした、例えば、３０°程度の範囲の障害物を検出する。後方センサ２２の検出範囲は、左側方センサ２３および右側方センサ２４の検出範囲の一部と重複していてもよい。後方センサ２２は、複数のセンサの組み合わせで構成されていてもよい。後方センサ２２は、検出した障害物の障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。

左側方センサ２３は、車両の左側方に配置され、車両の左側方における障害物を検出する。左側方センサ２３は、例えば、赤外線センサまたは超音波センサである。左側方センサ２３は、車両と接触するおそれがある、地上から高さを有するものを検出する。左側方センサ２３は、例えば、車両から５ｍ程度までの距離の障害物を検出する。左側方センサ２３は、鉛直方向視において、センサの中央部を中心とした、例えば、３０°程度の範囲の障害物を検出する。左側方センサ２３の検出範囲は、前方センサ２１および後方センサ２２の検出範囲の一部と重複していてもよい。左側方センサ２３は、複数のセンサの組み合わせで構成されていてもよい。左側方センサ２３は、検出した障害物の障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。

右側方センサ２４は、車両の右側方に配置され、車両の右側方における障害物を検出する。右側方センサ２４は、例えば、赤外線センサまたは超音波センサである。右側方センサ２４は、車両と接触するおそれがある、地上から高さを有するものを検出する。右側方センサ２４は、例えば、車両から５ｍ程度までの距離の障害物を検出する。右側方センサ２４は、鉛直方向視において、センサの中央部を中心とした、例えば、３０°程度の範囲の障害物を検出する。右側方センサ２４の検出範囲は、前方センサ２１および後方センサ２２の検出範囲の一部と重複していてもよい。右側方センサ２４は、複数のセンサの組み合わせで構成されていてもよい。右側方センサ２４は、検出した障害物の障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。

表示パネル３１は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを含むディスプレイである。表示パネル３１は、俯瞰映像生成システム１の俯瞰映像生成装置４０から出力された映像信号に基づいて、俯瞰映像１００、俯瞰映像２００を表示する。表示パネル３１は、俯瞰映像生成システム１に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。表示パネル３１は、運転者から視認容易な位置に配置されている。

表示パネル３１は、横長形状の矩形状である。表示パネル３１には、図２に示すような、縦長形状の俯瞰映像１００、または、図３に示すような、横長形状とした俯瞰映像２００が表示される。横長形状とした俯瞰映像２００とは、表示パネル３１の表示面の縦横比に合わせた横長の矩形状の俯瞰映像である。

俯瞰映像生成装置４０は、制御部４１と、記憶部４９とを有する。

制御部４１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置である。制御部４１は、記憶部４９に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部４１は、映像取得部４２と、障害物情報取得部４３と、車両情報取得部４４と、映像生成部４５と、表示制御部４８とを有する。

映像取得部４２は、車両の周辺を撮影した周辺映像を取得する。より詳しくは、映像取得部４２は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とが出力した映像を取得する。映像取得部４２は、取得した映像を映像生成部４５に出力する。

障害物情報取得部４３は、車両の周辺において検出した障害物の障害物情報を取得する。より詳しくは、障害物情報取得部４３は、前方センサ２１と後方センサ２２と左側方センサ２３と右側方センサ２４とが出力した障害物情報を取得する。本実施形態では、障害物情報取得部４３は、検出した障害物までの距離を含む障害物情報を取得する。障害物情報取得部４３は、取得した障害物情報を映像生成部４５に出力する。

車両情報取得部４４は、車両のギア操作情報など、俯瞰映像を表示させるためのトリガとなる車両情報を、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）や車両の状態をセンシングする各種センサなどから取得する。車両情報取得部４４は、取得した車両情報を映像生成部４５に出力する。

映像生成部４５は、俯瞰映像１００、俯瞰映像２００を生成する。映像生成部４５は、俯瞰映像生成部４６と、映像合成部４７とを有する。

俯瞰映像生成部４６は、映像取得部４２で取得した周辺映像から車両を上方から見下ろすように視点変換処理を行った俯瞰映像１００を生成する。より詳しくは、俯瞰映像生成部４６は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで撮影した周辺映像に基づいて、俯瞰映像１００を生成する。俯瞰映像１００を生成する方法は、公知のいずれの方法でもよく、限定されない。俯瞰映像生成部４６は、生成した俯瞰映像１００を表示制御部４８に出力する。

図２を用いて、俯瞰映像１００について説明する。図２は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を表示した表示パネルを示す図である。俯瞰映像１００は、縦長の矩形状である。俯瞰映像１００は、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４とを含む。前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４とで囲まれた範囲を、俯瞰映像１００の中央部という。俯瞰映像１００の中央部は、俯瞰映像１００における車両の位置である。前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４と、俯瞰映像１００の中央部とは、枠状の境界線１１０で区切られていてもよい。

図２においては、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４との境界を示す斜めの破線を説明のために図示しているが、実際に表示パネル３１に表示される俯瞰映像１００には当該破線は表示されても表示されなくともよい。他の図も同様である。

俯瞰映像生成部４６は、障害物情報取得部４３で取得した障害物情報に基づいて、障害物を検出した方向が車両の前方または後方である場合、生成した俯瞰映像１００の表示向きを変えずに横長形状とした俯瞰映像２００を生成する。

表示向きを変えないとは、俯瞰映像１００の縦方向および俯瞰映像２００の縦方向を、車両の前後方向に合せた状態を保つことをいう。言い換えると、表示向きを変えないとは、横長形状とした俯瞰映像２００において、上側に前方映像２０１が配置され、下側に後方映像２０２が配置され、左側に左側方映像２０３が配置され、右側に右側方映像２０４が配置された状態を保つことをいう。表示向きを変えないことで、俯瞰映像２００の縦方向と車両の前後方向とが一致しているため、横長形状とした俯瞰映像２００の認識性を保つことができる。

図３を用いて、俯瞰映像２００について説明する。図３は、第一実施形態に係る俯瞰映像生成システムで生成した、横長形状の俯瞰映像を表示した表示パネルを示す図である。俯瞰映像２００は、前方映像２０１と後方映像２０２と左側方映像２０３と右側方映像２０４とを含む。前方映像２０１と後方映像２０２と左側方映像２０３と右側方映像２０４とで囲まれた範囲を、俯瞰映像２００の中央部という。俯瞰映像２００の中央部は、俯瞰映像２００における車両の位置である。前方映像２０１と後方映像２０２と左側方映像２０３と右側方映像２０４と、俯瞰映像２００の中央部とは、枠状の境界線２１０で区切られていてもよい。

図４、図５を用いて、俯瞰映像生成部４６で、横長形状とした俯瞰映像２００を生成する方法について説明する。図４は、第一実施形態に係る俯瞰映像生成システムにおける、横長形状の俯瞰映像の生成方法を説明する図である。図５は、図４の俯瞰映像から生成した、横長形状とした俯瞰映像の一例を示す図である。

図４においては、切出範囲Ａ１と切出範囲Ａ２と切出範囲Ａ３と切出範囲Ａ４とを示す実線を説明のために図示しているが、実際に表示パネル３１に表示される俯瞰映像１００には当該実線は表示されない。他の図も同様である。

本実施形態では、俯瞰映像生成部４６は、前方カメラ１１または後方カメラ１２からの周辺映像の一部を縦横比を固定して拡大し、横長形状とした俯瞰映像２００を生成する。より詳しくは、俯瞰映像生成部４６は、生成した縦長形状の俯瞰映像１００から、前方映像１０１の一部と後方映像１０２の一部とを縦横比を固定して拡大し、横長形状とした俯瞰映像２００を生成する。

俯瞰映像生成部４６は、俯瞰映像１００の切出範囲Ａ１と切出範囲Ａ２と切出範囲Ａ３と切出範囲Ａ４とから、横長形状とした俯瞰映像２００を生成する。より詳しくは、俯瞰映像生成部４６は、俯瞰映像１００の切出範囲Ａ１と切出範囲Ａ２との縦横比を固定して拡大し、表示パネル３１の表示面の縦横比に合わせた横長形状とした俯瞰映像２００を生成する。

切出範囲Ａ１は、運転者が確認を必要とする車両の前方の範囲を含む矩形状の範囲である。切出範囲Ａ１は、俯瞰映像１００の前方映像１０１の一部と、左側方映像１０３の一部と、右側方映像１０４の一部とを含む。切出範囲Ａ１は、前方映像１０１と左側方映像１０３との境界および前方映像１０１と右側方映像１０４との境界を含む。本実施形態では、切出範囲Ａ１は、車両の前端部から数１０ｃｍ程度前方までを含む。本実施形態では、切出範囲Ａ１は、車両の左側端部から数１０ｃｍ程度左側方までを含む。本実施形態では、切出範囲Ａ１は、車両の右側端部から数１０ｃｍ程度右側方までを含む。

切出範囲Ａ２は、運転者が確認を必要とする車両の後方の範囲を含む矩形状の範囲である。切出範囲Ａ２は、俯瞰映像１００の後方映像１０２の一部と、左側方映像１０３の一部と、右側方映像１０４の一部とを含む。切出範囲Ａ２は、後方映像１０２と左側方映像１０３との境界および後方映像１０２と右側方映像１０４との境界を含む。本実施形態では、切出範囲Ａ２は、車両の後端部から数１０ｃｍ程度後方までを含む。本実施形態では、切出範囲Ａ２は、車両の左側端部から数１０ｃｍ程度左側方までを含む。本実施形態では、切出範囲Ａ２は、車両の右側端部から数１０ｃｍ程度右側方までを含む。本実施形態では、切出範囲Ａ２は、切出範囲Ａ１と同一形状、同一面積を有する。

切出範囲Ａ３は、俯瞰映像１００の切出範囲Ａ１と切出範囲Ａ２との間に位置する矩形状の範囲である。本実施形態では、切出範囲Ａ３は、車両の左側端部から数１０ｃｍ程度左側方までを含む。切出範囲Ａ３の左側端部は、切出範囲Ａ１の左側端部と切出範囲Ａ２の左側端部と同一直線上に位置する。

切出範囲Ａ４は、俯瞰映像１００の切出範囲Ａ１と切出範囲Ａ２との間に位置する矩形状の範囲である。本実施形態では、切出範囲Ａ４は、車両の右側端部から数１０ｃｍ程度右側方までを含む。切出範囲Ａ４の右側端部は、切出範囲Ａ１の右側端部と切出範囲Ａ２の右側端部と同一直線上に位置する。本実施形態では、切出範囲Ａ４は、切出範囲Ａ３と同一形状、同一面積を有する。

このような俯瞰映像１００から生成された、横長形状とした俯瞰映像２００は、切出範囲Ａ１の映像２１１と、切出範囲Ａ２の映像２１２と、切出範囲Ａ３の映像２１３と、切出範囲Ａ４の映像２１４とを含む。

映像２１１は、俯瞰映像１００の切出範囲Ａ１の映像を、縦横比を固定し、横幅が表示パネル３１の横幅と同じ幅になるまで拡大した映像である。図５において、映像２１１に表示された樹木の映像は、図４に示す俯瞰映像１００の切出範囲Ａ１に表示された樹木の映像を、縦横比を固定し拡大した映像になっている。

映像２１２は、俯瞰映像１００の切出範囲Ａ２の映像を、縦横比を固定し、横幅が表示パネル３１の横幅と同じ幅になるまで拡大した映像である。図５において、映像２１２に表示された樹木の映像は、図４に示す俯瞰映像１００の切出範囲Ａ２に表示された樹木の映像を、縦横比を固定し拡大した映像になっている。

映像２１３は、俯瞰映像１００の切出範囲Ａ３の映像を、映像２１１と映像２１２との境界が滑らかに連続するように、表示パネル３１に合わせて大きさと形状とを変えた映像である。例えば、映像２１３は、俯瞰映像１００の切出範囲Ａ３の映像を、縦方向に圧縮し、横方向に拡大した映像でもよい。

映像２１４は、俯瞰映像１００の切出範囲Ａ４の映像を、映像２１１と映像２１２との境界が滑らかに連続するように、表示パネル３１に合わせて大きさと形状とを変えた映像である。例えば、映像２１４は、俯瞰映像１００の切出範囲Ａ４の映像を、縦方向に圧縮し、横方向に拡大した映像でもよい。

俯瞰映像２００は、前方映像２０１と後方映像２０２と左側方映像２０３と右側方映像２０４とを含む。前方映像２０１は、映像２１１の一部である。後方映像２０２は、映像２１２の一部である。左側方映像２０３は、映像２１１の左下部と映像２１２の左上部と映像２１３とを含む。右側方映像２０４は、映像２１１の右下部と映像２１２の右上部と映像２１４とを含む。

映像合成部４７は、俯瞰映像生成部４６で生成した俯瞰映像１００、俯瞰映像２００の中央部に、障害物情報取得部４３が障害物を検出した方向に対応する、前方カメラ１１または後方カメラ１２または左側方カメラ１３または右側方カメラ１４からの周辺映像を合成した俯瞰映像１００、俯瞰映像２００を生成する。合成する前方カメラ１１または後方カメラ１２または左側方カメラ１３または右側方カメラ１４からの周辺映像は、視点変換前の映像である。映像合成部４７は、生成した俯瞰映像１００、俯瞰映像２００を表示制御部４８に出力する。

本実施形態では、映像合成部４７は、障害物情報取得部４３が障害物を検出した方向が車両の左方向または右方向である場合、俯瞰映像１００の中央部に、障害物を検出した方向に対応する左側方カメラ１３または右側方カメラ１４からの縦長形状の周辺映像を合成した俯瞰映像１００を生成する。俯瞰映像１００の中央部に合成される周辺映像は、視点変換処理が行われていない周辺映像である。映像合成部４７は、俯瞰映像１００の境界線１１０の、障害物を検出した方向の線を太くしたり色を変えたりして表示してもよい。

例えば、映像合成部４７は、障害物を検出した方向が左方向である場合、図２に示すように、俯瞰映像１００の中央部に、左側方カメラ１３からの縦長形状の周辺映像１０３Ａを合成する。俯瞰映像１００の後方映像１０２と周辺映像１０３Ａとには、後方の障害物の障害物映像３００が含まれている。俯瞰映像１００の左側の境界線１１０Ａは、太線である。

本実施形態では、映像合成部４７は、障害物情報取得部４３が障害物を検出した方向が車両の前方または後方である場合、横長形状とした俯瞰映像２００の中央部に、障害物を検出した方向に対応する前方カメラ１１または後方カメラ１２からの横長形状の周辺映像を合成した俯瞰映像２００を生成する。俯瞰映像２００の中央部に合成される周辺映像は、視点変換処理が行われていない周辺映像である。映像合成部４７は、俯瞰映像２００の境界線２１０の、障害物を検出した方向の線を太くしたり色を変えたりして表示してもよい。

例えば、映像合成部４７は、障害物を検出した方向が後方である場合、図３に示すように、俯瞰映像２００の中央部に、後方カメラ１２からの横長形状の周辺映像２０２Ａを合成する。俯瞰映像２００の後方映像２０２と周辺映像２０２Ａとには、後方の障害物の障害物映像３００が含まれている。俯瞰映像２００の下側の境界線２１０Ａは、太線である。

表示制御部４８は、映像生成部４５が生成した俯瞰映像１００、俯瞰映像２００を表示パネル３１に表示させる。

記憶部４９は、俯瞰映像生成装置４０における各種処理に要するデータおよび各種処理結果を記憶する。記憶部４９は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。

次に、図６を用いて、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。図６は、第一実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。

制御部４１は、俯瞰映像表示を開始するか否かを判定する（ステップＳ１１）。本実施形態では、制御部４１は、後退トリガの有無に基づいて、俯瞰映像表示を開始するか否かを判定する。後退トリガとは、例えば、シフトポジションが「リバース」とされたことをいう。または、後退トリガとは、車両の進行方向が車両の後方となったことをいう。制御部４１は、後退トリガがない場合、俯瞰映像表示を開始しないと判定し（ステップＳ１１でＮｏ）、ステップＳ１１の処理を再度実行する。制御部４１は、後退トリガがある場合、俯瞰映像表示を開始すると判定し（ステップＳ１１でＹｅｓ）、ステップＳ１２に進む。

制御部４１は、俯瞰映像１００を生成し表示する（ステップＳ１２）。より詳しくは、制御部４１は、俯瞰映像生成部４６で、映像取得部４２で取得した周辺映像から車両を上方から見下ろすように視点変換処理を行った俯瞰映像１００を生成させる。そして、制御部４１は、表示制御部４８で、生成した俯瞰映像１００を表示パネル３１に表示させる。

制御部４１は、障害物を検出したか否かを判定する（ステップＳ１３）。より詳しくは、制御部４１は、障害物情報取得部４３で障害物情報が取得されたか否かを判定する。制御部４１は、障害物情報取得部４３で障害物情報が取得されたと判定した場合（ステップＳ１３でＹｅｓ）、ステップＳ１４に進む。制御部４１は、障害物情報取得部４３で障害物情報が取得されていないと判定した場合（ステップＳ１３でＮｏ）、ステップＳ１７に進む。

本実施形態では、制御部４１は、障害物情報取得部４３で取得した障害物情報に基づいて、車両の進行方向に位置する障害物を検出したか否かを判定する。車両の進行方向に位置するとは、車両の進行につれて車両までの距離が減少する方向に位置することをいい、車両の進行につれて車両に障害物が干渉する範囲を含む。具体的には、制御部４１は、車両の進行につれて車両が進行方向に直進している場合は、車両の進行方向を中心とした範囲の障害物の検出の有無を判定し、車両が操舵しながら進行している場合は、車両の進行方向および操舵によって障害物が車両に干渉する範囲を含めた範囲の障害物の検出の有無を判定する。

制御部４１は、障害物の検出方向が左方向または右方向であるか否かを判定する（ステップＳ１４）。本実施形態では、制御部４１は、障害物情報取得部４３で取得した障害物情報に基づいて、車両までの距離が最小の障害物の検出方向が車両の左方向または右方向であるか否かを判定する。より詳しくは、制御部４１は、障害物情報取得部４３で取得した車両までの距離が最小の障害物の障害物情報が、左側方センサ２３または右側方センサ２４からの障害物情報であるか否かを判定する。

制御部４１は、車両までの距離が最小の障害物の障害物情報が、左側方センサ２３または右側方センサ２４からの障害物情報であると判定した場合（ステップＳ１４でＹｅｓ）、ステップＳ１５に進む。制御部４１は、車両までの距離が最小の障害物の障害物情報が、左側方センサ２３または右側方センサ２４からの障害物情報ではないと判定した場合（ステップＳ１４でＮｏ）、ステップＳ１６に進む。

制御部４１は、俯瞰映像１００の中央部に障害物検出方向の周辺映像を表示した俯瞰映像１００を生成する（ステップＳ１５）。より詳しくは、制御部４１は、映像合成部４７で、俯瞰映像生成部４６が生成した俯瞰映像１００の中央部に、車両までの距離が最小の障害物を検出した方向に対応する、左側方カメラ１３または右側方カメラ１４からの縦長形状の周辺映像を合成した俯瞰映像１００を生成させる。そして、制御部４１は、表示制御部４８で、生成した俯瞰映像１００を表示パネル３１に表示させる。

制御部４１は、横長形状とした俯瞰映像２００の中央部に障害物検出方向の周辺映像を表示した俯瞰映像２００を生成する（ステップＳ１６）。より詳しくは、制御部４１は、俯瞰映像生成部４６で、ステップＳ１２で生成した俯瞰映像１００の表示向きを変えずに横長形状とした俯瞰映像２００を生成させる。そして、制御部４１は、映像合成部４７で、横長形状とした俯瞰映像２００の中央部に、車両までの距離が最小の障害物を検出した方向に対応する前方カメラ１１または後方カメラ１２からの横長形状の周辺映像を合成した俯瞰映像２００を生成させる。そして、制御部４１は、表示制御部４８で、生成した横長形状とした俯瞰映像２００を表示パネル３１に表示させる。

制御部４１は、俯瞰映像表示を継続するか否かを判定する（ステップＳ１７）。より詳しくは、制御部４１は、後退トリガの有無に基づいて、俯瞰映像表示を継続するか否かを判定する。制御部４１は、後退トリガがある場合、俯瞰映像表示を継続すると判定し（ステップＳ１７でＹｅｓ）、ステップＳ１３に戻って処理を継続する。制御部４１は、後退トリガがない場合、言い換えると、後退トリガが解除された場合、俯瞰映像表示を継続しないと判定し（ステップＳ１７でＮｏ）、処理を終了する。

このようにして、俯瞰映像生成システム１は、車両の左方向または右方向に障害物が検出されると、俯瞰映像１００の中央部に、障害物を検出した方向に対応する左側方カメラ１３または右側方カメラ１４からの縦長形状の周辺映像を合成した俯瞰映像１００を生成する。

俯瞰映像生成システム１は、車両の前方向または後方向に障害物が検出されると、横長形状とした俯瞰映像２００の中央部に、障害物を検出した方向に対応する前方カメラ１１または後方カメラ１２からの横長形状の周辺映像を合成した俯瞰映像２００を生成する。

上述したように、本実施形態は、俯瞰映像１００、俯瞰映像２００の中央部に、障害物を検出した方向に対応する周辺映像を合成した俯瞰映像１００、俯瞰映像２００を生成する。これにより、本実施形態は、大きな視線の移動をせずに、俯瞰映像１００、俯瞰映像２００とともに、障害物を検出した方向の周辺映像も確認することができる。このように、本実施形態は、運転者の視線の移動を抑制し、車両周辺の障害物を適切に確認可能にすることができる。

本実施形態は、車両の左方向または右方向に障害物が検出されると、俯瞰映像１００の中央部に、障害物を検出した方向に対応する左側方カメラ１３または右側方カメラ１４からの縦長形状の周辺映像を合成した俯瞰映像１００を生成させる。本実施形態は、車両の前方向または後方向に障害物が検出されると、横長形状とした俯瞰映像２００の中央部に、障害物を検出した方向に対応する前方カメラ１１または後方カメラ１２からの周辺映像を合成した俯瞰映像２００を生成する。このように、本実施形態は、障害物の検出方向によらず、俯瞰映像１００の縦方向および俯瞰映像２００の縦方向と、車両の前後方向とを合せた状態を保つことができる。このため、本実施形態によれば、運転者が俯瞰映像１００または俯瞰映像２００を確認した際に、車両の周辺を容易に確認することができる。

本実施形態は、車両の前方向または後方向に障害物が検出されると、横長形状とした俯瞰映像２００の中央部に、障害物を検出した方向に対応する周辺映像を合成した俯瞰映像２００を生成し、表示パネル３１に表示する。本実施形態は、横長形状とした俯瞰映像２００を、表示パネル３１の表示面の全面に表示することができる。これにより、本実施形態は、車両の前方向または後方向に障害物が検出された場合、俯瞰映像２００の中央部に、周辺映像を大きく表示することができる。

本実施形態は、俯瞰映像２００の映像２１１は、俯瞰映像１００の切出範囲Ａ１の映像と縦横比が同じである。言い換えると、俯瞰映像２００の前方映像２０１は、俯瞰映像１００の切出範囲Ａ１の映像と縦横比が同じである。俯瞰映像２００の映像２１２は、俯瞰映像１００の切出範囲Ａ２の映像と縦横比が同じである。言い換えると、俯瞰映像２００の後方映像２０２は、俯瞰映像１００の切出範囲Ａ２の映像と縦横比が同じである。このように、本実施形態は、俯瞰映像２００の前方映像２０１と後方映像２０２とは、縦横比が変わらず、変形されていない。このため、本実施形態によれば、運転者が俯瞰映像２００の前方映像２０１と後方映像２０２とを違和感なく確認することができる。

［第二実施形態］
図７、図８を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図７は、第二実施形態に係る俯瞰映像生成システムにおける、横長形状の俯瞰映像の生成方法を説明する図である。図８は、図７の俯瞰映像から生成した、横長形状とした俯瞰映像の一例を示す図である。俯瞰映像生成システム１は、基本的な構成は第一実施形態の俯瞰映像生成システム１と同様である。以下の説明においては、俯瞰映像生成システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成部４６で横長形状とした俯瞰映像２００を生成する方法が、第一実施形態の俯瞰映像生成システム１と異なる。

俯瞰映像生成部４６は、障害物情報取得部４３で取得した障害物情報に基づいて、障害物を検出した方向が車両の前方または後方である場合、前方カメラ１１または後方カメラ１２からの周辺映像を縦方向に圧縮し、横長形状とした俯瞰映像２００を生成する。より詳しくは、俯瞰映像生成部４６は、生成した縦長形状の俯瞰映像１００から、前方映像１０１と後方映像１０２とを縦方向に圧縮し、横長形状とした俯瞰映像２００を生成する。

図７に示す切出範囲Ａ１は、俯瞰映像１００の前方映像１０１の縦方向の幅と同じ縦方向の幅を有する。切出範囲Ａ１は、前方映像１０１と左側方映像１０３との境界および前方映像１０１と右側方映像１０４との境界を含む。切出範囲Ａ１は、車両の左側端部から数１０ｃｍ程度左側方までを含む。切出範囲Ａ１は、車両の右側端部から数１０ｃｍ程度右側方までを含む。

切出範囲Ａ２は、俯瞰映像１００の後方映像１０２の縦方向の幅と同じ縦方向の幅を有する。切出範囲Ａ２は、後方映像１０２と左側方映像１０３との境界および後方映像１０２と右側方映像１０４との境界を含む。切出範囲Ａ２は、車両の左側端部から数１０ｃｍ程度左側方までを含む。切出範囲Ａ２は、車両の右側端部から数１０ｃｍ程度右側方までを含む。切出範囲Ａ２は、切出範囲Ａ１と同一形状、同一面積を有する。

切出範囲Ａ３と切出範囲Ａ４とは、第一実施形態と同様である。

俯瞰映像生成部４６は、俯瞰映像１００の切出範囲Ａ１と切出範囲Ａ２とを縦方向に圧縮し、表示パネル３１の表示面の縦横比に合わせた横長形状とした俯瞰映像２００を生成する。

このような俯瞰映像１００から生成された、横長形状とした俯瞰映像２００について説明する。

映像２１１は、俯瞰映像１００の切出範囲Ａ１の映像を、縦方向に圧縮した映像である。図８において、映像２１１に表示された樹木の映像は、図７に示す俯瞰映像１００の切出範囲Ａ１に表示された樹木の映像を、縦方向に圧縮した映像になっている。映像２１１に表示された樹木の映像は、俯瞰映像１００の前方映像１０１に表示された樹木の映像の全体を含んでいる。

映像２１２は、俯瞰映像１００の切出範囲Ａ２の映像を、縦方向に圧縮した映像である。図８において、映像２１２に表示された樹木の映像は、図７に示す俯瞰映像１００の切出範囲Ａ２に表示された樹木の映像を、縦方向に圧縮した映像になっている。映像２１２に表示された樹木の映像は、俯瞰映像１００の後方映像１０２に表示された樹木の映像の全体を含んでいる。

映像２１３と映像２１４とは、第一実施形態と同様である。

上述したように、本実施形態によれば、俯瞰映像２００の映像２１１は、俯瞰映像１００の切出範囲Ａ１の映像を縦方向に圧縮した映像である。俯瞰映像２００の映像２１１は、前方映像１０１の縦方向の全体を含む。本実施形態は、俯瞰映像２００の映像２１２は、俯瞰映像１００の切出範囲Ａ２の映像を縦方向に圧縮した映像である。俯瞰映像２００の映像２１２は、後方映像１０２の縦方向の全体を含む。このため、本実施形態によれば、運転者が俯瞰映像２００で、俯瞰映像１００の前方映像１０１の縦方向と後方映像１０２の縦方向と同じ範囲を確認することができる。

［第三実施形態］
図９、図１０を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図９は、第三実施形態に係る俯瞰映像生成システムにおける、横長形状の俯瞰映像の生成方法を説明する図である。図１０は、図９の俯瞰映像から生成した、横長形状とした俯瞰映像の一例を示す図である。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成部４６で横長形状とした俯瞰映像２００を生成する方法が、第一実施形態の俯瞰映像生成システム１と異なる。

俯瞰映像生成部４６は、障害物情報取得部４３で取得した障害物情報に基づいて、障害物を検出した方向が車両の前方または後方である場合、左側方カメラ１３または右側方カメラ１４からの縦長形状の周辺映像を縦方向に圧縮し、横長形状とした俯瞰映像２００を生成する。より詳しくは、俯瞰映像生成部４６は、生成した俯瞰映像１００の切出範囲Ａ３と切出範囲Ａ４とを縦方向に圧縮して俯瞰映像２００を生成する。

図９に示す切出範囲Ａ３は、俯瞰映像１００の左側方映像１０３の横方向の幅と同じ横方向の幅を有する。切出範囲Ａ３は、左側方映像１０３と前方映像１０１との境界および左側方映像１０３と後方映像１０２との境界を含む。切出範囲Ａ３は、車両の前端部から数ｍ程度前方までを含む。切出範囲Ａ３は、車両の後端部から数ｍ程度後方までを含む。

切出範囲Ａ４は、俯瞰映像１００の右側方映像１０４の横方向の幅と同じ横方向の幅を有する。切出範囲Ａ４は、右側方映像１０４と前方映像１０１との境界および右側方映像１０４と後方映像１０２との境界を含む。切出範囲Ａ４は、車両の前端部から数ｍ程度前方までを含む。切出範囲Ａ４は、車両の後端部から数ｍ程度後方までを含む。切出範囲Ａ４は、切出範囲Ａ３と同一形状、同一面積を有する。

切出範囲Ａ１は、切出範囲Ａ３と切出範囲Ａ４との間に位置する矩形状の範囲である。切出範囲Ａ１は、車両の前端部から数ｍ程度前方までを含む。切出範囲Ａ１の前端部は、切出範囲Ａ３の前端部と切出範囲Ａ４の前端部と同一直線上に位置する。

切出範囲Ａ２は、切出範囲Ａ３と切出範囲Ａ４との間に位置する矩形状の範囲である。切出範囲Ａ２は、車両の前端部から数ｍ程度前方までを含む。切出範囲Ａ２の前端部は、切出範囲Ａ３の前端部と切出範囲Ａ４の前端部と同一直線上に位置する。

俯瞰映像生成部４６は、生成した俯瞰映像１００の切出範囲Ａ１と切出範囲Ａ２とを縦方向に圧縮して、表示パネル３１の表示面の縦横比に合わせた横長形状とした俯瞰映像２００を生成する。

このような俯瞰映像１００から生成された、横長形状とした俯瞰映像２００について説明する。

映像２１３は、俯瞰映像１００の切出範囲Ａ３の映像を、縦方向に圧縮した映像である。図１０において、映像２１３に表示された樹木の映像は、俯瞰映像１００の切出範囲Ａ３に表示された樹木の映像を、縦方向に圧縮した映像になっている。映像２１３に表示された樹木の映像は、俯瞰映像１００の左側方映像１０３に表示された樹木の映像の全体を含んでいる。

映像２１４は、俯瞰映像１００の切出範囲Ａ４の映像を、縦方向に圧縮した映像である。図１０において、映像２１４に表示された樹木の映像は、俯瞰映像１００の切出範囲Ａ４に表示された樹木の映像を、縦方向に圧縮した映像になっている。映像２１４に表示された樹木の映像は、俯瞰映像１００の右側方映像１０４に表示された樹木の映像の全体を含んでいる。

映像２１１は、俯瞰映像１００の切出範囲Ａ１の映像を、映像２１３と映像２１４との境界が滑らかに連続するように、表示パネル３１に合わせて大きさと形状とを変えた映像である。例えば、映像２１１は、俯瞰映像１００の切出範囲Ａ１の映像を、横方向に拡大した映像でもよい。

映像２１２は、俯瞰映像１００の切出範囲Ａ２の映像を、映像２１３と映像２１４との境界が滑らかに連続するように、表示パネル３１に合わせて大きさと形状とを変えた映像である。例えば、映像２１２は、俯瞰映像１００の切出範囲Ａ２の映像を、横方向に拡大した映像でもよい。

上述したように、本実施形態によれば、俯瞰映像２００の映像２１３は、俯瞰映像１００の切出範囲Ａ３の映像を縦方向に圧縮した映像である。俯瞰映像２００の映像２１３は、左側方映像１０３の横方向の全体を含む。本実施形態は、俯瞰映像２００の映像２１４は、俯瞰映像１００の切出範囲Ａ４の映像を縦方向に圧縮した映像である。俯瞰映像２００の映像２１４は、右側方映像１０４の横方向の全体を含む。このため、本実施形態によれば、運転者が俯瞰映像２００で、俯瞰映像１００の左側方映像１０３の横方向と右側方映像１０４の横方向と同じ範囲を確認することができる。

［第四実施形態］
図１１、図１２を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図１１は、第四実施形態に係る俯瞰映像生成システムにおける、横長形状の俯瞰映像の生成方法を説明する図である。図１２は、図１１の俯瞰映像から生成した、横長形状とした俯瞰映像の一例を示す図である。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成部４６で横長形状とした俯瞰映像２００を生成する方法が、第三実施形態の俯瞰映像生成システム１と異なる。

俯瞰映像生成部４６は、障害物情報取得部４３で取得した障害物情報に基づいて、障害物を検出した方向が車両の前方または後方である場合、左側方カメラ１３または右側方カメラ１４からの縦長形状の周辺映像の中央部を除いて上部と下部を合成し、横長形状とした俯瞰映像２００を生成する。

図１１に示す切出範囲Ａ３は、上部Ａ３１と中央部Ａ３２と下部Ａ３３とを含む。上部Ａ３１は、左側方映像１０３と前方映像１０１との境界を含む。下部Ａ３３は、左側方映像１０３と後方映像１０２との境界を含む。

切出範囲Ａ４は、上部Ａ４１と中央部Ａ４２と下部Ａ４３とを含む。上部Ａ４１は、右側方映像１０４と前方映像１０１との境界を含む。下部Ａ４３は、右側方映像１０４と後方映像１０２との境界を含む。切出範囲Ａ４は、切出範囲Ａ３と同一形状、同一面積を有する。

切出範囲Ａ１と切出範囲Ａ２とは、第三実施形態と同様である。

俯瞰映像生成部４６は、生成した俯瞰映像１００の切出範囲Ａ３の上部Ａ３１と下部Ａ３３とを合成し、切出範囲Ａ４の上部Ａ４１と下部Ａ４３とを合成して、表示パネル３１の表示面の縦横比に合わせた横長形状とした俯瞰映像２００を生成する。

このような俯瞰映像１００から生成された、横長形状とした俯瞰映像２００について説明する。

映像２１３は、俯瞰映像１００の切出範囲Ａ３の中央部Ａ３２を除いた、上部Ａ３１と下部Ａ３３とを合成した映像である。図１２において、映像２１３は、図１１に示す俯瞰映像１００の切出範囲Ａ３の中央部Ａ３２に表示された樹木の映像を含まない映像になっている。映像２１３には、俯瞰映像１００の切出範囲Ａ３の中央部Ａ３２が省略されていることを示すため、上部Ａ３１と下部Ａ３３との境界に線を表示してもよい。

映像２１４は、俯瞰映像１００の切出範囲Ａ４の中央部Ａ４２を除いた、上部Ａ４１と下部Ａ４３とを合成した映像である。図１２において、映像２１４は、図１１に示す俯瞰映像１００の切出範囲Ａ４の中央部Ａ４２に表示された樹木の映像を含まない映像になっている。映像２１４には、俯瞰映像１００の切出範囲Ａ４の中央部Ａ４２が省略されていることを示すため、上部Ａ４１と下部Ａ４３との境界に線を表示してもよい。

映像２１１と映像２１２とは、第三実施形態と同様である。

上述したように、本実施形態によれば、俯瞰映像２００の映像２１３は、俯瞰映像１００の切出範囲Ａ３の中央部Ａ３２を除いた上部Ａ３１と下部Ａ３３とを合成している。これにより、俯瞰映像２００の映像２１３は、俯瞰映像１００の左側方映像１０３の前方および後方を大きく表示することができる。俯瞰映像２００の映像２１４は、俯瞰映像１００の切出範囲Ａ４の中央部Ａ４２を除いた上部Ａ４１と下部Ａ４３とを合成している。これにより、俯瞰映像２００の映像２１４は、俯瞰映像１００の右側方映像１０４の前方および後方を大きく表示することができる。

［第五実施形態］
図１３、図１４を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図１３は、第五実施形態に係る俯瞰映像生成システムにおける、横長形状の俯瞰映像の生成方法を説明する図である。図１４は、図１３の俯瞰映像から生成した、横長形状とした俯瞰映像の一例を示す図である。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成部４６で横長形状とした俯瞰映像２００を生成する方法が、第三実施形態の俯瞰映像生成システム１と異なる。

俯瞰映像生成部４６は、障害物情報取得部４３で取得した障害物情報に基づいて、障害物を検出した方向が車両の前方または後方である場合、左側方カメラ１３または右側方カメラ１４からの縦長形状の周辺映像を、障害物を検出した方向に偏重し、横長形状とした俯瞰映像２００を生成する。本実施形態では、障害物を検出した方向は、後方として説明する。

図１３に示す切出範囲Ａ３は、俯瞰映像１００の左側方映像１０３において、障害物の検出方向である後方に偏重した範囲である。切出範囲Ａ３は、俯瞰映像１００の縦方向の中央部から下側を含む。

切出範囲Ａ４は、俯瞰映像１００の右側方映像１０４において、障害物の検出方向である後方に偏重した範囲である。切出範囲Ａ４は、縦方向の中央部から下側を含む。切出範囲Ａ４は、切出範囲Ａ３と同一形状、同一面積を有する。

切出範囲Ａ５は、俯瞰映像１００の切出範囲Ａ３と切出範囲Ａ４との間に位置する矩形状の範囲である。切出範囲Ａ５の上端部は、切出範囲Ａ１の上端部と切出範囲Ａ２の上端部と同一直線上に位置する。切出範囲Ａ５の下端部は、切出範囲Ａ１の下端部と切出範囲Ａ２の下端部と同一直線上に位置する。

俯瞰映像生成部４６は、生成した俯瞰映像１００の切出範囲Ａ３と切出範囲Ａ４と切出範囲Ａ５とから、表示パネル３１の表示面の縦横比に合わせた横長形状とした俯瞰映像２００を生成する。

このような俯瞰映像１００から生成された、横長形状とした俯瞰映像２００について説明する。

映像２１３は、俯瞰映像１００の切出範囲Ａ３の映像である。図１４において、映像２１３に表示された樹木の映像は、図１３に示す俯瞰映像１００の切出範囲Ａ３に表示された樹木の映像の全体を含んでいる。

映像２１４は、俯瞰映像１００の切出範囲Ａ４の映像である。図１４において、映像２１４に表示された樹木の映像は、図１３に示す俯瞰映像１００の切出範囲Ａ４に表示された樹木の映像の全体を含んでいる。

映像２１５は、俯瞰映像１００の切出範囲Ａ５の映像を、映像２１３と映像２１４との境界が滑らかに連続するように、表示パネル３１に合わせて大きさと形状とを変えた映像である。例えば、映像２１５は、俯瞰映像１００の切出範囲Ａ５の映像を、横方向に拡大した映像でもよい。

上述したように、本実施形態は、障害物の検出方向が前方または後方である場合、俯瞰映像１００の左側方映像１０３と右側方映像１０４を障害物の検出方向に偏重し、横長形状とした俯瞰映像２００を生成する。これにより、俯瞰映像２００は、俯瞰映像１００において障害物を検出した方向を大きく表示することができる。

［第六実施形態］
本実施形態に係る俯瞰映像生成システム１について説明する。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成部４６で横長形状とした俯瞰映像２００を生成する方法が、第五実施形態の俯瞰映像生成システム１と異なる。

俯瞰映像生成部４６は、障害物情報取得部４３で取得した障害物情報に基づいて、障害物を検出した方向が車両の前方または後方である場合、左側方カメラ１３または右側方カメラ１４からの縦長形状の周辺映像を車両の進行方向に偏重し、横長形状とした俯瞰映像２００を生成する。

上述したように、本実施形態は、障害物の検出方向が前方または後方である場合、俯瞰映像１００の左側方映像１０３と右側方映像１０４を車両の進行方向に偏重し、横長形状とした俯瞰映像２００を生成する。これにより、俯瞰映像２００は、俯瞰映像１００において車両の進行方向を大きく表示することができる。

さて、これまで本発明に係る俯瞰映像生成システム１について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。

図示した俯瞰映像生成システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

俯瞰映像生成システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

第二実施形態において、俯瞰映像生成部４６は、前方カメラ１１または後方カメラ１２からの周辺映像の中央部を縦方向に圧縮し、横長形状とした俯瞰映像２００を生成してもよい。図１５、図１６を用いて、より詳しく説明する。図１５は、俯瞰映像生成システムにおける、横長形状の俯瞰映像の生成方法の他の例を説明する図である。図１６は、図１５の俯瞰映像から生成した、横長形状とした俯瞰映像の一例を示す図である。俯瞰映像生成部４６は、俯瞰映像１００の左側方映像１０３の中央部の切出範囲Ａ６と、右側方映像１０４の中央部の切出範囲Ａ７とを縦方向に圧縮し、表示パネル３１の表示面の縦横比に合わせた横長形状とした俯瞰映像２００を生成する。

制御部４１は、障害物が複数ある場合、優先順位の高い障害物を検出した方向に対応する、カメラからの周辺映像を合成してもよい。例えば、優先順位は、障害物までの距離が最も小さいものを最も高い優先順位としてもよい。または、例えば、優先順位は、障害物が動体であるものを最も高い優先順位としてもよい。または、例えば、優先順位は、障害物が動体で、かつ、車両に近づいてきているものを最も高い優先順位としてもよい。または、例えば、車両の進行方向が定まらない状態で前後方向と左右方向との双方に障害物がある場合、前後方向の障害物を高い優先順位としてもよい。

本実施形態では、制御部４１は、俯瞰映像１００、俯瞰映像２００の中央部に、車両までの距離が最小の障害物を検出した方向に対応する周辺映像を合成するものとしたが、合成する周辺映像は、ユーザが選択できるようにしてもよい。例えば、表示パネル３１の表示面で、ユーザがタッチした位置の俯瞰映像１００、俯瞰映像２００の周辺映像を合成してもよい。

制御部４１は、障害物の検出方向が前方または後方である場合、俯瞰映像２００の左側方映像２０３と右側方映像２０４とを、例えば、色情報を低減してもよい。または、制御部４１は、障害物の検出方向が前方または後方である場合、俯瞰映像２００の左側方映像２０３と右側方映像２０４とを、例えば、単色表示にしてもよい。または、制御部４１は、障害物の検出方向が前方または後方である場合、俯瞰映像２００の左側方映像２０３と右側方映像２０４とを、例えば、色情報を低減してもよい。または、制御部４１は、障害物の検出方向が前方または後方である場合、俯瞰映像２００の左側方映像２０３と右側方映像２０４とを、例えば、輝度を低減してもよい。このようにすることで、俯瞰映像２００の左側方映像２０３と右側方映像２０４との情報量が低減されていることを、運転者に認識させることができる。

俯瞰映像生成部４６は、障害物情報取得部４３で取得した障害物情報に基づいて、障害物を検出した方向が車両の前方または後方である場合、左側方カメラ１３および右側方カメラ１４からの周辺映像を非表示とし、前方カメラ１１および後方カメラ１２からの周辺映像で、横長形状とした俯瞰映像２００を生成してもよい。この場合、車両の左右は、運転者が目視で確認することができる。

制御部４１は、例えば、操作部に対する、俯瞰映像表示開始の操作の検出の有無で、俯瞰映像表示を開始するか否かを判定してもよい。

本実施形態では、障害物検出部であるセンサとして、前方センサ２１と後方センサ２２と左側方センサ２３と右側方センサ２４との４つのセンサを有するものとしたが、センサの数は限定されない。障害物の方向をより細分化して検出したい場合、センサの数を増やしてもよい。

１ 俯瞰映像生成システム
１１ 前方カメラ
１２ 後方カメラ
１３ 左側方カメラ
１４ 右側方カメラ
２１ 前方センサ（障害物検出部）
２２ 後方センサ（障害物検出部）
２３ 左側方センサ（障害物検出部）
２４ 右側方センサ（障害物検出部）
３１ 表示パネル
４０ 俯瞰映像生成装置
４１ 制御部
４２ 映像取得部
４３ 障害物情報取得部
４４ 車両情報取得部
４５ 映像生成部
４６ 俯瞰映像生成部
４７ 映像合成部
４８ 表示制御部
４９ 記憶部
１００ 俯瞰映像
２００ 俯瞰映像

Claims (16)

1. 車両の前後左右を撮影する複数のカメラからの周辺映像を取得する映像取得部と、
   前記車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得部と、
   前記映像取得部が取得した周辺映像に視点変換処理を行い前記車両の上方から見たような俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記障害物情報取得部が障害物を検出した方向に対応する前記カメラからの周辺映像を合成した俯瞰映像を生成する映像生成部と、
   前記映像生成部が生成した俯瞰映像を表示部に表示させる表示制御部と、
   を有することを特徴とする俯瞰映像生成装置。
2. 前記映像生成部は、前記障害物情報取得部が障害物を検出した方向が前記車両の前方または後方である場合、表示向きを変えずに横長形状とした俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記障害物情報取得部が障害物を検出した方向に対応する前記カメラからの横長形状の周辺映像を合成した俯瞰映像を生成し、
   前記表示制御部は、前記映像生成部が生成した俯瞰映像を横長形状の表示面を備える表示部に表示させる、
   請求項１に記載の俯瞰映像生成装置。
3. 前記映像生成部は、前記障害物情報取得部が障害物を検出した方向が前記車両の左方向または右方向である場合、生成した俯瞰映像の中央部に、前記障害物情報取得部が障害物を検出した方向に対応する前記カメラからの縦長形状の周辺映像を合成した俯瞰映像を生成する、
   請求項１に記載の俯瞰映像生成装置。
4. 前記映像生成部は、前記障害物情報取得部が障害物を検出した方向が前記車両の前方または後方である場合、前記車両の前方向と後方向とに対応する前記カメラからの周辺映像の一部を縦横比を固定して拡大し、横長形状とした俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記障害物情報取得部が障害物を検出した方向に対応する前記カメラからの横長形状の周辺映像を合成した俯瞰映像を生成する、
   請求項２に記載の俯瞰映像生成装置。
5. 前記映像生成部は、前記障害物情報取得部が障害物を検出した方向が前記車両の前方または後方である場合、前記車両の前方向と後方向とに対応する前記カメラからの周辺映像を縦方向に圧縮し、横長形状とした俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記障害物情報取得部が障害物を検出した方向に対応する前記カメラからの横長形状の周辺映像を合成した俯瞰映像を生成する、
   請求項２に記載の俯瞰映像生成装置。
6. 前記映像生成部は、前記障害物情報取得部が障害物を検出した方向が前記車両の前方または後方である場合、前記車両の左方向と右方向とに対応する前記カメラからの縦長形状の周辺映像を縦方向に圧縮し、横長形状とした俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記障害物情報取得部が障害物を検出した方向に対応する前記カメラからの横長形状の周辺映像を合成した俯瞰映像を生成する、
   請求項２に記載の俯瞰映像生成装置。
7. 前記映像生成部は、前記障害物情報取得部が障害物を検出した方向が前記車両の前方または後方である場合、前記車両の左方向と右方向とに対応する前記カメラからの縦長形状の周辺映像の中央部を除いて上部と下部を合成し、横長形状とした俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記障害物情報取得部が障害物を検出した方向に対応する前記カメラからの横長形状の周辺映像を合成した俯瞰映像を生成する、
   請求項２に記載の俯瞰映像生成装置。
8. 前記映像生成部は、前記障害物情報取得部が障害物を検出した方向が前記車両の前方または後方である場合、前記車両の左方向と右方向とに対応する前記カメラからの縦長形状の周辺映像を前記障害物情報取得部が障害物を検出した方向に偏重し、横長形状とした俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記障害物情報取得部が障害物を検出した方向に対応する前記カメラからの横長形状の周辺映像を合成した俯瞰映像を生成する、
   請求項２に記載の俯瞰映像生成装置。
9. 前記映像生成部は、前記障害物情報取得部が障害物を検出した方向が前記車両の前方または後方である場合、前記車両の左方向と右方向とに対応する前記カメラからの縦長形状の周辺映像を前記車両の進行方向に偏重し、横長形状とした俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記障害物情報取得部が障害物を検出した方向に対応する前記カメラからの横長形状の周辺映像を合成した俯瞰映像を生成する、
   請求項２に記載の俯瞰映像生成装置。
10. 前記映像生成部は、前記障害物情報取得部が障害物を検出した方向が前記車両の前方または後方である場合、前記車両の前方向と後方向とに対応する前記カメラからの周辺映像の中央部を縦方向に圧縮し、横長形状とした俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記障害物情報取得部が障害物を検出した方向に対応する前記カメラからの横長形状の周辺映像を合成した俯瞰映像を生成する、
    請求項２に記載の俯瞰映像生成装置。
11. 前記俯瞰映像の中央部に合成する映像は、前記障害物情報取得部が障害物を検出した方向に対応する前記カメラからの周辺映像の視点変換前の映像である、
    請求項１から１０のいずれか一項に記載の俯瞰映像生成装置。
12. 前記映像生成部は、生成した俯瞰映像の中央部に、前記障害物情報取得部が検出した、車両の進行方向に位置する障害物を検出した方向に対応する前記カメラからの周辺映像を合成した俯瞰映像を生成する、
    請求項１から１１のいずれか一項に記載の俯瞰映像生成装置。
13. 前記映像生成部は、生成した俯瞰映像の中央部に、前記障害物情報取得部が検出した、車両に最も近い障害物を検出した方向に対応する前記カメラからの周辺映像を合成した俯瞰映像を生成する、
    請求項１から１１のいずれか一項に記載の俯瞰映像生成装置。
14. 請求項１から１３のいずれか一項に記載の俯瞰映像生成装置と、
    前記カメラと、前記車両の周辺において障害物を検出し前記障害物情報取得部に障害物情報を供給する障害物検出部と、前記表示部との少なくともいずれかとを備える、
    俯瞰映像生成システム。
15. 車両の前後左右を撮影する複数のカメラからの周辺映像を取得する映像取得ステップと、
    前記車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得ステップと、
    前記映像取得ステップで取得した周辺映像に視点変換処理を行い前記車両の上方から見たような俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記障害物情報取得ステップで障害物を検出した方向に対応する前記カメラからの周辺映像を合成した俯瞰映像を生成する映像生成ステップと、
    前記映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップと、
    を含む俯瞰映像生成方法。
16. 車両の前後左右を撮影する複数のカメラからの周辺映像を取得する映像取得ステップと、
    前記車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得ステップと、
    前記映像取得ステップで取得した周辺映像に視点変換処理を行い前記車両の上方から見たような俯瞰映像を生成し、生成した俯瞰映像の中央部に、前記障害物情報取得ステップで障害物を検出した方向に対応する前記カメラからの周辺映像を合成した俯瞰映像を生成する映像生成ステップと、
    前記映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップと、
    を俯瞰映像生成装置として動作するコンピュータに実行させるためのプログラム。

Images