JP2017114218A - 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム - Google Patents

Abstract

【課題】矩形状の表示装置を使用しても、適切に車両周辺の確認を可能とする俯瞰映像を生成すること。【解決手段】車両Ｖの周辺を撮影した周辺映像を取得する映像取得部４１と、車両Ｖの周辺情報を取得する周辺情報取得部４２と、車両Ｖの旋回方向への移動を推定する車両情報を取得する車両情報取得部４３と、周辺映像に基づき仮想自車両画像Ａを含む俯瞰映像Ｂを生成し、周辺情報取得部４２で取得した周辺情報と車両情報取得部４３で取得した車両情報とに基づいて、車両Ｖの旋回方向への移動が推定され、車両Ｖの周辺に旋回方向への移動時に注意すべき情報が存在する場合、仮想自車両画像Ａにおける旋回方向の外輪側の側面Ｐ１が内輪側の側面Ｐ２よりも上側に位置する向きとなるように傾けた状態の俯瞰映像Ｂを生成する制御部４４とを有する。表示制御部４４ｂは、生成された俯瞰映像Ｂを矩形の表示パネル１０１に表示させる。【選択図】図２

Description

本発明は、俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラムに関する。

車両の走行時の運転支援のため、狭路や狭い屈曲路を走行中に最も接触の危険性が高い車体部分を含んだ範囲の映像に自動的に切り替えて表示する車両用表示装置が知られている（例えば、特許文献１参照）。

特開２０１２−０７１８３３号公報

上記のような映像を表示する表示装置は、矩形状であることが一般的である。このため、例えば、特許文献１に記載の技術のように、確認したい部分を含んだ範囲の映像に自動的に切り替えて表示しても、確認したい部分の表示が小さいため、適切な確認が困難になるおそれがある。そこで、矩形状の表示装置を使用しても、適切に車両周辺の確認を可能とする技術が望まれている。

本発明は、上記に鑑みてなされたものであって、矩形状の表示装置を使用しても、適切に車両周辺の確認を可能とすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る俯瞰映像生成装置は、車両の周辺を撮影した周辺映像を取得する映像取得部と、前記車両の周辺情報を取得する周辺情報取得部と、前記車両の旋回方向への移動を推定するための車両情報を取得する車両情報取得部と、前記周辺映像に基づき、前記車両を示す仮想自車両画像を含み前記車両を上方から見下ろした俯瞰映像を生成し、前記周辺情報取得部で取得した前記周辺情報と前記車両情報取得部で取得した前記車両情報とに基づいて、前記車両の旋回方向への移動が推定され、前記車両の周辺に前記車両の旋回方向への移動時に注意すべき情報が存在する場合、前記仮想自車両画像における前記旋回方向の外輪側の側面が内輪側の側面よりも上側に位置する向きとなるように傾けた状態の俯瞰映像を生成する制御部とを有することを特徴とする。

本発明に係る俯瞰映像生成システムは、上記の俯瞰映像生成装置と、前記車両の周辺を撮影し前記映像取得部に周辺映像を供給する撮影部とを有することを特徴とする。

本発明に係る俯瞰映像生成方法は、車両の周辺を撮影した周辺映像を取得する映像取得ステップと、前記車両の周辺情報を取得する周辺情報取得ステップと、前記車両の旋回方向への移動を推定するための車両情報を取得する車両情報取得ステップと、前記映像取得ステップで取得した前記周辺映像に基づき、前記車両を示す仮想自車両画像を含み前記車両を上方から見下ろした俯瞰映像を生成し、前記周辺情報取得ステップで取得した前記周辺情報と前記車両情報取得ステップで取得した前記車両情報とに基づいて、前記車両の旋回方向への移動が推定され、前記車両の周辺に前記車両の旋回方向への移動時に注意すべき情報が存在する場合、前記仮想自車両画像における前記旋回方向の外輪側の側面が内輪側の側面よりも上側に位置する向きとなるように傾けた状態の俯瞰映像を生成する制御ステップとを含む。

本発明に係るプログラムは、車両の周辺を撮影した周辺映像を取得する映像取得ステップと、前記車両の周辺情報を取得する周辺情報取得ステップと、前記車両の旋回方向への移動を推定するための車両情報を取得する車両情報取得ステップと、前記映像取得ステップで取得した前記周辺映像に基づき、前記車両を示す仮想自車両画像を含み前記車両を上方から見下ろした俯瞰映像を生成し、前記周辺情報取得ステップで取得した前記周辺情報と前記車両情報取得ステップで取得した前記車両情報とに基づいて、前記車両の旋回方向への移動が推定され、前記車両の周辺に前記車両の旋回方向への移動時に注意すべき情報が存在する場合、前記仮想自車両画像における前記旋回方向の外輪側の側面が内輪側の側面よりも上側に位置する向きとなるように傾けた状態の俯瞰映像を生成する制御ステップとを俯瞰映像生成装置として動作するコンピュータに実行させる。

本発明によれば、矩形状の表示装置を使用しても、適切に車両周辺の確認を可能とする俯瞰映像を生成することができるという効果を奏する。

図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。 図２は、第一実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。 図３は、第一実施形態に係る俯瞰映像生成システムを使用する車両の周辺の状況を説明する概略図である。 図４は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。 図５は、従来の俯瞰映像を示す図である。 図６は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。 図７は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。 図８は、第二実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。 図９は、第三実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。 図１０は、第四実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。 図１１は、第四実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。 図１２は、俯瞰映像生成システムの他の構成例を示すブロック図である。 図１３は、俯瞰映像生成システムを使用する車両の周辺の他の状況を説明する概略図である。 図１４は、俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。 図１５は、俯瞰映像生成システムを使用する車両の周辺の他の状況を説明する概略図である。 図１６は、俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。

以下に添付図面を参照して、本発明に係る俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

［第一実施形態］
図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。俯瞰映像生成システム１は、車両Ｖ（図３参照）の俯瞰映像Ｂ（図４参照）を生成する。

まず、車両Ｖについて説明する。車両Ｖは、図１に示すように、俯瞰映像生成システム１と、表示パネル１０１と、障害物検出部１０２と、地図情報記憶部１０３と、現在地情報検出部１０４と、方向指示器操作検出部１０５と、ギア操作検出部１０６と、ステアリング操作検出部１０７と、角速度センサ１０８とを有する。本実施形態では、俯瞰映像生成システム１に、表示パネル１０１と、障害物検出部１０２と、地図情報記憶部１０３と、現在地情報検出部１０４と、方向指示器操作検出部１０５と、ギア操作検出部１０６と、ステアリング操作検出部１０７と、角速度センサ１０８とを含めていないが、各部を俯瞰映像生成システム１に含めてもよい。俯瞰映像生成システム１は、車両Ｖに載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。

表示パネル１０１は、例えば、液晶ディスプレイ（Ｌｃｄ：Liquid Crystal Display）または有機ＥＬ（Organic Electro-Luminescence）ディスプレイを含むディスプレイである。表示パネル１０１は、俯瞰映像生成システム１の俯瞰映像生成装置４０から出力された映像信号に基づいて、俯瞰映像を表示する。表示パネル１０１は、俯瞰映像生成システム１に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。表示パネル１０１は、運転者から視認容易な位置に配置されている。

障害物検出部１０２は、車両Ｖの周辺の障害物Ｘを検出するセンサである。障害物Ｘは、例えば、壁面、縁石、ガードレール、道路標識柱、電柱、二輪車、歩行者、駐停車中の他の車両などである。より詳しくは、障害物検出部１０２は、車両Ｖの所定範囲内に存在する障害物Ｘを検出する。所定範囲は、例えば、５ｍである。障害物検出部１０２は、検出した障害物Ｘの障害物情報を俯瞰映像生成システム１の俯瞰映像生成装置４０の周辺情報取得部４２へ出力する。

地図情報記憶部１０３は、地図情報を記憶する。地図情報は、例えば、交差点や道路の幅員情報を含む道路地図である。地図情報は、目的地に対する経路案内情報を含んでもよい。経路案内情報は、例えば、交差点における右左折情報を含んでもよい。地図情報記憶部１０３は、記憶している地図情報を俯瞰映像生成システム１の俯瞰映像生成装置４０の周辺情報取得部４２へ出力する。

現在地情報検出部１０４は、車両Ｖの現在地を検出する。現在地情報検出部１０４は、例えば、ＧＰＳ（Global Positioning System）受信機である。現在地情報検出部１０４は、取得した車両Ｖの現在地情報を俯瞰映像生成システム１の俯瞰映像生成装置４０の車両情報取得部４３へ出力する。

方向指示器操作検出部１０５は、方向指示器に対する操作を検出する。より詳しくは、方向指示器操作検出部１０５は、例えば、方向指示器を操作するスイッチに対する操作を方向指示器操作情報として検出する。方向指示器操作検出部１０５は、検出した方向指示器操作情報を俯瞰映像生成システム１の俯瞰映像生成装置４０の車両情報取得部４３へ出力する。

ギア操作検出部１０６は、ギアに対する操作を検出する。より詳しくは、ギア操作検出部１０６は、ギアに対する選択操作をギア操作情報として検出する。ギア操作検出部１０６は、検出したギア操作情報を俯瞰映像生成システム１の俯瞰映像生成装置４０の車両情報取得部４３へ出力する。

ステアリング操作検出部１０７は、ステアリングホイールに対する操作を検出する。より詳しくは、ステアリング操作検出部１０７は、ステアリングホイールの操作角度をステアリング操作情報として検出する。ステアリング操作検出部１０７は、検出したステアリング操作情報を俯瞰映像生成システム１の俯瞰映像生成装置４０の車両情報取得部４３へ出力する。

角速度センサ１０８は、車両Ｖの角速度を検出する。角速度センサ１０８は、例えば、ジャイロセンサである。角速度センサ１０８は、検出した角速度を俯瞰映像生成システム１の俯瞰映像生成装置４０の車両情報取得部４３へ出力する。

俯瞰映像生成システム１は、第一撮影装置２０と、記憶装置３０と、俯瞰映像生成装置４０とを有する。

第一撮影装置２０は、車両Ｖの周辺を撮影する。第一撮影装置２０は、前方用周辺撮影カメラ２１と、後方用周辺撮影カメラ２２と、左側方用周辺撮影カメラ２３と、右側方用周辺撮影カメラ２４とを有する。第一撮影装置２０は、前方用周辺撮影カメラ２１と後方用周辺撮影カメラ２２と左側方用周辺撮影カメラ２３と右側方用周辺撮影カメラ２４とで、車両Ｖの全方位を撮影する。第一撮影装置２０は、前方用周辺撮影カメラ２１と後方用周辺撮影カメラ２２と左側方用周辺撮影カメラ２３と右側方用周辺撮影カメラ２４とで撮影した映像を俯瞰映像生成装置４０の映像取得部４１へ出力する。

前方用周辺撮影カメラ２１は、車両Ｖの前方に配置され、車両Ｖの前方を主とした周辺を撮影する。前方用周辺撮影カメラ２１は、撮影した映像を俯瞰映像生成装置４０の映像取得部４１へ出力する。

後方用周辺撮影カメラ２２は、車両Ｖの後方に配置され、車両Ｖの後方を主とした周辺を撮影する。後方用周辺撮影カメラ２２は、撮影した映像を俯瞰映像生成装置４０の映像取得部４１へ出力する。

左側方用周辺撮影カメラ２３は、車両Ｖの左側方に配置され、車両Ｖの左側方を主とした周辺を撮影する。左側方用周辺撮影カメラ２３は、撮影した映像を俯瞰映像生成装置４０の映像取得部４１へ出力する。

右側方用周辺撮影カメラ２４は、車両Ｖの右側方に配置され、車両Ｖの右側方を主とした周辺を撮影する。右側方用周辺撮影カメラ２４は、撮影した映像を俯瞰映像生成装置４０の映像取得部４１へ出力する。

記憶装置３０は、俯瞰映像生成装置４０における各種処理に要するデータおよび各種処理結果を記憶する。記憶装置３０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。

俯瞰映像生成装置４０は、例えば、ＣＰＵ（Central Processing Unit）などで構成された演算処理装置である。俯瞰映像生成装置４０は、記憶装置３０に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。俯瞰映像生成装置４０は、映像取得部４１と、周辺情報取得部４２と、車両情報取得部４３と、俯瞰映像生成部４４ａと表示制御部４４ｂとを含む制御部４４と、を有する。

映像取得部４１は、車両Ｖの周辺を撮影した周辺映像を取得する。より詳しくは、映像取得部４１は、第一撮影装置２０の前方用周辺撮影カメラ２１と後方用周辺撮影カメラ２２と左側方用周辺撮影カメラ２３と右側方用周辺撮影カメラ２４とが出力した映像を取得する。映像取得部４１は、取得した映像を俯瞰映像生成部４４ａに出力する。

周辺情報取得部４２は、車両Ｖの周辺情報を取得する。車両Ｖの周辺情報とは、車両Ｖの周辺の障害物Ｘの障害物情報や、車両Ｖの周辺の道路Ｒの幅員Ｗ１を含む地図情報などである。より詳しくは、周辺情報取得部４２は、障害物検出部１０２または地図情報記憶部１０３が出力した車両情報を取得する。周辺情報取得部４２は、取得した周辺情報を表示制御部４４ｂに出力する。

車両情報取得部４３は、車両Ｖの旋回方向への移動を推定するための車両情報を取得する。車両Ｖの旋回方向への移動を推定する情報とは、車両Ｖの現在地情報と車両Ｖの方向指示器操作情報と車両Ｖのギア操作情報と車両Ｖのステアリング操作情報と車両Ｖの角速度との少なくともいずれか一つの車両情報などである。車両情報取得部４３は、現在地情報検出部１０４と方向指示器操作検出部１０５とギア操作検出部１０６とステアリング操作検出部１０７と角速度センサ１０８との少なくともいずれか一つが出力した車両情報を取得する。車両情報取得部４３は、取得した車両情報を表示制御部４４ｂに出力する。

制御部４４は、映像取得部４１で取得した映像を、視点変換して、俯瞰映像Ｂを生成する俯瞰映像生成部４４ａと、俯瞰映像生成部４４ａで生成した映像を加工し、表示パネル１０１に送る表示制御部４４ｂとを含む。制御部４４は、俯瞰映像生成部４４ａで生成した映像を加工し、表示パネル１０１に送る。例えば、制御部４４は、俯瞰映像生成部４４ａで生成した俯瞰映像Ｂを、表示制御部４４ｂで回転させて表示パネル１０１に表示されるように加工し、表示パネル１０１に送る。また、制御部４４は、俯瞰映像生成部４４ａで生成した俯瞰映像Ｂを、表示制御部４４ｂで回転および拡大して表示パネル１０１に表示されるように加工し、表示パネル１０１に送る。

俯瞰映像生成部４４ａは、映像取得部４１で取得した映像を、車両Ｖの上方から見た映像に視点変換して、車両Ｖを上方から見た仮想自車両画像Ａを合成して俯瞰映像Ｂを生成する。俯瞰映像生成部４４ａは、前方用周辺撮影カメラ２１と後方用周辺撮影カメラ２２と左側方用周辺撮影カメラ２３と右側方用周辺撮影カメラ２４とで撮影した映像に基づいて、俯瞰映像Ｂを生成する。俯瞰映像Ｂを生成する方法は、公知のいずれの方法でもよく、限定されない。俯瞰映像Ｂには、仮想自車両画像Ａ、および、前方映像Ｂ１と後方映像Ｂ２と左側方映像Ｂ３と右側方映像Ｂ４との少なくともいずれか一つを含む。俯瞰映像Ｂは、矩形状のフレームＦ内に生成される。フレームＦは、前方映像Ｂ１を表示する第一フレームＦ１と、後方映像Ｂ２を表示する第二フレームＦ２と、左側方映像Ｂ３を表示する第三フレームＦ３と、右側方映像Ｂ４を表示する第四フレームＦ４との少なくともいずれか一つを含む。俯瞰映像生成部４４ａは、生成した俯瞰映像Ｂを表示制御部４４ｂに出力する。

表示制御部４４ｂは、周辺情報取得部４２で取得した周辺情報と車両情報取得部４３で取得した車両情報とに基づいて、車両Ｖの旋回方向への移動が推定され、車両Ｖの周辺に車両Ｖの旋回方向への移動時に注意すべき情報が存在する場合、仮想自車両画像Ａにおける旋回方向Ｄの外輪側の側面前方Ｐ１が上側に位置するように傾けた状態の俯瞰映像Ｂを生成する。車両Ｖの旋回方向の移動とは、車両Ｖが走行中の道路Ｒ０が延びる方向（以下、「走行道路方向」という）Ｄ０に対して、逸れる方向の移動である。旋回方向の移動は、車両Ｖの前後方向の前側に向かって左右方向の移動である。例えば、右左折時に、車両Ｖは、旋回方向に移動する。表示制御部４４ｂは、例えば、走行道路方向Ｄ０とのズレが１５°以上となったら、逸れる方向の移動と判定するようにしてもよい。これは、走行時の多少のブレやステアリングホイールの遊びを、車両Ｖの旋回方向の移動として判定しないためである。

表示制御部４４ｂは、車両Ｖの旋回方向への移動時に注意すべき情報として、車両Ｖの旋回方向への移動時に車両Ｖとの距離が所定未満となる障害物Ｘ（以下、「車両Ｖの周辺の障害物Ｘ」という）が存在する場合、または車両Ｖの旋回方向への移動時に通過する道路Ｒの幅員が所定値より小さい場合に、車両Ｖの旋回方向への移動時に注意すべき情報が存在すると判断する。

次に、図２を用いて、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。図２は、第一実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。

表示制御部４４ｂは、接触が予測されるか否かを判定する（ステップＳ１１）。表示制御部４４ｂは、車両Ｖの周辺の障害物Ｘが存在する場合、または、車両Ｖの旋回方向への移動時に通過する道路Ｒの幅員が所定値より小さい場合、接触が予測される（Ｙｅｓ）と判定する。表示制御部４４ｂは、車両Ｖの周辺の障害物Ｘが存在しない場合、かつ、車両Ｖの旋回方向への移動時に通過する道路Ｒの幅員Ｗ１が所定値より大きい場合、接触が予測されない（Ｎｏ）と判定する。

例えば、表示制御部４４ｂは、周辺情報取得部４２で取得した障害物情報に基づいて、車両Ｖの周辺の障害物Ｘが存在するか否かを判定する。車両Ｖとの所定未満の距離とは、例えば、車両Ｖの移動方向（旋回方向）Ｄにおいて、例えば、車両Ｖから１ｍ以内の範囲である。

例えば、表示制御部４４ｂは、周辺情報取得部４２で取得した車両Ｖの旋回方向への移動時に通過する道路Ｒの幅員Ｗ１を含む地図情報に基づいて、車両Ｖの旋回方向への移動時に通過する道路Ｒの幅員Ｗ１が所定値より小さいか否かを判定する。より詳しくは、車両Ｖの旋回方向Ｄの道路Ｒの幅員Ｗ１が所定値より小さいか否かを判定する。所定値とは、例えば、４ｍである。

図３を用いて、車両Ｖの周辺の障害物Ｘについて説明する。図３は、第一実施形態に係る俯瞰映像生成システムを使用する車両の周辺の状況を説明する概略図である。車両Ｖは、旋回方向に移動する場合、旋回方向Ｄの外輪側の側面前方Ｐ１と、車両Ｖの旋回方向Ｄの内輪側の側面Ｐ２とが、障害物Ｘに接触し易くなる。言い換えると、車両Ｖは、右左折などで旋回方向に移動する場合、車両Ｖの回転中心と反対側の側面前方Ｐ１と、車両Ｖの回転中心側の側面Ｐ２とが、障害物Ｘに接触し易くなる。図３において、車両Ｖは、右折している。旋回方向Ｄの道路Ｒは、幅員Ｗ１が所定値より小さい。右折する位置には、回転中心側に縁石Ｘ２が存在する。このため、車両Ｖの側面前方Ｐ１は、壁面Ｘ１に接触するおそれがある。車両Ｖの側面Ｐ２は、縁石Ｘ２に接触するおそれがある。この場合、表示制御部４４ｂは、障害物Ｘが存在すると判定する。

図２に戻って、表示制御部４４ｂは、接触が予測されると判定されていない場合（ステップＳ１１でＮｏ）、ステップＳ１３に進む。

表示制御部４４ｂは、接触が予測されると判定した場合（ステップＳ１１でＹｅｓ）、ステップＳ１２に進む。

表示制御部４４ｂは、旋回方向の移動が推定されるか否かを判定する（ステップＳ１２）。より詳しくは、表示制御部４４ｂは、周辺情報取得部４２で取得した車両Ｖの周辺の地図情報と車両情報取得部４３で取得した車両Ｖの現在地情報と車両Ｖの方向指示器操作情報と車両Ｖのギア操作情報と車両Ｖのステアリング操作情報と車両Ｖの角速度との少なくともいずれか一つの車両情報に基づいて、車両Ｖの旋回方向の移動が推定されるか否かを判定する。

表示制御部４４ｂが、周辺情報取得部４２で取得した車両Ｖの周辺の地図情報と車両情報取得部４３で取得した車両Ｖの現在地情報とに基づいて、車両Ｖの旋回方向の移動が推定されるか否かを判定する場合について説明する。例えば、表示制御部４４ｂは、車両Ｖの周辺の地図情報と車両Ｖの現在地情報とに基づいて、車両Ｖが経路案内情報で右左折が予定されている交差点の所定距離内に近づいた場合、車両Ｖの旋回方向の移動が推定されると判定する。所定距離は、例えば、５ｍとしてもよい。表示制御部４４ｂは、車両Ｖの旋回方向の移動が推定されると判定した際に、推定した車両Ｖの旋回方向Ｄを記憶装置３０に記憶する。

表示制御部４４ｂが、車両情報取得部４３で取得した方向指示器操作情報に基づいて、車両Ｖの旋回方向の移動が推定されるか否かを判定する場合について説明する。例えば、表示制御部４４ｂは、方向指示器操作情報に基づいて、方向指示器が操作された場合、車両Ｖの旋回方向の移動が推定されると判定する。表示制御部４４ｂは、車両Ｖの旋回方向の移動が推定されると判定した際に、推定した車両Ｖの旋回方向Ｄを記憶装置３０に記憶する。

表示制御部４４ｂが、車両情報取得部４３で取得したギア操作情報とステアリング操作情報とに基づいて、車両Ｖの旋回方向の移動が推定されるか否かを判定する場合について説明する。例えば、表示制御部４４ｂは、ギア操作情報とステアリング操作情報との少なくともいずれか一方に基づいて、ステアリングホイールが操作された場合、または、リバースギアが選択されて、かつ、ステアリングホイールが操作された場合、車両Ｖの旋回方向の移動が推定されると判定する。表示制御部４４ｂは、車両Ｖの旋回方向の移動が推定されると判定した際に、推定した車両Ｖの旋回方向Ｄを記憶装置３０に記憶する。

表示制御部４４ｂが、周辺情報取得部４２で取得した車両Ｖの周辺の地図情報と車両情報取得部４３で取得した車両Ｖの現在地情報、および、車両情報取得部４３で取得した方向指示器操作情報とステアリング操作情報と車両Ｖの角速度との少なくともいずれか一つに基づいて、車両Ｖの旋回方向の移動が推定されるか否かを判定する場合について説明する。例えば、表示制御部４４ｂは、車両Ｖの周辺の地図情報と車両Ｖの現在地情報、および、方向指示器操作情報とステアリング操作情報と車両Ｖの角速度との少なくともいずれか一つに基づいて、車両Ｖが経路案内情報で右左折が予定されている交差点の所定距離内に近づいた場合で、かつ、方向指示器が操作された場合、または、走行道路方向Ｄ０に対して逸れる方向にステアリング操作がされた場合、または、走行道路方向Ｄ０に対して逸れる方向に角速度が変化した場合、車両Ｖの旋回方向の移動が推定されると判定する。所定距離は、例えば、５ｍとしてもよい。例えば、走行道路方向Ｄ０とのズレが１５°以上となったら、逸れる方向の移動と判定するようにしてもよい。このように、車両Ｖの周辺の地図情報と車両Ｖの現在地情報、および、方向指示器操作情報とステアリング操作情報と車両Ｖの角速度との少なくともいずれか一つを組み合わせて判定するのは、例えば、経路案内では右左折が案内されているものの、運転者が経路案内に従わないで直進する場合に、誤って車両Ｖが旋回方向に移動すると推定しないためである。表示制御部４４ｂは、車両Ｖの旋回方向の移動が推定されると判定した際に、推定した車両Ｖの旋回方向Ｄを記憶装置３０に記憶する。

表示制御部４４ｂは、車両Ｖの旋回方向の移動が推定されていない場合（ステップＳ１２でＮｏ）、ステップＳ１３に進む。

表示制御部４４ｂは、車両Ｖが旋回方向に移動すると推定した場合（ステップＳ１２でＹｅｓ）、ステップＳ１４に進む。

表示制御部４４ｂは、通常の俯瞰映像Ｂを生成する（ステップＳ１３）。より詳しくは、表示制御部４４ｂは、車両Ｖの前後方向をフレームＦの上下方向と平行に真っすぐ位置させた状態で、車両Ｖを上方から見下ろした仮想自車両画像Ａを含む俯瞰映像Ｂを生成する。この俯瞰映像Ｂは、仮想自車両画像Ａの中心ＣがフレームＦの中央に位置する。

表示制御部４４ｂは、車両Ｖの旋回方向Ｄを取得する（ステップＳ１４）。表示制御部４４ｂは、ステップＳ１２で記憶装置３０に記憶した車両Ｖの旋回方向Ｄを取得する。

表示制御部４４ｂは、旋回方向に傾けた状態で表示パネル１０１に表示される俯瞰映像Ｂを生成する（ステップＳ１５）。より詳しくは、表示制御部４４ｂは、仮想自車両画像Ａの旋回方向Ｄの外輪側の側面前方Ｐ１がフレームＦの上側に位置するように傾けた状態の仮想自車両画像Ａを含む俯瞰映像Ｂを生成する。本実施形態では、表示制御部４４ｂは、仮想自車用画像Ａの中心Ｃを中心として、仮想自車両画像Ａを含む俯瞰映像Ｂを旋回方向Ｄに回転して傾けた状態で、表示パネル１０１に表示する。

より詳しくは、まず、表示制御部４４ｂは、車両Ｖの旋回方向Ｄが、走行道路方向Ｄ０に対して、左右どちらの方向に位置するかを判定する。表示制御部４４ｂは、車両Ｖの旋回方向Ｄを右方向と判定した場合、仮想自車用画像Ａの中心Ｃを中心として、俯瞰映像ＢをフレームＦに対して時計回りに所定角度回転して傾けた状態で、俯瞰映像Ｂを生成する。所定角度とは、例えば２０°以上４５°以下である。表示制御部４４ｂは、車両Ｖの旋回方向Ｄを左方向と判定した場合、仮想自車用画像Ａの中心Ｃを中心として、俯瞰映像ＢをフレームＦに対して反時計回りに所定角度回転して傾けた状態で、俯瞰映像Ｂを生成する。所定角度とは、例えば２０°以上４５°以下である。このようにして、表示制御部４４ｂは、フレームＦに対して時計回り、または、反時計回りに傾けた俯瞰映像Ｂを生成する。これにより、俯瞰映像ＢがフレームＦに対して時計回りに傾いている場合、俯瞰映像Ｂには、仮想自車用画像Ａの左前方とその周辺と、右側面とその周辺とが広く表示される。俯瞰映像ＢがフレームＦに対して反時計回りに傾いている場合、俯瞰映像Ｂには、仮想自車用画像Ａの右前方とその周辺と、左側面とその周辺とが広く表示される。仮想自車用画像Ａは車両Ｖを示しているため、車両Ｖの周辺において、旋回方向への移動時に注意すべき情報が表示される範囲を広く表示することができる。

本実施形態では、車両Ｖの旋回方向Ｄが右方向であり、図４に示すように、俯瞰映像Ｂは、仮想自車両画像Ａの中心線ＬＡがフレームＦの中心線ＬＦに対して傾いている。図４は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。これにより、俯瞰映像Ｂには、車両Ｖの側面前方Ｐ１と障害物Ｘである壁面Ｘ１の周辺と、車両Ｖの側面Ｐ２と障害物Ｘである縁石Ｘ２の周辺とが広く表示される。

ここで、図５を用いて、比較のために、従来の俯瞰映像Ｂを説明する。図５は、従来の俯瞰映像を示す図である。図５に示すように、俯瞰映像Ｂは、仮想自車両画像ＡがフレームＦに対して傾いておらず、仮想自車両画像Ａの中心線ＬＡがフレームＦの中心線ＬＦと一致している。このため、矩形状のフレームＦに表示された俯瞰映像Ｂには、車両Ｖの接触し易い部分と障害物Ｘ、具体的には、車両Ｖの側面前方Ｐ１と壁面Ｘ１の周辺と、車両Ｖの側面Ｐ２と縁石Ｘ２の周辺とが、図４に比べて狭く表示される。

図６に示すように、俯瞰映像Ｂは、仮想自車両画像Ａの中心線ＬＡがフレームＦの中心線ＬＦに対して時計回りに４５°傾いていてもよい。図６は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。これにより、俯瞰映像Ｂには、車両Ｖの側面前方Ｐ１と壁面Ｘ１の周辺と、車両Ｖの側面Ｐ２と縁石Ｘ２の周辺とがより広く表示される。しかも、俯瞰映像Ｂには、車両Ｖの側面前方Ｐ１と壁面Ｘ１の周辺と、車両Ｖの側面Ｐ２と縁石Ｘ２の周辺とが、フレームＦの中心線ＬＦ近くに位置する。

さらに、図７に示すように、俯瞰映像Ｂは、仮想自車両画像Ａの中心線ＬＡがフレームＦの中心線ＬＦに対して傾き、側面前方Ｐ１をフレームＦの中心線ＬＦ上に位置させてもよい。図７は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。これにより、俯瞰映像Ｂには、車両Ｖの側面前方Ｐ１と壁面Ｘ１の周辺と、車両Ｖの側面Ｐ２と縁石Ｘ２の周辺とがより広く表示される。しかも、俯瞰映像Ｂには、車両Ｖの側面前方Ｐ１と壁面Ｘ１の周辺と、車両Ｖの側面Ｐ２と縁石Ｘ２の周辺とが、フレームＦの中心線ＬＦ近くに位置する。図７の俯瞰映像Ｂの生成処理は、俯瞰映像生成部４４ａが生成した俯瞰映像Ｂに対し、表示制御部４４ｂが俯瞰映像Ｂを回転させ、さらに旋回方向とは反対方向に俯瞰映像Ｂを移動させた俯瞰映像Ｂを生成する。

表示制御部４４ｂは、車両Ｖの旋回方向の移動が完了した場合、仮想自車両画像Ａの傾きを解除して元の状態に復帰した俯瞰映像Ｂを生成する。

表示制御部４４ｂが、図２に示すフローチャートのステップＳ１２で、周辺情報取得部４２で取得した車両Ｖの周辺の地図情報と車両情報取得部４３で取得した車両Ｖの現在地情報とに基づいて、車両Ｖの旋回方向への移動を推定した場合について説明する。例えば、表示制御部４４ｂは、車両Ｖの周辺の地図情報と車両Ｖの現在地情報とに基づいて、車両Ｖが経路案内情報で右左折が予定されている交差点から所定距離以上に離れた場合、車両Ｖの旋回方向の移動が完了したと判定する。所定距離は、例えば、５ｍとしてもよい。

表示制御部４４ｂが、図２に示すフローチャートのステップＳ１２で、車両情報取得部４３で取得した方向指示器操作情報に基づいて、車両Ｖの旋回方向への移動を推定した場合について説明する。例えば、表示制御部４４ｂは、方向指示器操作情報に基づいて、方向指示器の操作が解除された場合、車両Ｖの旋回方向の移動が完了したと判定する。

表示制御部４４ｂが、図２に示すフローチャートのステップＳ１２で、車両情報取得部４３で取得したギア操作情報とステアリング操作情報とに基づいて、車両Ｖの旋回方向への移動を推定した場合について説明する。例えば、表示制御部４４ｂは、ギア操作情報とステアリング操作情報との少なくともいずれか一方に基づいて、ステアリングホイールが復帰方向に操作された場合、または、リバースギアの選択が解除されて、かつ、ステアリングホイールが復帰方向に操作された場合、車両Ｖの旋回方向の移動が完了したと判定する。

表示制御部４４ｂが、図２に示すフローチャートのステップＳ１２で、周辺情報取得部４２で取得した車両Ｖの周辺の地図情報と車両情報取得部４３で取得した車両Ｖの現在地情報、および、車両情報取得部４３で取得した方向指示器操作情報とステアリング操作情報と車両Ｖの角速度との少なくともいずれか一つに基づいて、車両Ｖの旋回方向への移動を推定した場合について説明する。例えば、表示制御部４４ｂは、車両Ｖの周辺の地図情報と車両Ｖの現在地情報、および、方向指示器操作情報とステアリング操作情報と車両Ｖの角速度との少なくともいずれか一つに基づいて、車両Ｖが経路案内情報で右左折が予定されている交差点から所定距離以上離れた場合で、かつ、方向指示器の操作が解除された場合、または、ステアリングホイールが復帰方向に操作された場合、または、角速度が復帰方向に変化した場合、車両Ｖの旋回方向の移動が完了したと判定する。所定距離は、例えば、５ｍとしてもよい。

このような場合に、表示制御部４４ｂは、車両Ｖの旋回方向に移動が完了したと判定して、仮想自車両画像Ａを元の状態に復帰した俯瞰映像Ｂを生成する。

このようにして、俯瞰映像生成システム１は、俯瞰映像Ｂを生成して、俯瞰映像生成システム１の外部の表示パネル１０１に映像信号を出力する。外部の表示パネル１０１は、俯瞰映像生成システム１から出力された映像信号に基づいて、例えば、ナビゲーションとともに俯瞰映像Ｂを表示する。

上述したように、本実施形態に係る俯瞰映像生成システム１は、周辺情報取得部４２で取得した周辺情報と車両情報取得部４３で取得した車両情報とに基づいて、車両Ｖの周辺に車両Ｖの旋回方向への移動時に注意すべき情報が存在する場合、仮想自車両画像Ａにおける旋回方向Ｄの外輪側の側面前方Ｐ１が上側に位置するように傾けた状態の俯瞰映像Ｂを生成する。より詳しくは、車両Ｖの旋回方向Ｄが左方向の場合、俯瞰映像ＢがフレームＦに対して時計回りに傾いて表示され、俯瞰映像Ｂには、車両Ｖの左前方とその周辺と右側面とその周辺とを広く表示することができる。車両Ｖの旋回方向Ｄが右方向の場合、俯瞰映像ＢがフレームＦに対して反時計回りに傾いて表示され、俯瞰映像Ｂには、車両Ｖの右前方とその周辺と左側面とその周辺とを広く表示することができる。これにより、俯瞰映像Ｂには、車両Ｖの接触し易い部分と障害物Ｘとを広く表示することができる。このように、俯瞰映像生成システム１は、矩形状の表示装置を使用しても、車両Ｖの周辺、より具体的には、車両Ｖの旋回方向への移動時に注意すべき情報をより適切に確認可能な俯瞰映像Ｂを生成することができる。

俯瞰映像生成システム１は、仮想自車両画像Ａの中心線ＬＡをフレームＦの中心線ＬＦに対して時計回りに４５°傾けた俯瞰映像Ｂや、仮想自車両画像Ａの中心線ＬＡをフレームＦの中心線ＬＦに対して傾けて、側面前方Ｐ１をフレームＦの中心線ＬＦに位置させた俯瞰映像Ｂを生成することができる。これにより、俯瞰映像Ｂは、車両Ｖの側面前方Ｐ１と壁面Ｘ１の周辺と、車両Ｖの側面Ｐ２と縁石Ｘ２の周辺とをより広く表示することができる。しかも、俯瞰映像Ｂは、車両Ｖの側面前方Ｐ１と壁面Ｘ１の周辺と、車両Ｖの側面Ｐ２と縁石Ｘ２の周辺とを、フレームＦの中心線ＬＦ近くに位置させることができる。このため、俯瞰映像生成システム１は、車両Ｖの周辺、より具体的には、車両Ｖの旋回方向への移動時に注意すべき情報をより適切に確認可能な俯瞰映像Ｂを生成することができる。

［第二実施形態］
図８を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図８は、第二実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。俯瞰映像生成システム１は、基本的な構成は第一実施形態の俯瞰映像生成システム１と同様である。以下の説明においては、俯瞰映像生成システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成装置４０における処理が、第一実施形態の俯瞰映像生成システム１と異なる。

表示制御部４４ｂは、図２に示すフローチャートのステップＳ１５で、俯瞰映像生成部４４ａが生成した俯瞰映像Ｂを傾けた俯瞰映像Ｂを生成する際に、俯瞰映像Ｂを拡大する。

本実施形態では、車両Ｖの旋回方向Ｄが右方向であり、図８に示すように、俯瞰映像Ｂは、仮想自車両画像Ａの中心線ＬＡがフレームＦの中心線ＬＦに対して傾いており、俯瞰映像Ｂが図４よりも拡大されて表示されている。これにより、俯瞰映像Ｂには、車両Ｖの側面前方Ｐ１と壁面Ｘ１の周辺と、車両Ｖの側面Ｐ２と縁石Ｘ２の周辺とが拡大して表示される。

上述したように、本実施形態に係る俯瞰映像生成システム１は、俯瞰映像生成部４４ｂが生成した俯瞰映像Ｂを拡大した俯瞰映像Ｂを生成する。このため、俯瞰映像生成システム１は、車両Ｖの側面前方Ｐ１と壁面Ｘ１の周辺と、車両Ｖの側面Ｐ２と縁石Ｘ２の周辺とを拡大して表示することができる。このように、俯瞰映像生成システム１は、車両Ｖの周辺、より具体的には、車両Ｖの旋回方向への移動時に注意すべき情報をより適切に確認可能な俯瞰映像Ｂを生成することができる。

［第三実施形態］
図９を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図９は、第三実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成装置４０における処理が、第一実施形態の俯瞰映像生成システム１と異なる。

表示制御部４４ｂは、ステップＳ１５で、俯瞰映像生成部４４ａが生成した俯瞰映像Ｂを傾けた俯瞰映像Ｂを生成する際に、車両Ｖの旋回方向Ｄとは異なる方向に寄せた俯瞰映像Ｂを生成する。より詳しくは、表示制御部４４ｂは、仮想自車両画像Ａの旋回方向Ｄの外輪側の側面前方Ｐ１がフレームＦの上側に位置するように傾けた状態の俯瞰映像Ｂを生成する際に、車両Ｖの旋回方向Ｄとは異なる方向に、俯瞰映像Ｂをずらした俯瞰映像Ｂを生成する。この場合、仮想自車両画像Ａの中心ＣはフレームＦの中心線ＬＦから旋回方向Ｄとは異なる方向に移動した位置となる。表示制御部４４ｂは、車両Ｖが右折する場合、俯瞰映像生成部４４ａが生成した俯瞰映像Ｂを左方向にずらした俯瞰映像Ｂを生成する。表示制御部４４ｂは、車両Ｖが左折する場合、俯瞰映像生成部４４ａが生成した俯瞰映像Ｂを右方向にずらした俯瞰映像Ｂを生成する。

本実施形態では、車両Ｖの旋回方向Ｄが右方向であり、図９に示すように、俯瞰映像Ｂは、仮想自車両画像Ａの中心ＣがフレームＦの中心線ＬＦより左側に寄るように表示されている。これにより、俯瞰映像Ｂには、側面前方Ｐ１と障害物Ｘである壁面Ｘ１の周辺と、側面Ｐ２と縁石Ｘ２の周辺とがより広く表示される。しかも、俯瞰映像Ｂは、側面前方Ｐ１と障害物Ｘである壁面Ｘ１の周辺と、側面Ｐ２と縁石Ｘ２の周辺とが、フレームＦの中心線ＬＦ近くに位置する。

上述したように、本実施形態に係る俯瞰映像生成システム１は、俯瞰映像生成部４４ａが生成した俯瞰映像Ｂを傾けた俯瞰映像Ｂを生成する際に、車両Ｖの旋回方向Ｄとは異なる方向に寄せた俯瞰映像Ｂを生成する。このため、俯瞰映像生成システム１は、車両Ｖの接触し易い部分と障害物Ｘとをより広く表示することができる。しかも、俯瞰映像生成システム１は、俯瞰映像Ｂにおいて、車両Ｖの接触し易い部分と障害物Ｘとを、フレームＦの中心線ＬＦ近くに位置させることができる。このように、俯瞰映像生成システム１は、車両Ｖの周辺より具体的には、車両Ｖの旋回方向への移動時に注意すべき情報をより適切に確認可能な俯瞰映像Ｂを生成することができる。

［第四実施形態］
図１０、図１１を参照しながら、本実施形態に係る俯瞰映像生成システム１Ａについて説明する。図１０は、第四実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。本実施形態の俯瞰映像生成システム１Ａは、俯瞰映像生成装置４０の車両情報取得部４３が、さらに車速センサ（車速取得部）１０９から車速を取得する点で、第一実施形態の俯瞰映像生成システム１と異なる。

車速センサ１０９は、車両Ｖの車速を検出する。より詳しくは、車速センサ１０９は、車両Ｖの駆動軸またはタイヤに配置されている。車速センサ１０９は、駆動軸またはタイヤの回転に応じたパルス信号を検出する。車速センサ１０９は、検出した車速を俯瞰映像生成システム１の俯瞰映像生成装置４０の車両情報取得部４３へ出力する。

車両情報取得部４３は、さらに車速センサ１０９で出力された車速を取得する。車両情報取得部４３は、取得した車速も含む車両情報を表示制御部４４ｂに出力する。

表示制御部４４ｂは、車両Ｖの周辺に車両Ｖの旋回方向への移動時に注意すべき情報が存在する場合、さらに、車速センサ１０９で取得した車速に基づいて、車速が所定値より小さい場合、仮想自車両画像Ａにおける旋回方向Ｄの外輪側の側面前方Ｐ１が上側に位置するように傾けた状態の俯瞰映像Ｂを生成する。所定値は、例えば、１０ｋｍ／ｈや徐行に該当する速度としてもよい。所定値より低い速度まで減速して、運転者がより慎重に運転していると予測される場合に、運転者の運転を支援するためである。

図１１を用いて、より詳しく、表示制御部４４ｂにおける処理の流れについて説明する。図１１は、第四実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。

表示制御部４４ｂは、接触が予測されるか否かを判定する（ステップＳ２１）。ステップＳ２１は、ステップＳ１１と同様の処理である。

表示制御部４４ｂは、旋回方向の移動が推定されるか否かを判定する（ステップＳ２２）。ステップＳ２２は、ステップＳ１２と同様の処理である。

表示制御部４４ｂは、車速が所定値より小さいか否かを判定する（ステップＳ２３）。表示制御部４４ｂは、車速が所定値より小さいと判定されていない場合（ステップＳ２３でＮｏ）、ステップＳ２４に進む。表示制御部４４ｂは、車速が所定値より小さいと判定した場合（ステップＳ２３でＹｅｓ）、ステップＳ２５に進む。

表示制御部４４ｂは、仮想自車両画像Ａを真っすぐに配置した俯瞰映像Ｂを生成する（ステップＳ２４）。ステップＳ２４は、ステップＳ１３と同様の処理である。

表示制御部４４ｂは、車両Ｖの旋回方向Ｄを取得する（ステップＳ２５）。ステップＳ２５は、ステップＳ１４と同様の処理である。

表示制御部４４ｂは、仮想自車両画像Ａを傾けた俯瞰映像Ｂを生成する（ステップＳ２６）。ステップＳ２６は、ステップＳ１５と同様の処理である。

本実施形態では、車両Ｖの周辺に車両Ｖの旋回方向への移動時に注意すべき情報が存在する場合、さらに、車速が所定値より小さい場合、俯瞰映像生成部４４ｂが生成した俯瞰映像Ｂを傾けた俯瞰映像Ｂが生成される。

上述したように、本実施形態に係る俯瞰映像生成システム１Ａは、車両Ｖの周辺に車両Ｖの旋回方向への移動時に注意すべき情報が存在する場合、さらに、車速が所定値より小さい場合、仮想自車両画像Ａにおける旋回方向Ｄの外輪側の側面前方Ｐ１が上側に位置するように傾けた状態の俯瞰映像Ｂを生成する。このように、車速を所定値より低い速度まで減速して、運転者がより慎重に運転していると予測される場合に、俯瞰映像生成システム１Ａは、運転者の運転を支援することができる。このように、俯瞰映像生成システム１Ａは、運転状況に合わせて、車両Ｖの周辺、より具体的には、車両Ｖの旋回方向への移動時に注意すべき情報をより適切に確認可能な俯瞰映像Ｂを生成し、適切に運転支援を行うことができる。

さて、これまで本発明に係る俯瞰映像生成システム１について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。

図示した俯瞰映像生成システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

図１２に示すように、俯瞰映像生成システム１Ｂの俯瞰映像生成部２５は、第一撮影装置２０の機能の一つとしてもよい。図１２は、俯瞰映像生成システムの他の構成例を示すブロック図である。この場合、俯瞰映像生成装置４０の映像取得部４１は、第一撮影装置２０の俯瞰映像生成部２５で生成された俯瞰映像Ｂを取得する。表示制御部４４ｂは、第一撮影装置２０の俯瞰映像生成部２５で生成された俯瞰映像Ｂのうち、仮想自車両画像Ａと仮想自車両画像Ａの周囲の映像を抽出した映像に加工し、表示パネル１０１に送る。このように、俯瞰映像生成システム１Ｂにおいては、第一撮影装置２０の俯瞰映像生成部２５と俯瞰映像生成装置４０の表示制御部４４ｂとで制御部としての機能を実現している。

俯瞰映像生成システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

図２に示す、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れにおいて、ステップＳ１１の実行後にステップＳ１２を実行するものとしたが、ステップＳ１１とステップＳ１２とは、順番が逆でもよい。より詳しくは、表示制御部４４ｂは、旋回方向の移動が推定されるか否かを判定した後に、接触が予測されるか否かを判定するようにしてもよい。図１１に示す、俯瞰映像生成システム１Ａの俯瞰映像生成装置４０における処理の流れにおいて、ステップＳ２１の実行後にステップＳ２２を実行して、ステップＳ２２の実行後にステップＳ２３を実行するものとしたが、ステップＳ２１とステップＳ２２とステップＳ２３とは、順番が異なっていてもよい。より詳しくは、例えば、表示制御部４４ｂは、旋回方向の移動が推定されるか否かを判定した後に、接触が予測されるか否かを判定し、その後、車速が所定値より小さいか否かを判定するようにしてもよい。

上記実施形態では、一例として、図３に示すように、旋回方向Ｄの外輪側の側面前方Ｐ１と車両Ｖの旋回方向Ｄの内輪側の側面Ｐ２とに障害物Ｘが存在するものとして説明したが、障害物Ｘの位置はこれに限定されるものではない。

図１３を用いて説明する。図１３は、俯瞰映像生成システムを使用する車両Ｖの周辺の他の状況を説明する概略図である。図１４は、俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。図１３において、車両Ｖは、右折している。この場合、旋回方向Ｄの道路Ｒの幅員は所定値より大きいが、壁面Ｘ１が側面前方Ｐ１に接触するおそれがある。このため、表示制御部４４ｂは、接触が予測されると判定する。この場合、図１４に示すように、俯瞰映像Ｂは、拡大されるとともに、車両Ｖの旋回方向Ｄとは異なる方向としてフレームＦの下側に俯瞰映像Ｂをずらして表示させる。これにより、俯瞰映像Ｂには、車両Ｖの側面前方Ｐ１が拡大して表示される。

図１５を用いて説明する。図１５は、俯瞰映像生成システムを使用する車両Ｖの周辺の他の状況を説明する概略図である。図１６は、俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。図１５において、車両Ｖは、右折している。この場合、旋回方向Ｄの道路Ｒの幅員は所定値より大きいが、右折する位置に縁石Ｘ２が存在し、側面Ｐ２に接触するおそれがある。このため、表示制御部４４ｂは、接触が予測されると判定する。この場合、図１６に示すように、俯瞰映像Ｂは、拡大されるとともに、車両Ｖの旋回方向Ｄとは異なる方向としてフレームＦの上側に俯瞰映像Ｂをずらして表示させる。これにより、俯瞰映像Ｂには、車両Ｖの側面Ｐ２が拡大して表示される。

表示制御部４４ｂは、障害物Ｘと車両Ｖの接触が予測される部分とを色を変えて強調した俯瞰映像Ｂを生成してもよい。例えば、図４においては、車両Ｖの側面前方Ｐ１と障害物Ｘである壁面Ｘ１の周辺と、車両Ｖの側面Ｐ２と縁石Ｘ２の周辺との色を変えた俯瞰映像Ｂを生成してもよい。

障害物検出部１０２は、車両Ｖの周辺の障害物Ｘを検出するセンサとして説明したが、これに限定されない。例えば、障害物検出部１０２は、第一撮影装置２０から出力された周辺映像を画像処理することで車両Ｖの周辺の障害物Ｘを検出してもよい。

表示制御部４４ｂは、図２に示すフローチャートのステップＳ１５で、所望の俯瞰映像Ｂを生成するように、第一撮影装置２０の前方用周辺撮影カメラ２１と後方用周辺撮影カメラ２２と左側方用周辺撮影カメラ２３と右側方用周辺撮影カメラ２４とのカメラの向き、画角を変える制御を行ってもよい。例えば、表示制御部４４ｂは、車両Ｖの旋回方向Ｄを撮影するカメラの向きを変えたり、画角を変えたりしてもよい。このように、俯瞰映像生成システム１は、車両Ｖの旋回方向の移動に応じて、車両Ｖの周辺の確認が容易になるような俯瞰映像Ｂを生成することができる。

表示制御部４４ｂは、図２に示すフローチャートにおいて、車両Ｖが旋回方向に移動すると推定した場合、俯瞰映像生成部４４ｂが生成した俯瞰映像Ｂを傾けた俯瞰映像Ｂを生成するものとしたが、ステップＳ１５で、所定条件に応じて、俯瞰映像Ｂが徐々に傾くようにしてもよい。例えば、表示制御部４４ｂは、車両Ｖの周辺の地図情報と車両Ｖの現在地情報、ステアリング操作情報、車両Ｖの角速度などに応じて、フレームＦにおける俯瞰映像Ｂを徐々に傾けてもよい。表示制御部４４ｂは、車両Ｖの周辺の地図情報と車両Ｖの現在地情報、ステアリング操作情報、車両Ｖの角速度などに応じて、フレームＦにおける俯瞰映像Ｂを徐々に元に復帰させてもよい。これにより、外部の表示パネル１０１に表示される俯瞰映像Ｂにおいて、フレームＦ内の俯瞰映像Ｂの傾きが徐々に変化する。このため、俯瞰映像生成システム１は、車両Ｖの周辺、より具体的には、車両Ｖの旋回方向への移動時に注意すべき情報をより適切に確認可能な俯瞰映像Ｂを生成することができる。

１ 俯瞰映像生成システム
２０ 第一撮影装置
２１ 前方用周辺撮影カメラ
２２ 後方用周辺撮影カメラ
２３ 左側方用周辺撮影カメラ
２４ 右側方用周辺撮影カメラ
３０ 記憶装置
４０ 俯瞰映像生成装置
４１ 映像取得部
４２ 周辺情報取得部
４３ 車両情報取得部
４４ 制御部
４４ａ 俯瞰映像生成部
４４ｂ 表示制御部
１０１ 表示パネル
１０３ 地図情報記憶部
１０５ 方向指示器操作検出部
１０６ ギア操作検出部
１０８ 角速度センサ
１０９ 車速センサ（車速取得部）
Ａ 仮想自車両画像
Ｂ 俯瞰映像
Ｄ 旋回方向
Ｐ１ 旋回方向の外輪側の側面
Ｐ２ 旋回方向の内輪側の側面
Ｘ 障害物
Ｖ 車両

Claims (9)

1. 車両の周辺を撮影した周辺映像を取得する映像取得部と、
   前記車両の周辺情報を取得する周辺情報取得部と、
   前記車両の旋回方向への移動を推定するための車両情報を取得する車両情報取得部と、
   前記周辺映像に基づき、前記車両を示す仮想自車両画像を含み前記車両を上方から見下ろした俯瞰映像を生成し、前記周辺情報取得部で取得した前記周辺情報と前記車両情報取得部で取得した前記車両情報とに基づいて、前記車両の旋回方向への移動が推定され、前記車両の周辺に前記車両の旋回方向への移動時に注意すべき情報が存在する場合、前記仮想自車両画像における前記旋回方向の外輪側の側面が内輪側の側面よりも上側に位置する向きとなるように傾けた状態の俯瞰映像を生成する制御部と
   を有することを特徴とする俯瞰映像生成装置。
2. 前記周辺情報取得部は、前記車両の周辺情報として前記車両の周辺における障害物情報または前記車両が走行中の道路の幅員情報を取得し、
   前記制御部は、前記車両の旋回方向への移動時に前記車両との距離が所定未満となる障害物が存在する場合、または前記車両の旋回方向への移動時に通過する道路の幅員が所定値より小さい場合、前記車両の旋回方向への移動時に注意すべき情報が存在すると判断することを特徴とする請求項１に記載の俯瞰映像生成装置。
3. 前記制御部は、前記俯瞰映像を拡大した俯瞰映像を生成することを特徴とする請求項１または２に記載の俯瞰映像生成装置。
4. 前記制御部は、前記旋回方向において前記車両が移動する方向とは反対の方向に、前記仮想自車両画像を寄せて位置させた状態の俯瞰映像を生成することを特徴とする請求項１から３のいずれか一項に記載の俯瞰映像生成装置。
5. 前記車両の車速を取得する車速取得部と
   を有し、
   前記制御部は、前記車速取得部で取得した前記車速に基づいて、前記車速が所定値より小さい場合、前記仮想自車両画像における前記旋回方向の外輪側の側面が内輪側の側面よりも上側に位置する向きとなるように傾けた状態の俯瞰映像を生成することを特徴とする請求項１から４のいずれか一項に記載の俯瞰映像生成装置。
6. 前記車両情報取得部は、前記車両の目的地に対する経路案内情報と前記車両の現在地情報と前記車両の方向指示器操作情報と前記車両のギア操作情報と前記車両の角速度との少なくともいずれか一つを前記車両の旋回方向への移動を推定するための車両情報として取得し、
   前記制御部は、前記車両の目的地に対する経路案内情報と前記車両の現在地情報と前記車両の方向指示器操作情報と前記車両のギア操作情報と前記車両の角速度との少なくともいずれか一つに基づいて、前記車両の旋回方向への移動を推定することを特徴とする請求項１から５のいずれか一項に記載の俯瞰映像生成装置。
7. 請求項１から６のいずれか一項に記載の俯瞰映像生成装置と、
   前記車両の周辺を撮影し前記映像取得部に周辺映像を供給する撮影部と
   を有することを特徴とする俯瞰映像生成システム。
8. 車両の周辺を撮影した周辺映像を取得する映像取得ステップと、
   前記車両の周辺情報を取得する周辺情報取得ステップと、
   前記車両の旋回方向への移動を推定するための車両情報を取得する車両情報取得ステップと、
   前記映像取得ステップで取得した前記周辺映像に基づき、前記車両を示す仮想自車両画像を含み前記車両を上方から見下ろした俯瞰映像を生成し、前記周辺情報取得ステップで取得した前記周辺情報と前記車両情報取得ステップで取得した前記車両情報とに基づいて、前記車両の旋回方向への移動が推定され、前記車両の周辺に前記車両の旋回方向への移動時に注意すべき情報が存在する場合、前記仮想自車両画像における前記旋回方向の外輪側の側面が内輪側の側面よりも上側に位置する向きとなるように傾けた状態の俯瞰映像を生成する制御ステップと
   を含む俯瞰映像生成方法。
9. 車両の周辺を撮影した周辺映像を取得する映像取得ステップと、
   前記車両の周辺情報を取得する周辺情報取得ステップと、
   前記車両の旋回方向への移動を推定するための車両情報を取得する車両情報取得ステップと、
   前記映像取得ステップで取得した前記周辺映像に基づき、前記車両を示す仮想自車両画像を含み前記車両を上方から見下ろした俯瞰映像を生成し、前記周辺情報取得ステップで取得した前記周辺情報と前記車両情報取得ステップで取得した前記車両情報とに基づいて、前記車両の旋回方向への移動が推定され、前記車両の周辺に前記車両の旋回方向への移動時に注意すべき情報が存在する場合、前記仮想自車両画像における前記旋回方向の外輪側の側面が内輪側の側面よりも上側に位置する向きとなるように傾けた状態の俯瞰映像を生成する制御ステップと
   を俯瞰映像生成装置として動作するコンピュータに実行させるためのプログラム。

Images