JP2017114237A - 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム - Google Patents

Abstract

【課題】適切に車両周辺の確認可能とすること。【解決手段】車両の周辺を撮影した周辺映像を取得する映像取得部４１と、前記車両の旋回方向への移動を推定する車両情報を取得する車両情報取得部４２と、車両情報取得部４２で取得した車両情報に基づいて、車両の旋回方向への移動が推定された場合、旋回方向において車両が移動する方向とは反対の方向に、車両を寄せて位置させた状態で、車両を上方から見下ろした車両の仮想自車両画像Ａを含む俯瞰映像Ｂを生成する制御部４３とを有する。生成された俯瞰映像Ｂは、表示制御部４３ｂにより表示パネル１０１に表示される。【選択図】図２

Description

本発明は、俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラムに関する。

車両の俯瞰映像を車両画像と共に表示する車両周辺表示装置に関する技術が知られている（例えば、特許文献１参照）。この技術は、車両が前進から後退に切り替わったとき、車両画像よりも後方について俯瞰映像の表示領域を広げる。

特開２０１５−０７６６４５号公報

ところで、車両の運転者は、右左折時または車線変更時に、サイドミラーとバックミラーとによる確認と目視による確認とで、後方を含めた車両周辺を確認する。しかしながら、サイドミラーとバックミラーとによる確認と目視による確認とでは、車両周辺に死角が生じやすい。そこで、適切に車両周辺の確認を可能とする技術が望まれている。

本発明は、上記に鑑みてなされたものであって、適切に車両周辺の確認を可能とすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る俯瞰映像生成装置は、車両の周辺を撮影した周辺映像を取得する映像取得部と、前記車両の旋回方向への移動を推定する車両情報を取得する車両情報取得部と、前記車両情報取得部で取得した前記車両情報に基づいて、前記車両の旋回方向への移動が推定された場合、前記旋回方向において前記車両が移動する方向とは反対の方向に、前記車両を寄せて位置させた状態で、前記車両を上方から見下ろした前記車両の仮想自車両画像を含む俯瞰映像を生成する制御部とを有することを特徴とする。

本発明に係る俯瞰映像生成システムは、上記の俯瞰映像生成装置と、前記車両の周辺を撮影し前記映像取得部に周辺映像を供給する撮影部とを有することを特徴とする。

本発明に係る俯瞰映像生成方法は、車両の周辺を撮影した周辺映像を取得する映像取得ステップと、前記車両の旋回方向への移動を推定する車両情報を取得する車両情報取得ステップと、前記車両情報取得ステップで取得した前記車両情報に基づいて、前記車両の旋回方向への移動が推定された場合、前記旋回方向において前記車両が移動する方向とは反対の方向に、前記車両を寄せて位置させた状態で、前記車両を上方から見下ろした前記車両の仮想自車両画像を含む俯瞰映像を生成する制御ステップとを含む。

本発明に係るプログラムは、車両の周辺を撮影した周辺映像を取得する映像取得ステップと、前記車両の旋回方向への移動を推定する車両情報を取得する車両情報取得ステップと、前記車両情報取得ステップで取得した前記車両情報に基づいて、前記車両の旋回方向への移動が推定された場合、前記旋回方向において前記車両が移動する方向とは反対の方向に、前記車両を寄せて位置させた状態で、前記車両を上方から見下ろした前記車両の仮想自車両画像を含む俯瞰映像を生成する制御ステップとを俯瞰映像生成装置として動作するコンピュータに実行させる。

本発明によれば、適切に車両周辺の確認を可能とすることができるという効果を奏する。

図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。 図２は、第一実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。 図３は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。 図４は、第二実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。 図５は、第三実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。 図６は、第四実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。 図７は、第四実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。 図８は、第四実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。 図９は、第五実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。 図１０は、第五実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。 図１１は、第六実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。 図１２は、第六実施形態に係る俯瞰映像生成システムの左後方周辺撮影カメラと右後方周辺撮影カメラで撮影する範囲を示す平面図である。 図１３は、第六実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。 図１４は、俯瞰映像生成システムの他の構成例を示すブロック図である。 図１５は、俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。 図１６は、俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。 図１７は、俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。

以下に添付図面を参照して、本発明に係る俯瞰映像生成装置４０、俯瞰映像生成システム１、俯瞰映像生成方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

［第一実施形態］
図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。俯瞰映像生成システム１は、車両１００の俯瞰映像Ｂ（図３参照）を生成する。

まず、車両について説明する。車両１００は、図１に示すように、俯瞰映像生成システム１と、表示パネル１０１と、地図情報記憶部１０２と、現在地情報検出部１０３と、方向指示器操作検出部１０４と、ギア操作検出部１０５と、ステアリング操作検出部１０６と、角速度センサ１０７とを有する。本実施形態では、俯瞰映像生成システム１に、表示パネル１０１と、地図情報記憶部１０２と、現在地情報検出部１０３と、方向指示器操作検出部１０４と、ギア操作検出部１０５と、ステアリング操作検出部１０６と、角速度センサ１０７とを含めていないが、各部を俯瞰映像生成システム１に含めてもよい。俯瞰映像生成システム１は、車両１００に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。

表示パネル１０１は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）または有機ＥＬ（Organic Electro-Luminescence）ディスプレイを含むディスプレイである。表示パネル１０１は、俯瞰映像生成システム１の俯瞰映像生成装置４０から出力された映像信号に基づいて、俯瞰映像を表示する。表示パネル１０１は、俯瞰映像生成システム１に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。表示パネル１０１は、運転者から視認容易な位置に配置されている。

地図情報記憶部１０２は、地図情報を記憶する。地図情報は、例えば、交差点を含む道路地図である。地図情報は、複数車線を有する道路においては車線情報を含んでもよい。地図情報は、目的地に対する経路案内情報を含んでもよい。経路案内情報は、例えば、交差点における右左折情報と複数車線を有する道路の交差点付近における車線変更情報とを含んでもよい。地図情報記憶部１０２は、記憶している地図情報を俯瞰映像生成システム１の俯瞰映像生成装置４０の車両情報取得部４２へ出力する。

現在地情報検出部１０３は、車両１００の現在地を検出する。現在地情報検出部１０３は、例えば、ＧＰＳ（Global Positioning System）受信機である。現在地情報検出部１０３は、取得した車両１００の現在地情報を俯瞰映像生成システム１の俯瞰映像生成装置４０の車両情報取得部４２へ出力する。

方向指示器操作検出部１０４は、方向指示器に対する操作を検出する。より詳しくは、方向指示器操作検出部１０４は、例えば、方向指示器を操作するスイッチに対する操作を方向指示器操作情報として検出する。方向指示器操作検出部１０４は、検出した方向指示器操作情報を俯瞰映像生成システム１の俯瞰映像生成装置４０の車両情報取得部４２へ出力する。

ギア操作検出部１０５は、ギアに対する操作を検出する。より詳しくは、ギア操作検出部１０５は、ギアに対する選択操作をギア操作情報として検出する。ギア操作検出部１０５は、検出したギア操作情報を俯瞰映像生成システム１の俯瞰映像生成装置４０の車両情報取得部４２へ出力する。

ステアリング操作検出部１０６は、ステアリングホイールに対する操作を検出する。より詳しくは、ステアリング操作検出部１０６は、ステアリングホイールの操作角度をステアリング操作情報として検出する。ステアリング操作検出部１０６は、検出したステアリング操作情報を俯瞰映像生成システム１の俯瞰映像生成装置４０の車両情報取得部４２へ出力する。

角速度センサ１０７は、車両１００の角速度を検出する。角速度センサ１０７は、例えばジャイロセンサである。角速度センサ１０７は、検出した角速度を俯瞰映像生成システム１の俯瞰映像生成装置４０の車両情報取得部４２へ出力する。

俯瞰映像生成システム１は、第一撮影装置２０と、記憶装置３０と、俯瞰映像生成装置４０とを有する。

第一撮影装置２０は、車両１００の周辺を撮影する。第一撮影装置２０は、前方用周辺撮影カメラ２１と、後方用周辺撮影カメラ２２と、左側方用周辺撮影カメラ２３と、右側方用周辺撮影カメラ２４とを有する。第一撮影装置２０は、前方用周辺撮影カメラ２１と後方用周辺撮影カメラ２２と左側方用周辺撮影カメラ２３と右側方用周辺撮影カメラ２４とで、車両１００の全方位を撮影する。第一撮影装置２０は、前方用周辺撮影カメラ２１と後方用周辺撮影カメラ２２と左側方用周辺撮影カメラ２３と右側方用周辺撮影カメラ２４とで撮影した映像を俯瞰映像生成装置４０の映像取得部４１へ出力する。

前方用周辺撮影カメラ２１は、車両１００の前方に配置され、車両１００の前方を中心とした周辺を撮影する。前方用周辺撮影カメラ２１は、撮影した映像を俯瞰映像生成装置４０の映像取得部４１へ出力する。

後方用周辺撮影カメラ２２は、車両１００の後方に配置され、車両１００の後方を中心とした周辺を撮影する。後方用周辺撮影カメラ２２は、撮影した映像を俯瞰映像生成装置４０の映像取得部４１へ出力する。

左側方用周辺撮影カメラ２３は、車両１００の左側方に配置され、車両１００の左側方を中心とした周辺を撮影する。左側方用周辺撮影カメラ２３は、撮影した映像を俯瞰映像生成装置４０の映像取得部４１へ出力する。

右側方用周辺撮影カメラ２４は、車両１００の右側方に配置され、車両１００の右側方を中心とした周辺を撮影する。右側方用周辺撮影カメラ２４は、撮影した映像を俯瞰映像生成装置４０の映像取得部４１へ出力する。

記憶装置３０は、俯瞰映像生成装置４０における各種処理に要するデータおよび各種処理結果を記憶する。記憶装置３０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。

俯瞰映像生成装置４０は、例えば、ＣＰＵ（Central Processing Unit）などで構成された演算処理装置である。俯瞰映像生成装置４０は、記憶装置３０に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。俯瞰映像生成装置４０は、映像取得部４１と、車両情報取得部４２と、俯瞰映像生成部４３ａと表示制御部４３ｂとを含む制御部４３と、を有する。

映像取得部４１は、車両１００の周辺を撮影した周辺映像を取得する。より詳しくは、映像取得部４１は、第一撮影装置２０の前方用周辺撮影カメラ２１と後方用周辺撮影カメラ２２と左側方用周辺撮影カメラ２３と右側方用周辺撮影カメラ２４とが出力した映像を取得する。映像取得部４１は、取得した映像を俯瞰映像生成部４３ａに出力する。

車両情報取得部４２は、車両１００の旋回方向への移動を推定する車両情報を取得する。車両１００の旋回方向への移動を推定する情報とは、車両１００の周辺の地図情報と車両１００の現在地情報と車両１００の方向指示器操作情報と車両１００のギア操作情報と車両１００のステアリング操作情報と車両１００の角速度との少なくともいずれか一つの車両情報などである。より詳しくは、車両情報取得部４２は、地図情報記憶部１０２と現在地情報検出部１０３と方向指示器操作検出部１０４とギア操作検出部１０５とステアリング操作検出部１０６と角速度センサ１０７との少なくともいずれか一つが出力した車両情報を取得する。車両情報取得部４２は、取得した車両情報を表示制御部４３ｂに出力する。

制御部４３は、車両１００を上方から見た仮想自車両画像Ａと、映像取得部４１で取得した映像を、車両１００の上方から見た映像に視点変換して、俯瞰映像Ｂを生成する俯瞰映像生成部４３ａと、俯瞰映像生成部４３ａで生成した映像を加工し、表示パネル１０１に送る表示制御部４３ｂとを含む。制御部４３は、俯瞰映像生成部４３ａで生成した映像を加工し、表示パネル１０１に送る。例えば、制御部４３は、俯瞰映像生成部４３ａで生成した俯瞰映像Ｂを、表示制御部４３ｂで仮想自車両画像Ａを寄せて表示パネル１０１に表示されるように加工し、表示パネル１０１に送る。また、制御部４４は、俯瞰映像生成部４３ａで生成した俯瞰映像Ｂを、表示制御部４３ｂで仮想自車両画像Ａを寄せておよび縮小して表示パネル１０１に表示されるように加工し、表示パネル１０１に送る。

俯瞰映像生成部４３ａは、前方用周辺撮影カメラ２１と後方用周辺撮影カメラ２２と左側方用周辺撮影カメラ２３と右側方用周辺撮影カメラ２４とで撮影した映像に基づいて、俯瞰映像Ｂを生成する。俯瞰映像Ｂを生成する方法は、公知のいずれの方法でもよく、限定されない。俯瞰映像Ｂには、仮想自車両画像Ａ、および、前方映像Ｂ１と後方映像Ｂ２と左側方映像Ｂ３と右側方映像Ｂ４との少なくともいずれか一つを含む。俯瞰映像Ｂは、矩形状のフレームＦ内に生成される。フレームＦは、前方映像Ｂ１を表示する第一フレームＦ１と、後方映像Ｂ２を表示する第二フレームＦ２と、左側方映像Ｂ３を表示する第三フレームＦ３と、右側方映像Ｂ４を表示する第四フレームＦ４との少なくともいずれか一つを含む。俯瞰映像生成部４３ａは、生成した俯瞰映像Ｂを表示制御部４３ｂに出力する。

表示制御部４３ｂは、車両情報取得部４２で取得した車両情報に基づいて、車両１００の旋回方向（左右方向）の移動が推定された場合、旋回方向において車両１００が移動する方向とは反対の方向に、車両１００を寄せて位置させた状態で、車両１００を上方から見下ろした仮想自車両画像Ａを含む俯瞰映像Ｂを生成する。車両１００の旋回方向の移動とは、車両１００が走行中の道路が延びる方向（以下、「走行道路方向」という）に対して、逸れる方向の移動である。旋回方向の移動は、車両１００の前後方向の前側に向かって左右方向の移動である。例えば、右左折時や車線変更時に、車両１００は、旋回方向に移動する。車両１００の旋回方向の移動には、屈曲またはカーブしている道路に沿った車両１００の移動は含まない。表示制御部４３ｂは、例えば、走行道路方向とのズレが１５°以上となったら、逸れる方向の移動と判定するようにしてもよい。これは、走行時の多少のブレやステアリングホイールの遊びを、車両１００の旋回方向の移動として判定しないためである。

次に、図２を用いて、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。図２は、俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。

表示制御部４３ｂは、旋回方向の移動が推定されるか否かを判定する（ステップＳ１１）。より詳しくは、表示制御部４３ｂは、車両情報取得部４２で取得した、車両１００の周辺の地図情報と車両１００の現在地情報と車両１００の方向指示器操作情報と車両１００のギア操作情報と車両１００のステアリング操作情報と車両１００の角速度との少なくともいずれか一つの車両情報に基づいて、車両１００の旋回方向の移動が推定されるか否かを判定する。

表示制御部４３ｂが、車両情報取得部４２で取得した車両１００の周辺の地図情報と車両１００の現在地情報とに基づいて、車両１００の旋回方向の移動が推定されるか否かを判定する場合について説明する。例えば、表示制御部４３ｂは、車両１００の周辺の地図情報と車両１００の現在地情報とに基づいて、車両１００が経路案内情報で右左折が予定されている交差点の所定距離内に近づいた場合、車両１００の旋回方向の移動が推定されると判定する。所定距離は、例えば、５ｍとしてもよい。例えば、表示制御部４３ｂは、車両１００の周辺の地図情報と車両１００の現在地情報とに基づいて、車両１００が経路案内情報で車線変更が予定されている地点の所定距離内に近づいた場合、車両１００の旋回方向の移動が推定されると判定する。所定距離は、例えば、５ｍとしてもよい。表示制御部４３ｂは、車両１００の旋回方向の移動が推定されると判定した際に、推定した車両１００の移動方向を記憶装置３０に記憶する。

表示制御部４３ｂが、車両情報取得部４２で取得した方向指示器操作情報に基づいて、車両１００の旋回方向の移動が推定されるか否かを判定する場合について説明する。例えば、表示制御部４３ｂは、方向指示器操作情報に基づいて、方向指示器が操作された場合、車両１００の旋回方向の移動が推定されると判定する。表示制御部４３ｂは、車両１００の旋回方向の移動が推定されると判定した際に、推定した車両１００の移動方向を記憶装置３０に記憶する。

表示制御部４３ｂが、車両情報取得部４２で取得したギア操作情報とステアリング操作情報とに基づいて、車両１００の旋回方向の移動が推定されるか否かを判定する場合について説明する。例えば、表示制御部４３ｂは、ギア操作情報とステアリング操作情報との少なくともいずれか一方に基づいて、ステアリングホイールが操作された場合、または、リバースギアが選択されて、かつ、ステアリングホイールが操作された場合、車両１００の旋回方向の移動が推定されると判定する。表示制御部４３ｂは、車両１００の旋回方向の移動が推定されると判定した際に、推定した車両１００の移動方向を記憶装置３０に記憶する。

表示制御部４３ｂが、車両情報取得部４２で取得した車両１００の周辺の地図情報と車両１００の現在地情報、および、ステアリング操作情報と車両１００の角速度との少なくともいずれか一方に基づいて、車両１００の旋回方向の移動が推定されるか否かを判定する場合について説明する。例えば、表示制御部４３ｂは、車両１００の周辺の地図情報と車両１００の現在地情報、および、ステアリング操作情報と車両１００の角速度との少なくともいずれか一方に基づいて、走行道路方向に対して逸れる方向にステアリング操作がされた場合、または、走行道路方向に対して逸れる方向に角速度が変化した場合、車両１００の旋回方向の移動が推定されると判定する。例えば、走行道路方向とのズレが１５°以上となったら、逸れる方向の移動と判定するようにしてもよい。このように、車両１００の周辺の地図情報と車両１００の現在地情報、および、ステアリング操作情報と車両１００の角速度との少なくともいずれか一方を組み合わせて判定するのは、例えば、屈曲またはカーブしている道路に沿ってステアリング操作がされたり、角速度が変化したりした場合に、誤って車両１００の旋回方向の移動が推定されると判定しないためである。表示制御部４３ｂは、車両１００の旋回方向の移動が推定されると判定した際に、推定した車両１００の移動方向を記憶装置３０に記憶する。

表示制御部４３ｂが、車両情報取得部４２で取得した車両１００の周辺の地図情報と車両１００の現在地情報、および、方向指示器操作情報とステアリング操作情報と車両１００の角速度との少なくともいずれか一つに基づいて、車両１００の旋回方向の移動が推定されるか否かを判定する場合について説明する。例えば、表示制御部４３ｂは、車両１００の周辺の地図情報と車両１００の現在地情報、および、方向指示器操作情報とステアリング操作情報と車両１００の角速度との少なくともいずれか一つに基づいて、車両１００が経路案内情報で右左折が予定されている交差点の所定距離内に近づいた場合で、かつ、方向指示器が操作された場合、または、走行道路方向に対して逸れる方向にステアリング操作がされた場合、または、走行道路方向に対して逸れる方向に角速度が変化した場合、車両１００の旋回方向の移動が推定されると判定する。所定距離は、例えば、５ｍとしてもよい。例えば、走行道路方向とのズレが１５°以上となったら、逸れる方向の移動と判定するようにしてもよい。例えば、表示制御部４３ｂは、車両１００の周辺の地図情報と車両１００の現在地情報、および、方向指示器操作情報とステアリング操作情報と車両１００の角速度との少なくともいずれか一つに基づいて、車両１００が経路案内情報で車線変更が予定されている地点の所定距離内に近づいた場合で、かつ、方向指示器が操作された場合、または、走行道路方向に対して逸れる方向にステアリング操作がされた場合、または、走行道路方向に対して逸れる方向に角速度が変化した場合、車両の旋回方向の移動が推定されると判定する。所定距離は、例えば、５ｍとしてもよい。例えば、走行道路方向とのズレが１５°以上となったら、逸れる方向の移動と判定するようにしてもよい。このように、車両１００の周辺の地図情報と車両１００の現在地情報、および、方向指示器操作情報とステアリング操作情報と車両１００の角速度との少なくともいずれか一つを組み合わせて判定するのは、例えば、経路案内では右左折や車線変更が案内されているものの、運転者が経路案内に従わないで直進する場合に、誤って車両１００が旋回方向に移動すると推定しないためである。表示制御部４３ｂは、車両１００の旋回方向の移動が推定されると判定した際に、推定した車両１００の移動方向を記憶装置３０に記憶する。

表示制御部４３ｂは、車両１００の旋回方向の移動が推定されていない場合（ステップＳ１１でＮｏ）、ステップＳ１２に進む。

表示制御部４３ｂは、車両１００が旋回方向に移動すると推定した場合（ステップＳ１１でＹｅｓ）、ステップＳ１３に進む。

表示制御部４３ｂは、仮想自車両画像Ａを中央に位置させた、通常の俯瞰映像Ｂを生成する（ステップＳ１２）。より詳しくは、表示制御部４３ｂは、車両１００を中央に位置させた状態で、車両１００を上方から見下ろした仮想自車両画像Ａを含む俯瞰映像Ｂを生成する。この俯瞰映像Ｂは、仮想自車両画像Ａの中心ＣがフレームＦの中央に位置する。

表示制御部４３ｂは、車両１００の移動方向を取得する（ステップＳ１３）。表示制御部４３ｂは、ステップＳ１１で記憶装置３０に記憶した車両１００の移動方向を取得する。

表示制御部４３ｂは、仮想自車両画像Ａをずらして位置させた状態で表示パネル１０１に表示される俯瞰映像Ｂを生成する（ステップＳ１４）。より詳しくは、表示制御部４３ｂは、旋回方向において車両１００の移動方向と反対の方向に、車両１００を寄せて位置させた状態で、車両１００を上方から見下ろした仮想自車両画像Ａを含む俯瞰映像Ｂを生成する。本実施形態では、表示制御部４３ｂは、旋回方向において車両１００の移動方向とは反対の方向で、かつ、フレームＦの上側に、車両１００を寄せて位置させた状態で、車両１００を上方から見下ろした仮想自車両画像Ａを含む俯瞰映像Ｂを生成する。

より詳しくは、まず、表示制御部４３ｂは、車両１００の移動方向が、走行道路方向に対して、左右どちらの方向に位置するかを判定する。表示制御部４３ｂは、車両１００の移動方向を右方向と判定した場合、俯瞰映像Ｂにおいて、仮想自車両画像ＡをフレームＦの左上に位置させる。この場合、仮想自車両画像Ａの中心線ＬＡは、フレームＦの中心線ＬＦよりも左側に位置する。仮想自車両画像Ａの中心Ｃは、フレームＦの上側に位置する。表示制御部４３ｂは、車両１００の移動方向を左方向と判定した場合、俯瞰映像Ｂにおいて、仮想自車両画像ＡをフレームＦの右上に位置させる。この場合、仮想自車両画像Ａの中心線ＬＡは、フレームＦの中心線ＬＦよりも右側に位置する。仮想自車両画像Ａの中心Ｃは、フレームＦの上側に位置する。そして、表示制御部４３ｂは、仮想自車両画像ＡをフレームＦの左上または右上に位置させた俯瞰映像Ｂを生成する。これにより、仮想自車両画像ＡがフレームＦの左上に位置している場合、俯瞰映像Ｂには、仮想自車用画像Ａの右側が広く表示される。仮想自車両画像ＡがフレームＦの右上に位置している場合、俯瞰映像Ｂには、仮想自車用画像Ａの左側が広く表示される。仮想自車用画像Ａは車両Ｖを示しているため、車両Ｖの周辺において、旋回方向への移動時に注意すべき情報が表示される範囲を広く表示することができる。

本実施形態では、車両１００の移動方向が左方向であり、図３に示すように、俯瞰映像Ｂは、仮想自車両画像ＡがフレームＦの右上に位置している。図３は、俯瞰映像生成システムで生成した俯瞰映像を示す図である。俯瞰映像Ｂは、仮想自車両画像Ａと、広い範囲の後方映像Ｂ２と左側方映像Ｂ３と、狭い範囲の前方映像Ｂ１と右側方映像Ｂ４とを含む。フレームＦは、第二フレームＦ２と第三フレームＦ３とを広く含み、第一フレームＦ１と第四フレームＦ４とを狭く含む。このように、俯瞰映像Ｂには、車両１００の移動方向である左側が広く表示される。

表示制御部４３ｂは、車両１００の旋回方向に移動が完了した場合、仮想自車両画像Ａを元の状態に復帰した俯瞰映像Ｂを生成する。

表示制御部４３ｂは、車両情報取得部４２で取得した車両１００の周辺の地図情報と車両１００の現在地情報とに基づいて、車両１００の旋回方向への移動を推定した場合について説明する。例えば、表示制御部４３ｂは、車両１００の周辺の地図情報と車両１００の現在地情報とに基づいて、車両１００が経路案内情報で右左折が予定されている交差点から所定距離以上に離れた場合、車両１００の旋回方向の移動が完了したと判定する。所定距離は、例えば、５ｍとしてもよい。例えば、表示制御部４３ｂは、車両１００の周辺の地図情報と車両１００の現在地情報とに基づいて、車両１００が経路案内情報で車線変更が予定されている地点から所定距離以上に離れた場合、車両１００の旋回方向の移動が完了したと判定する。所定距離は、例えば、５ｍとしてもよい。

表示制御部４３ｂが、車両情報取得部４２で取得した方向指示器操作情報に基づいて、車両１００の旋回方向への移動を推定した場合について説明する。例えば、表示制御部４３ｂは、方向指示器操作情報に基づいて、方向指示器の操作が解除された場合、車両１００の旋回方向の移動が完了したと判定する。

表示制御部４３ｂが、車両情報取得部４２で取得したギア操作情報とステアリング操作情報とに基づいて、車両１００の旋回方向への移動を推定した場合について説明する。例えば、表示制御部４３ｂは、ギア操作情報とステアリング操作情報との少なくともいずれか一方に基づいて、ステアリングホイールが復帰方向に操作された場合、または、リバースギアの選択が解除されて、かつ、ステアリングホイールが復帰方向に操作された場合、車両１００の旋回方向の移動が完了したと判定する。

表示制御部４３ｂが、車両情報取得部４２で取得した車両１００の周辺の地図情報と車両１００の現在地情報、および、ステアリング操作情報と車両１００の角速度との少なくともいずれか一方に基づいて、車両１００の旋回方向への移動を推定した場合について説明する。例えば、表示制御部４３ｂは、車両１００の周辺の地図情報と車両１００の現在地情報、および、ステアリング操作情報と車両１００の角速度との少なくともいずれか一方に基づいて、ステアリングホイールが復帰方向に操作がされた場合、または、角速度が復帰方向に変化した場合、車両１００の旋回方向の移動が完了したと判定する。

表示制御部４３ｂが、車両情報取得部４２で取得した車両１００の周辺の地図情報と車両１００の現在地情報、および、方向指示器操作情報とステアリング操作情報と車両の角速度との少なくともいずれか一つに基づいて、車両１００の旋回方向への移動を推定した場合について説明する。例えば、表示制御部４３ｂは、車両１００の周辺の地図情報と車両１００の現在地情報、および、方向指示器操作情報とステアリング操作情報と車両１００の角速度との少なくともいずれか一つに基づいて、車両１００が経路案内情報で右左折が予定されている交差点から所定距離以上離れた場合で、かつ、方向指示器の操作が解除された場合、または、ステアリングホイールが復帰方向に操作された場合、または、角速度が復帰方向に変化した場合、車両１００の旋回方向の移動が完了したと判定する。所定距離は、例えば、５ｍとしてもよい。例えば、表示制御部４３ｂは、車両１００の周辺の地図情報と車両１００の現在地情報、および、方向指示器操作情報とステアリング操作情報と車両１００の角速度との少なくともいずれか一つに基づいて、車両１００が経路案内情報で車線変更が予定されている地点から所定距離以上離れた場合で、かつ、方向指示器の操作が解除された場合、または、ステアリングホイールが復帰方向に操作された場合、または、角速度が復帰方向に変化した場合、車両１００の旋回方向の移動が完了したと判定する。所定距離は、例えば、５ｍとしてもよい。

このような場合に、表示制御部４３ｂは、車両１００の旋回方向に移動が完了したと判定して、仮想自車両画像Ａを元の状態に復帰した俯瞰映像Ｂを生成する。

このようにして、俯瞰映像生成システム１は、俯瞰映像Ｂを生成して、俯瞰映像生成システム１の外部の表示パネル１０１に映像信号を出力する。外部の表示パネル１０１は、俯瞰映像生成システム１から出力された映像信号に基づいて、例えば、ナビゲーション画面とともに俯瞰映像Ｂを表示する。

上述したように、本実施形態に係る俯瞰映像生成システム１は、車両情報取得部４２で取得した車両情報に基づいて、車両１００の旋回方向の移動が推定される場合、旋回方向において車両１００の移動方向とは反対の方向に、車両１００を寄せて位置させた状態で、車両１００を上方から見下ろした仮想自車両画像Ａを含む俯瞰映像Ｂを生成することができる。これにより、例えば、車両１００の移動方向が左方向の場合、俯瞰映像Ｂは、車両１００の移動方向である左側を広く表示することができる。例えば、車両１００の移動方向が右方向の場合、俯瞰映像Ｂは、車両１００の移動方向である右側を広く表示することができる。このようにして、俯瞰映像Ｂには、車両１００の移動方向を広く表示することができる。このように、俯瞰映像生成システム１は、車両１００の旋回方向の移動に応じて、車両周辺の、より具体的には、車両１００の旋回方向への移動時に注意すべき情報をより適切に確認可能とすることができる。

［第二実施形態］
図４を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図４は、本実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。俯瞰映像生成システム１は、基本的な構成は第一実施形態の俯瞰映像生成システム１と同様である。以下の説明においては、俯瞰映像生成システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成装置４０における処理が、第一実施形態の俯瞰映像生成システム１と異なる。

表示制御部４３ｂは、図２に示すフローチャートのステップＳ１４で、仮想自車両画像Ａをずらして位置させた俯瞰映像Ｂを生成する際に、車両１００のサイドミラーＭより後方の俯瞰映像Ｂを生成する。より詳しくは、表示制御部４３ｂは、俯瞰映像Ｂにおいて、仮想自車両画像ＡをフレームＦの左上または右上に位置させる際に、車両１００のサイドミラーＭより後方がフレームＦに収まる位置に位置させる。

本実施形態では、車両１００の移動方向が左方向であり、図４に示すように、俯瞰映像Ｂは、仮想自車両画像ＡがフレームＦの右上に、車両１００のサイドミラーＭより後方がフレームＦに収まる位置に位置している。俯瞰映像Ｂは、仮想自車両画像ＡのサイドミラーＭより後方と、広い範囲の後方映像Ｂ２と左側方映像Ｂ３と、狭い範囲の右側方映像Ｂ４とを含む。フレームＦは、第二フレームＦ２と第三フレームＦ３とを広く含み、第四フレームＦ４を狭く含み、第一フレームＦ１を含まない。このように、俯瞰映像Ｂには、車両１００の移動方向である左側と後方とが広く表示される。

上述したように、本実施形態に係る俯瞰映像生成システム１は、車両１００のサイドミラーＭより後方の俯瞰映像Ｂを生成することができる。このため、俯瞰映像生成システム１は、車両１００の移動方向と後方とをより広く表示することができる。このような表示とすることで、サイドミラーＭによる目視範囲と俯瞰映像Ｂとして表示される範囲の起点が一致し、サイドミラーＭによる目視範囲および死角に対する俯瞰映像Ｂの位置関係が把握しやすい。このように、俯瞰映像生成システム１は、車両１００の旋回方向の移動に応じて、車両周辺の、より具体的には、車両１００の旋回方向への移動時に注意すべき情報をより適切に確認可能とすることができる。

［第三実施形態］
図５を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図５は、本実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成装置４０における処理が、第一実施形態の俯瞰映像生成システム１と異なる。

表示制御部４３ｂは、図２に示すフローチャートのステップＳ１４で、仮想自車両画像Ａをずらして位置させた俯瞰映像Ｂを生成する際に、仮想自車両画像Ａを縮小した俯瞰映像Ｂを生成する。より詳しくは、表示制御部４３ｂは、俯瞰映像Ｂにおいて、仮想自車両画像ＡをフレームＦの左上または右上に位置させる際に、仮想自車両画像Ａを縮小する。ここでいう仮想自車両画像Ａの縮小表示とは、俯瞰映像Ｂをより広範囲に表示することで図３に対して相対的に仮想自車両画像Ａが小さく表示されることである。

本実施形態では、車両１００の移動方向が左方向であり、図５に示すように、俯瞰映像Ｂは、車両１００がフレームＦの右上に図３よりも小さく表示されている。俯瞰映像Ｂは、縮小した仮想自車両画像Ａと、広い範囲の後方映像Ｂ２と左側方映像Ｂ３と、狭い範囲の前方映像Ｂ１と右側方映像Ｂ４とを含む。フレームＦは、第二フレームＦ２と第三フレームＦ３とをより広く含み、第一フレームＦ１と第四フレームＦ４とを狭く含む。このように、俯瞰映像Ｂには、車両１００の移動方向である左側と後方とがより広く表示される。

上述したように、本実施形態に係る俯瞰映像生成システム１は、仮想自車両画像Ａを縮小した俯瞰映像Ｂを生成することができる。このため、俯瞰映像生成システム１は、車両１００の移動方向と後方とをより広く表示することができる。このように、俯瞰映像生成システム１は、車両１００の旋回方向の移動に応じて、車両周辺の、より具体的には、車両１００の旋回方向への移動時に注意すべき情報をより適切に確認可能とすることができる。

［第四実施形態］
図６ないし図８を参照しながら、本実施形態に係る俯瞰映像生成システム１Ａについて説明する。図６は、本実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。本実施形態の俯瞰映像生成システム１Ａは、俯瞰映像生成装置４０の車両情報取得部４２が、さらに車速センサ１０８から車速を取得する点で、第一実施形態の俯瞰映像生成システム１と異なる。

車速センサ１０８は、車速を検出する。より詳しくは、車速センサ１０８は、車両１００の駆動軸またはタイヤに配置されている。車速センサ１０８は、駆動軸またはタイヤの回転に応じたパルス信号を検出する。車速センサ１０８は、検出した車速を俯瞰映像生成システム１の俯瞰映像生成装置４０の車両情報取得部４２へ出力する。

車両情報取得部４２は、さらに車速センサ１０８で出力された車速を取得する。車両情報取得部４２は、取得した車速も含む車両情報を表示制御部４３ｂに出力する。

表示制御部４３ｂは、図２に示すフローチャートのステップＳ１４で、仮想自車両画像Ａをずらして位置させた俯瞰映像Ｂを生成する際に、車両情報取得部４２で取得した車速に基づいて、車両１００が減速している状態と車両１００が加速している状態とでは、車両１００が減速している状態における俯瞰映像Ｂの方が、車両１００が移動する方向を広くした俯瞰映像Ｂを生成する。表示制御部４３ｂは、図２に示すフローチャートのステップＳ１４に進むと、図７に示すフローチャートの処理を行う。図７は、本実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。

表示制御部４３ｂは、車両１００が減速しているか否かを判定する（ステップＳ１４１１）。表示制御部４３ｂは、車両１００が減速している場合（ステップＳ１４１１でＹｅｓ）、仮想自車両画像Ａをずらして位置させ、車両１００が移動する方向を広くした俯瞰映像Ｂを生成する（ステップＳ１４１２）。より詳しくは、表示制御部４３ｂは、俯瞰映像Ｂにおいて、仮想自車両画像ＡをフレームＦの左上に位置させる際に、仮想自車両画像ＡをフレームＦの左上端に寄せて位置させる。表示制御部４３ｂは、俯瞰映像Ｂにおいて、仮想自車両画像ＡをフレームＦの右上に位置させる際に、仮想自車両画像ＡをフレームＦの右上端に寄せて位置させる。

表示制御部４３ｂは、車両１００が減速していない場合（ステップＳ１４１１でＮｏ）、仮想自車両画像Ａをずらして位置させた俯瞰映像Ｂを生成する（ステップＳ１４１３）。ステップＳ１４１３の処理は、ステップＳ１４と同様の処理である。

本実施形態では、車両１００の移動方向が左方向であり、図８に示すように、俯瞰映像Ｂは、仮想自車両画像ＡがフレームＦの右上端に寄せて表示されている。仮想自車両画像Ａの中心Ｃは、図３における仮想自車両画像Ａの中心Ｃよりも右上端寄りに位置する。俯瞰映像Ｂは、仮想自車両画像Ａと、広い範囲の後方映像Ｂ２と左側方映像Ｂ３とを含む。フレームＦは、第二フレームＦ２と第三フレームＦ３とを含み、第一フレームＦ１と第四フレームＦ４とを含まない。このように、俯瞰映像Ｂには、車両１００の移動方向である左側と後方がより広く表示される。

上述したように、本実施形態に係る俯瞰映像生成システム１Ａは、車両１００が減速している状態と車両１００が加速している状態とでは、車両１００が減速している状態における俯瞰映像Ｂの方が、車両１００が移動する方向を広くした俯瞰映像Ｂを生成することができる。このため、俯瞰映像生成システム１Ａは、車両１００の移動方向と後方とをより広く表示することができる。このように、俯瞰映像生成システム１Ａは、車両１００の旋回方向の移動に加えて、車両１００が減速しているか加速しているかに応じて、車両周辺の、より具体的には、車両１００の旋回方向への移動時に注意すべき情報をより適切に確認可能とすることができる。

［第五実施形態］
図９、図１０を参照しながら、本実施形態に係る俯瞰映像生成システム１Ａについて説明する。本実施形態の俯瞰映像生成システム１Ａは、俯瞰映像生成装置４０における処理が、第四実施形態の俯瞰映像生成システム１Ａと異なる。

表示制御部４３ｂは、図２に示すフローチャートのステップＳ１４で、仮想自車両画像Ａをずらして位置させた俯瞰映像Ｂを生成する際に、車両情報取得部４２で取得した車速に基づいて、車両１００が減速している状態と車両１００が加速している状態とでは、車両１００が加速している状態における俯瞰映像Ｂの方が、旋回方向において車両１００の移動方向とは反対の方向を広くした俯瞰映像Ｂを生成する。表示制御部４３ｂは、図２に示すフローチャートのステップＳ１４に進むと、図９に示すフローチャートの処理を行う。図９は、第五実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。

表示制御部４３ｂは、車両１００が加速しているか否かを判定する（ステップＳ１４２１）。表示制御部４３ｂは、車両１００が加速している場合（ステップＳ１４２１でＹｅｓ）、仮想自車両画像Ａをずらして位置させ、旋回方向において車両の移動方向とは反対の方向を広くした俯瞰映像Ｂを生成する（ステップＳ１４２２）。より詳しくは、表示制御部４３ｂは、俯瞰映像Ｂにおいて、仮想自車両画像ＡをフレームＦの左上に位置させる際に、仮想自車両画像ＡをフレームＦの左上端から離して位置させる。表示制御部４３ｂは、俯瞰映像Ｂにおいて、仮想自車両画像ＡをフレームＦの右上に位置させる際に、仮想自車両画像ＡをフレームＦの右上端から離して位置させる。

表示制御部４３ｂは、車両１００が加速していない場合（ステップＳ１４２１でＮｏ）、仮想自車両画像Ａをずらして位置させた俯瞰映像Ｂを生成する（ステップＳ１４２３）。ステップＳ１４２３の処理は、ステップＳ１４と同様の処理である。

本実施形態では、車両１００の移動方向が左方向であり、図１０に示すように、俯瞰映像Ｂは、仮想自車両画像ＡがフレームＦの右上端から離れて表示されている。仮想自車両画像Ａの中心Ｃは、図３における仮想自車両画像Ａの中心Ｃよりも中央寄りに位置する。フレームＦは、第二フレームＦ２と第三フレームＦ３とをより広く含み、第一フレームＦ１と第四フレームＦ４とを狭く含む。俯瞰映像Ｂは、仮想自車両画像Ａと、広い範囲の後方映像Ｂ２と左側方映像Ｂ３と、狭い範囲の前方映像Ｂ１と右側方映像Ｂ４とを含む。このように、俯瞰映像Ｂには、車両１００の移動方向である左側と後方とに加えて、移動方向と反対の方向が表示される。

上述したように、本実施形態に係る俯瞰映像生成システム１Ａは、車両１００が減速している状態と車両１００が加速している状態とでは、車両１００が加速している状態における俯瞰映像Ｂの方が、旋回方向において車両１００が移動する方向と反対の方向を広くした俯瞰映像Ｂを生成することができる。このため、俯瞰映像生成システム１Ａは、車両１００の移動方向と後方とに加えて、移動方向と反対の方向を表示することができる。これにより、車両１００が加速している状態において、運転者は、車両１００の移動方向に加えて、旋回方向において車両１００の移動方向と反対の方向も俯瞰映像Ｂで確認することができる。このように、俯瞰映像生成システム１Ａは、車両１００の旋回方向の移動に加えて、車両１００が減速しているか加速しているかに応じて、車両周辺の、より具体的には、車両１００の旋回方向への移動時に注意すべき情報をより適切に確認可能とすることができる。

［第六実施形態］
図１１ないし図１３を参照しながら、本実施形態に係る俯瞰映像生成システム１Ｂについて説明する。図１１は、第六実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。本実施形態の俯瞰映像生成システム１Ｂは、さらに第二撮影装置５０を有する点で、第一実施形態の俯瞰映像生成システム１と異なる。

第二撮影装置５０は、図１２に示すように、車両１００の左後方Ｑ１を撮影する左後方用周辺撮影カメラ５１と、右後方Ｑ２を撮影する右後方用周辺撮影カメラ５２とを有する。第二撮影装置５０は、左後方用周辺撮影カメラ５１と右後方用周辺撮影カメラ５２とで撮影した映像を俯瞰映像生成装置４０の映像取得部４１へ出力する。

左後方用周辺撮影カメラ５１は、図中の符号Ｑ１で示す領域を撮影する。符号Ｑ１で示す領域は、左折時に、運転者がサイドミラーとバックミラーによる確認と目視による確認をする際に、左後方に生じる死角を含む領域である。左後方用周辺撮影カメラ５１は、撮影した映像を俯瞰映像生成装置４０の映像取得部４１へ出力する。

右後方用周辺撮影カメラ５２は、図中の符号Ｑ２で示す領域を撮影する。符号Ｑ２で示す領域は、右折時に、運転者がサイドミラーとバックミラーによる確認と目視による確認をする際に、右後方に生じる死角を含む領域である。右後方用周辺撮影カメラ５２は、撮影した映像を俯瞰映像生成装置４０の映像取得部４１へ出力する。

映像取得部４１は、さらに左後方用周辺撮影カメラ５１と右後方用周辺撮影カメラ５２とが出力した周辺映像を取得する。映像取得部４１は、取得した左後方周辺映像と右後方周辺映像とを含む周辺映像を俯瞰映像生成部４３ａに出力する。

表示制御部４３ｂは、図２に示すフローチャートのステップＳ１４で、仮想自車両画像Ａをずらして位置させた俯瞰映像Ｂを生成する際に、映像取得部４１で取得した、車両１００が移動する方向の側部後方映像Ｂ５を生成する。表示制御部４３ｂは、フレームＦの下部に俯瞰映像Ｂを表示し、フレームＦの上部に位置する第五フレームＦ５に側部後方映像Ｂ５を表示する映像を生成する。例えば、第五フレームＦ５は、仮想自車両画像ＡのサイドミラーＭより前方に該当するフレームＦ内の位置としてもよい。例えば、第五フレームＦ５は、フレームＦの上部の三分の一など所定領域に該当するフレームＦ内の位置としてもよい。

本実施形態では、車両１００の移動方向が左方向であり、図１３に示すように、フレームＦの下部に俯瞰映像Ｂが表示され、フレームＦの上部に側部後方映像Ｂ５が表示されている。フレームＦは、第二フレームＦ２と第三フレームＦ３とをより広く含み、第四フレームＦ４を狭く含み、第一フレームＦ１は含まない。さらに、フレームＦの上部には、第五フレームＦ５を含む。第五フレームＦ５は、仮想自車両画像ＡのサイドミラーＭより前方に該当するフレームＦ内の位置である。

上述したように、本実施形態に係る俯瞰映像生成システム１Ｂは、俯瞰映像Ｂとともに、右左折時に運転者から死角となる側部後方映像Ｂ５を表示する映像を生成することができる。このため、俯瞰映像生成システム１Ｂは、車両１００の移動方向と後方とをより確実に表示することができる。これにより、運転者は、車両１００の移動方向に加えて、右左折時に運転者から死角となる領域を側部後方映像Ｂ５で確認することができる。このように、俯瞰映像生成システム１Ｂは、車両１００の旋回方向の移動に応じて、車両周辺の、より具体的には、車両１００の旋回方向への移動時に注意すべき情報をより適切に確認可能とすることができる。

さて、これまで本発明に係る俯瞰映像生成システム１について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。

図示した俯瞰映像生成システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

制御部４３は、俯瞰映像生成部４３ａが、車両１００を上方から見た仮想自車両画像Ａと、映像取得部４１で取得した映像を、車両１００の上方から見た映像に変換して、俯瞰映像Ｂとして出力し、表示制御部４３ｂが、俯瞰映像生成部４３ａで生成した映像のうち、仮想自車両画像Ａと仮想自車両画像Ａの周囲の映像を抽出した映像に加工し、表示パネル１０１に送るものとして説明したが、この構成に限定されるものではない。例えば、表示制御部が、仮想自車両画像Ａと仮想自車両画像Ａの周囲の映像をフレームＦ内にどのように配置するかを判定し、俯瞰映像生成部が、表示制御部の制御で、表示制御部が判定したフレームＦ内の仮想自車両画像Ａと仮想自車両画像Ａの周囲の映像との配置に基づいて、仮想自車両画像Ａと、映像取得部４１で取得した映像を、車両１００の上方から見た映像に変換して、俯瞰映像Ｂとして表示制御部に出力し、さらに、表示制御部は、俯瞰映像Ｂを表示パネル１０１に送ってもよい。

図１４に示すように、俯瞰映像生成システム１Ｃの俯瞰映像生成部２７は、第一撮影装置２０の機能の一つとしてもよい。図１４は、俯瞰映像生成システムの他の構成例を示すブロック図である。この場合、俯瞰映像生成装置４０の映像取得部４１は、第一撮影装置２０の俯瞰映像生成部２７で生成された俯瞰映像Ｂを取得する。表示制御部４３ｂは、第一撮影装置２０の俯瞰映像生成部２７で生成された俯瞰映像Ｂのうち、仮想自車両画像Ａと仮想自車両画像Ａの周囲の映像を抽出した映像に加工し、表示パネル１０１に送る。このように、俯瞰映像生成システム１Ｃにおいては、第一撮影装置２０の俯瞰映像生成部２７と俯瞰映像生成装置４０の表示制御部４３ｂとで制御部としての機能を実現している。

俯瞰映像生成システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

例えば、図１５に示す俯瞰映像Ｂは、第二実施形態と第四実施形態とを組み合わせたものである。図１５は、俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。表示制御部４３ｂは、図２に示すフローチャートのステップＳ１４で、このような俯瞰映像Ｂを生成してもよい。この場合、俯瞰映像Ｂは、仮想自車両画像ＡがフレームＦの右上に、車両１００のサイドミラーＭより後方がフレームＦに収まる位置に位置し、かつ、仮想自車両画像ＡがフレームＦの右上端に寄せて表示されている。これにより、俯瞰映像Ｂには、車両１００の移動方向である左側と後方とがより広く表示される。フレームＦは、第二フレームＦ２と第三フレームＦ３とをより広く含み、第一フレームＦ１と第四フレームＦ４とを含まない。このように、俯瞰映像生成システム１は、車両１００の旋回方向の移動に応じて、車両周辺の確認が容易になるような俯瞰映像Ｂを生成することができる。

例えば、図１６に示す俯瞰映像Ｂは、第三実施形態と第四実施形態とを組み合わせたものである。図１６は、俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。表示制御部４３ｂは、図２に示すフローチャートのステップＳ１４で、このような俯瞰映像Ｂを生成してもよい。この場合、俯瞰映像Ｂは、仮想自車両画像ＡがフレームＦの右上に図３よりも小さく表示され、かつ、仮想自車両画像ＡがフレームＦの右上端に寄せて表示されている。これにより、俯瞰映像Ｂには、車両１００の移動方向である左側と後方とがより広く表示される。フレームＦは、第二フレームＦ２と第三フレームＦ３とをより広く含み、第一フレームＦ１と第四フレームＦ４とを含まない。このように、俯瞰映像生成システム１は、車両１００の旋回方向の移動に応じて、車両周辺の確認が容易になるような俯瞰映像Ｂを生成することができる。

例えば、図１７に示す俯瞰映像Ｂは、第二実施形態と第三実施形態と第四実施形態とを組み合わせたものである。図１７は、俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。表示制御部４３ｂは、図２に示すフローチャートのステップＳ１４で、このような俯瞰映像Ｂを生成してもよい。この場合、俯瞰映像Ｂは、仮想自車両画像ＡがフレームＦの右上に、車両１００のサイドミラーＭより後方がフレームＦに収まる位置に位置し、かつ、仮想自車両画像ＡがフレームＦの右上に図３よりも小さく表示され、かつ、仮想自車両画像ＡがフレームＦの右上端に寄せて表示されている。これにより、俯瞰映像Ｂには、車両１００の移動方向である左側と後方とがより広く表示される。フレームＦは、第二フレームＦ２と第三フレームＦ３とをより広く含み、第一フレームＦ１と第四フレームＦ４とを含まない。このように、俯瞰映像生成システム１は、車両１００の旋回方向の移動に応じて、車両周辺の確認が容易になるような俯瞰映像Ｂを生成することができる。

表示制御部４３ｂは、図２に示すフローチャートのステップＳ１４で、所望の俯瞰映像Ｂを生成するように、第一撮影装置２０の前方用周辺撮影カメラ２１と後方用周辺撮影カメラ２２と左側方用周辺撮影カメラ２３と右側方用周辺撮影カメラ２４と、第二撮影装置５０の左後方用周辺撮影カメラ５１と右後方用周辺撮影カメラ５２とのカメラの向き、画角を変える制御を行ってもよい。例えば、表示制御部４３ｂは、車両１００の移動方向を撮影するカメラの向きを変えたり、画角を広げたりしてもよい。このように、俯瞰映像生成システム１は、車両１００の旋回方向の移動に応じて、車両周辺の確認が容易になるような俯瞰映像Ｂを生成することができる。

表示制御部４３ｂは、図２に示すフローチャートにおいて、車両１００が旋回方向に移動すると推定した場合、仮想自車両画像Ａをずらして位置させた俯瞰映像Ｂを生成するものとしたが、ステップＳ１４で、所定条件に応じて、フレームＦにおける仮想自車両画像Ａの位置を徐々にずらすようにしてもよい。例えば、表示制御部４３ｂは、車両１００の加速度に応じて、フレームＦにおける仮想自車両画像Ａの位置を徐々にずらしてもよい。これにより、外部の表示パネル１０１に表示される俯瞰映像Ｂにおいて、フレームＦ内の仮想自車両画像Ａの位置が徐々に変化する。このため、運転者は、車両周辺の確認をより容易にすることができる。

１ 俯瞰映像生成システム
２０ 第一撮影装置
２１ 前方用周辺撮影カメラ
２２ 後方用周辺撮影カメラ
２３ 左側方用周辺撮影カメラ
２４ 右側方用周辺撮影カメラ
３０ 記憶装置
４０ 俯瞰映像生成装置
４１ 映像取得部
４２ 車両情報取得部
４３ 制御部
４３ａ 俯瞰映像生成部
４３ｂ 表示制御部
５０ 第二撮影装置
５１ 左後方用周辺撮影カメラ
５２ 右後方用周辺撮影カメラ
１００ 車両
１０１ 表示パネル
１０２ 地図情報記憶部
１０４ 方向指示器操作検出部
１０５ ギア操作検出部
１０７ 角速度センサ
１０８ 車速センサ
Ａ 仮想自車両画像
Ｂ 俯瞰映像
Ｆ フレーム

Claims (9)

1. 車両の周辺を撮影した周辺映像を取得する映像取得部と、
   前記車両の旋回方向への移動を推定する車両情報を取得する車両情報取得部と、
   前記車両情報取得部で取得した前記車両情報に基づいて、前記車両の旋回方向への移動が推定された場合、前記旋回方向において前記車両が移動する方向とは反対の方向に、前記車両を寄せて位置させた状態で、前記車両を上方から見下ろした前記車両の仮想自車両画像を含む俯瞰映像を生成する制御部と
   を有することを特徴とする俯瞰映像生成装置。
2. 前記制御部は、前記車両のサイドミラーより後方の前記俯瞰映像を生成することを特徴とする請求項１に記載の俯瞰映像生成装置。
3. 前記制御部は、前記仮想自車両画像を縮小した前記俯瞰映像を生成することを特徴とする請求項１または２に記載の俯瞰映像生成装置。
4. 前記車両情報取得部は、前記車両の車速を取得し、
   前記制御部は、前記車両情報取得部で取得した前記車速に基づいて、前記車両が減速している状態と前記車両が加速している状態とでは、前記車両が減速している状態における前記俯瞰映像の方が、前記車両が移動する方向を広くした前記俯瞰映像を生成することを特徴とする請求項１から３のいずれか一項に記載の俯瞰映像生成装置。
5. 前記車両情報取得部は、前記車両の車速を取得し、
   前記制御部は、前記車両情報取得部で取得した前記車速に基づいて、前記車両が減速している状態と前記車両が加速している状態とでは、前記車両が加速している状態における前記俯瞰映像の方が、旋回方向において前記車両が移動する方向とは反対の方向を広くした前記俯瞰映像を生成することを特徴とする請求項１から３のいずれか一項に記載の俯瞰映像生成装置。
6. 前記映像取得部は、前記車両の左後方と右後方とを撮影した後方映像を取得し、
   前記制御部は、前記映像取得部で取得した、前記車両が移動する方向の後方映像と前記俯瞰映像とを合成した映像を生成することを特徴とする請求項１から５のいずれか一項に記載の俯瞰映像生成装置。
7. 請求項１から６のいずれか一項に記載の俯瞰映像生成装置と、
   前記車両の周辺を撮影し前記映像取得部に周辺映像を供給する撮影部と
   を有することを特徴とする俯瞰映像生成システム。
8. 車両の周辺を撮影した周辺映像を取得する映像取得ステップと、
   前記車両の旋回方向への移動を推定する車両情報を取得する車両情報取得ステップと、
   前記車両情報取得ステップで取得した前記車両情報に基づいて、前記車両の旋回方向への移動が推定された場合、前記旋回方向において前記車両が移動する方向とは反対の方向に、前記車両を寄せて位置させた状態で、前記車両を上方から見下ろした前記車両の仮想自車両画像を含む俯瞰映像を生成する制御ステップと
   を含む俯瞰映像生成方法。
9. 車両の周辺を撮影した周辺映像を取得する映像取得ステップと、
   前記車両の旋回方向への移動を推定する車両情報を取得する車両情報取得ステップと、
   前記車両情報取得ステップで取得した前記車両情報に基づいて、前記車両の旋回方向への移動が推定された場合、前記旋回方向において前記車両が移動する方向とは反対の方向に、前記車両を寄せて位置させた状態で、前記車両を上方から見下ろした前記車両の仮想自車両画像を含む俯瞰映像を生成する制御ステップと
   を俯瞰映像生成装置として動作するコンピュータに実行させるためのプログラム。

Images