以下に添付図面を参照して、本発明に係る俯瞰映像生成装置40、俯瞰映像生成システム1、俯瞰映像生成方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
[第一実施形態]
図1は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。俯瞰映像生成システム1は、車両に搭載されている。俯瞰映像生成システム1は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。
図1を用いて、俯瞰映像生成システム1について説明する。俯瞰映像生成システム1は、前方カメラ11と、後方カメラ12と、左側方カメラ13と、右側方カメラ14と、前方センサ(障害物検出部)21と、後方センサ(障害物検出部)22と、左側方センサ(障害物検出部)23と、右側方センサ(障害物検出部)24と、表示パネル31と、俯瞰映像生成装置40とを有する。
前方カメラ11は、車両の前方に配置され、車両の前方を中心とした周辺を撮影する。前方カメラ11は、撮影した映像を俯瞰映像生成装置40の映像取得部42へ出力する。
後方カメラ12は、車両の後方に配置され、車両の後方を中心とした周辺を撮影する。後方カメラ12は、撮影した映像を俯瞰映像生成装置40の映像取得部42へ出力する。
左側方カメラ13は、車両の左側方に配置され、車両の左側方を中心とした周辺を撮影する。左側方カメラ13は、撮影した映像を俯瞰映像生成装置40の映像取得部42へ出力する。
右側方カメラ14は、車両の右側方に配置され、車両の右側方を中心とした周辺を撮影する。右側方カメラ14は、撮影した映像を俯瞰映像生成装置40の映像取得部42へ出力する。
このような前方カメラ11と後方カメラ12と左側方カメラ13と右側方カメラ14とで、車両の全方位を撮影する。
前方センサ21は、車両の前方に配置され、車両の前方における障害物を検出する。前方センサ21は、例えば、赤外線センサまたは超音波センサである。前方センサ21は、車両と接触するおそれがある、地上から高さを有するものを検出する。前方センサ21は、例えば、車両から5m程度までの距離の障害物を検出する。前方センサ21は、鉛直方向視において、センサの中央部を中心とした、例えば、30°程度の範囲の障害物を検出する。前方センサ21の検出範囲は、左側方センサ23および右側方センサ24の検出範囲の一部と重複していてもよい。前方センサ21は、複数のセンサの組み合わせで構成されていてもよい。前方センサ21は、検出した障害物の障害物情報を俯瞰映像生成装置40の障害物情報取得部43へ出力する。
後方センサ22は、車両の後方に配置され、車両の後方における障害物を検出する。後方センサ22は、例えば、赤外線センサまたは超音波センサである。後方センサ22は、車両と接触するおそれがある、地上から高さを有するものを検出する。後方センサ22は、例えば、車両から5m程度までの距離の障害物を検出する。後方センサ22は、鉛直方向視において、センサの中央部を中心とした、例えば、30°程度の範囲の障害物を検出する。後方センサ22の検出範囲は、左側方センサ23および右側方センサ24の検出範囲の一部と重複していてもよい。後方センサ22は、複数のセンサの組み合わせで構成されていてもよい。後方センサ22は、検出した障害物の障害物情報を俯瞰映像生成装置40の障害物情報取得部43へ出力する。
左側方センサ23は、車両の左側方に配置され、車両の左側方における障害物を検出する。左側方センサ23は、例えば、赤外線センサまたは超音波センサである。左側方センサ23は、車両と接触するおそれがある、地上から高さを有するものを検出する。左側方センサ23は、例えば、車両から5m程度までの距離の障害物を検出する。左側方センサ23は、鉛直方向視において、センサの中央部を中心とした、例えば、30°程度の範囲の障害物を検出する。左側方センサ23の検出範囲は、前方センサ21および後方センサ22の検出範囲の一部と重複していてもよい。左側方センサ23は、複数のセンサの組み合わせで構成されていてもよい。左側方センサ23は、検出した障害物の障害物情報を俯瞰映像生成装置40の障害物情報取得部43へ出力する。
右側方センサ24は、車両の右側方に配置され、車両の右側方における障害物を検出する。右側方センサ24は、例えば、赤外線センサまたは超音波センサである。右側方センサ24は、車両と接触するおそれがある、地上から高さを有するものを検出する。右側方センサ24は、例えば、車両から5m程度までの距離の障害物を検出する。右側方センサ24は、鉛直方向視において、センサの中央部を中心とした、例えば、30°程度の範囲の障害物を検出する。右側方センサ24の検出範囲は、前方センサ21および後方センサ22の検出範囲の一部と重複していてもよい。右側方センサ24は、複数のセンサの組み合わせで構成されていてもよい。右側方センサ24は、検出した障害物の障害物情報を俯瞰映像生成装置40の障害物情報取得部43へ出力する。
表示パネル31は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro−Luminescence)ディスプレイを含むディスプレイである。表示パネル31は、俯瞰映像生成システム1の俯瞰映像生成装置40から出力された映像信号に基づいて、俯瞰映像100、俯瞰映像200を表示する。表示パネル31は、俯瞰映像生成システム1に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。表示パネル31は、運転者から視認容易な位置に配置されている。
表示パネル31は、横長形状の矩形状である。表示パネル31には、図2に示すような、縦長形状の俯瞰映像100、または、図3に示すような、横長形状とした俯瞰映像200が表示される。横長形状とした俯瞰映像200とは、表示パネル31の表示面の縦横比に合わせた横長の矩形状の俯瞰映像である。
俯瞰映像生成装置40は、制御部41と、記憶部49とを有する。
制御部41は、例えば、CPU(Central Processing Unit)などで構成された演算処理装置である。制御部41は、記憶部49に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部41は、映像取得部42と、障害物情報取得部43と、車両情報取得部44と、映像生成部45と、表示制御部48とを有する。
映像取得部42は、車両の周辺を撮影した周辺映像を取得する。より詳しくは、映像取得部42は、前方カメラ11と後方カメラ12と左側方カメラ13と右側方カメラ14とが出力した映像を取得する。映像取得部42は、取得した映像を映像生成部45に出力する。
障害物情報取得部43は、車両の周辺において検出した障害物の障害物情報を取得する。より詳しくは、障害物情報取得部43は、前方センサ21と後方センサ22と左側方センサ23と右側方センサ24とが出力した障害物情報を取得する。本実施形態では、障害物情報取得部43は、検出した障害物までの距離を含む障害物情報を取得する。障害物情報取得部43は、取得した障害物情報を映像生成部45に出力する。
車両情報取得部44は、車両のギア操作情報など、俯瞰映像を表示させるためのトリガとなる車両情報を、CAN(Controller Area Network)や車両の状態をセンシングする各種センサなどから取得する。車両情報取得部44は、取得した車両情報を映像生成部45に出力する。
映像生成部45は、俯瞰映像100、俯瞰映像200を生成する。映像生成部45は、俯瞰映像生成部46と、映像合成部47とを有する。
俯瞰映像生成部46は、映像取得部42で取得した周辺映像から車両を上方から見下ろすように視点変換処理を行った俯瞰映像100を生成する。より詳しくは、俯瞰映像生成部46は、前方カメラ11と後方カメラ12と左側方カメラ13と右側方カメラ14とで撮影した周辺映像に基づいて、俯瞰映像100を生成する。俯瞰映像100を生成する方法は、公知のいずれの方法でもよく、限定されない。俯瞰映像生成部46は、生成した俯瞰映像100を表示制御部48に出力する。
図2を用いて、俯瞰映像100について説明する。図2は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を表示した表示パネルを示す図である。俯瞰映像100は、縦長の矩形状である。俯瞰映像100は、前方映像101と後方映像102と左側方映像103と右側方映像104とを含む。前方映像101と後方映像102と左側方映像103と右側方映像104とで囲まれた範囲を、俯瞰映像100の中央部という。俯瞰映像100の中央部は、俯瞰映像100における車両の位置である。前方映像101と後方映像102と左側方映像103と右側方映像104と、俯瞰映像100の中央部とは、枠状の境界線110で区切られていてもよい。
図2においては、前方映像101と後方映像102と左側方映像103と右側方映像104との境界を示す斜めの破線を説明のために図示しているが、実際に表示パネル31に表示される俯瞰映像100には当該破線は表示されても表示されなくともよい。他の図も同様である。
俯瞰映像生成部46は、障害物情報取得部43で取得した障害物情報に基づいて、障害物を検出した方向が車両の前方または後方である場合、生成した俯瞰映像100の表示向きを変えずに横長形状とした俯瞰映像200を生成する。
表示向きを変えないとは、俯瞰映像100の縦方向および俯瞰映像200の縦方向を、車両の前後方向に合せた状態を保つことをいう。言い換えると、表示向きを変えないとは、横長形状とした俯瞰映像200において、上側に前方映像201が配置され、下側に後方映像202が配置され、左側に左側方映像203が配置され、右側に右側方映像204が配置された状態を保つことをいう。表示向きを変えないことで、俯瞰映像200の縦方向と車両の前後方向とが一致しているため、横長形状とした俯瞰映像200の認識性を保つことができる。
図3を用いて、俯瞰映像200について説明する。図3は、第一実施形態に係る俯瞰映像生成システムで生成した、横長形状の俯瞰映像を表示した表示パネルを示す図である。俯瞰映像200は、前方映像201と後方映像202と左側方映像203と右側方映像204とを含む。前方映像201と後方映像202と左側方映像203と右側方映像204とで囲まれた範囲を、俯瞰映像200の中央部という。俯瞰映像200の中央部は、俯瞰映像200における車両の位置である。前方映像201と後方映像202と左側方映像203と右側方映像204と、俯瞰映像200の中央部とは、枠状の境界線210で区切られていてもよい。
図4、図5を用いて、俯瞰映像生成部46で、横長形状とした俯瞰映像200を生成する方法について説明する。図4は、第一実施形態に係る俯瞰映像生成システムにおける、横長形状の俯瞰映像の生成方法を説明する図である。図5は、図4の俯瞰映像から生成した、横長形状とした俯瞰映像の一例を示す図である。
図4においては、切出範囲A1と切出範囲A2と切出範囲A3と切出範囲A4とを示す実線を説明のために図示しているが、実際に表示パネル31に表示される俯瞰映像100には当該実線は表示されない。他の図も同様である。
本実施形態では、俯瞰映像生成部46は、前方カメラ11または後方カメラ12からの周辺映像の一部を縦横比を固定して拡大し、横長形状とした俯瞰映像200を生成する。より詳しくは、俯瞰映像生成部46は、生成した縦長形状の俯瞰映像100から、前方映像101の一部と後方映像102の一部とを縦横比を固定して拡大し、横長形状とした俯瞰映像200を生成する。
俯瞰映像生成部46は、俯瞰映像100の切出範囲A1と切出範囲A2と切出範囲A3と切出範囲A4とから、横長形状とした俯瞰映像200を生成する。より詳しくは、俯瞰映像生成部46は、俯瞰映像100の切出範囲A1と切出範囲A2との縦横比を固定して拡大し、表示パネル31の表示面の縦横比に合わせた横長形状とした俯瞰映像200を生成する。
切出範囲A1は、運転者が確認を必要とする車両の前方の範囲を含む矩形状の範囲である。切出範囲A1は、俯瞰映像100の前方映像101の一部と、左側方映像103の一部と、右側方映像104の一部とを含む。切出範囲A1は、前方映像101と左側方映像103との境界および前方映像101と右側方映像104との境界を含む。本実施形態では、切出範囲A1は、車両の前端部から数10cm程度前方までを含む。本実施形態では、切出範囲A1は、車両の左側端部から数10cm程度左側方までを含む。本実施形態では、切出範囲A1は、車両の右側端部から数10cm程度右側方までを含む。
切出範囲A2は、運転者が確認を必要とする車両の後方の範囲を含む矩形状の範囲である。切出範囲A2は、俯瞰映像100の後方映像102の一部と、左側方映像103の一部と、右側方映像104の一部とを含む。切出範囲A2は、後方映像102と左側方映像103との境界および後方映像102と右側方映像104との境界を含む。本実施形態では、切出範囲A2は、車両の後端部から数10cm程度後方までを含む。本実施形態では、切出範囲A2は、車両の左側端部から数10cm程度左側方までを含む。本実施形態では、切出範囲A2は、車両の右側端部から数10cm程度右側方までを含む。本実施形態では、切出範囲A2は、切出範囲A1と同一形状、同一面積を有する。
切出範囲A3は、俯瞰映像100の切出範囲A1と切出範囲A2との間に位置する矩形状の範囲である。本実施形態では、切出範囲A3は、車両の左側端部から数10cm程度左側方までを含む。切出範囲A3の左側端部は、切出範囲A1の左側端部と切出範囲A2の左側端部と同一直線上に位置する。
切出範囲A4は、俯瞰映像100の切出範囲A1と切出範囲A2との間に位置する矩形状の範囲である。本実施形態では、切出範囲A4は、車両の右側端部から数10cm程度右側方までを含む。切出範囲A4の右側端部は、切出範囲A1の右側端部と切出範囲A2の右側端部と同一直線上に位置する。本実施形態では、切出範囲A4は、切出範囲A3と同一形状、同一面積を有する。
このような俯瞰映像100から生成された、横長形状とした俯瞰映像200は、切出範囲A1の映像211と、切出範囲A2の映像212と、切出範囲A3の映像213と、切出範囲A4の映像214とを含む。
映像211は、俯瞰映像100の切出範囲A1の映像を、縦横比を固定し、横幅が表示パネル31の横幅と同じ幅になるまで拡大した映像である。図5において、映像211に表示された樹木の映像は、図4に示す俯瞰映像100の切出範囲A1に表示された樹木の映像を、縦横比を固定し拡大した映像になっている。
映像212は、俯瞰映像100の切出範囲A2の映像を、縦横比を固定し、横幅が表示パネル31の横幅と同じ幅になるまで拡大した映像である。図5において、映像212に表示された樹木の映像は、図4に示す俯瞰映像100の切出範囲A2に表示された樹木の映像を、縦横比を固定し拡大した映像になっている。
映像213は、俯瞰映像100の切出範囲A3の映像を、映像211と映像212との境界が滑らかに連続するように、表示パネル31に合わせて大きさと形状とを変えた映像である。例えば、映像213は、俯瞰映像100の切出範囲A3の映像を、縦方向に圧縮し、横方向に拡大した映像でもよい。
映像214は、俯瞰映像100の切出範囲A4の映像を、映像211と映像212との境界が滑らかに連続するように、表示パネル31に合わせて大きさと形状とを変えた映像である。例えば、映像214は、俯瞰映像100の切出範囲A4の映像を、縦方向に圧縮し、横方向に拡大した映像でもよい。
俯瞰映像200は、前方映像201と後方映像202と左側方映像203と右側方映像204とを含む。前方映像201は、映像211の一部である。後方映像202は、映像212の一部である。左側方映像203は、映像211の左下部と映像212の左上部と映像213とを含む。右側方映像204は、映像211の右下部と映像212の右上部と映像214とを含む。
映像合成部47は、俯瞰映像生成部46で生成した俯瞰映像100、俯瞰映像200の中央部に、障害物情報取得部43が障害物を検出した方向に対応する、前方カメラ11または後方カメラ12または左側方カメラ13または右側方カメラ14からの周辺映像を合成した俯瞰映像100、俯瞰映像200を生成する。合成する前方カメラ11または後方カメラ12または左側方カメラ13または右側方カメラ14からの周辺映像は、視点変換前の映像である。映像合成部47は、生成した俯瞰映像100、俯瞰映像200を表示制御部48に出力する。
本実施形態では、映像合成部47は、障害物情報取得部43が障害物を検出した方向が車両の左方向または右方向である場合、俯瞰映像100の中央部に、障害物を検出した方向に対応する左側方カメラ13または右側方カメラ14からの縦長形状の周辺映像を合成した俯瞰映像100を生成する。俯瞰映像100の中央部に合成される周辺映像は、視点変換処理が行われていない周辺映像である。映像合成部47は、俯瞰映像100の境界線110の、障害物を検出した方向の線を太くしたり色を変えたりして表示してもよい。
例えば、映像合成部47は、障害物を検出した方向が左方向である場合、図2に示すように、俯瞰映像100の中央部に、左側方カメラ13からの縦長形状の周辺映像103Aを合成する。俯瞰映像100の後方映像102と周辺映像103Aとには、後方の障害物の障害物映像300が含まれている。俯瞰映像100の左側の境界線110Aは、太線である。
本実施形態では、映像合成部47は、障害物情報取得部43が障害物を検出した方向が車両の前方または後方である場合、横長形状とした俯瞰映像200の中央部に、障害物を検出した方向に対応する前方カメラ11または後方カメラ12からの横長形状の周辺映像を合成した俯瞰映像200を生成する。俯瞰映像200の中央部に合成される周辺映像は、視点変換処理が行われていない周辺映像である。映像合成部47は、俯瞰映像200の境界線210の、障害物を検出した方向の線を太くしたり色を変えたりして表示してもよい。
例えば、映像合成部47は、障害物を検出した方向が後方である場合、図3に示すように、俯瞰映像200の中央部に、後方カメラ12からの横長形状の周辺映像202Aを合成する。俯瞰映像200の後方映像202と周辺映像202Aとには、後方の障害物の障害物映像300が含まれている。俯瞰映像200の下側の境界線210Aは、太線である。
表示制御部48は、映像生成部45が生成した俯瞰映像100、俯瞰映像200を表示パネル31に表示させる。
記憶部49は、俯瞰映像生成装置40における各種処理に要するデータおよび各種処理結果を記憶する。記憶部49は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。
次に、図6を用いて、俯瞰映像生成システム1の俯瞰映像生成装置40における処理の流れについて説明する。図6は、第一実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。
制御部41は、俯瞰映像表示を開始するか否かを判定する(ステップS11)。本実施形態では、制御部41は、後退トリガの有無に基づいて、俯瞰映像表示を開始するか否かを判定する。後退トリガとは、例えば、シフトポジションが「リバース」とされたことをいう。または、後退トリガとは、車両の進行方向が車両の後方となったことをいう。制御部41は、後退トリガがない場合、俯瞰映像表示を開始しないと判定し(ステップS11でNo)、ステップS11の処理を再度実行する。制御部41は、後退トリガがある場合、俯瞰映像表示を開始すると判定し(ステップS11でYes)、ステップS12に進む。
制御部41は、俯瞰映像100を生成し表示する(ステップS12)。より詳しくは、制御部41は、俯瞰映像生成部46で、映像取得部42で取得した周辺映像から車両を上方から見下ろすように視点変換処理を行った俯瞰映像100を生成させる。そして、制御部41は、表示制御部48で、生成した俯瞰映像100を表示パネル31に表示させる。
制御部41は、障害物を検出したか否かを判定する(ステップS13)。より詳しくは、制御部41は、障害物情報取得部43で障害物情報が取得されたか否かを判定する。制御部41は、障害物情報取得部43で障害物情報が取得されたと判定した場合(ステップS13でYes)、ステップS14に進む。制御部41は、障害物情報取得部43で障害物情報が取得されていないと判定した場合(ステップS13でNo)、ステップS17に進む。
本実施形態では、制御部41は、障害物情報取得部43で取得した障害物情報に基づいて、車両の進行方向に位置する障害物を検出したか否かを判定する。車両の進行方向に位置するとは、車両の進行につれて車両までの距離が減少する方向に位置することをいい、車両の進行につれて車両に障害物が干渉する範囲を含む。具体的には、制御部41は、車両の進行につれて車両が進行方向に直進している場合は、車両の進行方向を中心とした範囲の障害物の検出の有無を判定し、車両が操舵しながら進行している場合は、車両の進行方向および操舵によって障害物が車両に干渉する範囲を含めた範囲の障害物の検出の有無を判定する。
制御部41は、障害物の検出方向が左方向または右方向であるか否かを判定する(ステップS14)。本実施形態では、制御部41は、障害物情報取得部43で取得した障害物情報に基づいて、車両までの距離が最小の障害物の検出方向が車両の左方向または右方向であるか否かを判定する。より詳しくは、制御部41は、障害物情報取得部43で取得した車両までの距離が最小の障害物の障害物情報が、左側方センサ23または右側方センサ24からの障害物情報であるか否かを判定する。
制御部41は、車両までの距離が最小の障害物の障害物情報が、左側方センサ23または右側方センサ24からの障害物情報であると判定した場合(ステップS14でYes)、ステップS15に進む。制御部41は、車両までの距離が最小の障害物の障害物情報が、左側方センサ23または右側方センサ24からの障害物情報ではないと判定した場合(ステップS14でNo)、ステップS16に進む。
制御部41は、俯瞰映像100の中央部に障害物検出方向の周辺映像を表示した俯瞰映像100を生成する(ステップS15)。より詳しくは、制御部41は、映像合成部47で、俯瞰映像生成部46が生成した俯瞰映像100の中央部に、車両までの距離が最小の障害物を検出した方向に対応する、左側方カメラ13または右側方カメラ14からの縦長形状の周辺映像を合成した俯瞰映像100を生成させる。そして、制御部41は、表示制御部48で、生成した俯瞰映像100を表示パネル31に表示させる。
制御部41は、横長形状とした俯瞰映像200の中央部に障害物検出方向の周辺映像を表示した俯瞰映像200を生成する(ステップS16)。より詳しくは、制御部41は、俯瞰映像生成部46で、ステップS12で生成した俯瞰映像100の表示向きを変えずに横長形状とした俯瞰映像200を生成させる。そして、制御部41は、映像合成部47で、横長形状とした俯瞰映像200の中央部に、車両までの距離が最小の障害物を検出した方向に対応する前方カメラ11または後方カメラ12からの横長形状の周辺映像を合成した俯瞰映像200を生成させる。そして、制御部41は、表示制御部48で、生成した横長形状とした俯瞰映像200を表示パネル31に表示させる。
制御部41は、俯瞰映像表示を継続するか否かを判定する(ステップS17)。より詳しくは、制御部41は、後退トリガの有無に基づいて、俯瞰映像表示を継続するか否かを判定する。制御部41は、後退トリガがある場合、俯瞰映像表示を継続すると判定し(ステップS17でYes)、ステップS13に戻って処理を継続する。制御部41は、後退トリガがない場合、言い換えると、後退トリガが解除された場合、俯瞰映像表示を継続しないと判定し(ステップS17でNo)、処理を終了する。
このようにして、俯瞰映像生成システム1は、車両の左方向または右方向に障害物が検出されると、俯瞰映像100の中央部に、障害物を検出した方向に対応する左側方カメラ13または右側方カメラ14からの縦長形状の周辺映像を合成した俯瞰映像100を生成する。
俯瞰映像生成システム1は、車両の前方向または後方向に障害物が検出されると、横長形状とした俯瞰映像200の中央部に、障害物を検出した方向に対応する前方カメラ11または後方カメラ12からの横長形状の周辺映像を合成した俯瞰映像200を生成する。
上述したように、本実施形態は、俯瞰映像100、俯瞰映像200の中央部に、障害物を検出した方向に対応する周辺映像を合成した俯瞰映像100、俯瞰映像200を生成する。これにより、本実施形態は、大きな視線の移動をせずに、俯瞰映像100、俯瞰映像200とともに、障害物を検出した方向の周辺映像も確認することができる。このように、本実施形態は、運転者の視線の移動を抑制し、車両周辺の障害物を適切に確認可能にすることができる。
本実施形態は、車両の左方向または右方向に障害物が検出されると、俯瞰映像100の中央部に、障害物を検出した方向に対応する左側方カメラ13または右側方カメラ14からの縦長形状の周辺映像を合成した俯瞰映像100を生成させる。本実施形態は、車両の前方向または後方向に障害物が検出されると、横長形状とした俯瞰映像200の中央部に、障害物を検出した方向に対応する前方カメラ11または後方カメラ12からの周辺映像を合成した俯瞰映像200を生成する。このように、本実施形態は、障害物の検出方向によらず、俯瞰映像100の縦方向および俯瞰映像200の縦方向と、車両の前後方向とを合せた状態を保つことができる。このため、本実施形態によれば、運転者が俯瞰映像100または俯瞰映像200を確認した際に、車両の周辺を容易に確認することができる。
本実施形態は、車両の前方向または後方向に障害物が検出されると、横長形状とした俯瞰映像200の中央部に、障害物を検出した方向に対応する周辺映像を合成した俯瞰映像200を生成し、表示パネル31に表示する。本実施形態は、横長形状とした俯瞰映像200を、表示パネル31の表示面の全面に表示することができる。これにより、本実施形態は、車両の前方向または後方向に障害物が検出された場合、俯瞰映像200の中央部に、周辺映像を大きく表示することができる。
本実施形態は、俯瞰映像200の映像211は、俯瞰映像100の切出範囲A1の映像と縦横比が同じである。言い換えると、俯瞰映像200の前方映像201は、俯瞰映像100の切出範囲A1の映像と縦横比が同じである。俯瞰映像200の映像212は、俯瞰映像100の切出範囲A2の映像と縦横比が同じである。言い換えると、俯瞰映像200の後方映像202は、俯瞰映像100の切出範囲A2の映像と縦横比が同じである。このように、本実施形態は、俯瞰映像200の前方映像201と後方映像202とは、縦横比が変わらず、変形されていない。このため、本実施形態によれば、運転者が俯瞰映像200の前方映像201と後方映像202とを違和感なく確認することができる。
[第二実施形態]
図7、図8を参照しながら、本実施形態に係る俯瞰映像生成システム1について説明する。図7は、第二実施形態に係る俯瞰映像生成システムにおける、横長形状の俯瞰映像の生成方法を説明する図である。図8は、図7の俯瞰映像から生成した、横長形状とした俯瞰映像の一例を示す図である。俯瞰映像生成システム1は、基本的な構成は第一実施形態の俯瞰映像生成システム1と同様である。以下の説明においては、俯瞰映像生成システム1と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の俯瞰映像生成システム1は、俯瞰映像生成部46で横長形状とした俯瞰映像200を生成する方法が、第一実施形態の俯瞰映像生成システム1と異なる。
俯瞰映像生成部46は、障害物情報取得部43で取得した障害物情報に基づいて、障害物を検出した方向が車両の前方または後方である場合、前方カメラ11または後方カメラ12からの周辺映像を縦方向に圧縮し、横長形状とした俯瞰映像200を生成する。より詳しくは、俯瞰映像生成部46は、生成した縦長形状の俯瞰映像100から、前方映像101と後方映像102とを縦方向に圧縮し、横長形状とした俯瞰映像200を生成する。
図7に示す切出範囲A1は、俯瞰映像100の前方映像101の縦方向の幅と同じ縦方向の幅を有する。切出範囲A1は、前方映像101と左側方映像103との境界および前方映像101と右側方映像104との境界を含む。切出範囲A1は、車両の左側端部から数10cm程度左側方までを含む。切出範囲A1は、車両の右側端部から数10cm程度右側方までを含む。
切出範囲A2は、俯瞰映像100の後方映像102の縦方向の幅と同じ縦方向の幅を有する。切出範囲A2は、後方映像102と左側方映像103との境界および後方映像102と右側方映像104との境界を含む。切出範囲A2は、車両の左側端部から数10cm程度左側方までを含む。切出範囲A2は、車両の右側端部から数10cm程度右側方までを含む。切出範囲A2は、切出範囲A1と同一形状、同一面積を有する。
切出範囲A3と切出範囲A4とは、第一実施形態と同様である。
俯瞰映像生成部46は、俯瞰映像100の切出範囲A1と切出範囲A2とを縦方向に圧縮し、表示パネル31の表示面の縦横比に合わせた横長形状とした俯瞰映像200を生成する。
このような俯瞰映像100から生成された、横長形状とした俯瞰映像200について説明する。
映像211は、俯瞰映像100の切出範囲A1の映像を、縦方向に圧縮した映像である。図8において、映像211に表示された樹木の映像は、図7に示す俯瞰映像100の切出範囲A1に表示された樹木の映像を、縦方向に圧縮した映像になっている。映像211に表示された樹木の映像は、俯瞰映像100の前方映像101に表示された樹木の映像の全体を含んでいる。
映像212は、俯瞰映像100の切出範囲A2の映像を、縦方向に圧縮した映像である。図8において、映像212に表示された樹木の映像は、図7に示す俯瞰映像100の切出範囲A2に表示された樹木の映像を、縦方向に圧縮した映像になっている。映像212に表示された樹木の映像は、俯瞰映像100の後方映像102に表示された樹木の映像の全体を含んでいる。
映像213と映像214とは、第一実施形態と同様である。
上述したように、本実施形態によれば、俯瞰映像200の映像211は、俯瞰映像100の切出範囲A1の映像を縦方向に圧縮した映像である。俯瞰映像200の映像211は、前方映像101の縦方向の全体を含む。本実施形態は、俯瞰映像200の映像212は、俯瞰映像100の切出範囲A2の映像を縦方向に圧縮した映像である。俯瞰映像200の映像212は、後方映像102の縦方向の全体を含む。このため、本実施形態によれば、運転者が俯瞰映像200で、俯瞰映像100の前方映像101の縦方向と後方映像102の縦方向と同じ範囲を確認することができる。
[第三実施形態]
図9、図10を参照しながら、本実施形態に係る俯瞰映像生成システム1について説明する。図9は、第三実施形態に係る俯瞰映像生成システムにおける、横長形状の俯瞰映像の生成方法を説明する図である。図10は、図9の俯瞰映像から生成した、横長形状とした俯瞰映像の一例を示す図である。本実施形態の俯瞰映像生成システム1は、俯瞰映像生成部46で横長形状とした俯瞰映像200を生成する方法が、第一実施形態の俯瞰映像生成システム1と異なる。
俯瞰映像生成部46は、障害物情報取得部43で取得した障害物情報に基づいて、障害物を検出した方向が車両の前方または後方である場合、左側方カメラ13または右側方カメラ14からの縦長形状の周辺映像を縦方向に圧縮し、横長形状とした俯瞰映像200を生成する。より詳しくは、俯瞰映像生成部46は、生成した俯瞰映像100の切出範囲A3と切出範囲A4とを縦方向に圧縮して俯瞰映像200を生成する。
図9に示す切出範囲A3は、俯瞰映像100の左側方映像103の横方向の幅と同じ横方向の幅を有する。切出範囲A3は、左側方映像103と前方映像101との境界および左側方映像103と後方映像102との境界を含む。切出範囲A3は、車両の前端部から数m程度前方までを含む。切出範囲A3は、車両の後端部から数m程度後方までを含む。
切出範囲A4は、俯瞰映像100の右側方映像104の横方向の幅と同じ横方向の幅を有する。切出範囲A4は、右側方映像104と前方映像101との境界および右側方映像104と後方映像102との境界を含む。切出範囲A4は、車両の前端部から数m程度前方までを含む。切出範囲A4は、車両の後端部から数m程度後方までを含む。切出範囲A4は、切出範囲A3と同一形状、同一面積を有する。
切出範囲A1は、切出範囲A3と切出範囲A4との間に位置する矩形状の範囲である。切出範囲A1は、車両の前端部から数m程度前方までを含む。切出範囲A1の前端部は、切出範囲A3の前端部と切出範囲A4の前端部と同一直線上に位置する。
切出範囲A2は、切出範囲A3と切出範囲A4との間に位置する矩形状の範囲である。切出範囲A2は、車両の前端部から数m程度前方までを含む。切出範囲A2の前端部は、切出範囲A3の前端部と切出範囲A4の前端部と同一直線上に位置する。
俯瞰映像生成部46は、生成した俯瞰映像100の切出範囲A1と切出範囲A2とを縦方向に圧縮して、表示パネル31の表示面の縦横比に合わせた横長形状とした俯瞰映像200を生成する。
このような俯瞰映像100から生成された、横長形状とした俯瞰映像200について説明する。
映像213は、俯瞰映像100の切出範囲A3の映像を、縦方向に圧縮した映像である。図10において、映像213に表示された樹木の映像は、俯瞰映像100の切出範囲A3に表示された樹木の映像を、縦方向に圧縮した映像になっている。映像213に表示された樹木の映像は、俯瞰映像100の左側方映像103に表示された樹木の映像の全体を含んでいる。
映像214は、俯瞰映像100の切出範囲A4の映像を、縦方向に圧縮した映像である。図10において、映像214に表示された樹木の映像は、俯瞰映像100の切出範囲A4に表示された樹木の映像を、縦方向に圧縮した映像になっている。映像214に表示された樹木の映像は、俯瞰映像100の右側方映像104に表示された樹木の映像の全体を含んでいる。
映像211は、俯瞰映像100の切出範囲A1の映像を、映像213と映像214との境界が滑らかに連続するように、表示パネル31に合わせて大きさと形状とを変えた映像である。例えば、映像211は、俯瞰映像100の切出範囲A1の映像を、横方向に拡大した映像でもよい。
映像212は、俯瞰映像100の切出範囲A2の映像を、映像213と映像214との境界が滑らかに連続するように、表示パネル31に合わせて大きさと形状とを変えた映像である。例えば、映像212は、俯瞰映像100の切出範囲A2の映像を、横方向に拡大した映像でもよい。
上述したように、本実施形態によれば、俯瞰映像200の映像213は、俯瞰映像100の切出範囲A3の映像を縦方向に圧縮した映像である。俯瞰映像200の映像213は、左側方映像103の横方向の全体を含む。本実施形態は、俯瞰映像200の映像214は、俯瞰映像100の切出範囲A4の映像を縦方向に圧縮した映像である。俯瞰映像200の映像214は、右側方映像104の横方向の全体を含む。このため、本実施形態によれば、運転者が俯瞰映像200で、俯瞰映像100の左側方映像103の横方向と右側方映像104の横方向と同じ範囲を確認することができる。
[第四実施形態]
図11、図12を参照しながら、本実施形態に係る俯瞰映像生成システム1について説明する。図11は、第四実施形態に係る俯瞰映像生成システムにおける、横長形状の俯瞰映像の生成方法を説明する図である。図12は、図11の俯瞰映像から生成した、横長形状とした俯瞰映像の一例を示す図である。本実施形態の俯瞰映像生成システム1は、俯瞰映像生成部46で横長形状とした俯瞰映像200を生成する方法が、第三実施形態の俯瞰映像生成システム1と異なる。
俯瞰映像生成部46は、障害物情報取得部43で取得した障害物情報に基づいて、障害物を検出した方向が車両の前方または後方である場合、左側方カメラ13または右側方カメラ14からの縦長形状の周辺映像の中央部を除いて上部と下部を合成し、横長形状とした俯瞰映像200を生成する。
図11に示す切出範囲A3は、上部A31と中央部A32と下部A33とを含む。上部A31は、左側方映像103と前方映像101との境界を含む。下部A33は、左側方映像103と後方映像102との境界を含む。
切出範囲A4は、上部A41と中央部A42と下部A43とを含む。上部A41は、右側方映像104と前方映像101との境界を含む。下部A43は、右側方映像104と後方映像102との境界を含む。切出範囲A4は、切出範囲A3と同一形状、同一面積を有する。
切出範囲A1と切出範囲A2とは、第三実施形態と同様である。
俯瞰映像生成部46は、生成した俯瞰映像100の切出範囲A3の上部A31と下部A33とを合成し、切出範囲A4の上部A41と下部A43とを合成して、表示パネル31の表示面の縦横比に合わせた横長形状とした俯瞰映像200を生成する。
このような俯瞰映像100から生成された、横長形状とした俯瞰映像200について説明する。
映像213は、俯瞰映像100の切出範囲A3の中央部A32を除いた、上部A31と下部A33とを合成した映像である。図12において、映像213は、図11に示す俯瞰映像100の切出範囲A3の中央部A32に表示された樹木の映像を含まない映像になっている。映像213には、俯瞰映像100の切出範囲A3の中央部A32が省略されていることを示すため、上部A31と下部A33との境界に線を表示してもよい。
映像214は、俯瞰映像100の切出範囲A4の中央部A42を除いた、上部A41と下部A43とを合成した映像である。図12において、映像214は、図11に示す俯瞰映像100の切出範囲A4の中央部A42に表示された樹木の映像を含まない映像になっている。映像214には、俯瞰映像100の切出範囲A4の中央部A42が省略されていることを示すため、上部A41と下部A43との境界に線を表示してもよい。
映像211と映像212とは、第三実施形態と同様である。
上述したように、本実施形態によれば、俯瞰映像200の映像213は、俯瞰映像100の切出範囲A3の中央部A32を除いた上部A31と下部A33とを合成している。これにより、俯瞰映像200の映像213は、俯瞰映像100の左側方映像103の前方および後方を大きく表示することができる。俯瞰映像200の映像214は、俯瞰映像100の切出範囲A4の中央部A42を除いた上部A41と下部A43とを合成している。これにより、俯瞰映像200の映像214は、俯瞰映像100の右側方映像104の前方および後方を大きく表示することができる。
[第五実施形態]
図13、図14を参照しながら、本実施形態に係る俯瞰映像生成システム1について説明する。図13は、第五実施形態に係る俯瞰映像生成システムにおける、横長形状の俯瞰映像の生成方法を説明する図である。図14は、図13の俯瞰映像から生成した、横長形状とした俯瞰映像の一例を示す図である。本実施形態の俯瞰映像生成システム1は、俯瞰映像生成部46で横長形状とした俯瞰映像200を生成する方法が、第三実施形態の俯瞰映像生成システム1と異なる。
俯瞰映像生成部46は、障害物情報取得部43で取得した障害物情報に基づいて、障害物を検出した方向が車両の前方または後方である場合、左側方カメラ13または右側方カメラ14からの縦長形状の周辺映像を、障害物を検出した方向に偏重し、横長形状とした俯瞰映像200を生成する。本実施形態では、障害物を検出した方向は、後方として説明する。
図13に示す切出範囲A3は、俯瞰映像100の左側方映像103において、障害物の検出方向である後方に偏重した範囲である。切出範囲A3は、俯瞰映像100の縦方向の中央部から下側を含む。
切出範囲A4は、俯瞰映像100の右側方映像104において、障害物の検出方向である後方に偏重した範囲である。切出範囲A4は、縦方向の中央部から下側を含む。切出範囲A4は、切出範囲A3と同一形状、同一面積を有する。
切出範囲A5は、俯瞰映像100の切出範囲A3と切出範囲A4との間に位置する矩形状の範囲である。切出範囲A5の上端部は、切出範囲A1の上端部と切出範囲A2の上端部と同一直線上に位置する。切出範囲A5の下端部は、切出範囲A1の下端部と切出範囲A2の下端部と同一直線上に位置する。
俯瞰映像生成部46は、生成した俯瞰映像100の切出範囲A3と切出範囲A4と切出範囲A5とから、表示パネル31の表示面の縦横比に合わせた横長形状とした俯瞰映像200を生成する。
このような俯瞰映像100から生成された、横長形状とした俯瞰映像200について説明する。
映像213は、俯瞰映像100の切出範囲A3の映像である。図14において、映像213に表示された樹木の映像は、図13に示す俯瞰映像100の切出範囲A3に表示された樹木の映像の全体を含んでいる。
映像214は、俯瞰映像100の切出範囲A4の映像である。図14において、映像214に表示された樹木の映像は、図13に示す俯瞰映像100の切出範囲A4に表示された樹木の映像の全体を含んでいる。
映像215は、俯瞰映像100の切出範囲A5の映像を、映像213と映像214との境界が滑らかに連続するように、表示パネル31に合わせて大きさと形状とを変えた映像である。例えば、映像215は、俯瞰映像100の切出範囲A5の映像を、横方向に拡大した映像でもよい。
上述したように、本実施形態は、障害物の検出方向が前方または後方である場合、俯瞰映像100の左側方映像103と右側方映像104を障害物の検出方向に偏重し、横長形状とした俯瞰映像200を生成する。これにより、俯瞰映像200は、俯瞰映像100において障害物を検出した方向を大きく表示することができる。
[第六実施形態]
本実施形態に係る俯瞰映像生成システム1について説明する。本実施形態の俯瞰映像生成システム1は、俯瞰映像生成部46で横長形状とした俯瞰映像200を生成する方法が、第五実施形態の俯瞰映像生成システム1と異なる。
俯瞰映像生成部46は、障害物情報取得部43で取得した障害物情報に基づいて、障害物を検出した方向が車両の前方または後方である場合、左側方カメラ13または右側方カメラ14からの縦長形状の周辺映像を車両の進行方向に偏重し、横長形状とした俯瞰映像200を生成する。
上述したように、本実施形態は、障害物の検出方向が前方または後方である場合、俯瞰映像100の左側方映像103と右側方映像104を車両の進行方向に偏重し、横長形状とした俯瞰映像200を生成する。これにより、俯瞰映像200は、俯瞰映像100において車両の進行方向を大きく表示することができる。
さて、これまで本発明に係る俯瞰映像生成システム1について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。
図示した俯瞰映像生成システム1の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
俯瞰映像生成システム1の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
第二実施形態において、俯瞰映像生成部46は、前方カメラ11または後方カメラ12からの周辺映像の中央部を縦方向に圧縮し、横長形状とした俯瞰映像200を生成してもよい。図15、図16を用いて、より詳しく説明する。図15は、俯瞰映像生成システムにおける、横長形状の俯瞰映像の生成方法の他の例を説明する図である。図16は、図15の俯瞰映像から生成した、横長形状とした俯瞰映像の一例を示す図である。俯瞰映像生成部46は、俯瞰映像100の左側方映像103の中央部の切出範囲A6と、右側方映像104の中央部の切出範囲A7とを縦方向に圧縮し、表示パネル31の表示面の縦横比に合わせた横長形状とした俯瞰映像200を生成する。
制御部41は、障害物が複数ある場合、優先順位の高い障害物を検出した方向に対応する、カメラからの周辺映像を合成してもよい。例えば、優先順位は、障害物までの距離が最も小さいものを最も高い優先順位としてもよい。または、例えば、優先順位は、障害物が動体であるものを最も高い優先順位としてもよい。または、例えば、優先順位は、障害物が動体で、かつ、車両に近づいてきているものを最も高い優先順位としてもよい。または、例えば、車両の進行方向が定まらない状態で前後方向と左右方向との双方に障害物がある場合、前後方向の障害物を高い優先順位としてもよい。
本実施形態では、制御部41は、俯瞰映像100、俯瞰映像200の中央部に、車両までの距離が最小の障害物を検出した方向に対応する周辺映像を合成するものとしたが、合成する周辺映像は、ユーザが選択できるようにしてもよい。例えば、表示パネル31の表示面で、ユーザがタッチした位置の俯瞰映像100、俯瞰映像200の周辺映像を合成してもよい。
制御部41は、障害物の検出方向が前方または後方である場合、俯瞰映像200の左側方映像203と右側方映像204とを、例えば、色情報を低減してもよい。または、制御部41は、障害物の検出方向が前方または後方である場合、俯瞰映像200の左側方映像203と右側方映像204とを、例えば、単色表示にしてもよい。または、制御部41は、障害物の検出方向が前方または後方である場合、俯瞰映像200の左側方映像203と右側方映像204とを、例えば、色情報を低減してもよい。または、制御部41は、障害物の検出方向が前方または後方である場合、俯瞰映像200の左側方映像203と右側方映像204とを、例えば、輝度を低減してもよい。このようにすることで、俯瞰映像200の左側方映像203と右側方映像204との情報量が低減されていることを、運転者に認識させることができる。
俯瞰映像生成部46は、障害物情報取得部43で取得した障害物情報に基づいて、障害物を検出した方向が車両の前方または後方である場合、左側方カメラ13および右側方カメラ14からの周辺映像を非表示とし、前方カメラ11および後方カメラ12からの周辺映像で、横長形状とした俯瞰映像200を生成してもよい。この場合、車両の左右は、運転者が目視で確認することができる。
制御部41は、例えば、操作部に対する、俯瞰映像表示開始の操作の検出の有無で、俯瞰映像表示を開始するか否かを判定してもよい。
本実施形態では、障害物検出部であるセンサとして、前方センサ21と後方センサ22と左側方センサ23と右側方センサ24との4つのセンサを有するものとしたが、センサの数は限定されない。障害物の方向をより細分化して検出したい場合、センサの数を増やしてもよい。