JP2019055610A - 表示制御装置、表示制御システム、表示制御方法およびプログラム - Google Patents

Abstract

【課題】出庫時に、適切に俯瞰映像を表示させる。【解決手段】車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得部４１と、映像データ取得部４１が取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成部４４と、車両の駐車区画を含む駐車操作範囲における後退で入庫するときの車両の速度情報を取得し、駐車操作範囲における速度が所定の閾値以下であることを判断する判断部４３と、判断部４３が速度が閾値以下であると判断した場合、車両が入庫状態から前進で出庫するときに、俯瞰映像生成部４４が生成する俯瞰映像を表示パネル３１に表示させる表示制御部４８とを備える。【選択図】図１

Description

本発明は、表示制御装置、表示制御システム、表示制御方法およびプログラムに関する。

車両の俯瞰画像を車両画像と共に表示する車両周辺表示装置に関する技術が知られている（例えば、特許文献１参照）。この技術は、車両が前進から後退に切り替わったとき、車両画像よりも後方について俯瞰画像の表示領域を広げる。

特開２０１５−０７６６４５号公報

特許文献１に記載のように、車両の俯瞰映像は、駐車支援を主な目的とするため、駐車区画への後退入庫時に表示される。これにより、後退入庫時、運転者は、目視またはミラーにおける死角範囲を含む周辺状況を俯瞰映像によって確認する。

駐車区画からの前進出庫時は俯瞰映像が表示されないため、運転者は、目視またはミラーによって周辺状況を確認する。駐車区画からの前進出庫時は、後退入庫時に比べ操作が容易である。しかしながら、例えば、後退入庫時の駐車操作に手間を要した場合などには、前進出庫時に、目視またはミラーによる確認に加えて、俯瞰映像によって周辺状況を確認することが望ましいこともある。また、前進出庫時に、周辺状況に関わらず俯瞰映像を表示すると、俯瞰映像を表示させる必要性がない状況で俯瞰映像が表示されたり、ナビゲーションによる経路を確認したいときなどに俯瞰映像が表示されてしまう。

本発明は、上記に鑑みてなされたものであって、出庫時に、適切に俯瞰映像を表示させることを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る表示制御装置は、車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得部と、前記映像データ取得部が取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成部と、前記車両の駐車区画を含む駐車操作範囲における後退で入庫するときの前記車両の速度情報を取得し、前記駐車操作範囲における速度が所定の閾値以下であることを判断する判断部と、前記判断部が前記速度が前記閾値以下であると判断した場合、前記車両が入庫状態から前進で出庫するときに、前記俯瞰映像生成部が生成する俯瞰映像を表示部に表示させる表示制御部と、を備えることを特徴とする。

本発明に係る表示制御システムは、上記の表示制御装置と、前記映像データ取得部が映像データを取得する複数の撮影部、前記表示制御部が俯瞰映像を表示させる表示部の少なくともどちらかとを備える。

本発明に係る表示制御方法は、車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、前記車両の駐車区画を含む駐車操作範囲における後退で入庫するときの前記車両の速度情報を取得し、前記駐車操作範囲における速度が所定の閾値以下であることを判断する判断ステップと、前記判断ステップで前記速度が前記閾値以下であると判断した場合、前記車両が入庫状態から前進で出庫するときに、前記俯瞰映像生成ステップで生成する俯瞰映像を表示部に表示させる表示制御ステップとを含む。

本発明に係るプログラムは、車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、前記車両の駐車区画を含む駐車操作範囲における後退で入庫するときの前記車両の速度情報を取得し、前記駐車操作範囲における速度が所定の閾値以下であることを判断する判断ステップと、前記判断ステップで前記速度が前記閾値以下であると判断した場合、前記車両が入庫状態から前進で出庫するときに、前記俯瞰映像生成ステップで生成する俯瞰映像を表示部に表示させる表示制御ステップとを表示制御装置として動作するコンピュータに実行させる。

本発明によれば、出庫時に、適切に俯瞰映像を表示させることができるという効果を奏する。

図１は、第一実施形態に係る表示制御システムの構成例を示すブロック図である。 図２は、入庫時における速度の変化の一例を説明する図である。 図３は、第一実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。 図４は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。 図５は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの他の例を示すフローチャートである。 図６は、入庫時における速度の変化の他の例を説明する図である。 図７は、第二実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。 図８は、第三実施形態に係る表示制御システムの構成例を示すブロック図である。 図９は、駐車区画を説明する図であり、入庫時および出庫時の状態を示す。 図１０は、第三実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。

以下に添付図面を参照して、本発明に係る表示制御装置４０、表示制御システム１、表示制御方法及びプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

［第一実施形態］
図１は、第一実施形態に係る表示制御システムの構成例を示すブロック図である。表示制御システム１は、駐車操作範囲での速度に応じて適切に俯瞰映像１００を表示させる。表示制御システム１は、車両に搭載されている。表示制御システム１は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。

図１を用いて、表示制御システム１について説明する。表示制御システム１は、前方カメラ（撮影部）１１と、後方カメラ（撮影部）１２と、左側方カメラ（撮影部）１３と、右側方カメラ（撮影部）１４と、表示パネル（表示部）３１と、表示制御装置４０とを有する。

前方カメラ１１は、俯瞰映像用カメラである。前方カメラ１１は、車両の前方に配置され、車両の前方を中心とした周辺を撮影する。前方カメラ１１は、例えば、１８０°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像１００の表示範囲より車両の前方に広い範囲を含む。前方カメラ１１は、撮影した映像を表示制御装置４０の映像データ取得部４１へ出力する。

後方カメラ１２は、俯瞰映像用カメラである。後方カメラ１２は、車両の後方に配置され、車両の後方を中心とした周辺を撮影する。後方カメラ１２は、例えば、１８０°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像１００の表示範囲より車両の後方に広い範囲を含む。後方カメラ１２は、撮影した映像を表示制御装置４０の映像データ取得部４１へ出力する。

左側方カメラ１３は、俯瞰映像用カメラである。左側方カメラ１３は、車両の左側方に配置され、車両の左側方を中心とした周辺を撮影する。左側方カメラ１３は、例えば、１８０°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像１００の表示範囲より車両の左側方に広い範囲を含む。左側方カメラ１３は、撮影した映像を表示制御装置４０の映像データ取得部４１へ出力する。

右側方カメラ１４は、俯瞰映像用カメラである。右側方カメラ１４は、車両の右側方に配置され、車両の右側方を中心とした周辺を撮影する。右側方カメラ１４は、例えば、１８０°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像１００の表示範囲より車両の右側方に広い範囲を含む。右側方カメラ１４は、撮影した映像を表示制御装置４０の映像データ取得部４１へ出力する。

前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで、車両の全方位を撮影する。

表示パネル３１は、一例としてはナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示パネル３１は、必要なタイミングで、車両の周囲を確認するためのモニタである。表示パネル３１は、車両の周囲を確認することができれば、様々な形態をとりうることができる。表示パネルの一例としては、電子ルームミラーを用いたり、インストルメントパネルの機能とすることも可能である。表示パネル３１は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。表示パネル３１は、運転者から視認容易な位置に配置されている。本実施形態では、表示パネル３１は、車両の運転者前方の、ダッシュボード、インストルメントパネル、センターコンソールなどに配置されている。表示パネル３１は、表示制御装置４０の表示制御部４８から出力された映像信号に基づき、車両の俯瞰映像１００を表示する。

表示制御装置４０は、駐車を支援するための情報を提供する。より詳しくは、表示制御装置４０は、入庫時および出庫時に、俯瞰映像１００を生成し表示する。

表示制御装置４０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や映像処理用プロセッサなどで構成された演算処理装置（制御部）である。表示制御装置４０は、記憶部４９に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。表示制御装置４０は、映像データ取得部４１と、自車両情報取得部４２と、判断部４３と、俯瞰映像生成部４４と、表示制御部４８と、内部メモリである記憶部４９が含まれる。表示制御装置４０は、一または複数の装置で構成されていてもよい。

映像データ取得部４１は、車両の周辺を撮影した映像データを取得する。より詳しくは、映像データ取得部４１は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とが出力した映像データを取得する。映像データ取得部４１は、取得した映像データを俯瞰映像生成部４４に出力する。

自車両情報取得部４２は、車両のギア操作情報など、駐車支援表示トリガである駐車開始トリガまたは駐車終了トリガとなる自車両情報を、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）や車両の状態をセンシングする各種センサなどから取得する。自車両情報取得部４２は、自車両情報として、ＣＡＮや各種センサなどから取得した駐車操作範囲における速度の速度情報を取得する。自車両情報取得部４２は、取得した自車両情報を判断部４３および表示制御部４８に出力する。

判断部４３は、車両の駐車対象である駐車区画を含む駐車操作範囲における後退で入庫するときの車両の速度情報を取得し、駐車操作範囲における後退で入庫するときの速度が比較速度情報として定義された所定の閾値Ｖｔ（図２参照）以下であることを判定する。より詳しくは、判断部４３は、自車両情報取得部４２で取得した自車両情報に基づいて、車両の駐車区画を含む駐車操作範囲における後退で入庫するときの車両の速度情報を取得する。そして、判断部４３は、取得した速度情報に基づいて、駐車操作範囲における後退で入庫するときの速度が所定の閾値Ｖｔ以下であるか否かを判定する。

駐車操作範囲とは、車両の駐車対象である駐車区画とその周囲を含む範囲である。駐車区画は、表示制御装置４０が取得した映像データに画像処理を行って判定してもよいし、ユーザが指定してもよい。駐車操作範囲とは、入庫時に、車両が入庫操作を行う範囲である。より詳しくは、駐車操作範囲とは、入庫時に、車両が後退して入庫するまでに通る範囲である。駐車操作範囲とは、出庫時に、車両が出庫操作を行う範囲である。より詳しくは、駐車操作範囲とは、出庫時に、車両が入庫状態から前進して出庫するまでに通る範囲である。例えば、駐車操作範囲とは、車両の駐車対象である駐車区画から所定距離以内の範囲をいう。例えば、所定距離は、５．５ｍである。または、例えば、所定距離は、車両の全長に１ｍを加算した距離である。つまり、入庫状態における車両の前端部の位置から１ｍ前方の位置に車両の後端部が来たときに駐車操作範囲となる。

車両が後退して入庫したことは、例えば、シフトポジションが「リバース」とされて、車両が後方に走行した後に、シフトポジションが「パーキング」または「ニュートラル」とされたこと、または、５秒以上の時間、速度がゼロとなったこと、または、エンジン停止、または、サイドブレーキやフットブレーキの操作などで検出する。または、車両が後退して入庫したことは、ユーザ操作など任意のトリガで検出してもよい。

車両が入庫状態から前進して出庫することは、例えば、シフトポジションが「パーキング」または「ニュートラル」であること、または、５秒以上の時間、速度がゼロであること、または、エンジン停止、または、サイドブレーキやフットブレーキの操作などの入庫状態から、エンジン始動されたこと、シフトポジションが「ドライブ」にされたこと、サイドブレーキやフットブレーキが解除されたことなどで検出する。または、車両が入庫状態から前進して出庫することは、ユーザ操作など任意のトリガで検出してもよい。

比較速度情報は、駐車操作範囲における後退で入庫するときの平均速度、または、最高速度に基づいて定義された速度の閾値Ｖｔである。本実施形態では、比較速度情報である閾値Ｖｔは、入庫時の最高速度に基づいて定義される。

例えば、閾値Ｖｔは、車両や駐車区画によらず一般的な入庫時の最高速度に所定の係数を乗算したものとしてもよい。例えば、所定の係数を６０％とすると、閾値Ｖｔは、一般的な入庫時の最高速度の６０％の値である。例えば、一般的な入庫時の最高速度の範囲が７ｋｍ／ｈ以上、１０ｋｍ／ｈ以下の場合、閾値Ｖｔは４．２ｋｍ／ｈ以上、６ｋｍ／ｈ以下である。

例えば、閾値Ｖｔは、車両の入庫時の速度情報の履歴に基づいて、最高速度を取得し、取得した最高速度に所定の係数を乗算したものとしてもよい。さらに、閾値Ｖｔは、運転者ごとの最高速度を取得し、取得した最高速度に所定の係数を乗算したものとしてもよい。

例えば、閾値Ｖｔは、駐車対象の駐車区画における不特定車両の入庫時の速度情報の履歴に基づいて、最高速度を取得し、取得した最高速度に所定の係数を乗算したものとしてもよい。なお、複数の駐車区画を有する駐車場の場合、駐車区画を区別せずに駐車場全体における不特定車両の最高速度に所定の係数を乗算したものとしてもよい。不特定車両の入庫時の速度情報の履歴は、例えば、駐車場の管理会社、自動車メーカ、ナビゲーションメーカなどが速度情報を収集し管理するデータベースから参照する。

図２を参照して入庫時の最高速度と閾値Ｖｔとについて説明する。図２は、入庫時における速度の変化の一例を説明する図である。後退開始位置Ａから入庫完了位置Ｂまでの速度と時間との関係は、図２のようになる。図２において、後退開始位置Ａから入庫完了位置Ｂまでの最高速度は、破線で示す閾値Ｖｔを下回っている。

このように、本実施形態では、判断部４３は、速度情報に基づいて、車両が入庫するまでの最高速度が、入庫時の所定の閾値Ｖｔ以下であることを判定する。

俯瞰映像生成部４４は、映像データ取得部４１で取得した周辺映像データに視点変換処理および合成処理を行い、俯瞰映像１００を生成する。俯瞰映像生成部４４は、入庫時、俯瞰映像１００を生成する。俯瞰映像生成部４４は、出庫時、判断部４３が速度が閾値Ｖｔ以下であると判定した場合、俯瞰映像１００を生成する。本実施形態では、俯瞰映像生成部４４は、判断部４３が、車両が入庫するまでの最高速度が所定の閾値Ｖｔ以下であると判定した場合、俯瞰映像１００を生成する。俯瞰映像生成部４４は、生成した俯瞰映像１００を表示制御部４８に出力する。俯瞰映像生成部４４は、視点変換処理部４４１と、切出処理部４４２と、合成処理部４４３とを有する。

視点変換処理部４４１は、映像データ取得部４１で取得した周辺映像データに対して、車両を上方から見下ろすように視点変換処理を行う。より詳しくは、視点変換処理部４４１は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで撮影した周辺映像データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部４４１は、視点変換処理を行った周辺映像データを切出処理部４４２に出力する。

切出処理部４４２は、視点変換処理を行った周辺映像データから所定の範囲の映像を切出す切出処理を行う。どの範囲を切出範囲とするかは、あらかじめ登録され記憶されている。切出処理部４４２は、切出処理を行った映像の映像データを合成処理部４４３に出力する。

合成処理部４４３は、切出処理を行った映像データを合成する合成処理を行う。合成処理部４４３は、合成した映像に車両アイコン１１０を表示した俯瞰映像１００を生成する。

図３を用いて、俯瞰映像１００について説明する。図３は、第一実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。俯瞰映像１００は、車両から２ｍ程度の範囲を表示する。俯瞰映像１００は、駐車区画Ｐ２に存在する隣接車両Ｖ２、および、駐車区画Ｐ３に存在する隣接車両Ｖ３が表示範囲に含まれる。俯瞰映像１００は、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４と、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４とで囲まれた中央部に位置する車両アイコン１１０とを含む。車両アイコン１１０は、車両の位置と向きとを示す。車両アイコン１１０は、前後方向を俯瞰映像１００の前後方向と平行にして、中央部に配置されている。

表示制御部４８は、入庫時、俯瞰映像生成部４４が生成する俯瞰映像１００を表示パネル３１に表示させる。表示制御部４８は、車両の入庫状態からの前進出庫時、判断部４３が後退で入庫するときの速度が閾値Ｖｔ以下であると判定した場合、俯瞰映像生成部４４が生成する俯瞰映像１００を表示パネル３１に表示させる。本実施形態では、表示制御部４８は、判断部４３が、車両が入庫するまでの最高速度が所定の閾値Ｖｔ以下であると判定した場合、俯瞰映像１００を表示パネル３１に表示させる。

記憶部４９は、表示制御装置４０におけるデータの一時記憶などに用いられる。記憶部４９は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。または、図示しない通信装置を介して無線接続される外部記憶装置であってもよい。

次に、図４、図５を用いて、表示制御システム１の表示制御装置４０における処理の流れについて説明する。図４は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。図５は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの他の例を示すフローチャートである。

表示制御システム１が起動されると、表示制御装置４０は、映像データ取得部４１で映像データを取得する。表示制御装置４０は、自車両情報取得部４２で自車両情報を取得する。

まず、入庫時の処理の流れについて説明する。

表示制御装置４０は、後退を開始したか否かを判定する（ステップＳ１１）。表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、後退トリガの有無を判定する。後退トリガは、例えば、シフトポジションが「リバース」とされたこと、または、車両の進行方向が後方になったことで検出する。表示制御装置４０は、後退を開始していないと判定した場合（ステップＳ１１でＮｏ）、ステップＳ１１の処理を再度実行する。表示制御装置４０は、後退を開始したと判定した場合（ステップＳ１１でＹｅｓ）、ステップＳ１２に進む。

ステップＳ１１で後退を開始したと判定された場合（ステップＳ１１でＹｅｓ）、表示制御装置４０は、俯瞰映像表示を開始する（ステップＳ１２）。より詳しくは、表示制御装置４０は、俯瞰映像生成部４４で俯瞰映像１００を生成し、表示制御部４８で俯瞰映像１００を表示パネル３１に表示させる。表示制御装置４０は、ステップＳ１３に進む。

表示制御装置４０は、入庫が完了したか否かを判定する（ステップＳ１３）。より詳しくは、表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、例えば、シフトポジションが「パーキング」または「ニュートラル」であること、または、５秒以上の時間、速度がゼロであること、または、エンジン停止、または、サイドブレーキやフットブレーキの操作などを検出した場合、入庫が完了したと判定する。表示制御装置４０は、入庫が完了したと判定した場合、俯瞰映像表示を終了すると判定し（ステップＳ１３でＹｅｓ）、ステップＳ１４に進む。表示制御装置４０は、入庫が完了していないと判定した場合、映像表示を終了しないと判定し（ステップＳ１３でＮｏ）、ステップＳ１３の処理を再度実行する。

表示制御装置４０は、入庫が完了したと判定された場合（ステップＳ１３でＹｅｓ）、俯瞰映像表示を終了する（ステップＳ１４）。表示制御装置４０は、ステップＳ１５に進む。

表示制御装置４０は、自車両情報取得部４２で自車両情報の速度情報を取得し、記憶部４９に記憶させる（ステップＳ１５）。そして、表示制御装置４０は、処理を終了する。

次に、出庫時の処理の流れについて説明する。

表示制御装置４０は、前進トリガの有無を判定する（ステップＳ２１）。表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、前進トリガの有無を判定する。前進トリガは、例えば、エンジンが始動されたこと、シフトポジションが前進可能な「ドライブ」などにされたこと、サイドブレーキやフットブレーキが解除されたことなどで検出する。表示制御装置４０は、前進トリガがないと判定した場合（ステップＳ２１でＮｏ）、ステップＳ２１の処理を再度実行する。表示制御装置４０は、前進トリガがあると判定した場合（ステップＳ２１でＹｅｓ）、ステップＳ２２に進む。

ステップＳ２１で前進トリガがあると判定された場合（ステップＳ２１でＹｅｓ）、表示制御装置４０は、入庫からの前進であるか否かを判定する（ステップＳ２２）。より詳しくは、表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、前進トリガを検出する直前の状態が、例えば、シフトポジションが「パーキング」または「ニュートラル」であった、または、５秒以上の時間、速度がゼロであった、または、エンジンが停止していた、または、サイドブレーキやフットブレーキが操作されていたと判定された場合、入庫からの前進であると判定する。または、表示制御装置４０は、記憶部４９に、第一障害物情報が記憶されている場合、入庫からの前進であると判定してもよい。表示制御装置４０は、入庫からの前進ではないと判定した場合（ステップＳ２２でＮｏ）、ステップＳ２１の処理を再度実行する。表示制御装置４０は、入庫からの前進であると判定した場合（ステップＳ２２でＹｅｓ）、ステップＳ２３に進む。

表示制御装置４０は、入庫時の速度情報を取得させる（ステップＳ２３）。より詳しくは、表示制御装置４０は、入庫時に記憶部４９に記憶した自車両情報に基づいて、入駐車操作範囲における車両の速度情報を取得する。表示制御装置４０は、ステップＳ２４に進む。

表示制御装置４０は、入庫時の最高速度が閾値Ｖｔ以下であるか否かを判定する（ステップＳ２４）。表示制御装置４０は、判断部４３による判定の結果、入庫時の最高速度が閾値Ｖｔ以下ではないと判定した場合（ステップＳ２４でＮｏ）、処理を終了する。この場合、俯瞰映像１００は表示されない。表示制御装置４０は、判断部４３による判定の結果、入庫時の最高速度が閾値Ｖｔ以下であると判定した場合（ステップＳ２４でＹｅｓ）、ステップＳ２５に進む。

表示制御装置４０は、前進を開始したか否かを判定する（ステップＳ２５）。表示制御装置４０は、取得した操作情報に基づいて、例えば、速度がゼロ以上であること、または、車両が前方に走行したことが検出された場合、前進を開始したと判定する。表示制御装置４０は、車両が前進していないと判定した場合（ステップＳ２５でＮｏ）、ステップＳ２５の処理を再度実行する。表示制御装置４０は、車両が前進したと判定した場合（ステップＳ２５でＹｅｓ）、ステップＳ２６に進む。

ステップＳ２５で前進を開始したと判定された場合（ステップＳ２５でＹｅｓ）、表示制御装置４０は、俯瞰映像表示を開始する（ステップＳ２６）。より詳しくは、表示制御装置４０は、俯瞰映像生成部４４で俯瞰映像１００を生成し、表示制御部４８で俯瞰映像１００を表示パネル３１に表示させる。表示制御装置４０は、ステップＳ２７に進む。

俯瞰映像１００を表示パネル３１に表示させるタイミングについては、一例としてステップＳ２６を例示したが、車両がエンジン始動したとき、シフトポジションが「ドライブ」にされたとき、車両が前進を開始したときなど、出庫する際に周辺状況を確認するために適切なタイミングであれば任意である。

表示制御装置４０は、俯瞰映像表示の終了条件を満たすか否かを判定する（ステップＳ２７）。より詳しくは、表示制御装置４０は、取得した操作情報に基づいて、例えば、前進を開始した位置から所定距離以上走行したことや、速度が所定速度以上になったことを検出した場合、俯瞰映像表示の終了条件を満たすと判定する。具体例としては、前進を開始した位置から予め設定された距離または車両の全長に基づく距離である５．５ｍ以上走行した場合などである。または、走行速度が例えば５ｋｍ／ｈ以上となった場合である。表示制御装置４０は、俯瞰映像表示の終了条件を満たすと判定した場合、俯瞰映像表示を終了すると判定し（ステップＳ２７でＹｅｓ）、ステップＳ２８に進む。表示制御装置４０は、俯瞰映像表示の終了条件を満たしていないと判定した場合、映像表示を終了しないと判定し（ステップＳ２７でＮｏ）、ステップＳ２７の処理を再度実行する。

ステップＳ２７で俯瞰映像表示の終了条件を満たすと判定された場合（ステップＳ２７でＹｅｓ）、表示制御装置４０は、俯瞰映像表示を終了する（ステップＳ２８）。そして、表示制御装置４０は、処理を終了する。

上述したように、本実施形態は、判断部４３が、入庫時の最高速度が閾値Ｖｔ以下であると判定した場合、俯瞰映像１００を表示パネル３１に表示させる。入庫時の最高速度が閾値Ｖｔ以下である場合は、入庫時に閾値Ｖｔ以上の速度が出せないような狭い駐車区画や、障害物などが存在する場合などである。このように、本実施形態は、出庫時に入庫時の速度に応じて適切に俯瞰映像１００を表示させることができる。これにより、入庫時に速度が遅く、例えば、高齢者や運転に不慣な人、駐車操作を慎重に行う人などが時間をかけて駐車したようなとき、出庫時には、運転者が、目視またはミラーによる確認に加えて、俯瞰映像１００によって車両の周辺を適切に確認することができる。

本実施形態によれば、出庫時に入庫時の速度に応じて、俯瞰映像１００の表示が必要なときに限って俯瞰映像１００を表示する。このように、本実施形態は、俯瞰映像１００を表示させる必要性がない状況で俯瞰映像１００が表示されたり、ナビゲーションによる経路を確認したいときなどに俯瞰映像１００が表示されてしまうことを抑制することができる。

［第二実施形態］
図６、図７を参照しながら、本実施形態に係る表示制御システム１について説明する。図６は、入庫時における速度の変化の他の例を説明する図である。図７は、第二実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。表示制御システム１は、基本的な構成は第一実施形態の表示制御システム１と同様である。以下の説明においては、表示制御システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。表示制御システム１は、判断部４３における処理が第一実施形態と異なる。

実施形態では、比較速度情報である閾値Ｖｔは、入庫時の平均速度に基づいて定義される。

例えば、閾値Ｖｔは、車両や駐車区画によらず一般的な入庫時の平均速度に所定の係数を乗算したものとしてもよい。例えば、所定の係数を６０％とすると、閾値Ｖｔは、一般的な入庫時の平均速度の６０％の値である。例えば、一般的な入庫時の平均速度が５ｋｍ／ｈの場合、閾値Ｖｔは３ｋｍ／ｈである。

例えば、閾値Ｖｔは、車両の入庫時の速度情報の履歴に基づいて、平均速度を算出し、算出した平均速度に所定の係数を乗算したものとしてもよい。さらに、閾値Ｖｔは、運転者ごとの平均速度を算出し、算出した平均速度に所定の係数を乗算したものとしてもよい。

例えば、閾値Ｖｔは、駐車対象の駐車区画における不特定車両の入庫時の速度情報の履歴に基づいて、平均速度を算出し、算出した平均速度に所定の係数を乗算したものとしてもよい。なお、複数の駐車区画を有する駐車場の場合、駐車区画を区別せずに駐車場全体における不特定車両の平均速度に所定の係数を乗算したものとしてもよい。

図６を参照して入庫時の平均速度と閾値Ｖｔとについて説明する。後退開始位置Ａから入庫完了位置Ｂまでの速度と時間との関係は、図６のようになる。図６において、後退開始位置Ａから入庫完了位置Ｂまでの平均速度Ｖａは、破線で示す閾値Ｖｔを下回っている。

このように、本実施形態では、判断部４３は、速度情報に基づいて、車両が入庫するまでの平均速度が所定の閾値Ｖｔ以下であることを判定する。

俯瞰映像生成部４４は、判断部４３が、車両が入庫するまでの平均速度が所定の閾値Ｖｔ以下であると判定した場合、俯瞰映像１００を生成する。

表示制御部４８は、判断部４３が、車両が入庫するまでの平均速度が所定の閾値Ｖｔ以下であると判定した場合、俯瞰映像１００を表示パネル３１に表示させる。

次に、図７を用いて、出庫時の、表示制御システム１の表示制御装置４０における処理の流れについて説明する。図７に示すフローチャートにおけるステップＳ３１ないしステップＳ３３、ステップＳ３５ないしステップＳ３８の処理は、図５に示すフローチャートのステップＳ２１ないしステップＳ２３、ステップＳ２５ないしステップＳ２８と同様の処理を行う。

表示制御装置４０は、入庫時の平均速度が閾値Ｖｔ以下であるか否かを判定する（ステップＳ３４）。表示制御装置４０は、判断部４３による判定の結果、入庫時の平均速度が閾値Ｖｔ以下ではないと判定した場合（ステップＳ３４でＮｏ）、処理を終了する。この場合、俯瞰映像１００は表示されない。表示制御装置４０は、判断部４３による判定の結果、入庫時の平均速度が閾値Ｖｔ以下であると判定した場合（ステップＳ３４でＹｅｓ）、ステップＳ３５に進む。

上述したように、本実施形態によれば、判断部４３が、入庫時の平均速度が閾値Ｖｔ以下であると判定した場合、俯瞰映像１００を表示パネル３１に表示させる。入庫時の平均速度が閾値Ｖｔ以下である場合は、運転者が入庫時に慎重になっている場合や、もたついている場合などである。これらのような場合の多くは、入庫する駐車区画の周囲に、慎重にならざるを得ない障害物などが存在する場合や、入庫が容易ではない区画位置の場合などである。このように、本実施形態は、出庫時に入庫時の平均速度に応じて適切に俯瞰映像１００を表示させることができる。これにより、入庫時に平均速度が遅く、入庫操作が容易ではなかったとき、出庫時には、運転者が、目視またはミラーによる確認に加えて、俯瞰映像１００によって車両の周辺を適切に確認することができる。

［第三実施形態］
図８ないし図１０を参照しながら、本実施形態に係る表示制御システム１Ａについて説明する。図８は、第三実施形態に係る表示制御システムの構成例を示すブロック図である。図９は、駐車区画を説明する図であり、入庫時および出庫時の状態を示す。図１０は、第三実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。表示制御システム１Ａは、基本的な構成は第一実施形態の表示制御システム１と同様である。表示制御システム１Ａは、センサユニット２１Ａから隣接情報を取得する隣接情報取得部４５Ａを有する点で第一実施形態と異なる。

本実施形態では、図９に示すように、車両Ｖ１は、駐車区画Ｐ１に駐車される。駐車区画Ｐ２は、車両Ｖ１から見て駐車区画Ｐ１の左隣である。駐車区画Ｐ３は、車両Ｖ１から見て駐車区画Ｐ１の右隣である。隣接車両Ｖ２は、駐車区画Ｐ２に駐車されている。隣接車両Ｖ３は、駐車区画Ｐ３に駐車されている。

表示制御システム１Ａは、センサユニット２１Ａを有する。

センサユニット２１Ａは、車両の周囲に設置された複数のセンサを含む。センサユニット２１Ａは、車両の近傍に存在する障害物を検出可能である。本実施形態では、センサユニット２１Ａは、車両の近傍に存在する障害物として、駐車区画Ｐ１に隣接している駐車区画Ｐ２および駐車区画Ｐ３に存在する隣接車両を検出する。本実施形態では、センサユニット２１Ａは、前方中央センサと前方左センサと前方右センサと後方中央センサと後方左センサと後方右センサと左側方センサと右側方センサとが配置されている。各センサは同様に構成されているため、前方右センサについて説明し、他のセンサについては説明を省略する。

前方右センサは、車両の前方右側に配置され、車両の前方右側における障害物を検出する。本実施形態では、前方右側センサは、駐車区画Ｐ３に存在する隣接車両を検出する。前方右側センサは、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。前方右側センサは、例えば、車両から５ｍ程度までの距離の隣接車両を検出する。前方右側センサは、鉛直方向視において、センサの中央部を中心とした、例えば、４０°程度の範囲の隣接車両を検出する。前方右側センサの検出範囲は、前方中央センサの検出範囲の一部と重複していてもよい。前方右側センサは、検出結果である隣接車両の有無を示す障害物情報を表示制御装置４０Ａの隣接情報取得部４５Ａへ出力する。

このようなセンサユニット２１Ａによって、車両の全方位の隣接車両を検出可能である。本実施形態では、センサユニット２１Ａの検出結果によって、駐車区画Ｐ２および駐車区画Ｐ３に存在する隣接車両を検出可能である。より詳しくは、検出結果に含まれる、隣接車両を検出したセンサ、および、センサで検出した隣接車両の水平方向の存在範囲によって、いずれの駐車区画に隣接車両が検出されたかが特定される。

本実施形態では、隣接情報取得部４５Ａは、車両の周囲の障害物の障害物情報を取得する障害物情報取得部である。隣接情報取得部４５Ａは、車両が後退して入庫したときにおける第一障害物情報、および、車両が入庫状態から前進して出庫するときにおける第二障害物情報を取得する。より詳しくは、隣接情報取得部４５Ａは、車両が後退して入庫したとき、センサユニット２１Ａから第一障害物情報を取得する。隣接情報取得部４５Ａは、入庫時の第一障害物情報を記憶部４９で記憶させる。また、隣接情報取得部４５Ａは、車両が入庫状態から前進して出庫するとき、センサユニット２１Ａから第二障害物情報を取得する。車両が後退して入庫した判断、および車両が前進して出庫する判断は、自車両情報取得部４２から取得した車両のギア操作情報やエンジンのオン／オフ情報などによって判断する。隣接情報取得部４５Ａは、出庫時の隣接車両情報を判断部４３Ａに出力する。

第一障害物情報は、車両が後退して入庫したときにおける車両の周囲の障害物の情報である。本実施形態では、第一障害物情報は、車両が後退して入庫したときにおける、駐車区画Ｐ２および駐車区画Ｐ３に存在する隣接車両の有無を含む情報である。

第二障害物情報は、車両が入庫状態から前進して出庫するときにおける車両の周囲の障害物の情報である。本実施形態では、第二障害物情報は、車両が入庫状態から前進して出庫するときにおける、駐車区画Ｐ２および駐車区画Ｐ３に存在する隣接車両の有無を含む情報である。

図９を参照して、入庫時と出庫時との車両Ｖ１の周辺状況について説明する。図９において、車両Ｖ１の入庫時における隣接車両Ｖ３の位置を破線で示し、車両Ｖ１の出庫時における隣接車両Ｖ３の位置を実線で示す。入庫時、駐車区画Ｐ２に隣接車両Ｖ２が存在し、駐車区画Ｐ３に隣接車両Ｖ３が存在している。これらの情報がセンサユニット２１Ａによって検出されて、隣接情報取得部４５Ａによって第一障害物情報として取得される。

出庫時、駐車区画Ｐ３の隣接車両Ｖ３は、入庫時よりも車両Ｖ１寄りに位置が変化している。より詳しくは、駐車区画Ｐ３の隣接車両Ｖ３は、車両Ｖ１の側方との距離Ｌが入庫時より短くなっている。これらの情報がセンサユニット２１Ａによって検出されて、隣接情報取得部４５Ａによって第二障害物情報として取得される。

判断部４３Ａは、隣接情報取得部４５Ａで取得した障害物情報に基づいて、入庫時と出庫時との周囲の障害物の変動が所定の条件を満たすか否かを判断する。本実施形態では、判断部４３Ａは、隣接情報取得部４５Ａで取得した第一障害物情報と第二障害物情報とに基づいて、周囲の障害物の変動がない場合、または、車両に近接するように変動している場合、入庫時と出庫時との周囲の障害物の変動が所定の条件を満たすと判断する。車両に近接するように変動しているとは、入庫時には障害物が存在していなかったものの、出庫時には障害物が存在していた場合、および、出庫時の障害物の位置が入庫時の障害物の位置に比べて車両に近接する方向に変動する場合、を含む。

俯瞰映像生成部４４Ａは、判断部４３Ａが閾値Ｖｔ以下であると判断することに加えて、入庫時と出庫時との周囲の障害物の変動が所定の条件を満たしていると判断する場合、俯瞰映像１００を生成する。

表示制御部４８Ａは、判断部４３Ａが閾値Ｖｔ以下であると判断することに加えて、入庫時と出庫時との周囲の障害物の変動が所定の条件を満たしていると判断する場合、車両が入庫状態から出庫する際に、俯瞰映像１００を表示パネル３１に表示させる。

次に、図１０を用いて、出庫時の、表示制御システム１Ａの表示制御装置４０Ａにおける処理の流れについて説明する。図１０に示すフローチャートにおけるステップＳ４１ないしステップＳ４４、ステップＳ４６ないしステップＳ４９の処理は、図５に示すフローチャートのステップＳ２１ないしステップＳ２４、ステップＳ２５ないしステップＳ２８と同様の処理を行う。

表示制御装置４０Ａは、隣接車両が近接しているか否かを判定する（ステップＳ４５）。表示制御装置４０Ａは、判断部４３Ａによる判定の結果、入庫時と出庫時とにおいて、隣接車両が車両に近接するように位置が変化していると判定した場合（ステップＳ４５でＹｅｓ）、ステップＳ４６に進む。表示制御装置４０Ａは、判断部４３Ａによる判定の結果、入庫時と出庫時とにおいて、隣接車両が車両に近接するように位置が変化していないと判定した場合（ステップＳ４５でＮｏ）、処理を終了する。

上述したように、本実施形態によれば、判断部４３Ａが閾値Ｖｔ以下であると判断することに加えて、入庫時と出庫時との周囲の障害物の変動が所定の条件を満たしていると判断する場合、俯瞰映像１００を表示パネル３１に表示させる。このように、本実施形態は、出庫時に入庫時の速度と、隣接車両の変動に応じて適切に俯瞰映像１００を表示させることができる。これにより、出庫が難しくなると予測されるとき、運転者が、目視またはミラーによる確認に加えて、俯瞰映像１００によって車両の周辺を適切に確認することができる。

図示した表示制御システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

表示制御システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

隣接情報取得部４５Ａは、センサユニット２１Ａから第一障害物情報および第二障害物情報を取得するものとして説明したが、これに限定されない。隣接情報取得部４５Ａは、映像データ取得部４１で取得した映像データに画像処理を行って、被撮影物から車両の周囲の障害物を認識し、第一障害物情報および第二障害物情報として取得してもよい。

第一障害物情報は、車両が後退して入庫したとき、取得するものとして説明したがこれに限定されない。第一障害物情報は、車両が後退して入庫している駐車動作中に取得した情報に基づいて、入庫完了時の車両の周囲の障害物の情報を取得してもよい。

さらにまた、例えば、図示しないナビゲーションシステムの地図情報と車両の現在位置情報とから、車両の現在位置が駐車場であると判定された場合、または、映像データ取得部４１で取得した映像データに画像処理を行って、車両の現在位置が駐車場であると判定された場合、車両が入庫したと判定してもよい。

上記の実施形態では、判断部４３が、入庫時の速度が閾値Ｖｔ以下であると判定した場合、俯瞰映像１００を表示パネル３１に表示させるものとしたがこれに限定されない。判断部４３が、出庫時の速度が閾値Ｖｔ以下であると判定した場合、俯瞰映像１００を表示パネル３１に表示させてもよい。この場合、比較速度情報は、駐車操作範囲における出庫時の車両の平均速度、または、最高速度に基づいて定義された速度の閾値Ｖｔとする。または、判断部４３が、出庫時に加速度がゼロの状態が所定時間継続した場合、または、加速度がゼロの状態で所定距離走行した場合、俯瞰映像１００を表示パネル３１に表示させてもよい。または、判断部４３が、出庫時に速度が減速した場合、俯瞰映像１００を表示パネル３１に表示させてもよい。

１ 表示制御システム
１１ 前方カメラ（撮影部）
１２ 後方カメラ（撮影部）
１３ 左側方カメラ（撮影部）
１４ 右側方カメラ（撮影部）
３１ 表示パネル（表示部）
４０ 表示制御装置
４１ 映像データ取得部
４２ 自車両情報取得部
４３ 判断部
４４ 俯瞰映像生成部
４８ 表示制御部
４９ 記憶部

Claims (7)

1. 車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得部と、
   前記映像データ取得部が取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成部と、
   前記車両の駐車区画を含む駐車操作範囲における後退で入庫するときの前記車両の速度情報を取得し、前記駐車操作範囲における速度が所定の閾値以下であることを判断する判断部と、
   前記判断部が前記速度が前記閾値以下であると判断した場合、前記車両が入庫状態から前進で出庫するときに、前記俯瞰映像生成部が生成する俯瞰映像を表示部に表示させる表示制御部と、
   を備えることを特徴とする表示制御装置。
2. 前記判断部は、入庫時の比較速度情報を参照可能であり、前記速度情報に基づいて、前記車両が入庫するまでの速度が前記比較速度情報として定義された所定の閾値以下であることを判断する、
   請求項１に記載の表示制御装置。
3. 前記車両の周囲の障害物の障害物情報を取得する障害物情報取得部、
   を備え、
   前記判断部は、前記障害物情報取得部で取得した前記障害物情報に基づいて、入庫時と出庫時との周囲の障害物の変動が所定の条件を満たすか否かを判断し、
   前記表示制御部は、前記判断部が前記速度が閾値以下であると判断することに加えて、入庫時と出庫時との周囲の障害物の変動が所定の条件を満たしていると判断する場合、前記車両が入庫状態から出庫する際に、前記俯瞰映像生成部が生成する俯瞰映像を前記表示部に表示させ、
   請求項１または２に記載の表示制御装置。
4. 前記判断部は、入庫時と出庫時との周囲の障害物の変動がない場合、または、出庫時の周囲の障害物が入庫時より前記車両に近接するように変動している場合、所定の条件を満たすと判断する、
   請求項３に記載の表示制御装置。
5. 請求項１から４のいずれか一項に記載の表示制御装置と、
   前記映像データ取得部が映像データを取得する複数の撮影部、前記表示制御部が俯瞰映像を表示させる表示部の少なくともどちらかと、
   を備えることを特徴とする表示制御システム。
6. 車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、
   前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、
   前記車両の駐車区画を含む駐車操作範囲における後退で入庫するときの前記車両の速度情報を取得し、前記駐車操作範囲における速度が所定の閾値以下であることを判断する判断ステップと、
   前記判断ステップで前記速度が前記閾値以下であると判断した場合、前記車両が入庫状態から前進で出庫するときに、前記俯瞰映像生成ステップで生成する俯瞰映像を表示部に表示させる表示制御ステップと、
   を含むことを特徴とする表示制御方法。
7. 車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、
   前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、
   前記車両の駐車区画を含む駐車操作範囲における後退で入庫するときの前記車両の速度情報を取得し、前記駐車操作範囲における速度が所定の閾値以下であることを判断する判断ステップと、
   前記判断ステップで前記速度が前記閾値以下であると判断した場合、前記車両が入庫状態から前進で出庫するときに、前記俯瞰映像生成ステップで生成する俯瞰映像を表示部に表示させる表示制御ステップと、
   を表示制御装置として動作するコンピュータに実行させるためのプログラム。

Images