JP2020086882A - 表示制御装置、方法、及びコンピュータ・プログラム - Google Patents

Abstract

【課題】車両の前方に存在する特定のオブジェクトに関する情報を迅速に認識させる画像を表示する。【解決手段】プロセッサは、前景に存在する実オブジェクト３１０の位置情報を取得し、少なくとも実オブジェクト３１０の位置に基づき、実オブジェクト３１０が運転者によって視認されにくい状態であるか判定し、実オブジェクト３１０が運転者によって視認されにくい状態である場合、実オブジェクト３１０の近傍に運転者によって視認されやすい画像２００の種類を多くする。【選択図】 図３Ａ

Description

本開示は、車両で使用され、車両の前景に画像を重畳して視認させる表示制御装置、方法、及びコンピュータ・プログラムに関する。

特許文献１には、車両の運転席にいる視認者（運転者）から見て、運転者が視認すべき特定の実オブジェクト（他車両、歩行者、信号機など）の近傍に視認されるように車両の前景に重ねて画像を表示させ、その画像を選択することで、特定の実オブジェクトの詳細な情報を表示させる表示制御装置が開示されている。

特開２０１８−８８１１８号公報

しかしながら、特許文献１の表示制御装置では、運転者による選択操作が行われてから、特定の実オブジェクトに対応する画像の表示態様を変化させている（簡易的な表示から詳細な表示へ変化させている）。運転者は、様々な領域に動的に視覚的注意を向けながら車両の運転をしているため、情報を迅速に認識させる表示装置が望まれている。

また、特定の実オブジェクト（他車両、歩行者、信号機など）の近傍に視認されるように車両の前景に重ねて画像を表示させることで、特定の実オブジェクトの位置は迅速に把握させることができるが、表示する画像の数が多いと、視認者の視覚的注意が散漫となってしまうことも想定される。

本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。

本開示の概要は、車両の前方に存在する特定のオブジェクトに関する情報を迅速に認識させる画像を表示することに関する。より具体的には、視認者の視覚的注意が散漫になりにくくすることにも関する。

したがって、本明細書に記載される表示制御装置は、運転者によって、実オブジェクトが視認されにくい状態である場合、実オブジェクトの近傍に運転者によって視認されやすい画像の種類を多くする。いくつかの実施形態では、実オブジェクトが運転者によって視認されにくい状態が解除され、かつ所定の条件が成立した場合、実オブジェクトの近傍に運転者によって視認されやすい画像の種類を少なくしてもよい。

いくつかの実施形態に係る、ヘッドアップディスプレイ装置の適用例を示す図である。 いくつかの実施形態に係る、ヘッドアップディスプレイ装置のブロック図である。 いくつかの実施形態に係る、ヘッドアップディスプレイ装置が表示する画像の例を示す図である。 図３Ａと図３Ｃとの間の表示遷移の途中に表示される画像の例を示す図である。 いくつかの実施形態に係る、ヘッドアップディスプレイ装置が表示する画像の例を示す図である。 いくつかの実施形態に係る、ヘッドアップディスプレイ装置が表示する画像の例を示す図である。 いくつかの実施形態に係る、ヘッドアップディスプレイ装置が表示する画像の例を示す図である。 いくつかの実施形態に係る、ヘッドアップディスプレイ装置が表示する画像の表示遷移の例を示す図である。 いくつかの実施形態に係る、表示制御の処理を示すフロー図である。

以下に、本発明に係る実施形態について図面を参照して説明する。なお、本発明は以下の実施形態（図面の内容も含む）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。

以下、図１及び図２では、例示的なヘッドアップディスプレイ装置の構成の説明を提供する。図３Ａ、図３Ｂ、図４Ａ、図４Ｂ、及び図５では、表示例を提供する。図６では、例示的な表示制御の処理の流れを説明する。

図１を参照する。車両用表示システム１０における画像２００を表示する画像表示部１１は、自車両１のダッシュボード５内に設けられたヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）装置である。ＨＵＤ装置は、表示光１１ａをフロントウインドシールド２（被投影部材の一例である）に向けて出射し、仮想的な表示領域１００内に画像２００を表示することで、フロントウインドシールド２を介して視認される現実空間である前景３００に重ねて画像２００を視認させる。

画像表示部１１は、表示制御装置１３の制御に基づいて、自車両１のフロントウインドシールド２を介して視認される現実空間である前景３００に存在する、障害物（歩行者、自転車、自動二輪車、他車両）、路面、道路標識、及び建物、などの実オブジェクトの近傍（画像と実オブジェクトとの位置関係の一例）、前記実オブジェクトに重なる位置（画像と実オブジェクトとの位置関係の一例）、又は前記実オブジェクトを基準に設定された位置（画像と実オブジェクトとの位置関係の一例）に画像２００を表示することで、視覚的な拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を形成することもできる。

図２は、いくつかの実施形態に係る、車両用表示システム１０のブロック図である。車両用表示システム１０は、画像表示部１１と、画像表示部１１を制御する表示制御装置１３と、で構成される。表示制御装置１３は、１つ又はそれ以上のＩ／Ｏインタフェース１４、１つ又はそれ以上のプロセッサ１６、１つ又はそれ以上の記憶部１８、及び１つ又はそれ以上の画像処理回路２０を備える。図２に記載される様々な機能ブロックは、ハードウェア、ソフトウェア、又はこれら両方の組み合わせで構成されてもよい。図２は、実施態様の一実施例に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、画像処理回路２０（例えば、グラフィック処理ユニット）が、１つ又はそれ以上のプロセッサ１６に含まれてもよい。

図示するように、プロセッサ１６及び画像処理回路２０は、記憶部１８と動作可能に連結される。より具体的には、プロセッサ１６及び画像処理回路２０は、記憶部１８に記憶されているプログラムを実行することで、例えば画像データを生成又は／及び送信するなど、車両用表示システム１０の操作を行うことができる。プロセッサ１６又は／及び画像処理回路２０は、少なくとも１つの汎用マイクロプロセッサ（例えば、中央処理装置（ＣＰＵ））、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）、少なくとも１つのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はそれらの任意の組み合わせを含むことができる。記憶部１８は、ハードディスクのような任意のタイプの磁気媒体、ＣＤ及びＤＶＤのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、ＤＲＡＭ及びＳＲＡＭを含み、不揮発性メモリは、ＲＯＭ及びＮＶＲＯＭを含んでもよい。

図示するように、プロセッサ１６は、Ｉ／Ｏインタフェース１４と動作可能に連結されている。例えば、Ｉ／Ｏインタフェース１４は、車両用表示システム１０を、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワークなどのパーソナルエリアネットワーク（ＰＡＮ）、８０２．１１ｘ Ｗｉ−Ｆｉ（登録商標）ネットワークなどのローカルエリアネットワーク（ＬＡＮ）、４Ｇ又はＬＴＥ（登録商標）セルラーネットワークなどの広域ネットワーク（ＷＡＮ）に接続する無線通信インタフェースを含むことができる。また、Ｉ／Ｏインタフェース１４は、例えば、ＵＳＢポート、シリアルポート、パラレルポート、ＯＢＤＩＩ、及び／又は他の任意の適切な有線通信ポートなどの有線通信インタフェースを含むことができる。

図示するように、プロセッサ１６は、Ｉ／Ｏインタフェース１４と相互動作可能に連結されることで、車両用表示システム１０（Ｉ／Ｏインタフェース１４）に接続される種々の他の電子機器等と情報を授受可能となる。Ｉ／Ｏインタフェース１４には、例えば、自車両１に設けられた車両ＥＣＵ４０１、道路情報データベース４０３、自車位置検出部４０５、車外センサ４０７、視線方向検出部４０９、目位置検出部４１１、携帯情報端末４１３、及び車外通信接続機器４２０などが動作可能に連結される。画像表示部１１は、プロセッサ１６及び画像処理回路２０に動作可能に連結される。したがって、画像表示部１１によって表示される画像は、プロセッサ１６又は／及び画像処理回路２０から受信された画像データに基づいてもよい。プロセッサ１６及び画像処理回路２０は、Ｉ／Ｏインタフェース１４から得られる情報に基づき、画像表示部１１が表示する画像を制御する。なお、Ｉ／Ｏインタフェース１４は、車両用表示システム１０に接続される他の電子機器等から受信する情報を加工（変換、演算、解析）する機能を含んでいてもよい。

自車両１は、自車両１の状態（例えば、走行距離、車速、エンジン回転数、各種警告状態）などを検出する車両ＥＣＵ４０１を含んでいる。車両ＥＣＵ４０１は、自車両１の各部を制御するものであり、例えば、自車両１の現在の車速を示す車速情報をプロセッサ１６へ送信することができる。なお、車両ＥＣＵ４０１は、自車両１が低速走行しているか、又は停止しているかを示す情報をプロセッサ１６へ送信してもよい。また、車両ＥＣＵ４０１は、車両用表示システム１０が表示する画像２００を指示する指示信号をＩ／Ｏインタフェース１４に送信してもよく、この際、画像２００の座標、画像２００の報知必要度、又は／及び報知必要度を決定する元となる必要度情報を、指示信号に付加して送信してもよい。

自車両１は、ナビゲーションシステム等からなる道路情報データベース４０３を含んでいてもよい。道路情報データベース４０３は、後述する自車位置検出部４０５から取得される自車両１の位置に基づき、実オブジェクト関連情報の一例である自車両１が走行する道路情報（車線，白線，停止線，横断歩道，道路の幅員，車線数，交差点，カーブ，分岐路，交通規制など）、地物情報（建物、橋、河川など）の有無、位置（自車両１までの距離を含む）、方向、形状、種類、詳細情報などを読み出し、プロセッサ１６に送信することができる。

自車両１は、ＧＮＳＳ（全地球航法衛星システム）等からなる自車位置検出部４０５を含んでいてもよい。道路情報データベース４０３、後述する携帯情報端末４１３、又は／及び車外通信接続機器４２０は、自車位置検出部４０５から自車両１の位置情報を連続的、断続的、又は所定のイベント毎に取得することで、自車両１の周辺の情報を選択・生成して、プロセッサ１６に送信することができる。

自車両１は、自車両１の周辺（本実施形態では特に前景３００）に存在する実オブジェクトを検出する１つ又はそれ以上の車外センサ４０７を含んでいてもよい。車外センサ４０７が検知する実オブジェクトは、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、路面、区画線、路側物、又は／及び地物（建物など）などを含んでいてもよい。車外センサとしては、例えば、ミリ波レーダ、超音波レーダ、レーザレーダ等のレーダセンサ、カメラと画像処理装置からなるカメラセンサがあり、レーダセンサ、カメラセンサの両方の組み合わせで構成されてもよく、どちらか一方だけで構成されてもよい。これらレーダセンサやカメラセンサによる物体検知については従来の周知の手法を適用する。これらのセンサによる物体検知によって、三次元空間内での実オブジェクトの有無、実オブジェクトが存在する場合には、その実オブジェクトの位置（自車両１からの相対的な距離、自車両１の進行方向を前後方向とした場合の左右方向の位置、上下方向の位置等）、大きさ（横方向（左右方向）、高さ方向（上下方向）等の大きさ）、移動方向（横方向（左右方向）、奥行き方向（前後方向））、移動速度（横方向（左右方向）、奥行き方向（前後方向））、又は／及び種類等を検出してもよい。１つ又はそれ以上の車外センサ４０７は、各センサの検知周期毎に、自車両１の前方の実オブジェクトを検知して、実オブジェクト関連情報の一例である実オブジェクト関連情報（実オブジェクトの有無、実オブジェクトが存在する場合には実オブジェクト毎の位置、大きさ、又は／及び種類等の情報）をプロセッサ１６に送信することができる。なお、これら実オブジェクト関連情報は、他の機器（例えば、車両ＥＣＵ４０１）を経由してプロセッサ１６に送信されてもよい。また、夜間等の周辺が暗いときでも実オブジェクトが検知できるように、センサとしてカメラを利用する場合には赤外線カメラや近赤外線カメラが望ましい。また、センサとしてカメラを利用する場合、視差で距離等も取得できるステレオカメラが望ましい。

自車両１は、運転者４の注視方向（以下では「視線方向」ともいう）を検出する、運転者４の顔を撮像する赤外線カメラ等からなる視線方向検出部４０９を含んでいてもよい。プロセッサ１６は、赤外線カメラが撮像した画像（視線方向を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の視線方向を特定することができる。なお、プロセッサ１６は、赤外線カメラの撮像画像から視線方向検出部４０９（又は他の解析部）が特定した運転者４の視線方向をＩ／Ｏインタフェース１４から取得するものであってもよい。また、自車両１の運転者４の視線方向、又は運転者４の視線方向を推定可能な情報を取得する方法は、これらに限定されるものではなく、ＥＯＧ（Ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｍ）法、角膜反射法、強膜反射法、プルキンエ像検出法、サーチコイル法、赤外線眼底カメラ法などの他の既知の視線方向検出（推定）技術を用いて取得されてもよい。

自車両１は、運転者４の目の位置を検出する赤外線カメラ等からなる目位置検出部４１１を含んでいてもよい。プロセッサ１６は、赤外線カメラが撮像した画像（目の位置を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の目の位置を特定することができる。なお、プロセッサ１６は、赤外線カメラの撮像画像から特定された運転者４の目の位置の情報をＩ／Ｏインタフェース１４から取得するものであってもよい。なお、自車両１の運転者４の目の位置、又は運転者４の目の位置を推定可能な情報を取得する方法は、これらに限定されるものではなく、既知の目位置検出（推定）技術を用いて取得されてもよい。プロセッサ１６は、運転者４の目の位置に基づき、画像２００の位置を少なくとも調整することで、前景３００の所望の位置に重畳した画像２００を、目位置を検出した視認者（運転者４）に視認させてもよい。

携帯情報端末４１３は、スマートフォン、ノートパソコン、スマートウォッチ、又は運転者４（又は自車両１の他の乗員）が携帯可能なその他の情報機器である。Ｉ／Ｏインタフェース１４は、携帯情報端末４１３とペアリングすることで、携帯情報端末４１３と通信を行うことが可能であり、携帯情報端末４１３（又は携帯情報端末を通じたサーバ）に記録されたデータを取得する。携帯情報端末４１３は、例えば、上述の道路情報データベース４０３及び自車位置検出部４０５と同様の機能を有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。また、携帯情報端末４１３は、自車両１の近傍の商業施設に関連するコマーシャル情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。なお、携帯情報端末４１３は、携帯情報端末４１３の所持者（例えば、運転者４）のスケジュール情報、携帯情報端末４１３での着信情報、メールの受信情報などをプロセッサ１６に送信し、プロセッサ１６及び画像処理回路２０は、これらに関する画像データを生成又は／及び送信してもよい。

車外通信接続機器４２０は、自車両１と情報のやりとりをする通信機器であり、例えば、自車両１と車車間通信（Ｖ２Ｖ：Ｖｅｈｉｃｌｅ Ｔｏ Ｖｅｈｉｃｌｅ）により接続される他車両、歩車間通信（Ｖ２Ｐ：Ｖｅｈｉｃｌｅ Ｔｏ Ｐｅｄｅｓｔｒｉａｎ）により接続される歩行者（歩行者が携帯する携帯情報端末）、路車間通信（Ｖ２Ｉ：Ｖｅｈｉｃｌｅ Ｔｏ ｒｏａｄｓｉｄｅ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）により接続されるネットワーク通信機器であり、広義には、自車両１との通信（Ｖ２Ｘ：Ｖｅｈｉｃｌｅ Ｔｏ Ｅｖｅｒｙｔｈｉｎｇ）により接続される全てのものを含む。車外通信接続機器４２０は、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、路面、区画線、路側物、又は／及び地物（建物など）の位置を取得し、プロセッサ１６に送信してもよい。また、車外通信接続機器４２０は、上述の自車位置検出部４０５と同様の機能を有し、自車両１の位置情報を取得し、プロセッサ１６に送信してもよく、さらに上述の道路情報データベース４０３の機能も有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。なお、車外通信接続機器４２０から取得される情報は、上述のものに限定されない。

記憶部１８に記憶されたソフトウェア構成要素は、実オブジェクト位置検出モジュール５０２、実オブジェクト関連情報検出モジュール５０４、報知必要度検出モジュール５０６、報知必要度推定モジュール５０８、視線方向検出モジュール５１０、実オブジェクト視認判定モジュール５１２、車両情報検出モジュール５１４、画像種類決定モジュール５１６、画像位置決定モジュール５１８、画像サイズ決定モジュール５２０、目位置検出モジュール５２２、及びグラフィックモジュール５２４を含む。

実オブジェクト位置検出モジュール５０２は、後述する画像２００の座標やサイズを決定する元となる、自車両１の前景３００に存在する実オブジェクトの位置やサイズを検出する。実オブジェクト位置検出モジュール５０２は、例えば、道路情報データベース４０３、車外センサ４０７、又は車外通信接続機器４２０から、自車両１の前景３００に存在する実オブジェクト３１０（図３Ｂ、図３Ｃ、図４Ａ、図４Ｂ、図５の歩行者）の位置（自車両１の運転者４が運転席から車両の進行方向（前方）を視認した際の高さ方向（上下方向）、横方向（左右方向）の位置であり、これらに、奥行き方向（前方向）の位置が追加されてもよい）、及び実オブジェクト３１０のサイズ（高さ方向、横方向のサイズ）、を取得してもよい。

また、実オブジェクト位置検出モジュール５０２は、車外センサ４０７による実オブジェクトの位置検出精度が低下する環境（雨、霧、雪などの悪天候）であるかを判定することができる。例えば、実オブジェクトの位置検出精度を算出し、位置検出精度の低下により悪天候を判定してもよく、携帯情報端末４１３、車外通信接続機器４２０などから車両が走行する位置の天候情報を取得することで悪天候を判定してもよい。

実オブジェクト関連情報検出モジュール５０４は、後述する画像２００の内容（以下では、適宜「種類」ともいう）を決定する元となる、自車両１の前景３００に存在する実オブジェクトに関する情報（実オブジェクト関連情報）を検出する。実オブジェクト関連情報は、例えば、実オブジェクトが、歩行者である、又は他車両であるなどの実オブジェクトの種類を示す種類情報、実オブジェクトの移動方向を示す移動方向情報、実オブジェクトまでの距離や到達時間を示す距離時間情報、又は駐車場（実オブジェクト）の料金などの実オブジェクトの個別詳細情報、である（但し、これらに限定されない）。例えば、実オブジェクト関連情報検出モジュール５０４は、道路情報データベース４０３又は携帯情報端末４１３から種類情報、距離時間情報、又は／及び個別詳細情報を取得し、車外センサ４０７から種類情報、移動方向情報、又は／及び距離時間情報を取得し、車外通信接続機器４２０から種類情報、移動方向情報、距離時間情報、又は／及び個別詳細情報を検出してもよい。

報知必要度検出モジュール５０６は、実オブジェクト位置検出モジュール５０２が検出した実オブジェクトの位置情報とともに、実オブジェクト関連情報検出モジュール５０４が検出した実オブジェクト関連情報を運転者４に報知する必要度（報知必要度）を検出する。報知必要度検出モジュール５０６は、Ｉ／Ｏインタフェース１４に接続される種々の他の電子機器から報知必要度を検出してもよい。また、図２でＩ／Ｏインタフェース１４に接続された電子機器が車両ＥＣＵ４０１に情報を送信し、受信した情報に基づき車両ＥＣＵ４０１が決定した報知必要度を、報知必要度検出モジュール５０６が検出してもよい。『報知必要度』は、例えば、起こり得る自体の重大さの程度から導き出される危険度、反応行動を起こすまでに要求される反応時間の長短から導き出される緊急度、自車両１や運転者４（又は自車両１の他の乗員）の状況から導き出される有効度、又はこれらの組み合わせなどで決定され得る（報知必要度の指標はこれらに限定されない）。

報知必要度推定モジュール５０８は、画像２００の報知必要度を推定する元となる必要度情報を検出し、これから報知必要度を推定する。画像２００の報知必要度を推定する元となる必要度情報は、例えば、実オブジェクトや交通規制（道路情報の一例）の位置、種類などで推定されてもよく、Ｉ／Ｏインタフェース１４に接続される種々の他の電子機器から入力される他の情報に基づいて、又は他の情報を加味して推定されてもよい。なお、車両用表示システム１０は、前記報知必要度を推定する機能を有していなくてもよく、前記報知必要度を推定する機能の一部又は全部は、プロセッサ１６とは別に設けられてもよい。

視線方向検出モジュール５１０は、視線方向検出部４０９から運転者４の視線方向を取得する。なお、視線方向検出モジュール５１０は、視線方向検出部４０９から運転者４の視線方向を推定可能な情報を取得し、これに基づいて、運転者４の視線方向を推定する機能を有していてもよい。

実オブジェクト視認判定モジュール５１２は、実オブジェクトの位置、又は実オブジェクトの位置と運転者４の視線方向とから、特定の実オブジェクトが運転者４から視認されにくい状態であるかを判定する。実オブジェクト視認判定モジュール５１２は、複数の実オブジェクトの位置関係などから、特定の実オブジェクトが運転者４から視認されにくい状態であるか（運転者４から見て特定の実オブジェクトが他の実オブジェクトの死角に配置されているか）を判定することができる。例えば、実オブジェクト位置検出モジュール５０２は、車外通信接続機器４２０で検出した特定の実オブジェクトの位置が、車外センサ４０７で検出した他の実オブジェクトによって死角となる位置を示している場合、この特定の実オブジェクトが運転者４から視認されにくい状態であると判定してもよい。

また、実オブジェクト視認判定モジュール５１２は、実オブジェクトの位置と運転者４の視線方向とから、特定の実オブジェクトが運転者４から視認されにくい状態であるか（運転者４の視線方向が所定の距離以上、特定の実オブジェクトから離れているか）を判定することができる。例えば、実オブジェクト視認判定モジュール５１２は、車外センサ４０７から取得した特定の実オブジェクトの位置と、視線方向検出部４０９から取得した運転者４の視線方向と、が所定の閾値以上離れていた場合、この特定の実オブジェクトが運転者４から視認されにくい状態であると判定してもよい。なお、実オブジェクト視認判定モジュール５１２は、画像表示部１１によって表示される画像の位置と、視線方向検出部４０９から取得した運転者４の視線方向と、が所定の閾値以上離れていた場合、この特定の実オブジェクトが運転者４から視認されにくい状態であると判定してもよい。

また、実オブジェクト視認判定モジュール５１２は、実オブジェクト位置検出モジュール５０２が判定した天候などから、特定の実オブジェクトが運転者４から視認されにくい状態であるか（悪天候で運転者４から見て特定の実オブジェクトが視認しづらい環境であるか）を判定することができる。

画像種類決定モジュール５１６は、例えば、実オブジェクト位置検出モジュール５０２により検出された画像２００を対応付けて表示する実オブジェクトの種類、位置、実オブジェクト関連情報検出モジュール５０４で検出された実オブジェクト関連情報の種類、数、又は／及び報知必要度検出モジュール５０６（報知必要度推定モジュール５０８）で検出された（推定された）報知必要度の大きさに基づいて、実オブジェクトに対して表示する画像２００の種類を決定することができる。また、画像種類決定モジュール５１６は、実オブジェクト視認判定モジュール５１２による判定結果により、表示する画像２００の種類を増減させる。具体的には、実オブジェクト３１０が運転者４によって視認されにくい状態である場合、実オブジェクトの近傍に運転者４によって視認される画像２００の種類が所定の第１表示モードより多い、第２表示モードとする。この処理については、後で詳述する。

画像位置決定モジュール５１８は、実オブジェクト位置検出モジュール５０２により検出された実オブジェクトの位置に基づき、画像２００の座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）を決定する。特定の実オブジェクトに関連する画像２００を表示する場合、画像位置決定モジュール５１８は、特定の実オブジェクトと所定の位置関係になるように画像２００の座標を決定する。例えば、画像２００の中心が実オブジェクトの中心と重なって視認されるように、画像２００の左右方向、及び上下方向の位置を決定する。また、画像位置決定モジュール５１８は、画像２００が直接関連しない実オブジェクトを基準に、所定の位置関係になるように、画像２００の座標を決定することができる。例えば、図３Ａに示すように、自車両１が走行する車線３２０の左側の区画線３２１（実オブジェクトの一例）や右側の区画線３２２（実オブジェクトの一例）を基準に、区画線とは直接関連しない歩行者３１０（特定の実オブジェクトの一例）に関連する画像２１２の座標を決定してもよい。なお、『所定の位置関係』は、実オブジェクト又は自車両１の状況、実オブジェクトの種類、表示される画像の種類などにより調整され得る。

画像サイズ決定モジュール５２０は、実オブジェクト位置検出モジュール５０２により検出された画像２００を対応付けて表示する実オブジェクトの種類、位置、実オブジェクト関連情報検出モジュール５０４で検出された実オブジェクト関連情報の種類、数、又は／及び報知必要度検出モジュール５０６（報知必要度推定モジュール５０８）で検出された（推定された）報知必要度の大きさに基づいて、画像２００のサイズを決定することができる。また、画像サイズ決定モジュール５２０は、画像２００の種類の数に応じて、画像サイズを変更できる。例えば、画像２００の種類が多くなれば、画像サイズを小さくしてもよい。

目位置検出モジュール５２２は、自車両１の運転者４の眼の位置を検出する。目位置検出モジュール５２２は、複数段階で設けられた高さ領域のどこに運転者４の眼の高さがあるかの判定、運転者４の眼の高さ（Ｙ軸方向の位置）の検出、運転者４の眼の高さ（Ｙ軸方向の位置）及び奥行方向の位置（Ｚ軸方向の位置）の検出、運転者４の眼の位置（Ｘ，Ｙ，Ｚ軸方向の位置）の検出、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。目位置検出モジュール５２２は、例えば、目位置検出部４１１から運転者４の眼の位置を取得する、又は、目位置検出部４１１から運転者４の目の高さを含む目の位置を推定可能な情報を受信し、運転者４の目の高さを含む目の位置を推定する。目の位置を推定可能な情報は、例えば、自車両１の運転席の位置、運転者４の顔の位置、座高の高さ、運転者４による図示しない操作部での入力値などであってもよい。

グラフィックモジュール５２４は、表示される画像２００の、視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）、サイズ、表示位置、表示距離（運転者４から画像２００までの距離）を変更するための様々な既知のソフトウェア構成要素を含む。グラフィックモジュール５２４は、画像種類決定モジュール５１６が設定した種類、画像位置決定モジュール５１８が設定した座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）、画像サイズ決定モジュール５２０が設定した画像サイズで運転者４に視認されるように画像２００を表示する。グラフィックモジュール５２４は、自車両１の進行に伴い運転者４から見える前景３００が接近すると、その前景３００に対する画像２００の相対位置が変化していないように、前景３００に追従して画像２００の位置を連続的に調整してもよく、画像サイズも徐々に大きくなるように調整してもよい。

図３Ａ、図３Ｂ、図３Ｃは、実オブジェクトが運転者によって視認されにくい状態であるか否かの判定に応じた、車両用表示システム１０が表示する画像２００の変化を示す図であり、左図は運転席から見た景色であり、右図は左図における要所の拡大図である。図３Ａでは、特定の実オブジェクト３１０（歩行者）が、運転者４から見て他の実オブジェクト３０１（壁）の背後に位置している（特定の実オブジェクト３１０が運転者４によって視認されにくい状態の一例）場合の画像の表示例（符号２１１，２１２，２１３）を示している。壁３０１の死角に位置している歩行者３１０に対して、歩行者３１０の位置を指示する歩行者３１０を外側から囲む矩形の指示画像２１１と、歩行者３１０の移動方向を示す矢印形状の移動方向画像２１２と、実オブジェクト３１０の種類（歩行者）を示すイラストレーションである種類画像２１３と、の３種類が表示される（第２表示モード）。

図３Ｂでは、特定の実オブジェクト３１０（歩行者）が、運転者４から見て他の実オブジェクト３０１（壁）の死角から出た（特定の実オブジェクト３１０が運転者４によって視認されやすい状態の一例）直後の画像２００の表示例を示している。壁３０１の背後から出て運転者４から直接視認される位置に移動した直後の歩行者３１０に対して、歩行者３１０の位置を指示する歩行者３１０を外側から囲む矩形の指示画像２１１と、歩行者３１０の移動方向を示す矢印形状の移動方向画像２１２と、実オブジェクト３１０の種類（歩行者）を示すイラストレーションである種類画像２１３と、の３種類がそのまま表示される（第２表示モードを維持）。この後、所定の条件が成立した場合、図３Ｃの表示に移行し、壁３０１の背後から出て運転者４から直接視認される位置に移動した歩行者３１０に対して、歩行者３１０の位置を指示する歩行者３１０を外側から囲む矩形の指示画像２１１の１種類の画像のみが表示される（画像の種類が少なくなる）。

画像の種類が少なくなる「所定の条件」は、特定の実オブジェクト３１０が運転者４によって視認されにくい状態から、特定の実オブジェクト３１０が運転者４によって視認されやすい状態になってから予め定められた時間が経過したこと、運転者４の視線方向が実オブジェクト３１０に移動したこと、又はこれらの組み合わせであってもよく、他の条件が追加されてもよく、他の条件に代替えされてもよい。これにより、視認されにくい状態が解除されること（換言すると、実オブジェクトの状態が変化すること）と、画像の種類が減少すること（換言すると、画像の状態が変化すること）と、が同時に起こってしまうことで、視認者が混乱してしまうことを抑制することもできる。但し、所定の条件が成立しなくても、歩行者３１０が壁３０１の背後から出て運転者４から直接視認される位置に移動すると直ちに画像の種類を少なくしてもよい。

特定の実オブジェクト３１０が運転者４によって視認されにくい状態の別の判定例を説明する。図４Ａ、図４Ｂは、運転者４の視線方向ＧＺと実オブジェクトとの位置関係に応じて実オブジェクトが運転者によって視認されにくい状態であるか否か判定し、判定結果に応じて生じる車両用表示システム１０が表示する画像２００の変化を示す図であり、左図は運転席から見た景色であり、右図は左図における要所の拡大図である。

図４Ａでは、特定の実オブジェクト３１０（歩行者）が、運転者４から見て他の実オブジェクト３０１（壁）の背後から外れた位置に存在して運転者４から直接視認される位置であるが、運転者４の視線方向ＧＺが特定の実オブジェクト３１０（歩行者）から離れている（特定の実オブジェクト３１０が運転者４によって視認されにくい状態の一例）場合の画像２００の表示例を示している。視線方向ＧＺから離れている特定の実オブジェクト３１０（歩行者）に対して、歩行者３１０の位置を指示する歩行者３１０を外側から囲む矩形の指示画像２１１と、歩行者３１０の移動方向を示す矢印形状の移動方向画像２１２と、実オブジェクト３１０の種類（歩行者）を示すイラストレーションである種類画像２１３と、の３種類が表示される（第２表示モード）。

図４Ｂでは、運転者４の視線方向ＧＺが、特定の実オブジェクト３１０（歩行者）に近づいた（特定の実オブジェクト３１０が運転者４によって視認されやすい状態の一例）場合の画像２００の表示例を示している。視線方向ＧＺが近づいた歩行者３１０に対して、歩行者３１０の位置を指示する歩行者３１０を外側から囲む矩形の指示画像２１１の１種類の画像のみが表示される（画像の種類が少なくなる）。このように、特定の実オブジェクト３１０が運転者４によって視認されにくい状態から、特定の実オブジェクト３１０が運転者４によって視認されやすい状態になった場合に、複数の種類の画像のうち一部のみ非表示とする（一部の種類の画像を残す）。

また、図３Ｃ（図３Ｂ）、図４Ｂに示す特定の実オブジェクト３１０が運転者４によって視認されやすい状態から、図３Ａ、図４Ａに示す特定の実オブジェクト３１０が運転者４によって視認されにくい状態になった場合、実オブジェクト３１０の近傍に運転者４によって視認される画像の種類を多くする（第２表示モード）。これにより、特定の実オブジェクトが視認されにくい状態であっても、実オブジェクトの近傍に表示される画像の種類が多い（画像の数が多い）ことから視覚的注意を向けやすくすることができ、視線方向が移動した場合に、種類の多い情報を迅速に認識させることもできる。

図５は、いくつかの実施形態に係る、画像の種類の数を変化させる際の表示遷移を説明する図である。表示遷移の順は、図５の（ａ）、（ｂ）、（ｃ）、（ｄ）の順、又はこの逆である。図５（ａ）では、歩行者３１０の近傍に、「項目Ａ」を示す第１画像２２１と、「項目Ｂ」を示す第２画像２２２、の２種類が表示されている（図５では第２表示モード）。ここで、実オブジェクト３１０が運転者４によって視認されにくい状態が解除された（又は、これに加えて他の所定の条件も成立した）場合、図５（ｂ）で示すように、第１画像２２１が非表示（視認性低下でもよい）とされ、その後、図５（ｃ）で示すように、第１画像２２１と異なる第３画像２２３が表示された後、図５（ｄ）で示すように、元から表示されていた第２画像２２２が非表示（視認性低下でもよい）とされる。なお、図５（ｂ）の状態を省略してもよい。この実施形態によれば、画像の種類の数を減少させつつ、表示される画像の種類を追加することができる。

次に、逆の表示遷移について、同じく図５を用いて説明する。図５（ｄ）では、歩行者３１０の近傍に、「項目Ｃ」を示す第３画像２２３の１種類が表示されている（図５では第１表示モード）。ここで、実オブジェクト３１０が運転者４によって視認されにくい状態になった（又は、これに加えて他の所定の条件も成立した）場合、図５（ｃ）で示すように第１画像２２１が表示され、その後、図５（ｂ）で示すように、元から表示されていた第３画像２２３が非表示（視認性低下でもよい）された後、第３画像２２３と異なる第１画像２２１が表示されてもよい。この実施形態によれば、画像の種類の数を増加させつつ、元から表示されていた画像の種類を減少させることができる。なお、「画像の種類が異なる」とは、画像が示す内容が異なること、内容が同じでも形式が異なること、を含んでもよい。

図６は、いくつかの実施形態に係る、画像の表示処理のフロー図である。まず、実オブジェクト３１０の位置を取得（ステップＳ１）し、実オブジェクト関連情報を取得（ステップＳ２）し、実オブジェクト３１０を運転者４に報知が必要か判定する（ステップＳ３）。報知が必要でなければ（ステップＳ３でＮｏ）、処理を終了して、再びステップＳ１から処理を開始し、報知が必要であれば（ステップＳ３でＹｅｓ）、ステップＳ４に移行する。

ステップＳ４では、特定の実オブジェクト３１０が視認されにくい状態であるかを判定し、特定の実オブジェクト３１０が運転者４によって視認されにくい状態になった（又は、これに加えて他の所定の条件も成立した）場合、特定の実オブジェクト３１０の近傍に視認される画像の種類を多くする（ステップＳ５、ステップＳ７）。一方、特定の実オブジェクト３１０が運転者４によって視認されにくい状態が解除された（又は、これに加えて他の所定の条件も成立した）場合、特定の実オブジェクト３１０の近傍に視認される画像の種類を少なくする（ステップＳ６、ステップＳ７）。

上述の処理プロセスの動作は、汎用プロセッサ又は特定用途向けチップなどの情報処理装置の１つ以上の機能モジュールを実行させることにより実施することができる。これらのモジュール、これらのモジュールの組み合わせ、又は／及びそれらの機能を代替えし得る一般的なハードウェアとの組み合わせは全て、本発明の保護の範囲内に含まれる。

車両用表示システム１０の機能ブロックは、任意選択的に、説明される様々な実施例の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実行される。図２で説明する機能ブロックが、説明される実施例の原理を実施するために、任意選択的に、組み合わされ、又は１つの機能ブロックを２以上のサブブロックに分離されてもいいことは、当業者に理解されるだろう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割を、任意選択的に支持する。
［変形例］

図１では、表示領域１００を、自車両１の進行方向（Ｚ軸方向）に対して垂直に設けられているが、これに限定されない。表示領域１００は、例えば、自車両１の車幅方向（Ｘ軸方向）を中心に回転し、自車両１の進行方向（Ｚ軸方向）に対して垂直にならないように設けられてもよい。また、表示領域１００は、１箇所ではなく、例えば、自車両１の進行方向（Ｚ軸方向）の離れた位置に２箇所以上設けられてもよい。また、表示領域１００は、面積領域ではなく、３次元の体積領域であってもよい。すなわち、画像２００は、３次元空間に奥行き方向に移動可能であってもよい。換言すると、画像２００は、表示距離が変化可能であってもよい。

上述実施形態では、グラフィックモジュール５２４は、画像２００が表示される位置及び画像サイズを連続的に変化させることで、画像２００が自車両１に接近しているように視認させていたが、さらに画像２００のプロパティデータ（俯角／仰角）を徐々に変化させてもよい。また、さらに、プロパティデータ（方位角）を徐々に変化させてもよい。

１…自車両、２…フロントウインドシールド、４…運転者、５…ダッシュボード、１０…車両用表示システム、１１…画像表示部、１１ａ…表示光、１３…表示制御装置、１４…Ｉ／Ｏインタフェース、１６…プロセッサ、１８…記憶部、２０…画像処理回路、１００…表示領域、２００…画像、２１１…指示画像、２１２…移動方向画像、２１３…種類画像、２２１…第１画像、２２２…第２画像、２２３…第３画像、３００…前景、３０１…実オブジェクト、３１０…実オブジェクト、３２０…車線、３２１…区画線、３２２…区画線、４０１…車両ＥＣＵ、４０３…道路情報データベース、４０５…自車位置検出部、４０７…車外センサ、４０９…視線方向検出部、４１１…目位置検出部、４１３…携帯情報端末、４２０…車外通信接続機器、５０２…実オブジェクト位置検出モジュール、５０４…実オブジェクト関連情報検出モジュール、５０６…報知必要度検出モジュール、５０８…報知必要度推定モジュール、５１０…視線方向検出モジュール、５１２…実オブジェクト視認判定モジュール、５１４…車両情報検出モジュール、５１６…画像種類決定モジュール、５１８…画像位置決定モジュール、５２０…画像サイズ決定モジュール、５２２…目位置検出モジュール、５２４…グラフィックモジュール、ＧＺ…視線方向

Claims (15)

1. 車両（１）の運転者から見て前景（３００）に重なる領域に画像（２００）を表示するヘッドアップディスプレイ装置（１１）を制御する表示制御装置（１３）において、
   １つ又はそれ以上のＩ／Ｏインタフェース（１４）と、
   １つ又はそれ以上のプロセッサ（１６）と、
   メモリ（１８）と、
   前記メモリ（１８）に格納され、前記１つ又はそれ以上のプロセッサ（１６）によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、
   前記１つ又はそれ以上のプロセッサ（１６）は、
   前記１つ又はそれ以上のＩ／Ｏインタフェース（１４）から、前記前景（３００）に存在する実オブジェクト（３１０）の位置情報を取得し、
   前記実オブジェクト（３１０）が前記運転者によって視認されにくい状態であるか判定し、
   前記実オブジェクト（３１０）が前記運転者によって視認されにくい状態である場合、前記実オブジェクト（３１０）の近傍に前記運転者によって視認されやすい前記画像（２００）の種類が所定の第１表示モードより多い、第２表示モードとする、
   命令を実行する、表示制御装置。
2. 前記１つ又はそれ以上のプロセッサ（１６）は、
   前記第２表示モードにおいて、
   前記実オブジェクト（３１０）が前記運転者によって視認されにくい状態が解除され、かつ所定の条件が成立した場合、表示されていた前記画像（２００）のうち所定の第１画像（２２１）を視認されにくくする、
   命令をさらに実行する請求項１に記載の表示制御装置。
3. 前記１つ又はそれ以上のプロセッサ（１６）は、
   前記第２表示モードにおいて、
   前記実オブジェクト（３１０）が前記運転者によって視認されにくい状態が解除され、かつ所定の条件が成立した場合、表示されていた第１画像（２２１）と第２画像（２２２）のうち前記第１画像（２２１）を非表示とし、かつ前記第１画像（２２１）と異なる第３画像（２２３）を表示させた後、前記第２画像（２２２）を視認されにくくする、
   命令をさらに実行する請求項１に記載の表示制御装置。
4. 前記１つ又はそれ以上のプロセッサ（１６）は、
   前記車両（１）の低速走行又は停止を推定可能な情報を検出し、
   前記第１表示モードにある際に、前記車両（１）が低速走行又は停止していると推定できた場合、前記実オブジェクト（３１０）の近傍に前記運転者によって視認される前記画像（２００）の種類を多くする、
   命令をさらに実行する請求項１乃至３のいずれかに記載の表示制御装置。
5. 前記第１表示モード及び前記第２表示モードにて表示される前記画像（２００）は、前記実オブジェクト（３１０）の前記位置情報に基づいて、表示される位置及びサイズが変化する指示画像（２１１）を含む、
   請求項１乃至３のいずれかに記載の表示制御装置。
6. 前記第１表示モードから前記第２表示モードに遷移する際に追加される前記画像（２００）は、前記実オブジェクト（３１０）の移動方向を示す移動方向画像（２１３）を含む、
   請求項１乃至３のいずれかに記載の表示制御装置。
7. 前記実オブジェクト（３１０）が前記運転者によって視認されにくい状態は、
   前記運転者の視線が前記実オブジェクト（３１０）から離れていること、
   前記実オブジェクト（３１０）が前記運転者から見て障害物で遮られていること、
   のいずれか一方を少なくとも含む、請求項１乃至３のいずれかに記載の表示制御装置。
8. 車両（１）の運転者から見て前景（３００）に重なる領域に画像（２００）を表示するヘッドアップディスプレイ装置（１１）を制御する方法であって、
   前記前景（３００）に存在する実オブジェクト（３１０）の位置情報を取得することと、
   前記実オブジェクト（３１０）が前記運転者によって視認されにくい状態であるか判定することと、
   前記実オブジェクト（３１０）が前記運転者によって視認されにくい状態である場合、前記実オブジェクト（３１０）の近傍に前記運転者によって視認される前記画像（２００）の種類が所定の第１表示モードより多い、第２表示モードとすることと、
   を含む方法。
9. 前記第２表示モードにおいて、
   前記実オブジェクト（３１０）が前記運転者によって視認されにくい状態が解除され、かつ所定の条件が成立した場合、表示されていた前記画像（２００）のうち所定の第１画像（２２１）を視認されにくくする、
   請求項８に記載の方法。
10. 前記第２表示モードにおいて、
    前記実オブジェクト（３１０）が前記運転者によって視認されにくい状態が解除され、かつ所定の条件が成立した場合、表示されていた前記画像（２００）のうち所定の第１画像（２２１）を非表示とし、かつ前記第１画像（２２１）と異なる第２画像（２２２）を表示させた後、前記第１画像（２２１）及び前記第２画像（２２２）と異なる第３画像（２２３）を視認されにくくする、
    請求項８に記載の方法。
11. 前記車両（１）の低速走行又は停止を推定可能な情報を検出することと、
    前記第１表示モードにある際に、前記車両（１）が低速走行又は停止していると推定できた場合、前記実オブジェクト（３１０）の近傍に前記運転者によって視認される前記画像（２００）の種類を多くすることと、
    をさら含む請求項８乃至１０のいずれかに記載の方法。
12. 前記第１表示モード及び前記第２表示モードにて表示される前記画像（２００）は、前記実オブジェクト（３１０）の前記位置情報に基づいて、表示される位置及びサイズが変化する指示画像（２１１）を含む、
    請求項８乃至１０のいずれかに記載の表示制御装置。
13. 前記第１表示モードから前記第２表示モードに遷移する際に追加される前記画像（２００）は、前記実オブジェクト（３１０）の移動方向を示す移動方向画像（２１３）を含む、
    請求項８乃至１０のいずれかに記載の方法。
14. 前記実オブジェクト（３１０）が前記運転者によって視認されにくい状態は、
    前記運転者の視線が前記実オブジェクト（３１０）から離れていること、
    前記実オブジェクト（３１０）が前記運転者から見て障害物で遮られていること、
    のいずれか一方を少なくとも含む、
    請求項８乃至１０のいずれかに記載の方法。
15. 請求項８乃至１０のいずれかに記載の方法を実行するための命令を含む、コンピュータ・プログラム。
    

Images