JP2021054205A - 表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラム - Google Patents

Abstract

【課題】視認者の注意を車両の側方及びあるいは後方の確認に向けることが可能な表示を提供する。【解決手段】画像を表示する表示器２２と、表示器２２が表示する画像の光を外部の被投影部材に投影し、画像の虚像を結像させるリレー光学系２４と、リレー光学系２４を回転させることで、虚像表示面１００を上下方向に回転移動させるアクチュエータ２５と、を備え、側方情報及び／あるいは後方情報を報知すべきであると推定される場合、プロセッサ３３は、アクチュエータ２５を駆動させ、虚像表示面１００が路面と重畳する第１の状態１１０から前記路面から浮き上がった第２の状態１２０となるように虚像表示面１００を回転移動させる。【選択図】 図１

Description

本開示は、車両で使用され、車両の前景に画像を重畳して視認させる表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラムに関する。

特許文献１には、画像の虚像が表示される平面又は曲面の表示領域を有するヘッドアップディスプレイ装置であり、該表示領域は、水平面（例えば、自車両が走行する路面）に沿うように、視認者から見た前記表示領域の上側が下側よりも視認者から離れた位置に配置されるものが記載されている。このようなヘッドアップディスプレイ装置は、表示領域を水平面に沿うように配置することで、表示領域に表示される画像があたかも走行レーンの路面に沿って実際に存在するかのように仮想現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を知覚させることができる。

特許文献２には、車両を停止させた後、左右後方の撮像画像を表示することで、降車時に自車両の後方から近づく注意対象を認識させる車両周辺撮影表示装置が開示されている。

特開２０１６−４５２５２号公報 特開２０１８−４７８３３号公報

特許文献１のヘッドアップディスプレイ装置では、画像が表示される表示領域（虚像が結像される結像面）は、画像が路面に沿って実在するかのような拡張現実を知覚させるものであるが、特許文献２のような車両の側方情報及び／あるいは後方情報を含む画像をこの表示領域に表示すると、運転者に違和感を与えることが想定される。

また、車両の前方情報を含む画像の継続であると勘違いしてしまい、視認者の注意が車両の側方及び／あるいは後方に十分向かない恐れも想定される。

本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。

本開示の概要は、車両の側方情報及び／あるいは後方情報を含む画像の表示を提供することに関する。より具体的には、視認者の注意を車両の側方及びあるいは後方の確認に向けることにも関する。

したがって、本明細書に記載される表示制御装置は、画像を表示する表示器と、前記表示器が表示する前記画像の光を外部の被投影部材に投影し、自車両前方の虚像表示面に前記画像の虚像を結像させるリレー光学系と、前記リレー光学系を回転させることで、前記虚像表示面を上下方向に回転移動させるアクチュエータと、を備えるヘッドアップディスプレイ装置において、側方情報及び／あるいは後方情報を報知すべきであると推定される場合、前記アクチュエータを駆動させ、前記虚像表示面が路面と重畳する第１の状態から前記路面から浮き上がった第２の状態となるように前記虚像表示面を回転移動させる。

いくつかの実施形態に係る、車両用表示システムの車両への適用例を示す図である。 いくつかの実施形態に係る、車両用表示システムのブロック図である。 いくつかの実施形態に係る、画像の表示例を示す図である。 いくつかの実施形態に係る、画像の表示処理を示すフロー図である。 いくつかの実施形態に係る、画像表示部の表示面を示す図である。 いくつかの実施形態に係る、画像の遷移例を示す図である。 いくつかの実施形態に係る、画像の遷移例を示す図である。

以下、図１及び図２では、例示的な車両用表示システムの構成の説明を提供する。図３では、画像の表示例を提供する。また、図４では、表示処理のフローを提供する。なお、本発明は以下の実施形態（図面の内容も含む）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。

図１を参照する。車両用表示システム１０は、画像表示部２０と、画像表示部２０を制御する表示制御装置３０と、で構成される。なお、本実施形態の説明では、自車両１の運転席に着座する運転者４が自車両１の前方を向いた際の左右方向をＸ軸（左方向がＸ軸正方向）、上下方向をＹ軸（上方向がＹ軸正方向）、前後方向をＺ軸（前方向がＺ軸正方向）とする。

車両用表示システム１０における画像表示部２０は、自車両１のダッシュボード５内に設けられたヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）装置である。ＨＵＤ装置は、表示光２０ａをフロントウインドシールド２（被投影部材の一例である）に向けて出射し、フロントウインドシールド２（被投影部材の一例である）よりも前方側（Ｚ軸正方向）の表示領域１００（虚像表示面）で画像を視認させる。これにより、運転者４は、フロントウインドシールド２を介して視認される現実空間である前景３００に重なった画像を視認できる。

表示領域１００は、ＨＵＤ装置の内部で生成された画像が、虚像として結像する平面、曲面、又は一部曲面の領域であり、結像面とも呼ばれる。表示領域１００自体は、実際に運転者４に視認されない、又は視認されにくい程度に視認性が低い。

画像表示部２０は、画像を表示する表示面を有する表示器２２と、リレー光学系２４と、を含む。表示器２２は、ＬＣＤなどのバックライトからの光を透過する透過型ディスプレイであってもよく、スクリーンに画像を投影するプロジェクション型ディスプレイであってもよい。これらの場合、表示面は、透過型ディスプレイにおけるディスプレイ表面であり、プロジェクション型ディスプレイのスクリーンである。表示器２２は、表示制御装置３０により制御されるモータなどのアクチュエータ（図２の第１アクチュエータ２３）が取り付けられ、表示面を移動、及び／又は回転可能であってもよい。

リレー光学系２４は、表示器２２からの画像の光を画像表示部２０の外側のフロントウインドシールド２（被投影部材の一例）に投影する１つ又はそれ以上の光学部材で構成される。本実施形態では、リレー光学系２４は、１つの凹面鏡（反射光学系の一例）で構成される例を説明するが、リレー光学系２４は、例えば、１つ又はそれ以上の、レンズなどの屈折光学部材、ホログラムなどの回折光学部材、反射光学部材、又はこれらの組み合わせで構成されてもよい。リレー光学系２４は、表示制御装置３０により制御されるモータなどのアクチュエータ（図２の第２アクチュエータ２５）が取り付けられ、移動、及び／又は回転可能であってもよい。一例として、第２アクチュエータ２５は、リレー光学系２４のうち、画像の光をフロントウインドシールド２に直接投影する凹面鏡を上下方向に回転させる。

画像表示部２０は、第２アクチュエータ２５を駆動させることで、リレー光学系２４とフロントウインドシールド２との位置関係によって定まるフロントウインドシールド２前方に位置する所定の点Ｃを中心とし、左右方向（Ｘ軸方向）に沿う方向を回転軸として表示領域１００を上下方向（Ｙ軸方向）に回転移動させ、自車両１の走行レーン３１０との距離Ｄを変更することができる。画像表示部２０は、表示領域１００と走行レーン３１０との距離を、第１の距離Ｄ１と、第１の距離Ｄ１よりも大きい第２の距離Ｄ２と、で切り替え可能である。

第１の距離Ｄ１である第１結像面１１０は、水平面（例えば、自車両１が走行する走行レーン３１０の路面）に沿うように、運転者４から見た表示領域１００の上側の部分（Ｙ軸正方向の部分）が下側の部分（Ｙ軸負方向の部分）よりも運転者４から離れた位置に配置される（第１の状態）。表示領域１００と路面とのなすチルト角は、０［ｄｅｇｒｅｅ］（表示領域１００と路面とが平行）でなくてもよく、２０［ｄｅｇｒｅｅ］未満に設定されることが好ましい。また、表示領域１００下側の部分（Ｙ軸負方向の部分）と走行レーン３１０の路面との間の距離（第１の距離Ｄ１）は、−１〜＋１［ｍｅｔｅｒ］の範囲に設定されることが好ましい。

第２の距離Ｄ２である第２結像面１２０は、運転者４から見て、第１結像面１１０よりも路面から浮き上がったように配置される（第２の状態）。表示領域１００下側の部分（Ｙ軸負方向の部分）と走行レーン３１０の路面との間の距離（第２の距離Ｄ２）は、第２結像面１２０が第１結像面１１０よりも浮き上がったことを運転者４が認識できる程度の範囲に設定されることが好ましい。

図２は、いくつかの実施形態に係る、車両用表示システム１０のブロック図である。表示制御装置３０は、１つ又はそれ以上のＩ／Ｏインタフェース３１、１つ又はそれ以上のプロセッサ３３、１つ又はそれ以上の画像処理回路３５、及び１つ又はそれ以上のメモリ３７を備える。図２に記載される様々な機能ブロックは、ハードウェア、ソフトウェア、又はこれら両方の組み合わせで構成されてもよい。図２は、実施態様の一実施形態に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、画像処理回路３５（例えば、グラフィック処理ユニット）が、１つ又はそれ以上のプロセッサ３３に含まれてもよい。

図示するように、プロセッサ３３及び画像処理回路３５は、メモリ３７と動作可能に連結される。より具体的には、プロセッサ３３及び画像処理回路３５は、メモリ３７に記憶されているプログラムを実行することで、例えば画像データを生成、及び／又は送信するなど、車両用表示システム１０の操作を行うことができる。プロセッサ３３及び／又は画像処理回路３５は、少なくとも１つの汎用マイクロプロセッサ（例えば、中央処理装置（ＣＰＵ））、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）、少なくとも１つのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はそれらの任意の組み合わせを含むことができる。メモリ３７は、ハードディスクのような任意のタイプの磁気媒体、ＣＤ及びＤＶＤのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、ＤＲＡＭ及びＳＲＡＭを含み、不揮発性メモリは、ＲＯＭ及びＮＶＲＯＭを含んでもよい。

図示するように、プロセッサ３３は、Ｉ／Ｏインタフェース３１と動作可能に連結されている。Ｉ／Ｏインタフェース３１は、例えば、ＣＡＮ（Controller Area Network）の規格に応じて、車両に設けられたＥＣＵ（図示しない）や、他の電子機器（後述する符号４０１〜４２０）との通信（ＣＡＮ通信とも称する）を行う。なお、Ｉ／Ｏインタフェース３１が採用する通信規格は、ＣＡＮに限定されず、例えば、ＣＡＮＦＤ（ＣＡＮ with Flexible Data Rate）、ＬＩＮ（Local Interconnect Network）、Ｅｔｈｅｒｎｅｔ（登録商標）、ＭＯＳＴ（Media Oriented Systems Transport：ＭＯＳＴは登録商標）、ＵＡＲＴ、あるいはＵＳＢ等の有線通信インタフェース、又は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワークなどのパーソナルエリアネットワーク（ＰＡＮ）、８０２．１１ｘ Ｗｉ−Ｆｉ（登録商標）ネットワークなどのローカルエリアネットワーク（ＬＡＮ）等の数十メートル内の近距離無線通信インタフェースである車内通信（内部通信）インタフェースを含む。また、Ｉ／Ｏインタフェース３１は、無線ワイドエリアネットワーク（ＷＷＡＮ０、ＩＥＥＥ８０２．１６−２００４（ＷｉＭＡＸ：Worldwide Interoperability for Microwave Access））、ＩＥＥＥ８０２．１６ｅベース（Ｍｏｂｉｌｅ ＷｉＭＡＸ）、４Ｇ、４Ｇ−ＬＴＥ、ＬＴＥ Ａｄｖａｎｃｅｄ、５Ｇなどのセルラー通信規格により広域通信網（例えば、インターネット通信網）などの車外通信（外部通信）インタフェースを含んでいてもよい。

図示するように、プロセッサ３３は、Ｉ／Ｏインタフェース３１と相互動作可能に連結されることで、車両用表示システム１０（Ｉ／Ｏインタフェース３１）に接続される種々の他の電子機器等と情報を授受可能となる。Ｉ／Ｏインタフェース３１には、例えば、自車両１に設けられた車速センサ４０１、ナビゲーションシステム４０３、及び車外センサ４２０などが動作可能に連結される。表示器２２は、プロセッサ３３及び画像処理回路３５に動作可能に連結される。したがって、画像表示部２０によって表示される画像は、プロセッサ３３及び／又は画像処理回路３５から受信された画像データに基づいてもよい。プロセッサ３３及び画像処理回路３５は、Ｉ／Ｏインタフェース３１から得られる情報に基づき、画像表示部２０が表示する画像を制御する。なお、Ｉ／Ｏインタフェース３１は、車両用表示システム１０に接続される他の電子機器等から受信する情報を加工（変換、演算、解析）する機能を含んでいてもよい。

車速センサ４０１は、自車両１の走行速度（車速）を計測するセンサである。車速センサ４０１は、計測した車速を表示制御装置３０に出力する。表示制御装置３０は、車速センサ４０１から自車両１の車速を入力する代わりに、ナビゲーションシステム４０３から自車両１の位置情報を連続的又は断続的に取得することで、自車両１の車速を推定してもよい。

ナビゲーションシステム４０３は、自車両１の位置情報や目的地までの誘導経路情報などを取得、提供するシステムである。ナビゲーションシステム４０３は、取得した自車両１の位置情報や誘導経路情報を表示制御装置３０に出力する。ナビゲーションシステム４０３は、誘導経路情報に替えてあるいは加えて表示制御装置３０に右左折情報や車線変更情報を出力してもよい。

車外センサ４２０は、自車両１の周辺（前方、側方、及び後方）に存在する実オブジェクト（不図示）を検出する１つ又はそれ以上のセンサ等である。車外センサ４２０が検知する前記実オブジェクトは、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、走行レーン３１０の路面、区画線、路側物、及び／又は地物（建物など）などを含んでいてもよい。車外センサとしては、例えば、ミリ波レーダ、超音波レーダ、レーザレーダ等のレーダセンサ、カメラと画像処理装置からなるカメラセンサがあり、レーダセンサ、カメラセンサの両方の組み合わせで構成されてもよく、どちらか一方だけで構成されてもよい。これらレーダセンサやカメラセンサによる物体検知については従来の周知の手法を適用する。これらのセンサによる物体検知によって、三次元空間内での実オブジェクトの有無、実オブジェクトが存在する場合には、その実オブジェクトの位置（自車両１からの相対的な距離、自車両１の進行方向を前後方向とした場合の左右方向の位置、上下方向の位置等）、サイズ（横方向（左右方向）、高さ方向（上下方向）等の大きさ）、移動方向（横方向（左右方向）、奥行き方向（前後方向））、移動速度（横方向（左右方向）、奥行き方向（前後方向））、及び／又は種類等を検出してもよい。１つ又はそれ以上の車外センサ４２０は、各センサの検知周期毎に、自車両１の周囲の前記実オブジェクトを検知して、検知結果（解析結果）を示す信号を表示制御装置３０へ出力する。

自車両１は、自車両１の状態（例えば、走行距離、車速、アクセルペダル開度、エンジンスロットル開度、インジェクター燃料噴射量、エンジン回転数、モータ回転数、ステアリング操舵角、シフトポジション、ドライブモード、各種警告状態、姿勢（ロール角、及び／又はピッチング角を含む）、車両の振動（振動の大きさ、頻度、及び／又は周波数を含む））などを上述したようなセンサやスイッチから取得する車両ＥＣＵ（不図示）を含んでいる。前記車両ＥＣＵは、例えば、自車両１の前記状態を収集及び管理（制御も含んでもよい。）するものであり、機能の一部として、自車両１の状態の度合い（例えば、自車両１の車速）を、表示制御装置３０のプロセッサ３３へ送信することができる。なお、前記車両ＥＣＵは、単にセンサ等で検出した数値をプロセッサ３３へ送信することに加え、又は代わりに、センサで検出した数値に基づく判定結果、若しくは／及び解析結果をプロセッサ３３へ送信することができる。例えば、自車両１が前記車両ＥＣＵのメモリ（不図示）に予め記憶された所定の停止条件を満たすように車速が低下しているかの判定結果を示す信号を表示制御装置３０へ送信してもよい。

また、前記車両ＥＣＵは、車両用表示システム１０が表示する画像を指示する指示信号をＩ／Ｏインタフェース３１に送信してもよく、この際、画像の座標、サイズ、種類、表示態様、画像の報知必要度、及び／又は報知必要度を判定する元となる必要度関連情報を、指示信号に付加して送信してもよい。

また、自車両１は、上述したＩ／Ｏインタフェース３１を介して自車両１の外部の車外通信接続機器（不図示）と情報を授受してもよい。前記車外通信接続機器は、例えば、自車両１と車車間通信（Ｖ２Ｖ：Ｖｅｈｉｃｌｅ Ｔｏ Ｖｅｈｉｃｌｅ）により接続される他車両、歩車間通信（Ｖ２Ｐ：Ｖｅｈｉｃｌｅ Ｔｏ Ｐｅｄｅｓｔｒｉａｎ）により接続される歩行者（歩行者が携帯する携帯情報端末）、路車間通信（Ｖ２Ｉ：Ｖｅｈｉｃｌｅ Ｔｏ ｒｏａｄｓｉｄｅ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）により接続されるネットワーク通信機器であり、広義には、自車両１との通信（Ｖ２Ｘ：Ｖｅｈｉｃｌｅ Ｔｏ Ｅｖｅｒｙｔｈｉｎｇ）により接続される全てのものを含む。前記車外通信接続機器は、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、走行レーン３１０の路面、区画線、路側物、及び／又は地物（建物など）の位置を取得し、表示制御装置３０へ出力してもよい。すなわち、前記車外通信接続機器は、上述した車外センサ４２０に加え、又は代わりに、自車両１の周囲の前記実オブジェクトを検知して、検知結果（解析結果）を示す信号を表示制御装置３０へ出力してもよい。なお、前記車外通信接続機器から取得される情報は、上述のものに限定されない。

メモリ３７に記憶されたソフトウェア構成要素は、実オブジェクト検出モジュール５０２、報知必要度判定モジュール５０４、距離調整モジュール５０８、及びグラフィックモジュール５１２を含む。

実オブジェクト検出モジュール５０２は、自車両１の周辺の実オブジェクト（例えば、歩行者、自転車、自動二輪車、他車両）の位置を少なくとも含む情報（実オブジェクト関連情報とも呼ぶ）をＩ／Ｏインタフェース３１を介して取得する。実オブジェクト検出モジュール５０２は、実オブジェクトの位置を連続的に取得することで、実オブジェクトの速度や移動方向を算出することができ、位置、速度、移動方向などから注意対象であるかを判定することができる。例えば、実オブジェクト検出モジュール５０２は、実オブジェクトの位置、速度、移動方向などからスコアを算出するプログラムを有し、算出したスコアが設定された閾値を上回っている実オブジェクトを注意対象であると判定してもよい。実オブジェクト検出モジュール５０２は、実オブジェクトの位置、又はこれに加えて、実オブジェクトの速度、移動方向、もしくはこれら双方を、報知必要度判定モジュール５０４、グラフィックモジュール５１２に送信する。なお、実オブジェクト検出モジュール５０２は、パターンマッチングなどを行い、実オブジェクトの種類を判別し、判定結果を報知必要度判定モジュール５０４、グラフィックモジュール５１２に送信してもよい。

報知必要度判定モジュール５０４は、実オブジェクト検出モジュール５０２が判定した注意対象について、運転者４に報知するべきであるかを判定する。報知必要度判定モジュール５０４は、Ｉ／Ｏインタフェース３１に接続される種々の他の電子機器から情報を取得し、報知必要度を算出してもよい。また、図２でＩ／Ｏインタフェース３１に接続された電子機器（表示制御装置３０も含む）が前記車両ＥＣＵに情報を送信し、受信した情報に基づき前記車両ＥＣＵが決定した報知必要度を、報知必要度判定モジュール５０４が検出（取得）してもよい。『報知必要度』は、例えば、実オブジェクト検出モジュール５０２から取得する位置、速度、移動方向などから、起こり得る事態の重大さの程度から導き出される危険度、反応行動を起こすまでに要求される反応時間の長短から導き出される緊急度、自車両１や運転者４（又は自車両１の他の乗員）の状況から導き出される有効度、又はこれらの組み合わせなどで決定され得る（報知必要度の指標はこれらに限定されない）。すなわち、報知必要度判定モジュール５０４は、運転者４に報知すべきかを判定し、注意喚起するための画像の一部又は全部を表示しないことも選択し得る。なお、車両用表示システム１０は、報知必要度を推定する（算出する）機能を有していなくてもよく、報知必要度を推定する機能の一部又は全部は、車両用表示システム１０の表示制御装置３０とは別に設けられてもよい。

距離調整モジュール５０８は、報知必要度判定モジュール５０４によって側方情報及び／あるいは後方情報を報知すべきであると推定される場合、第２アクチュエータ２５を駆動することで、表示領域１００の自車両１の走行レーン３１０（路面）との距離Ｄを、大きくなるように変化させる。具体的には、距離調整モジュール５０８は、距離Ｄを第１の距離Ｄ１（第１の状態）から第２の距離Ｄ２（第２の状態）へ変化させる。また、距離調整モジュール５０８は、報知必要度判定モジュール５０４によって側方情報及び／あるいは後方情報を報知すべきであると推定されない場合、第２アクチュエータ２５を駆動することで、表示領域１００の自車両１の走行レーン３１０（路面）との距離Ｄを、小さくなるように変化させる。具体的には、距離調整モジュール５０８は、距離Ｄを第２の距離Ｄ２（第２の状態）から第１の距離Ｄ１（第１の状態）へ変化させる。

グラフィックモジュール５１２は、表示される画像の視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）を設定するための構成要素を含めた表示器２２に画像をレンダリングして表示するための様々な既知のソフトウェア構成要素を含む。なお、グラフィックモジュール５１２は、画像の視覚的効果に影響を与え得る表示器２２以外の光源（不図示）などのハードウェア構成要素を制御するためのソフトウェア構成要素を含んでいてもよい。

グラフィックモジュール５１２は、報知必要度判定モジュール５０４によって側方情報及び／あるいは後方情報を報知すべきであると推定される場合、実オブジェクト検出モジュール５０２が検出した自車両１の側方及び／あるいは後方の注意対象の存在を気づかせる画像（俯瞰画像２２０）を表示する。また、グラフィックモジュール５１２は、報知必要度判定モジュール５０４によって側方情報及び／あるいは後方情報を報知すべきであると推定されない場合、自車両１の前方路面情報を少なくとも含む画像（路面重畳画像２１０）を表示する。

図３は、自車両１の運転者４が前方（Ｚ軸正方向）を向いた場合に視認する、画像表示部２０が表示する画像の例を示す図である。図３（ａ）の路面重畳画像２１０は、自車両１の前方路面情報として、実風景の走行レーン３１０の区画線に重畳する（重なるほか、一定の位置関係を保つ場合を含む）ように表示されるレーン画像２１１を含む。前方路面情報の画像としては、このほか実オブジェクト検出モジュール５０２が検出した自車両１の前方の注意対象の存在を示す画像や、右左折や車線変更を報知する画像であってもよい。

図３（ｂ）の俯瞰画像２２０は、自車両１を上側かつ後方から見たような鳥瞰図であり、自車両１を模した自車両画像２２１と、自車両１の走行レーン３１０を模したレーン画像２２２と、実オブジェクト検出モジュール５０２が検出した自車両１の側方及び／あるいは後方の注意対象の存在を示す注意対象画像２２３と、を含む。自車両画像２２１、レーン画像２２２及び注意対象画像２２３の対比判読により、注意対象が側方及び／あるいは後方（図３（ｂ）の例では右後方）から近づいていることを運転者４に知らせることができる。なお、俯瞰画像２２０は、自車両１を真上から見た図であってもよい。また、俯瞰画像２２０は、自車両１の側方情報及び／あるいは後方情報を示すことができればよく、上述のような画像に限定されず、すなわち、単に注意を促すテキスト、デジタル画像、アニメーション、ビデオなどであってもよい。

また、グラフィックモジュール５１２は、報知必要度判定モジュール５０４により判定された報知必要度がメモリ３７に記憶された所定の報知必要度閾値より低ければ、その注意対象画像２２３を非表示にしてもよい。

図４は、表示領域と路面との距離Ｄを変化させて画像を表示する処理のフロー図である。まず、プロセッサ３３は、実オブジェクト検出モジュール５０２と、報知必要度判定モジュール５０４と、を実行し、自車両１の側方及び／あるいは後方に報知すべき注意対象があるかを判定し、報知すべき注意対象がなければ（ステップＳ１でＮｏ）、ステップＳ２に進む。ステップＳ２では、プロセッサ３３は、距離調整モジュール５０８を実行して、表示領域１００と路面との距離Ｄを第１の距離Ｄ１とする。

次に、ステップＳ３では、プロセッサ３３は、ステップＳ２で第１の状態となった第１結像面１１０に前方路面情報を少なくとも含む路面重畳画像２１０を表示する。その後、処理を終了し、再びステップＳ１から処理を開始する。

また、ステップＳ１で自車両１の側方及び／あるいは後方に報知すべき注意対象があれば（ステップＳ１でＹｅｓ）、側方情報及び／あるいは後方情報を報知すべきであると推定しステップＳ４に進む。ステップＳ４では、プロセッサ３３は、距離調整モジュール５０８を実行して、表示領域１００と路面との距離Ｄを第２の距離Ｄ２とする。

次に、ステップＳ５では、プロセッサ３３は、ステップＳ４で第２の状態となった第２結像面１２０に側方情報及び／あるいは後方情報を少なくとも含む俯瞰画像２２０を表示する。その後、処理を終了し、再びステップＳ１から処理を開始する。

上述の処理プロセスの動作は、汎用プロセッサ又は特定用途向けチップなどの情報処理装置の１つ以上の機能モジュールを実行させることにより実施することができる。これらのモジュール、これらのモジュールの組み合わせ、及び／又はそれらの機能を代替えし得る公知のハードウェアとの組み合わせは全て、本発明の保護の範囲内に含まれる。

車両用表示システム１０の機能ブロックは、任意選択的に、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実行される。図２で説明する機能ブロックが、説明される実施形態の原理を実施するために、任意選択的に、組み合わされ、又は１つの機能ブロックを２以上のサブブロックに分離されてもいいことは、当業者に理解されるだろう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割を、任意選択的に支持する。

以上に説明したように、本実施形態の表示制御装置は、画像を表示する表示器２２と、表示器２２が表示する前記画像の光（表示光２０ａ）を外部の被投影部材（フロントウインドシールド２）に投影し、自車両１前方の虚像表示面（表示領域１００）に前記画像の虚像を結像させるリレー光学系２４と、リレー光学系２４を回転させることで、前記虚像表示面を上下方向に回転移動させるアクチュエータ２５と、を備えるヘッドアップディスプレイ装置２０を制御する表示制御装置３０において、
１つ又はそれ以上のプロセッサ３３と、
メモリ３７と、
メモリ３７に格納され、１つ又はそれ以上のプロセッサ３３によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、
１つ又はそれ以上のプロセッサ３３は、
側方情報及び／あるいは後方情報を報知すべきであると推定される場合、
アクチュエータ２５を駆動させ、前記虚像表示面が路面と重畳する第１の状態（第１結像面１１０）から前記路面から浮き上がった第２の状態（第２結像面１２０）となるように前記虚像表示面を回転移動させる、命令を実行する。
これにより、側方情報及び／あるいは後方情報を表示する際に、路面から浮き上がった画像が表示されることで、画像への注意を高めることができる。

また、いくつかの実施形態において、アクチュエータ２５は、リレー光学系２４のうち、前記画像の光を前記被透明部材に直接投影する凹面鏡を回転させる。
これにより、容易に虚像表示面を浮き上がらせることができる。

また、いくつかの実施形態において、１つ又はそれ以上のプロセッサ３３は、
前記虚像表示面が前記第２の状態であるときに、自車両１を模した自車両画像２２１を含む俯瞰画像２２０を表示させる。
これにより、側方情報及び／あるいは後方情報を表示する際に、俯瞰画像が表示されることで、画像への注意を高めることができる。

また、いくつかの実施形態において、１つ又はそれ以上のプロセッサ３３は、
運転者の前方への注意の必要度が軽微であると推定される場合、
前記第２の状態となるように前記虚像表示面を回転移動させる命令を実行してもよい。
すなわち、側方情報及び／あるいは後方情報を報知すべきであり、かつ、運転者への前方への注意の必要度が軽微であると推定される場合に、前記第２の状態となるように前記虚像表示面を回転移動させる命令を実行してもよい。
これにより、前方に集中すべき場合に情報過多となることを抑制し、情報提供の利便性を向上させることができる。

また、いくつかの実施形態において、１つ又はそれ以上のプロセッサ３３は、
自車両１周辺の交通量が多いと推定される場合に、前記側方情報及び／あるいは前記後方情報を報知すべきであると推定してもよい。
すなわち、自車両１への接近の有無に係わらず、自車両１周辺、特に側方及び／あるいは後方の交通量によって、側方情報及び／あるいは後方情報を報知すべきであるか推定してもよい。
これにより、周囲状況に応じた情報提供が可能となり、情報提供の利便性を向上させることができる。

図５は、いくつかの実施形態における、表示器２２の表示面２２ａを示す図である。
図５に示すように、いくつかの実施形態において、１つ又はそれ以上のプロセッサ３３は、
前記虚像表示面が前記第２の状態である場合、
表示器２２の描画領域（表示面２２ａ）の一部に前記画像を表示させなくてもよい。
すなわち、表示領域１００を第２結像面１２０とする場合に、表示器２２の表示面２２ａの描画エリアを制限し、画像を表示する描画可能領域２２ａ１の周囲に画像を表示しない描画不可領域２２ａ２を設けてもよい。このとき描画不可領域２２ａ２は、描画可能領域２２ａ１の上側、及び／あるいは側方側とすることが望ましい。
これにより、虚像表示面が浮きあがった第２の状態において、運転者前方の視界を良好に確保することができる。

図６は、いくつかの実施形態における、画像の遷移を示すものである。具体的に、図６（ａ）は、路面重畳画像２１０を示し、図６（ｃ）は、俯瞰画像２２０を示し、図６（ｂ）は、路面重畳画像２１０から俯瞰画像２２０に変化する際の中間画像２３０である。

いくつかの実施形態において、１つ又はそれ以上のプロセッサ３３は、
前記第２の状態となるように前記虚像表示面を回転移動させる際に、
自車両１前方の特定対象物と関連しない非関連情報を示す非関連画像（車速画像２４１）の位置を移動させてもよい。
図６では、非関連情報の一例として車速を示す車速画像２４１が表示され、表示領域１００が第１結像面１１０である（虚像表示面が第１の状態である）ときは、車速画像２４１は図中左側に位置し、表示領域１００が第２結像面１２０である（虚像表示面が第２の状態である）ときは、車速画像２４１は図中右側に位置するように移動する。
これにより、虚像表示面の状態、すなわち、虚像が路面に重畳するように表示されるか、路面から浮き上がって表示されるかを運転者が瞬時に認識することができる。なお、非関連情報としては車速のほか、ＡＣＣ（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ；定速走行、車間距離制御装置）情報、残エネルギー量情報、走行距離情報などであってもよい。

また、いくつかの実施形態において、１つ又はそれ以上のプロセッサ３３は、
前記非関連画像を移動させる際に、
前記非関連画像を第１方向にフェードアウトさせた後に第２方向からフェードインさせてもよい。
図６では、車速画像２４１は、表示領域１００が第１結像面１１０から第２結像面１２０に変化するのに伴って移動する際、図中の矢印が示すように左方向にフェードアウトされた後（図６（ａ）から図６（ｂ））、図中右方向からフェードインされる（図６（ｂ）から図６（ｃ））ように描画される。
これにより、虚像表示面の状態、すなわち、虚像が路面に重畳するように表示されるか、路面から浮き上がって表示されるかを運転者がより明確に認識することができる。

また、いくつかの実施形態において、１つまたはそれ以上のプロセッサ３３は、
前記第２の状態となるように前記虚像表示面を回転移動させる際に、
前記虚像表示面の回転移動開始を示唆する開始示唆画像２４２を表示させてもよい。
図６では、表示領域１００を第１結像面１１０から第２結像面１２０に変更する際に、「ＶＲモード」なる文字による開始示唆画像２４２を表示させる（図６（ａ）参照）。
これにより、虚像表示面の状態、すなわち、虚像が路面に重畳するように表示されるか、路面から浮き上がって表示されるかを運転者が事前に認識することができる。なお、開始示唆画像は、文字のほか、図案などであってもよい。

また、いくつかの実施形態において、１つまたはそれ以上のプロセッサ３３は、
前記第２の状態となるように前記虚像表示面を回転移動させる際に、
車線を示す車線画像（レーン画像２１１、２２２、２３１）の位置及び／あるいは状態を変更させてもよい。
図６では、表示領域１００が第１結像面１１０である（虚像表示面が第１の状態である）ときは、車線画像として実風景の走行レーン３１０の区画線に重畳するようにレーン画像２１１が表示され、表示領域１００が第２結像面１２０である（虚像表示面が第２の状態である）ときは、レーン画像２１１よりも縮小され、かつ表示領域１００の中央よりに移動したレーン画像２２２が表示される。このとき、レーン画像２１１からレーン画像２２２への変更は徐々に行われ、中間画像２３０においては、レーン画像２１１とレーン画像２２２との中間の大きさであるレーン画像２３１が表示される。レーン画像２３１は、レーン画像２１１からレーン画像２２２へと徐々に縮小及び移動されていく遷移画像である。
これにより、虚像表示面の状態、すなわち、虚像が路面に重畳するように表示されるか、路面から浮き上がって表示されるかを運転者が事前に認識することができる。なお、車線画像の状態変更としては、大きさのほか、線の太さや色、直線から破線への変更など表示の様子が変更されるものであればよい。

また、いくつかの実施形態において、１つまたはそれ以上のプロセッサ（３３）は、
車線画像の位置及び／あるいは状態を変更させるときに視認性を上げるあるいは他の画像の視認性を下げてもよい。
図６では、中間画像２３０において、レーン画像２３１を点滅させて視認性を上げてもよい。
これによれば、虚像表示面の状態、すなわち、虚像が路面に重畳するように表示されるか、路面から浮き上がって表示されるかを運転者がより明確に事前認識することができる。このほか、視認性を上げる方法として、輝度や明度や彩度あるいはこれらの組み合わせを変更してもよい。さらに、中間画像２３０においてレーン画像２３１以外の画像（他の画像）を表示する場合は、これらの画像の視認性をレーン画像２３１よりも下げてもよい。

図７は、いくつかの実施形態における、画像の遷移を示すものである。具体的に、図７（ａ）は、路面重畳画像２１０を示し、図７（ｃ）は、俯瞰画像２２０を示し、図７（ｂ）は、路面重畳画像２１０から俯瞰画像２２０に変化する際の中間画像２３０である。

いくつかの実施形態において、１つまたはそれ以上のプロセッサ（３３）は、
前記第２の状態となるように前記虚像表示面を回転移動させる際に、
ナビゲーション情報を示すナビゲーション画像２１２、２２４、２３２の位置及び／あるいは形状を変更させてもよい。
図７に示すように、表示領域１００が第１結像面１１０である（虚像表示面が第１の状態である）ときは、ナビゲーション画像として実風景の走行レーン３１０に重畳するように誘導経路の右左折や走路変更を示すナビゲーション画像２１２が表示され、表示領域１００が第２結像面１２０である（虚像表示面が第２の状態である）ときは、ナビゲーション画像２１２よりも縮小され、かつ表示領域１００の自車両画像２２１に対して上側に移動したナビゲーション画像２２４が表示される。このとき、ナビゲーション画像２１２からナビゲーション画像２２４への変更は徐々に行われ、中間画像２３０においては、ナビゲーション画像２１２とナビゲーション画像２２４との中間の大きさであるナビゲーション画像２３２が表示される。ナビゲーション画像２３２は、ナビゲーション画像２１２からナビゲーション画像２２４へと徐々に縮小及び移動されていく遷移画像である。
これにより、虚像表示面の状態、すなわち、虚像が路面に重畳するように表示されるか、路面から浮き上がって表示されるかを運転者が事前に認識することができる。なお、ナビゲーション画像の状態変更としては、大きさのほか、線の太さや色、直線から破線への変更など表示の様子が変更されるものであればよい。

また、１つまたはそれ以上のプロセッサ３３は、
ナビゲーション画像２１２、２２４、２３２の位置及び／あるいは状態を変更させるときに視認性を上げるあるいは他の画像の視認性を下げてもよい。
図７では、中間画像２３０において、ナビゲーション画像２３２を点滅させて視認性を上げてもよい。
これによれば、虚像表示面の状態、すなわち、虚像が路面に重畳するように表示されるか、路面から浮き上がって表示されるかを運転者がより明確に事前認識することができる。このほか、視認性を上げる方法として、輝度や明度や彩度あるいはこれらの組み合わせを変更してもよい。さらに、中間画像２３０においてナビゲーション画像２３２以外の画像（他の画像）を表示する場合は、これらの画像の視認性をナビゲーション画像２３２よりも下げてもよい。

１…自車両、２…フロントウインドシールド、４…運転者、５…ダッシュボード、１０…車両用表示システム、２０…画像表示部（ヘッドアップディスプレイ装置）、２０ａ…表示光、２２…表示器、２３…第１アクチュエータ、２４…リレー光学系、２５…第２アクチュエータ、３０…表示制御装置、３１…Ｉ／Ｏインタフェース、３３…プロセッサ、３５…画像処理回路、３７…メモリ、１００…表示領域（虚像表示面）、１１０…第１結像面（第１の状態の虚像表示面）、１２０…第２結像面（第２の状態の虚像表示面）、２１０…路面重畳画像、２１１…レーン画像、２１２…ナビゲーション画像、２２０…俯瞰画像、２２１…自車両画像、２２２…レーン画像、２２３…注意対象画像、２２４…ナビゲーション画像、２３０…中間画像、２３１…レーン画像、２３２…ナビゲーション画像、２４１…車速画像、２４２…開始示唆画像、３００…前景、３１０…走行レーン、４０１…車速センサ、４０３…ナビゲーションシステム、４２０…車外センサ、５０２…実オブジェクト検出モジュール、５０４…報知必要度判定モジュール、５０８…距離調整モジュール、５１２…グラフィックモジュール

Claims (16)

1. 画像を表示する表示器（２２）と、前記表示器（２２）が表示する前記画像の光（２０ａ）を外部の被投影部材に投影し、自車両前方の虚像表示面（１００）に前記画像の虚像を結像させるリレー光学系（２４）と、前記リレー光学系（２４）を回転させることで、前記虚像表示面を上下方向に回転移動させるアクチュエータ（２５）と、を備えるヘッドアップディスプレイ装置（２０）を制御する表示制御装置（３０）において、
   １つ又はそれ以上のプロセッサ（３３）と、
   メモリ（３７）と、
   前記メモリ（３７）に格納され、前記１つ又はそれ以上のプロセッサ（３３）によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、
   前記１つ又はそれ以上のプロセッサ（３３）は、
   側方情報及び／あるいは後方情報を報知すべきであると推定される場合、
   前記アクチュエータ（２５）を駆動させ、前記虚像表示面（１００）が路面と重畳する第１の状態（１１０）から前記路面から浮き上がった第２の状態（１２０）となるように前記虚像表示面（１００）を回転移動させる、命令を実行する、
   表示制御装置。
2. 前記アクチュエータ（２５）は、前記リレー光学系（２４）のうち、前記画像の光（２０ａ）を前記被透明部材に直接投影する凹面鏡を回転させる、
   請求項１に記載の表示制御装置。
3. 前記１つ又はそれ以上のプロセッサ（３３）は、
   前記虚像表示面（１００）が前記第２の状態（１２０）であるときに、前記自車両を模した自車両画像（２２１）を含む俯瞰画像（２２０）を表示させる、
   請求項１に記載の表示制御装置。
4. 前記１つ又はそれ以上のプロセッサ（３３）は、
   運転者の前方への注意の必要度が軽微であると推定される場合、
   前記第２の状態となるように前記虚像表示面（１００）を回転移動させる命令を実行する、
   請求項１に記載の表示制御装置。
5. 前記１つ又はそれ以上のプロセッサ（３３）は、
   前記自車両周辺の交通量が多いと推定される場合に、前記側方情報及び／あるいは前記後方情報を報知すべきであると推定する、
   請求項１に記載の表示制御装置。
6. 前記１つ又はそれ以上のプロセッサ（３３）は、
   前記虚像表示面（１００）が前記第２の状態である場合、
   前記表示器（２２）の描画領域（２２ａ）の一部に前記画像を表示させない、
   請求項１に記載の表示制御装置。
7. 前記１つ又はそれ以上のプロセッサ（３３）は、
   前記第２の状態となるように前記虚像表示面（１００）を回転移動させる際に、
   前記自車両前方の特定対象物と関連しない非関連情報を示す非関連画像（２４１）の位置を移動させる、
   請求項１に記載の表示制御装置。
8. 前記１つ又はそれ以上のプロセッサ（３３）は、
   前記非関連画像（２４１）を移動させる際に、
   前記非関連画像（２４１）を第１方向にフェードアウトさせた後に第２方向からフェードインさせる、
   請求項７に記載の表示制御装置。
9. 前記１つまたはそれ以上のプロセッサ（３３）は、
   前記第２の状態となるように前記虚像表示面（１００）を回転移動させる際に、
   前記虚像表示面（１００）の回転移動開始を示唆する開始示唆画像（２４２）を表示させる、
   請求項７または請求項８に記載の表示制御装置。
10. 前記１つまたはそれ以上のプロセッサ（３３）は、
    前記第２の状態となるように前記虚像表示面（１００）を回転移動させる際に、
    車線を示す車線画像（２１１、２２２、２３１）の位置及び／あるいは状態を変更させる、
    請求項１に記載の表示制御装置。
11. 前記１つまたはそれ以上のプロセッサ（３３）は、
    前記車線画像（２１１、２２２、２３１）の位置及び／あるいは形状を変更させるときに視認性を上げるあるいは他の画像の視認性を下げる、
    請求項１０に記載の表示制御装置。
12. 前記１つまたはそれ以上のプロセッサ（３３）は、
    前記第２の状態となるように前記虚像表示面（１００）を回転移動させる際に、
    ナビゲーション情報を示すナビゲーション画像（２１２、２２４、２３２）の位置及び／あるいは状態を変更させる、
    請求項１に記載の表示制御装置。
13. 前記１つまたはそれ以上のプロセッサ（３３）は、
    前記ナビゲーション画像（２１２、２２４、２３２）の位置及び／あるいは状態を変更させるときに視認性を上げるあるいは他の画像の視認性を下げる、
    請求項１２に記載の表示制御装置。
14. 画像を表示する表示器（２２）と、前記表示器（２２）が表示する前記画像の光（２０ａ）を外部の被投影部材に投影し、自車両前方の虚像表示面（１００）に前記画像の虚像を結像させるリレー光学系（２４）と、前記リレー光学系（２４）を回転させることで、前記虚像表示面を上下方向に回転移動させるアクチュエータ（２５）と、前記表示器（２２）を制御する表示制御装置（３０）と、を備えるヘッドアップディスプレイ装置（２０）において、
    １つ又はそれ以上のプロセッサ（３３）と、
    メモリ（３７）と、
    前記メモリ（３７）に格納され、前記１つ又はそれ以上のプロセッサ（３３）によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、
    前記１つ又はそれ以上のプロセッサ（３３）は、
    側方情報及び／あるいは後方情報を報知すべきであると推定される場合、
    前記アクチュエータ（２５）を駆動させ、前記虚像表示面（１００）が路面と重畳する第１の状態（１１０）から前記路面から浮き上がった第２の状態（１２０）となるように前記虚像表示面（１００）を回転移動させる、命令を実行する、
    ヘッドアップディスプレイ装置。
15. 画像を表示する表示器（２２）と、前記表示器（２２）が表示する前記画像の光（２０ａ）を外部の被投影部材に投影し、自車両前方の虚像表示面（１００）に前記画像の虚像を結像させるリレー光学系（２４）と、前記リレー光学系（２４）を回転させることで、前記虚像表示面を上下方向に回転移動させるアクチュエータ（２５）と、を備えるヘッドアップディスプレイ装置（２０）を制御する方法において、
    側方情報及び／あるいは後方情報を報知すべきであると推定される場合、
    前記アクチュエータ（２５）を駆動させ、前記虚像表示面（１００）が路面と重畳する第１の状態（１１０）から前記路面から浮き上がった第２の状態（１２０）となるように前記虚像表示面（１００）を回転移動させる、命令を実行する、
    方法。
16. 請求項１５に記載の方法を実行するための、
    コンピュータ・プログラム。

Images