JP2020106911A - 表示制御装置、方法、及びコンピュータ・プログラム - Google Patents

Abstract

【課題】運転者の運転意識の低下を抑制する。【解決手段】表示制御装置は、自車両の走行レーン３１０に割り込む前の割り込み実オブジェクト３３０に関する情報を取得すると、少なくとも割り込み実オブジェクト３３０に関する情報に基づき決定される第１表示位置に第１誘目画像２１１と、第１表示位置と重なって視認されるように割り込み実オブジェクト３３０の割り込み方向を示す方向画像２１３と、を表示させ、割り込み実オブジェクト３３０が自車両の走行レーン３１０に侵入すると、方向画像２１３の視認性を低下させ、第１誘目画像２１１の表示位置を割り込み実オブジェクト３３０に追従して変化させる。【選択図】 図３Ｂ

Description

本開示は、車両で使用され、車両の前景に画像を重畳して視認させる表示制御装置、方法、及びコンピュータ・プログラムに関する。

特許文献１には、割り込み候補車両を判定し、割り込み候補車両が前景に存在する場合、この割り込み候補車両側の区画線の近傍や、割り込み候補車両の近傍に視認される点滅画像を表示することで、運転者の視覚的注意を誘導する（誘目する）表示装置が開示されている。

特開２０１７−１５１６３７号公報

しかしながら、特許文献１の表示装置では、視覚的注意を向けることができるものの、どのような事に関して注意を喚起した表示であるのか認識しづらいおそれがある。

また、仮想現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の技術を採用し、視認者（車両の運転者）が見る実風景（割り込み候補車両など）の状態に追従した画像を表示する場合、運転者の視覚的注意が画像に向き過ぎることによる運転意識が低下することが想定される。このため、運転意識の低下を抑制するための表示についての改善の余地があった。

本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。

本開示の概要は、運転者の運転意識の低下を抑制することに関する。より具体的には、表示される画像へ視覚的注意が向き過ぎないようにすることにも関する。

したがって、本明細書に記載される表示制御装置は、自車両の走行レーン３１０に割り込む前の割り込み実オブジェクト３３０に関する情報を取得すると、少なくとも割り込み実オブジェクト３３０に関する情報に基づき決定される第１表示位置に第１誘目画像２１１と、第１表示位置と重なって視認されるように割り込み実オブジェクト３３０の割り込み方向を示す方向画像２１３と、を表示させ、割り込み実オブジェクト３３０が自車両の走行レーン３１０に侵入すると、方向画像２１３の視認性を低下させ、第１誘目画像２１１の表示位置を割り込み実オブジェクト３３０に追従して変化させる。いくつかの実施形態では、割り込み実オブジェクト３３０に関する情報に基づき、割り込みされる可能性が低くなったと判定される場合、方向画像２１３の視認性を低下させてもよい。

いくつかの実施形態に係る、車両用表示システムの車両への適用例を示す図である。 いくつかの実施形態に係る、車両用表示システムのブロック図である。 いくつかの実施形態に係る、ＡＲ画像を説明する図であり、道路の俯瞰図である いくつかの実施形態に係る、ＡＲ画像を説明する図であり、運転席から運転者が視認する前景と、車両用表示システムが表示するＡＲ画像と、を示す図である。 いくつかの実施形態に係る、ＡＲ画像の表示処理のフロー図である。 割り込み実オブジェクトが自車両の走行レーンに割り込む際のＡＲ画像の表示遷移を説明する図であり、運転席から運転者が視認する前景と、車両用表示システムが表示するＡＲ画像と、を示す図である。 図５Ａと同じタイミングにおける、道路の俯瞰図である。 割り込み実オブジェクトが自車両の走行レーンに割り込む際のＡＲ画像の表示遷移を説明する図であり、時系列的に図５Ａの後における、運転席から運転者が視認する前景と、車両用表示システムが表示するＡＲ画像と、を示す図である。 図６Ａと同じタイミングにおける、道路の俯瞰図である。 割り込み実オブジェクトが自車両の走行レーンに割り込む際のＡＲ画像の表示遷移を説明する図であり、時系列的に図６Ａの後における、運転席から運転者が視認する前景と、車両用表示システムが表示するＡＲ画像と、を示す図である。 図７Ａと同じタイミングにおける、道路の俯瞰図である。

以下、図１及び図２では、例示的な車両用表示システムの構成の説明を提供する。図３Ａ、図５Ｂ、図６Ｂ、及び図７Ｂでは、運転者に知覚させたい仮想オブジェクトの配置の説明を提供する。また、図３Ｂ、図５Ａ、図６Ａ、及び図７Ａでは、仮想オブジェクトを知覚させるために表示される画像の表示例を提供する。また、図４では、表示処理のフローを提供する。なお、本発明は以下の実施形態（図面の内容も含む）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。

図１を参照する。車両用表示システム１０における画像表示部１１は、自車両１のダッシュボード５内に設けられたヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）装置である。ＨＵＤ装置は、表示光１１ａをフロントウインドシールド２（被投影部材の一例である）に向けて出射し、仮想的な表示領域１００内に画像２００を表示することで、フロントウインドシールド２を介して視認される現実空間である前景３００に重ねて画像２００を視認させる。

また、画像表示部１１は、ヘッドマウントディスプレイ（以下、ＨＭＤ）装置であってもよい。運転者４は、ＨＭＤ装置を頭部に装着して自車両１の座席に着座することで、表示される画像２００を、自車両１のフロントウインドシールド２を介した前景３００に重畳して視認する。車両用表示システム１０が所定の画像２００を表示する表示領域１００は、自車両１の座標系を基準とした特定の位置に固定され、運転者４がその方向を向くと、その特定の位置に固定された表示領域１００内に表示された画像２００を視認することができる。

画像表示部１１は、表示制御装置１３の制御に基づいて、自車両１のフロントウインドシールド２を介して視認される現実空間（実景）である前景３００に存在する、障害物（歩行者、自転車、自動二輪車、他車両など）、路面、道路標識、及び地物（建物、橋など）などの実オブジェクト３１０の近傍（画像と実オブジェクトとの特定の位置関係の一例）、実オブジェクト３１０に重なる位置（画像と実オブジェクトとの特定の位置関係の一例）、又は実オブジェクト３１０を基準に設定された位置（画像と実オブジェクトとの特定の位置関係の一例）に画像２００を表示することで、視覚的な拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を形成することもできる。画像表示部１１は、実オブジェクト３１０の位置に応じて表示位置を変化させるＡＲ画像２１０と、実オブジェクト３１０の位置に応じて表示位置を変化させない不図示の非ＡＲ画像と、を表示する（後で詳述する）。

図２は、いくつかの実施形態に係る、車両用表示システム１０のブロック図である。車両用表示システム１０は、画像表示部１１と、画像表示部１１を制御する表示制御装置１３と、で構成される。表示制御装置１３は、１つ又はそれ以上のＩ／Ｏインタフェース１４、１つ又はそれ以上のプロセッサ１６、１つ又はそれ以上のメモリ１８、及び１つ又はそれ以上の画像処理回路２０を備える。図２に記載される様々な機能ブロックは、ハードウェア、ソフトウェア、又はこれら両方の組み合わせで構成されてもよい。図２は、実施態様の一実施形態に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、画像処理回路２０（例えば、グラフィック処理ユニット）が、１つ又はそれ以上のプロセッサ１６に含まれてもよい。

図示するように、プロセッサ１６及び画像処理回路２０は、メモリ１８と動作可能に連結される。より具体的には、プロセッサ１６及び画像処理回路２０は、メモリ１８に記憶されているプログラムを実行することで、例えば画像データを生成又は／及び送信するなど、車両用表示システム１０の操作を行うことができる。プロセッサ１６又は／及び画像処理回路２０は、少なくとも１つの汎用マイクロプロセッサ（例えば、中央処理装置（ＣＰＵ））、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）、少なくとも１つのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はそれらの任意の組み合わせを含むことができる。メモリ１８は、ハードディスクのような任意のタイプの磁気媒体、ＣＤ及びＤＶＤのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、ＤＲＡＭ及びＳＲＡＭを含み、不揮発性メモリは、ＲＯＭ及びＮＶＲＯＭを含んでもよい。

図示するように、プロセッサ１６は、Ｉ／Ｏインタフェース１４と動作可能に連結されている。例えば、Ｉ／Ｏインタフェース１４は、車両用表示システム１０を、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワークなどのパーソナルエリアネットワーク（ＰＡＮ）、８０２．１１ｘ Ｗｉ−Ｆｉ（登録商標）ネットワークなどのローカルエリアネットワーク（ＬＡＮ）、４Ｇ又はＬＴＥ（登録商標）セルラーネットワークなどの広域ネットワーク（ＷＡＮ）に接続する無線通信インタフェースを含むことができる。また、Ｉ／Ｏインタフェース１４は、例えば、ＵＳＢポート、シリアルポート、パラレルポート、ＯＢＤＩＩ、及び／又は他の任意の適切な有線通信ポートなどの有線通信インタフェースを含むことができる。

図示するように、プロセッサ１６は、Ｉ／Ｏインタフェース１４と相互動作可能に連結されることで、車両用表示システム１０（Ｉ／Ｏインタフェース１４）に接続される種々の他の電子機器等と情報を授受可能となる。Ｉ／Ｏインタフェース１４には、例えば、自車両１に設けられた車両ＥＣＵ４０１、道路情報データベース４０３、自車位置検出部４０５、車外センサ４０７、視線方向検出部４０９、目位置検出部４１１、携帯情報端末４１３、及び車外通信接続機器４２０などが動作可能に連結される。画像表示部１１は、プロセッサ１６及び画像処理回路２０に動作可能に連結される。したがって、画像表示部１１によって表示される画像は、プロセッサ１６又は／及び画像処理回路２０から受信された画像データに基づいてもよい。プロセッサ１６及び画像処理回路２０は、Ｉ／Ｏインタフェース１４から得られる情報に基づき、画像表示部１１が表示する画像を制御する。なお、Ｉ／Ｏインタフェース１４は、車両用表示システム１０に接続される他の電子機器等から受信する情報を加工（変換、演算、解析）する機能を含んでいてもよい。

自車両１は、自車両１の状態（例えば、走行距離、車速、アクセルペダル開度、エンジンスロットル開度、インジェクター燃料噴射量、エンジン回転数、モータ回転数、ステアリング操舵角、シフトポジション、ドライブモード、各種警告状態）などを検出する車両ＥＣＵ４０１を含んでいる。車両ＥＣＵ４０１は、自車両１の各部を制御するものであり、例えば、自車両１の現在の車速を示す車速情報をプロセッサ１６へ送信することができる。なお、車両ＥＣＵ４０１は、単にセンサで検出したデータをプロセッサ１６へ送信することに加え、又は代わりに、センサで検出したデータの判定結果、若しくは／及び解析結果をプロセッサ１６へ送信することができる。例えば、自車両１が低速走行しているか、又は停止しているかを示す情報をプロセッサ１６へ送信してもよい。また、車両ＥＣＵ４０１は、車両用表示システム１０が表示する画像２００を指示する指示信号をＩ／Ｏインタフェース１４に送信してもよく、この際、画像２００の座標、画像２００の報知必要度、又は／及び報知必要度を判定する元となる必要度関連情報を、指示信号に付加して送信してもよい。

自車両１は、ナビゲーションシステム等からなる道路情報データベース４０３を含んでいてもよい。道路情報データベース４０３は、後述する自車位置検出部４０５から取得される自車両１の位置に基づき、実オブジェクト関連情報の一例である自車両１が走行する道路情報（車線，白線，停止線，横断歩道，道路の幅員，車線数，交差点，カーブ，分岐路，交通規制など）、地物情報（建物、橋、河川など）の、有無、位置（自車両１までの距離を含む）、方向、形状、種類、詳細情報などを読み出し、プロセッサ１６に送信してもよい。また、道路情報データベース４０３は、出発地から目的地までの適切な経路を算出し、ナビゲーション情報としてプロセッサ１６に送信してもよい。

自車両１は、ＧＮＳＳ（全地球航法衛星システム）等からなる自車位置検出部４０５を含んでいてもよい。道路情報データベース４０３、後述する携帯情報端末４１３、又は／及び車外通信接続機器４２０は、自車位置検出部４０５から自車両１の位置情報を連続的、断続的、又は所定のイベント毎に取得することで、自車両１の周辺の情報を選択又は／及び生成して、プロセッサ１６に送信することができる。

自車両１は、自車両１の周辺（前方、側方、及び後方）に存在する実オブジェクトを検出する１つ又はそれ以上の車外センサ４０７を含んでいてもよい。車外センサ４０７が検知する実オブジェクトは、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、路面、区画線、路側物、又は／及び地物（建物など）などを含んでいてもよい。車外センサとしては、例えば、ミリ波レーダ、超音波レーダ、レーザレーダ等のレーダセンサ、カメラと画像処理装置からなるカメラセンサがあり、レーダセンサ、カメラセンサの両方の組み合わせで構成されてもよく、どちらか一方だけで構成されてもよい。これらレーダセンサやカメラセンサによる物体検知については従来の周知の手法を適用する。これらのセンサによる物体検知によって、三次元空間内での実オブジェクトの有無、実オブジェクトが存在する場合には、その実オブジェクトの位置（自車両１からの相対的な距離、自車両１の進行方向を前後方向とした場合の左右方向の位置、上下方向の位置等）、大きさ（横方向（左右方向）、高さ方向（上下方向）等の大きさ）、移動方向（横方向（左右方向）、奥行き方向（前後方向））、移動速度（横方向（左右方向）、奥行き方向（前後方向））、又は／及び種類等を検出してもよい。１つ又はそれ以上の車外センサ４０７は、各センサの検知周期毎に、自車両１の前方の実オブジェクトを検知して、実オブジェクト関連情報の一例である実オブジェクト関連情報（実オブジェクトの有無、実オブジェクトが存在する場合には実オブジェクト毎の位置、大きさ、又は／及び種類等の情報）をプロセッサ１６に送信することができる。なお、これら実オブジェクト関連情報は、他の機器（例えば、車両ＥＣＵ４０１）を経由してプロセッサ１６に送信されてもよい。また、夜間等の周辺が暗いときでも実オブジェクトが検知できるように、センサとしてカメラを利用する場合には赤外線カメラや近赤外線カメラが望ましい。また、センサとしてカメラを利用する場合、視差で距離等も取得できるステレオカメラが望ましい。

自車両１は、運転者４の注視方向（以下では「視線方向」ともいう）を検出する、運転者４の顔を撮像する赤外線カメラ等からなる視線方向検出部４０９を含んでいてもよい。プロセッサ１６は、赤外線カメラが撮像した画像（視線方向を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の視線方向を特定することができる。なお、プロセッサ１６は、赤外線カメラの撮像画像から視線方向検出部４０９（又は他の解析部）が特定した運転者４の視線方向をＩ／Ｏインタフェース１４から取得するものであってもよい。また、自車両１の運転者４の視線方向、又は運転者４の視線方向を推定可能な情報を取得する方法は、これらに限定されるものではなく、ＥＯＧ（Ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｍ）法、角膜反射法、強膜反射法、プルキンエ像検出法、サーチコイル法、赤外線眼底カメラ法などの他の既知の視線方向検出（推定）技術を用いて取得されてもよい。

自車両１は、運転者４の目の位置を検出する赤外線カメラ等からなる目位置検出部４１１を含んでいてもよい。プロセッサ１６は、赤外線カメラが撮像した画像（目の位置を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の目の位置を特定することができる。なお、プロセッサ１６は、赤外線カメラの撮像画像から特定された運転者４の目の位置の情報をＩ／Ｏインタフェース１４から取得するものであってもよい。なお、自車両１の運転者４の目の位置、又は運転者４の目の位置を推定可能な情報を取得する方法は、これらに限定されるものではなく、既知の目位置検出（推定）技術を用いて取得されてもよい。プロセッサ１６は、運転者４の目の位置に基づき、画像２００の位置を少なくとも調整することで、前景３００の所望の位置に重畳した画像２００を、目位置を検出した視認者（運転者４）に視認させてもよい。

携帯情報端末４１３は、スマートフォン、ノートパソコン、スマートウォッチ、又は運転者４（又は自車両１の他の乗員）が携帯可能なその他の情報機器である。Ｉ／Ｏインタフェース１４は、携帯情報端末４１３とペアリングすることで、携帯情報端末４１３と通信を行うことが可能であり、携帯情報端末４１３（又は携帯情報端末を通じたサーバ）に記録されたデータを取得する。携帯情報端末４１３は、例えば、上述の道路情報データベース４０３及び自車位置検出部４０５と同様の機能を有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。また、携帯情報端末４１３は、自車両１の近傍の商業施設に関連するコマーシャル情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。なお、携帯情報端末４１３は、携帯情報端末４１３の所持者（例えば、運転者４）のスケジュール情報、携帯情報端末４１３での着信情報、メールの受信情報などをプロセッサ１６に送信し、プロセッサ１６及び画像処理回路２０は、これらに関する画像データを生成又は／及び送信してもよい。

車外通信接続機器４２０は、自車両１と情報のやりとりをする通信機器であり、例えば、自車両１と車車間通信（Ｖ２Ｖ：Ｖｅｈｉｃｌｅ Ｔｏ Ｖｅｈｉｃｌｅ）により接続される他車両、歩車間通信（Ｖ２Ｐ：Ｖｅｈｉｃｌｅ Ｔｏ Ｐｅｄｅｓｔｒｉａｎ）により接続される歩行者（歩行者が携帯する携帯情報端末）、路車間通信（Ｖ２Ｉ：Ｖｅｈｉｃｌｅ Ｔｏ ｒｏａｄｓｉｄｅ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）により接続されるネットワーク通信機器であり、広義には、自車両１との通信（Ｖ２Ｘ：Ｖｅｈｉｃｌｅ Ｔｏ Ｅｖｅｒｙｔｈｉｎｇ）により接続される全てのものを含む。車外通信接続機器４２０は、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、路面、区画線、路側物、又は／及び地物（建物など）の位置を取得し、プロセッサ１６に送信してもよい。また、車外通信接続機器４２０は、上述の自車位置検出部４０５と同様の機能を有し、自車両１の位置情報を取得し、プロセッサ１６に送信してもよく、さらに上述の道路情報データベース４０３の機能も有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。なお、車外通信接続機器４２０から取得される情報は、上述のものに限定されない。

メモリ１８に記憶されたソフトウェア構成要素は、実オブジェクト関連情報検出モジュール５０２、割り込み判定モジュール５０４、報知必要度判定モジュール５０６、画像位置決定モジュール５０８、画像サイズ決定モジュール５１０、及びグラフィックモジュール５１２を含む。

実オブジェクト関連情報検出モジュール５０２は、後述する割り込み判定モジュール５０４が割り込み判定を行う元となる、自車両１の後方又は側方に存在する実オブジェクト（割り込み実オブジェクトとも呼ぶ）に関する情報（実オブジェクト関連情報とも呼ぶ）を取得する。実オブジェクト関連情報検出モジュール５０２は、例えば、車外センサ４０７、又は／及び車外通信接続機器４２０から、自車両１の後方、側方、又は／及び前方に存在する実オブジェクトの位置、移動方向、又は／及び移動速度を示す情報を取得してもよい。また、実オブジェクト関連情報検出モジュール５０２は、車外通信接続機器４２０を介して実オブジェクト（他車両）から、実オブジェクト（他車両）の方向指示器、舵角、又は／及び運転支援システムによる進行予定経路、進行スケジュール、を示す情報を取得してもよい。

また、実オブジェクト関連情報検出モジュール５０２は、後述する画像２００の位置を決定する元となる、自車両１の前景３００に存在する実オブジェクトの位置を取得する。実オブジェクト関連情報検出モジュール５０２は、例えば、車外センサ４０７から、自車両１の前景３００に存在する実オブジェクト３１０の位置（自車両１の運転席にいる運転者４から自車両１の進行方向（前方）を視認した際の高さ方向（上下方向）、横方向（左右方向）の位置であり、これらに、奥行き方向（前方向）の位置が追加されてもよい）、及び実オブジェクト３１０のサイズ（高さ方向、横方向のサイズ）、を取得してもよい。

また、実オブジェクト関連情報検出モジュール５０２は、車外センサ４０７から、自車両１の走行レーン３１０の左側の区画線３１１（図３Ｂ参照）の位置と、右側の区画線３１２（図３Ｂ参照）の位置と、を取得してもよい。

割り込み判定モジュール５０４は、実オブジェクト関連情報検出モジュール５０２から取得した、自車両１の後方、側方、又は／及び前方に存在する実オブジェクトの位置、移動方向、移動速度、実オブジェクト（他車両）の方向指示器、舵角、又は／及び運転支援システムによる進行予定経路、進行スケジュールなどに基づき、実オブジェクト３１０が自車両１の走行レーンに割り込んでくる可能性（割り込み可能性とも呼ぶ）を算出し、算出した割り込み可能性が予めメモリ１８に記憶した所定の閾値を上回っていれば、割り込み可能性が高いと判定してもよい。

また、割り込み判定モジュール５０４は、自車両１の後方、側方、又は／及び前方に存在する実オブジェクトの位置、移動方向、移動速度、実オブジェクト（他車両）の方向指示器、舵角、又は／及び運転支援システムによる進行予定経路、進行スケジュールなどに基づき、割り込み実オブジェクト３１０が自車両１の走行レーン３１０に割り込んでくる位置（割り込み位置とも呼ぶ）を推定してもよい。例えば、割り込み判定モジュール５０４は、割り込み実オブジェクト３１０の割り込み経路を推定し、この割り込み経路と、自車両１が走行する走行レーン３１０の左側の区画線３１１又は右側の区画線３１２と、の交点付近を割り込み位置と特定してもよい。

なお、割り込み判定モジュール５０４は、割り込み可能性を算出する機能、又は／及び割り込み可能性を判定する機能を有していなくてもよく、これらの一部又は全部の機能は、車両用表示システム１０の表示制御装置１３とは別に設けられてもよく、例えば、車両ＥＣＵ４０１に設けられてもよい。

報知必要度判定モジュール５０６は、車両用表示システム１０が表示する各画像２００が運転者４に報知するべき内容であるかを判定する。報知必要度判定モジュール５０６は、Ｉ／Ｏインタフェース１４に接続される種々の他の電子機器から情報を取得し、報知必要度を算出してもよい。また、図２でＩ／Ｏインタフェース１４に接続された電子機器が車両ＥＣＵ４０１に情報を送信し、受信した情報に基づき車両ＥＣＵ４０１が決定した報知必要度を、報知必要度判定モジュール５０６が検出（取得）してもよい。『報知必要度』は、例えば、起こり得る自体の重大さの程度から導き出される危険度、反応行動を起こすまでに要求される反応時間の長短から導き出される緊急度、自車両１や運転者４（又は自車両１の他の乗員）の状況から導き出される有効度、又はこれらの組み合わせなどで決定され得る（報知必要度の指標はこれらに限定されない）。

なお、車両用表示システム１０は、報知必要度を推定する（算出する）機能を有していなくてもよく、報知必要度を推定する機能の一部又は全部は、車両用表示システム１０の表示制御装置１３とは別に設けられてもよい。

画像位置決定モジュール５０８は、画像２００が、実オブジェクト３１０と特定の位置関係になって視認されるように、実オブジェクト関連情報検出モジュール５０２により検出された実オブジェクトの位置に基づき、画像２００の座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）を決定する。これに加え、画像位置決定モジュール５０８は、目位置検出部４１１が検出した運転者４の眼の位置に基づいて、画像２００の位置を調整してもよい。例えば、画像位置決定モジュール５０８は、画像２００の中心が実オブジェクトの中心と重なって視認されるように、画像２００の左右方向、及び上下方向の位置を決定する。なお、『特定の位置関係』は、実オブジェクト又は自車両１の状況、実オブジェクトの種類、表示される画像の種類などにより調整され得る。

画像サイズ決定モジュール５１０は、ＡＲ画像２１０を表示するシチュエーションに応じて、ＡＲ画像２１０のサイズを変更してもよい。例えば、割り込み実オブジェクト３１０が、自車両１の走行レーン３１０に割り込む前後で、ＡＲ画像２１０のサイズを変更してもよい（後で詳述する）。

また、画像サイズ決定モジュール５１０は、ＡＲ画像２１０に設定された距離（プロパティ）が遠くになる程、ＡＲ画像２１０のサイズを小さくしてもよい。

また、画像サイズ決定モジュール５１０は、実オブジェクト関連情報検出モジュール５０２により検出された画像２００を対応付けて表示する実オブジェクトの種類、位置、数、又は／及び、報知必要度判定モジュール５０６で検出された（推定された）報知必要度の大きさに基づいて、画像２００のサイズを決定することができる。

グラフィックモジュール５１２は、表示される画像２００の、視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）、サイズ、表示位置、距離（運転者４から画像２００までの距離）を変更するための様々な既知のソフトウェア構成要素を含む。グラフィックモジュール５１２は、画像位置決定モジュール５０８が設定した座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）、画像サイズ決定モジュール５１０が設定した画像サイズで運転者４に視認されるように画像２００を表示する。

図３Ａ、図３Ｂを用いて、ＡＲ画像２１０について説明する。図３Ａは、道路の俯瞰図であり、図中で「ｖ」が付されているものは、プロセッサ１６が設定した仮想オブジェクトであり、表示領域１００に表示されたＡＲ画像２１０を視認することで、図示した路面の位置に重なっているように知覚される。図３Ｂは、自車両１の運転席から運転者４が前方（Ｚ軸方向）を向いた際に視認される前景３００と、表示領域１００に表示されるＡＲ画像２１０と、を示す図である。

ＡＲ画像２１０は、運転者４から見て路面に沿って遠近感のあるように視認されるパースペクティブ画像であり、赤色などで所定の領域が塗られた第１誘目画像２１１と、第１誘目画像２１１と重なって表示され、割り込み実オブジェクトの割り込み方向を示す矢印などの図形である方向画像２１３と、を含む。第１誘目画像２１１は、自車両１の走行レーン３１０の左側の区画線３１１又は右側の区画線３１２のいずれかの割り込み実オブジェクトが存在する方に、重なって視認されるように表示位置が調整される。図３Ａ，図３Ｂは、自車両１の走行レーン３１０の右隣の走行レーン３２０に割り込み実オブジェクトが存在する場合であり、すなわち、第１誘目画像２１１は、自車両１の走行レーン３１０の右側の区画線３１２に重なる位置に表示される。なお、第１誘目画像２１１の奥行方向（Ｚ軸方向）の位置は、割り込み判定モジュール５０４が特定する割り込み位置によって変化し得るが、これに限定されない。割り込み実オブジェクト３３０が割り込んでくる左右方向が区別できるように、第１誘目画像２１１の左右方向（Ｘ軸方向）の位置が変化可能であれば、奥行方向（Ｚ軸方向）の位置は、予めメモリ１８に記憶された所定の位置であってもよい。

図３Ａ，図３Ｂでは、第１誘目画像２１１をわかりやすくするように、外縁に線を描いたが、線を描かなくてもよい。また、第１誘目画像２１１は、所定の領域が有色で塗られて描かれているが、均一ではなくグラデーションで塗られてもよい。例えば、第１誘目画像２１１のうち自車両１に近い（奥行き方向（Ｚ軸方向）で近い）路面に重なる領域の透過度を低くして、自車両１に遠い路面に重なる領域の透過度を高くしてもよい。また、第１誘目画像２１１のうち中心部の透過度を低くして、外側の透過度を高くしてもよい。これにより、前景（実景）３００に画像が溶け込みやすくなり、仮想現実における画像の違和感を軽減することができ、また、視覚的注意が過度に向けられにくくすることもできる。

また、いくつかの実施形態では、図３Ａ、図３Ｂに示すように、第１誘目画像２１１は、奥行方向の長さ２１５ｖが幅方向の長さ２１６ｖより長いオブジェクトを仮想的に表現した画像であってもよい。これにより、路面において奥行方向に連続的又は断続的に描かれている区画線と重ねた場合に、第１誘目画像２１１が、前景（実景）３００に溶け込みやすくなり、仮想現実における画像の違和感を軽減することができ、また、視覚的注意が過度に向けられにくくすることもできる。なお、第１誘目画像２１１は、区画線に重なっていなくても、区画線の近傍に沿うように表示されてもよい。

図４は、いくつかの実施形態に係る、ＡＲ画像の表示処理のフロー図である。まず、実オブジェクト関連情報を取得する（ステップＳ１１）。

ステップＳ１２において、ステップＳ１１で取得した少なくとも割り込み実オブジェクトの位置（実オブジェクト関連情報の一例）に基づき、第１誘目画像２１１の位置を決定する。自車両１の走行レーン３１０の左側の区画線３１１又は右側の区画線３１２のうち、割り込み実オブジェクト３３０が存在する走行レーン側の区画線と重なって運転者４に視認される位置に、第１誘目画像２１１の位置を設定し、第１誘目画像２１１を表示する（ステップＳ１３）。

ステップＳ１４では、第１誘目画像２１１を表示してからの時間がメモリ１８に予め記憶されていた所定の閾値以上になったこと、割り込み予定までの時間がメモリ１８に予め記憶されていた所定の閾値未満になったこと、又は割り込み位置までの自車両１の距離がメモリ１８に予め記憶されていた所定の閾値未満になったこと、を判定し、いずれかの条件が満たされれば、方向画像２１３を第１誘目画像２１１と重ねて表示する（ステップＳ１５）。なお、割り込み予定までの時間は、実オブジェクト関連情報検出モジュール５０２を実行することにより、車外通信接続機器４２０を介して実オブジェクト（他車両）から取得する、運転支援システムによる進行スケジュールに基づいて推定される（但し、これに限定されない）。また、ステップＳ１４は、第１誘目画像２１１を表示させた後に、方向画像２１３を表示させるための処理であり、これらの条件に限定されない。

ステップＳ１６では、割り込み実オブジェクト３３０が第１誘目画像２１１の一部に重なること、又は割り込み実オブジェクト３３０の進路変更の開始が検出されること、を判定し、いずれかの条件が満たされれば、割り込み実オブジェクト３３０に追従して表示される位置を変化させる第２誘目画像２２０を表示する（ステップＳ１７）。

第２誘目画像２２０は、第１誘目画像２１１の形状を変化させたものであってもよい。すなわち、第１誘目画像２１１を表示している際に、第２誘目画像２２０を表示する条件が満たされた場合、第１誘目画像２１１の形状を変化させつつ、割り込み実オブジェクトに追従するように表示位置を連続的に変化させてもよい。但し、第２誘目画像２２０と第１誘目画像２１１が区別され、第２誘目画像２２０が表示されると同時に、第１誘目画像２１１の視認性を低下させてもよい（非表示も含む）。

すなわち、図４における表示処理では、まず、自車両１の走行レーン３１０における左右の区画線のうち、割り込み実オブジェクトが割り込んでくるいずれか一方の区画線と重なる位置（又は近傍の位置）に、有色で塗られた第１誘目画像２１１を表示し、その後、この第１誘目画像２１１に方向画像２１３を重ねて表示し、割り込み実オブジェクトが自車両１の走行レーン３１０に割り込んで来ると、第２誘目画像２２０が、割り込み実オブジェクトに追従するように表示位置を連続的に変化させる。

図５Ａ〜図７Ｂは、割り込み実オブジェクト３３０が自車両１の走行レーン３１０に割り込む際のＡＲ画像２１０の表示遷移を説明する図である。図５Ａと図５Ｂ、図６Ａと図６Ｂ、及び図７Ａと図７Ｂは、同じタイミングの異なる視点で描かれた図であり、時系列は、図５Ａ（図５Ｂ）、図６Ａ（図６Ｂ）、図７Ａ（図７Ｂ）の順になっている。図５Ａ、図６Ａ、及び図７Ａは、自車両１の運転席から運転者４が前方（Ｚ軸方向）を向いた際に視認される前景３００と、表示領域１００に表示されるＡＲ画像２１０と、を示す図である。図５Ｂ、図６Ｂ、及び図７Ｂは、道路の俯瞰図であり、図中で「ｖ」が付されているものは、プロセッサ１６が設定した仮想的なオブジェクトであり、表示領域１００に表示されたＡＲ画像２１０を視認することで、図示した路面の位置に重なっているように視認される。

まず、図５Ａ、図５Ｂを参照する。プロセッサ１６は、図４のステップＳ１１において、実オブジェクト関連情報検出モジュール５０２を実行し、自車両１周辺の実オブジェクトの位置を少なくとも含む実オブジェクト関連情報を取得し、自車両１の走行レーン３１０に割り込んでくる可能性のある実オブジェクトを割り込み実オブジェクト３３０と特定する。続いて、プロセッサ１６は、その割り込み実オブジェクト３３０の走行レーン３２０と、自車両１の走行レーン３１０との区画線（この例では、右側の区画線３１２）と重なる位置（又は近傍の位置）に、奥行き方向（Ｚ軸方向）の長さが横方向（Ｘ軸方向）の長さよりも長い仮想オブジェクト２１１ｖを表現するように、画像表示部１１の表示領域１００に第１誘目画像２１１を表示し（ステップＳ１２，Ｓ１３）、その後、第１誘目画像２１１に重ねて方向画像２１３を表示する（ステップＳ１４、Ｓ１５）。

次に、図６Ａ〜図７Ｂを参照する。プロセッサ１６は、図４のステップＳ１６において、割り込み実オブジェクト３３０が第１誘目画像２１１の一部に重なったと判定すると、割り込み実オブジェクト３３０の位置に応じて表示位置が連続的に変化する第２誘目画像２２０を表示する（Ｓ１６，Ｓ１７）。なお、図６Ａ、図６Ｂでは、第１誘目画像２１２を第２誘目画像２２０の表示態様に変化させている途中の様子を示している。すなわち、割り込み実オブジェクト３３０が割り込む前に表示されている奥行き方向（Ｚ軸方向）に長く設定されている第１誘目画像２１２を、横方向（Ｘ軸方向）の長さ２２６ｖが、奥行き方向（Ｚ軸方向）の長さ２２５ｖより長く（図７Ｂ参照）設定されている第２誘目画像２２０に変化させている途中である。

上述の処理プロセスの動作は、汎用プロセッサ又は特定用途向けチップなどの情報処理装置の１つ以上の機能モジュールを実行させることにより実施することができる。これらのモジュール、これらのモジュールの組み合わせ、又は／及びそれらの機能を代替えし得る一般的なハードウェアとの組み合わせは全て、本発明の保護の範囲内に含まれる。

車両用表示システム１０の機能ブロックは、任意選択的に、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実行される。図２で説明する機能ブロックが、説明される実施形態の原理を実施するために、任意選択的に、組み合わされ、又は１つの機能ブロックを２以上のサブブロックに分離されてもいいことは、当業者に理解されるだろう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割を、任意選択的に支持する。

以上に説明したように、本実施形態の表示制御装置は、自車両の運転者から見られる前景に、自車両の走行レーン３１０への割り込み実オブジェクト３３０を報知する画像を表示する画像表示部１１を制御する表示制御装置１３において、１つ又はそれ以上のＩ／Ｏインタフェース１４と、１つ又はそれ以上のプロセッサ１６と、メモリ２２と、メモリ２２に格納され、１つ又はそれ以上のプロセッサ１６によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、１つ又はそれ以上のプロセッサ１６は、１つ又はそれ以上のＩ／Ｏインタフェース１４から、自車両の走行レーン３１０に割り込む前の割り込み実オブジェクト３３０に関する情報を取得すると、少なくとも割り込み実オブジェクト３３０に関する情報に基づき決定される、自車両の走行レーン３１０の左右の区画線３１１，３１２のいずれかの近傍、又は重なるように運転者に視認される第１表示位置に表示される第１誘目画像２１１と、第１誘目画像２１１と重なって視認されるように割り込み実オブジェクト３３０の割り込み方向を示す方向画像２１３と、を表示させ、割り込み実オブジェクト３３０が自車両の走行レーン３１０に侵入すると、割り込み実オブジェクト３３０の位置に追従して表示位置が変化する第２誘目画像２２０を表示させる、命令を実行する。このように、自車両１の走行レーン３１０の左右の区画線３１１，３１２の近傍に割り込みについて注意喚起する第１誘目画像２１１を表示するため、前景３００に画像が溶け込みやすくなり、仮想現実における画像の違和感を軽減することができ、また、視覚的注意が過度に向けられにくくすることもできる。

また、いくつかの実施形態では、１つ又はそれ以上のプロセッサ１６は、割り込み実オブジェクト３３０に関する情報に基づき、割り込みされる可能性が低くなったと判定される場合、方向画像２１３の視認性を低下させてもよい（非表示も含む）。これにより、割り込まれる可能性が低くなった事を認識させることができる。

また、いくつかの実施形態では、第１表示位置は、自車両の走行レーン３１０の左右の区画線３１１，３１２のいずれかに重なるように運転者に視認される位置であってもよい。これにより、さらに、前景３００に画像が溶け込みやすくなり、仮想現実における画像の違和感を軽減することができ、また、視覚的注意が過度に向けられにくくすることもできる。

また、いくつかの実施形態では、第１誘目画像２１１は、運転者から見て遠近感のあるパースペクティブ画像であってもよい。これにより、さらに、前景３００に画像が溶け込みやすくなり、仮想現実における画像の違和感を軽減することができる。

また、いくつかの実施形態では、第１誘目画像２１１は、奥行方向の長さ２１５が幅方向の長さ２１６より長いオブジェクトを仮想的に表現した画像であてもよい。これにより、区画線３１１，３１２の近傍又は重なる位置に表示される第１誘目画像２１１が、前景３００に溶け込みやすくなり、仮想現実における画像の違和感を軽減することができ、また、視覚的注意が過度に向けられにくくすることもできる。

また、いくつかの実施形態では、第２誘目画像２２０は、奥行方向の長さ２２５ｖが幅方向の長さ２２６ｖより短いオブジェクトを仮想的に表現した画像であってもよい。これにより、区画線３１１，３１２の近傍又は重なる位置に表示される第１誘目画像２１１よりも、第２誘目画像２２０が前景３００に溶け込みにくくなり、視覚的注意を第２誘目画像２２０、及び第２誘目画像２２０が追従する割り込み実オブジェクト３３０に向けさせることもできる。

１…自車両、２…フロントウインドシールド、４…運転者、５…ダッシュボード、１０…車両用表示システム、１１…画像表示部、１１ａ…表示光、１３…表示制御装置、１４…Ｉ／Ｏインタフェース、１６…プロセッサ、１８…メモリ、２０…画像処理回路、２２…メモリ、１００…表示領域、２００…画像、２１０…ＡＲ画像、２１１…第１誘目画像、２１１ｖ…仮想オブジェクト、２１２…第１誘目画像、２１３…方向画像、２２０…第２誘目画像、３００…前景、３１０…実オブジェクト、３１０…割り込み実オブジェクト、３１０…走行レーン、３１１…区画線、３１２…区画線、３２０…走行レーン、３３０…割り込み実オブジェクト、４０１…車両ＥＣＵ、４０３…道路情報データベース、４０５…自車位置検出部、４０７…車外センサ、４０９…視線方向検出部、４１１…目位置検出部、４１３…携帯情報端末、４２０…車外通信接続機器、５０２…実オブジェクト関連情報検出モジュール、５０４…割り込み判定モジュール、５０６…報知必要度判定モジュール、５０８…画像位置決定モジュール、５１０…画像サイズ決定モジュール、５１２…グラフィックモジュール

Claims (9)

1. 自車両の運転者から見られる前景に、前記自車両の走行レーン（３１０）への割り込み実オブジェクト（３３０）を報知する画像を表示する画像表示部（１１）を制御する表示制御装置（１３）において、
   １つ又はそれ以上のＩ／Ｏインタフェース（１４）と、
   １つ又はそれ以上のプロセッサ（１６）と、
   メモリ（２２）と、
   前記メモリ（２２）に格納され、前記１つ又はそれ以上のプロセッサ（１６）によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、
   前記１つ又はそれ以上のプロセッサ（１６）は、
   前記１つ又はそれ以上のＩ／Ｏインタフェース（１４）から、
   前記自車両の前記走行レーン（３１０）に割り込む前の前記割り込み実オブジェクト（３３０）に関する情報を取得すると、
   少なくとも前記割り込み実オブジェクト（３３０）に関する情報に基づき決定される、前記自車両の前記走行レーン（３１０）の左右の区画線（３１１，３１２）のいずれかの近傍、又は重なるように運転者に視認される第１表示位置に表示される第１誘目画像（２１１）と、
   前記第１誘目画像（２１１）と重なって視認されるように前記割り込み実オブジェクト（３３０）の割り込み方向を示す方向画像（２１３）と、を表示させ、
   前記割り込み実オブジェクト（３３０）が前記自車両の前記走行レーン（３１０）に侵入すると、
   前記割り込み実オブジェクト（３３０）の位置に追従して表示位置が変化する第２誘目画像（２２０）を表示させる、命令を実行する、
   表示制御装置。
2. 前記１つ又はそれ以上のプロセッサ（１６）は、
   前記割り込み実オブジェクト（３３０）が前記自車両の前記走行レーン（３１０）に侵入すると、
   前記方向画像（２１３）の視認性を低下させる、命令を実行する、
   請求項１に記載の表示制御装置。
3. 前記１つ又はそれ以上のプロセッサ（１６）は、
   前記前記割り込み実オブジェクト（３３０）に関する情報に基づき、割り込みされる可能性が低くなったと判定される場合、
   前記方向画像（２１３）の視認性を低下させる、命令を実行する、
   請求項１に記載の表示制御装置。
4. 前記第１表示位置は、前記自車両の前記走行レーン（３１０）の左右の区画線（３１１，３１２）のいずれかに重なるように運転者に視認される位置である、
   請求項１に記載の表示制御装置。
5. 前記第１誘目画像（２１１）は、前記運転者から見て遠近感のあるパースペクティブ画像である、
   請求項１に記載の表示制御装置。
6. 前記第１誘目画像（２１１）は、奥行方向の長さ（２１５ｖ）が幅方向の長さ（２１６ｖ）より長いオブジェクトを仮想的に表現した画像である、
   請求項５に記載の表示制御装置。
7. 前記第２誘目画像（２２０）は、奥行方向の長さ（２２５ｖ）が幅方向の長さ（２２６ｖ）より短いオブジェクトを仮想的に表現した画像である、
   請求項５に記載の表示制御装置。
8. 自車両の運転者から見て前景に、前記自車両の走行レーン（３１０）への割り込み実オブジェクト（３３０）を報知する画像を表示する画像表示部（１１）を制御する方法において、
   前記割り込み実オブジェクト（３３０）が前記自車両の前記走行レーン（３１０）への前記割り込み実オブジェクト（３３０）に関する情報を取得することと、
   少なくとも前記割り込み実オブジェクト（３３０）に関する情報に基づき決定される第１表示位置に第１誘目画像（２１１）を表示することと、
   前記第１表示位置と重なって視認されるように前記割り込み実オブジェクト（３３０）の割り込み方向を示す方向画像（２１３）を表示することと、
   前記割り込み実オブジェクト（３３０）が前記自車両の前記走行レーン（３１０）に侵入すると、
   前記方向画像（２１３）の視認性を低下させ、かつ、前記第１誘目画像（２１１）の表示位置を前記割り込み実オブジェクト（３３０）に追従して変化させることと、を含む、
   方法。
9. 請求項８に記載の方法を実行するための命令を含む、コンピュータ・プログラム。
   

Images