JP2020106911A - 表示制御装置、方法、及びコンピュータ・プログラム - Google Patents
表示制御装置、方法、及びコンピュータ・プログラム Download PDFInfo
- Publication number
- JP2020106911A JP2020106911A JP2018242519A JP2018242519A JP2020106911A JP 2020106911 A JP2020106911 A JP 2020106911A JP 2018242519 A JP2018242519 A JP 2018242519A JP 2018242519 A JP2018242519 A JP 2018242519A JP 2020106911 A JP2020106911 A JP 2020106911A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- real object
- interrupt
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
【課題】運転者の運転意識の低下を抑制する。【解決手段】表示制御装置は、自車両の走行レーン310に割り込む前の割り込み実オブジェクト330に関する情報を取得すると、少なくとも割り込み実オブジェクト330に関する情報に基づき決定される第1表示位置に第1誘目画像211と、第1表示位置と重なって視認されるように割り込み実オブジェクト330の割り込み方向を示す方向画像213と、を表示させ、割り込み実オブジェクト330が自車両の走行レーン310に侵入すると、方向画像213の視認性を低下させ、第1誘目画像211の表示位置を割り込み実オブジェクト330に追従して変化させる。【選択図】 図3B
Description
本開示は、車両で使用され、車両の前景に画像を重畳して視認させる表示制御装置、方法、及びコンピュータ・プログラムに関する。
特許文献1には、割り込み候補車両を判定し、割り込み候補車両が前景に存在する場合、この割り込み候補車両側の区画線の近傍や、割り込み候補車両の近傍に視認される点滅画像を表示することで、運転者の視覚的注意を誘導する(誘目する)表示装置が開示されている。
しかしながら、特許文献1の表示装置では、視覚的注意を向けることができるものの、どのような事に関して注意を喚起した表示であるのか認識しづらいおそれがある。
また、仮想現実(AR:Augmented Reality)の技術を採用し、視認者(車両の運転者)が見る実風景(割り込み候補車両など)の状態に追従した画像を表示する場合、運転者の視覚的注意が画像に向き過ぎることによる運転意識が低下することが想定される。このため、運転意識の低下を抑制するための表示についての改善の余地があった。
本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。
本開示の概要は、運転者の運転意識の低下を抑制することに関する。より具体的には、表示される画像へ視覚的注意が向き過ぎないようにすることにも関する。
したがって、本明細書に記載される表示制御装置は、自車両の走行レーン310に割り込む前の割り込み実オブジェクト330に関する情報を取得すると、少なくとも割り込み実オブジェクト330に関する情報に基づき決定される第1表示位置に第1誘目画像211と、第1表示位置と重なって視認されるように割り込み実オブジェクト330の割り込み方向を示す方向画像213と、を表示させ、割り込み実オブジェクト330が自車両の走行レーン310に侵入すると、方向画像213の視認性を低下させ、第1誘目画像211の表示位置を割り込み実オブジェクト330に追従して変化させる。いくつかの実施形態では、割り込み実オブジェクト330に関する情報に基づき、割り込みされる可能性が低くなったと判定される場合、方向画像213の視認性を低下させてもよい。
以下、図1及び図2では、例示的な車両用表示システムの構成の説明を提供する。図3A、図5B、図6B、及び図7Bでは、運転者に知覚させたい仮想オブジェクトの配置の説明を提供する。また、図3B、図5A、図6A、及び図7Aでは、仮想オブジェクトを知覚させるために表示される画像の表示例を提供する。また、図4では、表示処理のフローを提供する。なお、本発明は以下の実施形態(図面の内容も含む)によって限定されるものではない。下記の実施形態に変更(構成要素の削除も含む)を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。
図1を参照する。車両用表示システム10における画像表示部11は、自車両1のダッシュボード5内に設けられたヘッドアップディスプレイ(HUD:Head−Up Display)装置である。HUD装置は、表示光11aをフロントウインドシールド2(被投影部材の一例である)に向けて出射し、仮想的な表示領域100内に画像200を表示することで、フロントウインドシールド2を介して視認される現実空間である前景300に重ねて画像200を視認させる。
また、画像表示部11は、ヘッドマウントディスプレイ(以下、HMD)装置であってもよい。運転者4は、HMD装置を頭部に装着して自車両1の座席に着座することで、表示される画像200を、自車両1のフロントウインドシールド2を介した前景300に重畳して視認する。車両用表示システム10が所定の画像200を表示する表示領域100は、自車両1の座標系を基準とした特定の位置に固定され、運転者4がその方向を向くと、その特定の位置に固定された表示領域100内に表示された画像200を視認することができる。
画像表示部11は、表示制御装置13の制御に基づいて、自車両1のフロントウインドシールド2を介して視認される現実空間(実景)である前景300に存在する、障害物(歩行者、自転車、自動二輪車、他車両など)、路面、道路標識、及び地物(建物、橋など)などの実オブジェクト310の近傍(画像と実オブジェクトとの特定の位置関係の一例)、実オブジェクト310に重なる位置(画像と実オブジェクトとの特定の位置関係の一例)、又は実オブジェクト310を基準に設定された位置(画像と実オブジェクトとの特定の位置関係の一例)に画像200を表示することで、視覚的な拡張現実(AR:Augmented Reality)を形成することもできる。画像表示部11は、実オブジェクト310の位置に応じて表示位置を変化させるAR画像210と、実オブジェクト310の位置に応じて表示位置を変化させない不図示の非AR画像と、を表示する(後で詳述する)。
図2は、いくつかの実施形態に係る、車両用表示システム10のブロック図である。車両用表示システム10は、画像表示部11と、画像表示部11を制御する表示制御装置13と、で構成される。表示制御装置13は、1つ又はそれ以上のI/Oインタフェース14、1つ又はそれ以上のプロセッサ16、1つ又はそれ以上のメモリ18、及び1つ又はそれ以上の画像処理回路20を備える。図2に記載される様々な機能ブロックは、ハードウェア、ソフトウェア、又はこれら両方の組み合わせで構成されてもよい。図2は、実施態様の一実施形態に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、画像処理回路20(例えば、グラフィック処理ユニット)が、1つ又はそれ以上のプロセッサ16に含まれてもよい。
図示するように、プロセッサ16及び画像処理回路20は、メモリ18と動作可能に連結される。より具体的には、プロセッサ16及び画像処理回路20は、メモリ18に記憶されているプログラムを実行することで、例えば画像データを生成又は/及び送信するなど、車両用表示システム10の操作を行うことができる。プロセッサ16又は/及び画像処理回路20は、少なくとも1つの汎用マイクロプロセッサ(例えば、中央処理装置(CPU))、少なくとも1つの特定用途向け集積回路(ASIC)、少なくとも1つのフィールドプログラマブルゲートアレイ(FPGA)、又はそれらの任意の組み合わせを含むことができる。メモリ18は、ハードディスクのような任意のタイプの磁気媒体、CD及びDVDのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、DRAM及びSRAMを含み、不揮発性メモリは、ROM及びNVROMを含んでもよい。
図示するように、プロセッサ16は、I/Oインタフェース14と動作可能に連結されている。例えば、I/Oインタフェース14は、車両用表示システム10を、Bluetooth(登録商標)ネットワークなどのパーソナルエリアネットワーク(PAN)、802.11x Wi−Fi(登録商標)ネットワークなどのローカルエリアネットワーク(LAN)、4G又はLTE(登録商標)セルラーネットワークなどの広域ネットワーク(WAN)に接続する無線通信インタフェースを含むことができる。また、I/Oインタフェース14は、例えば、USBポート、シリアルポート、パラレルポート、OBDII、及び/又は他の任意の適切な有線通信ポートなどの有線通信インタフェースを含むことができる。
図示するように、プロセッサ16は、I/Oインタフェース14と相互動作可能に連結されることで、車両用表示システム10(I/Oインタフェース14)に接続される種々の他の電子機器等と情報を授受可能となる。I/Oインタフェース14には、例えば、自車両1に設けられた車両ECU401、道路情報データベース403、自車位置検出部405、車外センサ407、視線方向検出部409、目位置検出部411、携帯情報端末413、及び車外通信接続機器420などが動作可能に連結される。画像表示部11は、プロセッサ16及び画像処理回路20に動作可能に連結される。したがって、画像表示部11によって表示される画像は、プロセッサ16又は/及び画像処理回路20から受信された画像データに基づいてもよい。プロセッサ16及び画像処理回路20は、I/Oインタフェース14から得られる情報に基づき、画像表示部11が表示する画像を制御する。なお、I/Oインタフェース14は、車両用表示システム10に接続される他の電子機器等から受信する情報を加工(変換、演算、解析)する機能を含んでいてもよい。
自車両1は、自車両1の状態(例えば、走行距離、車速、アクセルペダル開度、エンジンスロットル開度、インジェクター燃料噴射量、エンジン回転数、モータ回転数、ステアリング操舵角、シフトポジション、ドライブモード、各種警告状態)などを検出する車両ECU401を含んでいる。車両ECU401は、自車両1の各部を制御するものであり、例えば、自車両1の現在の車速を示す車速情報をプロセッサ16へ送信することができる。なお、車両ECU401は、単にセンサで検出したデータをプロセッサ16へ送信することに加え、又は代わりに、センサで検出したデータの判定結果、若しくは/及び解析結果をプロセッサ16へ送信することができる。例えば、自車両1が低速走行しているか、又は停止しているかを示す情報をプロセッサ16へ送信してもよい。また、車両ECU401は、車両用表示システム10が表示する画像200を指示する指示信号をI/Oインタフェース14に送信してもよく、この際、画像200の座標、画像200の報知必要度、又は/及び報知必要度を判定する元となる必要度関連情報を、指示信号に付加して送信してもよい。
自車両1は、ナビゲーションシステム等からなる道路情報データベース403を含んでいてもよい。道路情報データベース403は、後述する自車位置検出部405から取得される自車両1の位置に基づき、実オブジェクト関連情報の一例である自車両1が走行する道路情報(車線,白線,停止線,横断歩道,道路の幅員,車線数,交差点,カーブ,分岐路,交通規制など)、地物情報(建物、橋、河川など)の、有無、位置(自車両1までの距離を含む)、方向、形状、種類、詳細情報などを読み出し、プロセッサ16に送信してもよい。また、道路情報データベース403は、出発地から目的地までの適切な経路を算出し、ナビゲーション情報としてプロセッサ16に送信してもよい。
自車両1は、GNSS(全地球航法衛星システム)等からなる自車位置検出部405を含んでいてもよい。道路情報データベース403、後述する携帯情報端末413、又は/及び車外通信接続機器420は、自車位置検出部405から自車両1の位置情報を連続的、断続的、又は所定のイベント毎に取得することで、自車両1の周辺の情報を選択又は/及び生成して、プロセッサ16に送信することができる。
自車両1は、自車両1の周辺(前方、側方、及び後方)に存在する実オブジェクトを検出する1つ又はそれ以上の車外センサ407を含んでいてもよい。車外センサ407が検知する実オブジェクトは、例えば、歩行者、自転車、自動二輪車、他車両(先行車等)、路面、区画線、路側物、又は/及び地物(建物など)などを含んでいてもよい。車外センサとしては、例えば、ミリ波レーダ、超音波レーダ、レーザレーダ等のレーダセンサ、カメラと画像処理装置からなるカメラセンサがあり、レーダセンサ、カメラセンサの両方の組み合わせで構成されてもよく、どちらか一方だけで構成されてもよい。これらレーダセンサやカメラセンサによる物体検知については従来の周知の手法を適用する。これらのセンサによる物体検知によって、三次元空間内での実オブジェクトの有無、実オブジェクトが存在する場合には、その実オブジェクトの位置(自車両1からの相対的な距離、自車両1の進行方向を前後方向とした場合の左右方向の位置、上下方向の位置等)、大きさ(横方向(左右方向)、高さ方向(上下方向)等の大きさ)、移動方向(横方向(左右方向)、奥行き方向(前後方向))、移動速度(横方向(左右方向)、奥行き方向(前後方向))、又は/及び種類等を検出してもよい。1つ又はそれ以上の車外センサ407は、各センサの検知周期毎に、自車両1の前方の実オブジェクトを検知して、実オブジェクト関連情報の一例である実オブジェクト関連情報(実オブジェクトの有無、実オブジェクトが存在する場合には実オブジェクト毎の位置、大きさ、又は/及び種類等の情報)をプロセッサ16に送信することができる。なお、これら実オブジェクト関連情報は、他の機器(例えば、車両ECU401)を経由してプロセッサ16に送信されてもよい。また、夜間等の周辺が暗いときでも実オブジェクトが検知できるように、センサとしてカメラを利用する場合には赤外線カメラや近赤外線カメラが望ましい。また、センサとしてカメラを利用する場合、視差で距離等も取得できるステレオカメラが望ましい。
自車両1は、運転者4の注視方向(以下では「視線方向」ともいう)を検出する、運転者4の顔を撮像する赤外線カメラ等からなる視線方向検出部409を含んでいてもよい。プロセッサ16は、赤外線カメラが撮像した画像(視線方向を推定可能な情報の一例)を取得し、この撮像画像を解析することで運転者4の視線方向を特定することができる。なお、プロセッサ16は、赤外線カメラの撮像画像から視線方向検出部409(又は他の解析部)が特定した運転者4の視線方向をI/Oインタフェース14から取得するものであってもよい。また、自車両1の運転者4の視線方向、又は運転者4の視線方向を推定可能な情報を取得する方法は、これらに限定されるものではなく、EOG(Electro−oculogram)法、角膜反射法、強膜反射法、プルキンエ像検出法、サーチコイル法、赤外線眼底カメラ法などの他の既知の視線方向検出(推定)技術を用いて取得されてもよい。
自車両1は、運転者4の目の位置を検出する赤外線カメラ等からなる目位置検出部411を含んでいてもよい。プロセッサ16は、赤外線カメラが撮像した画像(目の位置を推定可能な情報の一例)を取得し、この撮像画像を解析することで運転者4の目の位置を特定することができる。なお、プロセッサ16は、赤外線カメラの撮像画像から特定された運転者4の目の位置の情報をI/Oインタフェース14から取得するものであってもよい。なお、自車両1の運転者4の目の位置、又は運転者4の目の位置を推定可能な情報を取得する方法は、これらに限定されるものではなく、既知の目位置検出(推定)技術を用いて取得されてもよい。プロセッサ16は、運転者4の目の位置に基づき、画像200の位置を少なくとも調整することで、前景300の所望の位置に重畳した画像200を、目位置を検出した視認者(運転者4)に視認させてもよい。
携帯情報端末413は、スマートフォン、ノートパソコン、スマートウォッチ、又は運転者4(又は自車両1の他の乗員)が携帯可能なその他の情報機器である。I/Oインタフェース14は、携帯情報端末413とペアリングすることで、携帯情報端末413と通信を行うことが可能であり、携帯情報端末413(又は携帯情報端末を通じたサーバ)に記録されたデータを取得する。携帯情報端末413は、例えば、上述の道路情報データベース403及び自車位置検出部405と同様の機能を有し、前記道路情報(実オブジェクト関連情報の一例)を取得し、プロセッサ16に送信してもよい。また、携帯情報端末413は、自車両1の近傍の商業施設に関連するコマーシャル情報(実オブジェクト関連情報の一例)を取得し、プロセッサ16に送信してもよい。なお、携帯情報端末413は、携帯情報端末413の所持者(例えば、運転者4)のスケジュール情報、携帯情報端末413での着信情報、メールの受信情報などをプロセッサ16に送信し、プロセッサ16及び画像処理回路20は、これらに関する画像データを生成又は/及び送信してもよい。
車外通信接続機器420は、自車両1と情報のやりとりをする通信機器であり、例えば、自車両1と車車間通信(V2V:Vehicle To Vehicle)により接続される他車両、歩車間通信(V2P:Vehicle To Pedestrian)により接続される歩行者(歩行者が携帯する携帯情報端末)、路車間通信(V2I:Vehicle To roadside Infrastructure)により接続されるネットワーク通信機器であり、広義には、自車両1との通信(V2X:Vehicle To Everything)により接続される全てのものを含む。車外通信接続機器420は、例えば、歩行者、自転車、自動二輪車、他車両(先行車等)、路面、区画線、路側物、又は/及び地物(建物など)の位置を取得し、プロセッサ16に送信してもよい。また、車外通信接続機器420は、上述の自車位置検出部405と同様の機能を有し、自車両1の位置情報を取得し、プロセッサ16に送信してもよく、さらに上述の道路情報データベース403の機能も有し、前記道路情報(実オブジェクト関連情報の一例)を取得し、プロセッサ16に送信してもよい。なお、車外通信接続機器420から取得される情報は、上述のものに限定されない。
メモリ18に記憶されたソフトウェア構成要素は、実オブジェクト関連情報検出モジュール502、割り込み判定モジュール504、報知必要度判定モジュール506、画像位置決定モジュール508、画像サイズ決定モジュール510、及びグラフィックモジュール512を含む。
実オブジェクト関連情報検出モジュール502は、後述する割り込み判定モジュール504が割り込み判定を行う元となる、自車両1の後方又は側方に存在する実オブジェクト(割り込み実オブジェクトとも呼ぶ)に関する情報(実オブジェクト関連情報とも呼ぶ)を取得する。実オブジェクト関連情報検出モジュール502は、例えば、車外センサ407、又は/及び車外通信接続機器420から、自車両1の後方、側方、又は/及び前方に存在する実オブジェクトの位置、移動方向、又は/及び移動速度を示す情報を取得してもよい。また、実オブジェクト関連情報検出モジュール502は、車外通信接続機器420を介して実オブジェクト(他車両)から、実オブジェクト(他車両)の方向指示器、舵角、又は/及び運転支援システムによる進行予定経路、進行スケジュール、を示す情報を取得してもよい。
また、実オブジェクト関連情報検出モジュール502は、後述する画像200の位置を決定する元となる、自車両1の前景300に存在する実オブジェクトの位置を取得する。実オブジェクト関連情報検出モジュール502は、例えば、車外センサ407から、自車両1の前景300に存在する実オブジェクト310の位置(自車両1の運転席にいる運転者4から自車両1の進行方向(前方)を視認した際の高さ方向(上下方向)、横方向(左右方向)の位置であり、これらに、奥行き方向(前方向)の位置が追加されてもよい)、及び実オブジェクト310のサイズ(高さ方向、横方向のサイズ)、を取得してもよい。
また、実オブジェクト関連情報検出モジュール502は、車外センサ407から、自車両1の走行レーン310の左側の区画線311(図3B参照)の位置と、右側の区画線312(図3B参照)の位置と、を取得してもよい。
割り込み判定モジュール504は、実オブジェクト関連情報検出モジュール502から取得した、自車両1の後方、側方、又は/及び前方に存在する実オブジェクトの位置、移動方向、移動速度、実オブジェクト(他車両)の方向指示器、舵角、又は/及び運転支援システムによる進行予定経路、進行スケジュールなどに基づき、実オブジェクト310が自車両1の走行レーンに割り込んでくる可能性(割り込み可能性とも呼ぶ)を算出し、算出した割り込み可能性が予めメモリ18に記憶した所定の閾値を上回っていれば、割り込み可能性が高いと判定してもよい。
また、割り込み判定モジュール504は、自車両1の後方、側方、又は/及び前方に存在する実オブジェクトの位置、移動方向、移動速度、実オブジェクト(他車両)の方向指示器、舵角、又は/及び運転支援システムによる進行予定経路、進行スケジュールなどに基づき、割り込み実オブジェクト310が自車両1の走行レーン310に割り込んでくる位置(割り込み位置とも呼ぶ)を推定してもよい。例えば、割り込み判定モジュール504は、割り込み実オブジェクト310の割り込み経路を推定し、この割り込み経路と、自車両1が走行する走行レーン310の左側の区画線311又は右側の区画線312と、の交点付近を割り込み位置と特定してもよい。
なお、割り込み判定モジュール504は、割り込み可能性を算出する機能、又は/及び割り込み可能性を判定する機能を有していなくてもよく、これらの一部又は全部の機能は、車両用表示システム10の表示制御装置13とは別に設けられてもよく、例えば、車両ECU401に設けられてもよい。
報知必要度判定モジュール506は、車両用表示システム10が表示する各画像200が運転者4に報知するべき内容であるかを判定する。報知必要度判定モジュール506は、I/Oインタフェース14に接続される種々の他の電子機器から情報を取得し、報知必要度を算出してもよい。また、図2でI/Oインタフェース14に接続された電子機器が車両ECU401に情報を送信し、受信した情報に基づき車両ECU401が決定した報知必要度を、報知必要度判定モジュール506が検出(取得)してもよい。『報知必要度』は、例えば、起こり得る自体の重大さの程度から導き出される危険度、反応行動を起こすまでに要求される反応時間の長短から導き出される緊急度、自車両1や運転者4(又は自車両1の他の乗員)の状況から導き出される有効度、又はこれらの組み合わせなどで決定され得る(報知必要度の指標はこれらに限定されない)。
なお、車両用表示システム10は、報知必要度を推定する(算出する)機能を有していなくてもよく、報知必要度を推定する機能の一部又は全部は、車両用表示システム10の表示制御装置13とは別に設けられてもよい。
画像位置決定モジュール508は、画像200が、実オブジェクト310と特定の位置関係になって視認されるように、実オブジェクト関連情報検出モジュール502により検出された実オブジェクトの位置に基づき、画像200の座標(運転者4が自車両1の運転席から表示領域100の方向を見た際の左右方向(X軸方向)、及び上下方向(Y軸方向)を少なくとも含む)を決定する。これに加え、画像位置決定モジュール508は、目位置検出部411が検出した運転者4の眼の位置に基づいて、画像200の位置を調整してもよい。例えば、画像位置決定モジュール508は、画像200の中心が実オブジェクトの中心と重なって視認されるように、画像200の左右方向、及び上下方向の位置を決定する。なお、『特定の位置関係』は、実オブジェクト又は自車両1の状況、実オブジェクトの種類、表示される画像の種類などにより調整され得る。
画像サイズ決定モジュール510は、AR画像210を表示するシチュエーションに応じて、AR画像210のサイズを変更してもよい。例えば、割り込み実オブジェクト310が、自車両1の走行レーン310に割り込む前後で、AR画像210のサイズを変更してもよい(後で詳述する)。
また、画像サイズ決定モジュール510は、AR画像210に設定された距離(プロパティ)が遠くになる程、AR画像210のサイズを小さくしてもよい。
また、画像サイズ決定モジュール510は、実オブジェクト関連情報検出モジュール502により検出された画像200を対応付けて表示する実オブジェクトの種類、位置、数、又は/及び、報知必要度判定モジュール506で検出された(推定された)報知必要度の大きさに基づいて、画像200のサイズを決定することができる。
グラフィックモジュール512は、表示される画像200の、視覚的効果(例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性)、サイズ、表示位置、距離(運転者4から画像200までの距離)を変更するための様々な既知のソフトウェア構成要素を含む。グラフィックモジュール512は、画像位置決定モジュール508が設定した座標(運転者4が自車両1の運転席から表示領域100の方向を見た際の左右方向(X軸方向)、及び上下方向(Y軸方向)を少なくとも含む)、画像サイズ決定モジュール510が設定した画像サイズで運転者4に視認されるように画像200を表示する。
図3A、図3Bを用いて、AR画像210について説明する。図3Aは、道路の俯瞰図であり、図中で「v」が付されているものは、プロセッサ16が設定した仮想オブジェクトであり、表示領域100に表示されたAR画像210を視認することで、図示した路面の位置に重なっているように知覚される。図3Bは、自車両1の運転席から運転者4が前方(Z軸方向)を向いた際に視認される前景300と、表示領域100に表示されるAR画像210と、を示す図である。
AR画像210は、運転者4から見て路面に沿って遠近感のあるように視認されるパースペクティブ画像であり、赤色などで所定の領域が塗られた第1誘目画像211と、第1誘目画像211と重なって表示され、割り込み実オブジェクトの割り込み方向を示す矢印などの図形である方向画像213と、を含む。第1誘目画像211は、自車両1の走行レーン310の左側の区画線311又は右側の区画線312のいずれかの割り込み実オブジェクトが存在する方に、重なって視認されるように表示位置が調整される。図3A,図3Bは、自車両1の走行レーン310の右隣の走行レーン320に割り込み実オブジェクトが存在する場合であり、すなわち、第1誘目画像211は、自車両1の走行レーン310の右側の区画線312に重なる位置に表示される。なお、第1誘目画像211の奥行方向(Z軸方向)の位置は、割り込み判定モジュール504が特定する割り込み位置によって変化し得るが、これに限定されない。割り込み実オブジェクト330が割り込んでくる左右方向が区別できるように、第1誘目画像211の左右方向(X軸方向)の位置が変化可能であれば、奥行方向(Z軸方向)の位置は、予めメモリ18に記憶された所定の位置であってもよい。
図3A,図3Bでは、第1誘目画像211をわかりやすくするように、外縁に線を描いたが、線を描かなくてもよい。また、第1誘目画像211は、所定の領域が有色で塗られて描かれているが、均一ではなくグラデーションで塗られてもよい。例えば、第1誘目画像211のうち自車両1に近い(奥行き方向(Z軸方向)で近い)路面に重なる領域の透過度を低くして、自車両1に遠い路面に重なる領域の透過度を高くしてもよい。また、第1誘目画像211のうち中心部の透過度を低くして、外側の透過度を高くしてもよい。これにより、前景(実景)300に画像が溶け込みやすくなり、仮想現実における画像の違和感を軽減することができ、また、視覚的注意が過度に向けられにくくすることもできる。
また、いくつかの実施形態では、図3A、図3Bに示すように、第1誘目画像211は、奥行方向の長さ215vが幅方向の長さ216vより長いオブジェクトを仮想的に表現した画像であってもよい。これにより、路面において奥行方向に連続的又は断続的に描かれている区画線と重ねた場合に、第1誘目画像211が、前景(実景)300に溶け込みやすくなり、仮想現実における画像の違和感を軽減することができ、また、視覚的注意が過度に向けられにくくすることもできる。なお、第1誘目画像211は、区画線に重なっていなくても、区画線の近傍に沿うように表示されてもよい。
図4は、いくつかの実施形態に係る、AR画像の表示処理のフロー図である。まず、実オブジェクト関連情報を取得する(ステップS11)。
ステップS12において、ステップS11で取得した少なくとも割り込み実オブジェクトの位置(実オブジェクト関連情報の一例)に基づき、第1誘目画像211の位置を決定する。自車両1の走行レーン310の左側の区画線311又は右側の区画線312のうち、割り込み実オブジェクト330が存在する走行レーン側の区画線と重なって運転者4に視認される位置に、第1誘目画像211の位置を設定し、第1誘目画像211を表示する(ステップS13)。
ステップS14では、第1誘目画像211を表示してからの時間がメモリ18に予め記憶されていた所定の閾値以上になったこと、割り込み予定までの時間がメモリ18に予め記憶されていた所定の閾値未満になったこと、又は割り込み位置までの自車両1の距離がメモリ18に予め記憶されていた所定の閾値未満になったこと、を判定し、いずれかの条件が満たされれば、方向画像213を第1誘目画像211と重ねて表示する(ステップS15)。なお、割り込み予定までの時間は、実オブジェクト関連情報検出モジュール502を実行することにより、車外通信接続機器420を介して実オブジェクト(他車両)から取得する、運転支援システムによる進行スケジュールに基づいて推定される(但し、これに限定されない)。また、ステップS14は、第1誘目画像211を表示させた後に、方向画像213を表示させるための処理であり、これらの条件に限定されない。
ステップS16では、割り込み実オブジェクト330が第1誘目画像211の一部に重なること、又は割り込み実オブジェクト330の進路変更の開始が検出されること、を判定し、いずれかの条件が満たされれば、割り込み実オブジェクト330に追従して表示される位置を変化させる第2誘目画像220を表示する(ステップS17)。
第2誘目画像220は、第1誘目画像211の形状を変化させたものであってもよい。すなわち、第1誘目画像211を表示している際に、第2誘目画像220を表示する条件が満たされた場合、第1誘目画像211の形状を変化させつつ、割り込み実オブジェクトに追従するように表示位置を連続的に変化させてもよい。但し、第2誘目画像220と第1誘目画像211が区別され、第2誘目画像220が表示されると同時に、第1誘目画像211の視認性を低下させてもよい(非表示も含む)。
すなわち、図4における表示処理では、まず、自車両1の走行レーン310における左右の区画線のうち、割り込み実オブジェクトが割り込んでくるいずれか一方の区画線と重なる位置(又は近傍の位置)に、有色で塗られた第1誘目画像211を表示し、その後、この第1誘目画像211に方向画像213を重ねて表示し、割り込み実オブジェクトが自車両1の走行レーン310に割り込んで来ると、第2誘目画像220が、割り込み実オブジェクトに追従するように表示位置を連続的に変化させる。
図5A〜図7Bは、割り込み実オブジェクト330が自車両1の走行レーン310に割り込む際のAR画像210の表示遷移を説明する図である。図5Aと図5B、図6Aと図6B、及び図7Aと図7Bは、同じタイミングの異なる視点で描かれた図であり、時系列は、図5A(図5B)、図6A(図6B)、図7A(図7B)の順になっている。図5A、図6A、及び図7Aは、自車両1の運転席から運転者4が前方(Z軸方向)を向いた際に視認される前景300と、表示領域100に表示されるAR画像210と、を示す図である。図5B、図6B、及び図7Bは、道路の俯瞰図であり、図中で「v」が付されているものは、プロセッサ16が設定した仮想的なオブジェクトであり、表示領域100に表示されたAR画像210を視認することで、図示した路面の位置に重なっているように視認される。
まず、図5A、図5Bを参照する。プロセッサ16は、図4のステップS11において、実オブジェクト関連情報検出モジュール502を実行し、自車両1周辺の実オブジェクトの位置を少なくとも含む実オブジェクト関連情報を取得し、自車両1の走行レーン310に割り込んでくる可能性のある実オブジェクトを割り込み実オブジェクト330と特定する。続いて、プロセッサ16は、その割り込み実オブジェクト330の走行レーン320と、自車両1の走行レーン310との区画線(この例では、右側の区画線312)と重なる位置(又は近傍の位置)に、奥行き方向(Z軸方向)の長さが横方向(X軸方向)の長さよりも長い仮想オブジェクト211vを表現するように、画像表示部11の表示領域100に第1誘目画像211を表示し(ステップS12,S13)、その後、第1誘目画像211に重ねて方向画像213を表示する(ステップS14、S15)。
次に、図6A〜図7Bを参照する。プロセッサ16は、図4のステップS16において、割り込み実オブジェクト330が第1誘目画像211の一部に重なったと判定すると、割り込み実オブジェクト330の位置に応じて表示位置が連続的に変化する第2誘目画像220を表示する(S16,S17)。なお、図6A、図6Bでは、第1誘目画像212を第2誘目画像220の表示態様に変化させている途中の様子を示している。すなわち、割り込み実オブジェクト330が割り込む前に表示されている奥行き方向(Z軸方向)に長く設定されている第1誘目画像212を、横方向(X軸方向)の長さ226vが、奥行き方向(Z軸方向)の長さ225vより長く(図7B参照)設定されている第2誘目画像220に変化させている途中である。
上述の処理プロセスの動作は、汎用プロセッサ又は特定用途向けチップなどの情報処理装置の1つ以上の機能モジュールを実行させることにより実施することができる。これらのモジュール、これらのモジュールの組み合わせ、又は/及びそれらの機能を代替えし得る一般的なハードウェアとの組み合わせは全て、本発明の保護の範囲内に含まれる。
車両用表示システム10の機能ブロックは、任意選択的に、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実行される。図2で説明する機能ブロックが、説明される実施形態の原理を実施するために、任意選択的に、組み合わされ、又は1つの機能ブロックを2以上のサブブロックに分離されてもいいことは、当業者に理解されるだろう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割を、任意選択的に支持する。
以上に説明したように、本実施形態の表示制御装置は、自車両の運転者から見られる前景に、自車両の走行レーン310への割り込み実オブジェクト330を報知する画像を表示する画像表示部11を制御する表示制御装置13において、1つ又はそれ以上のI/Oインタフェース14と、1つ又はそれ以上のプロセッサ16と、メモリ22と、メモリ22に格納され、1つ又はそれ以上のプロセッサ16によって実行されるように構成される1つ又はそれ以上のコンピュータ・プログラムと、を備え、1つ又はそれ以上のプロセッサ16は、1つ又はそれ以上のI/Oインタフェース14から、自車両の走行レーン310に割り込む前の割り込み実オブジェクト330に関する情報を取得すると、少なくとも割り込み実オブジェクト330に関する情報に基づき決定される、自車両の走行レーン310の左右の区画線311,312のいずれかの近傍、又は重なるように運転者に視認される第1表示位置に表示される第1誘目画像211と、第1誘目画像211と重なって視認されるように割り込み実オブジェクト330の割り込み方向を示す方向画像213と、を表示させ、割り込み実オブジェクト330が自車両の走行レーン310に侵入すると、割り込み実オブジェクト330の位置に追従して表示位置が変化する第2誘目画像220を表示させる、命令を実行する。このように、自車両1の走行レーン310の左右の区画線311,312の近傍に割り込みについて注意喚起する第1誘目画像211を表示するため、前景300に画像が溶け込みやすくなり、仮想現実における画像の違和感を軽減することができ、また、視覚的注意が過度に向けられにくくすることもできる。
また、いくつかの実施形態では、1つ又はそれ以上のプロセッサ16は、割り込み実オブジェクト330に関する情報に基づき、割り込みされる可能性が低くなったと判定される場合、方向画像213の視認性を低下させてもよい(非表示も含む)。これにより、割り込まれる可能性が低くなった事を認識させることができる。
また、いくつかの実施形態では、第1表示位置は、自車両の走行レーン310の左右の区画線311,312のいずれかに重なるように運転者に視認される位置であってもよい。これにより、さらに、前景300に画像が溶け込みやすくなり、仮想現実における画像の違和感を軽減することができ、また、視覚的注意が過度に向けられにくくすることもできる。
また、いくつかの実施形態では、第1誘目画像211は、運転者から見て遠近感のあるパースペクティブ画像であってもよい。これにより、さらに、前景300に画像が溶け込みやすくなり、仮想現実における画像の違和感を軽減することができる。
また、いくつかの実施形態では、第1誘目画像211は、奥行方向の長さ215が幅方向の長さ216より長いオブジェクトを仮想的に表現した画像であてもよい。これにより、区画線311,312の近傍又は重なる位置に表示される第1誘目画像211が、前景300に溶け込みやすくなり、仮想現実における画像の違和感を軽減することができ、また、視覚的注意が過度に向けられにくくすることもできる。
また、いくつかの実施形態では、第2誘目画像220は、奥行方向の長さ225vが幅方向の長さ226vより短いオブジェクトを仮想的に表現した画像であってもよい。これにより、区画線311,312の近傍又は重なる位置に表示される第1誘目画像211よりも、第2誘目画像220が前景300に溶け込みにくくなり、視覚的注意を第2誘目画像220、及び第2誘目画像220が追従する割り込み実オブジェクト330に向けさせることもできる。
1…自車両、2…フロントウインドシールド、4…運転者、5…ダッシュボード、10…車両用表示システム、11…画像表示部、11a…表示光、13…表示制御装置、14…I/Oインタフェース、16…プロセッサ、18…メモリ、20…画像処理回路、22…メモリ、100…表示領域、200…画像、210…AR画像、211…第1誘目画像、211v…仮想オブジェクト、212…第1誘目画像、213…方向画像、220…第2誘目画像、300…前景、310…実オブジェクト、310…割り込み実オブジェクト、310…走行レーン、311…区画線、312…区画線、320…走行レーン、330…割り込み実オブジェクト、401…車両ECU、403…道路情報データベース、405…自車位置検出部、407…車外センサ、409…視線方向検出部、411…目位置検出部、413…携帯情報端末、420…車外通信接続機器、502…実オブジェクト関連情報検出モジュール、504…割り込み判定モジュール、506…報知必要度判定モジュール、508…画像位置決定モジュール、510…画像サイズ決定モジュール、512…グラフィックモジュール
Claims (9)
- 自車両の運転者から見られる前景に、前記自車両の走行レーン(310)への割り込み実オブジェクト(330)を報知する画像を表示する画像表示部(11)を制御する表示制御装置(13)において、
1つ又はそれ以上のI/Oインタフェース(14)と、
1つ又はそれ以上のプロセッサ(16)と、
メモリ(22)と、
前記メモリ(22)に格納され、前記1つ又はそれ以上のプロセッサ(16)によって実行されるように構成される1つ又はそれ以上のコンピュータ・プログラムと、を備え、
前記1つ又はそれ以上のプロセッサ(16)は、
前記1つ又はそれ以上のI/Oインタフェース(14)から、
前記自車両の前記走行レーン(310)に割り込む前の前記割り込み実オブジェクト(330)に関する情報を取得すると、
少なくとも前記割り込み実オブジェクト(330)に関する情報に基づき決定される、前記自車両の前記走行レーン(310)の左右の区画線(311,312)のいずれかの近傍、又は重なるように運転者に視認される第1表示位置に表示される第1誘目画像(211)と、
前記第1誘目画像(211)と重なって視認されるように前記割り込み実オブジェクト(330)の割り込み方向を示す方向画像(213)と、を表示させ、
前記割り込み実オブジェクト(330)が前記自車両の前記走行レーン(310)に侵入すると、
前記割り込み実オブジェクト(330)の位置に追従して表示位置が変化する第2誘目画像(220)を表示させる、命令を実行する、
表示制御装置。 - 前記1つ又はそれ以上のプロセッサ(16)は、
前記割り込み実オブジェクト(330)が前記自車両の前記走行レーン(310)に侵入すると、
前記方向画像(213)の視認性を低下させる、命令を実行する、
請求項1に記載の表示制御装置。 - 前記1つ又はそれ以上のプロセッサ(16)は、
前記前記割り込み実オブジェクト(330)に関する情報に基づき、割り込みされる可能性が低くなったと判定される場合、
前記方向画像(213)の視認性を低下させる、命令を実行する、
請求項1に記載の表示制御装置。 - 前記第1表示位置は、前記自車両の前記走行レーン(310)の左右の区画線(311,312)のいずれかに重なるように運転者に視認される位置である、
請求項1に記載の表示制御装置。 - 前記第1誘目画像(211)は、前記運転者から見て遠近感のあるパースペクティブ画像である、
請求項1に記載の表示制御装置。 - 前記第1誘目画像(211)は、奥行方向の長さ(215v)が幅方向の長さ(216v)より長いオブジェクトを仮想的に表現した画像である、
請求項5に記載の表示制御装置。 - 前記第2誘目画像(220)は、奥行方向の長さ(225v)が幅方向の長さ(226v)より短いオブジェクトを仮想的に表現した画像である、
請求項5に記載の表示制御装置。 - 自車両の運転者から見て前景に、前記自車両の走行レーン(310)への割り込み実オブジェクト(330)を報知する画像を表示する画像表示部(11)を制御する方法において、
前記割り込み実オブジェクト(330)が前記自車両の前記走行レーン(310)への前記割り込み実オブジェクト(330)に関する情報を取得することと、
少なくとも前記割り込み実オブジェクト(330)に関する情報に基づき決定される第1表示位置に第1誘目画像(211)を表示することと、
前記第1表示位置と重なって視認されるように前記割り込み実オブジェクト(330)の割り込み方向を示す方向画像(213)を表示することと、
前記割り込み実オブジェクト(330)が前記自車両の前記走行レーン(310)に侵入すると、
前記方向画像(213)の視認性を低下させ、かつ、前記第1誘目画像(211)の表示位置を前記割り込み実オブジェクト(330)に追従して変化させることと、を含む、
方法。 - 請求項8に記載の方法を実行するための命令を含む、コンピュータ・プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018242519A JP2020106911A (ja) | 2018-12-26 | 2018-12-26 | 表示制御装置、方法、及びコンピュータ・プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018242519A JP2020106911A (ja) | 2018-12-26 | 2018-12-26 | 表示制御装置、方法、及びコンピュータ・プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020106911A true JP2020106911A (ja) | 2020-07-09 |
Family
ID=71449050
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018242519A Pending JP2020106911A (ja) | 2018-12-26 | 2018-12-26 | 表示制御装置、方法、及びコンピュータ・プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020106911A (ja) |
-
2018
- 2018-12-26 JP JP2018242519A patent/JP2020106911A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11996018B2 (en) | Display control device and display control program product | |
JP6459205B2 (ja) | 車両用表示システム | |
US20220084458A1 (en) | Display control device and non-transitory tangible computer readable storage medium | |
JP2020032866A (ja) | 車両用仮想現実提供装置、方法、及びコンピュータ・プログラム | |
JP6643659B2 (ja) | 表示制御装置、表示制御方法、および表示制御プログラム | |
JP7255608B2 (ja) | 表示制御装置、方法、及びコンピュータ・プログラム | |
WO2022230995A1 (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 | |
JP7459883B2 (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び方法 | |
JP7283448B2 (ja) | 表示制御装置および表示制御プログラム | |
JP2020086884A (ja) | 区画線推定装置、表示制御装置、方法、及びコンピュータ・プログラム | |
JP2020117105A (ja) | 表示制御装置、方法、及びコンピュータ・プログラム | |
JP2019144971A (ja) | 移動体の制御システムおよび制御方法 | |
WO2020158601A1 (ja) | 表示制御装置、方法、及びコンピュータ・プログラム | |
WO2021200914A1 (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び方法 | |
JP2020121607A (ja) | 表示制御装置、方法、及びコンピュータ・プログラム | |
JP2020121704A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラム | |
JP2020106911A (ja) | 表示制御装置、方法、及びコンピュータ・プログラム | |
JP7434894B2 (ja) | 車両用表示装置 | |
JP2020154468A (ja) | 運転支援装置、方法、及びコンピュータ・プログラム | |
JP2020117104A (ja) | 表示制御装置、表示システム、方法、及びコンピュータ・プログラム | |
JP2020199883A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラム | |
WO2021200913A1 (ja) | 表示制御装置、画像表示装置、及び方法 | |
WO2023145852A1 (ja) | 表示制御装置、表示システム、及び表示制御方法 | |
JP2019207632A (ja) | 表示装置 | |
JP2020086882A (ja) | 表示制御装置、方法、及びコンピュータ・プログラム |