JP2020190942A - 表示制御装置 - Google Patents
表示制御装置 Download PDFInfo
- Publication number
- JP2020190942A JP2020190942A JP2019096067A JP2019096067A JP2020190942A JP 2020190942 A JP2020190942 A JP 2020190942A JP 2019096067 A JP2019096067 A JP 2019096067A JP 2019096067 A JP2019096067 A JP 2019096067A JP 2020190942 A JP2020190942 A JP 2020190942A
- Authority
- JP
- Japan
- Prior art keywords
- visibility
- target
- display control
- control device
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 57
- 230000008859 change Effects 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 230000006399 behavior Effects 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000007613 environmental effect Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000008921 facial expression Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 14
- 238000012544 monitoring process Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
【課題】個々のドライバの主観的な視認性に応じて表示態様を変化させる技術を提供する。【解決手段】対象取得部(S110)は、車両のフロントウインドを介してドライバに視認される物標のうち、ヘッドアップディスプレイを用いた重畳表示の対象となる対象物標、および対象物標に対して重畳表示されるコンテンツを取得する。反応取得部(S120)は、視覚的な刺激に対するドライバの反応を表す反応情報を取得する。推定部(S160〜S190)は、反応取得部にて取得された反応情報を少なくとも用いて、対象物標毎に、視認度を推定する。変更部(S200,S210)は、推定部にて推定された視認度に従って、対象物標毎に、コンテンツの表示態様を変化させる。【選択図】図2
Description
本開示は、表示制御装置に関する。
下記特許文献1には、可視光カメラで撮像された映像のコントラスト、車外の明るさ、および車両の周囲状況(例えば、霧や雨天等)などから視認性の良否を推定し、推定結果に応じてヘッドアップディスプレイ(以下、HUD)での表示態様を変更する技術が記載されている。
しかしながら、発明者の詳細な検討の結果、特許文献1に記載の従来技術では、ドライバの外部に存在する客観的な要因によって視認性を推定するため、ドライバが実際に感じる視認性とは必ずしも一致せず、適切な表示が困難であるという課題が見出された。
すなわち、ドライバが実際に感じる視認性の良否は、前述の客観的な要因によって左右されるだけでなく、ドライバの性別および年齢等によっても異なり、更には、同じ性別および同じ年齢であっても個人差が大きい。従って、客観的な要因だけで視認性を判定した場合、視認性の個人差に適応できず、ドライバにとって煩わしい表示になったり、逆に、重要な情報をドライバが認識できない表示になったりしていた。
本開示の1つの局面は、個々のドライバの主観的な視認性に応じて表示態様を変化させる技術を提供することにある。
本開示の一態様は、表示制御装置であって、対象取得部(S110)と、反応取得部(S120)と、推定部(S160〜S190)と、変更部(S200,S210)と、を備える。対象取得部は、車両のフロントウインドを介してドライバに視認される物標のうち、ヘッドアップディスプレイを用いた重畳表示の対象となる対象物標、および対象物標に対して重畳表示されるコンテンツを取得するように構成される。反応取得部は、視覚的な刺激に対するドライバの反応を表す反応情報を取得するように構成される。推定部は、反応取得部にて取得された反応情報を少なくとも用いて、対象物標毎に、ドライバによる対象物標の視認し易さの指標である視認度を推定するように構成される。変更部は、推定部にて推定された視認度に従って、対象物標毎に、コンテンツの表示態様を変化させるように構成される。
このような構成によれば、ドライバの反応からドライバの主観的な視認性を推定できるため、ヘッドアップディスプレイを用いた重畳表示を、個々のドライバに適した表示態様に変化させることができる。その結果、過剰な表示によってドライバを煩わせたり、不十分な表示によってドライバが認識できなかったりするような事態の発生を抑制できる。
以下、図面を参照しながら、本開示の実施形態を説明する。
[1.第1実施形態]
[1−1.構成]
図1に示す情報表示システム1は、車両に搭載して使用される。以下、情報表示システム1を搭載する車両を自車という。情報表示システム1は、ドライバ席前方に位置するウインドシールドまたはコンバイナ(以下、コンバイナ等)に、画像を投影することで、コンバイナ等を通してドライバに視認される実風景に重ねて、様々な情報を表示する。このような実風景に重畳して表示される画像をAR画像という。ARは、Augmented Realityの略である。
[1.第1実施形態]
[1−1.構成]
図1に示す情報表示システム1は、車両に搭載して使用される。以下、情報表示システム1を搭載する車両を自車という。情報表示システム1は、ドライバ席前方に位置するウインドシールドまたはコンバイナ(以下、コンバイナ等)に、画像を投影することで、コンバイナ等を通してドライバに視認される実風景に重ねて、様々な情報を表示する。このような実風景に重畳して表示される画像をAR画像という。ARは、Augmented Realityの略である。
情報表示システム1は、表示制御装置10を備える。情報表示システム1は、周辺監視部2と、挙動検知部3と、状態検知部4と、地図記憶部5と、測位部6と、ナビゲーション装置7と、HUD表示部8とを備えてもよい。HUDは、Head Up Displayの略である。これら情報表示システム1を構成する各部は、車載LANを介して情報を送受信してもよい。LANは、Local Area Networkの略である。
周辺監視部2は、レーダセンサおよびカメラのうち少なくとも一方を備える。レーダセンサは、赤外線、ミリ波、超音波などをレーダ波として使用し、レーダ波を反射した物標との距離や、その物標が存在する方向等を検出する。カメラは、可視光カメラや赤外線カメラ等が用いられる。カメラは、コンバイナ等を通してドライバによって視認される領域(以下、視認領域)を撮像範囲として含むように配置される。レーダセンサは、カメラと同様に、視認領域を検知範囲として含むように配置される。
周辺監視部2は、自車の走行路上に存在する物標をレーダセンサおよびカメラで検知し、検知した物標の位置を含む物標情報等を生成する。周辺監視部2の検出対象には、例えば、先進運転支援システム(すなわち、ADAS:Advanced Driver Assistance System)での処理の対象となる種々の物標が含まれる。なお、周辺監視部2は、後述する地図記憶部5に記憶された地図情報に基づいて、物標の位置を含む物標情報を生成してもよい。
周辺監視部2は、更に、自車に搭載された照度センサからの検出信号、前照灯の点灯状態、ワイパーの作動状態、現在時刻など、天候や周囲の明るさ等、自車の走行環境を検出、推定するのに必要な環境情報を収集するように構成されてもよい。
挙動検知部3は、自車の挙動を表す信号を出力する種々のセンサを含む。例えば、車速センサ、加速度センサ、ヨーレートセンサ、および舵角センサ等が含まれてもよい。
状態検知部4は、車内カメラにより撮像されたドライバの顔画像から、顔位置、顔向き、および視線方向といったドライバの状態を検知する装置であり、いわゆるドライバ状況モニタリングシステム(すなわち、DSM:Driver Status Monitoring system)として知られている。また、状態検知部4は、視線方向と対応づけて、ドライバの表情や仕草を検出する。以下では、視認性が悪いときに表れるドライバの表情(例えば、目をしかめる)や行動(例えば、前へ乗り出す)を、視認難反応という。
状態検知部4は、車内カメラにより撮像されたドライバの顔画像から、顔位置、顔向き、および視線方向といったドライバの状態を検知する装置であり、いわゆるドライバ状況モニタリングシステム(すなわち、DSM:Driver Status Monitoring system)として知られている。また、状態検知部4は、視線方向と対応づけて、ドライバの表情や仕草を検出する。以下では、視認性が悪いときに表れるドライバの表情(例えば、目をしかめる)や行動(例えば、前へ乗り出す)を、視認難反応という。
地図記憶部5には、地図情報およびAR情報等が記憶される。地図情報は、ナビゲーション装置7による経路案内や実風景にAR画像を重畳表示させるために用いられる。地図情報には、道路に関する情報、白線等の区画線および道路標示に関する情報、構造物に関する情報が含まれる。道路に関する情報には、例えば地点別の位置情報、カーブ曲率や勾配、他の道路との接続関係といった形状情報が含まれる。区画線および道路標示に関する情報には、例えば、区画線および道路標示の種別情報、位置情報、および3次元形状情報が含まれる。構造物に関する情報には、例えば各構造物の種別情報、位置情報、および計上情報が含まれる。ここで構造物には、道路標識、信号機、街灯、トンネル、陸橋、および道路に面する建物等が含まれる。地図情報は、上述の各種位置情報および形状情報を、3次元座標により表される特徴点の点群データやベクトルデータ等の形式で有する。すなわち地図情報は、位置情報に関して経緯度に加えて高度を含んだ3次元地図であるということもできる。地図情報は、これらの位置情報を比較的小さい(例えば、センチメートルオーダの)誤差で有している。地図情報は、高さ情報まで含んだ3次元座標による位置情報を有しているという点で精度の高い地図データであり、また、その位置情報の誤差が比較的小さいという点でも精度の高い地図データである。AR情報は、AR画像の表示に用いられるデータであり、背景に重畳して表示する記号、文字、およびアイコン等が含まれる。ここでは、AR画像として表示される表示対象物として、道路標識を表すアイコン、および路面標示の輪郭等が少なくとも含まれる。なお、AR情報がコンテンツに相当する。
測位部6は、自車の現在位置を特定するための位置情報を生成する装置である。測位部6は、例えばGNSS受信機と、ジャイロスコープおよび距離センサ等の自律航法用のセンサとを備える。GNSSは、Global Navigation Satellite Systemの略称である。GNSS受信機は、人工衛星からの送信信号を受信し、車両の位置座標や高度を検出する。ジャイロスコープは、車両に加えられる回転運動の角速度に応じた検出信号を出力する。距離センサは、車両の走行距離を出力する。測位部6は、これらの機器からの出力信号に基づき、自車の現在位置を算出する。
ナビゲーション装置7は、自車の現在位置と地図データとに基づいて経路案内を実施する。ナビゲーション装置7は、測位部6での測位結果と、地図データを利用したマップマッチングにより、道路上における自車両の現在位置や進行方位を特定する。ナビゲーション装置7は、自車の現在位置および進行方位、現在の視覚領域内に存在する道路や施設に関する地図情報およびAR情報等を表示制御装置10に提供する。
HUD表示部8は、コンバイナ等9に映像を投射することで、ドライバの視界領域における実風景に重畳してAR画像を表示する。ここでの視界領域とは、HUD表示部8によって画像が投影されるコンバイナ等9上の範囲を通して、ドライバに視認される領域のことをいう。なお、コンバイナ等9により投影される画像は、ドライバからは虚像として認識される。
表示制御装置10は、CPU11と、例えば、ROMまたはRAM等の半導体メモリ(以下、単にメモリ12)とを有するマイクロコンピュータを備える。表示制御装置10の各機能は、CPU11が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。表示制御装置10は、HCUとも呼ばれる。HCUは、HMI Control Unitの略であり、HMIは、Human Machine Interfaceの略である。
メモリ12には、表示制御装置10への電力供給が停止した場合でも記憶内容が保持される不揮発性のメモリが含まれる。この不揮発性のメモリには、ドライバの視認度を推定する際に使用される視認度推定テーブル、およびAR画像による表示の拡大率を算出する際に使用される拡大率変換テーブルが少なくとも記憶される。なお、視認度推定テーブルが記憶されたメモリ12がテーブル記憶部に相当する。
表示制御装置10は、メモリ12に記憶されたプログラムを実行することで実現される機能構成として、候補抽出部101と、情報生成部102と、表示制御部103とを備える。
候補抽出部101は、周辺監視部2からの物標情報、および測位部6での測位結果に基づき、AR画像による情報提供の対象となる視界領域内の物標を対象物標として抽出する。対象物標には、路上に存在する他車両、歩行者、自転車、および落下物等の障害物、路側に設置された道路標識、路面に描かれた路面標示などが含まれる。また、候補抽出部101は、抽出された対象物標のそれぞれについて、HUD表示部8に表示させるコンテンツとなるAR画像を、ナビゲーション装置7から取得する。AR画像は、具体的には、障害物の位置を表すマークまたは枠表示、道路標識の形や内容を示すピクトグラム、および路面標示の輪郭等が含まれる。なお、ドライバの視線方向および自車の車速に応じて、対象物標を抽出する範囲を適宜変更してもよい。
情報生成部102は、状態検知部4での検知結果に従って、候補抽出部101で抽出された対象物標毎に、視覚的な刺激に対するドライバの反応を表す反応情報を生成する。情報生成部102は、具体的には、対象物標毎に、その対象物標が候補抽出部101にて最初に抽出されてから現在に到るまでに、ドライバによって注視された時間の累積値である視線滞留時間を計測する。また、情報生成部102は、ドライバの表情や行動から視認難反応が検出されたか否かを判定する。そして、情報生成部102は、対象物標と視線滞留時間と視認難反応の有無とを対応づけた反応情報を生成する。
表示制御部103は、候補抽出部101で抽出された対象物標を、情報生成部102で生成された反応情報、および対象物標までの距離や到達時間に従って、ドライバによる視認のし易さを表す指標である視認度を対象物標毎に算出する。更に、表示制御部103は、算出された視認度に応じた表示態様にて、対象物標に対応づけられたAR画像をHUD表示部8に表示させる。
[1−2.処理]
次に、表示制御装置10の表示制御部103が実行する表示制御処理を、図2のフローチャートを用いて説明する。表示制御処理は、予め設定された周期で繰り返し実行される。
次に、表示制御装置10の表示制御部103が実行する表示制御処理を、図2のフローチャートを用いて説明する。表示制御処理は、予め設定された周期で繰り返し実行される。
S110では、表示制御装置10は、候補抽出部101で抽出された対象物標のそれぞれについて、HUD表示部8に表示させるコンテンツとなるAR画像を取得する。AR画像は、対象物標の種類ごとに決められていてもよい。例えば、障害物の場合は、障害物の位置を表すマークまたは枠表示、道路標識の場合は、道路標識の形や内容を示すピクトグラム、および路面標示の場合は、路面標示の輪郭等が用いられる。
続くS120では、表示制御装置10は、情報生成部102から反応情報を取得する。
続くS130では、表示制御装置10は、挙動検知部3からの自車の挙動を取得する。ここでは、自車の速度、操舵角等を取得する。
続くS130では、表示制御装置10は、挙動検知部3からの自車の挙動を取得する。ここでは、自車の速度、操舵角等を取得する。
続くS140では、表示制御装置10は、周辺監視部2等から、走行環境を表す環境情報を取得する。環境情報には、天気、時間、および現在位置等が含まれる。
続くS150では、表示制御装置10は、S140にて取得した環境情報、すなわち、ドライバとは直接関係しない客観的な外部要因に基づいて、メモリ12に記憶された視認度推定テーブルを選択する。視認度推定テーブルは、図3に示すように、視線滞留時間と視認度との対応関係を示すグラフである。視認度推定テーブルは、視線滞留時間がある境界値以上では、視認度が100%となり、境界値未満では、視線滞留時間が長くなるほど視認度が高くなる傾向を有する。そして、天候や周囲の明るさに応じて、複数種類の視認度推定テーブルが用意され、天候が悪いほど、また周囲が暗いほど、境界値が視線滞留時間の長い側にシフトしたグラフとなる。
続くS150では、表示制御装置10は、S140にて取得した環境情報、すなわち、ドライバとは直接関係しない客観的な外部要因に基づいて、メモリ12に記憶された視認度推定テーブルを選択する。視認度推定テーブルは、図3に示すように、視線滞留時間と視認度との対応関係を示すグラフである。視認度推定テーブルは、視線滞留時間がある境界値以上では、視認度が100%となり、境界値未満では、視線滞留時間が長くなるほど視認度が高くなる傾向を有する。そして、天候や周囲の明るさに応じて、複数種類の視認度推定テーブルが用意され、天候が悪いほど、また周囲が暗いほど、境界値が視線滞留時間の長い側にシフトしたグラフとなる。
続くS160では、表示制御装置10は、S110で取得された対象物標のうち、以下のS170〜S210の処理が未だ実行されていない対象物標の一つを選択物標として選択する。
続くS170では、表示制御装置10は、S150で選択された視認度推定テーブルを用い、S120で取得された選択物標に関する反応情報のうち視線滞留時間に基づいて、視認度を推定する。ここで推定された視認度がベース視認度に相当する。また視線滞留時間が第1反応情報に相当する。
続くS180では、表示制御装置10は、選択物標に関する反応情報のうち視認難反応の有無に基づき、視認難反応が検出されている場合は、S170で算出された視認度の値を低下させる補正を行う。このときの補正量は、一定値であってもよいし、視認難反応にレベルを設けてレベル毎に異なる補正量を適用してもよい。視認難反応の有無を表す情報が第2反応情報に相当する。
続くS190では、表示制御装置10は、自車挙動による視認度の補正を実行する。例えば、選択物標を避ける自車挙動が検出された場合は、S170、S180にて算出,補正された視認度の値を増大させる補正を行う。逆に、選択物標に向かう自車挙動が検出された場合は、視認度の値を低下させる補正を行う。
続くS200では、表示制御装置10は、S170〜S190の処理で算出された視認度から表示態様を設定する。表示態様の設定には、図4に示すような、視認度と表示態様との関係を示す対応表が用いられる。
具体的には、視認度が80〜100%(以下、高視認度)の場合は、通常表示を行う。例えば、障害物の通常表示には、その障害物の位置を示すマークまたは枠が用いられる。また、道路標識の通常表示には、視認されている実物と同じ大きさのアイコンが用いられる。
視認度が30〜80%(以下、中視認度)の場合、および視認度が0〜30%(以下、低視認度)の場合は、アイコンの拡大表示および障害物の位置を示すマークや枠の強調表示を行う。強調表示では、マークまたは枠の色を通常表示より認識し易い色に変更する。但し、中視認度と低視認度とでは異なる色を用い、低視認度の方がより認識し易い色となるように設定される。また、色を変化させるだけでなく、例えば、表示を点滅させてもよい。
続くS210では、表示制御装置10は、アイコンの拡大率を設定する。なお、高視認度の場合、拡大率は1に設定され、すなわち拡大なしに設定される。中視認度および低視認度の場合は、図5に示す、拡大率設定テーブルを用いて拡大率が設定される。拡大率設定テーブルは、選択物標までの距離または到達時間が小さいほど、また、視認度が低いほど拡大率が大きくなる特性を有する。但し、拡大率設定テーブルの距離または到達時間の小さいエリアには、不感帯が設けられ、予め設定された下限値未満の距離または到達時間の場合に、拡大率が1となり、下限値以上の距離または到達時間の場合に拡大率が1より大きくなる特性を有する。
なお、拡大率設定テーブルを用いて拡大率を設定する際に、自車速が予め設定された境界速度より低い低速時には、選択物標までの距離が用いられ、自車速が境界速度以上である高速時には、選択物標までの到達時間が用いられる。
続くS220では、表示制御装置10は、全ての対象物標について、S170〜S210処理が実施済みであるか否かを判定し、未処理の対象物標が存在すれば処理をS160に戻し、全ての対象物標について処理済みであれば、処理をS230に移行する。
S230では、表示制御装置10は、全ての対象物標について、S200にて設定された表示態様、およびS210にて設定された拡大率を適用したAR画像の表示に必要な演算を実行し、演算結果に従った指示をHUD表示部8に出力して、処理を終了する。
この演算では、自車両と対象物との距離や相対方位、ドライバの顔位置や顔向き等に基づいて、対象物標が実際にドライバに視認される位置の近傍、または視認される位置に重畳してAR画像が映し出されるように、AR画像の表示位置を演算する。HUD表示部8は、表示制御装置10からの指示に従って、コンバイナ等9に投影する画像を生成する。
表示制御処理において、S110が状態取得部に相当し、S120が反応取得部に相当し、S130が挙動取得部に相当し、S140が環境取得部に相当し、S160〜S190が推定部に相当し、S200〜S210が変更部に相当する。また、S170がベース算出部に相当し、S180〜S190が補正部に相当する。
[1−3.動作例]
情報表示システム1の動作例について説明する。
ここでは、図6に示す状況で、対向車T1、速度標識T2、歩行者T3、自転車T4、一時停止標識T5がAR表示の対象となる対象物標として検出された場合を想定する。
情報表示システム1の動作例について説明する。
ここでは、図6に示す状況で、対向車T1、速度標識T2、歩行者T3、自転車T4、一時停止標識T5がAR表示の対象となる対象物標として検出された場合を想定する。
図7〜図10において、上段の図は、AR表示のない場合にドライバに視認される状況を示し、下段の図は、AR表示が行われた場合にドライバに視認される状況を示す。
図7の上段に示す状況で、対象物標T1〜T5の視認度が以下のように算出されたとする。
図7の上段に示す状況で、対象物標T1〜T5の視認度が以下のように算出されたとする。
対向車T1は、視線滞留時間が0.3sであり、対向車T1に関わる自車挙動として左幅寄せ挙動が検出される。その結果、視認度は、視線滞留時間の割には高目の100%(すなわち、高視認度)と算出される。
速度標識T2は、視線滞留時間が0.3sであり、速度標識T2に関わる劣視認反応も自車挙動も検出されない。その結果、視認度は、視線滞留時間に応じて50%(すなわち、中視認度)と算出される。
歩行者T3は、視線滞留時間が1sであり、歩行者T3に関わる視認難反応も自車挙動も検出されない。その結果、視認度は、視線滞留時間に応じて100%(すなわち、高視認度)と算出される。
自転車T4は、総滞留時間が1sであり、自転車T4に関わる視認難反応が検出される。その結果、視認度は、滞留時間の割には低目の35%(すなわち、中視認度)と算出される。
一時停止標識T5は、視線滞留時間が0sであり、当然、一時停止標識T5に関わる視認難反応も自車挙動も検出されない。その結果、視認度は、視線滞留時間に応じて0%(すなわち、低視認度)と算出される。
このような視認度の算出結果に従って、図7の下段に示すように、中視認度の速度標識T2および低視認度の一時停止標識T5については、距離または到達時間に応じた拡大率で拡大されたアイコンが、実際の位置に重畳して表示される。但し、速度標識T2は、一時停止標識T5よりも近くに位置するため、より大きな拡大率で表示される。
中視認度の自転車T4は、存在位置を囲う枠線によって強調表示される。
高視認度の対向車T1および歩行者T3は、通常表示が行われる。通常表示では、物標存在位置を表す矩形状のマークが、その物標の下端部付近に重畳して表示される。
高視認度の対向車T1および歩行者T3は、通常表示が行われる。通常表示では、物標存在位置を表す矩形状のマークが、その物標の下端部付近に重畳して表示される。
図8は、図7に示した状況の後、自車が前進し、対向車T1とすれ違った後の状況を示す。
速度標識T2は、視線滞留時間が0.6sであり、速度標識T2に関わる自車挙動として減速挙動が検出される。その結果、視認度は、視線滞留時間の割には高目の100%(すなわち、高視認度)と算出される。
速度標識T2は、視線滞留時間が0.6sであり、速度標識T2に関わる自車挙動として減速挙動が検出される。その結果、視認度は、視線滞留時間の割には高目の100%(すなわち、高視認度)と算出される。
歩行者T3は、視線滞留時間が3sであり、歩行者T3に関わる視認難反応も自車挙動も検出されない。その結果、視認度は、視線滞留時間に応じて100%(すなわち、高視認度)と算出される。
自転車T4は、総滞留時間が1.5sであり、自転車T4に関わる視認難反応も自車挙動も検出されない。その結果、視認度は、視線滞留時間に応じて82%(すなわち、高視認度)と算出される。
一時停止標識T5は、視線滞留時間が1sであり、一時停止標識T5に対する視認難反応が検出される。その結果、視認度は、視線滞留時間の割には低目の30%(すなわち、低視認度)と算出される。
このような視認度の算出結果に従って、図8の下段に示すように、低視認度の一時停止標識T5については、前回と同様に、距離または到達時間に応じた拡大率で拡大されたアイコンが、実際の位置に重畳して表示される。但し、一時停止標識T5までの位置が前回より接近しているため、より拡大率の大きい表示が行われる。
高視認度の速度標識T2、歩行者T3、および自転車T4は、通常表示が行われる。つまり、速度標識T2は、拡大表示から拡大のない表示に切り替わり、自転車T4は、強調枠の表示から歩行者T3と同様の存在位置を表す矩形状のマークの表示に切り替わる。
図9は、図8に示した状況の後、自車が前進し、速度標識T2を通過し、更に、歩行者T3ともすれ違った後の状況を示す。
自転車T4は、総滞留時間が1.7sであり、自転車T4に関わる自車挙動として右回避挙動が検出される。その結果、視認度は、視線滞留時間の割には高めの100%(すなわち、高視認度)と算出される。
自転車T4は、総滞留時間が1.7sであり、自転車T4に関わる自車挙動として右回避挙動が検出される。その結果、視認度は、視線滞留時間の割には高めの100%(すなわち、高視認度)と算出される。
一時停止標識T5は、視線滞留時間が1.5sであり、一時停止標識T5に関する視認難反応も自車挙動も検出されない。その結果、視認度は、視線滞留時間に応じた50%(すなわち、中視認度)と算出される。
このような視認度の算出結果に従って、図9の下段に示すように、中視認度の一時停止標識T5については、前回と同様に、距離または到達時間に応じた拡大率で拡大されたアイコンが、実際の位置に重畳して表示される。
高視認度の自転車T4は、引き続き、通常表示が行われる。
図10は、図9に示した状況の後、自車が前進し、自転車T4を追い抜いた後の状況を示す。
図10は、図9に示した状況の後、自車が前進し、自転車T4を追い抜いた後の状況を示す。
一時停止標識T5は、視線滞留時間が1.8sであり、一時停止標識T5に関する自車挙動として減速挙動が検出される。その結果、視認度は、視線滞留時間の割には高目の100%(すなわち、高視認度)と算出される。
このような視認度の算出結果に従って、図10の下段に示すように、高視認度の一時停止標識T5は、拡大表示から拡大のない通常表示に切り替わる。
[1−3.効果]
以上詳述した第1実施形態によれば、以下の効果を奏する。
[1−3.効果]
以上詳述した第1実施形態によれば、以下の効果を奏する。
(1a)情報表示システム1では、視覚的な刺激に対するドライバの反応を表す反応情報を用いて、ドライバの視認性を推定し、ドライバに認識させる必要がある対象物標に関するAR画像の表示態様を変化させる。そして、反応情報としては、視線滞留時間と視認難反応の有無とを用い、視線滞留時間が長いほど視認度が高いと推定すると共に、視認難反応が検出された場合には、視認度を低下させる。従って、情報表示システム1によれば、視認性の個人差に適応した態様でAR表示が行われるため、過度な表示によってドライバを煩わせたり、不十分な表示によって重要な情報をドライバが認識できなかったりすることを抑制できる。
(1b)情報表示システム1では、自車の挙動として対象物標を避ける挙動が検出された場合、その対象物標の視認度が高く設定される。従って、情報表示システム1によれば、ドライバが認識済みの物標に対する過度な表示を更に抑制できる。
(1c)情報表示システム1では、中視認度および低視認度の対象物標については、AR画像の強調表示または拡大表示を行っているため、これらの対象物標の視認性を高めることができる。特に、強調表示については視認度が低いほどより強調されるため、ドライバにとって見にくい対象物標ほど視認性を高めることができる。また、拡大表示については、距離または到達時間が短いほど拡大率が大きくなるため、緊急性の高い対象物標ほど、視認性を高めることができる。
[2.第2実施形態]
[2−1.第1実施形態との相違点]
第2実施形態は、基本的な構成は第1実施形態と同様であるため、相違点について以下に説明する。なお、第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
[2−1.第1実施形態との相違点]
第2実施形態は、基本的な構成は第1実施形態と同様であるため、相違点について以下に説明する。なお、第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
前述した第1実施形態では、視認度の算出に、視線滞留時間と視認度との関係を表す、予め用意された視認度算出テーブルを用いる。これに対し、第2実施形態では、予め用意された視認度算出テーブルを基準テーブルとして、基準テーブルに対する視認度の個人差を学習する。そして、学習によって得られた個人差データを用いて、基準テーブルを補正した個別テーブルを生成し、視認度の算出に、学習によって得られた個別テーブルを用いる点で、第1実施形態と相違する。
[2−2.処理]
次に、第2実施形態の表示制御装置10が、図2に示した第1実施形態の表示制御処理に代えて実行する表示制御処理について、図11のフローチャートを用いて説明する。なお、S185が追加されている点、およびS150で選択されるテーブルが個別テーブルである点以外は、第1実施形態と同様である。
次に、第2実施形態の表示制御装置10が、図2に示した第1実施形態の表示制御処理に代えて実行する表示制御処理について、図11のフローチャートを用いて説明する。なお、S185が追加されている点、およびS150で選択されるテーブルが個別テーブルである点以外は、第1実施形態と同様である。
メモリ12には、環境情報に応じて複数用意された視認度算出テーブル(すなわち、基準テーブル)に対応づけて、基準テーブルを補正することで生成される個人テーブルが記憶される。そして、S150では、表示制御装置10は、環境情報に応じて個人テーブルを選択する。
表示制御装置10は、S180に続くS185では、S180にて視認難反応の有無により補正された視認度について、S150にて選択された個人テーブルに対応付けられた基準テーブルからの逸脱量を学習し、学習内容に応じて個人テーブルを更新する。個人テーブルの更新は、必ずしも毎回実行する必要はなく、学習データが所定個以上蓄積された場合、または、一定期間が経過した場合に実行してもよい。また、学習の対象として、基準テーブルからの逸脱量の代わりに個人テーブルからの逸脱量を用いてもよい。
本実施形態の表示制御処理において、S185が学習部に相当する。
[2−3.効果]
以上詳述した第2実施形態によれば、前述した第1実施形態の効果(1a)を奏し、さらに、以下の効果を奏する。
[2−3.効果]
以上詳述した第2実施形態によれば、前述した第1実施形態の効果(1a)を奏し、さらに、以下の効果を奏する。
(2a)第2実施形態では、個人差を学習することで得られた個人テーブルを用いて視認度を推定するため、ドライバの反応に応じて個人に適したAR画像に修正されるのではなく、最初から個人に適合したAR画像が表示され易くなる。その結果、ドライバが視認難反応を示す頻度が抑制され、表示によってドライバに煩わしさを感じさせることを、より一層抑制できる。
[3.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は前述施形態に限定されることなく、種々変形して実施することができる。
以上、本開示の実施形態について説明したが、本開示は前述施形態に限定されることなく、種々変形して実施することができる。
(3a)上記実施形態では、強調表示として、対象物標の位置を表すマークまたは枠の色を目立つ色にする態様を例示したが、例えば、マークまたは枠を点滅させたり、画像の輝度を高くしたりしてもよい。
(3b)上記実施形態では、ドライバの反応を考慮して設定された視認度に応じてAR画像の表示態様を決定しているが、ドライバが対象物標を認識したと推定されるときは、その対象物標に関するAR画像の表示を停止してもよい。対象物標を認識したか否かの推定は、例えば、認識度が所定の閾値以上である状態が所定期間継続した場合等が考えられる。
(3c)上記実施形態では、AR画像を表示する対象物標が抽出される視認領域が一定である場合について説明したが、視認領域は、例えば、車速に応じて車速が大きいほど広がるように可変設定してもよい。これにより、例えば、一時停止の標識等を、車速が大きいほど、ドライバに早目に認識させて減速を促すことができ、急ブレーキや急ハンドル等が抑制されたスムーズな運転のための支援を実現できる。
(3d)上記実施形態では対象物標に関する表示をHUD表示部8に行わせているが、表示していた対象物標が、HUD表示部8の表示エリア外に移ったときに、その表示エリア外の対象物標に関する情報を、CID等の他の車載ディスプレイに表示してもよい。CIDは、Center Information Displayの略である。
(3e)上記実施形態では、視認度設定テーブルは、周囲環境によって選択されるが、例えば、年齢や個人特定情報によって選択されてもよい。
(3f)本開示に記載の表示制御装置10およびその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の表示制御装置10およびその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の表示制御装置10およびその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。表示制御装置10に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。
(3f)本開示に記載の表示制御装置10およびその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の表示制御装置10およびその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の表示制御装置10およびその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。表示制御装置10に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。
(3g)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加または置換してもよい。
(3h)前述した表示制御装置の他、当該表示制御装置を構成要素とするシステム、当該表示制御装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、表示制御方法など、種々の形態で本開示を実現することもできる。
1…情報表示システム、2…周辺監視部、3…挙動検知部、4…状態検知部、5…地図記憶部、6…測位部、7…ナビゲーション装置、8…HUD表示部、9…コンバイナ等、10…表示制御装置、11…CPU、12…メモリ、101…候補抽出部、102…情報生成部、103…表示制御部、T1…対向車、T2…速度標識、T3…歩行者、T4…自転車、T5…一時停止標識。
Claims (10)
- 車両のフロントウインドを介してドライバに視認される物標のうち、ヘッドアップディスプレイを用いた重畳表示の対象となる対象物標、および前記対象物標に対して重畳表示されるコンテンツを取得するように構成された対象取得部(10:S110)と、
視覚的な刺激に対する前記ドライバの反応を表す反応情報を取得するように構成された反応取得部(10:S120)と、
前記反応取得部にて取得された前記反応情報を少なくとも用いて、前記対象物標毎に、前記ドライバによる前記対象物標の視認し易さの指標である視認度を推定するように構成された推定部(10:S160〜S190)と、
前記推定部にて推定された前記視認度に従って、前記対象物標毎に、前記コンテンツの表示態様を変化させるように構成された変更部(10:S200,S210)と、
を備える表示制御装置。 - 請求項1に記載の表示制御装置であって、
前記反応情報には、視認性が低いときに前記ドライバに表れる表情または行動である視認難反応が検出されたか否かを表す情報が少なくとも含まれ、
前記推定部は、前記視認難反応が検出された場合に前記視認度を低下させるように構成された
表示制御装置。 - 請求項1または請求項2に記載の表示制御装置であって、
前記反応情報には、前記対象物標毎に算出される視線滞留時間が少なくとも含まれ、
前記推定部は、前記視線滞留時間が長い前記対象物標ほど、前記視認度を増大させるように構成された
表示制御装置。 - 請求項1から請求項3までのいずれか1項に記載の表示制御装置であって、
前記車両の周囲の環境を表す環境情報を取得するように構成された環境取得部(S140)を更に備え、
前記推定部は、前記反応情報に加えて、前記環境情報にて取得された前記環境情報に応じて前記視認度を変化させるように構成された
表示制御装置。 - 請求項1から請求項4までのいずれか1項に記載の表示制御装置であって、
前記車両の挙動を表す挙動情報を取得するように構成された挙動取得部(S130)を更に備え、
前記推定部は、前記対象物標を避ける挙動が検出された場合に、前記対象物標の前記視認度を増大させるように構成された
表示制御装置。 - 請求項1から請求項5までのいずれか1項に記載の表示制御装置であって、
前記変更部は、前記推定部にて推定された前記視認度に応じて、前記対象物標に重畳表示する前記コンテンツの拡大率を変化させるように構成された
表示制御装置。 - 請求項1から請求項6までのいずれか1項に記載の表示制御装置であって、
前記変更部は、前記対象物標までの距離または到達時間が短いほど、前記対象物標に重畳表示する前記コンテンツの拡大率を大きくするように構成された
表示制御装置。 - 請求項7に記載の表示制御装置であって、
前記変更部は、前記対象物標までの距離または到達時間が予め設定された下限値以上である場合に、前記コンテンツの拡大率を変化させるように構成された
表示制御装置。 - 請求項1から請求項8までのいずれか1項に記載の表示制御装置であって、
前記推定部は、
前記反応情報の一つである第1反応情報と前記視認度との対応関係を示す視認度推定テーブルが記憶されるテーブル記憶部と、
前記反応取得部にて取得された前記第1反応情報および前記テーブル記憶部に記憶された前記視認度推定テーブルを用いて、ベース視認度を算出するように構成されたベース算出部(S170)と、
前記ベース算出部にて算出された前記ベース視認度を、前記反応情報の一つである第2反応情報に応じて補正することで前記視認度を算出するように構成された補正部(S180,S190)と、
を備える表示制御装置。 - 請求項9に記載の表示制御装置であって、
前記テーブル記憶部に記憶された前記視認度推定テーブルに対する前記推定部にて推定された前記視認度の逸脱量を学習し、学習された前記逸脱量を用いて前記視認度推定テーブルを更新するように構成された学習部(S185)と、
を更に備え、
前記ベース算出部は、前記学習部にて更新された前記視認度推定テーブルを用いて前記ベース視認度を算出するように構成された
表示制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019096067A JP2020190942A (ja) | 2019-05-22 | 2019-05-22 | 表示制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019096067A JP2020190942A (ja) | 2019-05-22 | 2019-05-22 | 表示制御装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020190942A true JP2020190942A (ja) | 2020-11-26 |
Family
ID=73453743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019096067A Pending JP2020190942A (ja) | 2019-05-22 | 2019-05-22 | 表示制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020190942A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023188904A1 (ja) * | 2022-03-29 | 2023-10-05 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07223488A (ja) * | 1994-02-14 | 1995-08-22 | Mitsubishi Motors Corp | 車両用周囲情報表示装置 |
JP2007257286A (ja) * | 2006-03-23 | 2007-10-04 | Denso Corp | 車両用表示システム |
JP2009043003A (ja) * | 2007-08-08 | 2009-02-26 | Denso Corp | 運転支援装置 |
JPWO2008029802A1 (ja) * | 2006-09-04 | 2010-01-21 | パナソニック株式会社 | 走行情報提供装置 |
JP2014211787A (ja) * | 2013-04-19 | 2014-11-13 | 本田技研工業株式会社 | 情報提供装置 |
JP2018097541A (ja) * | 2016-12-12 | 2018-06-21 | 三菱自動車工業株式会社 | 運転支援装置 |
JP2018151903A (ja) * | 2017-03-14 | 2018-09-27 | アイシン・エィ・ダブリュ株式会社 | 虚像表示装置及びコンピュータプログラム |
JP2019028534A (ja) * | 2017-07-26 | 2019-02-21 | 日本精機株式会社 | 車両用表示装置 |
JP2020166542A (ja) * | 2019-03-29 | 2020-10-08 | パナソニックIpマネジメント株式会社 | 運転支援装置、運転支援方法、運転支援プログラム及び車両 |
-
2019
- 2019-05-22 JP JP2019096067A patent/JP2020190942A/ja active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07223488A (ja) * | 1994-02-14 | 1995-08-22 | Mitsubishi Motors Corp | 車両用周囲情報表示装置 |
JP2007257286A (ja) * | 2006-03-23 | 2007-10-04 | Denso Corp | 車両用表示システム |
JPWO2008029802A1 (ja) * | 2006-09-04 | 2010-01-21 | パナソニック株式会社 | 走行情報提供装置 |
JP2009043003A (ja) * | 2007-08-08 | 2009-02-26 | Denso Corp | 運転支援装置 |
JP2014211787A (ja) * | 2013-04-19 | 2014-11-13 | 本田技研工業株式会社 | 情報提供装置 |
JP2018097541A (ja) * | 2016-12-12 | 2018-06-21 | 三菱自動車工業株式会社 | 運転支援装置 |
JP2018151903A (ja) * | 2017-03-14 | 2018-09-27 | アイシン・エィ・ダブリュ株式会社 | 虚像表示装置及びコンピュータプログラム |
JP2019028534A (ja) * | 2017-07-26 | 2019-02-21 | 日本精機株式会社 | 車両用表示装置 |
JP2020166542A (ja) * | 2019-03-29 | 2020-10-08 | パナソニックIpマネジメント株式会社 | 運転支援装置、運転支援方法、運転支援プログラム及び車両 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023188904A1 (ja) * | 2022-03-29 | 2023-10-05 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7331696B2 (ja) | 情報処理装置、情報処理方法、プログラム、および移動体 | |
US11535155B2 (en) | Superimposed-image display device and computer program | |
JP7052786B2 (ja) | 表示制御装置および表示制御プログラム | |
US11996018B2 (en) | Display control device and display control program product | |
US20170270899A1 (en) | Display control device for vehicle | |
US20170269370A1 (en) | Display control device for vehicle | |
US10466062B2 (en) | Vehicular display device | |
CN106463051B (zh) | 信号机识别装置以及信号机识别方法 | |
JP6415583B2 (ja) | 情報表示制御システムおよび情報表示制御方法 | |
US20200249044A1 (en) | Superimposed-image display device and computer program | |
JP7251582B2 (ja) | 表示制御装置および表示制御プログラム | |
US11325470B2 (en) | Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle | |
JP2015102449A (ja) | 車両自己位置推定装置、及び車両自己位置推定方法 | |
JP7255608B2 (ja) | 表示制御装置、方法、及びコンピュータ・プログラム | |
JP2004265432A (ja) | 走行環境認識装置 | |
JP2020190942A (ja) | 表示制御装置 | |
WO2020158601A1 (ja) | 表示制御装置、方法、及びコンピュータ・プログラム | |
JP2021049968A (ja) | 表示制御装置および表示制御プログラム | |
JP6569356B2 (ja) | 情報呈示装置及び情報呈示方法 | |
JP2020199839A (ja) | 表示制御装置 | |
JP7416114B2 (ja) | 表示制御装置および表示制御プログラム | |
US20230107060A1 (en) | Vehicle display control device and vehicle display control method | |
WO2021049215A1 (ja) | 表示制御装置、および表示制御プログラム | |
JP2021160409A (ja) | 表示制御装置、画像表示装置、及び方法 | |
JP2021104794A (ja) | 車両用表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220628 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221220 |