JP2023109041A - ヘッドアップディスプレイ装置 - Google Patents
ヘッドアップディスプレイ装置 Download PDFInfo
- Publication number
- JP2023109041A JP2023109041A JP2022010409A JP2022010409A JP2023109041A JP 2023109041 A JP2023109041 A JP 2023109041A JP 2022010409 A JP2022010409 A JP 2022010409A JP 2022010409 A JP2022010409 A JP 2022010409A JP 2023109041 A JP2023109041 A JP 2023109041A
- Authority
- JP
- Japan
- Prior art keywords
- language
- unit
- virtual image
- display device
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 claims description 35
- 239000003550 marker Substances 0.000 claims description 28
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000011161 development Methods 0.000 abstract description 2
- 230000036642 wellbeing Effects 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 description 144
- 230000006870 function Effects 0.000 description 63
- 238000012545 processing Methods 0.000 description 37
- 238000001514 detection method Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 22
- 238000000034 method Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 18
- 230000010287 polarization Effects 0.000 description 11
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000000737 periodic effect Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 238000009792 diffusion process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000406607 Hypoaspis miles Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000036449 good health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Arrangement of adaptations of instruments
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/263—Language identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
Abstract
【課題】ヘッドアップディスプレイ装置の技術に関して、複数の言語および単位に対応できる等、より好適な使い勝手などを実現できる技術を提供する。本発明によれば、持続可能な開発目標の「3すべての人に健康と福祉を」に貢献する。【解決手段】HUD装置1は、検出された所定の現実物(例えば標識601)を含む入力情報に対応させた虚像6(例えば標識アイコン602)を表示させる際に、入力情報の言語または単位に対応させた言語または単位で表現される虚像6を表示させ、入力情報の言語または単位(例えば日本語、メートル)と、ユーザU1の使用する言語または単位(例えば英語、マイル)とが一致しない場合には、入力情報の言語または単位をユーザU1の使用する言語または単位に合わせるように変換した表現での虚像6を表示させる。【選択図】図6
Description
本発明は、ヘッドアップディスプレイ装置(Head Up Display:HUDと記載する場合がある)の技術に関する。
例えば、国際公開第2018/229961号(特許文献1)には、小型・軽量で、光利用率が高く、モジュール化されて面状の光源として容易に利用可能な光源装置、およびそれを搭載したヘッドアップディスプレイ装置が記載されている。
特許文献1のようなHUD装置は、車載の場合、車速などの走行情報やナビゲーション情報などの各種の情報を、車両のウィンドシールド(言い換えるとフロントガラス)または専用のコンバイナ(投影板)などに虚像として表示することができる。また、虚像として特に拡張現実(AR:Augmented Reality)などに対応した虚像を表示できるHUDは、AR-HUDとも呼ばれる。HUDを用いることで、運転者は、ダッシュボードに組み込まれた計器盤などに視線を移動する必要無く、運転に必要な情報などを得られる。このため、HUDは自動車などの安全運転に寄与している。
ヘッドアップディスプレイ装置は、複数の仕向け地に出荷されて、各々の国や地域のユーザに利用される場合がある。その場合、HUD装置は、日本語や英語や中国語などの複数の言語やそれらに対応した単位に対応できることが望ましい。言い換えると、高度なHUD装置は、多言語対応機能を有することが望ましい。単位は、例えば長さ/距離などの単位として、メートル(metre/m)、マイル(mile/mi/ml)、ヤード(yard)などが挙げられる。換算の例としては、1mile=1760yard=1609.344m、1m≒0.00062137mileである。英語圏の多くの国ではメートル法が使用されている。ヤード・ポンド法、マイルは、米国などで使用されている。
従来、HUD装置は、ある言語および単位をベースとして設計された後、仕向け地の言語および単位に対応させて、表示に使用する言語および単位が設定される。例えば、仕向け地が中国の場合、言語が中国語、単位がメートル法として設定され、仕向け地が米国の場合、言語が英語、単位がヤード・ポンド法、マイルとして設定される。
また、車両に搭載される場合、HUD装置は、車両の制御ユニットから、CANなどの通信を経由して、ある言語および単位をベースとした車両情報などの情報を入手する。例えば、HUD装置は、制御ユニットから、メートル法の単位で、現在の車速が40km/h、ナビゲーション上の目的地までの距離が10km、といった情報を得る。HUD装置は、入力情報として得た情報に基づいて、虚像のための映像情報(言い換えると映像データ)を生成し、表示装置に表示する。HUD装置は、表示装置からの映像光をウィンドシールド等に投射することで、虚像を形成・表示する。
ここで、例えば、HUD装置の仕向け地が日本であり、日本の道路上でHUD装置が利用される場合に、運転者などのユーザが主に英語を使用する人である場合(後述の図5の場合503に対応する)を考える。このHUD装置の標準的な設定では、HUD表示の言語が日本語、単位がメートル法などとされる。日本の道路上で、交通標識や看板などの現実物は、日本語やメートル法で表記されている。この場合、HUD装置は、虚像を表示させるための入力元の情報として、日本語やメートル法の表現での情報に基づいて、日本語やメートル法の表現での虚像を表示させる。
しかしながら、日本語などに不慣れで英語などに慣れているユーザは、現実物や虚像の表現が日本語やメートルであるため、認識がしにくい場合がある。そこで、多言語対応機能を有するHUD装置として、例えばユーザ設定で、ユーザがHUD表示に使用する言語を英語、単位をメートル法などに設定できるようにする。この設定の場合(後述の図5の場合505に対応する)、HUD装置は、入力元の情報として、日本語やメートル法の表現での情報に基づいて、英語やマイル等の表現での虚像を表示させることができる。日本語などに不慣れで英語などに慣れているユーザは、虚像の表現が英語やマイル等になるため、認識がしやすい。上記のような言語や単位の変換機能を有するHUD装置の提供・実現が望ましい。
上記変換機能を有するHUD装置を考えた場合において、さらに、以下のような課題も考えられる。まず、HUD装置は、ある現実物に対応させた虚像を表示させる際に、元の言語・単位のままの表現の虚像とすべきか、ユーザの使用する言語・単位に合わせて変換した虚像とすべきか、変換有無などを考えなければならない。
また、HUD装置が表示領域内に複数の虚像を表示させる場合、各々の虚像で言語・単位の変換有無などが異なる場合には、表示された複数の各々の虚像の言語・単位の表現が揃わない場合もあり得る(後述の図7の例と対応する)。その場合、運転者などのユーザは、複数の虚像の認識について混乱する可能性がある。
また、HUD装置が、例えば検出された日本語でメートル法の表記の交通標識に基づいて、その交通標識を表す標識アイコンを虚像として表示させる際に、英語やマイルを使用するユーザに合わせるように、英語やマイルの表記の標識アイコンに変換して表示させるとする。その場合、虚像表示の言語等とユーザが使用する言語等とが一致するので、ユーザにとって、虚像の意味がわかりやすい。しかし、他方では、交通標識などの現実物の言語・単位の表現(例えば日本語、メートル)と、虚像表示およびユーザの使用する言語・単位の表現(例えば英語、マイル)とに相違が生じる。この相違によって、運転者などのユーザは、現実物と虚像との関係について混乱する可能性があり得る(後述の図8の例と対応する)。
また、HUD装置が、交通標識などの現実物に対応させた虚像を表示させる際に、現実物の単位(例えばメートル)の数値を、変換機能によって、別の単位(例えばマイル)の数値に換算する場合には、以下のような課題も考えられる。まず、HUD装置は、換算の際に、正確な換算として小数などの表現とすべきか、概数として整数などの表現とすべきか、考えなければならない。
正確な換算とする場合、換算後の単位の数値は小数になる場合がある。小数とした虚像は、ユーザにとって認識しにくい恐れもある。また、概数とする場合、切り下げや切り上げ等の手法によって整数に丸めることが挙げられる。概数とした虚像は、元の実際の数値とは異なるので、運転などに影響する恐れもある。
本発明の目的は、ヘッドアップディスプレイ装置の技術に関して、複数の言語および単位に対応できる等、より好適な使い勝手などを実現できる技術を提供することである。
本開示のうち代表的な実施の形態は以下に示す構成を有する。実施の形態のヘッドアップディスプレイ装置は、虚像を車両の前方に表示するヘッドアップディスプレイ装置であって、前記映像光を生成するための表示装置と、前記表示装置への映像情報の表示を制御する制御装置と、を備え、前記制御装置は、検出された所定の現実物を含む入力情報に対応させた虚像を表示させる際に、前記入力情報の言語または単位に対応させた言語または単位で表現される虚像を表示させ、前記入力情報の言語または単位と、使用する言語または単位とが一致しない場合には、前記入力情報の言語または単位を前記使用する言語または単位に合わせるように変換した表現での虚像を表示させる。
本開示のうち代表的な実施の形態によれば、ヘッドアップディスプレイ装置の技術に関して、複数の言語および単位に対応できる等、より好適な使い勝手などを実現できる。上記した以外の課題、構成および効果等については、発明を実施するための形態において示される。
以下、図面を参照しながら本開示の実施の形態を詳細に説明する。図面において、同一部には原則として同一符号を付し、繰り返しの説明を省略する。図面において、構成要素の表現は、発明の理解を容易にするために、実際の位置、大きさ、形状、および範囲等を表していない場合がある。
説明上、プログラムによる処理について説明する場合に、プログラムや機能や処理部等を主体として説明する場合があるが、それらについてのハードウェアとしての主体は、プロセッサ、あるいはそのプロセッサ等で構成されるコントローラ、装置、計算機、システム等である。計算機は、プロセッサによって、適宜にメモリや通信インタフェース等の資源を用いながら、メモリ上に読み出されたプログラムに従った処理を実行する。これにより、所定の機能や処理部等が実現される。プロセッサは、例えばCPUやGPU等の半導体デバイス等で構成される。プロセッサは、所定の演算が可能な装置や回路で構成される。処理は、ソフトウェアプログラム処理に限らず、専用回路でも実装可能である。専用回路は、FPGA、ASIC、CPLD等が適用可能である。
プログラムは、対象計算機に予めデータとしてインストールされていてもよいし、プログラムソースから対象計算機にデータとして配布されてもよい。プログラムソースは、通信網上のプログラム配布サーバでもよいし、非一過性のコンピュータ読み取り可能な記憶媒体(例えばメモリカード)でもよい。プログラムは、複数のモジュールから構成されてもよい。コンピュータシステムは、複数台の装置によって構成されてもよい。コンピュータシステムは、クライアントサーバシステム、クラウドコンピューティングシステム、IoTシステム等で構成されてもよい。各種のデータや情報は、例えばテーブルやリスト等の構造で構成されるが、これに限定されない。識別情報、識別子、ID、名、番号等の表現は互いに置換可能である。
<実施の形態1>
図1~図27を用いて、本開示の実施の形態1のHUD装置およびそのHUD装置を備える車載システムなどのシステムについて説明する。実施の形態1のHUD装置は、虚像表示に係わる多言語対応機能を有し、特に言語および単位に関する自動変換機能(図6、図8、図16等)を有する。実施の形態1のHUD装置は、検出された現実物または車両情報などの入力情報に基づいた虚像を表示させる際に、自動変換機能によって、必要に応じて言語および単位の少なくとも一方の表現を変換した虚像を生成して表示させる。変換は、言語の翻訳と、単位の換算とを含む。HUD装置を含む車載システムは、HUDの虚像表示と音声出力との少なくとも一方について、自動変換機能によって、言語・単位の変換を行う。
図1~図27を用いて、本開示の実施の形態1のHUD装置およびそのHUD装置を備える車載システムなどのシステムについて説明する。実施の形態1のHUD装置は、虚像表示に係わる多言語対応機能を有し、特に言語および単位に関する自動変換機能(図6、図8、図16等)を有する。実施の形態1のHUD装置は、検出された現実物または車両情報などの入力情報に基づいた虚像を表示させる際に、自動変換機能によって、必要に応じて言語および単位の少なくとも一方の表現を変換した虚像を生成して表示させる。変換は、言語の翻訳と、単位の換算とを含む。HUD装置を含む車載システムは、HUDの虚像表示と音声出力との少なくとも一方について、自動変換機能によって、言語・単位の変換を行う。
実施の形態1のHUD装置を含む車載システムは、HUD装置が適用される現実空間内の物体(現実物とも記載)に対応付けられた言語および単位を、任意の技術的手段(具体例ではGPS位置情報など)を用いて検出および判断する。現実物の例は、車両の前方でHUD表示領域内に見える交通標識などが挙げられる。
また、実施の形態1のHUD装置を含む車載システムは、HUD装置を利用する運転者などのユーザの使用する言語および単位、言い換えると、当該ユーザがHUDの出力に使用したい所望の言語および単位を、任意の技術的手段(具体例ではHUD装置のユーザ設定など)を用いて検出および判断する。
そして、実施の形態1のHUD装置を含む車載システムは、上記現実物の言語・単位と、ユーザの言語・単位との2つの検出・判断に基づいて、現実物の言語・単位とユーザの言語・単位との相違、一致/不一致などを判断する。車載システムは、それらの間に相違があり不一致と判断した場合には、その不一致によるわかりにくさを解消または低減するように、自動変換機能によって、言語・単位などの表現を工夫した虚像を生成する。言い換えると、HUD装置を含む車載システムは、自動変換機能によって、現実物の言語・単位についての支援やガイド等のための虚像を生成する。
[車両]
図1は、実施の形態1のHUD装置1が搭載された車両2の例を示す。車両2は、制御ユニット5を備えている。制御ユニット5は、車両2の走行などを制御する。HUD装置1は、CAN信号などによって制御ユニット5と通信する。制御ユニット5およびHUD装置1は、車両2の車載システムを構成する。HUD装置1は、映像光をウィンドシールド3の領域に投影することで、虚像を形成する。制御ユニット5は、各種のセンサを用いて、後述の車両情報4を取得する。
図1は、実施の形態1のHUD装置1が搭載された車両2の例を示す。車両2は、制御ユニット5を備えている。制御ユニット5は、車両2の走行などを制御する。HUD装置1は、CAN信号などによって制御ユニット5と通信する。制御ユニット5およびHUD装置1は、車両2の車載システムを構成する。HUD装置1は、映像光をウィンドシールド3の領域に投影することで、虚像を形成する。制御ユニット5は、各種のセンサを用いて、後述の車両情報4を取得する。
[HUD装置]
図2は、図1の車両2における実施の形態1のHUD装置1の搭載例を示す。図2では、車両2のダッシュボード内にHUD装置1が搭載されている。HUD装置1は、筐体100内に、表示装置10と、ミラー3Aおよびミラー3B等の光学系とが所定の位置関係で配置・固定されている。なお、表示装置10は、筐体100内に取り付けられてもよいし、筐体100の外周の一部に取り付けられてもよい。また、後述の制御部101(図3)などの構成要素は、筐体100内に実装されてもよいし、筐体100外に実装されてもよい。筐体100の一部およびダッシュボードの一部には、映像光が出射する開口部が設けられている。
図2は、図1の車両2における実施の形態1のHUD装置1の搭載例を示す。図2では、車両2のダッシュボード内にHUD装置1が搭載されている。HUD装置1は、筐体100内に、表示装置10と、ミラー3Aおよびミラー3B等の光学系とが所定の位置関係で配置・固定されている。なお、表示装置10は、筐体100内に取り付けられてもよいし、筐体100の外周の一部に取り付けられてもよい。また、後述の制御部101(図3)などの構成要素は、筐体100内に実装されてもよいし、筐体100外に実装されてもよい。筐体100の一部およびダッシュボードの一部には、映像光が出射する開口部が設けられている。
HUD装置1は、光学系として、ミラー3Aおよびミラー3Bを有する。ミラー3Aは、例えば平面ミラーである。ミラー3Aは、図3や図6の表示素子12からの映像光をミラー3Bへ向けて反射する。ミラー3Bは、ミラー3Aからの映像光を、設定された角度の方向へ向けて拡大して反射する。ミラー3Bは、例えば自由曲面ミラーや光軸非対称の形状を有するミラー等により構成され、ここでは凹面反射ミラーである。ミラー3Bには例えば駆動機構が付いており、図3のミラー駆動部104から向きが調節可能となっている。
図示のように、表示装置10からの映像光は、ミラー3Aおよびミラー3Bで反射されて、開口部を経由して出射され、ウィンドシールド3の表示領域8の面で反射されて、運転者の視点7に向かう。これにより、運転者の視点7から前方を見ると、表示領域8内において、前方の実景に対し、映像光により形成された虚像6が重畳された状態で視認できる。虚像6は、非ARの場合には、所定の位置に独立に表示される映像情報である。虚像6は、ARの場合には、対象物の位置に合わせて重畳表示される映像情報である。虚像6となる映像情報の例は、車速、ナビゲーションの目的地や経路、警告、注意など、様々なものがある。
[HUD装置:機能ブロック]
図3は、HUD装置1の機能ブロック構成例を示す。HUD装置1は、制御部101、記憶部102、通信部103、ミラー駆動部104、表示装置駆動部105、表示装置10、音声入力装置106、音声出力装置107、バス109等を備える。各構成要素は、バス109を介して相互に接続され、通信可能である。
図3は、HUD装置1の機能ブロック構成例を示す。HUD装置1は、制御部101、記憶部102、通信部103、ミラー駆動部104、表示装置駆動部105、表示装置10、音声入力装置106、音声出力装置107、バス109等を備える。各構成要素は、バス109を介して相互に接続され、通信可能である。
制御部101は、例えば電子制御ユニット(Electronic Control Unit:ECU)で構成される。制御部101は、プロセッサ、メモリ、周辺機能等を備える。制御部101は、HUD装置1の全体および各部を制御するコントローラ、制御装置に相当する。制御部101は、ソフトウェアプログラム処理または専用回路によって各機能を実現する。制御部101は、機能として、自動変換機能を有する。
記憶部102は、不揮発性記憶装置などで構成される。記憶部102は、プログラムや画像データを含む各種のデータを記憶する。
通信部103は、通信インタフェースが実装された装置であり、車両2のCAN(Controller Area Network)やLIN(Local Interconnect Network)等のインタフェースを介して、車両2の制御ユニット5(例えば電子制御ユニット:ECU)と接続され、通信可能である。
ミラー駆動部104は、図2のミラー3Bと接続され、ミラー3Bの向きを変更するように駆動する。この変更により、ユーザに合わせて表示領域8の位置を調節可能である。
表示装置駆動部105は、制御部101からの制御に基づいて、表示装置10を駆動する。表示装置10は、例えば光源装置11と表示素子12とを有して構成される。表示装置10は、光源装置11から出射される光を用いて、表示素子12に形成された映像を投射する、投射型映像表示装置である。
光源装置11は、光源として例えば半導体光源素子を用いて構成され、所定の光源光を生成して表示素子12に供給する。半導体光源素子は、代表的にはLED(Light Emitting Diode)光源を含んで構成される。
表示素子12は、例えば液晶パネル(Liquid Crystal Display:LCD)を用いて構成され、所定の映像光を生成する。表示素子12は、表示装置駆動部105からの映像信号に基づいて作成した映像を表示画面に表示する。表示素子12は、映像信号に応じて光源装置11からの光の透過率を画素毎に変調することで、表示領域8へ投影するための映像を形成し、映像光として出射する。
音声入力装置106は、マイクおよび回路等で構成される。音声出力装置107は、スピーカおよび回路等で構成される。なお、HUD装置1に音声入力装置106や音声出力装置107を備える場合を示しているが、これに限らず、HUD装置1は、外部(車両2内)に接続される音声入力装置106や音声出力装置107を利用してもよい。
制御部101は、制御ユニット5から、CAN信号301として、車両情報4(図1)などの入力情報を取得する。入力情報は、車両情報4における各種の検出信号や、それを制御ユニット5が処理した結果の情報を含み、また、カメラ画像などに基づいて検出された現実物の情報を含む。制御部101は、そのような入力情報に基づいて、自動変換機能により、必要に応じて、言語および単位の表現を変換した虚像のための映像情報を出力情報として生成する。また、制御部101は、音声出力を行う場合には、入力の音声情報に対し、自動変換機能により、必要に応じて、言語および単位の表現を変換した音声のための音声情報を出力情報として生成する。
図3の構成例に限らず、HUD装置1に、GPS受信機やカメラなどのセンサを備えてもよい。
[車両情報]
図4は、制御ユニット5に接続された各種のセンサ(言い換えると情報取得デバイス)等の構成例を示す。制御ユニット5は、車両2の各部に設置された各種センサなどから、車両情報4を取得する。各種センサは、車両2の内部や外部における走行状況などの状況に係わるパラメータを例えば定期的に検出する。制御ユニット5は、各種センサの検出情報を取得し、検出情報に基づいて、車両2に係わる各種のイベントを検出、判断する。HUD装置1の制御部101は、通信部103を通じて、制御ユニット5から、検出情報やイベント等を含んだ車両情報4を取得する。制御部101は、HUD装置1に設置されたセンサから検出情報を取得してもよい。HUD装置1は、その検出情報に基づいて、HUD装置1の状態やHUD装置1の近傍の状態を判断してもよい。
図4は、制御ユニット5に接続された各種のセンサ(言い換えると情報取得デバイス)等の構成例を示す。制御ユニット5は、車両2の各部に設置された各種センサなどから、車両情報4を取得する。各種センサは、車両2の内部や外部における走行状況などの状況に係わるパラメータを例えば定期的に検出する。制御ユニット5は、各種センサの検出情報を取得し、検出情報に基づいて、車両2に係わる各種のイベントを検出、判断する。HUD装置1の制御部101は、通信部103を通じて、制御ユニット5から、検出情報やイベント等を含んだ車両情報4を取得する。制御部101は、HUD装置1に設置されたセンサから検出情報を取得してもよい。HUD装置1は、その検出情報に基づいて、HUD装置1の状態やHUD装置1の近傍の状態を判断してもよい。
車両情報4は、車両2の走行などの状況に係わる情報の総称である。車両情報4は、例えば、車両2の速度情報やギア情報、ハンドル操舵角情報、ランプ点灯情報、外光情報、距離情報、赤外線情報、エンジンON/OFF情報、カメラ映像情報、加速度ジャイロ情報、GPS(Global Positioning System)情報、ナビゲーション情報、車車間通信情報、および路車間通信情報などが含まれる。カメラ映像情報は、車内カメラ映像情報や車外カメラ映像情報がある。GPS情報には、現在時刻情報、緯度および経度情報が含まれる。
図4で、車両2またはHUD装置1に設置される各種センサの一例を以下に示す。各種センサとして、車速センサ401、シフトポジションセンサ402、ハンドル操舵角センサ403、ヘッドライトセンサ404、照度センサ405、色度センサ406、測距センサ407、赤外線センサ408、エンジン始動センサ409、加速度センサ410、ジャイロセンサ411、温度センサ412、路車間通信用無線送受信機413、車車間通信用無線送受信機414、カメラ(車内カメラ)415、カメラ(車外カメラ)416、GPS受信機417、VICS(Vehicle Information and Communication System、登録商標)受信機418などがある。各種センサは、これらに限らず、追加、削除、置換などが可能である。
車速センサ401は、車両2の速度(車速とも記載)を検出し、検出結果となる速度情報を生成する。シフトポジションセンサ402は、現在のギアを検出し、検出結果となるギア情報を生成する。ハンドル操舵角センサ403は、現在のハンドル操舵角を検出し、検出結果となるハンドル操舵角情報を生成する。ヘッドライトセンサ404は、ヘッドライトのON/OFF等を検出し、検出結果となるランプ点灯情報を生成する。照度センサ405および色度センサ406は、外光を検出し、検出結果となる外光情報を生成する。
測距センサ407は、車両2と外部の物体との間の距離を検出し、検出結果となる距離情報を生成する。赤外線センサ408は、車両2の近距離における物体の有無や距離などを検出し、検出結果となる赤外線情報を生成する。エンジン始動センサ409は、エンジンのON/OFFを検出し、検出結果となるON/OFF情報を生成する。加速度センサ410およびジャイロセンサ411は、車両2の加速度および角速度を検出し、検出結果として、車両2の姿勢や挙動を表す加速度ジャイロ情報を生成する。温度センサ412は、車両2の内外の温度を検出し、検出結果となる温度情報を生成する。
車内カメラ415は、車両2内を撮影することで、車内カメラ映像情報を生成する。車外カメラ416は、車両2外を撮影することで、車外カメラ映像情報を生成する。具体例では、図6の車内カメラ415は、例えば運転者の姿勢、眼の位置、動きなどを撮影し、DMS(Driver Monitoring System)を構成する。車内カメラ映像情報を解析することで、運転者の疲労状況や視線の位置などが把握可能である。また、図6の車外カメラ416は、例えば車両2の前方などの周囲の状況を撮影する。車外カメラ映像情報を解析することで、車両2の周辺に存在する他車両や人などの有無、建物や地形、雨や積雪、凍結、凹凸などといった路面状況、および道路標識などを把握可能である。また、車外カメラ416は、走行中の状況を映像で記録するドライブレコーダなども含まれる。
路車間通信用無線送受信機413は、車両2と、道路、標識、信号機等との間の路車間通信によって、路車間通信情報を生成する。車車間通信用無線送受信機414は、車両2と周辺の他車両との間の車車間通信によって、車車間通信情報を生成する。GPS受信機417は、GPS衛星からのGPS信号を受信することでGPS情報を生成する。例えばGPS情報として現在時刻、緯度および経度を取得可能である。VICS受信機418は、VICS信号を受信することで得られるVICS情報を生成する。GPS受信機417やVICS受信機418は、ナビゲーションシステムの一部として設けられてもよい。
[課題など]
図5は、課題などを補足するための説明図である。図5等を用いて、車載のHUD装置1の表示に関して、実景内の現実物と、虚像表示と、ユーザとの間で、言語および単位に関して、ずれ、相違などが生じる場合について説明する。図5では、あるHUD装置1が、複数の仕向け地に出荷され、各仕向け地で異なる言語や単位で利用される各場合を示している。ここでのHUD装置1は、例えば製造地が日本で、言語および単位はベースとして日本語およびメートル法などで設定されているとする。複数の仕向け地の例として日本と米国の場合を示す。日本の場合501は、ユーザが主に使用する言語が日本語であり、HUD表示の標準的な設定としては、言語が日本語、単位がメートル法などで設定されている。米国の場合502は、ユーザが主に使用する言語が英語であり、HUD表示の標準的な設定としては、言語が英語、単位がヤード・ポンド法およびマイル等で設定されている。
図5は、課題などを補足するための説明図である。図5等を用いて、車載のHUD装置1の表示に関して、実景内の現実物と、虚像表示と、ユーザとの間で、言語および単位に関して、ずれ、相違などが生じる場合について説明する。図5では、あるHUD装置1が、複数の仕向け地に出荷され、各仕向け地で異なる言語や単位で利用される各場合を示している。ここでのHUD装置1は、例えば製造地が日本で、言語および単位はベースとして日本語およびメートル法などで設定されているとする。複数の仕向け地の例として日本と米国の場合を示す。日本の場合501は、ユーザが主に使用する言語が日本語であり、HUD表示の標準的な設定としては、言語が日本語、単位がメートル法などで設定されている。米国の場合502は、ユーザが主に使用する言語が英語であり、HUD表示の標準的な設定としては、言語が英語、単位がヤード・ポンド法およびマイル等で設定されている。
さらに、日本の場合で、ユーザが使用する言語が英語である場合503を示す。この場合503は、例えば米国出身のユーザが日本の道路上でHUD装置1を利用する場合が該当する。この場合503は、標準的な設定のままでは、表示が日本語およびメートル法である。この場合503では、例えば交通標識などの現実物と、その現実物に対応させた虚像の表示とで、日本語およびメートル等の表現となり、一致しているが、ユーザが慣れているのは英語やマイル等であるため、現実物および虚像と、ユーザとでは、言語および単位が不一致となっている。
同様に、米国の場合で、ユーザが使用する言語が日本語である場合504を示す。この場合504は、例えば日本出身のユーザが米国の道路上でHUD装置1を利用する場合が該当する。この場合504は、標準的な設定のままでは、表示が英語およびマイル等である。この場合504では、例えば交通標識などの現実物と、その現実物に対応させた虚像の表示とで、英語およびマイル等の表現となり、一致しているが、ユーザが慣れているのは日本語やメートル等であるため、現実物および虚像と、ユーザとでは、言語および単位が不一致となっている。
さらに、場合505および場合506は、HUD装置1のユーザ設定で、ユーザの使用する言語・単位に合わせて虚像表示の言語・単位を設定でき、言語・単位に関する変換機能を有する場合を示している。日本の場合505では、ユーザ設定で表示の言語・単位として英語およびマイル等が設定されている。この場合505では、例えば交通標識などの現実物に対応させた虚像を表示させる際に、現実物の日本語およびメートル等の表現が、変換機能によって、ユーザ設定に合わせた英語およびマイル等の表現にされる。これにより、虚像表示とユーザとで、英語およびマイル等となり一致している。他方、現実物と、虚像およびユーザとでは、言語および単位が不一致となっている。
同様に、米国の場合506では、ユーザ設定で表示の言語・単位として日本語およびメートル等が設定されている。この場合506では、例えば交通標識などの現実物に対応させた虚像を表示させる際に、現実物の英語およびマイル等の表現が、変換機能によって、ユーザ設定に合わせた日本語およびメートル等の表現にされる。これにより、虚像表示とユーザとで、日本語およびメートル等となり一致している。他方、現実物と、虚像およびユーザとでは、言語および単位が不一致となっている。
例えば場合503では、現実物および虚像の言語・単位とユーザが使用する言語・単位とが不一致であるため、ユーザは、現実物と虚像との対応関係は認識しやすいが、虚像の意味については認識しにくい場合がある。また、例えば場合505では、現実物の言語・単位と虚像およびユーザの言語・単位とが不一致であるため、ユーザは、現実物と虚像との対応関係が認識しにくい場合がある。
[自動変換機能]
図6は、実施の形態1のHUD装置1の自動変換機能に係わる構成概要を示す。図6では、車載のHUD装置1および運転者であるユーザU1から前方(図6ではY方向)にウィンドシールド3越しの実景や表示領域8(8b)に表示される虚像6を見る場合の模式図を示している。図6の例では、車両2内の運転者であるユーザU1は、設定された所定のアイボックス内の視点7から、表示領域8(8b)の虚像6を視認する。図6の例では、日本の道路上を走行する車両2にHUD装置1が搭載されている。ユーザU1は、主に使用する言語が英語、単位がマイル等である人である。ユーザU1は、HUD装置1のユーザ設定で、表示の言語として英語、単位としてヤード・ポンド法およびマイル等を設定しているとする。図6の例は、図5での場合505に相当する。
図6は、実施の形態1のHUD装置1の自動変換機能に係わる構成概要を示す。図6では、車載のHUD装置1および運転者であるユーザU1から前方(図6ではY方向)にウィンドシールド3越しの実景や表示領域8(8b)に表示される虚像6を見る場合の模式図を示している。図6の例では、車両2内の運転者であるユーザU1は、設定された所定のアイボックス内の視点7から、表示領域8(8b)の虚像6を視認する。図6の例では、日本の道路上を走行する車両2にHUD装置1が搭載されている。ユーザU1は、主に使用する言語が英語、単位がマイル等である人である。ユーザU1は、HUD装置1のユーザ設定で、表示の言語として英語、単位としてヤード・ポンド法およびマイル等を設定しているとする。図6の例は、図5での場合505に相当する。
HUD装置1は、現実物に対応させた虚像6を表示させる際に、自動変換機能によって、現実物の日本語・メートル等の表現を、ユーザに合わせて英語・マイル等の表現に変換(言い換えると置換)するように生成した虚像を表示させる。特に、このHUD装置1は、自動変換機能により、現実物と虚像およびユーザとの間での言語・単位の不一致について、ユーザにとって認識がしやすくなるように、工夫した虚像6を生成する(後述の図8以降)。
図6のHUD装置1において表示装置10および光学系を通じて形成される虚像602など(図2での虚像6と対応する。以下同様。)は、指向性を有する。すなわち、運転者であるユーザU1は、予め定められたアイボックス内の視点7からウィンドシールド3の表示領域8を見る場合のみ、虚像6を好適に視認可能である。表示領域8は、ウィンドシールド3上の投影面を示しており、表示領域8bは、ユーザの視点7から見て、表示領域8に対応してウィンドシールド3越しの前方にあるように見える表示領域を示している。
図6では、空間の座標系を(X,Y,Z)で示している。X方向(X軸)は車両2の左右方向、第1水平方向であり、Y方向(Y軸)は車両2の前後方向、第2水平方向であり、Z方向は車両2の上下方向、鉛直方向である。図6のHUD装置1は、AR機能も有するAR-HUDである。AR機能では、表示領域8内で、現実物(例えば標識601)に対し関連付けた位置に虚像6を重畳表示させることができる。また、図6では、センサの一例として、車両2内に設置された車内カメラ415や車外カメラ416を示している。車両2内の例えばバックミラー付近などに車内カメラ415や車外カメラ416を備えている。なお、カメラは車両2外に設置される場合もある。
図6で、HUD装置1または制御ユニット5(図1)は、車両2外にある所定の現実物、例えば交通標識である標識601を検出する。その場合、HUD装置1は、その検出された標識601を表す標識アイコン602を表示領域8(8b)内に表示させることで、車両2の前方に虚像として表示され、ユーザはその虚像を視認することができる。その際、HUD装置1は、検出された現実物(例えば標識601)の言語および単位の表現を、ユーザ設定されたユーザU1が使用する所望の言語および単位に合わせるように、言語・単位の表現を自動的に変換し、変換後として生成された虚像6(例えば標識アイコン602)を、表示領域8(8b)内に表示させる。これにより、ユーザU1の視点7から見て、表示領域8(8b)内に虚像6である標識アイコン602が視認できる。
例えば、標識601等の現実物の言語および単位が、日本語およびメートル等である。ユーザU1の使用する言語および単位が、英語およびマイル等である。HUD装置1は、検出された標識601について、日本語およびメートル等の表現を、ユーザU1の英語およびマイル等の表現に合わせるように変換して生成した標識アイコン602を表示させる。
[比較例:映像例]
図7は、比較例のHUD装置において、車両内の運転者であるユーザからウィンドシールド越しに前方を見た場合の映像例の模式説明図を示す。現実物を含んだ実景に対し、破線枠で示す表示領域701(図6での表示領域8,8bに相当する)が重なっている。現実物の例としては、白線などを含む道路、先行車両、交通標識、建物、木々、看板などがある。交通標識の例として、標識711、標識712がある。標識711は、車速制限を表す交通標識の例であり、日本およびメートル法では、最高速度40km/hを表している。標識712は、案内標識の例であり、東京まで10kmであることを表している。
図7は、比較例のHUD装置において、車両内の運転者であるユーザからウィンドシールド越しに前方を見た場合の映像例の模式説明図を示す。現実物を含んだ実景に対し、破線枠で示す表示領域701(図6での表示領域8,8bに相当する)が重なっている。現実物の例としては、白線などを含む道路、先行車両、交通標識、建物、木々、看板などがある。交通標識の例として、標識711、標識712がある。標識711は、車速制限を表す交通標識の例であり、日本およびメートル法では、最高速度40km/hを表している。標識712は、案内標識の例であり、東京まで10kmであることを表している。
表示領域701の範囲内に虚像6が表示される。表示領域701のうち、特に下辺付近の表示領域702は、車速などに対応した虚像6を表示させるために設定された領域の例である。本例では、表示領域701内に表示される虚像6は非ARの虚像である。
図7の(A)の例は、日本の道路上の実景であり、図5の場合501と対応しており、HUD表示設定の言語が日本語、単位がメートル等であるとする。表示領域702において、右寄り位置には、車速を表す虚像720(「35km/h」といった文字画像)が表示されている。左寄り位置には、標識712の検出に基づいて生成された、案内を表す虚像722(「東京まで10km」といった文字画像)が表示されている。中央付近位置には、標識711の検出に基づいて生成された、標識アイコン721が表示されている。
標識711は、形状が円形で、赤色のリングを有し、リング中に青色の数字を有し、その数字が「40」である。そのため、HUD装置1または制御ユニット5は、この標識711が、日本の交通標識の体系で、速度制限を表すとわかる。そのため、標識アイコン721は、その速度制限の標識711を表すように、同じく円形で、リングを有し、リング中に数字「40」を記載したアイコン画像として生成されている。
標識アイコン721は、例えば車外カメラ416(図6)の画像に基づいて標識711の画像部分が検出された場合に、その画像部分を用いて生成されてもよいし、予め用意された画像を用いて生成されてもよい。また、この標識アイコン721は、元の標識711の色と同じ色(例えば赤と青)を用いて表現されてもよいし、元の標識711の色とは異なる色(例えば白黒のみ)を用いて表現されてもよい。また、変形例では、標識アイコンは、文字情報の加工によって生成されてもよい。
ユーザは、このような虚像6(720,721,722)を見て認識することで、より好適な運転が可能となる。(A)のような虚像6の表示は、日本語およびメートル法を使用するユーザにとってはわかりやすい。
なお、表示領域701内に各種の虚像6を表示する際の位置は予め規定されており、そのことはHUD装置のマニュアルやガイド等によってユーザが了解できる。例えば表示領域702内の右寄り位置は車速、左寄り位置は案内距離や目的地までの距離として規定されている。
図7の(B)の例は、図5の場合503と対応しており、(A)と同様の実景に対し、HUD表示設定の言語が英語、単位がマイル等である場合を示す。表示領域702において、右寄り位置には、車速を表す虚像730(「21.748 mi/h」といった文字画像)が表示されている。左寄り位置には、標識712の検出に基づいて生成された、案内を表す虚像732(「For Tokyo 6.21371mile」といった文字画像)が表示されている。中央付近位置には、標識711の検出に基づいて生成された、標識アイコン731が表示されている。
現在の車速が35km/hである場合、mile/hに換算すると、21.748 mile/hである。なお、1km/h(キロメートル毎時)=0.621371mile/h(マイル毎時)である。また、標識712に記載の文字が検出された場合に、その文字を英語に翻訳し、単位をマイルに換算すると、例えば「For Tokyo 6.21371mile」となる。また、標識711については、(A)の標識アイコン721と同様に、そのまま日本語およびメートル法(km/h)で表現された標識アイコン731として表示する場合を示している。(B)のような虚像6の表示は、英語およびマイル等を使用するユーザにとってはわかりやすい。標識アイコン731は、現実物の標識711と類似の画像なので、ユーザにとって標識アイコン731が標識711と対応していることはわかりやすい。
しかしながら、(B)の場合では、以下のように、言語および単位に関するずれ等の課題もある。車速を表す虚像730や、案内を表す虚像732は、マイル単位で表示されているが、車速制限を表す虚像731はメートル単位の数値で表示されている。ユーザから見ると、これらの虚像の関係がわかりにくい。現実物の標識711は数値「40」と記載され、標識711に対応した標識アイコン731も数値「40」と表示され、それらが一致しているので、ユーザにとってそれらの対応関係はわかりやすいが、その標識アイコン731の数値「40」がメートルなのかマイルなのかについては混乱が生じ得る。複数の虚像6(700,731,732)について、言語・単位が揃っていないので、混乱が生じる可能性がある。
また、(B)では、正確な数値に換算する場合を示しており、車速の虚像730は、小数で「21.748 mi/h」と表示され、案内の虚像732は、小数で「6.21371mile」として表示される。そのため、これらの小数の数値は、場合によってはユーザにとって認識しにくい恐れがある。
なお、実施の形態1のHUD装置1は、図7の比較例で示したような自動変換機能を基本として有していてもよい。
[解決手段(1)]
上記課題に基づいて、実施の形態1のHUD装置1は、自動変換機能に関して、以下のような解決手段を有する。HUD装置1は、標識などの現実物の表記(言語および単位の少なくとも一方。実施の形態1では両方。)を、ユーザ設定でのユーザ使用言語に合わせるように変換して虚像として表示する。例えば、HUD装置1のユーザ設定を含む設定で、虚像表示の言語および単位として、英語およびマイル等が選択して設定される。HUD装置1は、実景から、ユーザ設定での言語および単位とは異なる言語および単位を持つ所定の現実物として標識などを検出した場合に、その現実物に対応させた虚像(例えば標識アイコン)を表示させる際に、言語・単位の変換を行う。すなわち、HUD装置1は、その現実物の言語および単位のままの表現での虚像を表示させるのではなく、ユーザ設定でのユーザが使用する所望の言語および単位に合わせるように変換した後の言語(例えば英語)および単位(例えばマイル)の表現での虚像を生成して表示させる。
上記課題に基づいて、実施の形態1のHUD装置1は、自動変換機能に関して、以下のような解決手段を有する。HUD装置1は、標識などの現実物の表記(言語および単位の少なくとも一方。実施の形態1では両方。)を、ユーザ設定でのユーザ使用言語に合わせるように変換して虚像として表示する。例えば、HUD装置1のユーザ設定を含む設定で、虚像表示の言語および単位として、英語およびマイル等が選択して設定される。HUD装置1は、実景から、ユーザ設定での言語および単位とは異なる言語および単位を持つ所定の現実物として標識などを検出した場合に、その現実物に対応させた虚像(例えば標識アイコン)を表示させる際に、言語・単位の変換を行う。すなわち、HUD装置1は、その現実物の言語および単位のままの表現での虚像を表示させるのではなく、ユーザ設定でのユーザが使用する所望の言語および単位に合わせるように変換した後の言語(例えば英語)および単位(例えばマイル)の表現での虚像を生成して表示させる。
例えば、HUD装置1は、表示設定がメートル法の場合で、例えば40km/hの速度制限を表す標識が検出された場合には、そのまま40km/hの速度制限を表す標識アイコンを虚像6として表示させる。HUD装置1は、表示設定がヤード・ポンド法、マイル等の場合で、40km/hの速度制限を表す標識が検出された場合には、40km/hからマイルの表現に変換した後の24.8548mile/h(概数としては24または25mile/h)の速度制限を表す標識アイコンを虚像6として表示させる。
また、例えば、HUD装置1は、表示設定がヤード・ポンド法、マイル等の場合で、例えば25mile/hの速度制限を表す標識が検出された場合には、そのまま25mile/hの速度制限を表す標識アイコンを虚像として表示させる。HUD装置1は、表示設定がメートル法の場合で、25mile/hの速度制限を表す標識が検出された場合には、25mile/hからメートルの表現に変換した後の40.2336km/h(概数としては40または41km/h)の速度制限を表す標識アイコンを虚像6として表示させる。
なお、処理対象となる所定の現実物には、文字や単位が表記されている場合もあるし、車速制限の標識711(図7)の例のように、文字や単位が一部しか表記されていない場合もある。また、所定の現実物の検出自体は、HUD装置1が行ってもよいし、車両2の制御ユニット5等が行ってもよい。例えばHUD装置1は制御ユニット5から車両情報4の一例として、標識などの検出情報を受信・入力してもよい。
[変換(1-1)]
図8は、上記解決手段に対応した実施例での映像例を示す。図8は、変換に関する第1案を示す。図8の(A)は第1例、(B)は第2例を示す。(A)で、実景の例は図7と同様である。仕向け地は日本で、日本の道路上であり、標識711,712などの現実物は、日本語やメートルの表現を有する。HUD装置1のユーザ設定で、ユーザがHUD表示に使用する言語を英語、単位をマイル等として設定しているとする。HUD装置1は、車両情報4や検出された現実物などの入力情報に基づいて、自動変換機能によって、表示領域701内、特に表示領域702に、虚像6として、虚像800,801,802を表示する。
図8は、上記解決手段に対応した実施例での映像例を示す。図8は、変換に関する第1案を示す。図8の(A)は第1例、(B)は第2例を示す。(A)で、実景の例は図7と同様である。仕向け地は日本で、日本の道路上であり、標識711,712などの現実物は、日本語やメートルの表現を有する。HUD装置1のユーザ設定で、ユーザがHUD表示に使用する言語を英語、単位をマイル等として設定しているとする。HUD装置1は、車両情報4や検出された現実物などの入力情報に基づいて、自動変換機能によって、表示領域701内、特に表示領域702に、虚像6として、虚像800,801,802を表示する。
まず、(A)の例で、車速を表す虚像800は、現在の車速35km/hからの換算によって、マイル単位で「21mi/h」と表示されている。換算後の小数は「21.748mi/h」となるが、この例では、概数として整数への切り下げをする場合に、「21mi/h」としている。また、(B)の例で、虚像800bは、35km/hからの換算後の小数「21.748mi/h」に基づいて、概数として整数への切り上げをする場合に、マイル単位で「22mi/h」と表示されている。
車速を表す虚像は、このように概数として表示させる場合には、交通安全を優先し、(B)の例のように、繰り上げにより、実際値よりも大きめの数値として表示すると好ましい。これにより、ユーザが、車速の虚像と、車速制限の虚像とを見た結果、意図せずに制限速度を超えて運転してしまうことを防止できる。
また、(A)の例で、標識712に係わる案内を表す虚像802は、標識712の文字の検出に基づいて、案内距離の文字を表す虚像であり、日本語から英語への翻訳によって、「For Tokyo about 6 mile」と表示されている。この例では、10kmからの換算によって、小数では6.21371mileとなるが、これを概数として整数にするために、切り下げによって、約6マイル「about 6mile」として表示する場合を示す。この例では、概数であることをユーザに伝えるために、約「about」を付けている。同様に、(B)の例で、虚像802bは、6.21371mileから、切り上げによって、約7マイル「about 7mile」として表示する場合を示す。このように、案内の距離や、ナビゲーションでの目的地までの距離に関しても、換算した概数での虚像を表示させる場合には、(B)の例のように、実際値よりも大きめの数値にして表示させると好ましい。
また、(A)の例で、標識711に係わる虚像801は、標識711の検出に基づいて生成された標識アイコンであり、日本語およびメートルの表現から、英語およびマイルの表現への変換によって、円形でリング中にマイル単位での「25mile/h」を表す数値「25」が記載された虚像6として表示されている。元の40km/hは、換算すると24.85485mile/hである。この例では、変換後の虚像801の表記については、概数として整数にするために、切り上げによって、「25mile/h」に対応した数値「25」としている。この数値「25」は、実際値の小数に近い方の大きめの数値である。一方、(B)の例では、虚像801bは、切り下げによって、「24mile/h」に対応した数値「24」としている。この数値「24」は、実際値から離れた方の小さめの数値である。
上記換算と概数の表現について補足する。車速制限の標識711の「40km/h」について、標識アイコンのための換算では、正確な換算での小数「24.85485mile/h」に基づいて、図8の(A)の虚像801では切り上げの概数として「25mi/h」とし、(B)の虚像801bでは切り下げの概数として「24mi/h」とした。また、標識アイコンは、例えば円形で所定のサイズの画像として表示される。標識アイコン内に表記する数値について、より正確に小数「24.85485」のようにすることも可能であるが、ユーザにとって認識しにくい恐れがあるので、小数ではなく概数として整数「25」または「24」とする。特に、標識アイコンは、(B)の例のように、交通安全を優先して、実際値よりも低く厳しい数値である「24mile/h」に対応した数値「24」とする方が好ましい。
また、(A)の場合で、ユーザが例えば虚像800と虚像801を見て、実際の車速を例えば24.9mile/hとした場合、虚像801の「25」が示す25mile/h以下であるが、実際の標識711の40km(=24.85485mile/h)の制限は超過してしまい、望ましくない。そこで、(B)の場合では、車速の虚像800bについては特に切り上げの選択によって実際値よりも高い値とし、車速制限の虚像801bについては特に切り下げの選択によって実際値よりも低い値とした。これにより、ユーザが例えば虚像800bと虚像801bを見て、実際の車速が実際の車速制限を超過してしまうことが防止できる。
上記図8の例のように、実施の形態1のHUD装置1は、自動変換機能により、所定の現実物である例えば標識711について、言語および単位を、ユーザ設定での言語および単位に合わせるように変換して生成された虚像801または虚像801bを表示させる。これにより、運転者であるユーザは、自分が使用する慣れた言語および単位で表現された虚像6が表示されるので、その虚像6を認識しやすく、また、表示領域701内の複数の虚像6についても、言語および単位が整合しているので、混乱などが生じにくい。
なお、虚像6は、詳しくは、画像データで構成されてもよいし、文字データで構成されてもよい。ここでの画像データとは、虚像6の映像情報を生成するための元データとして、例えばビットマップのように画素毎に輝度や色を有するデータである。ここでの文字データとは、虚像6の映像情報を生成するための元データとして、文字情報(例えば文字コード、文字フォント、サイズ、倍率、傾きなどの情報)があり、その文字情報に基づいて加工処理などによって実際の映像情報が生成されるものである。図8の例では、虚像800や虚像802は文字データに基づいて生成されており、虚像801は画像データに基づいて生成されている。
実施の形態1のHUD装置1は、上記例のように、多言語対応機能の一部としての自動変換機能を有する。また、実施の形態1のHUD装置1は、自動変換機能の一部として、交通標識を検出して交通標識に係わる支援情報としての虚像を表示させる機能も有する。
[変換(1-2)]
図9は、変換に関する第2案を示す。前述の図8の第1案では、以下のような課題は残る。図8で、表示領域701(特に表示領域702)内に表示される各虚像6は、言語および単位が統一されている。ユーザは、予めユーザ設定で英語およびマイル等の表示として設定しているため、表示領域701内で表示される虚像6が英語およびマイル等の表現を意味することは基本的に了解できる。しかしながら、例えば、図8の(A)や(B)で、標識アイコン801の「25」や標識アイコン801bの「24」の表記は、元の標識711の態様にならって数値のみであり、単位は表記されていない。よって、この標識アイコンの表記が、マイル表現(mile/h)なのかメートル表現(km/h)なのか等について、即時には認識しにくい可能性はある。現実の目の前の標識711は「40」の表記であるの対し、なぜ虚像6としては「25」または「24」の表記としているのかについて、ユーザに伝わりにくい可能性がある。
図9は、変換に関する第2案を示す。前述の図8の第1案では、以下のような課題は残る。図8で、表示領域701(特に表示領域702)内に表示される各虚像6は、言語および単位が統一されている。ユーザは、予めユーザ設定で英語およびマイル等の表示として設定しているため、表示領域701内で表示される虚像6が英語およびマイル等の表現を意味することは基本的に了解できる。しかしながら、例えば、図8の(A)や(B)で、標識アイコン801の「25」や標識アイコン801bの「24」の表記は、元の標識711の態様にならって数値のみであり、単位は表記されていない。よって、この標識アイコンの表記が、マイル表現(mile/h)なのかメートル表現(km/h)なのか等について、即時には認識しにくい可能性はある。現実の目の前の標識711は「40」の表記であるの対し、なぜ虚像6としては「25」または「24」の表記としているのかについて、ユーザに伝わりにくい可能性がある。
そこで、図9のように、第2案では、HUD装置1は、例えば検出された標識711についての虚像6として標識アイコンを表示させる際に、変換として、虚像901を生成して表示させる。標識アイコンである虚像901は、図8の(B)と同様に円形内に「24」の表記を有する画像部分としての標識アイコン901bと、その標識アイコン901bの近くに配置された、単位の表記を有する画像部分としての単位アイコン901cとを有する。これにより、ユーザは、虚像901のアイコンを見た場合に、このアイコンが「24mile/h」の車速制限を表していることを、よりわかりやすく認識できる。なお、図9の例では標識アイコン901bの下側に単位アイコン901cが配置されているが、これに限らず、標識アイコン901bの近く(例えば右側)に単位アイコン901cが配置されればよい。
[変換(1-3)]
図10は、変換に関する第3案を示す。図10の例では、HUD装置1は、例えば検出された標識711についての虚像6として標識アイコンを表示させる際に、変換として、虚像1001を生成して表示させる。標識アイコンである虚像1001は、矩形の領域内に、車速制限を表す数値「24」と、単位を表す「mi/h」との両方が表記されている。HUD装置1は、標識711の「40km/h」からの換算で例えば「24mi/h」とし、その換算結果を、現実の標識711(すなわち日本の交通標識)の態様とは異なる態様の表現での虚像1001として生成する。異なる態様とは、形状や色や文字配置などの様々な要素による態様である。このような元の標識711とは異なる態様の虚像1001とすることで、ユーザに対し、標識711から変換されていることが明確にして伝えられる。この異なる態様の虚像1001とすることで、標識711と標識アイコンとの類似による混乱を避けられる。
図10は、変換に関する第3案を示す。図10の例では、HUD装置1は、例えば検出された標識711についての虚像6として標識アイコンを表示させる際に、変換として、虚像1001を生成して表示させる。標識アイコンである虚像1001は、矩形の領域内に、車速制限を表す数値「24」と、単位を表す「mi/h」との両方が表記されている。HUD装置1は、標識711の「40km/h」からの換算で例えば「24mi/h」とし、その換算結果を、現実の標識711(すなわち日本の交通標識)の態様とは異なる態様の表現での虚像1001として生成する。異なる態様とは、形状や色や文字配置などの様々な要素による態様である。このような元の標識711とは異なる態様の虚像1001とすることで、ユーザに対し、標識711から変換されていることが明確にして伝えられる。この異なる態様の虚像1001とすることで、標識711と標識アイコンとの類似による混乱を避けられる。
なお、図10の例では、ユーザ設定が英語およびマイルであり、ユーザは、例えば米国出身の人である場合に、米国の交通標識の体系については予め知っている。図11は、実際に存在する米国の車速制限の標識の例を示す。図11の標識は、「25mile/h」の車速制限を表す標識の例であり、概略的に矩形の領域内に、車速制限を表す文字「SPEED LMIT」と、車速を表す数値「25」とが表記されている。
そこで、図10のような変換の場合において、変換後の虚像1001である標識アイコンとしては、実際に存在する米国の交通標識の態様も考慮して生成されると好ましい。図10の例では、虚像1001の態様は、実際の米国の交通標識の態様とは異ならせて生成されている。この場合、元の標識711の態様と、虚像1001の態様と、実際の米国の交通標識の態様とで、ユーザに混乱を起こさせないように、虚像1001の態様が決定されることが望ましい。変形例としては、虚像1001の態様を、実際の米国の交通標識の態様と同じまたは類似のものとして生成して表示させてもよい。
[変換(1-4)]
図12は、変換に関する第4案を示す。図12の例では、HUD装置1は、例えば検出された標識711についての虚像6として標識アイコンを表示させる際に、変換として、標識711とは異なる態様での標識アイコンである虚像1201を生成して表示させる。虚像1201は、矩形の領域内に、図10の虚像1001と同様の内容である車速を表す文字「24mi/h」と併せて、車速制限を表す文字「LIMIT」が付記されている。文字「LIMIT」は、この虚像1201が意味しようとする文字、すなわち標識711に対応した車速制限を表す文字である。この虚像1201の表記で使用される言語および単位は、ユーザ設定での言語および単位が用いられる。図12の虚像1201は、図11の実際の標識の態様とも異なるが、図10の虚像1001よりも、図11の実際の標識に近い態様となっている。図12の虚像1201とすることで、ユーザは、虚像1201である標識アイコンが意味する内容をよりわかりやすく認識できる。
図12は、変換に関する第4案を示す。図12の例では、HUD装置1は、例えば検出された標識711についての虚像6として標識アイコンを表示させる際に、変換として、標識711とは異なる態様での標識アイコンである虚像1201を生成して表示させる。虚像1201は、矩形の領域内に、図10の虚像1001と同様の内容である車速を表す文字「24mi/h」と併せて、車速制限を表す文字「LIMIT」が付記されている。文字「LIMIT」は、この虚像1201が意味しようとする文字、すなわち標識711に対応した車速制限を表す文字である。この虚像1201の表記で使用される言語および単位は、ユーザ設定での言語および単位が用いられる。図12の虚像1201は、図11の実際の標識の態様とも異なるが、図10の虚像1001よりも、図11の実際の標識に近い態様となっている。図12の虚像1201とすることで、ユーザは、虚像1201である標識アイコンが意味する内容をよりわかりやすく認識できる。
[変換(1-5)]
図13は、変換に関する第5案を示す。第5案は、第4案などに関する変形例である。図13の例では、HUD装置1は、例えば検出された標識711についての虚像6として標識アイコンを表示させる際に、変換として、例えば図12と同様の虚像1201を表示させるとともに、標識711の内容および変換した旨を表す音声を出力させる。この音声出力の内容の例は以下が挙げられる。
図13は、変換に関する第5案を示す。第5案は、第4案などに関する変形例である。図13の例では、HUD装置1は、例えば検出された標識711についての虚像6として標識アイコンを表示させる際に、変換として、例えば図12と同様の虚像1201を表示させるとともに、標識711の内容および変換した旨を表す音声を出力させる。この音声出力の内容の例は以下が挙げられる。
図13の例で、音声出力1301は、模式で吹き出しとして図示している。音声出力1301は、虚像1201の表示に伴う音声出力である。本例では、ユーザ設定で使用言語が英語である。音声出力1301の内容は、英語で例えば「The speed limit is 40km/h. Converted to miles, it is about 24 miles/h.」となる(日本語では例えば「制限速度は40km/hです。マイルに換算すると約24mile/hです。」)。この例では、換算結果を概数としている旨も伝えられる。
別の例では、音声出力1301は、英語で「The conversion result is displayed.」(日本語で「換算結果を表示しています。」)といったように、標識711からの換算結果を表示している旨を伝えてもよい。別の例では、音声出力1301は、変換結果のみとし、例えば英語で「The speed limit is about 24 miles/h.」等としてもよい。ユーザは、音声出力1301を聞くことで、虚像1201が意味する内容をよりわかりやすく認識できる。
第5案の変形例としては、予め、HUD装置1のユーザ設定で、虚像表示をオフ、音声出力をオン、と設定している場合(後述の図25)に、HUD装置1は、標識711に対し、虚像1201を表示せずに、音声出力1301のみを行ってもよい。
また、他の変形例としては、HUD装置1は、表示領域702内に、標識711に対応させた虚像6として、音声出力1301で示したような内容の文章の文字画像を表示させてもよい。
また、上記例のような虚像表示や音声出力に関する出力タイミングに関して、HUD装置1は、例えば標識711が検出された時点で、まず、例えば虚像1201の表示や音声出力1301を1回行う。虚像1201の表示や音声出力1301は、設定された時間、継続させてもよいし、設定された回数で、間を空けて何回か繰り返してもよい。
[変換(1-6)]
図14は、変換に関する第6案を示す。第6案は、第4案などに関する変形例である。図14の例は、仕向け地が米国で、米国の道路上で、日本出身のユーザが、ユーザ設定で日本語およびメートル法を使用する設定の場合(図5での場合506)を示す。現実物として例えば車速制限の標識1401が検出される。現在の車速が例えば「38km/h」である場合に、表示領域702にはその車速を表す虚像1402が表示される。HUD装置1は、例えば検出された標識1401についての虚像6として標識アイコンを表示させる際に、元の標識1401の「25mile/h」の車速制限の意味内容に基づいて、変換として、例えば虚像1403を表示させる。虚像1403は、矩形の領域内に、車速制限を表す文字「制限速度」と、換算による車速を表す文字「40km/h」とが表記されている。
図14は、変換に関する第6案を示す。第6案は、第4案などに関する変形例である。図14の例は、仕向け地が米国で、米国の道路上で、日本出身のユーザが、ユーザ設定で日本語およびメートル法を使用する設定の場合(図5での場合506)を示す。現実物として例えば車速制限の標識1401が検出される。現在の車速が例えば「38km/h」である場合に、表示領域702にはその車速を表す虚像1402が表示される。HUD装置1は、例えば検出された標識1401についての虚像6として標識アイコンを表示させる際に、元の標識1401の「25mile/h」の車速制限の意味内容に基づいて、変換として、例えば虚像1403を表示させる。虚像1403は、矩形の領域内に、車速制限を表す文字「制限速度」と、換算による車速を表す文字「40km/h」とが表記されている。
虚像1403の別の例としては、前述の各案と同様に、例えば下側に示す虚像1404のようにしてもよい。虚像1404は、円形の領域内に、「40km/h」に対応した数値「40」の表記を有し、実際の日本の交通標識と類似の態様とした標識アイコンである。このような虚像1403または虚像1404は、日本語およびメートル法に慣れたユーザにとっては認識しやすい。
さらに、第6案では、HUD装置1は、検出された標識1401に基づいて、表示領域701内に、虚像1405を表示する。虚像1405は、最大の表示領域701内の例えば上部(上辺付近の位置・領域)に配置して表示されている。虚像1405は、標識1401の意味内容である車速制限について、換算した旨および換算結果の表記を含む虚像6である。虚像1405は、例えば文字「制限速度25mi/hは約40km/hです」の表記を有する。虚像1405を表示する上部の位置は、後述のARなどに使われていない、空いている好適な領域として選択されている。HUD装置1は、ユーザ設定の言語および単位に合わせた表現で虚像1405あるいは音声を出力する。HUD装置1は、虚像1405のような文字内容に対応した音声出力を行ってもよい。虚像1405や音声出力は、前述と同様に、1回のみ一時的に行われてもよいし、定期的に行われてもよい。
なお、図14での虚像1405は、所定の位置に表示されるが、これに限定されず、後述のARの実施例(図15)と同様に、対象の現実物(標識1401)と関連付けられた位置にARとして重畳表示されてもよい。また、図13のような日本の例で、標識711に対し、虚像1405のような虚像6を英語の文字で表示する場合には、例えば「The speed limit 40km/h is about 24mi/h.」といった表記となる。
[解決手段(2):AR]
実施の形態1のHUD装置1は、上記言語および単位の変換に関する他の解決手段として以下を有する。実施の形態1のHUD装置1は、ARを用いた自動変換機能を有する。HUD装置1は、この機能では、所定の現実物として例えば標識が検出された場合に、その標識に対し、言語および単位の変換により生成した虚像6を、ARとして表示させる。言い換えると、HUD装置1は、表示領域8内での標識の位置に対し関連付けられた位置、例えば近くの位置に、そのARとしての虚像6を例えば吹き出しの画像として重畳表示させる。このARによる虚像を用いた自動変換機能により、例えばユーザが不慣れな言語および単位での交通標識などに関して、認識の速度などを向上でき、交通標識などが読めない、分からないといった誤認識を低減できる。このARによる虚像を用いた自動変換機能により、ユーザによる運転を補助でき、不慣れな交通標識などに関する効率的な学習も可能となる。
実施の形態1のHUD装置1は、上記言語および単位の変換に関する他の解決手段として以下を有する。実施の形態1のHUD装置1は、ARを用いた自動変換機能を有する。HUD装置1は、この機能では、所定の現実物として例えば標識が検出された場合に、その標識に対し、言語および単位の変換により生成した虚像6を、ARとして表示させる。言い換えると、HUD装置1は、表示領域8内での標識の位置に対し関連付けられた位置、例えば近くの位置に、そのARとしての虚像6を例えば吹き出しの画像として重畳表示させる。このARによる虚像を用いた自動変換機能により、例えばユーザが不慣れな言語および単位での交通標識などに関して、認識の速度などを向上でき、交通標識などが読めない、分からないといった誤認識を低減できる。このARによる虚像を用いた自動変換機能により、ユーザによる運転を補助でき、不慣れな交通標識などに関する効率的な学習も可能となる。
例えば、図5での場合505のように、ユーザ設定で表示の言語が英語、単位がヤード・ポンド法、マイルの場合において、日本の道路上で、例えば「40km/h」の車速制限の標識が検出されたとする。この場合、図7の(B)の例のように、その標識またはそれに対応する標識アイコンにおける数値「40」の表記が、意味として「40km/h」なのか「40mile/h」なのか、混乱する可能性がある。そこで、HUD装置1は、その標識に対し、言語および単位の変換により生成した虚像6を、ARとして表示させる。このARの虚像6(例えば標識アイコン)は、「この40km/hは、換算すると25mile/hです」といった意味内容をユーザに伝えるものとする。
[変換(2-1)]
図15は、上記解決手段に対応した、ARを用いた実施例における第1案を示す。図15は、実景の例としては前述と同様であり、日本の道路上で、現実物として例えば標識711を有する。HUD装置1のユーザ設定で、ユーザが使用する表示の言語および単位として、英語、マイル等が設定されているとする。従来からあるARの表示例としては、検出された先行車両1501の位置に対し、リング状の虚像1502を重畳表示するARが挙げられる。虚像1502は、先行車両1501への注意を表すアイコンである。
図15は、上記解決手段に対応した、ARを用いた実施例における第1案を示す。図15は、実景の例としては前述と同様であり、日本の道路上で、現実物として例えば標識711を有する。HUD装置1のユーザ設定で、ユーザが使用する表示の言語および単位として、英語、マイル等が設定されているとする。従来からあるARの表示例としては、検出された先行車両1501の位置に対し、リング状の虚像1502を重畳表示するARが挙げられる。虚像1502は、先行車両1501への注意を表すアイコンである。
HUD装置1は、標識711が検出された場合に、標識711の言語および単位から変換した結果を、変換元の標識711に対し重畳表示させるARとしての虚像1503を生成して表示させる。虚像1503は、吹き出し画像であり、吹き出し内に文字「40km/h≒24mi/h」を有する。「40km/h≒24mi/h」の表記は、「車速制限40km/hはマイルに換算すると約24mi/hである」と同様の意味を表している。HUD装置1は、吹き出しの虚像1503に、少なくとも変換後の数値「24mi/h」を表示させる。ユーザは、このような虚像1503を見ることで、吹き出しが指し示している標識711の意味内容が、車速制限24mi/hに相当することを認識できる。また、HUD装置1は、虚像1503に対応させた同様の内容の音声出力を行ってもよい。
図15の下側には、虚像1503の表示に関する変形例を示している。HUD装置1は、標識711の意味内容を変換後の言語(例えば英語)で表す虚像6のみを表示してもよい。特に、虚像1504は、変換前の単位(例えばメートル法)で車速制限を表す虚像6のみを表示する例である。虚像1505は、変換後の単位(例えばマイル)で車速制限を表す虚像6のみを表示する例である。他の例としては、虚像1506のように、前述の図13の音声出力1301の情報内容と同様の文字をARの虚像として表示させてもよい。標識711の例のみならず、前述(図7)の案内標識712などの場合にも、同様にARの虚像の表示や音声出力が可能である。
上記例のように、ARに関する自動変換機能を備えるHUD装置1によれば、ARの虚像に関する認識をしやすくし、ユーザの運転などを支援することができる。
[処理フロー(1)]
図16は、実施の形態1のHUD装置1における主な処理フローの構成例を示す。このフローは、自動変換機能に係わる基本的な制御を示す。HUD装置1の特に図3の制御部101のプロセッサは、本フローの処理を実行する。
図16は、実施の形態1のHUD装置1における主な処理フローの構成例を示す。このフローは、自動変換機能に係わる基本的な制御を示す。HUD装置1の特に図3の制御部101のプロセッサは、本フローの処理を実行する。
ステップS1で、HUD装置1は、制御ユニット5等から、車両情報4(図1)や、検出された現実物等の各種の入力情報を取得する。
ステップS2で、HUD装置1は、ステップS1で取得された情報に基づいて、所定の制御タイミングごとの時点に、その情報を元として表示領域8に表示すべき虚像6について、自動的な変換、すなわち言語の翻訳および単位の換算を行うか否かを判断する。言い換えると、ステップS2で、HUD装置1は、ユーザの使用する言語および単位と、所定の現実物(言い換えると対象物)の言語および単位とが一致か不一致か等を判断する。一致の場合は変換の必要が無いことに対応し、不一致の場合は変換の必要が有ることに対応する。
ステップS2の判断は、例えば以下のように構成される。まず、一方で、HUD装置1は、ユーザの使用する言語および単位を判断する。このユーザ使用言語等の判断は、例えば、予めユーザ設定で虚像表示に使用すると設定されている言語および単位を確認・認識することで可能である。
また、他方で、HUD装置1は、対象である所定の現実物(例えば交通標識)の言語および単位を判断する。この現実物の言語等の判断は、例えば、車両2が現在走行している国や地域や位置の判断に基づいて可能である。例えば、現在のGPS位置情報(図4のGPS受信機417から得られる位置情報)から、現在走行している国や地域がわかるので、その国や地域から、現実物の言語および単位がわかる。
そして、HUD装置1は、上記判断で得たユーザ使用言語等と、現実物の言語等とを比較し、一致か不一致かを確認する。それらが一致の場合、自動変換を行わないと判断され(S2-No)、ステップS4へ進む。それらが不一致の場合、自動変換を行うと判断され(S2-Yes)、ステップS3へ進む。
ステップS3では、HUD装置1は、ステップS1の入力情報で示される、例えば検出された所定の現実物(例えば交通標識)に対応させて表示領域8に表示するための虚像6について、ユーザ使用言語および単位に合わせるように自動的な変換(言語の翻訳および単位の換算)を行う。HUD装置1は、変換の結果として、表示領域8に虚像6を表示するための映像情報を生成する。
ステップS4では、HUD装置1は、映像情報に基づいて、図3の表示装置駆動部105を通じて表示装置10の表示を制御することで、表示領域8に虚像6を表示させる。ステップS2からステップS4に遷移した場合では、HUD装置1は、例えば入力情報に対応した言語および単位の表現のままとした虚像6(言い換えると変換無しの虚像)を、表示領域8に表示させる。ステップS3からステップS4に遷移した場合では、HUD装置1は、例えば入力情報(例えば交通標識)に対応した言語および単位の表現がユーザに合わせて変換された後の虚像6(言い換えると変換有りの虚像)を、表示領域8に表示させる。ステップS4の後、本フローは終了となり、制御タイミングごとに最初から同様に繰り返しのループである。
[ユーザ設定]
図17は、HUD装置1でのユーザ設定のインタフェースの例を示す。図17の例では、HUDの表示領域8である表示領域701に、ユーザ設定のための映像情報が表示されている。ユーザは、例えばHUD装置1に付属するリモコンや車両2のコントロールパネル、あるいは他の操作手段を操作して、図17のようなユーザ設定の画面を表示させる。
図17は、HUD装置1でのユーザ設定のインタフェースの例を示す。図17の例では、HUDの表示領域8である表示領域701に、ユーザ設定のための映像情報が表示されている。ユーザは、例えばHUD装置1に付属するリモコンや車両2のコントロールパネル、あるいは他の操作手段を操作して、図17のようなユーザ設定の画面を表示させる。
他の操作手段としては、例えば車両2のステアリング9(図2)等に備える操作用インタフェース(例えばボタンやスイッチやキー等)を用いてもよい。この場合、その操作用インタフェースでの操作情報を受け取るのは、車両2の制御ユニット5である。HUD装置1は、制御ユニット5から、CAN通信等を通じて、その操作情報を受け取る。
ユーザ設定の際の処理の流れは例えば以下のようになる。HUD装置1の表示領域8、または車両2のコントロールパネルなどに表示されたメニュー画面において、ユーザによる操作によって、ユーザ設定が選択される。HUD装置1は、ユーザ設定の操作情報を受け取ると、ユーザ設定を行うモードに移行する。このモードでは、HUD装置1または制御ユニット5は、表示領域8または車両2のコントロールパネルなどに、ユーザ設定画面を表示させる。図17の例は表示領域8を用いる場合である。このモードでは、ユーザは、ユーザ設定画面に対し、リモコン等の操作手段を用いて、ユーザ設定の操作を行う。HUD装置1は、そのユーザ設定の操作の操作情報を受け取る。HUD装置1は、その操作情報に従い、ユーザ設定画面の表示を更新しながら、ユーザ設定の処理を行い、ユーザ設定情報を更新する。ユーザ設定の完了後、ユーザが所定の決定操作を行う。HUD装置1は、その決定操作に従って、ユーザ設定情報を保存し、ユーザ設定のモードを終了する。
なお、ユーザ設定や表示領域8のキャリブレーション等の操作は、安全を確保するために、車両2が停止した状態で許可される。
ユーザは、図17のようなユーザ設定画面に対し、ユーザ設定の確認や入力を行う。図17の映像では、「ユーザ設定」のメニューにおいて、「HUD表示に使用する言語の設定」項目1701と「HUD表示に使用する単位の設定」項目1702とを有する。項目1701では、日本語や英語などの各種の言語の候補から、ユーザが1つを選択して設定できる。項目1702では、メートルやマイル等の各種の単位の候補から、ユーザが1つを選択して設定できる。また、虚像表示設定のみならず、音声出力に関しても同様に言語や単位の設定が可能である(後述の図25)。図17の例に限らず、例えば項目1701は「あなたの公用語は何ですか?」といった問い合わせ形式としてもよい。
図3の制御部101のプロセッサは、上記画面でユーザ設定された情報を、ユーザ設定情報として、メモリ資源(例えば図3の記憶部102)に保存する。プロセッサは、適宜にそのユーザ設定情報を参照することで、ユーザがHUD出力に使用したい所望の言語および単位を確認できる。
上記HUD装置1の図16の処理フローに関して各種の実装が可能である。以下に具体例を説明する。まず、車両2に搭載されたHUD装置1が、現在、どの国や地域などにいるか、という判断のための情報や手段が必要である。これは、前述のGPS位置情報などを利用できる。図3の制御部101は、CAN通信などを通じて、制御ユニット5から、図4のGPS受信機417による位置情報などを定期的に取得する。制御部101は、取得した位置情報から、当該HUD装置1が現在いる国や地域、より詳しくは道路上の地点などを把握できる。また、制御部101は、車載のカーナビゲーションシステム等から、車両2の現在位置情報、道路情報、地図情報、経路情報などを取得してもよい。
制御部101は、上記国や地域が把握できた場合、その国や地域から、当該HUD装置1の付近の現実物(例えば交通標識)についての標準的な言語および単位を判断する。この判断のための情報や手段が必要である。この情報や手段としては、例えば予め各種の情報の対応付けのテーブルのデータを用意・設定しておくことが挙げられる。HUD装置1は、そのようなテーブルをメモリ資源に保持しておくか、あるいは、適宜に外部から参照する。制御部101は、そのテーブルから、現実物についての標準的な言語および単位を判断できる。
図18は、変換の制御に必要な各種の情報(位置情報と言語および単位等)を予め対応付けた対応表1800のデータテーブルの構成例を示す。制御部101は、例えばこのような対応表1800のデータテーブルをメモリ資源に保持しておく。図18の対応表1800は、列として、GPS位置情報を構成する緯度情報および経度情報と、国と、地域と、言語と、単位とを有する。
この対応表1800には、多言語対応機能で対象となる主要な国や地域ごとに、緯度および経度を含む位置情報の範囲と、国・地域と、標準的な言語および単位との対応関係が定義される。制御部101は、取得したGPS位置情報の緯度および経度を、対応表1800に照らし、該当する国・地域、言語および単位を判断する。なお、制御部101は、取得したGPS位置情報の緯度および経度が、対応表1800の位置情報の行に直接的に該当しない場合には、最も近い位置情報の行を選択する。
なお、対応表1800の緯度情報および経度情報は、ある程度まとめて数値範囲として定義される。地域は、例えば日本での都道府県、市町村などの区分が挙げられるが、これに限定されず、階層的に定義されてもよい。単位は、長さや速度など、各種の単位がある。同じ国でも地域に応じて言語や単位が異なる場合も想定される。また、この対応表1800は、虚像6に係わる対象となる所定の現実物(例えば交通標識)に関して言語および単位を判断するために規定されたテーブルであり、対象の現実物が複数種類ある場合には、対象の現実物ごとに規定されてもよい。
[処理フロー(2)]
図19は、図16のフローよりも詳細な実施例としての処理フローを示す。ステップS101で、HUD装置1の制御部101(図3)のプロセッサは、制御ユニット5とのCAN通信を確立する。ステップS102で、HUD装置1は、当該HUD装置1の現在の位置情報を取得する。これは例えばGPS受信機417の位置情報の取得である。
図19は、図16のフローよりも詳細な実施例としての処理フローを示す。ステップS101で、HUD装置1の制御部101(図3)のプロセッサは、制御ユニット5とのCAN通信を確立する。ステップS102で、HUD装置1は、当該HUD装置1の現在の位置情報を取得する。これは例えばGPS受信機417の位置情報の取得である。
ステップS103で、HUD装置1は、HUD表示設定情報(図17のようなユーザ設定の情報)を取得する。HUD装置1は、その設定情報から、HUDの表示に使用するとユーザが設定している言語および単位(「ユーザ使用言語・単位」)を把握する。
ステップS104で、HUD装置1は、図18のような対応表1800を参照し、ステップS102で得た位置情報に基づいて、現在HUD装置1がいる国や地域に対応付けられた言語および単位(「現実物の言語・単位」)を把握する。
ステップS105で、HUD装置1は、ステップS102で把握したユーザ使用言語・単位と、ステップS104で把握した現実物の言語・単位とを用いて、図16のステップS2と同様の自動的な変換に係わる判断を行う。すなわち、ステップS105で、HUD装置1は、ユーザ使用言語等と対象現実物の言語等とが一致か不一致かを判断する。不一致の場合(S105-Yes)にはステップS106へ進み、一致の場合にはステップS107へ進む。
ステップS106では、HUD装置1は、対象現実物(例えば交通標識)についての自動的な変換の有効化を行う。言い換えると、HUD装置1は、対象現実物についての変換の有効状態(オン状態)と無効状態(オフ状態)との設定について、有効状態にする。この有効化は、対象現実物の種類(言い換えるとカテゴリや区分等)ごとに行われる。例えば、対象現実物の種類として、前述の図7での車速制限の標識711と、案内の標識712とが区別して定義される。その場合において、例えば車速制限の標識という種類の現実物について、変換の有効化が行われる。
そして、ステップS106中で、HUD装置1は、有効状態の現実物については、自動的な変換として、ユーザ使用言語等に合わせるように翻訳および換算を行う。HUD装置1は、変換の結果として、表示領域8に虚像6を表示するための映像情報を生成する。
なお、この有効化および変換の処理は、HUD装置1がバックグラウンド(ステップS106とは別のタイミング)で実行してもよい。例えば、最初に1回ある種類の交通標識(例えば図7の車速制限の標識711)が検出された場合に、HUD装置1は、その交通標識の言語および単位の表現を変換した虚像6の映像データを生成し、メモリに保持する。もしくは、HUD装置1は、過去に生成済みのその交通標識の変換後の虚像6の映像データがメモリに保存されている場合にはその映像データを参照してもよい。そして、HUD装置1は、その後2回目以降、同じ種類の交通標識が検出される場合、変換の処理を省略し、メモリに保持しておいた映像データを読み出して使用してもよい。
ステップS107では、HUD装置1は、対象現実物(例えば交通標識)についての自動的な変換の無効化を行う。言い換えると、HUD装置1は、対象現実物についての変換の状態の設定について、無効状態にする。この無効化は、ステップS106の有効化と対応した処理であり、対象現実物の種類ごとに行われる。
上記フロー例のように、対象現実物の種類ごとに変換の有効化/無効化を制御する構成とすることで、変換の処理を効率化することができる。
ステップS106やステップS107に続くステップS108では、HUD装置1は、映像情報に基づいて、図3の表示装置駆動部105を通じて表示装置10の表示を制御することで、変換有無に応じた虚像6を表示領域8に表示させる。ステップS108の後、本フローは終了となり、制御タイミングごとに最初から同様に繰り返しのループである。
[処理フロー(3)]
図20は、図19のフローの変形実施例に相当し、ユーザが表示設定を切り替えたタイミングで判断などを行う処理フローを示す。ステップS201~S203までは、図19と同様である。ステップS204で、HUD装置1は、表示領域8での虚像6の表示を開始する。ステップS205で、HUD装置1は、ユーザによるHUD表示設定(言語および単位)の変更を検出する。この変更検出は、例えば図17のようなユーザ設定の操作およびユーザ設定情報の保存を契機とした検出である。HUD装置1は、変更後のユーザ設定情報における、ユーザ使用言語・単位を把握する。HUD装置1は、ステップS205の設定変更を契機として、ステップS206以降の処理を行う。
図20は、図19のフローの変形実施例に相当し、ユーザが表示設定を切り替えたタイミングで判断などを行う処理フローを示す。ステップS201~S203までは、図19と同様である。ステップS204で、HUD装置1は、表示領域8での虚像6の表示を開始する。ステップS205で、HUD装置1は、ユーザによるHUD表示設定(言語および単位)の変更を検出する。この変更検出は、例えば図17のようなユーザ設定の操作およびユーザ設定情報の保存を契機とした検出である。HUD装置1は、変更後のユーザ設定情報における、ユーザ使用言語・単位を把握する。HUD装置1は、ステップS205の設定変更を契機として、ステップS206以降の処理を行う。
ステップS206以降は、図19のステップS104以降と基本的に同様である。ステップS206で、HUD装置1は、対応表1800を参照し、現在の位置に対応付けられた、所定の現実物(例えば交通標識)の言語・単位を把握する。ステップS207で、HUD装置1は、ユーザ使用言語等と現実物の言語等とが不一致かどうかを判断する。不一致の場合(S207-Yes)にはステップS208へ進み、一致の場合(S207-No)にはステップS209へ進む。ステップS208では、HUD装置1は、対象現実物についての変換を有効化し、変換後の映像データを得る。ステップS209では、HUD装置1は、対象現実物についての変換を無効化し、変換前の映像データを得る。その後、ステップS210では、HUD装置1は、対象現実物についての変換の有効状態/無効状態に応じた言語および単位の表現での虚像6を表示領域8に表示させる。
[処理フロー(4)]
図21は、図20のフローの変形実施例に相当し、異なる構成点として、ユーザに対し変換を行うかどうかを問い合わせるステップS211等が追加されている。図21のフローでは、HUD装置1が自動的に判断して変換を実行するのではなく、ユーザに変換の確認(言い換えると許可)をとってから変換が実行される。前述のステップS207の判断で、ユーザ使用言語と現実物言語との不一致により変換を行うべきとなった場合(S207-Yes)、ステップS211へ進む。ステップS211では、HUD装置1は、所定のユーザインタフェースにより、ユーザに対し、HUD表示の言語・単位に係わる有効化および変換を行うかどうかの問い合わせを表示する。ユーザは、この問い合わせを見て確認し、リモコン等の操作手段により、変換を許可するか否かを入力する。
図21は、図20のフローの変形実施例に相当し、異なる構成点として、ユーザに対し変換を行うかどうかを問い合わせるステップS211等が追加されている。図21のフローでは、HUD装置1が自動的に判断して変換を実行するのではなく、ユーザに変換の確認(言い換えると許可)をとってから変換が実行される。前述のステップS207の判断で、ユーザ使用言語と現実物言語との不一致により変換を行うべきとなった場合(S207-Yes)、ステップS211へ進む。ステップS211では、HUD装置1は、所定のユーザインタフェースにより、ユーザに対し、HUD表示の言語・単位に係わる有効化および変換を行うかどうかの問い合わせを表示する。ユーザは、この問い合わせを見て確認し、リモコン等の操作手段により、変換を許可するか否かを入力する。
次に、ステップS212では、HUD装置1は、ステップS211でのユーザの操作入力に応じて、ユーザが変換を許可する場合(S212-Yes)にはステップS208へ進み、許可しない場合(S212-No)にはステップS209へ進む。以降は前述と同様である。
図22は、ステップS211の問い合わせの表示例を示す。本例では表示領域8を用いる場合を示す。HUD装置1は、表示領域701に、対象現実物(例えば交通標識)についての言語・単位の変換(例えば英語やマイルへの変換)を行うかどうかの問合せの虚像を表示させる。図22の表示領域701では、「交通標識の標識アイコンについて言語・単位を変換しますか?」といった文字画像と、標識アイコンの変換前後の例2201と、「変換する」「変換しない」の選択肢とが表示されている。ユーザは、リモコン等を操作して、変換する/変換しないを選択する。例2201は、例えば左側の変換前が対象現実物の言語・単位の表現であり、右側の変換後がユーザ設定の言語・単位に合わせた対象現実物の言語・単位の表現である。
HUD装置1は、図22のような問い合わせの出力を、例えば車両2が停止した状態となったタイミングで行うと望ましい。また、図22のような問い合わせは、図17のようなユーザ設定の一部として行われてもよい。また、図22のような問い合わせ、またはユーザ設定で、変換後の虚像6(例えば標識アイコン)の態様について、前述の複数の各案(図7~図15等)を候補として、ユーザが選択できるようにしてもよい。
[処理フロー(5)]
図23は、図20の変形実施例に相当する他の処理フロー例を示す。このフローでは、異なる構成点として、HUD装置1を搭載した車両2の走行中に、定期的に、現在位置の現実物の言語等と、ユーザ設定言語等との一致/不一致が確認される。図23で、ステップS201~S206までは、前述と同様である。ステップS207では、所定の定期的な制御タイミングで、HUD装置1は、ユーザ設定でのユーザ使用言語等と現在位置に応じた現実物の言語等とが一致か不一致かを判断する。判断の結果、一致の場合(S207-No)にはステップS209に進み、不一致の場合(S207-Yes)にはステップS208に進む。ステップS208では、対象現実物についての変換の有効化が行われる。ステップS209では、対象現実物についての変換の無効化が行われる。ステップS210では、変換有無に応じた虚像6が表示領域8に表示される。ステップS210の後、ステップS202に戻り、次の制御タイミングの処理が同様に繰り返される。
図23は、図20の変形実施例に相当する他の処理フロー例を示す。このフローでは、異なる構成点として、HUD装置1を搭載した車両2の走行中に、定期的に、現在位置の現実物の言語等と、ユーザ設定言語等との一致/不一致が確認される。図23で、ステップS201~S206までは、前述と同様である。ステップS207では、所定の定期的な制御タイミングで、HUD装置1は、ユーザ設定でのユーザ使用言語等と現在位置に応じた現実物の言語等とが一致か不一致かを判断する。判断の結果、一致の場合(S207-No)にはステップS209に進み、不一致の場合(S207-Yes)にはステップS208に進む。ステップS208では、対象現実物についての変換の有効化が行われる。ステップS209では、対象現実物についての変換の無効化が行われる。ステップS210では、変換有無に応じた虚像6が表示領域8に表示される。ステップS210の後、ステップS202に戻り、次の制御タイミングの処理が同様に繰り返される。
図24は、図23の処理フローに係わる具体的処理例を示す。第1時点では、HUD装置1を搭載した車両2が、ある国Aの地域A1を走行している。国Aの地域A1は、標準的な言語・単位として、言語A、単位Aが使用されている。車両2の運転者であるユーザU1は、予め例えば言語Aおよび単位Aを使用するものとしてユーザ設定を行っている。ここで、HUD装置1を搭載した車両2が、国や地域を跨いで走行する場合がある。例えば、車両2が、国Aの地域A1から、第2時点では、国Bの地域B1に入ったとする。国Bの地域B1は、標準的な言語・単位として、言語B、単位Bが使用されている。この場合、第2時点では、ユーザ使用言語が言語A、現実物の言語が言語Bとなり、不一致となる。そのため、自動変換機能が有効で図23のフローに従う場合、HUD装置1は、ステップS207の定期的な判断およびステップS208への流れに基づいて、現実物(例えば標識)の言語B等を、言語A等の表現に変換した虚像6(例えば標識アイコン)を表示させる。
また、例えば、車両2が、国Bの地域B1から、第3時点では、再び、国Aの地域A1に入ったとする。この場合、第3時点では、ユーザ使用言語が言語A、現実物の言語が言語Aとなり、一致となる。そのため、自動変換機能が有効で図23のフローに従う場合、HUD装置1は、ステップS207の定期的な判断およびステップS209への流れに基づいて、現実物(例えば標識)の言語A等を、そのまま言語A等の表現のままでの虚像6(例えば標識アイコン)を表示させる。
ステップS207のような定期的な判断(言い換えると言語・単位のズレのチェック)は、所定の頻度(それに対応する時間や距離など)で行うようにすればよい。所定の頻度は、あまり短時間の頻度(例えば秒単位)にする必要は無く、例えば10分単位、30分単位など、ある程度の長時間の頻度でよい。定期的な判断の設定値は、頻度の代わりに、車両2の走行距離を用いてもよいし、国や地域ごとに設定された値としてもよい。図23でのステップS207の定期的な判断の頻度は、ステップS202の位置情報の取得の間隔よりも長くてもよい。
また、詳細な処理例としては以下としてもよい。車両2のカーナビゲーションシステムで行き先が設定されており、その行き先が、現在の国や地域(例えば言語A使用国)とは異なる、他の国や地域(例えば言語B使用国)である場合や、図23の例のように途中で他の国を通過する場合などがある。HUD装置1は、そのような場合を判断・検出する。例えば、図3の制御部101は、制御ユニット5等から、ナビゲーション情報を取得し、行き先の国や地域を把握し、現在地と行き先とを結ぶ経路を把握する。制御部101は、対応表1800等に基づいて、経路上での、現実物の言語・単位を把握する。制御部101は、経路上での、現実物の言語・単位の変化が発生する境界線(例えば国境線)を把握する。
HUD装置1は、上記経路などの判断、把握に基づいて、定期的な判断(ステップS207)のタイミングを制御する。例えば、HUD装置1は、国Aから国Bへの境界線に対し、所定の距離または時間以内に近付いたと判断した場合、定期的な判断(ステップS207)を開始させてもよい。また、HUD装置1は、通常時には、定期的な判断(ステップS207)を第1頻度で行う設定としておき、境界線に対し所定の距離または時間以内にあると判断した場合に、定期的な判断(ステップS207)の頻度を高めた第2頻度として実行させてもよい。
[他のユーザ設定]
図25は、HUD装置1のユーザ設定の他の表示例を示す。図25では、表示領域701に、実施の形態1での自動変換機能についてのオン/オフのユーザ設定を可能とする、「HUDの言語・単位の自動変換機能」項目2501が表示されている。項目2501では、ユーザが操作によりオン(有効)かオフ(無効)を選択して設定できる。また、項目2501では、HUDの虚像6の表示と、その虚像表示に対応した音声出力とのそれぞれについて、機能のオン/オフが設定できる場合を示している。
図25は、HUD装置1のユーザ設定の他の表示例を示す。図25では、表示領域701に、実施の形態1での自動変換機能についてのオン/オフのユーザ設定を可能とする、「HUDの言語・単位の自動変換機能」項目2501が表示されている。項目2501では、ユーザが操作によりオン(有効)かオフ(無効)を選択して設定できる。また、項目2501では、HUDの虚像6の表示と、その虚像表示に対応した音声出力とのそれぞれについて、機能のオン/オフが設定できる場合を示している。
また、「対象物」項目2502では、自動変換機能における対象となる所定の現実物として、複数の種類の現実物(例えば交通標識、その他)がある場合に、対象現実物ごとに、機能の適用有無をユーザが設定できる場合を示している。現実物の種類は、前述の車速制限の標識711、案内の標識712といったより細かい種類としてもよい。
また、図26は、HUD装置1の他のユーザ設定の表示例を示す。図26では、表示領域701に、自動変換機能に係わる詳細のユーザ設定として、項目2601が表示されている。項目2601は、前述の図8等の例のような非ARでの虚像6の表示の場合(「非AR」)と、図15のようなARでの虚像6の表示の場合(「AR」)とで、いずれを適用するかをユーザ設定可能とする項目である。「非AR」設定の場合には、さらに全体の表示領域701のうちどの位置(例えば下辺付近の表示領域702)に虚像6を表示させるか等を設定可能としてもよい。「AR」設定の場合には、さらにARの虚像6の態様として、吹き出し画像などの詳細を設定可能としてもよい。
また、AR機能が実装されているHUD装置1の場合に、「AR」設定の選択肢が選択可能である。また、AR機能が実装されていないHUD装置の場合でも、前述の表示領域702等において、吹き出し状の虚像6を表示させてもよく、この場合には、疑似的なAR表示が可能である。
[効果等]
以上説明したように、実施の形態1のHUD装置1によれば、自動変換機能を備え、複数の言語および単位に対応できる等、より好適な使い勝手などを実現できる。運転者などのユーザは、交通標識などの現実物における言語や単位の表現が、自分が使用する所望の言語・単位とは異なる場合に、言語や単位の表現が自動的に変換された虚像を見ることができる。これにより、ユーザは、交通標識などを認識や学習しやすくなり、安全運転などに寄与できる。
以上説明したように、実施の形態1のHUD装置1によれば、自動変換機能を備え、複数の言語および単位に対応できる等、より好適な使い勝手などを実現できる。運転者などのユーザは、交通標識などの現実物における言語や単位の表現が、自分が使用する所望の言語・単位とは異なる場合に、言語や単位の表現が自動的に変換された虚像を見ることができる。これにより、ユーザは、交通標識などを認識や学習しやすくなり、安全運転などに寄与できる。
実施の形態1では、言語および単位の両方を変換する場合を説明したが、言語のみを変換する実施例や、単位のみを変換する実施例も、同様に可能である。
[変形例(1)]
実施の形態1の変形例として以下も可能である。第1変形例では、図16のフローでのステップS2の判断における、国や地域に応じた現実物の言語・単位を検出・判断する技術的手段の他の例として以下を適用する。第1変形例のHUD装置は、前述のGPS位置情報を用いるのではなく、車載カメラの画像からの画像認識を用いる。例えば、図6の車両2に搭載された車外カメラ116が用いられる。例えば車両2の制御ユニット5は、車外カメラ116で撮影された画像を取得し、図3の制御部101は、制御ユニット5から、その画像のデータを取得する。制御部101は、その画像に基づいて、パターンマッチング等の画像認識技術により、所定の現実物(例えば交通標識)を検出する。その際、制御部101は、画像内の現実物(例えば交通標識)から、その現実物に表記された言語や単位を判定する。例えば、制御部101は、画像内の現実物の形状や色や文字や数値から、例えば図6のような日本国の車速制限の標識601、および単位がkm/hであることを判断できる。
実施の形態1の変形例として以下も可能である。第1変形例では、図16のフローでのステップS2の判断における、国や地域に応じた現実物の言語・単位を検出・判断する技術的手段の他の例として以下を適用する。第1変形例のHUD装置は、前述のGPS位置情報を用いるのではなく、車載カメラの画像からの画像認識を用いる。例えば、図6の車両2に搭載された車外カメラ116が用いられる。例えば車両2の制御ユニット5は、車外カメラ116で撮影された画像を取得し、図3の制御部101は、制御ユニット5から、その画像のデータを取得する。制御部101は、その画像に基づいて、パターンマッチング等の画像認識技術により、所定の現実物(例えば交通標識)を検出する。その際、制御部101は、画像内の現実物(例えば交通標識)から、その現実物に表記された言語や単位を判定する。例えば、制御部101は、画像内の現実物の形状や色や文字や数値から、例えば図6のような日本国の車速制限の標識601、および単位がkm/hであることを判断できる。
また、HUD装置1の制御部101が画像認識処理を行うことに限らず、車両2の制御ユニット5等が画像認識処理を行って、現実物の言語および単位を判定してもよい。そして、HUD装置1がその制御ユニット5等から判定結果情報を取得してもよい。また、HUD装置1にカメラを備える場合には、HUD装置1がそのカメラの画像を利用して画像認識処理を行ってもよい。
[変形例(2)]
第2変形例のHUD装置は、図16のフローでのステップS2の判断における、ユーザが使用する所望の言語・単位を検出・判断する技術的手段の他の例として以下を適用する。第2変形例のHUD装置は、HUD装置のユーザ設定の情報を用いるのではなく、例えば、車両2内に搭載されているマイク等での音声認識を用いる。このマイク等は、図3での音声入力装置106と対応する。例えば、車両2の制御ユニット5は、車両2内のマイクによる入力音声情報を取得する。入力音声は、運転者などのユーザが発生する会話などの音声である。入力音声は、ユーザが意図的に入力する音声としてもよいし、自動的に収集される音声としてもよい。HUD装置1の制御部101は、制御ユニット5から、その入力音声情報のデータを取得する。制御部101は、入力音声情報に基づいて、音声認識処理を行うことで、会話などの文字内容を取得する。そして、制御部101は、その文字内容から、ユーザが使用している言語および単位を判定する。
第2変形例のHUD装置は、図16のフローでのステップS2の判断における、ユーザが使用する所望の言語・単位を検出・判断する技術的手段の他の例として以下を適用する。第2変形例のHUD装置は、HUD装置のユーザ設定の情報を用いるのではなく、例えば、車両2内に搭載されているマイク等での音声認識を用いる。このマイク等は、図3での音声入力装置106と対応する。例えば、車両2の制御ユニット5は、車両2内のマイクによる入力音声情報を取得する。入力音声は、運転者などのユーザが発生する会話などの音声である。入力音声は、ユーザが意図的に入力する音声としてもよいし、自動的に収集される音声としてもよい。HUD装置1の制御部101は、制御ユニット5から、その入力音声情報のデータを取得する。制御部101は、入力音声情報に基づいて、音声認識処理を行うことで、会話などの文字内容を取得する。そして、制御部101は、その文字内容から、ユーザが使用している言語および単位を判定する。
また、HUD装置1の制御部101が音声認識処理を行うことに限らず、車両2の制御ユニット5等が音声認識処理を行って、ユーザの使用する言語および単位を判定してもよい。そして、HUD装置1がその制御ユニット5等から判定結果情報を取得してもよい。また、HUD装置1にマイク等(図3での音声入力装置106)を備える場合には、HUD装置1は、そのマイク等により得た音声を利用してもよい。
[表示装置の構成例]
図27は、実施の形態1のHUD装置1に実装される表示装置10の構成例として、光源装置11および表示素子12の構成例を示す。図27は、Y-Z面での模式断面図を示している。図27で、表示素子12以外の部分が光源装置11を構成している。光源装置11は、光源側から順に、LED基板81と、コリメータ82と、偏光変換素子83と、導光体84と、拡散板85とを備える。拡散板85の後ろ(出射側)には液晶パネルである表示素子12が配置されている。表示素子12の後ろ(出射側)には図2のミラー3Aが配置されている。本例では、図示のように、Y方向に沿って、LED基板81、コリメータ82、偏光変換素子83、導光体84が配置されており、導光体84からZ方向に沿って、拡散板85、液晶パネルである表示素子12が配置されている。この光源装置11は一例であり、これに限定するものではない。
図27は、実施の形態1のHUD装置1に実装される表示装置10の構成例として、光源装置11および表示素子12の構成例を示す。図27は、Y-Z面での模式断面図を示している。図27で、表示素子12以外の部分が光源装置11を構成している。光源装置11は、光源側から順に、LED基板81と、コリメータ82と、偏光変換素子83と、導光体84と、拡散板85とを備える。拡散板85の後ろ(出射側)には液晶パネルである表示素子12が配置されている。表示素子12の後ろ(出射側)には図2のミラー3Aが配置されている。本例では、図示のように、Y方向に沿って、LED基板81、コリメータ82、偏光変換素子83、導光体84が配置されており、導光体84からZ方向に沿って、拡散板85、液晶パネルである表示素子12が配置されている。この光源装置11は一例であり、これに限定するものではない。
LED基板81は、半導体光源素子として複数のLED素子81Aを有する基板である。なお、図8はY-Z断面であるため、1個のLED素子81Aおよび1個のコリメータ素子のみが図示されているが、LED基板81の主面(X-Z面)ではX方向に複数のLED素子81Aが同様に設けられており、それに対応してコリメータ82ではX方向に複数のコリメータ素子が同様に設けられている。
LED基板81のLED素子81Aからの光の出射側(Y方向)には、コリメータ82が設けられている。コリメータ82は、光の進行方向を制御する素子であり、LED素子81Aからの光を略平行光に変換して出射する。コリメータ82からの光の出射側(Y方向)には、偏光変換素子83が設けられている。偏光変換素子83は、偏光特性を揃える素子であり、コリメータ82からの略平行光としてランダム偏光を有する光を、直線偏光を有する光に変換する。偏光変換素子83は、偏光変換プリズムと波長板とを組み合わせて構成されている。
偏光変換素子83からの光の出射側(Y方向)には、導光体84が設けられている。導光体84は、偏光変換素子83からのY方向での直線偏光の光を、入射部から入射し、反射部によって、Y方向とは異なるZ方向、すなわち表示素子12がある方向へ向けて反射させながら配光制御を行い、出射部から出射する。導光体84は、反射および配光制御を行う反射部を備えている。反射部は、反射面と連接面とが交互に繰り返して形成されている。出射部の出射面は、例えば配光制御のための自由曲面形状を有する。
導光体84の出射部から出射した光は、概略的にZ方向の上方、本例ではやや斜め右上方向に向かう。導光体84から光の出射側には、拡散板85が設けられている。導光体84からの光は、拡散板85によって拡散され、液晶パネルである表示素子12の背面側に入射する。液晶パネルは、この入射光をバックライトとして映像光を生成する。この表示素子12からの映像光は、指向性を有する映像光である。この映像光に対応して、虚像6も指向性を有する虚像となる。
以上、本開示の実施の形態を具体的に説明したが、前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。実施の形態は、必須構成要素を除き、構成要素の追加・削除・置換などが可能である。特に限定しない場合、各構成要素は、単数でも複数でもよい。各実施例を組み合わせた形態も可能である。
本実施例に係る技術では、フロントガラス等に投射された行き先や速度などのナビゲーション情報などの表示に関する走行に必要な情報の映像を好適に視認でき、また、運転者などのユーザにとって、複数の言語および単位に対応できることで、より好適な使い勝手などを実現し、安全運転の支援に寄与する情報表示装置(ヘッドアップディスプレイ装置)を提供することにより交通事故を防止することが可能となる。これにより、国連の提唱する持続可能な開発目標(SDGs:Sustainable Development Goals)の「3すべての人に健康と福祉を」に貢献する。
1…HUD装置、2…車両、3…ウィンドシールド、4…車両情報、5…制御ユニット、6…虚像、7…視点、8,8b…表示領域、9…ステアリング、10…表示装置、11…光源装置、12…表示素子、601…標識、602…標識アイコン、U1…ユーザ。
Claims (17)
- 虚像を車両の前方に表示するヘッドアップディスプレイ装置であって、
映像光を生成するための表示装置と、
前記表示装置への映像情報の表示を制御する制御装置と、
を備え、
前記制御装置は、
検出された所定の現実物を含む入力情報に対応させた虚像を表示させる際に、前記入力情報の言語または単位に対応させた言語または単位で表現される虚像を表示させ、
前記入力情報の言語または単位と、使用する言語または単位とが一致しない場合には、前記入力情報の言語または単位を前記使用する言語または単位に合わせるように変換した表現での虚像を表示させる、
ヘッドアップディスプレイ装置。 - 請求項1記載のヘッドアップディスプレイ装置において、
ユーザ設定においてユーザの使用する言語または単位が設定され、
前記制御装置は、前記ユーザ設定に基づいて、前記ユーザの使用する言語または単位を判断する、
ヘッドアップディスプレイ装置。 - 請求項1記載のヘッドアップディスプレイ装置において、
前記制御装置は、音声認識に基づいてユーザの使用する言語または単位を判断する、
ヘッドアップディスプレイ装置。 - 請求項1記載のヘッドアップディスプレイ装置において、
前記制御装置は、前記ヘッドアップディスプレイ装置が搭載された車両の位置情報に基づいて、前記現実物の言語または単位を判断する、
ヘッドアップディスプレイ装置。 - 請求項4記載のヘッドアップディスプレイ装置において、
前記制御装置は、前記位置情報に基づいて、国または地域を判断し、前記国または地域に対応付けられた前記現実物の言語または単位を判断する、
ヘッドアップディスプレイ装置。 - 請求項1記載のヘッドアップディスプレイ装置において、
前記制御装置は、カメラの画像に基づいて、前記現実物の言語または単位を判断する、
ヘッドアップディスプレイ装置。 - 請求項1記載のヘッドアップディスプレイ装置において、
前記制御装置は、カメラの画像に基づいて、前記所定の現実物を検出する、
ヘッドアップディスプレイ装置。 - 請求項1記載のヘッドアップディスプレイ装置において、
前記所定の現実物は、標識を含む、
ヘッドアップディスプレイ装置。 - 請求項1記載のヘッドアップディスプレイ装置において、
前記所定の現実物を含む入力情報は、検出された標識、車速情報、目的地までの距離情報のうち、少なくとも1つを含み、
前記所定の現実物を含む入力情報に対応させて表示させる虚像は、前記標識を表す標識アイコン、前記車速情報、前記目的地までの距離情報のうち、少なくとも1つを含む、
ヘッドアップディスプレイ装置。 - 請求項1記載のヘッドアップディスプレイ装置において、
前記所定の現実物は、標識を含み、
前記所定の現実物を含む入力情報に対応させて表示させる虚像は、前記標識を表す標識アイコンを含み、
前記制御装置は、前記標識アイコンとともに、前記標識の単位をユーザの使用する単位に合わせるように変換した単位アイコンを虚像として表示させる、
ヘッドアップディスプレイ装置。 - 請求項1記載のヘッドアップディスプレイ装置において、
前記所定の現実物は、標識を含み、
前記所定の現実物を含む入力情報に対応させて表示させる虚像は、前記標識を表す標識アイコンを含み、
前記制御装置は、前記標識アイコンとして、前記現実物の標識とは異なる態様で表現され、領域内に前記標識の単位をユーザの使用する単位に合わせるように変換した単位の表記を含んだ標識アイコンを、虚像として表示させる、
ヘッドアップディスプレイ装置。 - 請求項11記載のヘッドアップディスプレイ装置において、
前記標識アイコンは、前記ユーザの使用する言語または単位に対応した実際に存在する標識の態様と同じまたは類似する表現での虚像とされる、
ヘッドアップディスプレイ装置。 - 請求項1記載のヘッドアップディスプレイ装置において、
前記所定の現実物は、標識を含み、
前記所定の現実物を含む入力情報に対応させて表示させる虚像は、前記標識を表す標識アイコンを含み、
前記制御装置は、前記標識アイコンとして、前記現実物の標識の意味を表す文字情報としてユーザの使用する言語に対応させた文字情報を含んだ標識アイコンを、虚像として表示させる、
ヘッドアップディスプレイ装置。 - 請求項1記載のヘッドアップディスプレイ装置において、
前記制御装置は、
検出された所定の現実物を含む入力情報に対応させた音声を出力させる際に、前記入力情報の言語または単位に対応させた言語または単位で表現される音声を出力させ、
前記入力情報の言語または単位と、ユーザの使用する言語または単位とが一致しない場合には、前記現実物の言語または単位を前記ユーザの言語または単位に合わせるように変換した表現での音声を出力させる、
ヘッドアップディスプレイ装置。 - 請求項1記載のヘッドアップディスプレイ装置において、
前記制御装置は、前記入力情報の言語または単位と、ユーザの使用する言語または単位とが一致しない場合には、前記現実物の言語または単位が前記ユーザの使用する言語または単位に合わせるように変換されたことを表す文字情報を、前記ユーザの使用する言語または単位に合わせた表現で、虚像として表示させる、
ヘッドアップディスプレイ装置。 - 請求項1記載のヘッドアップディスプレイ装置において、
前記制御装置は、
検出された所定の現実物に対応させた虚像を表示させる際に、前記現実物の言語または単位に対応させた言語または単位で表現される虚像を、前記現実物の位置に対し関連付けられた位置にARとして表示させ、
前記現実物の言語または単位と、ユーザの使用する言語または単位とが一致しない場合には、前記現実物の言語または単位を前記ユーザの使用する言語または単位に合わせるように変換した表現での虚像をARとして表示させる、
ヘッドアップディスプレイ装置。 - 請求項1記載のヘッドアップディスプレイ装置において、
前記制御装置は、前記入力情報の単位をユーザの使用する単位に合わせるように換算する際に、概数へ換算する場合に、交通安全を優先させるように、切り下げによる概数または切り上げによる概数から選択した概数へ換算する、
ヘッドアップディスプレイ装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022010409A JP2023109041A (ja) | 2022-01-26 | 2022-01-26 | ヘッドアップディスプレイ装置 |
PCT/JP2022/038558 WO2023145152A1 (ja) | 2022-01-26 | 2022-10-17 | ヘッドアップディスプレイ装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022010409A JP2023109041A (ja) | 2022-01-26 | 2022-01-26 | ヘッドアップディスプレイ装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023109041A true JP2023109041A (ja) | 2023-08-07 |
Family
ID=87471077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022010409A Pending JP2023109041A (ja) | 2022-01-26 | 2022-01-26 | ヘッドアップディスプレイ装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023109041A (ja) |
WO (1) | WO2023145152A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2428153A (en) * | 2005-07-08 | 2007-01-17 | Sharp Kk | Interactive multiple view display |
JP5666219B2 (ja) * | 2010-09-10 | 2015-02-12 | ソフトバンクモバイル株式会社 | 眼鏡型表示装置及び翻訳システム |
US9536361B2 (en) * | 2012-03-14 | 2017-01-03 | Autoconnect Holdings Llc | Universal vehicle notification system |
-
2022
- 2022-01-26 JP JP2022010409A patent/JP2023109041A/ja active Pending
- 2022-10-17 WO PCT/JP2022/038558 patent/WO2023145152A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023145152A1 (ja) | 2023-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240127496A1 (en) | Ar display apparatus and ar display method | |
CN111433067B (zh) | 平视显示装置及其显示控制方法 | |
US8536995B2 (en) | Information display apparatus and information display method | |
US7561966B2 (en) | Vehicle information display system | |
US20020105481A1 (en) | Vehicular navigation system | |
JP5223768B2 (ja) | 車両用表示装置 | |
US9404765B2 (en) | On-vehicle display apparatus | |
CN105378815B (zh) | 用信号为车辆驾驶员告知视觉上至少部分地被遮挡的交通对象的方法和设备 | |
CN103969831A (zh) | 车辆抬头显示装置 | |
US20220118983A1 (en) | Display control device and display control program product | |
WO2019097762A1 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
KR101976106B1 (ko) | 정보제공을 위한 차량용 통합 헤드업디스플레이장치 | |
US20210088352A1 (en) | Control device | |
JP2019012236A (ja) | 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体 | |
US20220358840A1 (en) | Motor Vehicle | |
US20210256933A1 (en) | Vehicle display system, vehicle system, and vehicle | |
JP2019113809A (ja) | ヘッドアップディスプレイ装置 | |
JP6186905B2 (ja) | 車載表示装置およびプログラム | |
JP2020123212A (ja) | 車両呼出/誘導システム、ヘッドアップディスプレイ装置、照明装置、および携帯端末装置 | |
JP7310560B2 (ja) | 表示制御装置及び表示制御プログラム | |
WO2023145152A1 (ja) | ヘッドアップディスプレイ装置 | |
JP2010538884A (ja) | 複雑な、メニューコントロールされる多機能の車両システム用ナビゲーションシステム | |
KR20230034448A (ko) | 차량 및 그 제어 방법 | |
JP2019061088A (ja) | 虚像表示装置、虚像表示方法および虚像表示プログラム | |
CN211032356U (zh) | 车辆用显示系统及车辆 |