JP2023076069A - 画像表示システム - Google Patents
画像表示システム Download PDFInfo
- Publication number
- JP2023076069A JP2023076069A JP2021189237A JP2021189237A JP2023076069A JP 2023076069 A JP2023076069 A JP 2023076069A JP 2021189237 A JP2021189237 A JP 2021189237A JP 2021189237 A JP2021189237 A JP 2021189237A JP 2023076069 A JP2023076069 A JP 2023076069A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- sensor
- vehicle
- mobile terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 85
- 238000001514 detection method Methods 0.000 claims description 31
- 230000001133 acceleration Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 description 17
- 230000006399 behavior Effects 0.000 description 16
- 210000001747 pupil Anatomy 0.000 description 9
- 210000003128 head Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000002390 adhesive tape Substances 0.000 description 3
- 239000004984 smart glass Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 208000035126 Facies Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 231100000989 no adverse effect Toxicity 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
- B60R11/0241—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for telephones
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Navigation (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】車両における演算の負荷を増加させることなく、対象画像をより適切に表示できる画像表示システムを提供する。【解決手段】画像表示システム10は、利用者100の視野に画像を表示する表示器14と、前記表示器14の絶対的動きを検出する第一センサ19と、を有するウェアラブルデバイス12と、前記車両の絶対的動きを検出する第二センサ40を有するモバイル端末28と、前記モバイル端末28に搭載されたコンピュータで構成される画像コントローラ30であって、対象画像50を前記表示器14にAR表示させる画像コントローラ30と、を備え、前記画像コントローラ30は、少なくとも、前記第一センサ19で検出された前記表示器14の絶対的動きと、前記第二センサ40で検出された前記車両の絶対的動きと、に基づいて、前記対象画像50の前記表示器14における表示位置を決定する。【選択図】図1
Description
本明細書は、拡張現実(以下「AR」と略す)の技術を用いて、移動体の乗員である利用者の視野に、所定の対象オブジェクトを表す対象画像を重畳表示する画像表示システムを開示する。
乗員である利用者の視野に、現実を拡張するような画像を表示する技術が従来から提案されている。例えば、特許文献1には、車両の運転手である利用者が、眼鏡型の表示器であるスマートグラスを装着し、このスマートグラスに、利用者が乗車する車両を先導する先行車両を表した画像を表示する技術が開示されている。特許文献1において、画像で表現された先行車両は、運転手が乗車している車両を目的地に導くように動く。そのため、運転手は、先行車両に追従するように運転操作を行うことで、目的地に移動できる。
こうしたAR技術では、表示器の実空間での位置および姿勢(以下「自己位置」と呼ぶ)を推定し、得られた自己位置に基づいて、対象オブジェクトを表す対象画像の、表示器における表示位置を決定する必要がある。表示器の自己位置を推定する技術としては、ビジュアルスラム(Simultaneous Localization and Mapping)が知られている。ビジュアルスラムは、カメラで撮像されたスラム用画像から環境三次元情報とカメラの位置姿勢とを推定する技術である。かかる技術によれば、スラム用画像の変化から、表示器の挙動も推定できる。
しかしながら、利用者が、移動体に搭乗している場合、スラム用画像の変化が、利用者の頭部(ひいては表示器)の移動に起因するものか、移動体の移動に起因するものか、の判別が難しかった。そして、結果として、表示器の自己位置推定精度が不十分となり、対象画像を適切な位置に表示できない場合があった。
そこで、移動体の動きに関する情報を移動体から提供してもらい、当該情報を表示器の自己位置推定に利用することも考えられる。しかし、この場合、移動体は、表示器を含むウェアラブルデバイスとの通信機能を有している必要があり、上述したAR技術を利用できる移動体が限定されてしまう。また、移動体が当該移動体の動きに関する情報を提供する場合、移動体の演算リソースおよび通信リソースの一部が、当該情報を収集するための演算および通信に使用されるため、移動体の移動制御に関する演算および通信に悪影響がでるおそれがあった。
そこで、本明細書では、移動体における通信等の負荷を増加させることなく、対象画像をより適切に表示できる画像表示システムを開示する。
本明細書で開示する画像表示システムは、移動体の乗員である利用者の頭部に装着されるウェアラブルデバイスであって、前記利用者の視野に画像を表示する表示器と、前記表示器の車外静止物に対する動きである絶対的動きを検出する第一センサと、を有するウェアラブルデバイスと、前記移動体の絶対的動きを検出する第二センサを有するモバイル端末と、前記ウェアラブルデバイスおよび前記モバイル端末の少なくとも一方に搭載されたコンピュータで構成される画像コントローラであって、対象画像が表わすオブジェクトが現実に存在するように前記対象画像を前記表示器に表示させる画像コントローラと、を備え、前記画像コントローラは、少なくとも、前記第一センサで検出された前記表示器の絶対的動きと、前記第二センサで検出された前記移動体の絶対的動きと、に基づいて、前記対象画像の前記表示器における表示位置を決定する、ことを特徴とする。
かかる構成とすることで、表示器の絶対的動きと、移動体の絶対的動きを、区別して取得できる、対象画像をより適切に表示できる。また、移動体の絶対的動きをモバイル端末で検出しているため、移動体における通信等の負荷の増加を防止できる。
この場合、前記画像コントローラは、前記第一センサで検出された前記表示器の絶対的動きと、前記第二センサで検出された前記移動体の絶対的動きと、の差分に基づいて、前記移動体に対する前記表示器の相対的動きを推定し、少なくとも前記表示器の相対的動きに基づいて、前記移動体に関連付けられた前記対象画像の前記表示器における表示位置を決定してもよい。
かかる構成とすることで、移動体に関連付けられた対象画像をより適切に表示できる。
また、前記ウェアラブルデバイスは、さらに、前記ウェアラブルデバイスの周辺をスラム用画像として撮像するスラム用カメラを有し、前記画像コントローラは、前記スラム用画像に基づいて推定した前記表示器の動きと、前記第一センサおよび前記第二センサの検出結果と、に基づいて、前記対象画像の前記表示器における表示位置を決定してもよい。
第一センサおよび第二センサでの検出結果に加え、スラム用画像も考慮して、表示位置を決定することで、対象画像をより適切に表示できる。
また、前記第一センサおよび前記第二センサは、いずれも、加速度センサおよびジャイロセンサの少なくとも一方を含んでもよい。
加速度センサおよびジャイロセンサの少なくとも一方を用いることで、表示器および移動体の絶対的動きをより正確に検出できる。
また、前記第二センサは、互いに直交する三つの検出基準軸を基準として絶対的動きを検出し、さらに、前記移動体に固定された車載ホルダであって、前記第二センサの前記検出基準軸が、前記移動体の前後方向軸、上下方向軸、および、左右方向軸に平行になる姿勢で前記モバイル端末を保持する車載ホルダを備えてもよい。
かかる車載ホルダを用いることで、三つの検出基準軸のうち、移動体前後方向に直交する二つの検出基準軸に入力される動き量が小さくなり、絶対的動きの演算量を小さく抑えることができる。
また、前記モバイル端末は、車室内のうち、車体に対して固定された剛体からなる面に固定されてもよい。
かかる構成とすることで、第二センサの移動体に対する動きを小さく抑えることができ、移動体の絶対的動きをより正確に検出できる。
また、前記画像コントローラは、前記第二センサの検出値のうち、所定の基準値以下の検出値を、前記表示位置の算出に用いなくてもよい。
かかる構成とすることで、モバイル端末の移動体に対する微小な振動の影響を除去でき、対象画像をより適切に表示できる。
本明細書に開示する技術によれば、移動体における演算の負荷を増加させることなく、対象画像をより適切に表示できる。
以下、図面を参照して、画像表示システム10の構成について説明する。説明においては、理解を容易にするため、具体的な態様について示すが、これらは一例であり、適宜、変更可能である。図1は、画像表示システム10の構成を示すブロック図である。画像表示システム10は、ウェアラブルデバイス12とモバイル端末28とを備える。
ウェアラブルデバイス12は、車両の乗員(例えば運転手)が、その頭部に装着するデバイスであり、例えば、眼鏡あるいはゴーグル型のデバイスである。ウェアラブルデバイス12は、表示器14、スラム用カメラ16、瞳孔位置センサ18、第一センサ19、および、デバイスコントローラ20を有する。
このウェアラブルデバイス12について図2を参照して詳説する。図2は、車両の乗員である利用者100がウェアラブルデバイス12を装着した状態を示す図である。ウェアラブルデバイス12は、眼鏡の形状に形成されたデバイスであり、スマートグラスあるいはARグラスと呼ばれる。ウェアラブルデバイス12は、耳に掛けるための直線状のフレームであるテンプル26と、目の周囲を囲むとともに鼻に掛けられる形状に形成されたフレームであるリム24と、を備える。
表示器14は、ウェアラブルデバイス12を装着している利用者100の視野に画像を表示する。本例において、表示器14は、リム24の内側に配された表示エリア22を有する有機ELディスプレイまたは液晶ディスプレイであり、この表示エリア22の一部または全部に画像を映し出す。表示エリア22は、高い透明性を有している。そのため、表示エリア22に画像が表示されていない場合、利用者100(すなわち乗員)は、表示エリア22越しに前方の風景を視認できる。また、表示エリア22の一部にのみ画像が表示されている場合、利用者100は、前方の視界の風景と、表示された画像と、を同時に見ることができる。この場合、画像は、不透明でもよいし、半透明でもよい。なお、以下の説明では、表示器14に表示される画像を、その他の画像と区別するために、「対象画像」と呼ぶ。また、対象画像が仮想的に表すオブジェクトを「対象オブジェクト」と呼ぶ。
スラム用カメラ16は、表示器14に対して固定されたカメラであり、表示器14の周囲を撮像するカメラである。スラム用カメラ16は、例えば、テンプル26の前端近傍において、前向きに固定されており、利用者100の視野と類似した範囲を撮像する。以下では、このスラム用カメラ16で撮像された画像を「スラム用画像」と呼ぶ。後述する画像コントローラ30は、スラム用画像に写り込んだ風景の中から特徴点を抽出し、表示器14の実空間での位置および姿勢を特定するが、これについては、後述する。
瞳孔位置センサ18は、利用者100の右目と左目の瞳孔の位置を検知するセンサであり、例えば、リム24の中心付近に固定される。この瞳孔位置センサ18は、例えば、カメラ(赤外線カメラを含む)等を利用して形成することができる。
第一センサ19は、表示器14、ひいては、利用者100の視点の、地球に対する動き(以下「絶対的動き」という)を検出するセンサである。かかる第一センサ19は、例えば、加速度センサとジャイロセンサと、を有する。加速度センサは、互いに直交する三軸(以下「検出基準軸」という)に沿った加速度を電圧値として検出するセンサである。ジャイロセンサは、互いに直交する三つの検出基準軸回りの角速度を電圧値として検出するセンサである。第一センサ19の検出値は、デバイスコントローラ20を介して画像コントローラ30に送信される。第一センサ19は、表示器14に対して固定されており、例えば、テンプル26に内蔵されている。
デバイスコントローラ20は、画像コントローラ30からの指示に応じて、ウェアラブルデバイス12の作動を制御する。かかるデバイスコントローラ20は、例えば、プロセッサとメモリとを有するコンピュータである。デバイスコントローラ20は、スラム用カメラ16および瞳孔位置センサ18で取得された画像、および、第一センサ19の検出値を随時、画像コントローラ30に送信する。また、デバイスコントローラ20は、画像コントローラ30からの指示に従って表示器14に対象画像を表示させる。
再び図1に戻って、モバイル端末28について説明する。モバイル端末28は、携帯型の情報端末であり、例えば、スマートフォンや、タブレット端末、ノートパソコン、携帯型ゲーム機等である。モバイル端末28は、利用者100によって、車室内に持ち込まれる。
車室内には、このモバイル端末28を一時的に保持する車載ホルダ44が設けられている。車室内に持ち込まれたモバイル端末28は、図3に示すように、この車載ホルダ44を介して、車両に対して固定される。換言すれば、モバイル端末28は、車両と一体的に動くように、保持される。
モバイル端末28は、画像コントローラ30と、ユーザインターフェース(以下「ユーザI/F」という)38と、第二センサ40と、を有する。ユーザI/F38は、利用者100からの操作指示を受け付ける入力装置と、利用者100に情報を提供する出力装置と、を有する。入力装置は、例えば、キーボード、スイッチ、タッチパネル、および、マイクの少なくとも一つを含む。また、出力装置は、表示器、ランプ、および、スピーカの少なくとも一つを含む。
第二センサ40は、モバイル端末28、ひいては、車両の地球に対する動き、すなわち、絶対的動きを検知するセンサである。かかる第二センサ40は、例えば、検出基準軸方向の加速度を検出する加速度センサと、検出基準軸回りの角速度を検出するジャイロセンサとを有する。第二センサ40の検出値は、画像コントローラ30に送信される。
画像コントローラ30は、表示器14に表示させる対象画像のデータを生成する。この画像コントローラ30は、物理的には、プロセッサ32とメモリ34と通信I/F35とを有したコンピュータである。この「コンピュータ」には、コンピュータシステムを一つの集積回路に組み込んだマイクロコントローラも含まれる。また、プロセッサ32とは、広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU:Central Processing Unit、等)や、専用のプロセッサ(例えばGPU:Graphics Processing Unit、ASIC:Application Specific Integrated Circuit、FPGA:Field Programmable Gate Array、プログラマブル論理デバイス、等)を含むものである。
メモリ34は、コンピュータが処理すべきデジタルデータを保持する装置を意味する。このメモリ34は、メモリバスを介してプロセッサ32に接続されたメインメモリ、および、入出力チャネルを介してプロセッサ32がアクセスする二次記憶装置の少なくとも一つを含む。かかるメモリ34は、半導体メモリ(例えばRAM、ROM、ソリッドステートドライブ等)および磁気ディスク(例えば、ハードディスクドライブ等)の少なくとも一つを含んでもよい。本例のメモリ34には、予め、表示器14に、AR技術を利用して、現実を拡張する画像を表示するためのプログラムがインストールされている。
通信I/F35は、有線または無線により、他の電子機器、具体的には、ウェアラブルデバイス12とデータを送受する。例えば、通信I/F35は、ウェアラブルデバイス12と、Bluetooth(登録商標)、Wi-Fi(登録商標)、赤外線通信などの近距離無線通信でデータを送受してもよい。
こうした画像コントローラ30は、単一のコンピュータでなく、機械的に離間した複数のコンピュータで構成されてもよい。また、以下で説明する画像コントローラ30の処理の一部または全ては、ウェアラブルデバイス12に内蔵されたコンピュータで実現されてもよい。すなわち、画像コントローラ30は、モバイル端末28ではなく、ウェアラブルデバイス12に設けられてもよい。
画像コントローラ30は、図4に示されるように、対象画像50a,50b,50cが表わす仮想的なオブジェクト(すなわち対象オブジェクト)が実空間に存在するかのように、対象画像50a,50b,50cを表示器14に表示させる。例えば、画像コントローラ30は、対象オブジェクトを、実空間に仮想的に配置し、この対象オブジェクトが実際に存在している場合の利用者100からの見え方を演算し、その見え方に応じた対象画像を生成し、表示器14の表示エリア22に表示する。なお、このように、対象オブジェクトが現実に存在しているように見せる表示形態を以下では、「AR表示」と呼ぶ。
本例における対象画像50の表示の一例を見本に説明する。図4は、対象画像50a,50b,50cが表示されている際の利用者100(本例の場合は運転手)の視界を模式的に示した図である。図4の例では、車外の店舗の情報(図示例では、新規オープンであるという情報)を示す対象画像50aと、車両の進行方向を示す対象画像50bと、運転手への注意喚起メッセージを示す対象画像50cと、がAR表示されている。こうした対象画像50a,50b,50cは、当該画像が示す対象オブジェクトが現実に存在する場合と同様の位置およびサイズで、表示器14に表示される。例えば、対象画像50aは、現実に存在する車外の店舗の上に、対象画像50aで表現されたテキストオブジェクトが現実に存在する場合と同様の位置およびサイズで表示エリア22に表示される。そのため、車両の走行、および、利用者100の体の動きに起因して、利用者100の視点と店舗との相対位置関係が変化すれば、対象画像50aの表示エリア22内での位置およびサイズも変化する。
また、対象画像50bは、現実に存在する車両の前方の路面に、対象画像50bで表現された矢印状のオブジェクトが現実に存在する場合と同様の位置およびサイズで表示エリア22に表示される。また、対象画像50cは、現実に存在するステアリングホイール60の右上に、対象画像50cで表現されたテキストオブジェクトが現実に存在する場合と同様の位置およびサイズで表示エリア22に表示される。したがって、利用者100の視点が車両に対して移動すれば、これら対象画像50b,50cの表示エリア22内での表示位置およびサイズも変化する。
このようにAR表示の場合、実在の物体の配置を考慮して対象画像50を表示できるため、対象画像50が運転操作の邪魔になることを確実に防止できる。また、AR表示の場合、実在の物体(例えば店舗等)と相関性のある位置に対象画像50を表示できるため、当該物体に利用者100の注意を効果的に向けさせることができる。
ところで、AR表示を行うためには、上述した通り、対象オブジェクトが実際に存在している場合の利用者100からの見え方を演算する必要がある。この見え方の演算は、対象オブジェクトの仮想的な配置位置、ウェアラブルデバイス12の実空間での位置姿勢、および、瞳孔の表示器14に対する位置から求まる。
このうち、対象オブジェクトの仮想的な配置位置は、利用者100に提供したい情報内容に基づいて画像コントローラ30が決定する。また、瞳孔の表示器14に対する位置は、上述した通り、瞳孔位置センサ18で検知される。
ウェアラブルデバイス12の実空間での位置および姿勢、すなわち、ウェアラブルデバイス12の自己位置は、所定のサンプリングタイムで、ビジュアルスラムを繰り返し実行することで推定できる。ビジュアルスラムは、スラム用カメラ16で撮像されたスラム用画像52(図5参照)から、実空間の三次元情報と、表示器14の自己位置と、を推定する技術である。なお、ウェアラブルデバイス12の自己位置は、例えば、直交三軸の座標値(すなわちx,y,z座標値)と、直交三軸周りの回転量(すなわち、ロール、ヨー、ピッチ)と、で表すことができる。画像コントローラ30は、スラム用画像52に写った実際の風景から複数の特徴点を抽出し、この特徴点のスラム用画像52内での位置や、特徴点間の距離等に基づいて、空間認識と自己位置推定を行う。
ところで、対象画像の中には、車両に関連付けられたものがある。例えば、図4の対象画像50b,50cそれぞれが表わす対象オブジェクトの配置は、車両を基準として決定されており、対象画像50b,50cは、車両に関連付けられているといえる。かかる対象画像50b,50cの表示位置を正確に決定するためには、表示器14の車両に対する自己位置を正確に推定することが求められる。しかしながら、表示器14の車両に対する自己位置は、上述したスラム用画像52だけで、正確に求めることが難しかった。
すなわち、表示器14の車外静止物に対する動きは、スラム用画像52に写る風景の変化として現れる。そのため、スラム用画像52に写った風景の変化(特徴点の変化)を特定することで、表示器14の車外静止物に対する動きは特定できる。しかし、利用者100が車両に乗車している場合、こうした風景の変化が、利用者100の頭部の動きに起因するものか、車両の動きに起因するものか、の判別が難しかった。
例えば、あるサンプリングタイミングにおける、スラム用カメラ16の撮像エリア56が、図3において破線の四角で示すエリアであったとする。この場合、図5の上段に示すスラム用画像52aが取得できる。その後、別のサンプリングタイミングで、図5の下段に示すスラム用画像52bが取得されたとする。二つのスラム用画像52a,52bを比較すると、風景が変化しているため、二つのサンプリングタイミングで、頭部および車両の少なくとも一方が動いていることは推測できるが、頭部および車両が、それぞれ、どのように動いているかを特定することは難しい。もちろん、二つのスラム用画像52a,52bには、車室の一部(図示例では、ルームミラーの一部)が写っているため、この車室の一部の特徴点を抽出することで、車室に対する頭部の動きを推定することは一応、可能である。しかし、この場合、スラム用画像52a,52bに写る車室の特徴点の数は多くないため、車室に対する頭部の動きを正確に推定することは難しい。また、スラム用画像52に、車室の特徴点が多数写っている場合であっても、二次元画像であるスラム用画像52のみに基づいて、車室に対する頭部(ひいては表示器14)の動きを高精度に推定することは難しい場合が多かった。
そこで、本例では、ウェアラブルデバイス12に設けられた第一センサ19、および、モバイル端末28に設けられた第二センサ40を用いることで、表示器14の車外静止物に対する動き(すなわち絶対的動き)、および、車両の車外静止物に対する動き(すなわち絶対的動き)を、それぞれ区別して検知し、これを、表示器14の自己位置推定および空間認識に利用している。
具体的には、画像コントローラ30は、第一センサ19での検出結果に基づいて表示器14の絶対的動きを取得し、第二センサ40での検出結果に基づいて車両の絶対的動きを取得し、取得された二つの絶対的動きの差分から、車両に対する表示器14の相対的動き、ひいては、車両と表示器14の相対位置関係を算出する。より具体的には、例えば、画像コントローラ30は、第一センサ19および第二センサ40それぞれで検出された加速度の差分を演算し、得られた加速度の差分を時間積分することで、車両に対する表示器14の移動速度を求め、加速度の差分を二階積分することで、車両に対する表示器14の変位量を求めてもよい。
表示器14の相対的動きが得られれば、画像コントローラ30は、得られた表示器14の相対的動きに基づいて、ビジュアルスラムで得られた自己位置推定の結果を補正してもよい。かかる構成とすることで、表示器14の自己位置の推定精度をより向上でき、ひいては、対象画像50b,50cを適切な位置に表示させることができる。
図6は、対象画像50b,50cの表示位置の算出の流れを示すフローチャートである。図6に示すように、画像コントローラ30は、スラム用画像52を取得し(S10)、スラム用画像52に写った景色から特徴点を抽出する(S12)。続いて、画像コントローラ30は、抽出された特徴点の変化から表示器14の動きを推定する(S14)。具体的には、画像コントローラ30は、車外の特徴点の変化から、表示器14の車外空間に対する動きを、車内の特徴点の変化から、表示器14の車両に対する動きを、それぞれ、推定する。以下では、スラム用画像52から推定された表示器14の動きを「画像由来挙動」と呼ぶ。
また、画像コントローラ30は、第一センサ19の検出値に基づいて、表示器14の絶対的動きを推定し(S16)、第二センサ40の検出値に基づいて、車両の絶対的動きを推定する(S18)。そして、画像コントローラ30は、車両の絶対的動きと、表示器14の絶対的動きと、の差分から、車両に対する表示器14の相対的動きを推定する(S20)。以下では、第一センサ19および第二センサ40の検出値から推定された表示器14の相対的動きを、「センサ由来挙動」と呼ぶ。
画像由来挙動およびセンサ由来挙動の双方が得られれば、画像コントローラ30は、画像由来挙動を、センサ由来挙動に基づいて補正し、車両に対する表示器14の正確な動きを推定する(S22)。そして、得られた推定結果に基づいて、対象画像50b,50cの表示位置を決定する(S24)。以下、同様の手順を、所定のサンプリング周期で繰り返す。
このように、画像由来挙動をセンサ由来挙動で修正することで、表示器14の自己位置推定の精度を向上でき、対象画像50b,50cをより適切に表示できる。また、本例では、車両の動きを、モバイル端末28に内蔵された第二センサ40で検知し、モバイル端末28に内蔵された画像コントローラ30で、画像処理を実行している。換言すれば、本例では、ウェアラブルデバイス12と、車両と、の通信が不要である。その結果、車両に、ウェアラブルデバイス12との通信機能が設けられていない場合でも、対象画像50を適切な位置にAR表示できる。また、車両がウェアラブルデバイス12と通信できる場合であっても、車両から車両の絶対的動きをウェアラブルデバイス12に提供する場合、車両の走行制御に関する演算で使用できる演算リソースおよび通信リソースが減少し、走行制御の品質が低下するおそれがある。本例では、AR表示のために必要な演算を、モバイル端末28およびウェアラブルデバイス12で行っているため、車両の走行制御に関する演算および通信に悪影響を与えることがない。
なお、車両に、ウェアラブルデバイス12との通信機能を設けておき、車内にモバイル端末28が存在しない場合には、車両に搭載されたコンピュータおよびセンサが、モバイル端末28と同様の処理を実行してもよい。かかる構成とすることで、利用者100が、モバイル端末28を持ち込み忘れた場合でも、利用者100は、AR機能を利用できる。また、この場合、車両は、車内にモバイル端末28が存在する場合には、ウェアラブルデバイス12との通信を自動的に切る構成としてもよい。かかる構成とすることで、車両の通信負荷を軽減できる。
また、図6の例では、画像由来挙動をセンサ由来挙動と同じ周期で算出しているが、画像由来挙動は、センサ由来挙動と異なる周期で算出してもよい。例えば、画像由来挙動を一度算出すれば、その後、一定期間は、センサ由来挙動にのみ基づいて対象画像50b,50cの表示位置を算出し、一定期間経過後に、再度、画像由来挙動を算出してもよい。かかる構成とすることで、対象画像50b,50cの表示位置決定のための演算量を低減できる。
また、上記では、車両に関連付けられた対象画像50b,50cの表示位置の決定についてだけ説明したが、第一センサ19および第二センサ40の検出結果は、車外空間に関連付けられた対象画像(例えば、図4の対象画像50a等)の表示位置の決定に利用されてもよい。すなわち、図4の対象画像50aは、車外に存在する店舗に関連付けられているが、この対象画像50aの表示位置を適切に決定するためには、表示器14と店舗との相対的位置関係を正確に把握する必要がある。しかし、得られるスラム用画像52の内容によっては、店舗周辺の特徴点を十分に抽出できず、表示器14と店舗との相対的位置関係を正確に把握できない場合もある。かかる場合には、第一センサ19の検出結果に基づいて、スラム用画像52から求めた表示器14と店舗との相対的位置関係を補正してもよい。具体的には、画像コントローラ30は、第一センサ19で検出される表示器14の絶対的動きから、店舗に対する表示器14の相対的動きを求め、得られた相対的動きに基づいて、スラム用画像52から求めた表示器14と店舗との相対的位置関係を補正してもよい。
ところで、上述した通り、本例では、モバイル端末28に内蔵された第二センサ40で車両の絶対的動きを検知している。この場合、車両の絶対的動きを正確に検知するためには、モバイル端末28は、車両に対して動かないように固定されている必要がある。そこで、本例では、モバイル端末28を保持する車載ホルダ44を設けている。この車載ホルダ44でのモバイル端末28の保持について説明する。
本例では、車載ホルダ44は、第二センサ40の三つの検出基準軸が、車両の前後・上下・車幅方向軸(以下「車両基準軸」と呼ぶ)に対して平行となるような姿勢でモバイル端末28を保持する。ここで、通常、第二センサ40は、その検出基準軸がモバイル端末28の幅方向軸、高さ方向軸、厚み方向軸と一致するような姿勢で、モバイル端末28に内蔵されている。したがって、車載ホルダ44は、通常、モバイル端末28の幅・高さ・厚み方向軸が、車両基準軸と平行になる姿勢で、モバイル端末28を保持する。
第二センサ40の検出基準軸と、車両基準軸と、を平行に保つことで、車両の絶対的動きに関する演算量を低減できる。すなわち、通常、車両は、前後方向に動くことが多く、車幅方向および上下方向の動き量は小さい。そのため、第二センサ40の検出基準軸の一つを、車両の前後方向軸と平行にすることで、検出基準軸の他の二つに入力される動きが少なくなり、車両の絶対的動き特定のための演算量を低減できる。
車載ホルダ44は、車室内のうち、車体に対して固定された剛体からなる面、例えば、インスツルメントパネルや、ドアトリム、コンソール等の面に取り付けられている。車載ホルダ44は、例えば、図7,図8に示すように、車両に取り付けられる取付部68と、モバイル端末28を保持するホルダ部66と、を有する。取付部68の取り付けには、吸盤、粘着テープ、クリップ、ネジ、嵌合等を用いることができる。ホルダ部66は、モバイル端末28を取付部68に対して静止した状態で保持する。かかるホルダ部66は、例えば、モバイル端末28の一部または全部を、動かないにように収容する容器でもよいし、ネジやバネの力でモバイル端末28を挟持するクランプでもよい。
かかる車載ホルダ44は、モバイル端末28を保持することで、当該モバイル端末28の位置および姿勢を適切に調整できる構成でもよい。例えば、車載ホルダ44は、図7に示すように、インスツルメントパネル63に、粘着テープ68aで貼り付けられた取付部68と、当該取付部68に対して固定されたホルダ部66と、を有してもよい。図7の例において、ホルダ部66は、バネ(図示せず)の付勢力により、モバイル端末28を上下方向に挟み込むクランプを有する。モバイル端末28がこのクランプで挟まれて保持されることで、モバイル端末28の取付部68に対する位置および姿勢が固定される。取付部68は、第二センサ40の検出基準軸が車両基準軸と平行になるような位置および姿勢に、予め位置決めされたうえで、インスツルメントパネル63に取り付けられる。かかる取付部68の位置決めを、利用者100が行うことは難しいため、この取付部68の位置決め、および、取り付け作業は、ディーラや修理工場が行ってもよい。
また、別の形態として、車載ホルダ44の取付部68は、車両の所定箇所に取り付けることで、自動的に、その位置決めができる構成としてもよい。例えば、車載ホルダ44は、図8に示すように、車室内に設けられた非円形の凹部(図8の例ではドリンクホルダ64)に隙間なく嵌まり込む取付部68と、モバイル端末28の大部分を隙間なく収容する容器状のホルダ部66と、を有してもよい。この場合、取付部68を非円形の凹部(ドリンクホルダ64)に挿入するだけで、ホルダ部66、ひいては、ホルダ部66で保持されたモバイル端末28の車両に対する位置および姿勢が自動的に適切な状態に保たれる。なお、図8の例では、取付部68は、ドリンクホルダ64に挿入する構成としているが、取付部68は、車室内に形成された非円形の凹部に隙間なく嵌まるのであれば、他の箇所、例えば、コンソールボックスの内部空間や、ドアトリムに形成されたドアポケット等に挿入されるものでもよい。かかる構成とすることで、利用者100が、車載ホルダ44を容易に位置決めできる。
ところで、車載ホルダ44の構成を工夫したとしても、車載ホルダ44は、車両とは別部品であるため、車載ホルダ44およびモバイル端末28は、車両に対して微小振動しやすい。モバイル端末28の車両に対する微小振動の影響を除去するために、第二センサ40の検出値のうち、所定の基準値未満の検出値(すなわち加速度)は、車両の絶対的動きの演算に含めない構成としてもよい。例えば、第二センサ40の検出値に対して、微小振動に起因する小さな加速度変動を除去するローパスフィルタやバンドパスフィルタを適用してもよい。かかる構成とすることで、モバイル端末28の微小振動に起因して、対象画像50の表示位置まで振動することが効果的に防止できる。そして、結果として、より適切なAR表示が可能となる。
以上の説明で明らかな通り、本例では、ウェアラブルデバイス12に内蔵された第一センサ19およびモバイル端末28に内蔵された第二センサ40に基づいて、表示器14の絶対的動き、および、車両の絶対的動きの双方を区別して検出できる。そして、これにより、車両に対する表示器14の自己位置推定の精度を向上でき、より適切なAR表示が可能となる。なお、これまで説明した構成は、一例であり、適宜、変更されてもよい。例えば、上述の説明では、利用者100が搭乗する移動体として、車両を例示しているが、利用者100が搭乗する移動体は、他の移動体、例えば、電車や、バイク、飛行機、電動キックスケータ等でもよい。
10 画像表示システム、12 ウェアラブルデバイス、14 表示器、16 スラム用カメラ、18 瞳孔位置センサ、19 第一センサ、20 デバイスコントローラ、22 表示エリア、24 リム、26 テンプル、28 モバイル端末、30 画像コントローラ、32 プロセッサ、34 メモリ、35 通信I/F、38 ユーザI/F、40 第二センサ、44 車載ホルダ、50 対象画像、52 スラム用画像、56 撮像エリア、60 ステアリングホイール、63 インスツルメントパネル、64 ドリンクホルダ、66 ホルダ部、68 取付部、68a 粘着テープ、100 利用者。
Claims (7)
- 移動体の乗員である利用者の頭部に装着されるウェアラブルデバイスであって、前記利用者の視野に画像を表示する表示器と、前記表示器の車外静止物に対する動きである絶対的動きを検出する第一センサと、を有するウェアラブルデバイスと、
前記移動体の絶対的動きを検出する第二センサを有するモバイル端末と、
前記ウェアラブルデバイスおよび前記モバイル端末の少なくとも一方に搭載されたコンピュータで構成される画像コントローラであって、対象画像が表わすオブジェクトが現実に存在するように前記対象画像を前記表示器に表示させる画像コントローラと、
を備え、前記画像コントローラは、少なくとも、前記第一センサで検出された前記表示器の絶対的動きと、前記第二センサで検出された前記移動体の絶対的動きと、に基づいて、前記対象画像の前記表示器における表示位置を決定する、
ことを特徴とする画像表示システム。 - 請求項1に記載の画像表示システムであって、
前記画像コントローラは、前記第一センサで検出された前記表示器の絶対的動きと、前記第二センサで検出された前記移動体の絶対的動きと、の差分に基づいて、前記移動体に対する前記表示器の相対的動きを推定し、少なくとも前記表示器の相対的動きに基づいて、前記移動体に関連付けられた前記対象画像の前記表示器における表示位置を決定する、ことを特徴とする画像表示システム。 - 請求項1または2に記載の画像表示システムであって、
前記ウェアラブルデバイスは、さらに、前記ウェアラブルデバイスの周辺をスラム用画像として撮像するスラム用カメラを有し、
前記画像コントローラは、前記スラム用画像に基づいて推定した前記表示器の動きと、前記第一センサおよび前記第二センサの検出結果と、に基づいて、前記対象画像の前記表示器における表示位置を決定する、
ことを特徴とする画像表示システム。 - 請求項1から3のいずれか1項に記載の画像表示システムであって、
前記第一センサおよび前記第二センサは、いずれも、加速度センサおよびジャイロセンサの少なくとも一方を含む、ことを特徴とする画像表示システム。 - 請求項1から4のいずれか1項に記載の画像表示システムであって、
前記第二センサは、互いに直交する三つの検出基準軸を基準として絶対的動きを検出し、
さらに、前記移動体に固定された車載ホルダであって、前記第二センサの前記検出基準軸が、前記移動体の前後方向軸、上下方向軸、および、左右方向軸に平行になる姿勢で前記モバイル端末を保持する車載ホルダを備える、
ことを特徴とする画像表示システム。 - 請求項1から5のいずれか1項に記載の画像表示システムであって、
前記モバイル端末は、車室内のうち、車体に対して固定された剛体からなる面に固定される、ことを特徴とする画像表示システム。 - 請求項1から6のいずれか1項に記載の画像表示システムであって、
前記画像コントローラは、前記第二センサの検出値のうち、所定の基準値以下の検出値を、前記表示位置の算出に用いない、ことを特徴とする画像表示システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021189237A JP2023076069A (ja) | 2021-11-22 | 2021-11-22 | 画像表示システム |
US17/991,245 US11815695B2 (en) | 2021-11-22 | 2022-11-21 | Image display system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021189237A JP2023076069A (ja) | 2021-11-22 | 2021-11-22 | 画像表示システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023076069A true JP2023076069A (ja) | 2023-06-01 |
Family
ID=86383672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021189237A Pending JP2023076069A (ja) | 2021-11-22 | 2021-11-22 | 画像表示システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11815695B2 (ja) |
JP (1) | JP2023076069A (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3816005A (en) * | 1970-06-22 | 1974-06-11 | Sundstrand Data Control | Head-up display |
KR102246553B1 (ko) * | 2014-04-24 | 2021-04-30 | 엘지전자 주식회사 | Hmd 및 그 제어 방법 |
JP6690179B2 (ja) | 2015-10-19 | 2020-04-28 | 株式会社デンソー | 挙動推定システム、及び挙動推定方法 |
JP2017129406A (ja) | 2016-01-19 | 2017-07-27 | 日本電気通信システム株式会社 | 情報処理装置、スマートグラスおよびその制御方法、並びにコンピュータ・プログラム |
US11240525B2 (en) * | 2018-11-08 | 2022-02-01 | Dell Products, L.P. | Systems and methods for video encoding acceleration in virtual, augmented, and mixed reality (xR) applications |
JP2021064906A (ja) | 2019-10-16 | 2021-04-22 | トヨタ自動車株式会社 | 画像表示システム |
-
2021
- 2021-11-22 JP JP2021189237A patent/JP2023076069A/ja active Pending
-
2022
- 2022-11-21 US US17/991,245 patent/US11815695B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20230161169A1 (en) | 2023-05-25 |
US11815695B2 (en) | 2023-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2891953B1 (en) | Eye vergence detection on a display | |
US9001153B2 (en) | System and apparatus for augmented reality display and controls | |
CN103019524B (zh) | 车辆操作输入装置和用于车辆操作输入装置的控制方法 | |
JP5184596B2 (ja) | 脇見判定装置 | |
JP4978721B2 (ja) | 運転支援装置 | |
CN108737801B (zh) | 车载投影的现实运动修正 | |
US10162409B2 (en) | Locating a head mounted display in a vehicle | |
EP2687407B1 (en) | Apparatus and method for localizing sound image for vehicle's driver | |
KR101805377B1 (ko) | 대상물 마킹의 위치를 트래킹하기 위한 방법 및 장치 | |
US20230065018A1 (en) | Method for operating data glasses in a motor vehicle and system of a motor vehicle and data glasses | |
KR20130027367A (ko) | 내비게이션 장치 및 경로 표시 방법 | |
CN108885343B (zh) | 校正车辆引起的方向改变的系统和方法 | |
CN111284498B (zh) | 驾驶支援装置、系统、方法、可穿戴装置以及存储介质 | |
US10719944B2 (en) | Dynamic object tracking | |
CN112773034A (zh) | 与智能头盔相关的装置和系统 | |
JP2017068424A (ja) | 姿勢計測装置及び姿勢計測方法 | |
US20210191518A1 (en) | System and method of vehicle aware gesture recognition in vehicles with smart helmets | |
CN112513784B (zh) | 自动隐藏显示内容的、用于车辆的数据眼镜 | |
CN112129313A (zh) | 基于惯性测量单元的ar导航补偿系统 | |
JP2023076069A (ja) | 画像表示システム | |
JP4250391B2 (ja) | 指標検出装置、指標検出方法 | |
KR101627649B1 (ko) | 차량 제어 장치 및 그 제어 방법 | |
CN110297325B (zh) | 增强现实眼镜和系统及增强现实眼镜显示车上信息的方法 | |
JP2020121704A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラム | |
JP7379253B2 (ja) | 挙動推定システム及び挙動推定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230711 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240123 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240305 |