JP2017130909A - ディスプレイ・システムにおける前庭動眼反射の修正の設計および方法 - Google Patents
ディスプレイ・システムにおける前庭動眼反射の修正の設計および方法 Download PDFInfo
- Publication number
- JP2017130909A JP2017130909A JP2016209335A JP2016209335A JP2017130909A JP 2017130909 A JP2017130909 A JP 2017130909A JP 2016209335 A JP2016209335 A JP 2016209335A JP 2016209335 A JP2016209335 A JP 2016209335A JP 2017130909 A JP2017130909 A JP 2017130909A
- Authority
- JP
- Japan
- Prior art keywords
- vor
- eye
- head
- hmd
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004462 vestibulo-ocular reflex Effects 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000013461 design Methods 0.000 title description 4
- 238000012937 correction Methods 0.000 title description 2
- 230000004044 response Effects 0.000 claims abstract description 20
- 238000013178 mathematical model Methods 0.000 claims description 22
- 230000004886 head movement Effects 0.000 claims description 19
- 230000000694 effects Effects 0.000 claims description 15
- 230000011514 reflex Effects 0.000 claims description 8
- 230000003565 oculomotor Effects 0.000 claims description 5
- 230000001720 vestibular Effects 0.000 claims 4
- 210000003128 head Anatomy 0.000 description 52
- 230000004424 eye movement Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 230000003068 static effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003592 biomimetic effect Effects 0.000 description 1
- 230000001447 compensatory effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D43/00—Arrangements or adaptations of instruments
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0181—Adaptation to the pilot/driver
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】ユーザーの前庭動眼反射（ＶＯＲ）の応答に関する補償を行う頭部装着型ディスプレイ（ＨＭＤ）デバイスでイメージを表示する方法を提供する。【解決手段】第１イメージをＨＭＤディスプレイ・デバイスで表示するステップと、ＨＭＤディスプレイ・デバイスの角運動を感知するステップと、ＨＭＤディスプレイ・デバイスの感知した角運動に応答して、ユーザーの目の角運動を推定するステップとを含み、第１イメージに基づき且つ修正された目の予測される位置に基づき、連続するイメージのストリームの一部として、後続する第２イメージを生成し、第２イメージをＨＭＤディスプレイ・デバイスで表示する。【選択図】図５
Description
[0001] ここで説明する例示の実施形態は、一般的に、航空機や移動車両のオペレーションに関し、より特定的には、前庭動眼反射（vestibulo-ocular reflex）（ＶＯＲ）の応答に関しての修正を行うようにして対象物のイメージを表示することに関する。
[0002] パイロットにとって、航空機のオペレーションの状態を監視しつつ、コックピットの窓の外を見ることにより周囲を認識することは、有益である。より一般的には、何れの形のビークルのオペレーションにおいても、オペレーターにとって、状況認識の向上は有益である。航空機のオペレーションの例に戻るが、伝統的に、パイロットは、コックピットのディスプレイ・スクリーンを信頼しており、ディスプレイ・スクリーンは、パイロットの座席に対して位置および方向が固定されている。パイロットがアビオニクス・ディスプレイ・ユニットから電子情報を受け取りつつも目を上げることを可能にする最新のヘッドアップ・ディスプレイ（head-up display）（ＨＵＤ）アビオニクスを用いても、パイロットの頭がそのアビオニクス・ディスプレイ・ユニットの位置から離れるように動かされると、飛行情報は、注意を向けるようには提供されない。より一般的には、オペレーターの注意をディスプレイ・ユニットに集中させる必要がある全てのビークルのオペレーションでは、一時的にそのディスプレイから頭が離れる動きでさえも、情報を失う結果となり得る。
[0003] 上記の航空機の例のように、ビークルのオペレーションが複雑になると、適切なオペレーションを保証するために、ビークルのオペレーター、例えば、フライト・クルーが、注意を行き届かせ、適時でありポータブルな様式で情報を受け取ることが、好ましい。ポータブルの情報を提供する１つの手段は、ヘッドマウント式ディスプレイ（ＨＭＤ）システムである。ヘッドマウント式ディスプレイ・システムは、１つのタイプの頭部装着型ディスプレイ・システムであり、これは、ディスプレイを一方または双方の目の前に置くために、バイザー、ヘルメット、ゴーグル、または他の頭部装着型マウントを用いる。典型的に、頭部装着型ディスプレイは、ディスプレイ・シンボル体系を呈示する半透明の光学的結合エレメントを含む。シンボル体系のソースは、液晶ディスプレイ（ＬＣＤ）、リキッド・クリスタル・オン・シリコン（ＬＣｏＳ）ディスプレイ、または有機発光ダイオード（ＯＬＥＤ）ディスプレイとすることができる。結合エレメントは、ＨＭＤディスプレイに呈示される情報を、可視シーンに重ねること、およびビークルのオペレーターが頭を動かしたときに変更することを、可能にする。このＨＭＤシステムは頭部装着型なので、考慮されることが好ましい幾つかの特有の人体とビジョン・システムとの結合特性がある。それらの１つは、人間の前庭動眼反射（ＶＯＲ）である。
[0004] 通常のＶＯＲ応答は、補償する目の動き（compensatory eye movement）であり、これは、空間における頭の動きを人間の神経系が検出したときに、その頭の動きに対応するものである。例えば、頭を、水平面で右へ回転させると、頭の座標フレームに相対しての左への目の回転を誘発させることにより、頭が動いている間、注視の視軸を安定させ、網膜にイメージが固定され続けるようにする。更に、ＶＯＲに起因するこの目の動きは、神経センサーおよび動眼神経応答からの動的な影響により、頭の動きと完全に逆のものとはならない。
[0005] 合成視覚イメージ処理を用いるＨＭＤデバイスの現在の実施では、イメージは、通常は、目のＶＯＲの影響の動的補償をせず、感知した頭の動きに関して補償される。即ち、ＨＭＤ設計の現在の実施では、頭が動いているときに目の注視の方向が変化していることと、目の注視は頭の向いている方向と同じ方向に整合すると通常は想定されることとを反映するように、表示されるイメージはシフトされる。実際には、無意識の前庭動眼反射に起因する目の動きは、頭の動きと整合せず、また、頭の動きの完全な逆の動きとも整合しない。目のＶＯＲの影響を動的に補償しない場合、結果的に得られるイメージは、不均一な地勢でのビークルのオペレーションや、乱流環境での航空機のオペレーションなどのような、振動している環境にある人間のオペレーターには、読み取り不可能となり得る。
[0006] 従って、特に、高振動環境での使用の際の、ＨＭＤデバイスのイメージの安定化および追跡の設計の性能を向上させるために、目のＶＯＲの補償を組み込むことが望ましい。更に、例示の実施形態の他の望ましい特徴および特性は、添付の図面と上記の技術分野および背景とを関連付けた後の詳細な説明および添付の特許請求の範囲から明らかになる。即ち、この開示のＶＯＲ補償を用いる例示の実施形態は、頭部装着型ディスプレイ・システムと関連するが、この開示は、表示情報の認識力を向上させるために画像処理にＶＯＲ補償を組み込むことにより、高振動の環境や変化する環境で使用される任意のイメージ・ディスプレイ・システムに適用可能であることは、明らかである。
[0007] ユーザーの前庭動眼反射（ＶＯＲ）の応答に関する補償を行う頭部装着型ディスプレイ（ＨＭＤ）デバイスでイメージを表示する方法は、第１イメージを生成し、前記第１イメージを前記ＨＭＤディスプレイ・デバイスで表示するステップと、前記ＨＭＤディスプレイ・デバイスの角運動を感知するステップと、前記ＨＭＤディスプレイ・デバイスの感知した前記角運動に応答して、前記ユーザーの目の角運動を推定するステップとを含む。前記推定するステップは、目の角ＶＯＲ運動予測数学モデルを用いるステップと、ＶＯＲの影響に起因する目の予測される位置を生成するステップと、目の角位置追跡数学モデルを用いるステップと、頭の動きが静まった後に前記目の予測される位置を修正するステップとを含む。更に、方法は、前記第１イメージに基づき且つ修正された目の予測される位置に基づき、連続するイメージのストリームの一部として、後続する第２イメージを生成することと、前記第２イメージを前記ＨＭＤディスプレイ・デバイスで表示することとを含む。
[0008] この簡潔な概要は、後の詳細な説明に更に記載する概念のうちの選択さたれものを簡潔な形で紹介するために、提供したものである。この概要は、特許請求される主題事項の鍵となる特徴や本質的な特徴を特定することは意図しておらず、また、特許請求される主題事項の範囲を決定する際の支援に用いることを意図していない。
[0009] 以下において、下記の図面と関連させて本開示を説明するが、図面では、同様の数字は同様のエレメントを表す。
[0017] 下記の詳細な説明は、本来、単なる例示であり、主題事項の実施形態や出願、および実施形態の使用を限定することは、意図していない。ここで例として説明される全てのインプリメンテーションは、必ずしも他のインプリメンテーションより好適または有利なものであると考えなくてもよい。更に、先の技術分野、背景、簡潔な概要、または下記の詳細な説明に示された何れの明示又は暗示された理論に縛られることも、意図されていない。
序論
[0018] 本開示は、頭部装着型ディスプレイ・デバイスで用いられる合成視覚や他のイメージ呈示に関してのＶＯＲの影響を補償するための解決法を広く提供する。より広くは、最初に述べたように、本開示は、ＨＭＤデバイスでの使用に限定されず、むしろ、表示情報の認識力を向上させるために画像処理にＶＯＲ補償を組み込むことにより、高振動の環境や変化する環境で用いられる任意のイメージ・ディスプレイ・システムでの応用が見いだされるであろう。
[0019] より特定的には、本開示は、角ＶＯＲの影響に起因する目の回転運動を予測するアルゴリズムを提供し、頭の動きが停止した後にＨＭＤデバイスに表示される静的イメージを、目の運きが追跡することを可能にする。本開示のアーキテクチャーは、とりわけ、１）目の角ＶＯＲ（ａＶＯＲ）運動予測モデルと、２）目の角位置（頭の座標フレームで定義される）追跡数学モデルとを含むものであり、ＶＯＲが生じ、そして頭の動きが静まった後に、目の位置を、頭の位置と逆になるように（即ち、面するようにするという観点から）整合させる。
[0020] 以下の幾つかの段落では、エレメント１）および２）のそれぞれの簡単な概観を提供し、その後、図面に記載されているＨＭＤシステムと、ＨＭＤシステムを用いてのエレメント１）および２）のインプリメンテーションとの説明を提供する。最初に、エレメント１）に関して、頭が動いているときの人間の目の眼球運動機構および逆反射運動（counter reflex）を表すために、チューン可能時間遅延およびチューン可能フォワード・ゲインを用いて、目の角ＶＯＲ運動予測モデル、動的一般逆行列伝達関数（dynamic pseudo-inverse transfer function）が開発される。頭の位置からの目の位置のドリフトを軽減するために、目の角位置フィードバック・ループを持つフィードバック・コントローラーが設計される。このモデルは、３軸の目の角ＶＯＲ運動に関しての頭の動きの３つの角レートおよび位置を用いる。このモデルの出力は、ＶＯＲにより生じるものであり頭の座標において定められる目の予測される角位置である。次に、ＶＯＲに起因する目のデルタ（角）位置が、ＶＯＲに起因する目の予測角位置と、逆になる頭の位置との間の差として、生成される。
[0021] 次に、エレメント２）に関して、目の角位置追跡モデルは、ＶＯＲの影響が少なくなった後、頭の位置に対する目の追跡を可能にする。相対的に静止している頭の動きを検出した後に、目のデルタ位置をゼロに低減するように設計される。即ち、最終的な目の位置は、頭の動きが停止した後の頭の位置と整合させられる。同等に、この追跡の特徴は、表示されるイメージが、逆になる頭の位置によりシフトされたときに、目の動きが静止イメージを追跡することを可能にする。この追跡モデルはまた、コントローラーのノイズのジッタリングを除くためのロジックを用いて設計される。更に、このモデルは、特定の人間のオペレーターによるＶＯＲゲインおよび遅延の影響のチューニングを可能にし、従って、ＶＯＲに起因する目の予測される動きを、調節することができ、従って、様々な人間のＶＯＲ応答に関して頭および目の動きと動的に相関させることができる。
[0022] ディスプレイ・システムにおける開示されるＶＯＲ補償に関して、ここでは、専門技術および科学技術を、機能および／または論理ブロック・コンポーネントに関して、および様々な計算用コンポーネントやデバイスにより行われ得るオペレーション、処理タスク、および機能のシンボル表現を参照して、説明する。そのようなオペレーション、タスク、および機能は、コンピューターで実行するもの、コンピューター化されたもの、ソフトウェアによりインプリメントされたもの、また、コンピューターによりインプリメントされたものとして呼ばれることがある。実際には、１以上のプロセッサー・デバイスが、システム・メモリのメモリ位置にあるデータ・ビットを表す電気信号を操作して、および他の信号処理により、説明するオペレーション、タスク、および機能を行うことができる。例示の実施形態の方法およびシステムは、任意の形の移動車両、例えば、自動車や船や重機、任意の形の車両以外での応用、例えば、手術や機械やビルディングのメンテナンス、テレロボティクスおよび他の遠隔視、およびビークルやスーツへの取り付けを含む任意の形の宇宙での応用で用いることができるが、航空機システムでの使用を例として説明する。
[0023] 一般に、ここで開示する例示の実施形態は、頭部装着型ディスプレイ・デバイスを含み、これは、航空機のパイロットなどのようなビークルのオペレーターが、空中にいるときや地上にいるときに、ビークルや航空機の外の実際のイメージのコンフォーマル・ビデオ・イメージを見ることを可能にする。ＨＭＤ頭追跡システムは、視覚的走査のために、左から右の範囲の動き、例えば、３６０度の動きを提供する。表示用に生成されるグラフィックスは、パイロットの頭の動きを追跡する。例えば、ジンバル支持された頭追跡用カメラ、固定センサーのアレイ、またはデータから作成された仮想または合成環境からの入力は、物体に関して空、地形、または滑走路／誘導路を走査する能力を、オペレーター／パイロットに与える。ビークルの姿勢（方向）は、慣性センサー、加速度計、コンパス、およびエア・データ・センサーから決定することができる。ＨＭＤシステムは、例えば、カメラやセンサーから作成された、または格納されたデータから合成的に作成された実際のビデオ・イメージを処理する。
[0024] 図１を参照すると、一般化された例示のディスプレイ・システム１００は、ユーザー・インターフェイス１０２と、プロセッサー１０４と、センサー１１２と、外部データ・ソース１１４と、１以上のディスプレイ・デバイス１１６（後に詳細に説明するＨＭＤシステム１１７を含む）とを含む。ユーザー・インターフェイス１０２は、プロセッサー１０４と通信するものであり、オペレーター１０９から入力を受信するように、そして、ユーザーの入力に応答してコマンド信号をプロセッサー１０４へ供給するように、構成される。図示した実施形態では、プロセッサー１０４は、オンボードのＲＡＭ（ランダム・アクセス・メモリ）１０３と、オンボードのＲＯＭ（リード・オンリー・メモリ）１０５とを含む。プロセッサー１０４を制御するプログラム命令を、ＲＡＭ１０３とＲＯＭ１０５との何れかまたは双方に格納することができる。プロセッサー１０４がどのように具体的に実装されようと、プロセッサー１０４は、ディスプレイ・デバイス１１６と通信するものであり、様々なタイプの運動データをセンサー１１２から受信するように、および様々な他のビークル・データを外部データ・ソース１１４から受信するように、結合される。プロセッサー１０４は、適切な表示コマンドをディスプレイ・デバイス１１６へ供給するように構成される。ディスプレイ・デバイス１１６は、表示コマンドに応答して、様々なタイプのテキスト、グラフィック、および／またはアイコンの情報を選択的に表示する。センサー１１２は、様々なタイプの運動データ、例えば、ビークルのスピード、進行方向、高度、および姿勢を含むビークルの状態を表す運動データ供給するために、既知の又は将来に開発される様々なタイプの慣性センサー、システム、および／またはサブシステムを用いて、インプリメントすることができる。
[0025] オペレーター１０９が見ることができるフォーマットでテキスト、グラフィック、および／またはアイコンの情報を表示するために適切である多数の既知のディスプレイ・デバイスのうちの任意のものを用いてディスプレイ・デバイス１１６をインプリメントできることが、理解されるであろう。そのようなディスプレイ・デバイスの例は、様々なタイプのＬＣＤ（液晶ディスプレイ）、ＴＦＴ（薄膜トランジスター）ディスプレイ、およびプロジェクション・ディスプレイＬＣＤ光エンジンなどのような、様々なフラット・パネル・ディスプレイを含むが、これは限定ではない。ディスプレイ・デバイス１１６は、更に、パネル取付型ディスプレイや、多数の既知の技術の何れかのものとして、インプリメントすることができる。
[0026] 先に述べたように、ディスプレイ・デバイス１１６はＨＭＤディスプレイ・システム１１７を含む。多くの既知のＨＭＤシステムがある。１つの既知の例示の実施形態は、本発明の譲受人に譲渡された米国特許第８５５２８５０号に記載されており、この参照により、この文献の全体がここに組み込まれるものとする。本願の図２に示す実施形態は、ＨＭＤディスプレイ・システム１１７を装着しているビークルのオペレーター１０９を含み、オペレーター１０９は、航空機のフライト・クルーのメンバーなどである。ＨＭＤディスプレイ・システム１１７は、好適には半透明であるＨＭＤディスプレイ２０８と結合されたヘッドバンド２０６を含む。オペレーター１０９が正しく装着した場合、ＨＭＤディスプレイ２０８は、右目２１０から所定の距離において右目２１０の視線のところに位置する。このようにして、ＨＭＤディスプレイ２０８上で、その先のほうに見える景色、例えば、コックピット内の制御装置や他のアイテムおよび／またはコックピットの窓を通しての外の景色と重ねて、情報をオペレーター１０９に呈示することができる。適切な情報をＨＭＤディスプレイ２０８で呈示するために、任意の時点でオペレーター１０９の頭が面している方向（例えば、上に向く、下に向く、コックピットの一部の方に向く、または別の部分に向く）を感知するために、発行ダイオード（ＬＥＤ）２１４がヘッドバンド２０６の部分２１２に配される。頭の動きを追跡するための他のシステムは、ヘッドバンドにおけるカメラやエミッターを含み、また、追跡システムは、光学的なものではなく、磁気や慣性を用いるものとすることもできる。このようにして、コンフォーマル・グラフィックスおよび／または他の情報を含む適切な透明なビューをＨＭＤディスプレイ２０８上に生成および呈示するために、任意の時点でのオペレーターの頭の方向を感知することができる。ＨＭＤディスプレイ・システム１１７の構成は、図２に示すデバイスに限定されない。例えば、ＨＭＤディスプレイ・システム１１７は単眼ＨＭＤディスプレイ・システムであるが、本実施形態において両眼ＨＭＤディスプレイ・システムを用いることもできる。
[0027] 図３は、本実施形態に従ったビークル・オペレーションのためのシステムのブロック図を示す。ＨＭＤディスプレイ・システム１１７は、ＨＭＤディスプレイ２０８と、ＨＭＤセンサー３０１と、ＨＭＤ追跡コントローラー３０２と、オプションの慣性測定ユニット（ＩＭＵ）３０３とを含む。ＨＭＤ追跡コントローラー３０２は、カメラ（図示せず）などのようなＨＭＤセンサー３０１から信号を受信し、ＨＭＤディスプレイ２０８へ提供される信号を生成する。信号は、オペレーター１０９へ呈示するためのコンフォーマル・グラフィックスや他の情報のビューを生成するために、適切な情報をＨＭＤディスプレイ２０８で呈示する。
[0028] ＨＭＤ追跡コントローラー３０２はまた、ＨＭＤセンサー３０１により監視される情報に応答して、オペレーター１０９の頭の方向に対応する焦点データを生成する。そのような情報は、オペレーター１０９の頭が外に向かって窓（図示せず）の方へ向きを変えたか及び何れの方向へ向けてか、ビークル内ディスプレイ３０６へと向きを変えたか、または他の興味の対象へと向きを変えたかを、含むことができる。ＨＭＤ追跡コントローラー３０２は、オペレーター１０９の頭の方向に対応する焦点データを提供するために、コントローラー３０４と結合される。焦点データ（例えば、ＨＭＤディスプレイ・システム１１７の位置および方向を監視することから結果的に得られるオペレーター１０９頭部追跡データ）は、コンフォーマル・イメージを呈示する際にコントローラー３０４により用いられる。背景となる風景を参照して、コンフォーマル・イメージがロードされ、実際の環境が表示される。ビークルのナビゲーションおよび性能の情報などのような他の情報は、ＨＭＤディスプレイ・システム１１７を装着しているオペレーターが向いた方向にかかわらず、ディスプレイ上で静止している。
目の角ＶＯＲ運動予測数学モデル
[0029] 先に説明したように、目の角ＶＯＲ運動予測モデルに関して、頭が動いているときの人間の目の眼球運動機構および逆反射運動を表すために、チューン可能時間遅延およびチューン可能フォワード・ゲインを用いて、動的一般逆行列伝達関数７３１が開発される。フィードバック信号として目の角位置を用いるフィードバック・コントローラー７３０は、頭の位置からの目の位置のドリフトを軽減するように設計される。これは、３軸の目の角ＶＯＲ運動に関しての頭の動きの３つの角レートおよび位置を用いる。このモデルの出力は、ＶＯＲにより生じるものであり頭の座標において定められる目の予測される角位置である。次に、ＶＯＲに起因する目のデルタ（角）位置が、ＶＯＲに起因する目の予測角位置と、逆になる頭の位置との間の差として、生成される。このタイプのモデルの背景の理解は、２００１年３月発行のNeural Networks、第１２巻、第２号の第２０１−２１６ページのT. Shibataその他による「Biomimetic Gaze Stabilization based on Feedback-Error-Learning with Nonparametric Regression Networks」から得ることができ、この参照により、この文献の全体がここに組み込まれるものとする。
[0030] モデルは、運動の３つの軸、即ち、ｘ軸とｙ軸とｚ軸との全てにおいて動作する。従って、ここで図４を紹介するのが適切であり、図４は、後に詳細に記載する目の角ＶＯＲ運動予測モデルと目の角位置追跡モデルとの講義で参照するための、ユーザーの頭に関してのこれら３つの軸を例示する。図４に示すように、ｚ軸は、ユーザーの頭を垂直に通って延び、ｙ軸は、ユーザーの頭の横側を通って延び、ｘ軸はユーザーの頭の前側と後ろ側とを通って延びる。下記の個々のモデルに関しての頭の角加速度、速度、および位置、および目の位置は、この座標フレームに基づいて提供する。例えば、ピッチ面は、ｙ軸について回転すると定められ、その対応する頭の回転レート信号は、図７では、入力信号「Ｈ＿Ｒｙ＿ｒａｔｅ」７０２ｙと名付けられている。
[0031] 目の角ＶＯＲ運動予測数学モデル７００は、図５に示している。図５は、簡素化するために、１つの軸のみに関する数学モデルを表示する。しかし、後に詳細に説明するように、および図７に更に具体的に記載されているように、モデルは、異なる数値パラメーターを用いる同じ基礎的モデルを用いて、３つの軸の全てに対して拡張されることに留意されたい。
[0032] 目の角ＶＯＲ運動予測数学モデルは、入力として、ユーザーの頭の位置７０１（上記のように図５は１つの軸のみに関する入力を示すが、３つの軸のそれぞれにおいて定められる）と、ユーザーの頭の速度７０２（３つの軸のそれぞれにおいて定められる）と、チューニング「ノブ（knob）」７０３と呼ばれるチューニング・パラメーター（これも、３つの軸のそれぞれにおいて定められる）とを用いる。また、３つの軸のそれぞれにおける回転の各方向に関するＶＯＲ速度ゲイン（７１１、７１２）が提供される。これは、ＶＯＲ修正の影響に関しての感知した頭の角レートを減衰させるためのゲインである。各軸は、異なる頭の回転方向（７１１、７１２）に関して異なるＶＯＲスピード・ゲイン・ベースラインを有する。限定ではない単なる一例として、１つの実施形態では、ベースラインＶＯＲスピード・ゲインは、約０．９７ピッチ・アップおよび約１．１０ピッチ・ダウンとすることができる。各ゲインは、チューニング・ノブ７０３で制御可能な、チューン可能バイアスを有することができる。限定ではない単なる一例として、１つの実施形態では、バイアスは約＋／−０．０９とすることができる。下記では、各軸に関して、および各軸における各回転方向に関しての、ゲインに対してのノブ・チューニングの効果を説明する。ノブの範囲は、各軸に関して尺度が異なる。限定ではない単なる一例として、ノブ・チューニングの最大は、ピッチ軸に関して約０．０９バイアスであると解釈されるが、ヨー軸およびロール軸に関しては約０．０７バイアスと解釈される。ノブが、ゼロである中央にあるとき、ベースラインのゲインおよびデフォールトの遅延の値が用いられる。ノブが右へ回されると、ベースラインからの正バイアスでゲインが増加し、その結果、ベースラインから遅延時間が低減する。代わりに、ノブが左へ回されると、ベースラインからの負バイアスでゲインが低減し、ベースラインから遅延時間が増加する。チューン可能ゲインは、人毎に変わる様々なＶＯＲ応答を補償するために提供される。
[0033] 目の角ＶＯＲ運動予測数学モデルは、図５で１つの軸に関して示すように、その出力として、３つの軸のそれぞれにおける目の予測位置７２０を生成する。それらの出力は、後に詳細に説明する目の角位置追跡数学モデルのための入力の１つとして用いられる。
目の角位置追跡数学モデル
[0034] 先に述べたように、目の角位置追跡モデルは、ＶＯＲの影響が減少した後に目が頭の位置を追跡することを可能にする。これは、静的な頭の動きを検出した後に、目のデルタ位置をゼロに低減するように設計される。即ち、最終的な目の位置は、頭の動きが停止した後の頭の位置と整合させられる。同等に、この追跡の特徴は、目の角位置が頭の位置と整合させられるので、目の動きが静止イメージを追跡することを可能にする。この追跡モデルはまた、コントローラーおよびセンサーのノイズを除去するロジックを用いて設計することができる。
[0035] 目の角位置追跡数学モデル８００が図６に示されている。図６は、簡潔にするために、１つの軸のみに関する数学モデルを示している。しかし、後に詳細に説明するように、および図７に更に具体的に記載されているように、モデルは、異なる数値パラメーターを用いる同じ基礎的モデルを用いて、３つの軸の全てに対して拡張されることに留意されたい。
[0036] 目の角位置追跡数学モデルは、入力として、ユーザーの頭の位置７０１（上記のように図６は１つの軸のみに関する入力を示すが、３つの軸のそれぞれにおいて定められる）と、ユーザーの頭の速度７０２（３つの軸のそれぞれにおいて定められる）と、目の角ＶＯＲ運動予測数学モデルからの目の予測位置７２０（これも、３つの軸のそれぞれにおいて定められる）とを用いる。更に示されるように、パラメーター８０１は、静的頭部運動を検出するためのパラメーターであり、ここでは、レートが秒あたりの所定の角度値（特定のインプリメンテーションに基づく）よりも少ないということが、頭の動きが停止したことを意味すると、考えられている。
[0037] 図５に示すように、図６に示すモデルは眼球運動プラント設計パラメーター７３２を含み、フィードバック制御ループは、静的運動状態に関してデルタ入力が「０」に設定されている。更に、モデル８００は、運動のジッタリングの影響を軽減するための制御パラメーター８１１を含む。例えば、先に述べたように、実際の振動環境におけるＩＭＵ信号はノイズを含み、それは、頭の動きが減少または停止した後でさえ、イメージを急に変化させる。従って、通常は高周波数であり大きさは小さいものである意図されていない信号ノイズが原因で、ＨＭＤシステムは、測定された信号を実際の頭の動きであると誤解し、それに応じて表示イメージを調節し、その結果としてイメージのジッタリングが生じる。急な動き（加速度）の大きさがスレッショルドより下である場合、コンフォーマル・イメージは静止し、それにより、頭が動いている間に受信した実際のビデオ・イメージから生成され、また、急な動きが小さい大きさとして検出されたときに停止されるコンフォーマル・イメージのぎくしゃくした又は過敏な動きをなくす。望まれるように任意のスレッショルド値８０３を選択することができ、それは、限定ではない例示の実施形態では約０．０２である。
[0038] 目の角位置追跡数学モデルは、図５において決定された目の位置を低減するために、その出力として、目の位置における変化（「デルタ」）８１０を生成する。図５および図６に示すモデルの出力に基づく統合された数学モデルは最終的な結果を生成し、これは、図７で後に説明するように、ＨＭＤシステムがＶＯＲの影響に対して表示イメージを修正することを可能にする。
数学モデルの統合
[0039] 図７は数学モデルを示し、これは、図５の目の角ＶＯＲ運動予測数学モデル７００と、図６の目の角位置追跡数学モデル８００とを組み合わせたインターワーキングを示す。図７では、３つの軸のそれぞれが示されており、頭の位置に関する入力は７０１ｘ，ｙ，ｚであり、頭の速度に関する入力は７０２ｘ，ｙ，ｚである。チューニング・ノブ７０３ｘ，ｙ，ｚも示されている。結果は、予測された目のＶＯＲ位置７２０ｘ，ｙ，ｚであり、これらは目のデルタ位置８１０ｘ，ｙ，ｚにより修正されて、最終的な目の位置が決定され、これがＨＭＤディスプレイの更新に用いられる。
[0040]上記の詳細な説明では少なくとも１つの例示の実施形態を示したが、多数の変形形態が存在することを理解すべきである。また、１または複数の例示の実施形態は、単なる例であること、および範囲や適用や構成を何れのように限定することも意図していないことを、理解すべきである。むしろ、上記の詳細な説明は、例示の実施形態をインプリメントするための便利なロード・マップを当業者に提供するものであり、特許請求の範囲の記載の範囲から離れずに、例示の実施形態で説明されたエレメントの機能および配置における様々な変更を行え得ることは、理解されている。
Claims (4)
- ユーザーの前庭動眼反射（ＶＯＲ）の応答に関する補償を行う頭部装着型ディスプレイ（ＨＭＤ）デバイスでイメージを表示する方法であって、
第１イメージを生成し、前記第１イメージを前記ＨＭＤディスプレイ・デバイスで表示するステップと、
前記ＨＭＤディスプレイ・デバイスの角運動を感知するステップと、
前記ＨＭＤディスプレイ・デバイスの感知した前記角運動に応答して、前記ユーザーの目の角運動を推定するステップであって、目の角ＶＯＲ運動予測数学モデルを用いるステップと、ＶＯＲの影響に起因する目の予測される位置を生成するステップとを含む、推定するステップと
前記第１イメージに基づき且つ目の予測される位置に基づき、連続するイメージのストリームの一部として、後続する第２イメージを生成し、前記第２イメージを前記ＨＭＤディスプレイ・デバイスで表示するステップと
を含む方法。 - 請求項１の方法であって、目の角位置追跡数学モデルを用いるステップと、頭の動きを追跡するように前記目の予測される位置を修正するステップとを更に含む方法。
- 異なるオペレーターまたは環境に関しての前庭動眼反射（ＶＯＲ）の応答の影響を外部から調節する方法であって、
前記前庭動眼反射（ＶＯＲ）の動的有効ゲインを調節するためにノブを外部からチューニングするステップと、
前記前庭動眼反射（ＶＯＲ）の動的有効時間遅延を調節するためにノブを外部からチューニングするステップと、
を含む方法。 - 異なるオペレーターまたは環境に関しての前庭動眼反射（ＶＯＲ）の応答の影響を調節する方法であって、
感知したオペレーターの反応に基づいて、前記前庭動眼反射（ＶＯＲ）の動的有効ゲインを調節するステップと、
感知したオペレーターの反応に基づいて、前記前庭動眼反射（ＶＯＲ）の動的有効時間遅延を調節するステップと、
前記ＶＯＲの応答のモデルを定めた幾つかのパラメーターを変化させることにより、前記前庭動眼反射（ＶＯＲ）の動的応答を調節するステップと
を含む方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/925,012 | 2015-10-28 | ||
| US14/925,012 US10018847B2 (en) | 2015-10-28 | 2015-10-28 | Methods of vestibulo-ocular reflex correction in display systems |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017130909A true JP2017130909A (ja) | 2017-07-27 |
| JP6837805B2 JP6837805B2 (ja) | 2021-03-03 |
Family
ID=57189952
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016209335A Active JP6837805B2 (ja) | 2015-10-28 | 2016-10-26 | ディスプレイ・システムにおける前庭動眼反射の修正の設計および方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10018847B2 (ja) |
| EP (1) | EP3182051B1 (ja) |
| JP (1) | JP6837805B2 (ja) |
| KR (1) | KR20170049433A (ja) |
| CN (1) | CN106657717B (ja) |
| IL (1) | IL248524B (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9823745B1 (en) * | 2012-08-30 | 2017-11-21 | Atheer, Inc. | Method and apparatus for selectively presenting content |
| US10147232B2 (en) | 2012-08-30 | 2018-12-04 | Atheer, Inc. | Method and apparatus for selectively presenting content |
| EP3544851B1 (en) * | 2016-11-23 | 2021-01-06 | Telefonaktiebolaget LM Ericsson (publ) | Motor vehicle and method of controlling a suspension system |
| US11436811B2 (en) | 2017-04-25 | 2022-09-06 | Microsoft Technology Licensing, Llc | Container-based virtual camera rotation |
| IL253432A0 (en) | 2017-07-11 | 2017-09-28 | Elbit Systems Ltd | System and method for correcting a rolling display effect |
| WO2019012522A1 (en) * | 2017-07-11 | 2019-01-17 | Elbit Systems Ltd. | SYSTEM AND METHOD FOR CORRECTING A RUNNING DISPLAY EFFECT |
| GB2575628A (en) * | 2018-07-09 | 2020-01-22 | Nokia Technologies Oy | Video processing |
| DE102018213820A1 (de) * | 2018-08-16 | 2020-02-20 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Betreiben einer Blickfeldanzeigevorrichtung für ein Kraftfahrzeug |
| DE102018215272A1 (de) * | 2018-09-07 | 2020-03-12 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Betreiben einer Blickfeldanzeigevorrichtung für ein Kraftfahrzeug |
| CN109669536B (zh) * | 2018-11-26 | 2021-11-02 | 中国航空工业集团公司洛阳电光设备研究所 | 一种驾驶舱人机视觉交互系统 |
| FR3090137B1 (fr) * | 2018-12-12 | 2020-11-27 | Airbus Operations Sas | Système et procédé d’affichage d’un aéronef |
| CN109696191B (zh) * | 2018-12-29 | 2020-06-30 | 北京理工大学 | 一种虚拟现实头戴显示设备的移动延迟测量方法 |
| CN109696188B (zh) * | 2018-12-29 | 2020-07-21 | 北京理工大学 | 一种基于激光管的vr头盔的转动延迟测量方法 |
| CN109696190B (zh) * | 2018-12-29 | 2020-09-18 | 北京理工大学 | 一种基于渐变编码的vr头盔的转动延迟测量方法 |
| CN109696189B (zh) * | 2018-12-29 | 2020-10-23 | 北京理工大学 | 一种基于编码器的vr头盔的转动延迟测量方法 |
| CN109737997B (zh) * | 2018-12-29 | 2020-10-20 | 北京理工大学 | 一种虚拟现实头戴显示设备的转动延迟测量方法 |
| US11119580B2 (en) * | 2019-10-08 | 2021-09-14 | Nextsense, Inc. | Head and eye-based gesture recognition |
| GB2594966A (en) * | 2020-05-13 | 2021-11-17 | Sony Interactive Entertainment Inc | Gaze tracking apparatus and systems |
| TWI746184B (zh) * | 2020-09-25 | 2021-11-11 | 宏碁股份有限公司 | 利用視線方向調整顯示模式的顯示裝置及其操作方法 |
| US11449137B2 (en) * | 2021-02-12 | 2022-09-20 | Rockwell Collins, Inc. | Soldier and surface vehicle heads-up display imagery compensation system to align imagery with surroundings |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08292394A (ja) * | 1995-01-24 | 1996-11-05 | Matsushita Electric Ind Co Ltd | 頭部搭載型画像表示装置 |
| WO2010032424A1 (ja) * | 2008-09-18 | 2010-03-25 | 学校法人中部大学 | 眠気予兆検出装置 |
| JP2014168506A (ja) * | 2013-03-01 | 2014-09-18 | Tokyo Metropolitan Univ | 人の状態推定装置およびそれを備えた輸送機器 |
| US20150212576A1 (en) * | 2014-01-28 | 2015-07-30 | Anthony J. Ambrus | Radial selection by vestibulo-ocular reflex fixation |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5742264A (en) | 1995-01-24 | 1998-04-21 | Matsushita Electric Industrial Co., Ltd. | Head-mounted display |
| US5966680A (en) | 1996-02-15 | 1999-10-12 | Butnaru; Hanan | Motion sickness/vertigo prevention device and method |
| US6497649B2 (en) | 2001-01-21 | 2002-12-24 | University Of Washington | Alleviating motion, simulator, and virtual environmental sickness by presenting visual scene components matched to inner ear vestibular sensations |
| US7500752B2 (en) * | 2004-04-28 | 2009-03-10 | Natus Medical Incorporated | Diagnosing and training the gaze stabilization system |
| CN103119512A (zh) * | 2008-11-02 | 2013-05-22 | 大卫·乔姆 | 近眼式显示系统和装置 |
| US8552850B2 (en) | 2010-02-17 | 2013-10-08 | Honeywell International Inc. | Near-to-eye tracking for adaptive operation |
| WO2011143655A1 (en) | 2010-05-14 | 2011-11-17 | Advitech, Inc. | System and method for prevention and control of the effects of spatial disorientation |
| US9072481B2 (en) * | 2010-09-09 | 2015-07-07 | The Johns Hopkins University | Apparatus and method for assessing vestibulo-ocular function |
| US8686335B2 (en) * | 2011-12-31 | 2014-04-01 | Seno Medical Instruments, Inc. | System and method for adjusting the light output of an optoacoustic imaging system |
| US9690099B2 (en) * | 2010-12-17 | 2017-06-27 | Microsoft Technology Licensing, Llc | Optimized focal area for augmented reality displays |
| CN103018903A (zh) * | 2011-09-23 | 2013-04-03 | 奇想创造事业股份有限公司 | 具有显示方位锁定装置的头戴式显示器及其显示方法 |
| US20130169532A1 (en) | 2011-12-29 | 2013-07-04 | Grinbath, Llc | System and Method of Moving a Cursor Based on Changes in Pupil Position |
| US9529197B2 (en) * | 2012-03-21 | 2016-12-27 | Google Inc. | Wearable device with input and output structures |
| US8736692B1 (en) | 2012-07-09 | 2014-05-27 | Google Inc. | Using involuntary orbital movements to stabilize a video |
| US9370302B2 (en) * | 2014-07-08 | 2016-06-21 | Wesley W. O. Krueger | System and method for the measurement of vestibulo-ocular reflex to improve human performance in an occupational environment |
| US9274599B1 (en) * | 2013-02-11 | 2016-03-01 | Google Inc. | Input detection |
| US10353460B2 (en) | 2014-01-29 | 2019-07-16 | Tarek A Shazly | Eye and head tracking device |
-
2015
- 2015-10-28 US US14/925,012 patent/US10018847B2/en active Active
-
2016
- 2016-10-24 EP EP16195389.8A patent/EP3182051B1/en active Active
- 2016-10-26 JP JP2016209335A patent/JP6837805B2/ja active Active
- 2016-10-26 IL IL24852416A patent/IL248524B/en active IP Right Grant
- 2016-10-27 CN CN201611216611.5A patent/CN106657717B/zh active Active
- 2016-10-27 KR KR1020160141006A patent/KR20170049433A/ko not_active Application Discontinuation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08292394A (ja) * | 1995-01-24 | 1996-11-05 | Matsushita Electric Ind Co Ltd | 頭部搭載型画像表示装置 |
| WO2010032424A1 (ja) * | 2008-09-18 | 2010-03-25 | 学校法人中部大学 | 眠気予兆検出装置 |
| JP2014168506A (ja) * | 2013-03-01 | 2014-09-18 | Tokyo Metropolitan Univ | 人の状態推定装置およびそれを備えた輸送機器 |
| US20150212576A1 (en) * | 2014-01-28 | 2015-07-30 | Anthony J. Ambrus | Radial selection by vestibulo-ocular reflex fixation |
Also Published As
| Publication number | Publication date |
|---|---|
| IL248524A0 (en) | 2016-11-30 |
| CN106657717A (zh) | 2017-05-10 |
| US20170123215A1 (en) | 2017-05-04 |
| CN106657717B (zh) | 2020-08-25 |
| KR20170049433A (ko) | 2017-05-10 |
| IL248524B (en) | 2019-11-28 |
| EP3182051B1 (en) | 2022-05-18 |
| EP3182051A1 (en) | 2017-06-21 |
| JP6837805B2 (ja) | 2021-03-03 |
| US10018847B2 (en) | 2018-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6837805B2 (ja) | ディスプレイ・システムにおける前庭動眼反射の修正の設計および方法 | |
| US11828939B2 (en) | Method and apparatus for adjusting motion-based data space manipulation | |
| US10558043B2 (en) | Worn display using a peripheral view | |
| US9389419B2 (en) | Near-to-eye display artifact reduction system and method | |
| US9594248B2 (en) | Method and system for operating a near-to-eye display | |
| US8963742B1 (en) | Head-up display/synthetic vision system predicted flight path depiction | |
| US11815690B2 (en) | Head mounted display symbology concepts and implementations, associated with a reference vector | |
| US8907887B2 (en) | Methods and systems for operating avionic systems based on user gestures | |
| US20190049949A1 (en) | Modified-reality device and method for operating a modified-reality device | |
| TW201009802A (en) | Method and system for operating a display device | |
| US6999005B2 (en) | Image compensation apparatus | |
| US10627630B2 (en) | Display system and method for an aircraft | |
| US8294633B2 (en) | Methods for reducing artifacts in near-to-eye display systems | |
| KR20200135352A (ko) | 정보 처리 장치, 정보 처리 방법 및 프로그램 | |
| CA2526281A1 (en) | Stabilization of the effects of jitter on a displayed image | |
| WO2020110293A1 (ja) | 表示制御システム、表示制御装置及び表示制御方法 | |
| JP2019081480A (ja) | ヘッドアップディスプレイ装置 | |
| JP2017026762A (ja) | 表示制御装置、表示制御方法、及びプログラム | |
| EP4286994A1 (en) | Electronic device that displays virtual objects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191025 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210104 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210210 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6837805 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |