JP2020514887A - バーチャル・リアリティー・ヘッドマウント装置 - Google Patents

バーチャル・リアリティー・ヘッドマウント装置 Download PDF

Info

Publication number
JP2020514887A
JP2020514887A JP2019546360A JP2019546360A JP2020514887A JP 2020514887 A JP2020514887 A JP 2020514887A JP 2019546360 A JP2019546360 A JP 2019546360A JP 2019546360 A JP2019546360 A JP 2019546360A JP 2020514887 A JP2020514887 A JP 2020514887A
Authority
JP
Japan
Prior art keywords
lens
camera
partially reflective
partially transmissive
partially
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019546360A
Other languages
English (en)
Other versions
JP6856863B2 (ja
Inventor
ホン チャン
ホン チャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of JP2020514887A publication Critical patent/JP2020514887A/ja
Application granted granted Critical
Publication of JP6856863B2 publication Critical patent/JP6856863B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938Using specific optical elements
    • G02B27/095Refractive optical elements
    • G02B27/0955Lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/14Beam splitting or combining systems operating by reflection only
    • G02B27/141Beam splitting or combining systems operating by reflection only using dichroic mirrors

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)

Abstract

凸レンズ(2)を設けられた本体(1)と、本体(1)に設けられた、カメラ(4)、および赤外光を反射するための部分反射部分透過レンズ(3)とを備えるバーチャル・リアリティー・ヘッドマウント装置が提供される。部分反射部分透過レンズ(3)は、凸レンズ(2)の、ユーザにより近い側に位置する。部分反射部分透過レンズ(3)のレンズ表面(30)は、ユーザの眼の赤外線画像をカメラ(2)に向けて斜めに反射するように斜めに配設される。バーチャル・リアリティー・ヘッドマウント装置は、ユーザの眼の赤外線画像の取得精度を改善することができる。

Description

本出願は、バーチャル・リアリティーの技術分野に関し、特に、バーチャル・リアリティー・ヘッドマウント装置に関する。
バーチャル・リアリティー(VR)技術は、コンピュータ上で対話型の3次元インタラクション環境を生成してユーザに没入型の体験を提供するために、コンピュータ・グラフィック・システムおよび様々な制御インタフェースを総合的に利用する技術である。関連技術において、ユーザは、対応するVR体験を得るために、VRメガネ、VRヘルメット、または別のVR装置等のVRヘッドマウント装置を装着することができる。
VRシナリオの独特の特性に起因して、モバイル・フォンまたはPC等の従来の電子デバイスのための技術的解決策は、VRシナリオに適用可能でない場合がある。例えば、VR装置を装着しているユーザの眼の赤外線画像を取得するには、VR装置内の構造的制限に起因して、従来の方法のための画像取得条件は、満たすことが難しい場合があり、結果として、生体認証、視線追跡等のような対応するタスクの完了に成功するのが困難となる。
これらの制限に鑑みて、本出願は、ユーザの眼の赤外線画像の取得精度を改善することができるVRヘッドマウント装置を提供する。
上述した目的を達成するために、本出願は、以下の技術的解決策を提供する。
本出願の第1の態様によれば、VRヘッドマウント装置が提供され、このVRヘッドマウント装置は、
凸レンズを設けられた本体と、
本体に設けられた、カメラ、および赤外光を反射するための部分反射部分透過レンズとを備え、部分反射部分透過レンズは、凸レンズの、ユーザにより近い側に位置し、部分反射部分透過レンズのレンズ表面は、ユーザの眼の赤外線画像をカメラに向けて斜めに反射するように斜めに配設される。
任意選択で、部分反射部分透過レンズは、可視光に対する高い透過率、および赤外光に対する低い透過率を有する。
任意選択で、部分反射部分透過レンズは赤外線ダイクロイック・ミラーを含む。
任意選択で、カメラは、ユーザに対し、凸レンズの可視エリア外に位置する。
任意選択で、部分反射部分透過レンズはプレート形状を有し、部分反射部分透過レンズのレンズ表面は上向きに傾けられ、カメラは本体の頂部に位置し、カメラのレンズは、斜めに下向きに配設される。
任意選択で、部分反射部分透過レンズはプレート形状を有し、部分反射部分透過レンズのレンズ表面は下向きに傾けられ、カメラは本体の底部に位置し、カメラのレンズは、斜めに上向きに配設される。
任意選択で、部分反射部分透過レンズは、斜めに配設された上側レンズ構造および下側レンズ構造を含み、上側レンズ構造および下側レンズ構造の接合部はユーザに面し、本体には第1のカメラおよび第2のカメラが設けられ、第1のカメラは本体の頂部に位置し、第1のカメラのレンズは、上側レンズ構造に対応して斜めに下向きに配設され、第2のカメラは本体の底部に位置し、第2のカメラのレンズは、下側レンズ構造に対応して斜めに上向きに配設される。
任意選択で、上側レンズ構造および下側レンズ構造は、水平面に対して対称である。
任意選択で、装置は、
保護フレームを更に備え、保護フレームは、部分反射部分透過レンズおよび凸レンズを収容し、固定するために、部分反射部分透過レンズおよび凸レンズに適合された収容空間を形成する。
任意選択で、装置は、
調整コンポーネントを更に備え、調整コンポーネントは、カメラのレンズが、部分反射部分透過レンズにおいて形成される眼の赤外線画像のバーチャル画像に向かったままにされるように、カメラの上で角度調節を行う。
上記の技術的解決策から見て取ることができるように、本出願において、部分反射部分透過レンズがVRヘッドマウント装置に設けられ、部分反射部分透過レンズのレンズ表面が斜めに配設される。ユーザがVR表示コンテンツを見るのと干渉することなく、ユーザの眼の赤外線画像を斜めに反射することによって、眼の赤外線画像の取得中のカメラの偏角を低減することができ、これにより、眼の赤外線画像の変形および歪みが低減され、眼の赤外線画像の取得精度を改善するのに役立つ。
本出願の第1の例示的な実施形態によって提供されるVRヘルメットの側断面図である。 本出願の第2の例示的な実施形態によって提供されるVRヘルメットの側断面図である。 本出願の第3の例示的な実施形態によって提供されるVRヘルメットの側断面図である。 本出願の第4の例示的な実施形態によって提供されるVRヘルメットの側断面図である。 本出願の第4の例示的な実施形態によって提供されるVRヘルメットの側断面図である。 本出願の第4の例示的な実施形態によって提供されるVRヘルメットの側断面図である。 本出願の例示的な実施形態によって提供されるカメラの角度の制御の概略図である。 本出願の例示的な実施形態によって提供される保護フレームを通じた部分反射部分透過レンズおよび凸レンズの提供の概略図である。
本出願を更に説明するために、以下の実施形態は、本出願のVRヘッドマウント装置の関連構造を紹介するためにVRヘルメットを例として用いて提供される。
図1は、本出願の例示的な実施形態によって提供されるVRヘルメットの側断面図である。図1に示すように、VRヘルメットは、本体1を含むことができ、本体1には、凸レンズ2およびVR再生コンポーネント5が設けられる。更に、本体1には、赤外光を反射するための部分反射部分透過レンズ3が更に設けられる。部分反射部分透過レンズ3は、凸レンズ2のユーザにより近い側に位置する(すなわち、部分反射部分透過レンズ3は、凸レンズ2とユーザの眼6との間に位置する)。部分反射部分透過レンズ3は、(赤外光と比較して)可視光に対し高い透過率を有し、(可視光と比較して)赤外光に対し低い透過率を有するため、VR再生コンポーネント5によって再生されるVR表示コンテンツは、可視光S1の形態で、ほとんど影響を受けずに部分反射部分透過レンズ3を通過し、ユーザの眼6は、VR表示コンテンツを見るために可視光S1を受けるのに対し、ユーザの眼6から放出される赤外光S2は、部分反射部分透過レンズ3によって大部分がまたはほぼ完全に反射される。対応する反射された赤外光S2’は、本体1に設けられたカメラ4によって取得され、眼6の赤外線画像は、視線追跡および虹彩認識等の機能を達成するために、反射された赤外光S2’から形成することができる。
より具体的には、部分反射部分透過レンズ3のレンズ表面30は、斜めに配設され、部分反射部分透過レンズ3およびカメラ4の位置は互いに対応し、それによって、部分反射部分透過レンズ3のレンズ表面30が、眼6の赤外線画像に対応する赤外光S2をカメラ4に向けて斜めに反射することができる。例えば、図1に示す実施形態において、カメラ4は、ユーザ側(すなわち、図1における左側)に近い本体1の下縁に位置することができ、カメラ4のレンズは、上述した反射された赤外光S2’を取得するために、部分反射部分透過レンズ3に向かって内側を向く。次に、カメラ4と赤外光S2との間の角度がαに維持されると仮定すると、部分反射部分透過レンズ3のレンズ表面30は、反射された赤外光S2’を形成するようにカメラ4に向かって赤外光S2を反射するように斜めに配設されるため、カメラ4と反射された赤外光S2’との間の角度βは、上述した角度αよりも必然的に小さい。このため、カメラ4によって取得された眼の赤外線画像の生じ得る変形および歪みを低減することができ、これは、眼6の赤外線画像の取得精度を改善し、虹彩認識および視線追跡等の後続の処理の精度および正確さを更に改善するのに役立つ。
更に、ユーザの眼6は凸レンズ2よりも小さい傾向にあるため、眼6と凸レンズ2との間に形成される可視エリアは、図1に示すような台形形状を有する場合があり(断面は台形であるが、実際には、凸レンズ2は丸いため、可視エリアに対応する3D形状はほぼ円錐である)、本体1の上面および底面は平坦である。次に、カメラ4が本体1の底面の縁部内に位置する例では、カメラが凸レンズ2に近づくように動くにつれ、カメラ4の設置スペースが小さくなり、カメラが眼6に近づくように動くにつれ、カメラ4の設置スペースが大きくなることが明らかである。このため、カメラ4の設置位置が(例えば、図1に示す実施形態において)眼6に近いとき、(例えば、反射された赤外光S2’とより平行にするために)カメラ4の設置角度を調整し、上述した角度βを低減するために、(カメラ4の設置位置が凸レンズ2に近い状況と比較して)より大きな設置スペースを得ることができ、それによって、眼6の赤外線画像についてのカメラ4の取得精度が改善する。
本出願の技術的解決策は、任意のタイプのVRヘッドマウント装置に適用することができることに留意するべきである。例えば、図1に示すように、VRヘルメットは、統合されたスタイルのVRヘッドマウント装置とすることができ、すなわち、VRヘルメットは、外部装置に頼ることなくVR再生機能を独立して実施することができる。VR再生コンポーネント5は、VR表示コンテンツのレンダリングおよび表示等の再生機能を実施するためにVRヘルメットに予め内蔵される。代替的に、VRヘルメットは、分割スタイルのVRヘッドマウント装置であってもよい。例えば、VRヘルメット装置がモバイル・フォンまたはタブレット等のモバイル装置とペアリングされるとき、VR再生コンポーネント5は、VRヘルメットに設置されたモバイル装置を含むことができ、モバイル装置は、プロセッサ、グラフィック・カード・チップ等を通じてレンダリングを実施することができ、スクリーン・コンポーネントを通じてコンテンツ表示を行うことができる。別の例として、VRヘルメットがPCホスト、ゲーム・コンソールまたは別の外部装置とペアリングされているとき、VR再生コンポーネント5は、VRヘルメットに内蔵された表示コンポーネントとすることができ、上述した外部装置が、VR表示コンテンツ等をレンダリングするのに用いられる。
本出願の技術的解決策において、赤外光を反射するための部分反射部分透過レンズ3は、赤外スペクトルについて低い透過率を有し、可視光等の他のスペクトルについて高い透過率を有するレンズを指す。低透過率の赤外スペクトルを可能な限りブロックすることによって、部分反射部分透過レンズ3は、赤外スペクトルを反射する。すなわち、「部分反射」である。一方、高透過率の可視光等の他のスペクトルは、部分反射部分透過レンズ3を通じて可能な限り透過することができ、それによって、可視光等の他のスペクトルに対する部分反射部分透過レンズ3’のブロックまたは影響を最小限にすることができる。すなわち、「部分透過」である。
例えば、赤外光を反射するための上述した部分反射部分透過レンズ3は、可視スペクトルをほぼ完全に透過することができ、赤外スペクトルをほぼ完全に反射することができるようになっている、赤外線ダイクロイック・ミラーとすることができる。特に、或る場合には、TiO2−Ag−TiO2赤外線反射性フィルム、またはZnS−Ag−ZnS赤外線反射性フィルム等の赤外線反射性フィルムを、赤外線ダイクロイック・ミラーを形成するために、可視光について高い透過率を有する(可視スペクトルをほぼ完全に透過することができる)光レンズの表面上にコーティングすることができる。別の場合には、赤外線ダイクロイック・ミラーを形成するために、上述した赤外線反射性フィルムにおける材料または類似の調整材料に完全に基づいてレンズを作製することができる。
上記の技術的解決策から見て取ることができるように、本出願において、部分反射部分透過レンズ3がVRヘッドマウント装置に設けられ、部分反射部分透過レンズ3のレンズ表面30が斜めに配設される。ユーザがVR表示コンテンツを見るのと干渉することなく、ユーザの眼の赤外線画像は斜めに反射され、眼の赤外線画像の取得中のカメラ4の偏角を低減することができ、これにより、眼の赤外線画像の変形および歪みが低減され、眼の赤外線画像の取得精度を改善するのに役立つ。
本出願の技術的解決策において、部分反射部分透過レンズ3が図1に示すようなプレート形状を有するとき、レンズ3は全体として、図1に示すように斜めに配置することができる。他の実施形態において、レンズ表面30は、他の方式で傾けることができる。例えば、図2に示すように、部分反射部分透過レンズ3が楔形の断面を有するとき、部分反射部分透過レンズ3の底面は垂直方向にあり、レンズ表面30は傾けられ、それによって、部分反射部分透過レンズ3の設置角度が繰り返し調整される必要がないため、部分反射部分透過レンズ3の設置難易度を低減するのに役立つ。
人間の眼の構造的特性に起因して、図1または図2に示す実施形態が利用されるとき、すなわち、部分反射部分透過レンズ3のレンズ表面30が下向きに傾けられるとき、カメラ4は、本体1の底部に位置し、カメラ4のレンズは斜めに上向きに配設され、同じ条件下でユーザの眼6の赤外線画像をより完全に、明確にかつ精密に取得することができる。確かに、図3に示す実施形態が利用される場合、すなわち、部分反射部分透過レンズ3のレンズ表面30が上向きに傾けられる場合、カメラ4が本体1の頂部に位置し、カメラ4のレンズは斜めに下向きに配設され、眼6の赤外線画像も得ることができる。
図4は、本出願の例示的な実施形態によって提供されるVRヘルメットの側断面図である。図4に示すように、図1〜図3に示す上述したプレート構造に加えて、部分反射部分透過レンズ3は他の構造を有する場合がある。例えば、図4における部分反射部分透過レンズ3は、斜めに配設された上側レンズ構造3Aおよび下側レンズ構造3Bを含むことができ、上側レンズ構造3Aおよび下側レンズ構造3Bの接合部は、ユーザに面する(すなわち、図4に示す実施形態において、上側レンズ構造3Aは下側部分が左方向に傾き、上側部分が右方向に傾き、下側レンズ構造3Bは上側部分が左方向に傾き、下側部分が右方向に傾く)。
一方、本体1には第1のカメラ4Aおよび第2のカメラ4Bが設けられる。第1のカメラ4Aは、本体1の頂部に位置し、第1のカメラ4Aのレンズは、上側レンズ構造3Aに対応して斜めに下向きに配設され、第2のカメラ4Bは、本体1の底部に位置し、第2のカメラ4Bのレンズは、下側レンズ構造3Bに対応して斜めに上向きに配設される。
実際に、VR装置を装着しているユーザは、頭部、顔および眼等の形質に関して異なる形状およびサイズを有する場合があり、VR装置は製造者によって均一に製造されるため、眼6と部分反射部分透過レンズ3との間の位置関係は、同じVR装置を装着する異なるユーザについて異なる場合がある。例えば、眼6は、図1〜図3に示すように本体1の中央位置に厳密に位置しない場合があり、その結果、カメラ4がユーザの眼の赤外線画像を完全に取得することができない場合がある。
次に、上述した潜在的問題に対処するために、本出願は、図4に示すような実施形態を通じて、ユーザの眼に生じる場合がある上方向のシフトまたは下方向のシフト等の位置変化にかかわらず、ユーザの眼の赤外線画像を、第1のカメラ4Aおよび第2のカメラ4Bによって完全に取得することができることを確実にすることができる。
例えば、眼6が本体1の中央位置の付近に位置するとき、眼6の赤外線画像の上側領域は、第1の赤外線S21に対応し、下側領域は、第1の赤外線S22に対応する。第1の赤外線S21は、上側レンズ構造3Aの上側レンズ表面30Aによって反射され、第1の反射赤外線S21’を形成することができ、これを第1のカメラ4Aによって取得することができる。第2の赤外線S22は、下側レンズ構造3Bの下側レンズ表面30Bによって反射され、第2の反射赤外線S22’を形成することができ、これを第2のカメラ4Bによって取得することができる。次に、第1の反射赤外線S21’および第2の反射赤外線S22’を組み合わせて、眼6の赤外線画像を得ることができる。
別の例として、図5に示されるように眼6が上向きにシフトされるとき、第1の赤外線S21および第1の赤外線S22は共に、上側レンズ構造3Aに向けて発せられ、上側レンズ構造3Aの上側レンズ表面30Aによって反射されて、第1の反射赤外線S21’および第2の反射赤外線S22’を形成することができる。第1のカメラ4Aは、第1の反射赤外線S21’および第2の反射赤外線S22’を取得することができ、これらを結合して眼6の赤外線画像を形成することができる。
別の例として、図6に示されるように眼6が下向きにシフトされるとき、第1の赤外線S21および第1の赤外線S22は共に、下側レンズ構造3Bに向けて発せられ、下側レンズ構造3Bの下側レンズ表面30Bによって反射されて、第1の反射赤外線S21’および第2の反射赤外線S22’を得ることができる。第2のカメラ4Bは、第1の反射赤外線S21’および第2の反射赤外線S22’を取得することができ、これらを結合して眼6の赤外線画像を形成することができる。
1つの実施形態において、図4〜図6に示す部分反射部分透過レンズ3の上側レンズ構造3Aおよび下側レンズ構造3Bは、水平面に対し対称とすることができ、それによって、上側レンズ構造3Aおよび下側レンズ構造3Bは、同じまたは類似の構造強度および安定性を有し、部分反射部分透過レンズ3は、より良好な全体安定性を有する。確実に、別の実施形態において、上側レンズ構造3Aおよび下側レンズ構造3Bは、非対称構造を有する場合もある。例えば、ほとんどの場合、眼の赤外線画像の取得のために、より大きな下側レンズ構造3Bが利用され、ユーザの眼6が上向きにシフトされる稀な場合には、眼の赤外線画像の取得のために、より小さな上側レンズ構造3Aが利用される。
確実に、図4〜図6における実施形態に示すように、様々なユーザに適合するように特殊な形状を有する部分反射部分透過レンズ3を用いることに加えて、本出願は、他の処理方法も提供する。例えば、図7に示すように、本出願のVRヘッドマウント装置は、調整コンポーネント7を更に含むことができる。調整コンポーネント7は、カメラ4のレンズが、部分反射部分透過レンズ3において形成される眼の赤外線画像のバーチャル画像に向かったままにされるように、カメラ4上で角度調節を行うように各カメラ4に電気的に接続され、それによって、眼の完全で、明確かつ精密な赤外線画像が得られる。
加えて、本出願の技術的解決策において、図1に示すような関連技術と比較して部分反射部分透過レンズ3が追加されるため、本出願のVRヘッドマウント装置は、図8に示すような保護フレーム8を更に含むことができる。保護フレーム8は、部分反射部分透過レンズ3および凸レンズ2を収容し固定するために、部分反射部分透過レンズ3および凸レンズ2に適合された収容空間を形成することができ、それによって構造上の統合性および安定性を改善する。
用語「含む」、「備える」、または任意の他の派生形は、非排他的な包含をカバーすることを意図することにも留意するべきである。したがって、一連の要素を含むプロセス、方法、物品、またはデバイスは、これらの要素を含むだけでなく、明記されていないその他の要素をも含むか、または、そのプロセス、方法、物品、デバイスに固有な要素をも含む。更なる制限がなければ、「1つの〜を含む(include one…)」というフレーズによって定義される要素は、その要素を含むプロセス、方法、物品、またはデバイスにおける他の同じ要素を除外するものではない。
ここで、例示的な実施形態を詳細に参照する。例示的な実施形態の例は、添付の図面に示されている。以下の説明は添付の図面を参照し、添付の図面において、別段の指定がない限り、異なる図面における同一の番号は、同一または同様の要素を表す。以下の例示的な実施形態の説明において示される実施態様は、本出願に一致する全ての実施態様を表しているわけではない。そうではなく、これらの実施態様は、添付の特許請求の範囲に記載されるような本出願に関連する態様に一致する装置および方法の例にすぎない。
本出願において用いられる用語は、特定の実施形態を説明する目的のためのみのものであり、本開示を制限することは意図されていない。文脈上そうでないと明示的に示されない限り、本出願および添付の特許請求の範囲において用いられる単数形の「一」、「上記」および「前記」は、複数形を含むと解釈されるべきである。また、本明細書において用いられる「および/または」という用語は、1つまたは複数の関連する記載項目のありとあらゆる可能な組み合わせを表し、含む。
第1、第2および第3等の用語が、本明細書において様々な情報を説明するのに用いられる場合があるが、そのような情報は、これらの用語に限定されるべきではないことが理解されるべきである。これらの用語は、互いに同一の種類の情報を区別するためにのみ用いられる。例えば、本出願の範囲内で、第1の情報は、第2の情報と呼ばれる場合もあり、同様に、第2の情報は、第1の情報と呼ばれる場合もある。文脈に応じて、本明細書において用いられる「場合」という語は、「〜のとき」、または「〜の際」または「判断に応答して」と解釈される場合がある。
上述した実施形態は、本出願の例示的な実施形態にすぎず、本出願を制限することを意図したものではない。本開示の趣旨および原則から逸脱することなく行われるあらゆる修正、同等の置き換えまたは改善は、本出願の保護範囲内にあるものとする。
例えば、眼6が本体1の中央位置の付近に位置するとき、眼6の赤外線画像の上側領域は、第1の赤外線S21に対応し、下側領域は、第2の赤外線S22に対応する。第1の赤外線S21は、上側レンズ構造3Aの上側レンズ表面30Aによって反射され、第1の反射赤外線S21’を形成することができ、これを第1のカメラ4Aによって取得することができる。第2の赤外線S22は、下側レンズ構造3Bの下側レンズ表面30Bによって反射され、第2の反射赤外線S22’を形成することができ、これを第2のカメラ4Bによって取得することができる。次に、第1の反射赤外線S21’および第2の反射赤外線S22’を組み合わせて、眼6の赤外線画像を得ることができる。
別の例として、図5に示されるように眼6が上向きにシフトされるとき、第1の赤外線S21および第2の赤外線S22は共に、上側レンズ構造3Aに向けて発せられ、上側レンズ構造3Aの上側レンズ表面30Aによって反射されて、第1の反射赤外線S21’および第2の反射赤外線S22’を形成することができる。第1のカメラ4Aは、第1の反射赤外線S21’および第2の反射赤外線S22’を取得することができ、これらを結合して眼6の赤外線画像を形成することができる。
別の例として、図6に示されるように眼6が下向きにシフトされるとき、第1の赤外線S21および第2の赤外線S22は共に、下側レンズ構造3Bに向けて発せられ、下側レンズ構造3Bの下側レンズ表面30Bによって反射されて、第1の反射赤外線S21’および第2の反射赤外線S22’を得ることができる。第2のカメラ4Bは、第1の反射赤外線S21’および第2の反射赤外線S22’を取得することができ、これらを結合して眼6の赤外線画像を形成することができる。
ここで、例示的な実施形態を詳細に参照する。例示的な実施形態の例は、添付の図面に示されている。上記の説明は添付の図面を参照し、添付の図面において、別段の指定がない限り、異なる図面における同一の番号は、同一または同様の要素を表す。例示的な実施形態の上記の説明において示される実施態様は、本出願に一致する全ての実施態様を表しているわけではない。そうではなく、これらの実施態様は、添付の特許請求の範囲に記載されるような本出願に関連する態様に一致する装置および方法の例にすぎない。

Claims (10)

  1. バーチャル・リアリティー・ヘッドマウント装置であって、
    凸レンズを設けられた本体と、
    前記本体に設けられた、カメラ、および赤外光を反射するための部分反射部分透過レンズとを備え、前記部分反射部分透過レンズは、前記凸レンズの、ユーザにより近い側に位置し、前記部分反射部分透過レンズのレンズ表面は、前記ユーザの眼の赤外線画像を前記カメラに向けて斜めに反射するように斜めに配設される、装置。
  2. 前記部分反射部分透過レンズは、可視光に対する高い透過率、および赤外光に対する低い透過率を有する、請求項1に記載の装置。
  3. 前記部分反射部分透過レンズは赤外線ダイクロイック・ミラーを含む、請求項1に記載の装置。
  4. 前記カメラは、前記ユーザに対し、前記凸レンズの可視エリア外に位置する、請求項1に記載の装置。
  5. 前記部分反射部分透過レンズはプレート形状を有し、前記部分反射部分透過レンズの前記レンズ表面は上向きに傾けられ、前記カメラは前記本体の頂部に位置し、前記カメラのレンズは、斜めに下向きに配設される、請求項1に記載の装置。
  6. 前記部分反射部分透過レンズはプレート形状を有し、前記部分反射部分透過レンズの前記レンズ表面は下向きに傾けられ、前記カメラは前記本体の底部に位置し、前記カメラのレンズは、斜めに上向きに配設される、請求項1に記載の装置。
  7. 前記部分反射部分透過レンズは、斜めに配設された上側レンズ構造および下側レンズ構造を含み、前記上側レンズ構造および前記下側レンズ構造の接合部は前記ユーザに面し、前記本体には第1のカメラおよび第2のカメラが設けられ、前記第1のカメラは前記本体の頂部に位置し、前記第1のカメラのレンズは、前記上側レンズ構造に対応して斜めに下向きに配設され、前記第2のカメラは前記本体の底部に位置し、前記第2のカメラのレンズは、前記下側レンズ構造に対応して斜めに上向きに配設される、請求項1に記載の装置。
  8. 前記上側レンズ構造および前記下側レンズ構造は、水平面に対して対称である、請求項7に記載の装置。
  9. 保護フレームを更に備え、前記保護フレームは、前記部分反射部分透過レンズおよび前記凸レンズを収容し、固定するために、前記部分反射部分透過レンズおよび前記凸レンズに適合された収容空間を形成する、請求項1に記載の装置。
  10. 調整コンポーネントを更に備え、前記調整コンポーネントは、前記カメラのレンズが、前記部分反射部分透過レンズにおいて形成される前記眼の前記赤外線画像のバーチャル画像に向かったままにされるように、前記カメラの上で角度調節を行う、請求項1に記載の装置。
JP2019546360A 2017-02-27 2018-02-26 バーチャル・リアリティー・ヘッドマウント装置 Active JP6856863B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710109486.6A CN106908951A (zh) 2017-02-27 2017-02-27 虚拟现实头戴设备
CN201710109486.6 2017-02-27
PCT/CN2018/077285 WO2018153371A1 (zh) 2017-02-27 2018-02-26 虚拟现实头戴设备

Publications (2)

Publication Number Publication Date
JP2020514887A true JP2020514887A (ja) 2020-05-21
JP6856863B2 JP6856863B2 (ja) 2021-04-14

Family

ID=59208362

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019546360A Active JP6856863B2 (ja) 2017-02-27 2018-02-26 バーチャル・リアリティー・ヘッドマウント装置

Country Status (12)

Country Link
US (1) US11442270B2 (ja)
EP (1) EP3557308B1 (ja)
JP (1) JP6856863B2 (ja)
KR (1) KR102284974B1 (ja)
CN (1) CN106908951A (ja)
ES (1) ES2824820T3 (ja)
MY (1) MY193942A (ja)
PH (1) PH12019501661A1 (ja)
PL (1) PL3557308T3 (ja)
SG (1) SG11201906874WA (ja)
TW (1) TWI659229B (ja)
WO (1) WO2018153371A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106908951A (zh) * 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN110850594B (zh) * 2018-08-20 2022-05-17 余姚舜宇智能光学技术有限公司 头戴式可视设备及用于头戴式可视设备的眼球追踪系统
TWI738407B (zh) * 2019-11-07 2021-09-01 宏達國際電子股份有限公司 頭戴式顯示裝置
WO2022055502A1 (en) * 2020-09-14 2022-03-17 Hewlett-Packard Development Company, L.P. Head mounted display with reflective surface
EP4202531A4 (en) 2020-11-24 2024-03-20 Samsung Electronics Co Ltd WEARABLE ELECTRONIC DEVICE WITH AUGMENTED REALITY INCLUDING A CAMERA
CN117310972A (zh) * 2022-06-21 2023-12-29 北京七鑫易维信息技术有限公司 一种眼球追踪光学装置、系统和虚拟现实设备

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4227113A (en) * 1978-10-18 1980-10-07 Duro-Test Corporation Incandescent electric lamp with partial light transmitting coating
JPH06121254A (ja) * 1992-10-06 1994-04-28 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
US5621424A (en) * 1992-08-24 1997-04-15 Olympus Optical Co., Ltd. Head mount display apparatus allowing easy switching operation from electronic image to external field image
US5347400A (en) 1993-05-06 1994-09-13 Ken Hunter Optical system for virtual reality helmet
US6018630A (en) * 1994-05-17 2000-01-25 Canon Kabushiki Kaisha Camera viewfinder having a viewpoint detecting apparatus
US7262919B1 (en) * 1994-06-13 2007-08-28 Canon Kabushiki Kaisha Head-up display device with curved optical surface having total reflection
JP3309615B2 (ja) * 1994-12-21 2002-07-29 キヤノン株式会社 画像観察装置及びこれを用いた両眼画像観察装置
JPH09274144A (ja) * 1996-04-02 1997-10-21 Canon Inc 画像表示装置
US5771124A (en) * 1996-07-02 1998-06-23 Siliscape Compact display system with two stage magnification and immersed beam splitter
US5689619A (en) 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
US6043799A (en) * 1998-02-20 2000-03-28 University Of Washington Virtual retinal display with scanner array for generating multiple exit pupils
JPH11249588A (ja) 1998-02-27 1999-09-17 Shimadzu Corp 頭部装着型表示装置
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
CN100520490C (zh) 2004-05-17 2009-07-29 奥林巴斯株式会社 头部佩戴型图像显示装置
CN101243392A (zh) 2005-08-15 2008-08-13 皇家飞利浦电子股份有限公司 用于终端用户编程的增强现实眼镜的系统、设备和方法
US7522344B1 (en) * 2005-12-14 2009-04-21 University Of Central Florida Research Foundation, Inc. Projection-based head-mounted display with eye-tracking capabilities
CN200994790Y (zh) * 2006-12-19 2007-12-26 潘晓刚 心理状态参数测试系统
JP2008165063A (ja) 2006-12-28 2008-07-17 Scalar Corp ヘッドマウントディスプレイ
CN101077232A (zh) * 2007-06-07 2007-11-28 南京航空航天大学 一种用于穿戴式计算机的人机交互头盔
JP5031452B2 (ja) * 2007-06-20 2012-09-19 キヤノン株式会社 画像観察装置及び画像観察システム
WO2009150747A1 (ja) 2008-06-13 2009-12-17 パイオニア株式会社 視線入力によるユーザーインターフェース装置、ユーザーインターフェース方法、ユーザーインターフェースプログラム、及びユーザーインターフェースプログラムが記録された記録媒体
JP5402293B2 (ja) 2009-06-22 2014-01-29 ソニー株式会社 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US20120194418A1 (en) 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user action control and event input based control of eyepiece application
KR20130000401A (ko) 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
CN202198569U (zh) * 2011-08-09 2012-04-25 中国人民解放军空军航空医学研究所 一种侧反式眼动检测装置
US9019614B2 (en) 2011-10-26 2015-04-28 Google Inc. Display device with image depth simulation
BR112014018154A8 (pt) * 2012-01-24 2017-07-11 Univ Arizona Visor de monitoramento ocular montado na cabeça
EP2808725B1 (en) 2012-01-24 2018-09-26 Sony Corporation Head-mounted display device with a light-shielding member
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
WO2014186620A1 (en) * 2013-05-15 2014-11-20 The Johns Hopkins University Eye tracking and gaze fixation detection systems, components and methods using polarized light
US9625723B2 (en) * 2013-06-25 2017-04-18 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism
EP2821839A1 (de) * 2013-07-03 2015-01-07 Airbus Defence and Space GmbH HMD-Vorrichtung mit einstellbarer Eye-Tracking-Einrichtung
JP6175945B2 (ja) * 2013-07-05 2017-08-09 ソニー株式会社 視線検出装置及び視線検出方法
US9494800B2 (en) * 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9330302B2 (en) * 2014-02-26 2016-05-03 Microsoft Technology Licensing, Llc Polarized gaze tracking
WO2015157016A1 (en) * 2014-04-09 2015-10-15 3M Innovative Properties Company Head mounted display and low conspicuity pupil illuminator
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
US10445573B2 (en) * 2014-06-27 2019-10-15 Fove, Inc. Gaze detection device
CN104407440A (zh) * 2014-11-19 2015-03-11 东南大学 具有视线跟踪功能的全息显示装置
US9791924B2 (en) * 2014-12-23 2017-10-17 Mediatek Inc. Eye tracking with mobile device in a head-mounted display
US20160370591A1 (en) * 2014-12-27 2016-12-22 Fove, Inc. Head mounted display
DK179537B1 (en) * 2015-02-04 2019-02-08 Itu Business Development A/S Tin traces and eye tracking methods
JP6112583B2 (ja) * 2015-04-01 2017-04-12 フォーブ インコーポレーテッド ヘッドマウントディスプレイ
US9823474B2 (en) * 2015-04-02 2017-11-21 Avegant Corp. System, apparatus, and method for displaying an image with a wider field of view
US20160378176A1 (en) * 2015-06-24 2016-12-29 Mediatek Inc. Hand And Body Tracking With Mobile Device-Based Virtual Reality Head-Mounted Display
CN205103761U (zh) * 2015-08-03 2016-03-23 众景视界(北京)科技有限公司 头戴式智能设备
CN105093532A (zh) 2015-08-03 2015-11-25 京东方科技集团股份有限公司 虚拟现实眼镜及显示方法
CN205051824U (zh) 2015-10-21 2016-02-24 北京小鸟看看科技有限公司 一种虚拟现实眼镜
KR102078059B1 (ko) * 2015-11-25 2020-02-17 구글 엘엘씨 프리즘-기반 눈 추적
KR101862499B1 (ko) * 2015-11-27 2018-05-29 포브, 아이엔씨. 시선 검출 시스템, 주시점 특정 방법 및 주시점 특정 프로그램
US10303246B2 (en) * 2016-01-20 2019-05-28 North Inc. Systems, devices, and methods for proximity-based eye tracking
CN106214118A (zh) * 2016-01-28 2016-12-14 北京爱生科贸有限公司 一种基于虚拟现实的眼球运动监测系统
US10401952B2 (en) * 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10169846B2 (en) * 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10192528B2 (en) * 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
CN205594581U (zh) * 2016-04-06 2016-09-21 北京七鑫易维信息技术有限公司 视频眼镜的眼球追踪模组
CN205721634U (zh) * 2016-05-16 2016-11-23 上海青研科技有限公司 一种头戴式眼控虚拟现实设备
CN106406509B (zh) * 2016-05-16 2023-08-01 上海青研科技有限公司 一种头戴式眼控虚拟现实设备
CN105955491B (zh) * 2016-06-30 2020-07-10 北京上古视觉科技有限公司 一种具有眼控及虹膜识别功能的vr眼镜
CN205942608U (zh) * 2016-06-30 2017-02-08 上海青研科技有限公司 一种用于眼球追踪和虹膜识别的一体化镜杯
DE202016104179U1 (de) 2016-07-29 2016-08-12 Christian Hildebrandt Ausgabegerät zur stereoskopischen Bildwiedergabe
US20180068449A1 (en) * 2016-09-07 2018-03-08 Valve Corporation Sensor fusion systems and methods for eye-tracking applications
CN106406543A (zh) * 2016-11-23 2017-02-15 长春中国光学科学技术馆 人眼控制vr场景变换装置
US20180157320A1 (en) * 2016-12-01 2018-06-07 Oculus Vr, Llc Air spaced optical assembly with integrated eye tracking
US10310598B2 (en) * 2017-01-17 2019-06-04 Facebook Technologies, Llc Varifocal head-mounted display including modular air spaced optical assembly
US10485420B2 (en) * 2017-02-17 2019-11-26 Analog Devices Global Unlimited Company Eye gaze tracking
CN206584118U (zh) * 2017-02-27 2017-10-24 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106908951A (zh) * 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US10546518B2 (en) * 2017-05-15 2020-01-28 Google Llc Near-eye display with extended effective eyebox via eye tracking
US10627627B2 (en) * 2017-10-02 2020-04-21 Google Llc Eye tracking using light guide with faceted combiner
US10788677B2 (en) * 2017-10-03 2020-09-29 Facebook Technologies, Llc Fresnel assembly for light redirection in eye tracking systems
US10488917B2 (en) * 2018-02-17 2019-11-26 Varjo Technologies Oy Gaze-tracking system and method of tracking user's gaze using reflective element
US10788892B2 (en) * 2018-05-23 2020-09-29 Facebook Technologies, Llc In-field illumination and imaging for eye tracking

Also Published As

Publication number Publication date
TW201831949A (zh) 2018-09-01
PL3557308T3 (pl) 2021-01-25
EP3557308A1 (en) 2019-10-23
KR102284974B1 (ko) 2021-08-03
US20190339527A1 (en) 2019-11-07
EP3557308A4 (en) 2020-01-29
MY193942A (en) 2022-11-02
EP3557308B1 (en) 2020-08-26
JP6856863B2 (ja) 2021-04-14
ES2824820T3 (es) 2021-05-13
TWI659229B (zh) 2019-05-11
US11442270B2 (en) 2022-09-13
KR20190101445A (ko) 2019-08-30
PH12019501661A1 (en) 2020-03-02
SG11201906874WA (en) 2019-08-27
WO2018153371A1 (zh) 2018-08-30
CN106908951A (zh) 2017-06-30

Similar Documents

Publication Publication Date Title
JP6999687B2 (ja) バーチャル・リアリティー・ヘッドマウント装置
JP6856863B2 (ja) バーチャル・リアリティー・ヘッドマウント装置
CN109891296B (zh) 使用瞳孔位置校正光学透镜畸变
US9360671B1 (en) Systems and methods for image zoom
JP5417660B2 (ja) 立体プロジェクション・システム
CN108292041A (zh) 用于更高光学性能的紧凑近眼显示器光学系统
KR102304308B1 (ko) 시선 조정 메커니즘을 갖춘 전자 시스템 및 그 작동 방법
JP7071384B2 (ja) バーチャルリアリティーヘッドマウント装置
US9910278B1 (en) Augmented reality visualization device
JP7435596B2 (ja) ヘッドマウントディスプレイシステム、ステレオ画像を撮像するように動作可能であるステレオ深度カメラ、および、ステレオ画像を撮像するように動作可能であるステレオ深度カメラを提供する方法
US20190349506A1 (en) Virtual reality head-mounted apparatus
US20190171021A1 (en) Techniques for Image Projection
CN108427194A (zh) 一种基于增强现实的显示方法及设备
KR20220128478A (ko) 머리-착용 디스플레이 시스템에 대한 와이어 그리드 편광기에 대한 편광 보상
CN111158145A (zh) 一种单板反射式ar眼镜的投屏装置
WO2023113956A1 (en) Eyewear including a non-uniform push-pull lens set
JP2016034091A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP3652838B2 (ja) 画像表示装置
JP2018010251A (ja) 虚像表示装置
CN115802143A (zh) 基于设备位置调整图像的显示
CN117981296A (zh) 使用多个相机的扩展视场

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191001

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210126

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210127

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210225

R150 Certificate of patent or registration of utility model

Ref document number: 6856863

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250