JP2021536592A - 拡張現実デバイスのための空間的に分解された動的調光 - Google Patents

拡張現実デバイスのための空間的に分解された動的調光 Download PDF

Info

Publication number
JP2021536592A
JP2021536592A JP2021510460A JP2021510460A JP2021536592A JP 2021536592 A JP2021536592 A JP 2021536592A JP 2021510460 A JP2021510460 A JP 2021510460A JP 2021510460 A JP2021510460 A JP 2021510460A JP 2021536592 A JP2021536592 A JP 2021536592A
Authority
JP
Japan
Prior art keywords
optical system
light
information
optical
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021510460A
Other languages
English (en)
Other versions
JPWO2020047486A5 (ja
Inventor
ヴァイブハブ マトゥール,
デイビッド マンリー,
ジャジャ アイ. トリスナディ,
クリントン カーライル,
ライオネル アーネスト エドウィン,
マイケル アンソニー クルグ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2021536592A publication Critical patent/JP2021536592A/ja
Publication of JPWO2020047486A5 publication Critical patent/JPWO2020047486A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/80Shading
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

光学システムを動作させるための技法が、説明される。いくつかの実施形態では、世界オブジェクトと関連付けられる光が、光学システムにおいて受光される。仮想画像光が、光学システムの接眼レンズ上に投影される。少なくとも部分的に調光されることになる光学システムのシステム視野の一部が、光学システムによって検出された情報に基づいて決定される。システム視野の一部に関する複数の空間的に分解された調光値が、検出された情報に基づいて決定され得る。検出された情報は、光情報、視線情報、および/または画像情報を含み得る。光学システムの調光器は、複数の調光値に従って、システム視野の一部内の世界オブジェクトと関連付けられる光の強度を低減させるように調節され得る。

Description

(関連出願の相互参照)
本願は、その内容が、その全体として本明細書に内に組み込まれる、2018年8月31日に出願され、「SPATIALLY−RESOLVED DYNAMIC DIMMING FOR AUGMENTED REALITY DEVICE」と題された、米国仮特許出願第62/725,993号、および2019年6月6日に出願され、「SPATIALLY−RESOLVED DYNAMIC DIMMING FOR AUGMENTED REALITY DEVICE」と題された、米国仮特許出願第62/858,252号の優先権の利益を主張する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式で、ユーザに提示される。仮想現実、すなわち、「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実、すなわち、「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。
これらのディスプレイ技術において成された進歩にもかかわらず、当技術分野において、拡張現実システム、特に、ディスプレイシステムに関連する、改良された方法、システム、およびデバイスの必要性が存在する。
本開示は、概して、周囲光条件を変動させるために、光学システムを改良するための技法に関する。より具体的には、本開示の実施形態は、調光要素を備える、拡張現実(AR)デバイスを動作させるためのシステムおよび方法を提供する。本発明は、ARデバイスを参照して説明されるが、本開示は、コンピュータビジョンおよび画像ディスプレイシステムにおける種々の用途に適用可能である。
本発明の概要が、いくつかの実施例を参照して下記に提供される。下記で使用されるように、一連の実施例の任意の参照は、それらの実施例のそれぞれの分離参照として理解されるべきである(例えば、「実施例1−4」は、「実施例1、2、3、または4」として理解されるべきである)。
実施例1は、光学システムを動作させる方法であって、光学システムにおいて、世界オブジェクトと関連付けられる光を受光するステップと、仮想画像光を接眼レンズ上に投影するステップと、光学システムによって検出された情報に基づいて、少なくとも部分的に調光されることになる光学システムのシステム視野の一部を決定するステップと、調光器を調節し、システム視野の一部内の世界オブジェクトと関連付けられる光の強度を低減させるステップとを含む、方法である。
実施例2は、光学システムは、世界オブジェクトと関連付けられる光に対応する光情報を検出するように構成される、光センサを備え、検出された情報は、光情報を含む、実施例1に記載の方法である。
実施例3は、光情報は、複数の空間的に分解された光値を含む、実施例1−2に記載の方法である。
実施例4は、光情報は、大域的光値を含む、実施例1−3に記載の方法である。
実施例5は、光学システムは、光学システムのユーザの眼に対応する視線情報を検出するように構成される、眼追跡器を備え、検出された情報は、視線情報を含む、実施例1−4に記載の方法である。
実施例6は、視線情報は、ユーザの眼の視線ベクトルと交差する、ピクセル場所を含む、実施例1−5に記載の方法である。
実施例7は、視線情報は、ユーザの眼の瞳孔位置、ユーザの眼の回転中心、ユーザの眼の瞳孔サイズ、ユーザの眼の瞳孔直径、およびユーザの眼の錐体および桿体場所のうちの1つ以上のものを含む、実施例1−6に記載の方法である。
実施例8は、仮想画像光に対応する画像情報を検出するステップであって、検出された情報は、画像情報を含む、ステップをさらに含む、実施例1−7に記載の方法である。
実施例9は、画像情報は、複数の空間的に分解された画像明度値を含む、実施例1−8に記載の方法である。
実施例10は、画像情報は、大域的画像明度値を含む、実施例1−9に記載の方法である。
実施例11は、検出された情報に基づいて、システム視野の一部に関する複数の空間的に分解された調光値を決定するステップであって、調光器は、複数の調光値に従って調節される、ステップをさらに含む、実施例1−10に記載の方法である。
実施例12は、調光器は、複数のピクセルを備える、実施例1−11に記載の方法である。
実施例13は、調光器は、システム視野の全て内の世界オブジェクトと関連付けられる光の強度を完全に遮断するように調節される、実施例1−12に記載の方法である。
実施例14は、仮想画像光と関連付けられる明度を調節するステップをさらに含む、実施例1−13に記載の方法である。
実施例15は、仮想画像光は、画像視野によって特徴付けられ、画像視野は、システム視野に等しい、実施例1−14に記載の方法である。
実施例16は、少なくとも部分的に調光されることになる光学システムのシステム視野の一部を決定するステップは、少なくとも部分的に、少なくとも1つの世界オブジェクトに基づく、実施例1−15に記載の方法である。
実施例17は、少なくとも部分的に調光されることになる光学システムのシステム視野の一部を決定するステップは、少なくとも部分的に、仮想画像内に含まれる少なくとも1つのオブジェクトに基づく、実施例1−16に記載の方法である。
実施例18は、非一過性コンピュータ可読媒体であって、プロセッサによって実行されると、プロセッサに、光学システムにおいて、世界オブジェクトと関連付けられる光を受光するステップと、仮想画像光を接眼レンズ上に投影するステップと、光学システムによって検出された情報に基づいて、少なくとも部分的に調光されることになる光学システムのシステム視野の一部を決定するステップと、調光器を調節し、システム視野の一部内の世界オブジェクトと関連付けられる光の強度を低減させるステップとを含む、動作を実施させる、命令を備える、非一過性コンピュータ可読媒体である。
実施例19は、光学システムは、世界オブジェクトと関連付けられる光に対応する光情報を検出するように構成される、光センサを備え、検出された情報は、光情報を含む、実施例18に記載の非一過性コンピュータ可読媒体である。
実施例20は、光情報は、複数の空間的に分解された光値を含む、実施例19に記載の非一過性コンピュータ可読媒体である。
実施例21は、光情報は、大域的光値を含む、実施例19に記載の非一過性コンピュータ可読媒体である。
実施例22は、光学システムは、光学システムのユーザの眼に対応する視線情報を検出するように構成される、眼追跡器を備え、検出された情報は、視線情報を含む、実施例18に記載の非一過性コンピュータ可読媒体である。
実施例23は、視線情報は、ユーザの眼の視線ベクトルと交差する、ピクセル場所を含む、実施例22に記載の非一過性コンピュータ可読媒体である。
実施例24は、視線情報は、ユーザの眼の瞳孔位置、ユーザの眼の回転中心、ユーザの眼の瞳孔サイズ、ユーザの眼の瞳孔直径、およびユーザの眼の錐体および桿体場所のうちの1つ以上のものを含む、実施例22に記載の非一過性コンピュータ可読媒体である。
実施例25は、動作はさらに、仮想画像光に対応する画像情報を検出するステップであって、検出された情報は、画像情報を含む、ステップを含む、実施例18に記載の非一過性コンピュータ可読媒体である。
実施例26は、画像情報は、複数の空間的に分解された画像明度値を含む、実施例25に記載の非一過性コンピュータ可読媒体である。
実施例27は、画像情報は、大域的画像明度値を含む、実施例25に記載の非一過性コンピュータ可読媒体である。
実施例28は、動作はさらに、検出された情報に基づいて、システム視野の一部に関する複数の空間的に分解された調光値を決定するステップであって、調光器は、複数の調光値に従って調節される、ステップを含む、実施例18に記載の非一過性コンピュータ可読媒体である。
実施例29は、調光器は、複数のピクセルを備える、実施例18に記載の非一過性コンピュータ可読媒体である。
実施例30は、調光器は、システム視野の全て内の世界オブジェクトと関連付けられる光の強度を完全に遮断するように調節される、実施例18に記載の非一過性コンピュータ可読媒体である。
実施例31は、動作はさらに、仮想画像光と関連付けられる明度を調節するステップを含む、実施例18に記載の非一過性コンピュータ可読媒体である。
実施例32は、仮想画像光は、画像視野によって特徴付けられ、画像視野は、システム視野に等しい、実施例18に記載の非一過性コンピュータ可読媒体である。
実施例33は、光学システムであって、仮想画像光を接眼レンズ上に投影するように構成される、プロジェクタと、世界オブジェクトと関連付けられる光を調光するように構成される、調光器と、プロジェクタおよび調光器に通信可能に結合される、プロセッサであって、光学システムによって検出された情報に基づいて、少なくとも部分的に調光されることになる光学システムのシステム視野の一部を決定するステップと、調光器を調節し、システム視野の一部内の世界オブジェクトと関連付けられる光の強度を低減させるステップとを含む、動作を実施するように構成される、プロセッサとを備える、光学システムである。
実施例34は、世界オブジェクトと関連付けられる光に対応する光情報を検出するように構成される、光センサをさらに備え、検出された情報は、光情報を含む、実施例33に記載の光学システム。
実施例35は、光情報は、複数の空間的に分解された光値を含む、実施例34に記載の光学システムである。
実施例36は、光情報は、大域的光値を含む、実施例34に記載の光学システムである。
実施例37は、光学システムのユーザの眼に対応する視線情報を検出するように構成される、眼追跡器をさらに備え、検出された情報は、視線情報を含む、実施例33に記載の光学システム。
実施例38は、視線情報は、ユーザの眼の視線ベクトルと交差する、ピクセル場所を含む、実施例37に記載の光学システムである。
実施例39は、視線情報は、ユーザの眼の瞳孔位置、ユーザの眼の回転中心、ユーザの眼の瞳孔サイズ、ユーザの眼の瞳孔直径、およびユーザの眼の錐体および桿体場所のうちの1つ以上のものを含む、実施例37に記載の光学システムである。
実施例40は、動作はさらに、仮想画像光に対応する画像情報を検出するステップであって、検出された情報は、画像情報を含む、ステップを含む、実施例33に記載の光学システムである。
実施例41は、画像情報は、複数の空間的に分解された画像明度値を含む、実施例40に記載の光学システムである。
実施例42は、画像情報は、大域的画像明度値を含む、実施例40に記載の光学システムである。
実施例43は、動作はさらに、検出された情報に基づいて、システム視野の一部に関する複数の空間的に分解された調光値を決定するステップであって、調光器は、複数の調光値に従って調節される、ステップを含む、実施例33に記載の光学システムである。
実施例44は、調光器は、複数のピクセルを備える、実施例33に記載の光学システムである。
実施例45は、調光器は、システム視野の全て内の世界オブジェクトと関連付けられる光の強度を完全に遮断するように調節される、実施例33に記載の光学システムである。
実施例46は、動作はさらに、仮想画像光と関連付けられる明度を調節するステップを含む、実施例33に記載の光学システムである。
実施例47は、仮想画像光は、画像視野によって特徴付けられ、画像視野は、システム視野に等しい、実施例33に記載の光学システムである。
実施例48は、光学システムであって、光学システムのユーザの頭部を中心として装着されるように構成される、フレームと、フレームによって担持され、ユーザの眼とユーザの環境との間に位置付けられるように構成される、調光コンポーネントと、ユーザの眼の位置付けを監視するように構成される、眼追跡器と、調光コンポーネントおよび眼追跡器に通信可能に結合される、制御回路網であって、眼追跡器からのデータを受信し、眼追跡器から受光されたデータに基づいて、ユーザの眼の特定の解剖学的領域が位置付けられる、ユーザの眼の光学軸に沿った場所を決定し、ユーザの環境内に位置する3次元空間内の1つ以上の点を識別し、ユーザの環境内の1つ以上の識別された点毎に、少なくとも部分的に、ユーザの眼の特定の解剖学的領域の決定された場所およびユーザの環境内に位置する3次元空間内の個別の点に基づいて、調光コンポーネントの1つ以上のピクセルのセットを識別し、調光コンポーネントを制御し、1つ以上のピクセルの識別されたセットを調光するように構成される、制御回路網とを備える、光学システムである。
実施例49は、ユーザの眼の特定の解剖学的領域は、ユーザの眼の回転中心を備える、実施例48に記載の光学システムである。
実施例50は、ユーザの眼の特定の解剖学的領域は、ユーザの眼の瞳孔の中心を備える、実施例48に記載の光学システムである。
実施例51は、仮想コンテンツを表す光を放出するように構成される、プロジェクタと、フレームによって担持され、ユーザの眼と調光コンポーネントとの間に位置付けられるように構成される、導波管であって、光をプロジェクタから受光し、ユーザの眼に指向するように構成される、導波管とをさらに備える、実施例48に記載の光学システムである。
実施例52は、制御回路網は、プロジェクタに通信可能に結合され、制御回路網はさらに、プロジェクタを制御し、仮想コンテンツの1つ以上のピクセルを表す、光を放出するように構成される、実施例51に記載の光学システムである。
実施例53は、ユーザの環境内に位置する、3次元空間内の1つ以上の点は、仮想コンテンツの1つ以上のピクセルが、それぞれ、ユーザによって知覚されることになる、3次元空間内の1つ以上の場所に対応する、実施例52に記載の光学システムである。
実施例54は、仮想コンテンツの1つ以上のピクセルは、仮想オブジェクトの複数のピクセルを備える、実施例52に記載の光学システムである。
実施例55は、ユーザの環境内に位置する、3次元空間内の1つ以上の点は、仮想オブジェクトと関連付けられる仮想陰影の1つ以上のピクセルが、それぞれ、ユーザによって知覚されることになる、3次元空間内の1つ以上の場所に対応する、実施例54に記載の光学システムである。
実施例56は、ユーザの環境内に位置する、3次元空間内の1つ以上の点は、ユーザの環境内の実世界オブジェクトによって物理的に占有される、3次元空間内の1つ以上の点に対応する、実施例48に記載の光学システムである。
実施例57は、調光コンポーネントの1つ以上のピクセルのセットを識別するために、制御回路網は、1つ以上の光線のセットをユーザの環境内に位置する3次元空間内の個別の点からユーザの眼の特定の解剖学的領域の決定された場所に投射し、1つ以上の光線のセットと調光コンポーネントとの間の交点の1つ以上の点のセットを識別するように構成される、実施例48に記載の光学システムである。
実施例58は、調光コンポーネントは、湾曲形状である、実施例48に記載の光学システムである。
実施例59は、制御回路網はさらに、それぞれ、調光コンポーネントの1つ以上のピクセルの識別されたセットのための1つ以上の調光値のセットを決定するように構成され、制御回路網は、調光コンポーネントを制御し、1つ以上の調光値の決定されたセットに従って、1つ以上のピクセルの識別されたセットを調光するように構成される、実施例48に記載の光学システムである。
実施例60は、制御回路網はさらに、眼追跡器から受信されたデータに基づいて、ユーザの眼の1つ以上の特性を決定するように構成され、制御回路網は、それぞれ、少なくとも部分的に、ユーザの眼の1つ以上の決定された特性に基づいて、調光コンポーネントの1つ以上のピクセルの識別されたセットのための1つ以上の調光値のセットを決定するように構成される、実施例59に記載の光学システムである。
実施例61は、ユーザの眼の1つ以上の特性は、ユーザの眼の瞳孔サイズ、ユーザの眼の瞳孔直径、ユーザの眼の錐体および桿体場所、およびユーザの眼の水晶体の遠近調節状態のうちの1つ以上のものを含む、実施例60に記載の光学システムである。
実施例62は、制御回路網は、少なくとも部分的に、ユーザの眼の1つ以上の決定された特性に基づいて、調光コンポーネントの1つ以上のピクセルのセットを識別するように構成される、実施例61に記載の光学システムである。
実施例63は、制御回路網に通信可能に結合され、仮想コンテンツを表す、光を放出するように構成される、プロジェクタと、フレームによって担持され、ユーザの眼と調光コンポーネントとの間に位置付けられるように構成される、導波管であって、光をプロジェクタから受光し、ユーザの眼に指向するように構成される、導波管とをさらに備え、制御回路網はさらに、プロジェクタを制御し、それぞれ、仮想コンテンツの1つ以上のピクセルを表す、光を、明度の1つ以上のレベルで放出するように構成され、制御回路網は、それぞれ、少なくとも部分的に、仮想コンテンツの1つ以上のピクセルの明度の1つ以上のレベルに基づいて、調光コンポーネントの1つ以上のピクセルの識別されたセットのための1つ以上の調光値のセットを決定するように構成される、実施例59に記載の光学システム。
実施例64は、制御回路網は、それぞれ、少なくとも部分的に、仮想コンテンツのために規定された所定のコントラストおよび所定のレベルの可視度のうちの1つ以上のものに基づいて、調光コンポーネントの1つ以上のピクセルの識別されたセットのための1つ以上の調光値のセットを決定するように構成される、実施例63に記載の光学システムである。
実施例65は、仮想コンテンツは、仮想オブジェクトを備え、制御回路網は、少なくとも部分的に、仮想オブジェクトの1つ以上の特性に基づいて、調光コンポーネントの1つ以上のピクセルのセットを識別するように構成される、実施例63に記載の光学システムである。
実施例66は、仮想オブジェクトの1つ以上の特性は、仮想オブジェクトのサイズ、仮想オブジェクトの形状、仮想オブジェクトがユーザによって知覚されることになる、ユーザの環境内の位置、および仮想オブジェクトがユーザによって知覚されることになる、深度のうちの1つ以上のものを含む、実施例65に記載の光学システムである。
実施例67は、制御回路網に通信可能に結合され、それぞれ、ユーザの環境の1つ以上の部分と関連付けられる光の明度の1つ以上のレベルを監視するように構成される、光学センサをさらに備え、制御回路網は、それぞれ、少なくとも部分的に、ユーザの環境の1つ以上の部分と関連付けられる明度の1つ以上のレベルに基づいて、調光コンポーネントの1つ以上のピクセルの識別されたセットのための1つ以上の調光値のセットを決定するように構成される、実施例59に記載の光学システム。
実施例68は、光学センサは、カメラを備える、実施例67に記載の光学システムである。
実施例69は、光学センサは、1つ以上の光ダイオードを備える、実施例67に記載の光学システムである。
実施例70は、制御回路網に通信可能に結合され、仮想コンテンツを表す、光を放出するように構成される、プロジェクタと、フレームによって担持され、ユーザの眼と調光コンポーネントとの間に位置付けられるように構成される、導波管であって、光をプロジェクタから受光し、ユーザの眼に指向するように構成される、導波管とをさらに備え、制御回路網はさらに、プロジェクタを制御し、仮想コンテンツの1つ以上のピクセルを表す、光を放出するように構成される、実施例67に記載の光学システム。
実施例71は、仮想コンテンツは、仮想オブジェクトを備え、それと明度の1つ以上のレベルが関連付けられる、ユーザの環境の1つ以上の部分は、仮想オブジェクトによってオクルードされるようにユーザによって知覚されることになる、ユーザの環境の特定の部分を含む、実施例70に記載の光学システムである。
実施例72は、制御回路網はさらに、プロジェクタを制御し、少なくとも部分的に、ユーザの環境の1つ以上の部分と関連付けられる明度の1つ以上のレベルに基づいて、仮想コンテンツの1つ以上のピクセルを表す、光を放出するように構成される、実施例70に記載の光学システムである。
実施例73は、眼追跡器は、調光コンポーネントに対するユーザの眼の位置付けを監視するように構成される、実施例48に記載の光学システムである。
実施例74は、光学システムであって、光学システムのユーザの頭部を中心として装着されるように構成される、フレームと、フレームによって担持され、ユーザの左眼とユーザの環境との間に位置付けられるように構成される、左調光コンポーネントと、フレームによって担持され、ユーザの右眼とユーザの環境との間に位置付けられるように構成される、右調光コンポーネントと、左および右調光コンポーネントに通信可能に結合される、制御回路網であって、ユーザの環境内に位置する、3次元空間内の1つ以上の点を識別し、ユーザの環境内の1つ以上の識別された点毎に、少なくとも部分的に、ユーザの環境内に位置する、3次元空間内の個別の点に基づいて、左調光コンポーネントの1つ以上のピクセルのセットを識別し、少なくとも部分的に、ユーザの環境内に位置する、3次元空間内の個別の点に基づいて、右調光コンポーネントの1つ以上のピクセルのセットを識別し、左調光コンポーネントを制御し、左調光コンポーネントの1つ以上のピクセルの識別されたセットを調光し、右調光コンポーネントを制御し、右調光コンポーネントの1つ以上のピクセルの識別されたセットを調光するように構成される、制御回路網とを備える、光学システムである。
実施例75は、制御回路網に通信可能に結合され、ユーザの左眼の位置付けを監視するように構成される、左眼追跡器と、制御回路網に通信可能に結合され、ユーザの左眼の位置付けを監視するように構成される、右眼追跡器とをさらに備え、制御回路網はさらに、左および右眼追跡器からのデータを受信し、左眼追跡器から受信されたデータに基づいて、ユーザの左眼の特定の解剖学的領域が位置付けられる、ユーザの左眼の光学軸に沿った場所を決定し、右眼追跡器から受信されたデータに基づいて、ユーザの右眼の特定の解剖学的領域が位置付けられる、ユーザの右眼の光学軸に沿った場所を決定するように構成される、実施例74に記載の光学システムである。
実施例76は、制御回路網は、少なくとも部分的に、ユーザの左眼の特定の解剖学的領域の決定された場所およびユーザの環境内に位置する3次元空間内の個別の点に基づいて、左調光コンポーネントの1つ以上のピクセルのセットを識別し、少なくとも部分的に、ユーザの右眼の特定の解剖学的領域の決定された場所およびユーザの環境内に位置する3次元空間内の個別の点に基づいて、右調光コンポーネントの1つ以上のピクセルのセットを識別するように構成される、実施例75に記載の光学システムである。
多数の利点が、従来の技法に優る本開示の方法によって達成される。例えば、本明細書に説明される拡張現実(AR)デバイスは、ユーザの眼に到達する周囲光を大域的に調光および/または選択的に調光することによって、暗い屋内から明るい屋外へと変動する光レベルにおいて使用されてもよい。本発明の実施形態は、ピクセル化された調光器を使用して、世界光を99%を上回って減衰させることによって、単一デバイス内でARおよび仮想現実(VR)能力を可能にする。本発明の実施形態はまた、離散または持続可変深度平面切替技術を用いて、可変焦点要素を使用して、輻輳・開散運動遠近調節競合を軽減させる。本発明の実施形態は、検出された周囲光の量に基づいて、プロジェクタ明度を最適化することによって、ARデバイスのバッテリ寿命を改良する。本開示の他の利点も、当業者に容易に明白となるであろう。
図1は、本明細書に説明されるいくつかの実施形態による、ウェアラブルARデバイスを通して視認されるような拡張現実(AR)場面を図示する。
図2Aは、本発明による、ARデバイスの1つ以上の一般的特徴を図示する。
図2Bは、調光される面積が検出された光情報に基づいて決定される、ARデバイスの実施例を図示する。
図2Cは、調光される面積が仮想画像に基づいて決定される、ARデバイスの実施例を図示する。
図2Dは、調光される面積が視線情報に基づいて決定される、ARデバイスの実施例を図示する。
図3は、本発明による、ウェアラブルARデバイスの概略図を図示する。
図4は、光学システムを動作させるための方法を図示する。
図5は、接眼レンズおよびピクセル化された調光要素を伴う、ARデバイスを図示する。
図6は、ユーザの眼の瞳孔位置に基づいて視線ベクトルを決定するための技法を図示する。
図7は、ユーザの眼の回転中心に基づいて視線ベクトルを決定するための技法を図示する。
図8は、検出された光情報および眼内の錐体および桿体場所に基づいて視線ベクトルを決定するための技法を図示する。
図9は、瞳孔が縮瞳される、高光量条件下の決定された視線ベクトルを図示する。
図10は、瞳孔が散瞳される、低光量条件下の決定された視線ベクトルを図示する。
図11は、高光量条件における視線ベクトルおよび対応する調光される面積を決定するための3つの技法を図示する。
図12は、低光量条件における視線ベクトルおよび対応する調光される面積を決定するための3つの技法を図示する。
図13は、瞳孔位置を使用して計算される視線ベクトルを使用して決定された調光される面積を生産するように調節されている、調光器を図示する。
図14は、高光量条件における錐体および桿体場所を使用して計算される視線ベクトルを使用して決定された調光される面積を生産するように調節されている、調光器を図示する。
図15は、低光量条件における錐体および桿体場所を使用して計算される視線ベクトルを使用して決定された調光される面積を生産するように調節されている、調光器を図示する。
図16は、調光される面積が環状領域内の中心部分を含む、実施例を図示する。
図17は、眼の回転中心を使用して計算される視線ベクトルを使用して決定された調光される面積を生産するように調節されている、調光器を図示する。
図18Aおよび18Bは、画像情報に基づいて調光されることになるシステム視野の一部を決定するためのアプローチを図示する。 図18Aおよび18Bは、画像情報に基づいて調光されることになるシステム視野の一部を決定するためのアプローチを図示する。
図19Aおよび19Bは、画像情報に基づいて調光されることになるシステム視野の一部を決定するためのアプローチを図示する。 図19Aおよび19Bは、画像情報に基づいて調光されることになるシステム視野の一部を決定するためのアプローチを図示する。
図20は、調光器を調節する、および/またはプロジェクタを調節することによって、仮想コンテンツの不透明度を改良する、実施例を図示する。
図21は、仮想オブジェクトに対応するシステム視野の一部を調光することによって、仮想コンテンツの不透明度を改良する、実施例を図示する。
図22は、仮想画像明度と周囲光レベルとの間の関係を示す、プロットを図示する。
図23Aおよび23Bは、世界場面に及ぼされる小オクルージョンの影響を示す、略図を図示する。 図23Aおよび23Bは、世界場面に及ぼされる小オクルージョンの影響を示す、略図を図示する。
図24は、角度範囲の関数として調光要素の透過率に及ぼされるオクルーザ直径の変動の影響を示す、プロットを図示する。
図25は、単一オクルーザを使用した調光の実施例を図示する。
図26は、光学シースルー(OST)頭部搭載型ディスプレイ(HMD)のアーキテクチャの実施例を図示する。
図27は、OST−HMDのアーキテクチャの付加的実施例を図示する。
図28は、OST−HMDのアーキテクチャの付加的実施例を図示する。
図29は、本発明による、ARデバイスの概略図を図示する。
図30は、焦点外ピクセル化調光を鮮明化するための方法を図示する。
図31は、焦点外ピクセル化調光を鮮明化するための方法を図示する。
図32は、焦点外ピクセル化調光を鮮明化するための方法を図示する。
図33は、本明細書に説明されるいくつかの実施形態による、簡略化されたコンピュータシステムを図示する。
光学シースルー(OST)拡張現実(AR)デバイスに関する継続中の技術的課題は、変動する周囲光条件下での仮想コンテンツの不透明度および/または可視度の変動である。問題は、完全に暗い部屋または完全に明るい太陽光下の屋外等、極限照明条件において悪化する。本発明の実施形態は、ARデバイスの視野内の異なる空間場所における世界光を調光することによって、これらおよび他の問題を解決する。それに対して調光が適用される視野の部分および適用される調光の量はそれぞれ、ARデバイスによって検出された種々の情報に基づいて決定される。本情報は、検出された周囲光、検出された視線情報、および/または投影されている仮想コンテンツの検出された明度を含んでもよい。ARデバイスの機能性はさらに、周囲光と関連付けられる方向を検出することによって、例えば、複数の空間的に分解された光値を検出することによって、改良される。これは、ARデバイスが、調光が必要とされる視野の部分のみを調光する、および/または視野のある部分内のプロジェクタ明度を増加させることによって、そのバッテリ寿命を改良することを可能にする。故に、本発明の実施形態は、従来の可能性として考えられるものよりはるかに広い種々の条件においてARデバイスの使用を有効にする。
図1は、本発明のいくつかの実施形態による、ウェアラブルARデバイスを通して視認されるようなAR場面100を図示する。AR技術のユーザに、人々、木々、背景における建物、および実世界コンクリートプラットフォーム120等の種々の実世界オブジェクト130を特徴とする、実世界公園状設定106が見えている、AR場面100が、描写される。これらのアイテムに加え、AR技術のユーザはまた、実世界コンクリートプラットフォーム120上に立っているロボット像102−2と、それによってマルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ102−1と等、種々の仮想オブジェクト102が「見える」と知覚するが、これらの要素(キャラクタ102−1および像102−2)は、実世界には存在しない。ヒト視知覚および神経系の著しい複雑性に起因して、他の仮想または実世界画像要素の中への、仮想画像要素の快適で、自然のような感覚の、豊かな提示を促進する、仮想現実(VR)またはAR技術を生産することが困難である。
図2Aは、本発明による、ARデバイス200の1つ以上の一般的特徴を図示する。いくつかの実施形態では、ARデバイス200は、接眼レンズ202および動的調光器203を通して見ているとき、ユーザが1つ以上の世界オブジェクト230を視認し得るように、ARデバイス200が非アクティブモードまたはオフモードにあるとき、透明または半透明であるように構成される、接眼レンズ202および動的調光器203を含んでもよい。図示されるように、接眼レンズ202および動的調光器203は、並置構成に配列され得、接眼レンズ202および動的調光器203を通して見ているときにユーザに見える、システム視野を形成し得る。いくつかの実施形態では、システム視野は、接眼レンズ202および動的調光器203の一方または両方によって占有される、2次元領域全体として定義される。図2Aは、単一接眼レンズ202および単一動的調光器203を図示する(例証的理由から)が、ARデバイス200は、ユーザの片眼毎に、2つの接眼レンズおよび2つの動的調光器を含んでもよい。
動作の間、動的調光器203は、動的調光器203上に衝突する、世界オブジェクト230と関連付けられる世界光232の強度を低減させるように調節され、それによって、調光される面積236をシステム視野内に生産し得る。調光される面積236は、システム視野の一部またはサブセットであってもよく、部分的または完全に、調光されてもよい。動的調光器203は、調光される面積236のための複数の空間的に分解された調光値に従って調節されてもよい。さらに、ARデバイス200の動作の間、プロジェクタ214は、仮想画像光222(すなわち、仮想コンテンツと関連付けられる光)を接眼レンズ202上に投影してもよく、これは、ユーザによって、世界光232とともに観察され得る。
仮想画像光222を接眼レンズ202上に投影することは、ユーザが対応する仮想コンテンツをユーザの環境内のある場所に位置付けられるように知覚するように、ライトフィールド(すなわち、仮想コンテンツの角度表現)をユーザの網膜上に投影させ得る。例えば、接眼レンズ202によって外部結合された仮想画像光222は、ユーザに、キャラクタ202−1が第1の仮想深度平面210−1に位置付けられるように、像202−2が第2の仮想深度平面210−2に位置付けられるように知覚させ得る。ユーザは、プラットフォーム120等の1つ以上の世界オブジェクト230に対応する世界光232とともに、仮想コンテンツを知覚する。
いくつかの実施形態では、ARデバイス200は、世界光232を検出するように構成される、周囲光センサ234を含んでもよい。周囲光センサ234は、周囲光センサ234によって検出された世界光232が、動的調光器203および/または接眼レンズ202上に衝突する世界光232に類似する、および/またはそれを表すように、位置付けられてもよい。いくつかの実施形態では、周囲光センサ234は、動的調光器203の異なるピクセルに対応する、複数の空間的に分解された光値を検出するように構成されてもよい。これらの実施形態では、周囲光センサ234は、例えば、結像センサ(例えば、CMOS、CCD等)または複数の光ダイオード(例えば、アレイまたは別の空間的に分散された配列において)に対応してもよい。いくつかの実施形態では、または同一実施形態では、周囲光センサ234は、世界光232の平均光強度または単一光強度に対応する、大域的光値を検出するように構成されてもよい。これらの実施形態では、周囲光センサ234は、例えば、1つ以上の光ダイオードのセットに対応してもよい。他の可能性も、検討される。
図2Bは、調光される面積236が、世界光232に対応する、検出された光情報に基づいて決定される、ARデバイス200の実施例を図示する。具体的には、周囲光センサ234は、太陽と関連付けられる世界光232を検出し得、太陽と関連付けられる世界光232がARデバイス200を通して通過する、システム視野の方向および/または部分をさらに検出し得る。それに応答して、動的調光器203は、調光される面積236を設定し、検出された世界光に対応するシステム視野の部分を網羅するように調節されてもよい。図示されるように、動的調光器203は、調光される面積236の端部を上回る量において、調光される面積236の中心における世界光232の強度を低減させるように調節されてもよい。
図2Cは、調光される面積236が仮想画像光222に基づいて決定される、ARデバイス200の実施例を図示する。具体的には、調光される面積236は、ユーザが仮想画像光222を観察することから生じる、ユーザによって知覚される仮想コンテンツに基づいて決定されてもよい。いくつかの実施形態では、ARデバイス200は、可能性の中でもとりわけ、仮想画像光222の場所(例えば、それを通してユーザが仮想コンテンツを知覚する、動的調光器203内の場所)および/または仮想画像光222の明度(例えば、知覚される仮想コンテンツおよび/またはプロジェクタ214において生成される光の明度)を含む、画像情報を検出してもよい。図示されるように、動的調光器203は、調光される面積236を設定し、仮想画像光222に対応するシステム視野の部分を網羅するように調節されてもよい、または代替として、いくつかの実施形態では、調光される面積236は、仮想画像光222と整合されない、システム視野の部分を網羅してもよい。いくつかの実施形態では、調光される面積236の調光値は、周囲光センサ234によって検出された世界光232および/または仮想画像光222の明度に基づいて決定されてもよい。
図2Dは、調光される面積236がユーザの眼に対応する視線情報に基づいて決定される、ARデバイス200の実施例を図示する。いくつかの実施形態では、視線情報は、ユーザの視線ベクトル238および/または視線ベクトル238が動的調光器203と交差する動的調光器203のピクセル場所を含む。図示されるように、動的調光器203は、調光される面積236を設定し、視線ベクトル238と動的調光器203との間の交点(または交差領域)に対応するシステム視野の部分を網羅するように調節されてもよい、または代替として、いくつかの実施形態では、調光される面積236は、視線ベクトル238と動的調光器203との間の交点(または交差領域)に対応しない、システム視野の部分を網羅してもよい。いくつかの実施形態では、調光される面積236の調光値は、周囲光センサ234によって検出された世界光232および/または仮想画像光222の明度に基づいて決定されてもよい。いくつかの実施形態では、視線情報は、ARデバイス200に搭載される、眼追跡器240によって検出されてもよい。
図3は、本発明による、ウェアラブルARデバイス300の概略図を図示する。ARデバイス300は、並置構成に配列される、左接眼レンズ302Aおよび左動的調光器303Aと、同様に並置構成に配列される、右接眼レンズ302Bおよび右動的調光器303Bとを含んでもよい。いくつかの実施形態では、ARデバイス300は、限定ではないが、直接、左接眼レンズ302Aまたはその近くに取り付けられる、左正面に向いた世界カメラ306Aと、直接、右接眼レンズ302Bまたはその近くに取り付けられる、右正面に向いた世界カメラ306Bと、直接、左接眼レンズ302Aまたは近くに取り付けられる、左側に向いた世界カメラ306Cと、直接、右接眼レンズ302Bまたは近くに取り付けられる、右側に向いた世界カメラ306Dと、ユーザの左眼を観察するように位置付けられる、左眼追跡器340Aと、ユーザの右眼を観察するように位置付けられる、右眼追跡器340Bと、周囲光センサ334とを含む、1つ以上のセンサを含む。いくつかの実施形態では、ARデバイス300は、左接眼レンズ302Aに光学的にリンクされる、左プロジェクタ314Aと、右接眼レンズ302Bに光学的にリンクされる、右プロジェクタ314Bと等、1つ以上の画像投影デバイスを含む。
ARデバイス300のコンポーネントのいくつかまたは全ては、投影された画像がユーザによって視認され得るように、頭部搭載型であってもよい。1つの特定の実装では、図3に示されるARデバイス300のコンポーネントは全て、ユーザによって装着可能な単一デバイス(例えば、単一ヘッドセット)上に搭載される。別の実装では、処理モジュール350が、物理的に別個であって、1つ以上の有線および/または無線接続によって、ARデバイス300の他のコンポーネントに通信可能に結合される。例えば、処理モジュール350が、フレームに固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザに除去可能に取り付けられる(例えば、リュック式構成において、ベルト結合式構成において等)等、種々の構成において搭載されてもよい。
処理モジュール350は、プロセッサ352と、不揮発性メモリ(例えば、フラッシュメモリ)等の関連付けられるデジタルメモリ356とを含んでもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。データは、カメラ306、周囲光センサ334、眼追跡器340、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープ等、(例えば、ARデバイス300に動作可能に結合される、または別様にユーザに取り付けられ得る)センサから捕捉されたデータを含んでもよい。例えば、処理モジュール350は、画像320をカメラ306から受信してもよい。具体的には、処理モジュール350は、左正面画像320Aを左正面に向いた世界カメラ306Aから、右正面画像320Bを右正面に向いた世界カメラ306Bから、左側画像320Cを左側に向いた世界カメラ306Cから、右側画像320Dを右側に向いた世界カメラ306Dから受信してもよい。いくつかの実施形態では、画像320は、単一画像、一対の画像、画像のストリームを備えるビデオ、ペアリングされた画像のストリームを備えるビデオ、および同等物を含んでもよい。画像320は、ARデバイス300が電源投入されている間、周期的に、生成され、処理モジュール350に送信されてもよい、または処理モジュール350によってカメラのうちの1つ以上のものに送信される命令に応答して、生成されてもよい。別の実施例として、処理モジュール350は、光情報を周囲光センサ334から受信してもよい。いくつかの実施形態では、周囲光センサ334の機能性のいくつかまたは全ては、世界カメラ306A−306Dのうちの1つ以上のものを用いて提供されてもよい。別の実施例として、処理モジュール350は、視線情報を眼追跡器340の一方または両方から受信してもよい。別の実施例として、処理モジュール350は、画像情報(例えば、画像明度値)をプロジェクタ314の一方または両方から受信してもよい。
接眼レンズ302Aおよび302Bは、それぞれ、プロジェクタ314Aおよび314Bからの光を指向するように構成される、透明または半透明導波管を備えてもよい。具体的には、処理モジュール350は、左プロジェクタ314Aに、左仮想画像光322Aを左接眼レンズ302A上に出力させ(左仮想画像光322Aと関連付けられる対応するライトフィールドをユーザの網膜上に投影させ)てもよく、右プロジェクタ314Bに、右仮想画像光322Bを右接眼レンズ302B上に出力させ(右仮想画像光322Bと関連付けられる対応するライトフィールドをユーザの網膜上に投影させ)てもよい。いくつかの実施形態では、接眼レンズ302はそれぞれ、異なる色および/または異なる深度平面に対応する、複数の導波管を備えてもよい。いくつかの実施形態では、動的調光器303は、接眼レンズ302に結合される、および/またはそれと統合されてもよい。例えば、動的調光器303のうちの1つは、多層接眼レンズの中に組み込まれてもよく、接眼レンズ302のうちの1つを構成する、1つ以上の層を形成してもよい。
カメラ306Aおよび306Bは、それぞれ、ユーザの左および右眼の視野と実質的に重複する、画像を捕捉するように位置付けられてもよい。故に、カメラ306の設置は、ユーザの眼の近くであるが、ユーザの視野を不明瞭にするほど近くではないようになり得る。代替として、または加えて、カメラ306Aおよび306Bは、それぞれ、仮想画像光322Aおよび322Bの内部結合場所と整合するように位置付けられてもよい。カメラ306Cおよび306Dは、ユーザの側面、例えば、ユーザの周辺視覚内またはユーザの周辺視覚外に対して画像を捕捉するように位置付けられてもよい。カメラ306Cおよび306Dを使用して捕捉された画像320Cおよび320Dは、必ずしも、カメラ306Aおよび306Bを使用して捕捉された画像320Aおよび320Bと重複する必要はない。
ARデバイス300の1つ以上のコンポーネントは、図2A−2Dを参照して説明される、1つ以上のコンポーネントに類似してもよい。例えば、いくつかの実施形態では、接眼レンズ302、動的調光器303、プロジェクタ314、周囲光センサ334、および眼追跡器340の機能性は、それぞれ、接眼レンズ202、動的調光器203、プロジェクタ214、周囲光センサ234、および眼追跡器240に類似してもよい。いくつかの実施形態では、処理モジュール350の機能性は、別個に格納されるが、通信可能に結合される、電子ハードウェアコンポーネントの2つ以上のセットによって実装されてもよい。例えば、処理モジュール350の機能性は、ヘッドセットに物理的にテザリングされるコンピューティングデバイス内に格納される、電子ハードウェアコンポーネント、ヘッドセットの環境内の1つ以上の電子デバイス(例えば、スマートフォン、コンピュータ、周辺デバイス、スマート家電等)、1つ以上の遠隔に位置するコンピューティングデバイス(例えば、サーバ、クラウドコンピューティングデバイス等)、またはそれらの組み合わせと併せて、ヘッドセット内に格納される、電子ハードウェアコンポーネントによって行われてもよい。そのような構成の一実施例は、図29を参照して下記にさらに詳細に説明される。
図4は、光学システム(例えば、ARデバイス200または300)を動作させるための方法400を図示する。方法400のステップは、図4に示されるものと異なる順序で実施されてもよく、ステップの全てが、実施される必要はない。例えば、いくつかの実施形態では、ステップ406、408、および410のうちの1つ以上のものは、方法400の実施の間、省略されてもよい。方法400の1つ以上のステップは、プロセッサ(例えば、プロセッサ352)または光学システム内のある他のコンポーネントによって実施されてもよい。
ステップ402では、世界オブジェクト(例えば、世界オブジェクト230)と関連付けられる光(例えば、世界光232)が、光学システムにおいて受光される。世界オブジェクトは、光学システムのユーザによって視認される、木、人物、家、建物、太陽等、任意の数の実世界オブジェクトであってもよい。いくつかの実施形態では、世界オブジェクトと関連付けられる光は、最初に、動的調光器(例えば、動的調光器203または303)または光学システムの外部の審美的レンズによって受光される。いくつかの実施形態では、世界オブジェクトと関連付けられる光は、光が光学システムの1つ以上のコンポーネントに到達すると(例えば、光が動的調光器に到達すると)、光学システムにおいて受光されたと見なされる。
ステップ404では、仮想画像光(例えば、仮想画像光222または322)が、接眼レンズ(例えば、接眼レンズ202または302)上に投影される。仮想画像光は、光学システムのプロジェクタ(例えば、プロジェクタ214または314)によって接眼レンズ上に投影されてもよい。仮想画像光は、単一画像、一対の画像、画像のストリームを備えるビデオ、ペアリングされた画像のストリームを備えるビデオ、および同等物に対応してもよい。いくつかの実施形態では、仮想画像光は、仮想画像光と関連付けられる任意の光が接眼レンズに到達すると、接眼レンズ上に投影されたと見なされる。いくつかの実施形態では、仮想画像光を接眼レンズ上に投影することは、ユーザが対応する仮想コンテンツがユーザの環境内のある場所に位置付けられるように知覚するように、ライトフィールド(すなわち、仮想コンテンツの角度表現)をユーザの網膜上に投影させる。
ステップ406、408、および410の間、情報が、例えば、光学システムの1つ以上のセンサを使用して、光学システムによって検出されてもよい。ステップ406では、世界オブジェクトと関連付けられる光に対応する光情報が、検出される。光情報は、光学システムに搭載される光センサ(例えば、周囲光センサ234または334)を使用して検出されてもよい。いくつかの実施形態では、光情報は、複数の空間的に分解された光値を含む。複数の空間的に分解された光値はそれぞれ、システム視野内の2次元位置に対応してもよい。例えば、光値はそれぞれ、動的調光器のピクセルと関連付けられてもよい。他の実施形態では、または同一実施形態では、光情報は、大域的光値を含んでもよい。大域的光値は、システム視野全体と関連付けられてもよい(例えば、動的調光器の全てのピクセル上に衝突する光の平均光値)。
ステップ408では、光学システムのユーザの眼に対応する視線情報が、検出される。視線情報は、光学システムに搭載される眼追跡器(例えば、眼追跡器240または340)を使用して検出されてもよい。いくつかの実施形態では、視線情報は、ユーザの眼の視線ベクトル(例えば、視線ベクトル238)を含む。いくつかの実施形態では、視線情報は、ユーザの眼の瞳孔位置、ユーザの眼の回転中心、ユーザの眼の瞳孔サイズ、ユーザの眼の瞳孔直径、およびユーザの眼の錐体および桿体場所のうちの1つ以上のものを含む。視線ベクトルは、瞳孔位置、眼の回転中心、瞳孔サイズ、瞳孔直径、および/または錐体および桿体場所等、視線情報の1つ以上の成分に基づいて決定されてもよい。視線ベクトルが、錐体および桿体場所に基づいて決定されるとき、さらに、錐体および桿体場所を含有する、眼の網膜層内の視線ベクトルの原点を決定するように、光情報(例えば、大域的光値)に基づいて決定されてもよい。いくつかの実施形態では、視線情報は、視線ベクトルが動的調光器と交差する、動的調光器のピクセルまたはピクセルのグループを含む。
ステップ410では、プロジェクタによって接眼レンズ上に投影された仮想画像光(例えば、仮想画像光222または322)に対応する、画像情報が、検出される。画像情報は、プロジェクタによって、プロセッサ(例えば、プロセッサ352)によって、または別個の光センサによって検出されてもよい。いくつかの実施形態では、画像情報は、ユーザが仮想画像光を観察するとき、それを通してユーザが仮想コンテンツを知覚する、動的調光器内の1つ以上の場所を含む。いくつかの実施形態では、画像情報は、複数の空間的に分解された画像明度値(例えば、知覚される仮想コンテンツの明度)を含む。例えば、画像明度値はそれぞれ、接眼レンズまたは動的調光器のピクセルと関連付けられてもよい。1つの特定の実装では、プロセッサが、命令をプロジェクタに送信し、仮想画像光を接眼レンズ上に投影するとき、プロセッサは、命令に基づいて、空間的に分解された画像明度値を決定してもよい。別の特定の実装では、プロジェクタが、命令をプロセッサから受信し、仮想画像光を接眼レンズ上に投影するとき、プロジェクタは、空間的に分解された画像明度値をプロセッサに送信する。別の特定の実装では、接眼レンズ上またはその近くに位置付けられる、光センサが、空間的に分解された画像明度値を検出し、プロセッサに送信する。他の実施形態では、または同一実施形態では、画像情報は、大域的画像明度値を含む。大域的画像明度値は、システム視野全体と関連付けられてもよい(例えば、仮想画像光の全ての平均画像明度値)。
ステップ412では、少なくとも部分的に調光されることになるシステム視野の一部は、検出された情報に基づいて決定される。検出された情報は、ステップ406の間に検出された光情報、ステップ408の間に検出された視線情報、および/またはステップ410の間に検出された画像情報を含んでもよい。いくつかの実施形態では、システム視野の一部は、システム視野全体に等しい。種々の実施形態では、システム視野の一部は、システム視野の1%、5%、10%、25%、50%、または75%等に等しくてもよい。いくつかの実施形態では、異なるタイプの情報は、少なくとも部分的に調光されることになる部分を決定する際、異なるように加重されてもよい。例えば、視線情報は、利用可能であるとき、少なくとも部分的に調光されることになる部分を決定する際、光情報および画像情報より重く加重されてもよい。1つの特定の実装では、情報の各タイプは、独立して、少なくとも部分的に調光されることになるシステム視野の異なる部分を決定するために使用されてもよく、続いて、異なる部分は、ANDおよび/またはOR演算を使用して、単一部分に組み合わせられてもよい。
いくつかの実施形態では、少なくとも部分的に調光されることになるシステム視野の一部を決定するために使用される情報は、仮想コンテンツ内に提示される、1つ以上のオブジェクトと関連付けられる、情報を含む。例えば、仮想コンテンツは、テキスト、ナビゲーションインジケータ(例えば、矢印)、および/または他のコンテンツを含んでもよい。そのようなコンテンツが提示されることになる視野の部分および/またはコンテンツの近位の視野は、ユーザが、コンテンツをより容易に読み取り、知覚し、理解し、コンテンツを世界オブジェクトから区別し得るように、調光されることができる。調光器は、1つ以上のピクセルおよび/またはピクセルのゾーンを選択的に調光する、またはコンテンツの視認を向上させることができる。一実施例では、視野の下側部分の区分は、選択的および動的に調光され、ユーザに、指向性(例えば、ナビゲーション)矢印、テキストメッセージ等がより容易に見えるようにすることができる。そのような調光は、コンテンツが、そのようなコンテンツが表示されることになることの決定に応答して表示されている間に実施されてもよく、調光は、コンテンツがもはや表示されなくなると、除去されてもよい。いくつかのインスタンスでは、調光は、視野全体にわたる調光を有効にするピクセル構造によって生じる、アーチファクトを軽減させるために実施されてもよい。
ステップ414では、システム視野の一部に関する複数の空間的に分解された調光値が、検出された情報に基づいて決定される。いくつかの実施形態では、調光値は、仮想コンテンツの所望の不透明度または可視度に基づく公式アプローチを使用して決定される。1つの特定の実装では、仮想コンテンツの可視度は、以下の方程式を使用して計算されてもよい。
Figure 2021536592
式中、Vは、可視度であり、Imaxは、画像情報によって示されるような仮想画像光の明度であり、Ibackは、光情報(決定された調光値によって修正されてもよい)によって示されるような世界オブジェクトと関連付けられる光値に関連され、Cは、所望のコントラスト(例えば、100:1)である。例えば、可視度方程式は、調光器の各ピクセル場所において、特定のピクセル場所における仮想画像光の明度と、特定のピクセル場所における世界オブジェクトと関連付けられる光値とを使用して、特定のピクセル場所のための調光値を計算するために使用されてもよい。いくつかの実施形態では、Ibackは、以下の方程式を使用して定義されてもよい。
Figure 2021536592
式中、Tは、調光器の1つ以上のピクセルを通して通過することを可能にされる、光のパーセンテージであり、Iworldは、光情報によって示されるような世界からの周囲光の明度である。いくつかの実施例では、Tは、調光値を表す、またはそれに関連され得る。
ステップ416では、調光器は、システム視野の一部内のオブジェクトと関連付けられる光の強度を低減させるように調節される。例えば、調光器は、調光器の各ピクセル場所上に衝突する、オブジェクトと関連付けられる光の強度が、その特定のピクセル場所のために決定された調光値に従って低減されるように調節されてもよい。本開示で使用されるように、調光器を調節するステップは、調光器を初期化するステップ、調光器をアクティブ化するステップ、調光器の電源を投入するステップ、以前に初期化され、アクティブ化され、および/または電源を投入された調光器を修正または変更するステップ、および同等物を含んでもよい。いくつかの実施形態では、プロセッサは、システム視野の一部および複数の空間的に分解された調光値の両方を示す、データを調光器に送信してもよい。
ステップ418では、プロジェクタは、仮想画像光と関連付けられる明度を調節するように調節される。例えば、いくつかの実施形態では、仮想オブジェクトの明度を増加または減少させずに、仮想コンテンツの所望の不透明度または可視度を達成することは、困難であり得る。そのような実施形態では、仮想画像光の明度は、調光器を調節する前、その後、それと同時に、またはそれと並行して、調節されてもよい。
図5は、接眼レンズ502と、種々のレベルの調光を有し得る、調光面積(すなわち、ピクセル)の空間グリッドから成る、ピクセル化された調光要素503とを伴う、ARデバイス500を図示する。調光面積はそれぞれ、関連付けられるサイズ(すなわち、幅)と、関連付けられる間隔(すなわち、ピッチ)とを有してもよい。図示されるように、調光面積の空間グリッドは、入射光の完全調光を提供する、1つ以上の暗いピクセル506と、入射光の完全透過を提供する、1つ以上のクリアなピクセル508とを含んでもよい。ピクセル化された調光要素503内の隣接するピクセルは、境を接してもよい(例えば、ピッチがサイズに等しいとき)、または間隙によって分離されてもよい(例えば、ピッチがサイズを上回るとき)。種々の実施形態では、ピクセル化された調光要素503は、染料ドープまたはゲストホスト液晶、ねじれネマチック(TN)または垂直整合(VA)液晶、または強誘電性液晶等の液晶技術を採用してもよい。いくつかの実施形態では、ピクセル化された調光要素503は、可能性の中でもとりわけ、エレクトロクロミックデバイスを備えてもよい。いくつかの実装では、ピクセル化された調光要素503は、ECBセル等の電気的に制御された複屈折(「ECB」)技術を採用してもよい。
図6は、ユーザの眼の瞳孔位置に基づいて視線ベクトルを決定するための技法を図示する。いくつかのインスタンスでは、ARデバイスに対する瞳孔位置が、眼追跡器を使用して検出され、視線ベクトルは、続いて、瞳孔位置における眼の表面に直交するベクトルとして定義される。視線ベクトルは、代替として、または加えて、眼の回転中心および瞳孔位置と交差するベクトルとして定義されてもよい。回転中心は、眼追跡器によって集められたデータを使用して、推定されてもよい。視線ベクトルは、代替として、または加えて、眼および瞳孔位置の幾何学的中心と交差するベクトルとして定義されてもよい。眼の幾何学的中心は、眼追跡器によって集められたデータを使用して推定されてもよい。他の可能性も、検討される。
瞳孔位置を使用して、視線ベクトルを決定することに関する、いくつかの固有の問題のうちの1つが、図6に図示される。上側略図では、眼が、概して、接眼レンズの中心に向かって見ているときの、瞳孔位置と接眼レンズとの間の第1の距離Dが、示される。下側略図では、眼が、概して、接眼レンズの上部に向かって見ているときの、瞳孔位置と接眼レンズとの間の第2の距離Dが、示される。ここでは、第1の距離Dは、第2の距離D未満であって、ユーザの眼が移動するにつれた輻輳・開散運動距離の変動に起因して、レンダリング位置合わせ問題を生じさせる。
図7は、ユーザの眼の回転中心に基づいて視線ベクトルを決定するための技法を図示する。本技法は、2018年1月17日に出願され、「EYE CENTER OF ROTATION DETERMINATION, DEPTH PLANE SELECTION, AND RENDER CAMERA POSITIONING IN DISPLAY SYSTEMS」と題された、米国特許出願第62/618,559号(その開示は、参照することによって本明細書に組み込まれる)に詳細に説明される。回転中心が、眼追跡器によって集められたデータを使用して推定されてもよく、視線ベクトルは、続いて、回転中心および瞳孔位置を接続することによって形成される、ベクトルとして定義されてもよい。回転中心を使用して視線ベクトルを決定することのいくつかの利点のうちの1つは、回転中心と接眼レンズとの間の距離が、眼が見ている方向に関係なく、同一であり得ることである。図7の上側略図では、眼が、概して、接眼レンズの中心に向かって見ているときの、回転中心と接眼レンズとの間の第3の距離Dが、示される。下側略図では、眼が、概して、接眼レンズの上部に向かって見ているときの、回転中心と接眼レンズとの間の第4の距離Dが、示される。ここでは、第3の距離Dは、第4の距離Dと同一であって、それによって、レンダリング位置合わせを改良する。
図8は、検出された光情報および眼内の錐体および桿体場所に基づいて視線ベクトルを決定するための技法を図示する。錐体は、高光量条件において光により敏感であって、桿体は、低光量条件において光により敏感であるため、検出された周囲光(例えば、大域的光値)が減少するにつれて、視線ベクトルの原点は、高密度の錐体に対応する網膜層の中心位置から高密度の桿体に対応する環に沿った1つ以上の点に外向きに調節されてもよい。故に、高光量条件では、決定される視線ベクトルは、網膜層の中心位置を瞳孔位置に接続することによって形成される、単一の視線ベクトルであり得、低光量条件では、決定される視線ベクトルは、網膜層の中心位置を囲繞する環に沿った1つ以上の点を瞳孔位置に接続することによって形成される、単一または複数の視線ベクトルであり得る。代替として、または加えて、複数の視線ベクトルは、視線ベクトルの円錐、すなわち、無限数の可能性として考えられる視線ベクトルを備える「視線円錐」として説明される/表されてもよい。
錐体および桿体場所は、眼追跡器によって集められた情報を使用して推定されてもよい、またはいくつかの実施形態では、高密度の錐体に対応する網膜層の中心位置は、瞳孔位置を使用して決定された視線ベクトルが、高光量条件における錐体および桿体場所を使用して決定された視線ベクトルと共線であるように、瞳孔位置を使用して決定された視線ベクトルを眼を通して眼の背面に向かって継続することによって定義されてもよい。いくつかの実施形態では、ARデバイスは、視線ベクトルが、低光量条件(例えば、「低光量モード」)では、錐体および桿体場所を使用して決定され、高光量条件では、眼の回転中心を使用して決定されるように構成される。そのような実施形態では、検出された光値が光閾値を下回るとき、視線ベクトルを錐体および桿体場所を使用して決定させ、検出された光値が光閾値を上回るとき、視線ベクトルを眼の回転中心を使用して決定させるように、それに対して検出された光値が評価され得る、光閾値が、確立されてもよい。
調光される面積が有意に大きいおよび/または調光値が有意に高い、いくつかの実施形態では、ARデバイスの光センサを使用して検出された周囲光は、眼に到達する実際の光の量を示さない場合がある。そのような実施形態では、瞳孔のサイズは、眼に到達する光の量に関する代替的指標として使用されてもよい。例えば、ARデバイスは、瞳孔サイズが瞳孔サイズ閾値を超えるとき、「低光量モード」に切り替えてもよい(視線ベクトルを錐体および桿体場所を使用して決定させる)。例えば、いくつかの実装では、瞳孔サイズ閾値は、高光量条件では、ユーザの平均瞳孔サイズを20%上回るように設定されてもよい(例えば、瞳孔サイズは、瞳孔の面積、直径、円周等に対応してもよい)。別の特定の実施形態では、瞳孔サイズ閾値は、低光量および高光量条件における平均の既知の瞳孔サイズに基づいて事前決定されてもよい。他の可能性も、検討される。
図9は、瞳孔が縮瞳される、高光量条件において決定された視線ベクトルを図示する。いくつかの実施形態では、瞳孔サイズは、周囲光(例えば、大域的光値)を推定するために使用されてもよい、または代替として、または加えて、視線ベクトルの原点が、周囲光の推定または検出を伴わずに、直接、瞳孔サイズを使用して決定されてもよい。例えば、異なる瞳孔直径は、視線ベクトルの原点が定義され得る、網膜層内の異なる錐体および桿体場所に関連し得る。
図10は、瞳孔が散瞳される、低光量条件において決定された視線ベクトルを図示する。高光量条件におけるシナリオと同様に、低光量条件では、瞳孔サイズが、周囲光(例えば、大域的光値)を推定するために使用されてもよい、または代替として、または加えて、視線ベクトルの原点が、直接、瞳孔サイズを使用して決定されてもよい。
図11は、高光量条件における視線ベクトルを決定するための3つの技法および3つの技法のそれぞれを使用して決定された対応する調光される面積を図示する。第1の技法では、視線ベクトルが、瞳孔位置を使用して決定され、すなわち、「視線ベクトル(A)」は、瞳孔の表面から調光される面積A(またはいくつかの実施形態では、調光されない面積)に向かって直交して延在する、視線ベクトルをもたらす。第2の技法では、視線ベクトルは、眼内の錐体および桿体場所を使用して決定され、すなわち、「視線ベクトル(B)」は、網膜層の中心位置から瞳孔位置を通して調光される面積B(またはいくつかの実施形態では、調光されない面積)に向かって延在する、視線ベクトルをもたらす。第2の技法は、瞳孔位置(視線ベクトルを定義するための第2の点を提供するため)、検出された周囲光(網膜層に沿った視線ベクトルの原点を決定するため)、および瞳孔サイズ/直径(周囲光を推定するため、および/または網膜層に沿った視線ベクトルの原点を直接決定するため)のうちの1つ以上のものによってさらに促進されてもよい。第3の技法では、視線ベクトルは、眼の回転中心を使用して決定され、すなわち、「視線ベクトル(C)」は、眼の回転中心から瞳孔位置を通して調光される面積C(またはいくつかの実施形態では、調光されない面積)に向かって延在する、視線ベクトルをもたらす。図12の実施例では、調光される面積Aは、調光される面積Bと同一である。
図12は、図11に図示されるものと同一であるが、低光量条件における技法を図示する。決定された視線ベクトルおよび対応する調光される面積は、第1および第3の技法を使用して(それぞれ、瞳孔位置および回転中心を使用して)同一であるが、第2の技法を使用して(錐体および桿体場所を使用して)修正されている。第2の技法では、視線ベクトルは、眼内の錐体および桿体場所を使用して決定され、すなわち、「視線ベクトル(B’)」は、網膜層の中心位置を囲繞する環に沿った種々の点から瞳孔位置を通して調光される面積B’(またはいくつかの実施形態では、調光されない面積)に向かって延在する、視線ベクトルのセットをもたらす。図12に示される実施例では、調光される面積A、B’、およびCはそれぞれ、相互に異なる。
図13は、瞳孔位置を使用して計算される視線ベクトルを使用して決定された調光される面積Aを生産するように調節されている、調光器を図示する。
図14は、高光量条件における錐体および桿体場所を使用して計算される視線ベクトルを使用して決定された調光される面積Bを生産するように調節されている、調光器を図示する。
図15は、低光量条件における錐体および桿体場所を使用して計算される視線ベクトルを使用して決定された調光される面積B’を生産するように調節されている、調光器を図示する。代替実施形態では、調光される面積B’は、図15に示される環状領域の部分のみを含み、全体としてその領域を含まなくてもよい。
図16は、調光される面積B’がさらに環状領域内の中心部分を含む、実施例を図示する。
図17は、眼の回転中心を使用して計算される視線ベクトルを使用して決定された調光される面積Cを生産するように調節されている、調光器を図示する。
図18Aおよび18Bは、画像情報に基づいて調光されることになるシステム視野の一部を決定するためのアプローチを図示する。例えば、図18Aおよび18Bに示される1つ以上のステップは、ステップ410および/または412に対応してもよい。いくつかの実施形態では、ARデバイスは、仮想コンテンツが点1802等の接眼レンズおよび動的調光器を越えた空間内の種々の点においてユーザによって知覚されるように、光を接眼レンズ上に投影してもよい。点1802は、例えば、接眼レンズを通して提示されるとき、仮想コンテンツ(例えば、1つ以上の仮想オブジェクト)のピクセルがユーザによって知覚されることになる、場所、暗い仮想コンテンツ(例えば、接眼レンズを通して提示される仮想コンテンツによって投射される、または別様にそれと関連付けられる、仮想「陰影」)がユーザによって知覚されることになる、場所、ユーザの環境内に位置する、1つ(1人)以上の実世界オブジェクトまたは人物(例えば、ユーザの環境内のある人の頭部にアンカリングされる、仮想黒色「シルクハット」)によって物理的に占有される、場所、および同等物を含む、3次元空間内の場所に対応してもよい。いくつかの実装では、点1802は、仮想コンテンツからランダムにサンプリングされてもよい、またはいくつかの実施形態では、点1802は、可能性の中でもとりわけ、表面の縁、角、中心等の仮想コンテンツのキー特徴に基づいて選択されてもよい。いくつかの実施形態では、点1802は、仮想コンテンツの外周界からサンプリングされてもよい(基準点から視認されるように)。他の実施形態では、または同一実施形態では、仮想コンテンツの画像明度もまた、点1802のそれぞれにおいて決定され、これは、仮想コンテンツの所望の可視度Vを達成するための点1802における調光のレベル(すなわち、調光値)を決定するために使用されてもよい。使用される点1802の数は、速さ−正確度トレードオフに基づいて変動し得る。
知覚される仮想コンテンツと整合して調光するために、ベクトル1804は、点1802のそれぞれと瞳孔位置(すなわち、基準点)と交差するものとして定義されてもよい。交点1806が、次いで、ベクトル1804が動的調光器と交差する、各場所において定義されてもよい。図18Bを参照して示されるように、調光される部分1808は、交点1806に基づいて決定されてもよい。いくつかの実装では、1つ以上のレイまたは円錐キャスティング技法が、ベクトル1804を定義し、交点1806を識別または別様に決定するために採用されてもよい。いくつかの実施形態では、調光される部分1808はそれぞれ、交点1806のそれぞれを包含する面積、または交点1806を包含する動的調光器の特定のピクセルに設定されてもよい。いくつかの実施形態では、調光される部分1808のサイズは、サンプリングされる点1802の数および/または点1802の密度の関数であってもよい。例えば、いくつかのインスタンスでは、調光される部分1808のサイズは、点1802の数に反比例してもよい。点1802が仮想コンテンツの外周界からサンプリングされる、実施形態では、調光される部分1808は、近傍の交点1806を接続し、封入された面積を調光することによって形成されてもよい。いくつかの実施例では、調光される部分1808のサイズおよび/または陰影は、基準点から交点1806までの決定された距離、交点1806から点1802までの決定された距離、またはそれらの組み合わせの関数であってもよい。図18Aおよび18Bの実施例では、そこからベクトル1804が定義される、場所(すなわち、基準点)である、瞳孔位置(例えば、瞳孔の中心)は、眼移動が生じるにつれて、経時的変化し得る。したがって、交点1806および調光される部分1808の場所もまた、眼移動が生じるにつれて、経時的に変化し得る。
図19Aおよび19Bは、図18Aおよび18Bを参照して示されるものに類似するが、異なる基準点を伴う、画像情報に基づいて調光されることになるシステム視野の一部を決定するためのアプローチを図示する。点1902は、仮想コンテンツがユーザによって知覚される、空間内の異なる点を表し得る。ベクトル1904は、点1902のそれぞれおよび眼の回転中心(すなわち、基準点)と交差するものとして定義されてもよい。交点1906が、次いで、ベクトル1904が動的調光器と交差する、各場所において定義されてもよい。図19Bを参照して示されるように、調光される部分1908は、交点1906に基づいて決定されてもよい。いくつかの実施形態では、調光される部分1908はそれぞれ、交点1906のそれぞれを包含する面積、または交点1906を包含する動的調光器の特定のピクセルに設定されてもよい。いくつかの実施例では、調光される部分1908のサイズおよび/または陰影は、基準点から交点1906までの決定される距離、交点1906から点1902までの決定される距離、またはそれらの組み合わせの関数であってもよい。図19Aおよび19Bの実施例では、そこからベクトル1904が定義される、場所(すなわち、基準点)である、眼の回転中心の位置は、眼移動が生じるにつれて、図18Aおよび18Bの実施例では、基準点である、瞳孔位置のものより経時的に安定し得る。図19Aおよび19Bの実施例では、交点1906の場所および調光される部分1908は、眼移動が生じるにつれて、静的なままである、または経時的に比較的に殆ど変化し得ないということになる。瞳孔位置および眼の回転中心は、調光されることになるシステム視野の一部を決定する際に利用され得る、基準点の実施例として、図18A、18B、19A、および19Bを参照して上記で説明されるが、そのような基準点の実施例はまた、眼の光学軸に沿った種々の他の場所のいずれかを含んでもよいことを理解されたい。瞳孔の中心および眼の回転中心等の光学軸に沿ってある、眼の光学軸および眼の特定の解剖学的領域の場所を識別するためのシステムおよび技法は、2018年1月17日に出願され、「EYE CENTER OF ROTATION DETERMINATION, DEPTH PLANE SELECTION, AND RENDER CAMERA POSITIONING IN DISPLAY SYSTEMS」と題された、米国特許出願第62/618,559号(上記に述べられたように、参照することによってその全体として本明細書に組み込まれる)にさらに詳細に説明される。
図20は、光情報、視線情報、および/または画像情報に基づいて、調光器を調節する、および/またはプロジェクタを調節する等、本明細書に説明される技法のいずれかを使用して、表示される仮想コンテンツの中実度を改良する実施例を図示する。左および右側視野の両方を参照すると、世界オブジェクト2002とともに表示される、仮想コンテンツ2004は、仮想コンテンツ2004の部分2006を除き、色褪せて現れ、仮想コンテンツは、仮想コンテンツ2004の残りの部分より中実に現れる。図示される実施例に示されるように、仮想コンテンツの中実度は、ユーザが見ているシステム視野の一部においてのみ改良される。
図21は、仮想オブジェクトに対応するシステム視野の一部を調光することによって、表示される仮想オブジェクト2102の中実度を改良する実施例を図示する。図示されるように、調光を伴う領域内の仮想オブジェクト2102の部分2104の不透明度および可視度は、調光を伴わない領域内の仮想オブジェクト2102の部分2106のものを比較的に上回る。部分2104における世界オブジェクト2108と関連付けられる光を調光することによって、仮想コンテンツは、ユーザによってより明確に知覚されることができる。
図22は、0.7に等しい可視度(すなわち、V=0.7)を維持するための仮想画像光明度(x−軸)と周囲光レベルとの間の関係を示す、プロットを図示する。実線傾線は、異なる周囲光レベル条件に関する固定可視度レベル線である(V=0.7のための)。例えば、約100nitsの屋内面積内で使用されている200nitsのプロジェクタ明度に関して、30%に近い調光レベルが、0.7に近い可視度を保つために採用され得る。再び、図4を参照して上記で説明される可視度方程式を参照すると、いくつかの実施例では、図22に図示されるプロットのxおよびy軸は、それぞれ、ImaxおよびTに対応し得る一方、実線傾線は、異なるIworld値に関する固定可視度レベル線(forV=0.7)である。
図23Aおよび23Bは、世界場面に及ぼされる小オクルージョンの影響を示す、略図を図示する。図23Aは、ユーザの眼が無限遠を見ている、単純な例を図示する。眼は、網膜2302と、瞳孔2304と、水晶体2306とを含む。異なる角度からの光が、網膜2302上の異なる位置に集束される。図23Bは、瞳孔2304から離れた距離dにおいて眼の正面に設置される、オクルーザ2308を示す。網膜における勾配円盤は、単純光線幾何学形状を使用して構築されてもよい。回折を無視すると、勾配円盤の中心における相対的透過率は、t=1−(h/p)であり、式中、hは、オクルーザの直径であり、pは、瞳孔の直径である。換言すると、t=1−Aocclusor/Apupil、式中、Aocclusorは、オクルーザの面積であり、Apupilは、瞳孔の面積である。
図24は、角度範囲(度)の関数としての調光要素の透過率に及ぼされる変動するオクルーザ直径の影響を示す、プロットを図示する。図示されるように、より小さいオクルーザ直径(例えば、1mm)は、透過率に非常にわずかのみ影響を及ぼすが、透過率により大きい影響を及ぼし、角度範囲にわたって有意に変動する、より大きいオクルーザ直径(例えば、4mm)より角度範囲にわたってはるかに安定する。
図25は、d=17mm、p=4mm、およびh=1mmの単一オクルーザを使用した調光の実施例を図示する。調光される面積は、単一ピクセルの点拡がり関数(PSF)2502を示す。示される調光を使用すると、使用される特定の調光要素のためのピクセルサイズ要件は、200μmピクセルと推定されることができる。
図26は、仮想コンテンツをユーザの眼に送達する、回折導波管接眼レンズ2602から成る、OST頭部搭載型ディスプレイ(HMD)のアーキテクチャの実施例を図示する。回折導波管接眼レンズ2602は、内部結合格子(ICG)、直交瞳エクスパンダ(OPE)、および/または射出瞳エクスパンダ(EPE)等の1つ以上の回折光学要素(DOE)を含んでもよい。世界光はまた、同一要素を通して通過し、ユーザの眼に到達する。示されるように、動的調光器2604は、仮想コンテンツをある不透明度レベルに保つための世界光レベルの管理を可能にする。いくつかの実施形態では、調光器2604は、図5を参照して上記に説明されるようなピクセル化された調光要素503に機能的に類似または匹敵する、ピクセル化された調光要素に対応してもよい。他の実施形態では、調光器2604は、大域的(非ピクセル化)調光要素に対応してもよい。図26に示されるように、いくつかの実装では、調光器2604は、OST−HMDの審美性および/または機能性を改良するように、接眼レンズから独立して成形および湾曲されてもよい。
図27は、中継光学系システムを用いて光を回折導波管構造の内部結合格子の中に送達する、マイクロディスプレイ(例えば、LCOS、MEMS、またはファイバスキャナディスプレイタイプ)から成る、OST−HMDのアーキテクチャの付加的実施例を図示する。導波管構造は、入力像面を拡大し、ユーザのアイボックスに送達する、外部結合格子(例えば、EPE)を含んでもよい。示されるように、種々の要素が、ユーザの眼と世界オブジェクトとの間に位置付けられてもよい。接眼レンズ2702は、仮想光をユーザの眼に送達し、また、世界光がそれを通して透過することを可能にする、回折導波管コンバイナであってもよい。可変焦点要素2704は、仮想ディスプレイに作用するための眼と接眼レンズとの間の深度平面変動/切替要素から成ってもよい。いくつかの実施形態では、可変焦点要素2704は、背面レンズアセンブリ(BLA)2706である。BLAはまた、常に、世界光に作用し、したがって、正面レンズアセンブリ(FLA)2708が、世界ディスプレイに及ぼされる影響を相殺するように追加される。
本実施形態における動的調光要素2710は、統合されたスタックの外側上に搭載される。これは、ARモードのための透明ディスプレイからVRモードのための世界光を完全に遮断する不透明ディスプレイへの切替を可能にする。調光要素2710は、大域的調光要素またはピクセル化された調光要素に対応してもよい。外部レンズ2712は、OST−HMDのための保護および/または支持構造を提供するように、光学スタックと別個に位置付けられる。外部レンズ2712はまた、ある量の調光をシステム視野全体に提供してもよい。
図28は、平坦動的調光器2802が湾曲外部審美的レンズ2804の内側に沿って位置付けられる、OST−HMDのアーキテクチャの付加的実施例を図示する。調光器2802は、大域的調光要素またはピクセル化された調光要素に対応してもよい。いくつかの実施形態では、外部審美的レンズ2804は、ある量の調光をシステム視野全体に提供してもよく、これは、動的調光器の空間的に分解された調光値を決定するときに考慮されてもよい。OST−HMDはまた、本明細書に説明されるように、接眼レンズ2806と、適応BLA2808と、適応FLA2810とを含んでもよい。
図29は、本発明による、ARデバイス2900の概略図を図示する。ARデバイス2900は、概して、ローカルモジュール2910と、遠隔モジュール2912とを含む。ローカルモジュール2910と遠隔モジュールとの間のARデバイス2900のコンポーネントのパーティション化は、ARデバイス2900が使用されるとき、ユーザの頭部の近くに位置付けられるものからの嵩張るおよび/または高電力消費コンポーネントの分離を可能にし、それによって、ユーザ快適性およびデバイス性能を増加させ得る。ローカルモジュール2910は、頭部搭載型であってもよく、種々の機械的および電子モジュールを含み、ピクセル化された調光器2903および空間光変調器2904の制御を促進してもよい。空間光変調器2904の制御は、仮想コンテンツを接眼レンズ2902上に投影させ得、これは、調光器2903によって修正される世界光と併せて、ARデバイス2900のユーザによって視認される。ローカルモジュール2910の1つ以上のセンサ2934は、世界および/またはユーザからの情報を検出し、検出された情報をセンサヘッドセットプロセッサ2940に送信してもよく、これは、データストリームをローカルモジュール2910のディスプレイヘッドセットプロセッサ2942に、未加工または処理された画像を遠隔モジュール2912の知覚処理ユニット2944に送信してもよい。
いくつかの実施形態では、ローカルモジュール2910の1つ以上のコンポーネントは、図3を参照して説明される1つ以上のコンポーネントに類似してもよい。例えば、そのような実施形態では、接眼レンズ2902および調光器2903の機能性は、それぞれ、接眼レンズ302および調光器303のものに類似してもよい。いくつかの実施例では、1つ以上のセンサ2934は、それぞれ、世界カメラ306、周囲光センサ334、および/または眼追跡器340のうちの1つ以上のものに類似する、1つ以上の世界カメラ、周囲光センサ、および/または眼追跡器を含んでもよい。いくつかの実施形態では、空間光変調器2904の機能性は、プロジェクタ314内に含まれる1つ以上のコンポーネントのものに類似してもよく、センサヘッドセットプロセッサ2940およびディスプレイヘッドセットプロセッサ2942の一方または両方の機能性は、処理モジュール350内に含まれる1つ以上のコンポーネントのものに類似してもよい。
いくつかの実施形態では、ディスプレイヘッドセットプロセッサ2942は、仮想コンテンツデータおよびピクセル化された調光器データを遠隔モジュール2912のグラフィック処理ユニット(GPU)2946から受信してもよく、ピクセル化された調光器2903および空間光変調器2904を制御することに先立って、種々の補正およびワーピング技法を実施してもよい。ディスプレイヘッドセットプロセッサ2942によって生成された調光器データは、調光器2903を制御するための電圧を修正または生成し得る、1つ以上のドライバを通して通過してもよい。いくつかの実施形態では、ディスプレイヘッドセットプロセッサ2942は、調光および投影された仮想コンテンツの正確度を改良するために使用され得る、深度画像およびヘッドセット姿勢をセンサヘッドセットプロセッサ2940から受信してもよい。
遠隔モジュール2912は、可能性の中でもとりわけ、1つ以上の有線または無線接続を通して、ローカルモジュール2910に電気的に結合されてもよく、ユーザに固定して取り付けられる、またはユーザによって搬送されてもよい。遠隔モジュール2912は、環境照明マップ、ヘッドセット姿勢、および眼感知を実施/生成するための知覚処理ユニット2944を含んでもよい。知覚処理ユニット2944は、データをCPU2948に送信してもよく、これは、パス可能世界幾何学形状およびアプリ場面幾何学形状を実施/生成するように構成されてもよい。CPU2948は、データをGPU2946に送信してもよく、これは、動作の中でもとりわけ、最小世界輝度スループットのチェック、調光ピクセル整合、後のフレーム時間ワーピング、およびレンダリングパイプラインを実施するように構成されてもよい。いくつかの実施形態では、CPU2948は、単一処理ユニットが、それぞれを参照して説明される機能のうちの1つ以上のものを実施し得るように、GPU2946と統合されてもよい。いくつかの実施形態では、遠隔モジュール2912内に含まれるコンポーネントのうちの1つ以上のものの機能性は、処理モジュール350内に含まれる1つ以上のコンポーネントのものに類似してもよい。
図30は、焦点外ピクセル化調光を鮮明化するための方法3000を図示する。方法3000は、調光器の性能を改良するための方法400に加え、使用されてもよい。例えば、方法3000の1つ以上のステップは、ステップ416に先立って、および/またはステップ414に続いて、実施されてもよい。方法3000のステップは、図30に示されるものと異なる順序で実施されてもよく、ステップの全てが、実施される必要はない。例えば、いくつかの実施形態では、ステップ3002、3004、および3006のうちの1つ以上のものは、方法3000の実施の間、省略されてもよい。方法3000の1つ以上のステップは、プロセッサ(例えば、プロセッサ352)またはARデバイス内のある他のコンポーネントによって実施されてもよい。
ステップ3002では、ピクセル化されたマスクが、生成される。方法3000が、方法400と併用されると、ピクセル化されたマスクは、ステップ412において決定された調光されることになるシステム視野の一部および/またはステップ414において決定された調光値(すなわち、調光される面積236)に基づいて生成されてもよい。いくつかの実施形態では、ピクセル化されたマスクは、図31および32を参照して説明される技法の一方または両方を使用して生成されてもよい。
ステップ3004では、調光器が、ピクセル化されたマスクに従って調節される。例えば、調光器の各ピクセルは、ピクセル化されたマスクによって示されるように、特定の調光値に設定されてもよい。方法3000が方法400と併用される実施例に関して、ステップ3004の1つ以上の動作は、少なくとも部分的に、ステップ416の1つ以上の動作に対応してもよい。
ステップ3006では、ユーザが、調光器を通して見ると、観察可能な調光(ユーザに対して)は、単一ピクセルのPSFを用いて畳み込まれるピクセル化されたマスクに匹敵する。故に、ステップ3006は、ユーザがARデバイスを装着しているとき、直接、ARデバイスのコンポーネントによって実施されるのではなく、本質的に、眼の光学系によって実施される。他方では、ステップ3002および3004は、例えば、ARデバイスの1つ以上のコンポーネントによって実施されてもよい。
図31は、ステップ3102が、所望のピクセル化されたマスクが生成される、ステップ3108と、ピクセル化されたマスクが所望のピクセル化されたマスクに設定される、ステップ3110とを含む、焦点外ピクセル化調光を鮮明化するための方法3100を図示する。ユーザに対して観察可能な調光(ステップ3106に隣接して示される)は、単一ピクセルのPSFによって生じるスミアに起因して、ピクセル化されたマスク(ステップ3104に隣接して示される)と比較して、著しくぼかされる。いくつかの実施形態では、方法3100の1つ以上のステップは、方法3000の1つ以上のステップに対応してもよい。
図32は、ステップ3202が、逆畳み込み技法を含む、焦点外ピクセル化調光を鮮明化するための方法3200を図示する。ステップ3208では、ユーザの眼の瞳孔の直径が、眼に指向されるセンサ(例えば、眼追跡器240等のカメラ)を使用して検出される。ステップ3210では、眼の水晶体の遠近調節状態が、ステップ3208において使用されるものと同一または異なるセンサを使用して検出される。
ステップ3212では、単一ピクセルのPSFが、瞳孔直径、眼の水晶体の遠近調節状態、ピクセルのサイズ/形状、およびピクセルから瞳孔までの距離に基づいて推定される。ピクセルの形状が、円形を使用して近似され得るとき、ピクセルのサイズ/形状は、直径hとして、瞳孔直径は、直径pとして、ピクセルから瞳孔までの距離は、距離dとして表され得る(図23Aおよび23Bにおいて確立される命名法を使用)。いくつかの実施形態では、ピクセルから瞳孔までの距離は、推定されるPSFがピクセルに依存し得るように、調光器の異なるピクセルに関して異なり得る。いくつかの実施形態では、最中心ピクセルから瞳孔までの距離は、残りのピクセルに関して近似として使用される。
ステップ3214では、仮想コンテンツの深度における所望のピクセル化されたマスクが、生成される。ステップ3216では、所望のピクセル化されたマスクは、単一ピクセルの推定されるPSFを使用して逆畳み込みされる。いくつかの実施形態では、仮想コンテンツの深度における所望のピクセル化されたマスクのフーリエ変換を単一ピクセルの推定されるPSFのフーリエ変換によって除算し、逆フーリエ変換を実施することによって、逆畳み込みは、空間周波数ドメイン内で実施される。代替として、または加えて、逆畳み込みは、単一ピクセルの推定されるPSFのフーリエ変換を仮想コンテンツの深度における所望のピクセル化されたマスクのフーリエ変換によって除算し、逆フーリエ変換を実施することによって、実施されてもよい。続いて、ステップ3204において使用される、ピクセル化されたマスクは、逆畳み込みの結果に設定される。
方法3200を実施する結果として、ユーザに対して観察可能な調光(ステップ3206に隣接して示される)は、ピクセル化されたマスク(ステップ3204に隣接して示される)と所望のピクセル化されたマスク(ステップ3214に隣接して示される)との間の非類似性にもかかわらず、方法3100における技法と比較して、有意に殆どぼかされない。いくつかの実施形態では、方法3200の1つ以上のステップは、方法3000および3100の1つ以上のステップに対応してもよい。いくつかの実施形態では、方法3200の1つ以上のステップは、省略または修正されてもよい。
図33は、本明細書に説明される実施形態による、簡略化されたコンピュータシステム3300を図示する。図33に図示されるようなコンピュータシステム3300は、本明細書に説明されるようなARデバイス200または300等のデバイスの中に組み込まれてもよい。図33は、種々の実施形態によって提供される方法のステップの一部または全部を実施し得る、コンピュータシステム3300の一実施例の概略化された例証を提供する。図33は、種々のコンポーネントの一般化された例証を提供するためだけに意図され、そのいずれかまたは全てが、必要に応じて利用されてもよいことに留意されたい。図33は、したがって、広義には、個々のシステム要素が比較的に分離された様式または比較的により統合された様式において実装され得る状況を図示する。
コンピュータシステム3300は、バス3305を介して電気的に結合されることができる、または必要に応じて別様に通信し得る、ハードウェア要素を備えるように示される。ハードウェア要素は、限定ではないが、デジタル信号処理チップ、グラフィック加速プロセッサ、および/または同等物等の、1つ以上の汎用プロセッサおよび/または1つ以上の特殊目的プロセッサを含む、1つ以上のプロセッサ3310と、限定ではないが、マウス、キーボード、カメラ、および/または同等物を含むことができる、1つ以上の入力デバイス3315と、限定ではないが、ディスプレイデバイス、プリンタ、および/または同等物を含むことができる、1つ以上の出力デバイス3320とを含んでもよい。
コンピュータシステム3300はさらに、限定ではないが、ローカルおよび/またはネットワークアクセス可能記憶装置を備えることができ、および/または、限定ではないが、プログラム可能である、フラッシュ更新可能である、および/または同等物であることができる、ディスクドライブ、ドライブアレイ、光学記憶デバイス、ランダムアクセスメモリ(「RAM」)等のソリッドステート記憶デバイス、および/または読取専用メモリ(「ROM」)を含むことができる、1つ以上の非一過性記憶デバイス3325を含む、および/またはそれと通信してもよい。そのような記憶デバイスは、限定ではないが、種々のファイルシステム、データベース構造、および/または同等物を含む、任意の適切なデータ記憶を実装するように構成されてもよい。
コンピュータシステム3300はまた、限定ではないが、Bluetooth(登録商標)デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信設備等、および/または同等物等のモデム、ネットワークカード(無線または有線)、赤外線通信デバイス、無線通信デバイス、および/またはチップセットを含むことができる、通信サブシステム3319を含み得る。通信サブシステム3319は、1つ以上の入力および/または出力通信インターフェースを含み、データが、一実施例として挙げるために以下に説明されるネットワーク、すなわち、他のコンピュータシステム、テレビ、および/または本明細書に説明される任意の他のデバイス等のネットワークと交換されることを可能にしてもよい。所望の機能性および/または他の実装懸念に応じて、ポータブル電子デバイスまたは類似デバイスは、通信サブシステム3319を介して、画像および/または他の情報を通信してもよい。他の実施形態では、ポータブル電子デバイス、例えば、第1の電子デバイスは、コンピュータシステム3300、例えば、電子デバイスの中に入力デバイス3319として組み込まれてもよい。いくつかの実施形態では、コンピュータシステム3300はさらに、作業メモリ3335を備え、これは、上記に説明されるようなRAMまたはROMデバイスを含むであろう。
コンピュータシステム3300はまた、種々の実施形態によって提供されるコンピュータプログラムを備え得る、および/または本明細書に説明されるような他の実施形態によって提供される方法を実装し、および/またはシステムを構成するように設計され得る、1つ以上のアプリケーションプログラム3345等のオペレーティングシステム3340、デバイスドライバ、実行可能ライブラリ、および/または他のコードを含む、作業メモリ3335内に現在位置するものとして示される、ソフトウェア要素を含むことができる。単に、一例として、上記に議論される方法に関して説明される1つ以上のプロシージャは、コンピュータまたはコンピュータ内のプロセッサによって実行可能なコードおよび/または命令として実装され得、ある側面では、次いで、そのようなコードおよび/または命令は、説明される方法に従って1つ以上の動作を実施するように汎用コンピュータまたは他のデバイスを構成および/または適合するために使用されることができる。
これらの命令および/またはコードのセットは、上記に説明される記憶デバイス3325等の非一過性コンピュータ可読記憶媒体上に記憶されてもよい。ある場合には、記憶媒体は、コンピュータシステム3300等のコンピュータシステム内に組み込まれ得る。他の実施形態では、記憶媒体は、コンピュータシステムと別個である、例えば、コンパクトディスク等の可撤性媒体である、および/または記憶媒体が、汎用コンピュータをその上に記憶される命令/コードを用いてプログラム、構成、および/または適合するために使用され得るように、インストールパッケージ内に提供され得る。これらの命令は、コンピュータシステム3300によって実行可能である、実行可能コードの形態をとり得る、および/または、例えば、種々の概して利用可能なコンパイラ、インストールプログラム、圧縮/解凍ユーティリティ等のいずれかを使用したコンピュータシステム3300上へのコンパイルおよび/またはインストールに応じて、次いで、実行可能コードの形態をとる、ソースおよび/またはインストール可能コードの形態をとり得る。
実質的な変形例が、具体的要件に従って構成されてもよいことが、当業者に明白となるであろう。例えば、カスタマイズされたハードウェアもまた、使用され得る、および/または特定の要素が、ハードウェア、アプレット等のポータブルソフトウェアを含む、ソフトウェア、または両方内に実装され得る。さらに、ネットワーク入力/出力デバイス等の他のコンピューティングデバイスへの接続も、採用されてもよい。
上記に述べられたように、一側面では、いくつかの実施形態は、コンピュータシステム3300等のコンピュータシステムを採用し、本技術の種々の実施形態による方法を実施してもよい。一式の実施形態によると、そのような方法のプロシージャの一部または全部は、プロセッサ3310が、オペレーティングシステム3340の中に組み込まれ得る、1つ以上の命令の1つ以上のシーケンス、および/または作業メモリ3335内に含有される、アプリケーションプログラム3345等の他のコードを実行することに応答して、コンピュータシステム3300によって実施される。そのような命令は、記憶デバイス3325のうちの1つ以上のもの等の別のコンピュータ可読媒体から作業メモリ3335の中に読み取られてもよい。単に、一例として、作業メモリ3335内に含有される命令のシーケンスの実行は、プロセッサ3310に、本明細書に説明される方法の1つ以上のプロシージャを実施させ得る。加えて、または代替として、本明細書に説明される方法の一部は、特殊ハードウェアを通して実行されてもよい。
用語「機械可読媒体」および「コンピュータ可読媒体」は、本明細書で使用されるとき、機械を具体的方式で動作させるデータを提供することに関わる、任意の媒体を指す。コンピュータシステム3300を使用して実装される、ある実施形態では、種々のコンピュータ可読媒体は、実行のための命令/コードをプロセッサ3310に提供する際に関わり得る、および/またはそのような命令/コードを記憶および/または搬送するために使用され得る。多くの実装では、コンピュータ可読媒体は、物理的および/または有形記憶媒体である。そのような媒体は、不揮発性媒体または揮発性媒体の形態をとってもよい。不揮発性媒体は、例えば、記憶デバイス3325等の光学および/または磁気ディスクを含む。揮発性媒体は、限定ではないが、作業メモリ3335等の動的メモリを含む。
一般的形態の物理的および/または有形コンピュータ可読媒体は、例えば、フロッピー(登録商標)ディスク、可撓性ディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、CD−ROM、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、RAM、PROM、EPROM、FLASH(登録商標)−EPROM、任意の他のメモリチップまたはカートリッジ、またはコンピュータが命令および/またはコードを読み取ることができる、任意の他の媒体を含む。
種々の形態のコンピュータ可読媒体が、実行のための1つ以上の命令の1つ以上のシーケンスをプロセッサ3310に搬送する際に関わってもよい。単に、一例として、命令は、最初に、遠隔コンピュータの磁気ディスクおよび/または光学ディスク上で搬送されてもよい。遠隔コンピュータは、命令をその動的メモリの中にロードし、コンピュータシステム3300によって受信および/または実行される伝送媒体を経由して、命令を信号として送信し得る。
通信サブシステム3319および/またはそのコンポーネントは、概して、信号を受信し、バス3305が、次いで、信号および/または信号によって搬送されるデータ、命令等を作業メモリ3335に搬送し得、そこから、プロセッサ3310が、命令を読み出し、実行する。作業メモリ3335によって受信された命令は、随意に、プロセッサ3310による実行前または後のいずれかにおいて、非一過性記憶デバイス3325上に記憶されてもよい。
上記に議論される方法、システム、およびデバイスは、実施例である。種々の構成は、必要に応じて、種々のプロシージャまたはコンポーネントを省略、代用、または追加してもよい。例えば、代替構成では、本方法は、説明されるものと異なる順序で実施されてもよく、および/または種々の段階は、追加される、省略される、および/または組み合わせられてもよい。また、ある構成に関して説明される特徴は、種々の他の構成において組み合わせられてもよい。構成の異なる側面および要素は、類似様式で組み合わせられてもよい。また、技術は、進歩するものであって、したがって、要素の多くは、実施例であって、本開示の範囲または請求項を限定するものではない。
具体的詳細が、実装を含む、例示的構成の完全な理解を提供するために説明に与えられる。しかしながら、構成は、これらの具体的詳細を伴わずに実践されてもよい。例えば、周知の回路、プロセス、アルゴリズム、構造、および技法は、構成を曖昧にすることを回避するために、不必要な詳細を伴わずに示されている。本説明は、例示的構成のみを提供し、請求項の範囲、可用性、または構成を限定するものではない。むしろ、構成の前述の説明は、当業者に説明される技法を実装するための有効な説明を提供するであろう。種々の変更が、本開示の精神または範囲から逸脱することなく、要素の機能および配列に行われてもよい。
また、構成は、概略フローチャートまたはブロック図として描写される、プロセスとして説明され得る。それぞれ、シーケンシャルプロセスとして動作を説明し得るが、動作の多くは、並行して、または同時に実施されることができる。加えて、動作の順序は、再配列されてもよい。プロセスは、図内に含まれない付加的ステップを有してもよい。さらに、本方法の実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、または任意のそれらの組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコード内に実装されるとき、必要タスクを実施するためのプログラムコードまたはコードセグメントは、記憶媒体等の非一過性コンピュータ可読媒体内に記憶されてもよい。プロセッサは、説明されるタスクを実施してもよい。
いくつかの例示的構成が説明されたが、種々の修正、代替構造、および均等物が、本開示の精神から逸脱することなく、使用されてもよい。例えば、前述の要素は、より大きいシステムのコンポーネントであってもよく、他のルールが、本技術の用途に優先する、または別様にそれを修正してもよい。また、いくつかのステップは、前述の要素が検討される前、間、または後に行われてもよい。故に、前述の説明は、請求項の範囲を束縛するものではない。
本明細書および添付の請求項で使用されるように、単数形「a」、「an」、および「the」は、文脈によって明確に別様に示されない限り、複数参照を含む。したがって、例えば、「ユーザ」の言及は、複数のそのようなユーザを含み、「プロセッサ」の言及は、1つ以上のプロセッサおよび当業者に公知のその均等物等の言及を含む。
また、単語「comprise(〜を備える)」、「comprising(〜を備える)」、「contains(〜を含有する)」、「containing(〜を含有する)」、「include(〜を含む)」、「including(〜を含む)」、および「includes(〜を含む)」は、本明細書および以下の請求項で使用されるとき、述べられた特徴、整数、コンポーネント、またはステップの存在を規定するために意図されるが、それらは、1つ以上の他の特徴、整数、コンポーネント、ステップ、行為、またはグループの存在または追加を除外するものではない。
また、本明細書に説明される実施例および実施形態は、例証目的のみのためのものであって、それに照らして、種々の修正または変更が、当業者に示唆され、本願の精神および権限および添付の請求項の範囲内に含まれることを理解されたい。

Claims (20)

  1. 光学システムを動作させる方法であって、
    前記光学システムにおいて、世界オブジェクトと関連付けられる光を受光することと、
    仮想画像光を接眼レンズ上に投影することと、
    前記光学システムによって検出された情報に基づいて、少なくとも部分的に調光されることになる前記光学システムのシステム視野の一部を決定することと、
    調光器を調節し、前記システム視野の一部内の世界オブジェクトと関連付けられる光の強度を低減させることと
    を含む、方法。
  2. 前記光学システムは、前記世界オブジェクトと関連付けられる光に対応する光情報を検出するように構成される光センサを備え、前記検出された情報は、前記光情報を含む、請求項1に記載の方法。
  3. 前記光情報は、複数の空間的に分解された光値を含む、請求項2に記載の方法。
  4. 前記光学システムは、前記光学システムのユーザの眼に対応する視線情報を検出するように構成される眼追跡器を備え、前記検出された情報は、前記視線情報を含む、請求項1に記載の方法。
  5. 前記仮想画像光に対応する画像情報を検出することであって、前記検出された情報は、前記画像情報を含む、こと
    をさらに含む、請求項1に記載の方法。
  6. 前記画像情報は、複数の空間的に分解された画像明度値を含む、請求項5に記載の方法。
  7. 前記検出された情報に基づいて、前記システム視野の一部に関する複数の空間的に分解された調光値を決定することであって、前記調光器は、前記複数の調光値に従って調節される、こと
    をさらに含む、請求項1に記載の方法。
  8. 前記調光器は、複数のピクセルを備える、請求項1に記載の方法。
  9. 非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を備え、前記命令は、プロセッサによって実行されると、前記プロセッサに、
    光学システムにおいて、世界オブジェクトと関連付けられる光を受光することと、
    仮想画像光を接眼レンズ上に投影することと、
    前記光学システムによって検出された情報に基づいて、少なくとも部分的に調光されることになる前記光学システムのシステム視野の一部を決定することと、
    調光器を調節し、前記システム視野の一部内の世界オブジェクトと関連付けられる光の強度を低減させることと
    を含む動作を実施させる、非一過性コンピュータ可読媒体。
  10. 前記光学システムは、前記世界オブジェクトと関連付けられる光に対応する光情報を検出するように構成される光センサを備え、前記検出された情報は、前記光情報を含む、請求項9に記載の非一過性コンピュータ可読媒体。
  11. 前記光情報は、複数の空間的に分解された光値を含む、請求項10に記載の非一過性コンピュータ可読媒体。
  12. 前記光学システムは、前記光学システムのユーザの眼に対応する視線情報を検出するように構成される眼追跡器を備え、前記検出された情報は、前記視線情報を含む、請求項9に記載の非一過性コンピュータ可読媒体。
  13. 前記動作はさらに、
    前記仮想画像光に対応する画像情報を検出することであって、前記検出された情報は、前記画像情報を含む、こと
    を含む、請求項9に記載の非一過性コンピュータ可読媒体。
  14. 前記画像情報は、複数の空間的に分解された画像明度値を含む、請求項13に記載の非一過性コンピュータ可読媒体。
  15. 前記動作はさらに、
    前記検出された情報に基づいて、前記システム視野の一部に関する複数の空間的に分解された調光値を決定することであって、前記調光器は、前記複数の調光値に従って調節される、こと
    を含む、請求項9に記載の非一過性コンピュータ可読媒体。
  16. 前記調光器は、複数のピクセルを備える、請求項9に記載の非一過性コンピュータ可読媒体。
  17. 光学システムであって、
    仮想画像光を接眼レンズ上に投影するように構成されるプロジェクタと、
    世界オブジェクトと関連付けられる光を調光するように構成される調光器と、
    前記プロジェクタおよび前記調光器に通信可能に結合されるプロセッサであって、前記プロセッサは、
    前記光学システムによって検出された情報に基づいて、少なくとも部分的に調光されることになる前記光学システムのシステム視野の一部を決定することと、
    前記調光器を調節し、前記システム視野の一部内の世界オブジェクトと関連付けられる光の強度を低減させることと
    を含む動作を実施するように構成される、プロセッサと
    を備える、光学システム。
  18. 前記世界オブジェクトと関連付けられる光に対応する光情報を検出するように構成される光センサをさらに備え、前記検出された情報は、前記光情報を含む、請求項17に記載の光学システム。
  19. 前記光学システムのユーザの眼に対応する視線情報を検出するように構成される眼追跡器をさらに備え、前記検出された情報は、前記視線情報を含む、請求項17に記載の光学システム。
  20. 前記動作はさらに、
    前記仮想画像光に対応する画像情報を検出することであって、前記検出された情報は、前記画像情報を含む、こと
    を含む、請求項17に記載の光学システム。
JP2021510460A 2018-08-31 2019-08-30 拡張現実デバイスのための空間的に分解された動的調光 Pending JP2021536592A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862725993P 2018-08-31 2018-08-31
US62/725,993 2018-08-31
US201962858252P 2019-06-06 2019-06-06
US62/858,252 2019-06-06
PCT/US2019/049176 WO2020047486A1 (en) 2018-08-31 2019-08-30 Spatially-resolved dynamic dimming for augmented reality device

Publications (2)

Publication Number Publication Date
JP2021536592A true JP2021536592A (ja) 2021-12-27
JPWO2020047486A5 JPWO2020047486A5 (ja) 2022-08-30

Family

ID=69640653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021510460A Pending JP2021536592A (ja) 2018-08-31 2019-08-30 拡張現実デバイスのための空間的に分解された動的調光

Country Status (5)

Country Link
US (4) US11170565B2 (ja)
EP (2) EP3844559B1 (ja)
JP (1) JP2021536592A (ja)
CN (2) CN117238224A (ja)
WO (1) WO2020047486A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
CN117238224A (zh) 2018-08-31 2023-12-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
US11428942B2 (en) 2018-09-14 2022-08-30 Magic Leap, Inc. Systems and methods for external light management
CN110346933A (zh) * 2018-09-30 2019-10-18 京东方科技集团股份有限公司 光学透镜模组和虚拟现实设备
US10867451B2 (en) * 2018-10-05 2020-12-15 Facebook Technologies, Llc Apparatus, systems, and methods for display devices including local dimming
US11908234B2 (en) * 2018-11-30 2024-02-20 Interdigital Vc Holdings, Inc. Method and apparatus to estimate scene illuminant based on skin reflectance database
EP3908876A4 (en) 2019-01-11 2022-03-09 Magic Leap, Inc. TIME MULTIPLEXED DISPLAY OF VIRTUAL CONTENT AT VARIOUS DEPTHS
CN114072723A (zh) 2019-07-05 2022-02-18 奇跃公司 用于减轻透视像素阵列中的伪影的几何形状
US11169380B2 (en) 2019-08-15 2021-11-09 Magic Leap, Inc. Ghost image mitigation in see-through displays with pixel arrays
US11009737B1 (en) 2019-09-17 2021-05-18 Facebook Technologies, Llc Occluder / dimmer based on polarization-selective scatterer and near-eye display containing same
US20210132689A1 (en) * 2019-11-05 2021-05-06 Micron Technology, Inc. User interface based in part on eye movement
US11614797B2 (en) 2019-11-05 2023-03-28 Micron Technology, Inc. Rendering enhancement based in part on eye tracking
US11615740B1 (en) 2019-12-13 2023-03-28 Meta Platforms Technologies, Llc Content-adaptive duty ratio control
CN111399230A (zh) * 2020-05-12 2020-07-10 潍坊歌尔电子有限公司 一种显示系统及头戴显示设备
US11423621B1 (en) * 2020-05-21 2022-08-23 Facebook Technologies, Llc. Adaptive rendering in artificial reality environments
US11922892B2 (en) 2021-01-20 2024-03-05 Meta Platforms Technologies, Llc High-efficiency backlight driver
DE102021101432A1 (de) * 2021-01-22 2022-07-28 Bayerische Motoren Werke Aktiengesellschaft Waveguide-basierte Projektionsanzeigevorrichtung mit einem dynamischen Streulichtabsorber für ein Fahrzeug
US11775060B2 (en) * 2021-02-16 2023-10-03 Athena Accessible Technology, Inc. Systems and methods for hands-free scrolling
US11741918B1 (en) * 2021-02-22 2023-08-29 Apple Inc. Display with a vignetting mask
CN112950791A (zh) * 2021-04-08 2021-06-11 腾讯科技(深圳)有限公司 一种显示方法和相关装置
CN115685542A (zh) * 2021-07-22 2023-02-03 中强光电股份有限公司 头戴式显示装置
CN117836695A (zh) * 2021-08-26 2024-04-05 谷歌有限责任公司 经由可调谐透镜元件的用于遮挡和对比度增强的可变世界模糊
US20230135448A1 (en) * 2021-11-04 2023-05-04 L3Harris Technologies, Inc. Apparatus and method for simplifying a control interface of a night vision system using bi-directional detector/display overlay
TWI828397B (zh) 2021-11-18 2024-01-01 東陽實業廠股份有限公司 智能透明遮光系統
US20230324686A1 (en) * 2022-04-11 2023-10-12 Meta Platforms Technologies, Llc Adaptive control of optical transmission
US20240027804A1 (en) * 2022-07-22 2024-01-25 Vaibhav Mathur Eyewear with non-polarizing ambient light dimming
US11762205B1 (en) * 2022-09-20 2023-09-19 Rockwell Collins, Inc. Method for creating uniform contrast on a headworn display against high dynamic range scene

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08160340A (ja) * 1994-12-05 1996-06-21 Canon Inc 画像観察装置
WO2005124431A1 (ja) * 2004-06-18 2005-12-29 Pioneer Corporation 情報表示装置、ナビゲーション装置
US20170323615A1 (en) * 2016-05-05 2017-11-09 Ostendo Technologies, Inc. Methods and Apparatus for Active Transparency Modulation
WO2018119276A1 (en) * 2016-12-22 2018-06-28 Magic Leap, Inc. Systems and methods for manipulating light from ambient light sources

Family Cites Families (232)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3632865A (en) 1969-12-23 1972-01-04 Bell Telephone Labor Inc Predictive video encoding using measured subject velocity
DE2737499C3 (de) 1977-08-19 1981-10-22 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V., 3400 Göttingen Faseroptisches Schaltungselement
JPS6010224U (ja) 1983-06-30 1985-01-24 松下電工株式会社 有害ガス雰囲気で使用される昇降装置
GB8701288D0 (en) 1987-01-21 1987-02-25 Waldern J D Perception of computer-generated imagery
US5271093A (en) 1989-10-17 1993-12-14 Mitsubishi Denki Kabushiki Kaisha Video display apparatus for filling the interior shapes of contour
US5138555A (en) 1990-06-28 1992-08-11 Albrecht Robert E Helmet mounted display adaptive predictive tracking
US8730129B2 (en) 1990-12-07 2014-05-20 Dennis J Solomon Advanced immersive visual display system
EP0571323A1 (de) 1992-05-20 1993-11-24 Maschinenfabrik Rieter Ag Vorrichtung zum kontinuierlichen Kräuseln von thermoplastischen Fäden
JPH0655203B2 (ja) 1992-07-09 1994-07-27 株式会社エイ・ティ・アール視聴覚機構研究所 視線検出を用いた医療診断装置
US5311897A (en) 1992-09-18 1994-05-17 Robert L. Cargill, Jr. Rotary control valve with offset variable area orifice and bypass
US5422653A (en) 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
JP3306183B2 (ja) 1993-09-14 2002-07-24 リーダー電子株式会社 信号波形表示装置及び表示方法
US5742264A (en) 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
JPH09284676A (ja) 1996-04-15 1997-10-31 Sony Corp 身体の動きに同期した映像及び音声処理方法と映像表示装置
US6151179A (en) 1997-07-11 2000-11-21 International Business Machines Corporation Signal processing circuit with feedback extracted from a sampled analog error signal
US6441811B1 (en) 1997-10-29 2002-08-27 Sharp Kabushiki Kaisha Display control device and reproduction display device for electronic books
JP2002110511A (ja) 2000-09-27 2002-04-12 Nikon Corp 露光方法及び露光装置
JP2001255862A (ja) 2000-03-10 2001-09-21 Seiko Epson Corp オーバレイ画像処理装置およびオーバレイ画像表示装置
US7663642B2 (en) 2000-11-15 2010-02-16 Sony Corporation Systems and methods for rendering a polygon in an image to be displayed
DE10131720B4 (de) 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
US20030014212A1 (en) 2001-07-12 2003-01-16 Ralston Stuart E. Augmented vision system using wireless communications
US6759979B2 (en) 2002-01-22 2004-07-06 E-Businesscontrols Corp. GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site
JP3762309B2 (ja) 2002-02-18 2006-04-05 キヤノン株式会社 位置方向測定装置および情報処理方法
US7497574B2 (en) 2002-02-20 2009-03-03 Brother Kogyo Kabushiki Kaisha Retinal image display device
US6917370B2 (en) 2002-05-13 2005-07-12 Charles Benton Interacting augmented reality and virtual reality
JP4170068B2 (ja) 2002-11-12 2008-10-22 シャープ株式会社 データ信号線駆動方法、データ信号線駆動回路およびそれを用いた表示装置
US7386799B1 (en) 2002-11-21 2008-06-10 Forterra Systems, Inc. Cinematic techniques in avatar-centric communication during a multi-user online simulation
US7385606B2 (en) 2002-12-18 2008-06-10 Microsoft Corporation International font measurement system and method
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
US7515756B2 (en) 2003-06-23 2009-04-07 Shoestring Research, Llc. Region segmentation and characterization systems and methods for augmented reality
US20050148388A1 (en) 2003-07-17 2005-07-07 Fabricio Vayra Method and system for interaction with real-time events from a remote location, through use of a computer, game console or other module
ITTO20030662A1 (it) 2003-08-29 2005-02-28 Fiat Ricerche Disposizione di visualizzazione virtuale per un quadro
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
KR101026800B1 (ko) 2003-11-21 2011-04-04 삼성전자주식회사 액정 표시 장치, 표시 장치용 광원의 구동 장치 및 그방법
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
JP4373286B2 (ja) 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
US7403337B2 (en) 2004-05-11 2008-07-22 Universal Vision Biotechnology Co., Ltd. Focus adjustable head mounted display system and method and device for realizing the system
US7442918B2 (en) 2004-05-14 2008-10-28 Microvision, Inc. MEMS device having simplified drive
US6947219B1 (en) 2004-06-02 2005-09-20 Universal Vision Biotechnology Co., Ltd. Focus adjustable head mounted display system for displaying digital contents and device for realizing the system
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
US20060007056A1 (en) 2004-07-09 2006-01-12 Shu-Fong Ou Head mounted display system having virtual keyboard and capable of adjusting focus of display screen and device installed the same
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
JP4437731B2 (ja) 2004-10-08 2010-03-24 フジノン株式会社 光ピックアップ光学系およびこれを用いた光ピックアップ装置
US8585476B2 (en) 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
KR100656342B1 (ko) 2004-12-16 2006-12-11 한국전자통신연구원 다중 입체 영상 혼합 제시용 시각 인터페이스 장치
US20060214911A1 (en) 2005-03-23 2006-09-28 Eastman Kodak Company Pointing device for large field of view displays
US20060226231A1 (en) 2005-03-29 2006-10-12 University Of Washington Methods and systems for creating sequential color images
JP4738870B2 (ja) 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
US7773098B2 (en) 2005-05-11 2010-08-10 Canon Kabushiki Kaisha Virtual reality presentation apparatus and method
US8847861B2 (en) 2005-05-20 2014-09-30 Semiconductor Energy Laboratory Co., Ltd. Active matrix display device, method for driving the same, and electronic device
US7737965B2 (en) 2005-06-09 2010-06-15 Honeywell International Inc. Handheld synthetic vision device
US20060284791A1 (en) 2005-06-21 2006-12-21 National Applied Research Laboratories National Center For High-Performance Computing Augmented reality system and method with mobile and interactive function for multiple users
IL173361A (en) 2005-09-12 2012-03-29 Elbit Systems Ltd Display system near the eye
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US7480422B2 (en) 2005-10-14 2009-01-20 Disney Enterprises, Inc. Systems and methods for information content delivery relating to an object
IL172797A (en) 2005-12-25 2012-09-24 Elbit Systems Ltd Real-time image scanning and processing
JP2007240709A (ja) 2006-03-07 2007-09-20 Matsushita Electric Ind Co Ltd 多焦点眼鏡
SE0601216L (sv) 2006-05-31 2007-12-01 Abb Technology Ltd Virtuell arbetsplats
US20080058629A1 (en) 2006-08-21 2008-03-06 University Of Washington Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation
US7725547B2 (en) 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US7889178B2 (en) 2006-09-08 2011-02-15 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Programmable resolution for optical pointing device
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
JP4936522B2 (ja) 2006-09-29 2012-05-23 キヤノン株式会社 画像処理方法、画像処理装置
JP5228307B2 (ja) 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
WO2008153599A1 (en) 2006-12-07 2008-12-18 Adapx, Inc. Systems and methods for data annotation, recordation, and communication
US7903166B2 (en) 2007-02-21 2011-03-08 Sharp Laboratories Of America, Inc. Methods and systems for display viewer motion compensation based on user image data
US20080215994A1 (en) 2007-03-01 2008-09-04 Phil Harrison Virtual world avatar control, interactivity and communication interactive messaging
US8832557B2 (en) 2007-05-04 2014-09-09 Apple Inc. Adjusting media display in a personal display system based on perspective
WO2009002567A1 (en) 2007-06-27 2008-12-31 The University Of Hawaii Virtual reality overlay
US8902227B2 (en) 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects
US20090089685A1 (en) 2007-09-28 2009-04-02 Mordecai Nicole Y System and Method of Communicating Between A Virtual World and Real World
US8063905B2 (en) 2007-10-11 2011-11-22 International Business Machines Corporation Animating speech of an avatar representing a participant in a mobile communication
US20090225001A1 (en) 2007-11-06 2009-09-10 University Of Central Florida Research Foundation, Inc. Hybrid Display Systems and Methods
KR20090067822A (ko) 2007-12-21 2009-06-25 삼성전자주식회사 현실 인자를 반영하는 혼합 세계 생성 시스템 및 구현 방법
US20090177042A1 (en) 2008-01-09 2009-07-09 University Of Washington Color image acquisition with scanning laser beam devices
US8624924B2 (en) 2008-01-18 2014-01-07 Lockheed Martin Corporation Portable immersive environment using motion capture and head mounted display
US8615383B2 (en) 2008-01-18 2013-12-24 Lockheed Martin Corporation Immersive collaborative environment using motion capture, head mounted display, and cave
US20090222424A1 (en) 2008-02-26 2009-09-03 Van Benedict Method and apparatus for integrated life through virtual cities
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8757812B2 (en) 2008-05-19 2014-06-24 University of Washington UW TechTransfer—Invention Licensing Scanning laser projection display devices and methods for projecting one or more images onto a surface with a light-scanning optical fiber
US20090322671A1 (en) 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method
US8063968B2 (en) 2008-07-23 2011-11-22 Lockheed Martin Corporation Device for detecting an image of a nonplanar surface
JP5651595B2 (ja) 2008-10-09 2015-01-14 ノース・キャロライナ・ステイト・ユニヴァーシティ 複数の偏光回折格子配置を有する偏光無依存型液晶ディスプレイ装置及び関連装置
WO2010062479A1 (en) 2008-11-02 2010-06-03 David Chaum System and apparatus for eyeglass appliance platform
US20100287500A1 (en) 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
ES2498671T3 (es) 2008-12-02 2014-09-25 Saab Ab Dispositivo de visualización "de cabeza alta" para gafas de visión nocturna
US20100137684A1 (en) 2008-12-03 2010-06-03 Hoya Corporation Endoscope system with scanning function
US8132916B2 (en) 2008-12-12 2012-03-13 Carl Zeiss Meditec, Inc. High precision contrast ratio display for visual stimulus
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8810758B2 (en) 2009-03-24 2014-08-19 Jay Ahling Dual-function alignment layer for liquid crystal devices to improve degradation resistance to radiation
US8487933B2 (en) 2009-03-31 2013-07-16 General Electric Company System and method for multi-segment center point trajectory mapping
US9195898B2 (en) 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
JP5553635B2 (ja) 2009-10-23 2014-07-16 キヤノン株式会社 補償光学装置、撮像装置および補償光学方法、撮像方法
WO2011061914A1 (ja) 2009-11-19 2011-05-26 パナソニック株式会社 走査型画像表示装置
EP2509490B1 (en) 2009-12-10 2014-04-23 Essilor International (Compagnie Générale D'Optique) An ophthalmic lens arrangement and an apparatus for demonstrating a plurality of optical functions and a method for demonstrating a plurality of optical functions
KR101652311B1 (ko) 2010-01-26 2016-08-30 광주과학기술원 비전 영상 정보 저장 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
JP5499762B2 (ja) 2010-02-24 2014-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び画像処理システム
WO2011106798A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US20120120103A1 (en) 2010-02-28 2012-05-17 Osterhout Group, Inc. Alignment control in an augmented reality headpiece
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
JP2011203823A (ja) 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US8893022B2 (en) 2010-04-01 2014-11-18 Microsoft Corporation Interactive and shared viewing experience
WO2011135848A1 (ja) 2010-04-28 2011-11-03 パナソニック株式会社 走査型画像表示装置
US8762041B2 (en) 2010-06-21 2014-06-24 Blackberry Limited Method, device and system for presenting navigational information
US20120200600A1 (en) 2010-06-23 2012-08-09 Kent Demaine Head and arm detection for virtual immersion systems and methods
KR101420560B1 (ko) 2010-08-09 2014-07-16 파나소닉 주식회사 광디바이스, 및 이것을 포함한 충전 시스템
US8184215B2 (en) 2010-08-17 2012-05-22 Lc-Tec Displays Ab High-speed liquid crystal polarization modulator
US20120127136A1 (en) 2010-08-18 2012-05-24 Kent Displays Incorporated Display device including piezoelectric and liquid crystal layers
US20120050140A1 (en) 2010-08-25 2012-03-01 Border John N Head-mounted display control
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US8907983B2 (en) 2010-10-07 2014-12-09 Aria Glassworks, Inc. System and method for transitioning between interface modes in virtual and augmented reality applications
US8578299B2 (en) 2010-10-08 2013-11-05 Industrial Technology Research Institute Method and computing device in a system for motion detection
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US8831278B2 (en) 2010-11-30 2014-09-09 Eastman Kodak Company Method of identifying motion sickness
US8988463B2 (en) 2010-12-08 2015-03-24 Microsoft Technology Licensing, Llc Sympathetic optic adaptation for see-through display
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US9113050B2 (en) 2011-01-13 2015-08-18 The Boeing Company Augmented collaboration system
US20120182313A1 (en) 2011-01-13 2012-07-19 Pantech Co., Ltd. Apparatus and method for providing augmented reality in window form
US20120188148A1 (en) 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
JP2012155655A (ja) 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP5844288B2 (ja) 2011-02-01 2016-01-13 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 機能拡張装置、機能拡張方法、機能拡張プログラム、及び集積回路
US9217867B2 (en) 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US8401343B2 (en) 2011-03-27 2013-03-19 Edwin Braun System and method for defining an augmented reality character in computer generated virtual reality using coded stickers
US9071709B2 (en) 2011-03-31 2015-06-30 Nokia Technologies Oy Method and apparatus for providing collaboration between remote and on-site users of indirect augmented reality
US8508830B1 (en) 2011-05-13 2013-08-13 Google Inc. Quantum dot near-to-eye display
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US9015245B1 (en) 2011-07-20 2015-04-21 Google Inc. Experience sharing with commenting
WO2013013230A2 (en) 2011-07-21 2013-01-24 Jonathan Arnold Bell Wearable display devices
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
AU2011205223C1 (en) 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9342610B2 (en) 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9274595B2 (en) 2011-08-26 2016-03-01 Reincloud Corporation Coherent presentation of multiple reality and interaction models
US9191661B2 (en) 2011-08-29 2015-11-17 Microsoft Technology Licensing, Llc Virtual image display device
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9213163B2 (en) 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
US8223024B1 (en) 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
US9286711B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US9268406B2 (en) 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US9255813B2 (en) 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
RU2621633C2 (ru) 2011-10-28 2017-06-06 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
US8752963B2 (en) * 2011-11-04 2014-06-17 Microsoft Corporation See-through display brightness control
US8879155B1 (en) 2011-11-09 2014-11-04 Google Inc. Measurement method and system
US9311883B2 (en) 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US20130141419A1 (en) 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
US8872853B2 (en) * 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US8963805B2 (en) 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
EP2813069A4 (en) 2012-02-08 2016-12-07 Intel Corp CREATING AN ADVANCED REALITY WITH A REAL SCENE
US9147111B2 (en) 2012-02-10 2015-09-29 Microsoft Technology Licensing, Llc Display with blocking image generation
US20130215230A1 (en) 2012-02-22 2013-08-22 Matt Miesnieks Augmented Reality System Using a Portable Device
JP5958689B2 (ja) 2012-03-22 2016-08-02 セイコーエプソン株式会社 頭部装着型表示装置
US8933912B2 (en) 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US9183676B2 (en) 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US9122321B2 (en) 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US9201625B2 (en) 2012-06-22 2015-12-01 Nokia Technologies Oy Method and apparatus for augmenting an index generated by a near eye display
US9696547B2 (en) 2012-06-25 2017-07-04 Microsoft Technology Licensing, Llc Mixed reality system learned input and functions
US9645394B2 (en) 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
US9035970B2 (en) 2012-06-29 2015-05-19 Microsoft Technology Licensing, Llc Constraint based information inference
US9841537B2 (en) 2012-07-02 2017-12-12 Nvidia Corporation Near-eye microlens array displays
US9557565B2 (en) 2012-07-02 2017-01-31 Nvidia Corporation Near-eye optical deconvolution displays
CN103566371B (zh) 2012-08-01 2015-09-09 南京神奇科技开发有限公司 抗微生物的物理方法
JP6015250B2 (ja) 2012-08-31 2016-10-26 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20140071163A1 (en) 2012-09-11 2014-03-13 Peter Tobias Kinnebrew Augmented reality information detail
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US10073201B2 (en) 2012-10-26 2018-09-11 Qualcomm Incorporated See through near-eye display
US9448404B2 (en) 2012-11-13 2016-09-20 Qualcomm Incorporated Modifying virtual object display properties to increase power performance of augmented reality devices
US9030495B2 (en) 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
US9582123B2 (en) 2012-11-26 2017-02-28 Qualcomm Incorporated Dual-mode capacitance sensing in a touch panel sensor
US20140178029A1 (en) 2012-12-26 2014-06-26 Ali Fazal Raheman Novel Augmented Reality Kiosks
KR102019124B1 (ko) 2013-01-04 2019-09-06 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 제어 방법
US9342929B2 (en) 2013-01-22 2016-05-17 Microsoft Technology Licensing, Llc Mixed reality experience sharing
JP2014149712A (ja) 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム
KR102050897B1 (ko) 2013-02-07 2019-12-02 삼성전자주식회사 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법
US10386558B2 (en) 2013-03-13 2019-08-20 Imagineoptix Corporation Polarization conversion systems with geometric phase holograms
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
US9852512B2 (en) 2013-03-13 2017-12-26 Electronic Scripting Products, Inc. Reduced homography based on structural redundancy of conditioned motion
US9164281B2 (en) 2013-03-15 2015-10-20 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US9685003B2 (en) 2013-06-03 2017-06-20 Microsoft Technology Licensing, Llc Mixed reality data collaboration
US10139623B2 (en) 2013-06-18 2018-11-27 Microsoft Technology Licensing, Llc Virtual object orientation and visualization
US9911231B2 (en) 2013-10-08 2018-03-06 Samsung Electronics Co., Ltd. Method and computing device for providing augmented reality
AU2014354673B2 (en) 2013-11-27 2019-04-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
EP2887123A1 (en) 2013-12-18 2015-06-24 Thomson Licensing Optical see-through glass type display device and corresponding optical element
US20160327798A1 (en) 2014-01-02 2016-11-10 Empire Technology Development Llc Augmented reality (ar) system
US9311718B2 (en) * 2014-01-23 2016-04-12 Microsoft Technology Licensing, Llc Automated content scrolling
JP2017529128A (ja) 2014-04-16 2017-10-05 ビーム エンジニアリング フォー アドバンスド メジャーメンツ カンパニー 回折波長板レンズを用いてヒトの視力を矯正する方法及び装置
US10216271B2 (en) 2014-05-15 2019-02-26 Atheer, Inc. Method and apparatus for independent control of focal vergence and emphasis of displayed and transmitted optical content
US9626936B2 (en) * 2014-08-21 2017-04-18 Microsoft Technology Licensing, Llc Dimming module for augmented and virtual reality
US10943111B2 (en) 2014-09-29 2021-03-09 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
US9778814B2 (en) 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
US10055887B1 (en) * 2015-02-19 2018-08-21 Google Llc Virtual/augmented reality transition system and method
AU2016233280B2 (en) 2015-03-16 2021-03-25 Magic Leap, Inc. Augmented reality pulse oximetry
US20160314624A1 (en) 2015-04-24 2016-10-27 Eon Reality, Inc. Systems and methods for transition between augmented reality and virtual reality
KR102527670B1 (ko) 2015-05-08 2023-04-28 배 시스템즈 피엘시 디스플레이 개선 방법
US10247858B2 (en) 2015-10-25 2019-04-02 Facebook Technologies, Llc Liquid crystal half-wave plate lens
US9927614B2 (en) 2015-12-29 2018-03-27 Microsoft Technology Licensing, Llc Augmented reality display system with variable focus
EP3408704B1 (en) 2016-01-29 2021-11-03 Magic Leap, Inc. Display for three-dimensional image
JP6736944B2 (ja) * 2016-03-29 2020-08-05 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR102379691B1 (ko) 2016-04-08 2022-03-25 매직 립, 인코포레이티드 가변 포커스 렌즈 엘리먼트들을 가진 증강 현실 시스템들 및 방법들
US9922464B2 (en) * 2016-05-10 2018-03-20 Disney Enterprises, Inc. Occluded virtual image display
CN105974589B (zh) * 2016-06-24 2019-08-16 上海彼茨信息科技有限公司 一种头戴式护目镜的近眼式显示器
KR102246836B1 (ko) 2016-08-22 2021-04-29 매직 립, 인코포레이티드 가상, 증강, 및 혼합 현실 시스템들 및 방법들
US10274732B2 (en) 2016-11-04 2019-04-30 Microsoft Technology Licensing, Llc Hologram focus accommodation
US10746999B2 (en) 2016-12-28 2020-08-18 Magic Leap, Inc. Dual depth exit pupil expander
US20180188536A1 (en) * 2016-12-30 2018-07-05 Microsoft Technology Licensing, Llc Near eye display multi-component dimming system
US20180314066A1 (en) * 2017-04-28 2018-11-01 Microsoft Technology Licensing, Llc Generating dimming masks to enhance contrast between computer-generated images and a real-world view
IL300301B1 (en) 2017-06-12 2024-04-01 Magic Leap Inc Augmented reality display with multi-component adaptive lenses to change plane depths
KR20200110367A (ko) 2018-01-17 2020-09-23 매직 립, 인코포레이티드 디스플레이 시스템들에서의 눈 회전 중심 결정, 깊이 평면 선택, 및 렌더 카메라 포지셔닝
US10670808B1 (en) * 2018-01-22 2020-06-02 Facebook Technologies, Llc Systems and methods for altering an alignment of light from a light projector with a waveguide
US10643548B2 (en) * 2018-08-20 2020-05-05 Dell Products, L.P. Selective dimming of ambient lighting in virtual, augmented, and mixed reality (xR) applications
CN117238224A (zh) 2018-08-31 2023-12-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
EP3908876A4 (en) 2019-01-11 2022-03-09 Magic Leap, Inc. TIME MULTIPLEXED DISPLAY OF VIRTUAL CONTENT AT VARIOUS DEPTHS
WO2021002641A1 (en) 2019-07-04 2021-01-07 Samsung Electronics Co., Ltd. Electronic device and method for displaying augmented reality
KR20210004776A (ko) 2019-07-04 2021-01-13 삼성전자주식회사 증강 현실을 디스플레이하는 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08160340A (ja) * 1994-12-05 1996-06-21 Canon Inc 画像観察装置
WO2005124431A1 (ja) * 2004-06-18 2005-12-29 Pioneer Corporation 情報表示装置、ナビゲーション装置
US20170323615A1 (en) * 2016-05-05 2017-11-09 Ostendo Technologies, Inc. Methods and Apparatus for Active Transparency Modulation
WO2018119276A1 (en) * 2016-12-22 2018-06-28 Magic Leap, Inc. Systems and methods for manipulating light from ambient light sources

Also Published As

Publication number Publication date
US20200074724A1 (en) 2020-03-05
US11676333B2 (en) 2023-06-13
EP3844559B1 (en) 2023-09-27
US11170565B2 (en) 2021-11-09
WO2020047486A1 (en) 2020-03-05
CN112639579B (zh) 2023-09-15
EP3844559A4 (en) 2021-10-27
US20210350614A1 (en) 2021-11-11
US20230057556A1 (en) 2023-02-23
CN112639579A (zh) 2021-04-09
US20230267677A1 (en) 2023-08-24
CN117238224A (zh) 2023-12-15
EP3844559A1 (en) 2021-07-07
EP4276520A3 (en) 2024-01-24
US11461961B2 (en) 2022-10-04
EP4276520A2 (en) 2023-11-15

Similar Documents

Publication Publication Date Title
US11461961B2 (en) Spatially-resolved dynamic dimming for augmented reality device
JP7511070B2 (ja) 周囲光源からの光を操作するためのシステムおよび方法
CN110892363B (zh) 视频数据的基于注视方向的自适应预滤波
JP6730286B2 (ja) 拡張現実視野オブジェクトフォロワー
US10659771B2 (en) Non-planar computational displays
KR102090075B1 (ko) 머리-장착형 디스플레이에서의 메뉴 내비게이션
US11885973B2 (en) Ambient light management systems and methods for wearable devices
KR20180096434A (ko) 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
US11726318B2 (en) Increased depth of field for mixed-reality display
US20240134191A1 (en) Monovision display for wearable device
US11543655B1 (en) Rendering for multi-focus display systems
US11237413B1 (en) Multi-focal display based on polarization switches and geometric phase lenses

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220822

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231212

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240607

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20240613

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20240625