JP2023500177A - 奥行きのある物体を表示するシステム及び方法 - Google Patents

奥行きのある物体を表示するシステム及び方法 Download PDF

Info

Publication number
JP2023500177A
JP2023500177A JP2021563371A JP2021563371A JP2023500177A JP 2023500177 A JP2023500177 A JP 2023500177A JP 2021563371 A JP2021563371 A JP 2021563371A JP 2021563371 A JP2021563371 A JP 2021563371A JP 2023500177 A JP2023500177 A JP 2023500177A
Authority
JP
Japan
Prior art keywords
light signal
viewer
combiner
signal generator
coupler
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021563371A
Other languages
English (en)
Inventor
ジュンニン、ライ
フォンチュン、イエ
ゴシュエン、チェン
Original Assignee
ヒーズ アイピー ホールディングス エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヒーズ アイピー ホールディングス エルエルシー filed Critical ヒーズ アイピー ホールディングス エルエルシー
Publication of JP2023500177A publication Critical patent/JP2023500177A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

物体を表示するシステム及び方法を開示する。物体表示システムは、右光信号生成器と、左光信号生成器と、右結合器と、左結合器とを含む。右光信号生成器は、物体に関する多数の右光信号を生成する。右結合器は、多数の右光信号を受信し、閲覧者の一方の網膜に向けて転送し、物体の多数の右画素を表示する。左光信号生成器は、物体に関する多数の左光信号を生成する。左結合器は、多数の左光信号を受信し、閲覧者のもう一方の網膜に向けて転送し、物体の多数の左画素を表示する。更に、第1の転送右光信号及び対応する第1の転送左光信号は、閲覧者によって知覚され、第1の奥行きのある物体の第1の仮想両眼画素を表示し、第1の奥行きは、第1の転送右光信号と対応する第1の転送左光信号との間の第1の角度に関連する。【選択図】図1

Description

本開示は、一般に、奥行きのある物体を表示する方法及びシステムに関し、より詳細には、多数の右光信号及び左光信号を生成し、閲覧者の網膜にそれぞれ転送することによって物体を表示する方法及びシステムに関する。
立体技術を実装する従来の仮想現実(VR)及び拡張現実(AR)システムにおいて、3次元仮想画像は、異なる視野角を有する2つの視差画像を、閲覧者の目に近接する左表示パネル及び右表示パネルにそれぞれ同時に投射することによって生成される。2つの視差画像の間の視野角の差(視差画像)は、脳によって解釈され、奥行きの知覚として変換される一方で、閲覧者の目は、表示パネル上に実際に合焦(結像)しており、これにより、閲覧者が知覚した視差画像による奥行きとは異なる奥行きの知覚がある。また、物体に対する焦点調節が、奥行きの知覚に基づく目の輻輳と一致しない場合、輻輳調節矛盾(vergence-accommodation conflict、VAC)が生じる。VACにより、閲覧者は目まい又は頭痛を感じる。更に、視差画像を複合現実(MR)環境で使用すると、ユーザは、現実の物体及び仮想画像に同時に合焦することができない(「焦点の対立」)。更に、視差撮像技術を介して仮想画像の動きを表示すると、グラフィック・ハードウェアに多大な負担がかかる。
本開示の一目的は、空間内に奥行きのある物体を表示するシステム及び方法を提供することである。物体の奥行きは、閲覧者の両眼が結像する場所と同じであるため、輻輳調節矛盾(VAC)及び焦点の対立を回避することができる。物体表示システムは、右光信号生成器と、右結合器と、左光信号生成器と、左結合器とを有する。右光信号生成器は、物体に関する多数の右光信号を生成する。右結合器は、多数の右光信号を受信し、閲覧者の一方の網膜に向けて転送し、物体の多数の右画素を表示する。左光信号生成器は、物体に関する多数の左光信号を生成する。左結合器は、多数の左光信号を受信し、閲覧者のもう一方の網膜に向けて転送し、物体の多数の左画素を表示する。更に、第1の転送右光信号及び対応する第1の転送左光信号は、閲覧者によって知覚され、第1の奥行きのある物体の第1の仮想両眼画素を表示し、第1の奥行きは、第1の転送右光信号と対応する第1の転送左光信号との間の第1の角度に関連する。一実施形態では、第1の奥行きは、第1の転送右光信号の光路延長部と対応する第1の転送左光信号の光路延長部の間の第1の角度によって決定される。
物体は、物体の第1の仮想両眼画素に加えて、第2の転送右光信号及び対応する第2の転送左光信号が閲覧者によって知覚され、第2の奥行きのある物体の第2の仮想両眼画素を表示する際、多数の奥行きと共に知覚され、第2の奥行きは、第2の転送右光信号と対応する第2の転送左光信号との間の第2の角度に関連する。
更に、第1の転送右光信号は、対応する第1の転送左光信号の視差ではない。右目及び左目の両方は、3D画像の生成に従来使用される右目の視野角及び左目の視野角それぞれからの視差ではなく、同じ視野角から物体の画像を受け取る。
別の実施形態では、第1の転送右光信号及び対応する第1の転送左光信号は、閲覧者の両目の網膜とほぼ同じ高さに向けられる。
別の実施形態では、右光信号生成器から生成した多数の右光信号は、閲覧者の一方の網膜に入る前、一度だけ反射され、左光信号生成器から生成した多数の左光信号は、閲覧者のもう一方の網膜に入る前、一度だけ反射される。
一実施形態では、右結合器は、多数の右光信号を受信し、閲覧者の右の網膜に向けて転送し、物体の多数の右画素を表示し、左結合器は、多数の左光信号を受信し、閲覧者の左の網膜に向けて転送し、物体の多数の左画素を表示する。別の実施形態では、右結合器は、多数の左光信号を受信し、閲覧者の右の網膜に向けて転送し、物体の多数の右画素を表示し、左結合器は、多数の右光信号を受信し、閲覧者の左の網膜に向けて転送し、物体の多数の左画素を表示する。
拡張現実(AR)又は複合現実(MR)の適用例において、右結合器及び左結合器は、周囲光に対して透過性である。
また、AR及びMRの適用例において、物体表示システムは、閲覧者の頭部に装着可能な支持構造体を更に含む。右光信号生成器、左光信号生成器、右結合器及び左結合器は、支持構造体によって支持される。一実施形態では、システムは、頭部装着可能デバイス、特に、眼鏡である。この状況において、支持構造体は、眼鏡レンズ付き又は眼鏡レンズ無しのフレームとすることができる。レンズは、近視、遠視等の矯正のために使用される処方レンズであってもよい。
スマート・グラスの実施形態では、右光信号生成器は、右フレームのつるによって支持することができ、左光信号生成器は、左フレームのつるによって支持することができる。更に、右結合器は、右レンズによって支持することができ、左結合器は、左レンズによって支持することができる。支持は、様々な方法で実施することができる。結合器は、取外し可能手段又は非取外し可能手段のいずれかによって、レンズに取り付けるか又は組み込むことができる。更に、結合器は、処方レンズを含め、レンズと一体に作製することができる。
ニアアイ・ディスプレイは、通常、仮想画像を表示するのに閲覧者の目の極近傍に置かれるが、本発明は、ニアアイ・ディスプレイではなく、網膜走査を使用し、右光信号及び左光信号を閲覧者の網膜に投射するものである。
本開示の更なる特徴及び利点は、以下の説明で示され、部分的に説明から明らかになる、又は本開示の実行によって学習することができる。本開示の目的及び他の利点は、明細書及び特許請求の範囲並びに添付の図面で具体的に指摘する構成及び方法によって実現、達成される。上記の一般的な説明及び以下の詳細な説明は、例示的、説明的なものであり、請求する発明に対する更なる説明をもたらすことを意図することを理解されたい。
本発明による物体表示システムの一実施形態を示す概略図である。 本発明による仮想両眼画素と対応する右画素及び左画素の対との間の関係を示す概略図である。 本発明による光信号生成器から結合器までの光路、及び閲覧者の網膜までの光路を示す概略図である。 本発明による右光信号及び左光信号によって形成される仮想両眼画素を示す概略図である。 本発明による参照表の一実施形態を示す表である。 本発明による、様々な仮想両眼画素による物体の表示を示す概略図である。 本発明による、物体を表示する工程の一実施形態を示すフロー・チャートである。 本発明による、結合器に対する光信号生成器の位置を示す概略図である。 本発明による、光複製器を有する物体表示システムの一実施形態を示す概略図である。 本発明による物体表示システムの一実施形態を示す概略図である。 本発明による一体化結合器を示す概略図である。 本発明による、眼鏡によって支持される物体表示システムを示す概略図である。 本発明による視度ユニット及び結合器を示す概略図である。 本発明による移動物体の表示を示す概略図である。 本発明による移動物体の表示を示す概略図である。 本発明による移動物体の表示を示す概略図である。 本発明による移動物体の表示を示す概略図である。 本発明による移動物体の表示を示す概略図である。 本発明による移動物体の表示を示す概略図である。 本発明による移動物体の表示を示す概略図である。 本発明による移動物体の表示を示す概略図である。 本発明による移動物体の表示を示す概略図である。
以下で提示する説明で使用する用語は、本技術のある特定の実施形態に対する詳細な説明と共に用語を使用するが、最も広範囲な妥当な様式で解釈することを意図する。特定の用語は、以下で強調することさえあるが、制限的に解釈されることが意図されるあらゆる用語は、具体的に、本項の発明を実施するための形態でそのようなものとして定義される。
本発明は、空間内に奥行きのある物体を表示するシステム及び方法に関する。物体の奥行きは、閲覧者の両眼が結像する場所と同じであるため、輻輳調節矛盾(VAC)及び焦点の対立を回避することができる。説明する実施形態は、閲覧者の空間内に奥行きのある物体を表示する、1つ又は複数の方法、システム、装置、及びプロセッサ実行可能プロセス・ステップを保存するコンピュータ可読媒体に関する。
物体表示システムは、右光信号生成器と、右結合器と、左光信号生成器と、左結合器とを有する。右光信号生成器は、物体に関する多数の右光信号を生成する。右結合器は、多数の右光信号を受信し、閲覧者の一方の網膜に向けて転送し、物体の多数の右画素を表示する。左光信号生成器は、物体に関する多数の左光信号を生成する。左結合器は、多数の左光信号を受信し、閲覧者のもう一方の網膜に向けて転送し、物体の多数の左画素を表示する。更に、第1の転送右光信号及び対応する第1の転送左光信号は、閲覧者によって知覚され、第1の奥行きのある物体の第1の仮想両眼画素を表示し、第1の奥行きは、第1の転送右光信号と対応する第1の転送左光信号との間の第1の角度に関連する。一実施形態では、第1の奥行きは、第1の転送右光信号の光路延長部と対応する第1の転送左光信号の光路延長部との間の第1の角度によって決定される。
物体は、物体の第1の仮想両眼画素に加えて、第2の転送右光信号及び対応する第2の転送左光信号が、閲覧者によって知覚され、第2の奥行きのある物体の第2の仮想両眼画素を表示する際、多数の奥行きと共に知覚され、第2の奥行きは、第2の転送右光信号と対応する第2の転送左光信号との間の第2の角度に関連する。
更に、第1の転送右光信号は、対応する第1の転送左光信号の視差ではない。右目及び左目の両方は、3D画像の生成に従来使用される右目の視野角及び左目の視野角それぞれからの視差ではなく、同じ視野角から物体の画像を受け取る。
別の実施形態では、第1の転送右光信号及び対応する第1の転送左光信号は、閲覧者の両目の網膜とほぼ同じ高さに向けられる。
別の実施形態では、右光信号生成器から生成した多数の右光信号は、閲覧者の一方の網膜に入る前、一度だけ反射され、左光信号生成器から生成した多数の左光信号は、閲覧者のもう一方の網膜に入る前、一度だけ反射される。
一実施形態では、右結合器は、多数の右光信号を受信し、閲覧者の右の網膜に向けて転送し、物体の多数の右画素を表示し、左結合器は、多数の左光信号を受信し、閲覧者の左の網膜に向けて転送し、物体の多数の左画素を表示する。別の実施形態では、右結合器は、多数の左光信号を受信し、閲覧者の右の網膜に向けて転送し、物体の多数の右画素を表示し、左結合器は、多数の右光信号を受信し、閲覧者の左の網膜に向けて転送し、物体の多数の左画素を表示する。
拡張現実(AR)又は複合現実(MR)の適用例において、右結合器及び左結合器は、周囲光に対して透過性である。
また、AR及びMRの適用例において、物体表示システムは、閲覧者の頭部に装着可能な支持構造体を更に含む。右光信号生成器、左光信号生成器、右結合器及び左結合器は、支持構造体によって支持される。一実施形態では、システムは、頭部装着可能デバイス、特に、眼鏡である。この状況において、支持構造体は、眼鏡レンズ付き又は眼鏡レンズ無しのフレームとすることができる。レンズは、近視、遠視等の矯正のために使用される処方レンズであってもよい。
スマート・グラスの実施形態では、右光信号生成器は、右フレームのつるによって支持することができ、左光信号生成器は、左フレームのつるによって支持することができる。更に、右結合器は、右レンズによって支持することができ、左結合器は、左レンズによって支持することができる。支持は、様々な方法で実施することができる。結合器は、取外し可能手段又は非取外し可能手段のいずれかによって、レンズに取り付けるか又は組み込むことができる。更に、結合器は、処方レンズを含め、レンズと一体に作製することができる。
図1に示すように、物体表示システムは、RLS_1のための12、RLS_1のための14及びRLS_3のための16等の多数の右光信号を生成する右光信号生成器10と、多数の右光信号を受信し、閲覧者の右網膜54に向けて転送する右結合器20と、LLS_1のための32、LLS_2のための34及びLLS_3のための36等の多数の左光信号を生成する左光信号生成器30と、多数の左光信号を受信し、閲覧者の左網膜64に向けて転送する左結合器40とを含む。
閲覧者は、右瞳孔52及び右網膜54を収容する右目50と、左瞳孔62及び左網膜64を収容する左目60とを有する。人間の瞳孔の直径は、概して、環境光に応じて、部分的に2から8mmまでの範囲であり得る。大人の通常の瞳孔サイズは、明るい光では2から4mmの直径で変動し、暗闇では4から8mmの直径で変動する。多数の右光信号は、右結合器20によって転送され、右瞳孔52を通過し、最終的に、右網膜54によって受けられる。右光信号RLS_1は、閲覧者の右目が特定の水平面上で見ることができる、右に最も遠い光信号である。
右光信号RLS_2は、閲覧者の右目が同じ水平面上で見ることができる、左に最も遠い光信号である。閲覧者は、転送右光信号を受信すると、転送右光信号RLS_1及びRLS_2の延長部によって境界が示される領域A内の物体の多数の右画素を知覚する。領域Aを右目50の視界(FOV)と呼ぶ。同様に、多数の左光信号は、左結合器40によって転送され、左瞳孔62の中心を通過し、最終的に、左網膜64によって受けられる。
左光信号LLS_1は、閲覧者の左目が特定の水平面上で見ることができる、右に最も遠い光信号である。左光信号LLS_2は、閲覧者の左目が同じ水平面上で見ることができる、左に最も遠い光信号である。閲覧者は、転送左光信号を受信すると、転送左光信号LLS_1及びLLS_2の延長部によって境界が示される領域B内の物体の多数の左画素を知覚する。領域Bを左目60の視界(FOV)と呼ぶ。多数の右画素及び左画素の両方が、領域A及び領域Bが重なる領域C内に表示されると、1つの右画素を表示する少なくとも1つの右光信号、及び1つの左画素を表示する、対応する左光信号は融合し、特定の奥行きのある仮想両眼画素を領域C内に表示する。奥行きは、転送右光信号及び転送左光信号の角度に関連する。そのような角度を収束角とも呼ぶ。
図1及び図2に示すように、閲覧者は、閲覧者の前の領域Cにおいて、多数の奥行きのある恐竜物体70の仮想画像を知覚する。恐竜物体70の画像は、第1の奥行きD1で表示される第1の仮想両眼画素72、及び第2の奥行きD2で表示される第2の仮想両眼画素74を含む。第1の転送右光信号16’と対応する第1の転送左光信号26’との間の第1の角度は、θ1である。第1の奥行きD1は、第1の角度θ1に関連する。特に、物体の第1の仮想両眼画素の第1の奥行きは、第1の転送右光信号の光路延長部と対応する第1の転送左光信号の光路延長部との間の第1の角度θ1によって決定することができる。したがって、第1の仮想両眼画素72の第1の奥行きD1は、以下の式によって概算的に計算することができる。
Figure 2023500177000002
右瞳孔52と左瞳孔62との間の距離は、瞳孔間距離(IPD)である。同様に、第2の転送右光信号18と対応する第2の転送左光信号28との間の第2の角度は、θ2である。第2の奥行きD1は、第2の角度θ2に関連する。特に、物体の第2の仮想両眼画素の第2の奥行きD2は、同じ式によって、第2の転送右光信号の光路延長部と対応する第2の転送左光信号の光路延長部との間の第2の角度θ2によって概算的に決定することができる。第2の仮想両眼画素74は、第1の仮想両眼画素72よりも閲覧者から遠くに離れている(即ち、より大きな奥行きのある)ように閲覧者によって知覚されるため、第2の角度θ2は、第1の角度θ1よりも小さい。
更に、RLG_2のための転送右光信号16’、及びLLS_2のための対応する転送左光信号26’は、第1の奥行きD1がある第1の仮想両眼画素72を一緒に表示するにもかかわらず、RLG_2のための転送右光信号16’は、LLS_2のための対応する転送左光信号26’の視差ではない。従来、右目が受ける画像と左目が受ける画像との間の視差は、閲覧者が奥行きのある3D画像を知覚するために使用される。というのは、右目は、左目の視野角とは異なる視野角から同じ物体を見るためである。しかし、本発明では、仮想両眼画素のための右光信号及び対応する左光信号は、同じ視野角の画像を表示する。したがって、右光信号及び左光信号の赤青緑(RBG)色の強度及び/又は輝度は、ほぼ同じである。言い換えれば、右画素及び対応する左画素は、ほぼ同じである。しかし、別の実施形態では、右光信号及び左光信号の一方又は両方は、影等のいくつかの3D効果を呈するように修正することができる。概して、本発明では、右目及び左目の両方は、3D画像の生成に従来使用される右目の視野角及び左目の視野角それぞれからの視差ではなく、同じ視野角から物体の画像を受け取る。
上記のように、多数の右光信号は、右光信号生成器によって生成され、右結合器によって転送され、次に、右網膜上に直接走査され、右網膜画像を右網膜上に形成する。同様に、多数の左光信号は、左光信号生成器によって生成され、左結合器によって転送され、次に、左網膜上に走査され、左網膜画像を左網膜上に形成する。図2に示す実施形態では、右網膜画像80は、6×6アレイ内に36個の右画素を含み、左網膜画像90も、6×6アレイ内に36個の左画素を含む。別の実施形態では、右網膜画像80は、1280×720アレイ内に921,600個の右画素を含み、左網膜画像90も、1280×720アレイ内に921,600個の左画素を含む。物体表示システムは、多数の右光信号及び対応する多数の左光信号を生成するように構成され、多数の右光信号及び対応する多数の左光信号はそれぞれ、右網膜上に右網膜画像、及び左網膜上に左網膜画像を形成する。したがって、閲覧者は、画像融合のために、領域C内に特定の奥行きのある仮想両眼物体を知覚する。
図2を参照する。右光信号生成器10からの第1の右光信号16は、右結合器20によって受信、反射される。第1の転送右光信号16’は、右瞳孔52を通じて、閲覧者の右網膜に到達し、右画素R34を表示する。左光信号生成器30からの対応する左光信号26は、左結合器20によって受信、反射される。第1の転送左光信号26’は、左瞳孔62を通じて、閲覧者の左網膜に到達し、左網膜画素L33を表示する。画像融合の結果として、閲覧者は、多数の奥行きのある仮想両眼物体を知覚し、奥行きは、同じ物体に対する多数の転送右光信号及び対応する多数の転送左光信号の角度によって決定される。転送右光信号と対応する左光信号との間の角度は、右画素及び左画素の相対的な水平距離によって決定される。したがって、仮想両眼画素の奥行きは、仮想両眼画素を形成する右画素と対応する左画素との間の相対的な水平距離に逆相関する。言い換えれば、仮想両眼画素が閲覧者によってより奥行きのあるように知覚されるほど、そのような仮想両眼画素を形成する右画素と左画素との間のX軸における相対的な水平距離は、より小さい。
例えば、図2に示すように、第2の仮想両眼画素74は、第1の仮想両眼画素72よりも大きな奥行きのある(即ち、閲覧者からより遠く離れている)ように閲覧者によって知覚される。したがって、第2の右画素と第2の左画素との間の水平距離は、網膜画像上では、第1の右画素と第1の左画素との間の水平距離よりも小さい。具体的には、第2の仮想両眼画素を形成する第2の右画素R41と第2の左画素L51との間の水平距離は、4画素長である。しかし、第1の仮想両眼画素を形成する第1の右画素R43と第1の左画素L33との間の距離は、6画素長である。
図3に示す一実施形態では、光信号生成器から網膜までの多数の右光信号及び多数の左光信号の光路を示す。右光生成器から生成した多数の右光信号は、右結合器20上に投射され、右結合器画像(RCI)82を形成する。これら多数の右光信号は、右結合器20によって転送され、小さな右瞳孔画像(RPI)84に収束し、右瞳孔52を通過し、次に、最終的に右網膜54に到達し、右網膜画像(RRI)86を形成する。RCI、RPI及びRRIのそれぞれは、i×j画素を含む。各右光信号RLS(i,j)は、RCI(i,j)からRPI(i,j)まで同じ対応する画素を通って進行し、次に、RRI(x,y)に至る。例えば、RLS(5,3)は、RCI(5,3)からRPI(5,3)まで進行し、次に、RRI(2,4)に至る。同様に、左光生成器30から生成した多数の左光信号は、左結合器40上に投射され、左結合器画像(RCI)92を形成する。これら多数の左光信号は、左結合器40によって転送され、小さな左瞳孔画像(RPI)94に収束し、左瞳孔62を通過し、次に、最終的に左網膜64に到達し、右網膜画像(LRI)96を形成する。LCI、LPI及びLRIのそれぞれは、i×j画素を含む。各左光信号LLS(i,j)は、LCI(i,j)からLPI(i,j)まで同じ対応する画素を通って進行し、次に、LRI(x,y)に至る。例えば、LLS(3,1)は、LCI(3,1)からLPI(3,1)まで進行し、次に、LRI(4,6)に至る。(0,0)画素は、各画像の上部最左画素である。
網膜画像内の画素は、結合器画像内の対応する画素に対して左右反転、上下反転する。光信号生成器及び結合器の相対的な位置及び角度の適切な構成に基づき、各光信号は、光信号生成器から網膜まで各自の光路を有する。右網膜上に1つの右画素を表示する1つの右光信号と、左網膜上に1つの左画素を表示する1つの対応する左光信号との組合せにより、閲覧者によって知覚される特定の奥行きのある仮想両眼画素を形成する。したがって、空間内の仮想両眼画素は、右画素及び左画素の対、又は右結合器画素及び左結合器画素の対によって表すことができる。
領域C内で閲覧者が知覚する仮想物体は、多数の仮想両眼画素を含む。仮想両眼画素の場所を空間内で正確に記述するため、空間内の各場所に3次元(3D)座標、例えば、XYZ座標を与える。他の3D座標系を別の実施形態で使用することができる。したがって、各仮想両眼画素は、3D座標-水平方向、垂直方向及び奥行き方向を有する。水平方向(又はX軸方向)は、瞳孔間線方向に沿う。垂直方向(又はY軸方向)は、顔の中線に沿い、水平方向に直交する。奥行き方向(又はZ軸方向)は、前額面に垂直であり、水平方向及び垂直方向の両方に直交する。
図4は、右結合器画像内の画素と、左結合器画像内の画素と、仮想両眼画素との間の関係を示す。上記のように、右結合器画像内の画素は、右網膜画像内の画素(右画素)と1対1で対応する。左結合器画像内の画素は、左網膜画像内の画素(左画素)と1対1で対応する。しかし、網膜画像内の画素は、結合器画像内の対応する画素に対して左右反転、上下反転する。全ての光信号が閲覧者の両眼のFOV内にあると仮定すると、36(6×6)個の右画素を含む右網膜画像及び36(6×6)個の右画素を含む左網膜画像の場合、領域Cには、(点で示される)216(6×6×6)個の仮想両眼画素がある。
1つの転送右光信号の光路延長部は、画像の同じ列上で各転送左光信号の光路延長部に交差する。同様に、1つの転送左光信号の光路延長部は、画像の同じ列上で各転送右光信号の光路延長部に交差する。したがって、36(6×6)個の仮想両眼画素が1つの層上にあり、空間内に6つの層がある。図4では平行な線として示されるが、通常、仮想両眼画素に交差し、仮想両眼画素を形成する光路延長部を表す2つの隣接し合う線の間に、わずかな角度がある。ほぼ同じ高さの各網膜(即ち、同じ列の右網膜画像及び左網膜画像)における右画素及び対応する左画素は、より早く融合する傾向がある。したがって、右画素は、同じ列の網膜画像で左画素と対になり、仮想両眼画素を形成する。
図5に示すように、参照表を生成し、各仮想両眼画素に対する右画素及び左画素の対の識別を容易にする。例えば、1から216まで番号を付けた216個の仮想両眼画素は、36(6×6)個の右画素及び36(6×6)個の左画素によって形成される。1番目(第1)の仮想両眼画素VBP(1)は、右画素RRI(1,1)及び左画素LRI(1,1)の対を表す。2番目(第2)の仮想両眼画素VBP(2)は、右画素RRI(2,1)及び左画素LRI(1,1)の対を表す。7番目(第7)の仮想両眼画素VBP(7)は、右画素RRI(1,1)及び左画素LRI(2,1)の対を表す。37番目(第37)の仮想両眼画素VBP(37)は、右画素RRI(1,2)及び左画素LRI(1,2)の対を表す。216番目(第216)の仮想両眼画素VBP(216)は、右画素RRI(6,6)及び左画素LRI(6,6)の対を表す。したがって、物体の特定の仮想両眼画素を閲覧者の空間内に表示するため、どの右画素及び左画素の対を使用して、対応する右光信号及び左光信号を生成し得るかが決定される。更に、参照表上の各列の仮想両眼画素は、ポインタを含み、ポインタは、VBPの知覚される奥行き(z)及びVBPの知覚される位置(x,y)を保存するメモリ・アドレスに導く。
サイズ規模、重複物体の数、及び奥行き順序等、更なる情報をVBPのために保存することもできる。サイズ規模は、標準VBPと比較した特定のVBPの相対的サイズ情報とすることができる。例えば、サイズ規模は、閲覧者の前に1mという標準VBPで物体を表示する際、1に設定することができる。したがって、サイズ規模は、閲覧者の前に90cmという特定VBPで表示する場合、1.2に設定することができる。同様に、サイズ規模は、閲覧者の前に1.5mという特定VBPで表示する場合、0.8に設定することができる。サイズ規模は、物体が第1の奥行きから第2の奥行きまで移動する場合、表示物体のサイズを決定するために使用することができる。重複物体の数は、一方の物体が完全又は部分的にもう一方の物体の背後に隠れているような互いに重複する物体の数である。奥行き順序は、様々な重複物体の奥行きの順序についての情報をもたらす。例えば、3つの物体が互いに重複している。前にある第1の物体の奥行き順序を1と設定することができ、第1の物体の背後に隠れている第2の物体の奥行き順序を2と設定することができる。様々な重複物体が移動している際、重複物体の数及び奥行き順序を使用し、物体のどの、何の部分を表示する必要があるかを決定することができる。
図6に示すように、閲覧者の目の網膜上に所定の右画素及び左画素を投射することによって、多数の奥行きのある恐竜等の仮想物体を閲覧者の領域C内に表示することができる。一実施形態では、物体の場所は、基準点によって決定され、物体の視野角は、回転角度によって決定される。
図7に示すように、ステップ710において、基準点と共に物体画像を生成する。一実施形態では、物体画像は、2D又は3Dモデル化によって生成することができる。基準点は、物体の重心とすることができる。720において、基準点に対する仮想両眼画素を決定する。基準点の3D座標を用いて、設計者は、例えば、ソフトウェアGUIを介して、最も近い仮想両眼画素をVBP(145)等の番号によって直接決定することができる。ステップ730において、仮想両眼画素に対応する右画素及び左画素の対を識別する。次に、設計者は、参照表を使用し、対応する右画素及び左画素の対を識別することができる。設計者は、基準点が閲覧者の両目の中間の前にあると仮定して、基準点の所定の奥行きを使用し、収束角を計算し、次に、対応する右画素及び左画素を識別することもできる。設計者は、XY平面上の基準点を所定のX及びY座標に移動させ、次に、最終的に対応する右画素及び左画素を識別することができる。ステップ740において、右光信号及び対応する左光信号を投射し、基準に対する右画素及び対応する左画素をそれぞれ表示する。基準点に対し、仮想両眼画素に対応する右画素及び左画素の対を決定した後、2D又は3Dモデル化情報を使用して全仮想物体を表示することができる。
参照表は、以下の工程によって生成することができる。第1のステップにおいて、開始又は較正中にシステムによって生成した設計者のIPDに基づき、個々の仮想マップを得る。これにより、右網膜画像と左網膜画像との融合のために、閲覧者が奥行きのある物体を知覚することができる領域Cの境界を指定する。第2のステップにおいて、Z軸方向における各奥行き(Z座標における各点)に関し、収束角を計算し、X座標及びY座標の場所とは無関係に、右網膜画像及び左網膜画像上の右画素及び左画素の対をそれぞれ識別する。第3のステップにおいて、X軸方向に沿って右画素及び左画素の対を移動させ、Y座標の場所とは無関係に、特定の奥行きで右画素及び左画素の各対のX座標及びZ座標を識別する。第4のステップにおいて、Y軸方向に沿って右画素及び左画素の対を移動させ、右画素及び左画素の各対のY座標を決定する。
したがって、右網膜画像及び左網膜画像上の右画素及び左画素の各対のXYZ等の3D座標系をそれぞれ決定し、参照表を生成することができる。更に、第3のステップ及び第4のステップは交換可能である。
別の実施形態では、設計者は、全ての必要な仮想両眼画素のそれぞれを決定し、仮想物体を形成し、次に、参照表を使用し、それぞれ対応する右画素及び左画素の対を識別することができる。次に、右光信号及び左光信号を相応に生成することができる。右網膜画像及び左網膜画像は、同じ視野角のものである。視差は3D画像を示すのには使用されない。したがって、かなり複雑で時間のかかるグラフィックス計算を回避することができる。右網膜画像及び左網膜画像上の物体の相対的な場所は、閲覧者が知覚する奥行きを決定する。
光信号生成器10及び20は、レーザー、ミニLED及びマイクロLEDを含む発光ダイオード(「LED」)、有機発光ダイオード(「OLED」)、又は高輝度発光ダイオード(「SLD」)、LCoS(Liquid Crystal on Silicon)、液晶表示器(「LCD」)、又はそれらのあらゆる組合せを光源として使用することができる。一実施形態では、光信号生成器10及び20は、レーザー・ビーム走査投射器(LBS投射器)であり、赤色光レーザー、緑色光レーザー及び青色光レーザーを含む光源と、二色結合器及び偏光結合器等の光色修正器と、2D電気機械システム(「MEMS」)ミラー等の2次元(2D)調節可能反射器を備えることができる。
2D調整可能反射器は、2つの1D MEMSミラー等の2つの1次元(1D)反射器に置き換えることができる。LBS投射器は、光信号を1つずつ連続的に生成、走査し、所定の解像度、例えば、1フレームにつき1280×720画素で2D画像を形成する。したがって、1画素に対して1つの光信号が生成され、結合器20及び40に向けて1回投射される。閲覧者がそのような2D画像を一方の目から見る場合、LBS投射器は、視覚の持続期間以内、例えば、1/18秒以内で光信号、例えば1280×720個の光信号を各画素に対して連続的に生成する必要がある。したがって、各光信号の持続時間は、約60.28ナノ秒である。
別の実施形態では、光信号生成器10及び30は、2D色画像を一度に生成し得るデジタル光処理投射器(「DLP投射器」)とすることができる。Texas InstrumentのDLP技術は、DLP投射器の製造に使用し得るいくつかの技術の1つである。例えば1280×720画素を含み得る全2D色画像フレームは、結合器20及び40に向けて同時に投射される。
結合器20、40は、光信号生成器10、20によって生成した多数の光信号を受信し、転送する。一実施形態では、結合器20、40は、転送した光信号が入射光信号と結合器20、40の同じ側にあるように、多数の光信号を反射する。別の実施形態では、結合器20、40は、転送した光信号が入射光信号とは結合器20、40の異なる側にあるように、多数の光信号を屈折させる。
結合器20、40が屈折器として機能する場合、反射比は、一部は光信号生成器の出力に応じて、20%~80%等、広く変動させることができる。当業者は、光信号生成器及び結合器の特性に基づく適切な反射比の決定の仕方が分かる。その上、一実施形態では、結合器20、40は、入射光信号の反対側からの周囲(環境)光に対して光学的に透過性である。透過度は、用途に応じて広く変動させることができる。一実施形態では、AR/MR用途の場合、透過度は、約75%等、50%超であることが好ましい。結合器20、40は、光信号を転送することに加えて、結合器画像を形成する多数の光信号を収束することができ、結合器画像が閲覧者の両目の瞳孔を通過し、網膜に到達し得るようにする。
結合器20、40は、金属等の特定の材料で被覆したガラス又はプラスチック材料状のレンズから作製し、部分的に透過性で、部分的に反射性にすることができる。閲覧者の両目に光信号を転送するのに従来技術の導波路ではなく反射結合器を使用する1つの利点は、多数の影、色ずれ等、望ましくない回折効果に関する問題をなくすことである。結合器20、40は、ホログラフィ結合器であってもよいが、回折効果が多数の影及びRGBずれを引き起こすことがあるため、好ましいものではない。いくつかの実施形態では、ホログラフィ結合器の使用を回避したい場合がある。
一実施形態では、結合器20、40は、楕円体面を有するように構成される。更に、光信号生成器及び閲覧者の目はそれぞれ、楕円体の両焦点上に配置される。図8に示すように、右結合器が楕円体面を有する場合、右光信号生成器は、右焦点に配置され、閲覧者の右目は、楕円体の左焦点に配置される。同様に、左結合器が楕円体面を有する場合、左光信号生成器は、左焦点に配置され、閲覧者の左目は、楕円体の右焦点に配置される。
楕円体の形状特性のために、一方の焦点から楕円体面に投射される全ての光線は、もう一方の焦点に反射される。この場合、光信号生成器から楕円体形状結合器の表面に投射される全ての光線は、閲覧者の目に反射される。したがって、本実施形態では、FOVは、楕円体面が許容するのと同じ大きさで最大まで拡張することができる。別の実施形態では、結合器10、20は、ホログラフィ膜が楕円体と同様に光を反射するように設計された平坦面を有することができる。
物体表示システムは、右コリメータと左コリメータとを更に含み、多数の光信号の光線を細くする、例えば、特定の方向で運動方向をより整合させる、又は光線の空間断面をより小さくすることができる。右コリメータは、右光信号生成器と右結合器との間に配置することができ、左コリメータは、左光信号生成器と左結合器との間に配置することができる。コリメータは、湾曲ミラー又はレンズとすることができる。
図9に示すように、物体表示システムは、右光複製器と左光複製器とを更に含むことができる。光複製器は、入射光信号を複製するように、光信号生成器10、30と結合器20、40との間に配置することができる。したがって、光複製器は、多数の実体の入射光信号を生成し、閲覧者のアイ・ボックスを広げることができる。光複製器は、ビーム・スプリッタ、偏光スプリッタ、半透鏡、部分反射鏡、ダイクロイック・ミラー・プリズム、ダイクロイック・コーティング又は誘電性光学コーティングとすることができる。光複製器120は、入射光信号を少なくとも2つの実体に複製する少なくとも2つの光学構成要素を備えることができる。光学構成要素のそれぞれは、1つのレンズ、反射器、部分反射器、プリズム、ミラー、又は上述の組合せとすることができる。
物体表示システムは、右光信号生成器及び左光信号生成器を制御する全ての必要な回路を有する制御ユニットを更に含むことができる。制御ユニットは、電子信号を光信号生成器に提供し、多数の光信号を生成する。一実施形態では、右光信号生成器及び左光信号生成器の位置及び角度は、右光信号及び左光信号の入射角、並びに右結合器及び左結合器の受信場所を修正するように調節することができる。そのような調節は、制御ユニットによって実施することができる。
制御ユニットは、有線又はワイヤレス手段を介して個別の画像信号供給器と通信することができる。ワイヤレス通信は、4G及び5G、WiFi(登録商標)、Bluetooth(登録商標)、短距離通信並びにインターネット等の通信を含む。制御ユニットは、プロセッサと、メモリと、I/Oインターフェースとを含み、画像信号供給器及び閲覧者と通信することができる。物体表示システムは、電源を更に備える。電源は、電池及び/又はワイヤレス充電し得る構成要素とすることができる。
光信号生成器から閲覧者の網膜までの光路を配置するのに、少なくとも2つの選択肢がある。上記第1の選択肢は、右光信号生成器によって生成された右光信号を、右結合器によって転送し、右網膜に到達させ、左光信号生成器によって生成された左光信号を、左結合器によって転送し、左網膜に到達させることである。図10に示すように、第2の選択肢は、右光信号生成器によって生成された右光信号を、左結合器によって転送し、左網膜に到達させ、左光信号生成器によって生成された左光信号を、右結合器によって転送し、右網膜に到達させることである。
図11に示す別の実施形態では、右結合器及び左結合器は、右光信号及び左光信号の両方に対して特定の曲率を有する1つの一体化結合器に統合することができる。この大型結合器を用いると、右信号生成器によって生成された右光信号は、反射され、左網膜に到達し、左光信号生成器によって生成された左光信号は、反射され、右網膜に到達する。結合器の幅を拡張し、比較的大きな反射面を生成することによって、FOV及び両眼融合領域Cのサイズを拡大することができる。
物体表示システムは、閲覧者の頭部に装着可能な支持構造体を含み、右光信号生成器、左光信号生成器、右結合器及び左結合器を支持することができる。右結合器及び左結合器は、閲覧者の視界内に配置される。したがって、本実施形態では、物体表示システムは、頭部装着可能デバイス(HWD)である。
特に、図12に示すように、物体表示システムは、スマート・グラスと呼ぶ眼鏡によって支持される。この状況において、支持構造体は、レンズ付き又はレンズ無しの眼鏡フレームとすることができる。レンズは、近視、遠視等の矯正に使用される処方レンズとすることができる。右光信号生成器は、右フレームのつるによって支持される。左光信号生成器は、左フレームのつるによって支持される。右結合器は、右レンズによって支持することができ、左結合器は、左レンズによって支持することができる。支持は、様々な方法で実施することができる。結合器は、取外し可能手段又は非取外し可能手段のいずれかによって、レンズに取り付けるか又は組み込むことができる。結合器は、処方レンズを含め、レンズと一体に作製することができる。支持構造体がレンズを含まない場合、右結合器及び左結合器は、フレーム又は縁によって直接支持することができる。
上記物体表示システムの実施形態における全ての構成要素及び変形形態は、HWDに適用することができる。したがって、スマート・グラスを含むHWDは、制御ユニット、右コリメータ及び左コリメータ等、物体表示システムの他の構成要素を更に支持することができる。右コリメータは、右光信号生成器と右結合器との間に配置することができ、左コリメータは、左光信号生成器と左結合器との間に配置することができる。更に、結合器は、ビーム・スプリッタ及び収束レンズによって置き換えることができる。ビーム・スプリッタの機能は、光信号を反射することであり、収束レンズの機能は、光信号を収束し、光信号が閲覧者の瞳孔を通過し、網膜に到達できるようにすることである。
物体表示システムは、スマート・アイグラス上に実装される。スマート・アイグラスのレンズは、閲覧者の視力を矯正する視度特性及び結合器の機能の両方を有することができる。スマート・アイグラスは、視力を矯正するように、近視又は遠視といった個人のニーズに合うように処方度のレンズを有することができる。これらの状況において、スマート・アイグラスのレンズのそれぞれは、視度ユニットと結合器とを備えることができる。視度ユニット及び結合器は、同じ又は異なる種類の材料を有する1つの部品として一体に製造することができる。
視度ユニット及び結合器は、2つの部品として個別に製造し、次に、一緒に組み立てることもできる。これら2つの部品は、互いに取り付けることができるが、例えば、埋込み磁性材料により分離可能であっても、互いに永続的に取り付けてもよい。いずれかの状況において、結合器は、閲覧者の目に近いレンズの側に設けられる。レンズが1つの部品である場合、結合器は、レンズの内側面を形成する。レンズが2つの部分を有する場合、結合器は、レンズの内側部分を形成する。結合器は、周辺光が通過し、光信号生成器が生成した光信号を閲覧者の目に反射し、仮想画像を現実の環境内に形成することを可能にする。結合器は、光信号生成器からの全ての光信号を反射し、目の瞳孔に収束し、次に、網膜に到達させるのに適切な曲率を有するように設計されている。
いくつかの実施形態では、視度ユニットの表面の一方の曲率は、閲覧者の視度の処方に基づいて決定される。レンズが1つの部品である場合、処方曲率は、レンズの外側面である。レンズが2つの部分を有する場合、視度ユニットは、レンズの外側部分を形成する。この状況において、処方曲率は、視度ユニットの内側面であっても、外側面であってもよい。視度ユニット及び結合器をより良好に一致させるため、一実施形態では、視度ユニットは、処方度、即ち、+3.00超(遠視)、-3.0~+3.0の間、及び-3.0未満(近視)に基づき、3つの群にカテゴリ化することができる。結合器は、視度ユニットのカテゴリに従って設計することができる。別の実施形態では、視度ユニットは、それぞれがより小さな範囲の処方度を有する5又は10の群にカテゴリ化することができる。
図13に示すように、視度ユニットの外側面を使用して処方度に対する曲率をもたらす場合、視度ユニットの内側面は、結合器の外側面と同じ曲率を有するように設計することができる。したがって、視度ユニットは、結合器により良好に適合させることができる。一例として、視度ユニットの内側面及び結合器の外側面は、同じ球形又は楕円体面とすることができる。他の実施形態では、視度ユニットの内側面を使用して処方度に対する曲率をもたらす場合、結合器の外側面は、視度ユニットの内側面と同じ又は同様の曲率を有するように設計し、これら2つの間の結合を容易にすることができる。しかし、結合器の外側面が視度ユニットの内側面と同じ曲率を有さない場合、結合器の外側面及び視度ユニットの内側面は、磁石、接着材料、又は他の結合構造体等の機械的手段を介して結合することができる。別の選択肢は、中間材料を適用し、視度ユニット及び結合器を組み立て得ることである。代替的に、結合器は、レンズの内側面上に被覆することができる。
空間の画像フレーム内の静止仮想物体に加えて、物体表示システムは、移動状態の物体を表示することができる。右光信号生成器10及び左光信号生成器30が、光信号を高速、例えば、30、60又はより多くのフレーム/秒で生成することができる場合、閲覧者は、視界が持続するために、映像内を滑らかに移動する状態で物体を見ることができる。閲覧者に移動仮想物体を表示する工程の様々な実施形態を以下で説明する。
図14A~図14Iは、例1~例9における移動物体をそれぞれ示す。これらの図において、右結合器画像82及び左結合器画像92内に示す物体は、物体を表示する、対応する右光信号及び左光信号の場所を正確に反映するものではない場合がある。更に、例は、XYZ座標系の起点として閲覧者の瞳孔間線の中間点を設定する。更に、RCI(10,10)及びLCI(10,10)は、右結合器画像及び左結合器画像の中心であるようにそれぞれ設定される。同様に、RRI(10,10)及びLRI(10,10)は、右網膜画像及び左網膜画像の中心であるようにそれぞれ設定される。(0,0)画素は、各画像の上部最左画素である。
図14Aに示す例1は、第1の仮想両眼画素から第2の仮想両眼画素まで同じ奥行き平面内でX軸方向でのみ(右に)移動する仮想物体を示す。このため、右結合器画像及び左結合器画像上のそれぞれの右光信号及び対応する左光信号の場所をX軸方向で等しい距離(画素)で(右に)移動させる必要がある。したがって、仮想物体を形成する右網膜画像及び左網膜画像上のそれぞれの右光信号及び対応する左光信号の場所は、X軸方向で等しい距離で左に移動する。言い換えれば、光信号生成器からのそのような右光信号及び対応する左光信号は、結合器画像の異なるX座標の場所上に投射させる必要がある。しかし、仮想物体のY座標及びZ座標(奥行き方向)は依然として同じままであるため、右光信号及び対応する左光信号は、Y座標及びZ座標に対しては、結合器画像の同じ場所に投射される。
例えば、仮想物体のXYZ座標が(0,0,100)から(10,0,100)まで移動する場合、右結合器画像上の右光信号は、RCI(10,10)からRCI(12,10)まで移動し、左結合器画像上の左光信号は、LCI(10,10)からLCI(12,10)まで移動する。したがって、右網膜画像上の右光信号は、RRI(10,10)からRRI(8,10)まで移動し、左網膜画像上の左光信号は、LRI(10,10)からLRI(8,10)まで移動する。
図14Bに示す例2は、第1の仮想両眼画素から第2の仮想両眼画素まで同じ奥行き平面上でY軸方向でのみ(より下の位置に)移動する仮想物体を示す。このため、右結合器画像及び左結合器画像上のそれぞれの右光信号及び対応する左光信号の場所をY軸方向に沿って等しい距離(画素)で下に移動させる必要がある。したがって、仮想物体を形成する右網膜画像及び左網膜画像上のそれぞれの右光信号及び対応する左光信号の場所は、Y軸方向で等しい距離で上に移動する。言い換えれば、光信号生成器からのそのような右光信号及び対応する左光信号は、結合器画像の異なるY座標の場所上に投射させる必要がある。しかし、仮想物体のX座標及びZ座標(奥行き方向)は依然として同じままであるため、右光信号及び対応する左光信号は、X座標及びZ座標に対しては、結合器画像の同じ場所に投射される。
例えば、仮想物体のXYZ座標が(0,0,100)から(0,-10,100)まで移動する場合、右結合器画像上の右光信号は、RCI(10,10)からRCI(10,12)まで移動し、左結合器画像上の左光信号は、LCI(10,10)からLCI(10,12)まで移動する。したがって、右網膜画像上の右光信号は、RRI(10,10)からRRI(10,8)まで移動し、左網膜画像上の左光信号は、LRI(10,10)からLRI(10,8)まで移動する。
図13Cに示す例3は、Z軸方向に沿ってのみ(閲覧者のより近くに)、したがって、元の奥行き平面から新たな奥行き平面まで移動する仮想物体を示す。このため、右結合器画像及び左結合器画像上のそれぞれの右光信号及び対応する左光信号の場所は、右光信号の光路延長部と対応する左光信号の光路延長部との間の収束角が拡大する度合いに応じて、X軸方向で互いにより近くに移動させる必要がある。したがって、仮想物体を形成する右網膜画像及び左網膜画像上のそれぞれの右光信号及び対応する左光信号の場所は、X軸方向で互いから遠く離れる。要するに、仮想物体が閲覧者のより近くに移動すると、結合器画像上の右光信号の場所と対応する左光信号の場所との間の相対的な距離は減少する一方で、網膜画像上の右光信号の場所と対応する左光信号の場所との間の相対的な距離は増大する。言い換えれば、光信号生成器からのそのような右光信号及び対応する左光信号は、互いにより近い結合器画像の2つの異なるX座標の場所上に投射させる必要がある。しかし、仮想物体のY座標は同じままであるため、右光信号及び対応する左光信号は、結合器画像の同じY座標場所上に投射される。
例えば、仮想物体のXYZ座標が(0,0,100)から(0,0,50)まで移動する場合、右結合器画像上の右光信号は、RCI(10,10)からRCI(5,10)まで移動し、左結合器画像上の左光信号は、LCI(10,10)からLCI(15,10)まで移動する。したがって、右網膜画像上の右光信号は、RRI(10,10)からRRI(15,10)まで移動し、左網膜画像上の左光信号は、LRI(10,10)からLRI(5,10)まで移動する。
しかし、仮想物体を閲覧者のより近くに移動させるため、仮想物体のX座標が瞳孔間線の中心(中間点)にない(一実施形態ではX座標はゼロに等しい)場合、右結合器画像及び左結合器画像上のそれぞれの右光信号及び対応する左光信号の場所は、比率に基づき、互いにより近くに移動させる必要がある。この比率は、右結合器画像上の右光信号の場所と(両目の中心に近い)その左縁部との間の距離に対する、左結合器画像上の左光信号の場所と(両目の中心に近い)その右縁部との間の距離によって計算される。
例えば、右結合器画像上の右光信号の場所が(両目の中心に近い)その左縁部まで10画素であり、左結合器画像上の左光信号の場所が(両目の中心に近い)その右縁部まで5画素であると仮定する。右の場所~中心距離と、左の場所~中心距離との比率は、2:1(10:5)である。物体をより近くに移動させるため、右結合器画像上の右の場所、及び左結合器画像上の左の場所が、互いに3画素の距離だけ近くに移動する必要がある場合、2:1比のために、右の場所は、左縁部に向けて2画素だけ移動する必要があり、左の場所は、右縁部に向けて1画素だけ移動する必要がある。
図13Dに示す例4は、第1の仮想両眼画素から第2の仮想両眼画素まで同じ奥行き平面内で空間内のX軸方向(右に)及びY軸方向で(より高い位置に)仮想物体を移動する方法を示す。このため、右結合器画像及び左結合器画像上のそれぞれの右光信号及び対応する左光信号の場所は、元の場所の右に、元の場所よりも高く移動させる必要がある。したがって、仮想物体を形成する右網膜画像及び左網膜画像上のそれぞれの右光信号及び対応する左光信号の場所は、元の場所の左に、元の場所よりも低く移動する。言い換えれば、光信号生成器からの右光信号及び対応する左光信号は、右結合器画像及び左結合器画像の新たな場所上で、元の場所の右に、元の場所よりも高くに投射する必要がある一方で、右光信号の光路延長部と対応する左光信号の光路延長部との間の収束角は、同じままである。
例えば、仮想物体のXYZ座標が(0,0,100)から(10,10,100)まで移動する場合、右結合器画像上の右光信号は、RCI(10,10)からRCI(12,8)まで移動し、左結合器画像上の左光信号は、LCI(10,10)からLCI(12,8)まで移動する。したがって、右網膜画像上の右光信号は、RRI(10,10)からRRI(8,12)まで移動し、左網膜画像上の左光信号は、LRI(10,10)からLRI(8,12)まで移動する。
図13Eに示す例5は、Y軸方向で(より下の位置に)及びZ軸方向で(閲覧者のより近くに)、したがって、元の奥行き平面から新たな奥行き平面まで移動する仮想物体を示す。このため、右結合器画像及び左結合器画像上のそれぞれの右光信号及び対応する左光信号の場所は、より大きな収束角のために、Y軸方向で下に、X軸方向で互いにより近くに移動させる必要がある。したがって、仮想物体を形成する右網膜画像及び左網膜画像上のそれぞれの右光信号及び対応する左光信号の場所は、Y軸方向で上に、X軸方向で互いから遠く離れて移動する。言い換えれば、光信号生成器からのそのような右光信号及び対応する左光信号は、結合器画像の異なるY座標の場所及び(互いにより近い)2つの異なるX座標の場所上に投射させる必要がある。
例えば、仮想物体のXYZ座標が(0,0,100)から(0,-10,50)まで移動する場合、右結合器画像上の右光信号は、RCI(10,10)からRCI(5,12)まで移動し、左結合器画像上の左光信号は、LCI(10,10)からLCI(15,12)まで移動する。したがって、右網膜画像上の右光信号は、RRI(10,10)からRRI(15,8)まで移動し、左網膜画像上の左光信号は、LRI(10,10)からLRI(5,8)まで移動する。
しかし、仮想物体のX座標が同じままである一方で仮想物体が閲覧者のより近くに移動するため、右結合器画像及び左結合器画像上のそれぞれの右光信号及び対応する左光信号の場所は、比率に基づき、互いにより近くに移動させる必要がある。この比率は、右結合器画像上の右光信号の場所と(両目の中心に近い)その左縁部との間の距離に対する、左結合器画像上の左光信号の場所と(両目の中心に近い)その右縁部との間の距離によって計算される。例えば、右結合器画像上の右光信号の場所が(両目の中心に近い)その左縁部まで10画素であり、左結合器画像上の左光信号の場所が(両目の中心に近い)その右縁部まで5画素であると仮定する。右の場所~中心距離と、左の場所~中心距離との比率は、2:1(10:5)である。物体をより近くに移動させるため、右結合器画像上の右の場所、及び左結合器画像上の左の場所が、互いに3画素の距離だけ近くに移動させる必要がある場合、2:1比のために、右の場所は、左縁部に向けて2画素だけ移動させる必要があり、左の場所は、右縁部に向けて1画素だけ移動させる必要がある。
図14Fに示す例6は、X軸方向で(右に)及びZ軸方向で(閲覧者のより近くに)、したがって、元の奥行き平面から新たな奥行き平面まで移動する仮想物体を示す。このため、右結合器画像及び左結合器画像上のそれぞれの右光信号及び対応する左光信号の場所は、より大きな収束角のために、X軸方向で右に、X軸方向で互いにより近くに移動させる必要がある。したがって、仮想物体を形成する右網膜画像及び左網膜画像上のそれぞれの右光信号及び対応する左光信号の場所は、X軸方向で左に、X軸方向で互いから遠く離れて移動する。言い換えれば、光信号生成器からのそのような右光信号及び対応する左光信号は、結合器画像の2つの異なるX座標の場所上に(右に、互いにより近くに)投射させる必要がある。仮想物体のY座標は同じままであるため、右光信号及び対応する左光信号は、結合器画像の同じY座標の場所上に投射される。
例えば、仮想物体のXYZ座標が(0,0,100)から(10,0,50)まで移動する場合、右結合器画像上の右光信号は、RCI(10,10)からRCI(7,10)まで移動し、左結合器画像上の左光信号は、LCI(10,10)からLCI(17,10)まで移動する。したがって、右網膜画像上の右光信号は、RRI(10,10)からRRI(13,10)まで移動し、左網膜画像上の左光信号は、LRI(10,10)からLRI(3,10)まで移動する。
図14Gに示す例7は、X軸方向で(右に)、Y軸方向で(より下の位置に)及びZ軸方向で(閲覧者のより近くに)、したがって、元の奥行き平面から新たな奥行き平面まで移動する物体を示す。このため、右結合器画像及び左結合器画像上のそれぞれの右光信号及び対応する左光信号の場所は、より大きな収束角のために、X軸方向で右に、Y軸方向でより下の位置に、X軸方向で互いにより近くに移動させる必要がある。したがって、仮想物体を形成する右網膜画像及び左網膜画像上のそれぞれの右光信号及び対応する左光信号の場所は、X軸方向で左に、Y軸方向でより高い位置に、X軸方向で互いから遠く離れて移動する。言い換えれば、光信号生成器からのそのような右光信号及び対応する左光信号は、結合器画像の2つの異なるX座標の場所上に(右に、互いにより近くに)、異なるY座標の場所上に投射させる必要がある。
例えば、仮想物体のXYZ座標が(0,0,100)から(10,-10,50)まで移動する場合、右結合器画像上の右光信号は、RCI(10,10)からRCI(7,12)まで移動し、左結合器画像上の左光信号は、LCI(10,10)からLCI(17,12)まで移動する。したがって、右網膜画像上の右光信号は、RRI(10,10)からRRI(13,8)まで移動し、左網膜画像上の左光信号は、LRI(10,10)からLRI(3,8)まで移動する。
図14Hに示す例8は、Z軸方向で、1mの奥行きから閲覧者から離れた10mの奥行きまで、したがって、空間内の元の奥行き平面から新たな奥行き平面まで仮想物体を移動させる方法を示す。領域C内の空間が十分に多数の仮想両眼画素を含む場合、仮想物体は、多くの中間仮想両眼画素を通じて滑らかに移動することができる。言い換えれば、右網膜画像及び左網膜画像が、十分に多数の右画素及び左画素を含む場合、閲覧者は、膨大な量の仮想両眼画素を空間内に知覚することができる。
図14Hにおいて、物体は、様々な中間仮想両眼画素を通じて1mの奥行きのある第1の仮想両眼画素から10mの奥行きのある第2の仮想両眼画素まで移動する丸い点によって表される。第1に、1mの奥行きのある第1の仮想両眼画素の収束角は、第1の転送右光信号の光路延長部と第1の転送左光信号の光路延長部との間が3.4度であると計算される。
Figure 2023500177000003
IPD=60mmである場合、θ=3.4度である。
第2に、10mの奥行きのある第2の仮想両眼画素の収束角は、第2の転送右光信号の光路延長部と第2の転送左光信号の光路延長部との間が0.34度であると計算される。
Figure 2023500177000004
IPD=60mmである場合、θ=0.34度である。
第3に、中間仮想両眼画素を計算し、識別する。中間仮想両眼画素の数は、第1の仮想両眼画素及び第2の仮想両眼画素の収束角の差、並びにFOB度毎のX軸方向における画素数に基づき計算することができる。第1の仮想両眼画素の収束角(3.4度)と第2の仮想両眼画素の収束角(0.34度)との間の差は、3.06に等しい。走査網膜画像の合計幅が1280画素であり、合計40度の視界(FOV)を含むと仮定すると、FOB度毎のX軸方向における画素数は32である。したがって、仮想物体が、1mの奥行きのある第1の仮想両眼画素から10mの奥行きのある第2の仮想両眼画素まで移動する際、約98(32×3.06)の仮想両眼画素が間にあり、これらの画素を使用してそのような移動を表示することができる。これら98個の仮想両眼画素は、前述の参照表を通じて識別することができる。
第4に、この例では、98ステップの第1の仮想両眼画素と第2の仮想両眼画素との間の小さな移動のような、98個の中間仮想両眼画素を通じて移動を表示する。これら98個の仮想両眼画素のための右光信号及び対応する左光信号は、右光信号生成器及び左光信号生成器によってそれぞれ生成され、閲覧者の右網膜画像及び左網膜に投射される。したがって、閲覧者は、仮想物体が98個の中間位置を通じて1mから10mまで滑らかに移動しているのを知覚することができる。
図14Iに示す例9は、Z軸方向で、1mの奥行きから閲覧者により近い20cmの奥行きまで、したがって、空間内の元の奥行き平面から新たな奥行き平面まで仮想物体を移動させる方法を示す。領域C内の空間が十分に多数の仮想両眼画素を含む場合、仮想物体は、多くの中間仮想両眼画素を通じて滑らかに移動することができる。言い換えれば、右網膜画像及び左網膜画像が、十分に多数の右画素及び左画素を含む場合、閲覧者は、膨大な量の仮想両眼画素を空間内に知覚することができる。
図14Iにおいて、物体は、様々な中間仮想両眼画素を通じて1mの奥行きのある第1の仮想両眼画素から20cmの奥行きのある第2の仮想両眼画素まで移動する丸い点によって表される。第1に、第1mの奥行きのある第1の仮想両眼画素の収束角は、第1の転送右光信号の光路延長部と第1の転送左光信号の光路延長部との間が3.4度であると計算される。
Figure 2023500177000005
IPD=60mmである場合、θ=3.4度である。
第2に、20cmの奥行きのある第2の仮想両眼画素の収束角は、第2の転送右光信号の光路延長部と第2の転送左光信号の光路延長部との間が17度であると計算される。
Figure 2023500177000006
IPD=60mmである場合、θ=17度である。
第3に、中間仮想両眼画素を計算し、識別する。中間仮想両眼画素の数は、第1の仮想両眼画素及び第2の仮想両眼画素の収束角の差、並びにFOB度毎のX軸方向における画素数に基づき計算することができる。第1の仮想両眼画素の収束角(3.4度)と第2の仮想両眼画素の収束角(17度)との間の差は、13.6に等しい。走査網膜画像の合計幅が1280画素であり、合計40度の視界(FOV)を含むと仮定すると、FOB度毎のX軸方向における画素数は32である。したがって、仮想物体が、1mの奥行きのある第1の仮想両眼画素から20cmの奥行きのある第2の仮想両眼画素まで移動する際、約435(32×13.6)個の仮想両眼画素が間にあり、これらの画素を使用してそのような移動を表示することができる。これら435個の仮想両眼画素は、前述の参照表を通じて識別することができる。
第4に、この例では、435ステップの第1の仮想両眼画素と第2の仮想両眼画素との間の小さな移動のような、435個の中間仮想両眼画素を通じて移動を表示する。これら435個の仮想両眼画素のための右光信号及び対応する左光信号は、右光信号生成器及び左光信号生成器によってそれぞれ生成され、閲覧者の右網膜画像及び左網膜に投射される。したがって、閲覧者は、仮想物体が435個の中間位置を通じて1mから10mまで滑らかに移動しているのを知覚することができる。
実施形態の上記の説明は、当業者が主題を作製、使用可能であるように提供する。これらの実施形態に対する様々な修正形態は、当業者にとって容易に明らかになるであろう。本明細書で開示する新規な原理及び主題は、革新的技能を使用せずに他の実施形態に適用することができる。特許請求の範囲で示し、請求する主題は、本明細書で示す実施形態に限定することを意図するものではないが、本明細書で開示する原理及び新規の特徴に一致する最も広い範囲が与えられる。更なる実施形態が開示する主題の趣旨及び真の範囲内にあることが企図される。したがって、本発明は、添付の特許請求の範囲及びこれらの等価物の範囲内にある修正形態及び変形形態を含むことが意図される。
図1に示すように、物体表示システムは、RLS_1のための12、RLS_のための14及びRLS_3のための16等の多数の右光信号(RLS)を生成する右光信号生成器10と、多数の右光信号12’、14’、16’を受信し、閲覧者の右網膜54に向けて転送する右結合器20と、LLS_1のための32、LLS_2のための34及びLLS_3のための36等の多数の左光信号(LLS)を生成する左光信号生成器30と、多数の左光信号32’、34’、36’を受信し、閲覧者の左網膜64に向けて転送する左結合器40とを含む。
閲覧者は、右瞳孔52及び右網膜54を収容する右目50と、左瞳孔62及び左網膜64を収容する左目60とを有する。人間の瞳孔の直径は、概して、環境光に応じて、部分的に2から8mmまでの範囲であり得る。大人の通常の瞳孔サイズは、明るい光では2から4mmの直径で変動し、暗闇では4から8mmの直径で変動する。多数の右光信号は、右結合器20によって転送され、右瞳孔52を通過し、最終的に、右網膜54によって受けられる。右光信号RLS_1は、閲覧者の右目50が特定の水平面上で見ることができる、右に最も遠い光信号である。
右光信号RLS_2は、閲覧者の右目50が同じ水平面上で見ることができる、左に最も遠い光信号である。閲覧者は、転送右光信号を受信すると、転送右光信号RLS_1及びRLS_2の延長部によって境界が示される領域A内の物体の多数の右画素を知覚する。領域Aを右目50の視界(FOV)と呼ぶ。同様に、多数の左光信号は、左結合器40によって転送され、左瞳孔62の中心を通過し、最終的に、左網膜64によって受けられる。
左光信号LLS_1は、閲覧者の左目60が特定の水平面上で見ることができる、右に最も遠い光信号である。左光信号LLS_2は、閲覧者の左目が同じ水平面上で見ることができる、左に最も遠い光信号である。閲覧者は、転送左光信号を受信すると、転送左光信号LLS_1及びLLS_2の延長部によって境界が示される領域B内の物体の多数の左画素を知覚する。領域Bを左目60の視界(FOV)と呼ぶ。多数の右画素及び左画素の両方が、領域A及び領域Bが重なる領域C内に表示されると、1つの右画素を表示する少なくとも1つの右光信号、及び1つの左画素を表示する、対応する左光信号は融合し、特定の奥行きのある仮想両眼画素を領域C内に表示する。奥行きは、転送右光信号及び転送左光信号の角度に関連する。そのような角度を収束角とも呼ぶ。
図1及び図2に示すように、閲覧者は、閲覧者の前の領域Cにおいて、多数の奥行きのある恐竜物体70の仮想画像を知覚する。恐竜物体70の画像は、第1の奥行きD1で表示される第1の仮想両眼画素72、及び第2の奥行きD2で表示される第2の仮想両眼画素74を含む。第1の転送右光信号16’と対応する第1の転送左光信号36’との間の第1の角度は、θ1である。第1の奥行きD1は、第1の角度θ1に関連する。特に、物体の第1の仮想両眼画素の第1の奥行きは、第1の転送右光信号の光路延長部と対応する第1の転送左光信号の光路延長部との間の第1の角度θ1によって決定することができる。したがって、第1の仮想両眼画素72の第1の奥行きD1は、以下の式によって概算的に計算することができる。
Figure 2023500177000029
右瞳孔52と左瞳孔62との間の距離は、瞳孔間距離(IPD)である。同様に、第2の転送右光信号18と対応する第2の転送左光信号38との間の第2の角度は、θ2である。第2の奥行きD2は、第2の角度θ2に関連する。特に、物体の第2の仮想両眼画素の第2の奥行きD2は、同じ式によって、第2の転送右光信号の光路延長部と対応する第2の転送左光信号の光路延長部との間の第2の角度θ2によって概算的に決定することができる。第2の仮想両眼画素74は、第1の仮想両眼画素72よりも閲覧者から遠くに離れている(即ち、より大きな奥行きのある)ように閲覧者によって知覚されるため、第2の角度θ2は、第1の角度θ1よりも小さい。
更に、RLS_3のための転送右光信号16’、及びLLS_2のための対応する転送左光信号36’は、第1の奥行きD1がある第1の仮想両眼画素72を一緒に表示するにもかかわらず、RLG_3のための転送右光信号16’は、LLS_3のための対応する転送左光信号36’の視差ではない。従来、右目が受ける画像と左目が受ける画像との間の視差は、閲覧者が奥行きのある3D画像を知覚するために使用される。というのは、右目は、左目の視野角とは異なる視野角から同じ物体を見るためである。しかし、本発明では、仮想両眼画素のための右光信号及び対応する左光信号は、同じ視野角の画像を表示する。したがって、右光信号及び左光信号の赤青緑(RBG)色の強度及び/又は輝度は、ほぼ同じである。言い換えれば、右画素及び対応する左画素は、ほぼ同じである。しかし、別の実施形態では、右光信号及び左光信号の一方又は両方は、影等のいくつかの3D効果を呈するように修正することができる。概して、本発明では、右目及び左目の両方は、3D画像の生成に従来使用される右目の視野角及び左目の視野角それぞれからの視差ではなく、同じ視野角から物体の画像を受け取る。
図2を参照する。右光信号生成器10からの第1の右光信号16は、右結合器20によって受信、反射される。第1の転送右光信号16’は、右瞳孔52を通じて、閲覧者の右網膜に到達し、右画素R34を表示する。左光信号生成器30からの対応する左光信号36は、左結合器40によって受信、反射される。第1の転送左光信号36’は、左瞳孔62を通じて、閲覧者の左網膜に到達し、左網膜画素L33を表示する。画像融合の結果として、閲覧者は、多数の奥行きのある仮想両眼物体を知覚し、奥行きは、同じ物体に対する多数の転送右光信号及び対応する多数の転送左光信号の角度によって決定される。転送右光信号と対応する左光信号との間の角度は、右画素及び左画素の相対的な水平距離によって決定される。したがって、仮想両眼画素の奥行きは、仮想両眼画素を形成する右画素と対応する左画素との間の相対的な水平距離に逆相関する。言い換えれば、仮想両眼画素が閲覧者によってより奥行きのあるように知覚されるほど、そのような仮想両眼画素を形成する右画素と左画素との間のX軸における相対的な水平距離は、より小さい。
例えば、図2に示すように、第2の仮想両眼画素74は、第1の仮想両眼画素72よりも大きな奥行きのある(即ち、閲覧者からより遠く離れている)ように閲覧者によって知覚される。したがって、第2の右画素と第2の左画素との間の水平距離は、網膜画像上では、第1の右画素と第1の左画素との間の水平距離よりも小さい。具体的には、第2の仮想両眼画素を形成する第2の右画素R41と第2の左画素L51との間の水平距離は、4画素長である。しかし、第1の仮想両眼画素を形成する第1の右画素R43と第1の左画素L33との間の距離は、6画素長である。
光信号生成器10及び30は、レーザー、ミニLED及びマイクロLEDを含む発光ダイオード(「LED」)、有機発光ダイオード(「OLED」)、又は高輝度発光ダイオード(「SLD」)、LCoS(Liquid Crystal on Silicon)、液晶表示器(「LCD」)、又はそれらのあらゆる組合せを光源として使用することができる。一実施形態では、光信号生成器10及び30は、レーザー・ビーム走査投射器(LBS投射器)であり、赤色光レーザー、緑色光レーザー及び青色光レーザーを含む光源と、二色結合器及び偏光結合器等の光色修正器と、2D電気機械システム(「MEMS」)ミラー等の2次元(2D)調節可能反射器を備えることができる。
2D調整可能反射器は、2つの1D MEMSミラー等の2つの1次元(1D)反射器に置き換えることができる。LBS投射器は、光信号を1つずつ連続的に生成、走査し、所定の解像度、例えば、1フレームにつき1280×720画素で2D画像を形成する。したがって、1画素に対して1つの光信号が生成され、結合器20及び40に向けて1回投射される。閲覧者がそのような2D画像を一方の目から見る場合、LBS投射器は、視覚の持続期間以内、例えば、1/18秒以内で光信号、例えば1280×720個の光信号を各画素に対して連続的に生成する必要がある。したがって、各光信号の持続時間は、約60.28ナノ秒である。
結合器20、40は、光信号生成器10、30によって生成した多数の光信号を受信し、転送する。一実施形態では、結合器20、40は、転送した光信号が入射光信号と結合器20、40の同じ側にあるように、多数の光信号を反射する。別の実施形態では、結合器20、40は、転送した光信号が入射光信号とは結合器20、40の異なる側にあるように、多数の光信号を屈折させる。
結合器20、40が屈折器として機能する場合、反射比は、一部は光信号生成器の出力に応じて、20%~80%等、広く変動させることができる。当業者は、光信号生成器及び結合器の特性に基づく適切な反射比の決定の仕方が分かる。その上、一実施形態では、結合器20、40は、入射光信号の反対側からの周囲(環境)光に対して光学的に透過性である。透過度は、用途に応じて広く変動させることができる。一実施形態では、AR/MR用途の場合、透過度は、約75%等、50%超であることが好ましい。結合器20、40は、光信号を転送することに加えて、結合器画像を形成する多数の光信号を収束することができ、結合器画像が閲覧者の両目の瞳孔を通過し、網膜に到達し得るようにする。
一実施形態では、結合器20、40は、楕円体面を有するように構成される。更に、光信号生成器及び閲覧者の目はそれぞれ、楕円体の両焦点上に配置される。図8に示すように、右結合器が楕円体面を有する場合、右光信号生成器は、右焦点に配置され、閲覧者の右目は、楕円体の左焦点に配置される。同様に、左結合器が楕円体面を有する場合、左光信号生成器は、左焦点に配置され、閲覧者の左目は、楕円体の右焦点に配置される。
楕円体の形状特性のために、一方の焦点から楕円体面に投射される全ての光線は、もう一方の焦点に反射される。この場合、光信号生成器から楕円体形状結合器の表面に投射される全ての光線は、閲覧者の目に反射される。したがって、本実施形態では、FOVは、楕円体面が許容するのと同じ大きさで最大まで拡張することができる。別の実施形態では、結合器2040は、ホログラフィ膜が楕円体と同様に光を反射するように設計された平坦面を有することができる。
図9に示すように、物体表示システムは、右光複製器と左光複製器とを更に含むことができる。光複製器は、入射光信号を複製するように、光信号生成器10、30と結合器20、40との間に配置することができる。したがって、光複製器は、多数の実体の入射光信号を生成し、閲覧者のアイ・ボックスを広げることができる。光複製器は、ビーム・スプリッタ、偏光スプリッタ、半透鏡、部分反射鏡、ダイクロイック・ミラー・プリズム、ダイクロイック・コーティング又は誘電性光学コーティングとすることができる。光複製器110,120は、入射光信号を少なくとも2つの実体に複製する少なくとも2つの光学構成要素を備えることができる。光学構成要素のそれぞれは、1つのレンズ、反射器、部分反射器、プリズム、ミラー、又は上述の組合せとすることができる。
14Cに示す例3は、Z軸方向に沿ってのみ(閲覧者のより近くに)、したがって、元の奥行き平面から新たな奥行き平面まで移動する仮想物体を示す。このため、右結合器画像及び左結合器画像上のそれぞれの右光信号及び対応する左光信号の場所は、右光信号の光路延長部と対応する左光信号の光路延長部との間の収束角が拡大する度合いに応じて、X軸方向で互いにより近くに移動させる必要がある。したがって、仮想物体を形成する右網膜画像及び左網膜画像上のそれぞれの右光信号及び対応する左光信号の場所は、X軸方向で互いから遠く離れる。要するに、仮想物体が閲覧者のより近くに移動すると、結合器画像上の右光信号の場所と対応する左光信号の場所との間の相対的な距離は減少する一方で、網膜画像上の右光信号の場所と対応する左光信号の場所との間の相対的な距離は増大する。言い換えれば、光信号生成器からのそのような右光信号及び対応する左光信号は、互いにより近い結合器画像の2つの異なるX座標の場所上に投射させる必要がある。しかし、仮想物体のY座標は同じままであるため、右光信号及び対応する左光信号は、結合器画像の同じY座標場所上に投射される。
例えば、仮想物体のXYZ座標が(0,0,100)から(0,0,50)まで移動する場合、右結合器画像上の右光信号は、RCI(10,10)からRCI(5,10)まで移動し、左結合器画像上の左光信号は、LCI(10,10)からLCI(15,10)まで移動する。したがって、右網膜画像上の右光信号は、RRI(10,10)からRRI(15,10)まで移動し、左網膜画像上の左光信号は、LRI(10,10)からLRI(5,10)まで移動する。
14Dに示す例4は、第1の仮想両眼画素から第2の仮想両眼画素まで同じ奥行き平面内で空間内のX軸方向(右に)及びY軸方向で(より高い位置に)仮想物体を移動する方法を示す。このため、右結合器画像及び左結合器画像上のそれぞれの右光信号及び対応する左光信号の場所は、元の場所の右に、元の場所よりも高く移動させる必要がある。したがって、仮想物体を形成する右網膜画像及び左網膜画像上のそれぞれの右光信号及び対応する左光信号の場所は、元の場所の左に、元の場所よりも低く移動する。言い換えれば、光信号生成器からの右光信号及び対応する左光信号は、右結合器画像及び左結合器画像の新たな場所上で、元の場所の右に、元の場所よりも高くに投射する必要がある一方で、右光信号の光路延長部と対応する左光信号の光路延長部との間の収束角は、同じままである。
例えば、仮想物体のXYZ座標が(0,0,100)から(10,10,100)まで移動する場合、右結合器画像上の右光信号は、RCI(10,10)からRCI(12,8)まで移動し、左結合器画像上の左光信号は、LCI(10,10)からLCI(12,8)まで移動する。したがって、右網膜画像上の右光信号は、RRI(10,10)からRRI(8,12)まで移動し、左網膜画像上の左光信号は、LRI(10,10)からLRI(8,12)まで移動する。
14Eに示す例5は、Y軸方向で(より下の位置に)及びZ軸方向で(閲覧者のより近くに)、したがって、元の奥行き平面から新たな奥行き平面まで移動する仮想物体を示す。このため、右結合器画像及び左結合器画像上のそれぞれの右光信号及び対応する左光信号の場所は、より大きな収束角のために、Y軸方向で下に、X軸方向で互いにより近くに移動させる必要がある。したがって、仮想物体を形成する右網膜画像及び左網膜画像上のそれぞれの右光信号及び対応する左光信号の場所は、Y軸方向で上に、X軸方向で互いから遠く離れて移動する。言い換えれば、光信号生成器からのそのような右光信号及び対応する左光信号は、結合器画像の異なるY座標の場所及び(互いにより近い)2つの異なるX座標の場所上に投射させる必要がある。
例えば、仮想物体のXYZ座標が(0,0,100)から(0,-10,50)まで移動する場合、右結合器画像上の右光信号は、RCI(10,10)からRCI(5,12)まで移動し、左結合器画像上の左光信号は、LCI(10,10)からLCI(15,12)まで移動する。したがって、右網膜画像上の右光信号は、RRI(10,10)からRRI(15,8)まで移動し、左網膜画像上の左光信号は、LRI(10,10)からLRI(5,8)まで移動する。

Claims (30)

  1. 奥行きのある物体を表示するシステムであって、
    物体に関する多数の右光信号を生成する右光信号生成器と、
    前記多数の右光信号を受信し、閲覧者の一方の網膜に向けて転送し、物体の多数の右画素を表示する右結合器と、
    物体に関する多数の左光信号を生成する左光信号生成器と、
    前記多数の左光信号を受信し、閲覧者のもう一方の網膜に向けて転送し、物体の多数の左画素を表示する左結合器と、を備え、
    第1の転送右光信号及び対応する第1の転送左光信号は、閲覧者によって知覚され、第1の奥行きのある物体の第1の仮想両眼画素を表示し、
    前記第1の奥行きは、前記第1の転送右光信号と前記対応する第1の転送左光信号との間の第1の角度に関連することを特徴とする、
    システム。
  2. 前記第1の奥行きは、前記第1の転送右光信号の光路延長部と前記対応する第1の転送左光信号の光路延長部との間の前記第1の角度によって決定されることを特徴とする、請求項1に記載のシステム。
  3. 前記第1の転送右光信号及び前記対応する第1の転送左光信号は、閲覧者の両目の網膜とほぼ同じ高さに向けられることを特徴とする、請求項1に記載のシステム。
  4. 前記第1の転送右光信号は、前記対応する第1の転送左光信号の視差ではないことを特徴とする、請求項1に記載のシステム。
  5. 前記右光信号生成器から生成した前記多数の右光信号は、閲覧者の一方の網膜に入る前、一度だけ反射され、前記左光信号生成器から生成した前記多数の左光信号は、閲覧者のもう一方の網膜に入る前、一度だけ反射されることを特徴とする、請求項1に記載のシステム。
  6. 前記右光信号生成器は、右レーザー・ビーム走査投射器(LBS投射器)であり、前記右LBS投射器から生成した前記多数の右光信号は、閲覧者の一方の網膜に入る前、前記右結合器によって一度だけ反射され、前記左光信号生成器は、左LBS投射器であり、前記左LBS投射器から生成した前記多数の左光信号は、閲覧者のもう一方の網膜に入る前、前記左結合器によって一度だけ反射されることを特徴とする、請求項1に記載のシステム。
  7. 前記右結合器及び前記左結合器は、周囲光に対して透過性であることを特徴とする、請求項1に記載のシステム。
  8. 第2の転送右光信号及び対応する第2の転送左光信号は、閲覧者によって知覚され、第2の奥行きのある物体の第2の仮想両眼画素を表示し、前記第2の奥行きは、前記第2の転送右光信号と前記対応する第2の転送左光信号との間の第2の角度に関連することを特徴とする、請求項1に記載のシステム。
  9. 前記右結合器は、前記多数の左光信号を受信し、閲覧者の右の網膜に向けて転送し、物体の多数の右画素を表示し、前記左結合器は、前記多数の右光信号を受信し、閲覧者の左の網膜に向けて転送し、物体の多数の左画素を表示することを特徴とする、請求項1に記載のシステム。
  10. 前記右結合器及び前記左結合器は、楕円体形状であり、前記右光信号生成器は、前記右結合器の1つの焦点上に配置され、前記左光信号生成器は、前記左結合器の1つの焦点上に配置されることを特徴とする、請求項1に記載のシステム。
  11. 前記右光信号生成器の右投射角は、前記右結合器への前記多数の右光信号の入射角を修正するように調節可能であり、前記左光信号生成器の左投射角は、前記左結合器への前記多数の左光信号の入射角を修正するように調節可能であることを特徴とする、請求項1に記載のシステム。
  12. 閲覧者の頭部に装着可能な支持構造体を更に備え、前記右光信号生成器、前記左光信号生成器は、前記支持構造体によって支持され、 前記右結合器及び前記左結合器は、前記支持構造体によって支持され、閲覧者の視界内に配置されることを特徴とする、請求項1に記載のシステム。
  13. 前記支持構造体は、眼鏡であることを特徴とする、請求項12に記載のシステム。
  14. 前記眼鏡は、前記右結合器又は前記左結合器を支持する、処方レンズを有することを特徴とする、請求項13に記載のシステム。
  15. 前記眼鏡は、前記右結合器又は前記左結合器を一体に作製した処方レンズを有することを特徴とする、請求項13に記載のシステム。
  16. 前記処方レンズ、及び前記右結合器又は前記左結合器のいずれかは、互いに取り付けられるが、分離可能であることを特徴とする、請求項13に記載のシステム。
  17. 前記右結合器及び前記左結合器は、1つの一体化結合器に統合されることを特徴とする、請求項12に記載のシステム。
  18. 奥行きのある物体を表示する方法であって、
    右光信号生成器から、物体のための多数の右光信号を生成することと、
    閲覧者の一方の網膜に前記多数の右光信号を転送することと、
    左光信号生成器から、物体のための多数の左光信号を生成することと、
    閲覧者のもう一方の網膜に前記多数の左光信号を転送することと、を含み、
    第1の転送右光信号及び対応する第1の転送左光信号は、閲覧者によって知覚され、第1の奥行きのある物体の第1の仮想両眼画素を表示し、
    前記第1の奥行きは、前記第1の転送右光信号と前記対応する第1の転送左光信号との間の第1の角度に関連することを特徴とする、
    方法。
  19. 前記第1の奥行きは、前記第1の転送右光信号の光路延長部と前記対応する第1の転送左光信号の光路延長部との間の前記第1の角度によって決定されることを特徴とする、請求項18に記載の方法。
  20. 前記第1の転送右光信号及び前記対応する第1の転送左光信号は、閲覧者の両目の網膜とほぼ同じ高さに向けられることを特徴とする、請求項18に記載の方法。
  21. 前記第1の転送右光信号は、前記対応する第1の転送左光信号の視差ではないことを特徴とする、請求項18に記載の方法。
  22. 前記右光信号生成器から生成した前記多数の右光信号は、閲覧者の一方の網膜に入る前、一度だけ反射され、前記左光信号生成器から生成した前記多数の左光信号は、閲覧者のもう一方の網膜に入る前、一度だけ反射されることを特徴とする、請求項18に記載の方法。
  23. 前記右光信号生成器は、右レーザー・ビーム走査投射器(LBS投射器)であり、前記右LBS投射器から生成した前記多数の右光信号は、閲覧者の一方の網膜に入る前、前記右結合器によって一度だけ反射され、前記左光信号生成器は、左LBS投射器であり、前記左LBS投射器から生成した前記多数の左光信号は、閲覧者のもう一方の網膜に入る前、前記左結合器によって一度だけ反射されることを特徴とする、請求項18に記載の方法。
  24. 前記右結合器及び前記左結合器は、周囲光に対して透過性であることを特徴とする、請求項18に記載の方法。
  25. 前記右結合器は、前記多数の左光信号を受信し、閲覧者の右の網膜に向けて転送し、物体の多数の右画素を表示し、前記左結合器は、前記多数の右光信号を受信し、閲覧者の左の網膜に向けて転送し、物体の多数の左画素を表示することを特徴とする、請求項18に記載の方法。
  26. 前記右結合器及び前記左結合器は、楕円体形状であり、前記右光信号生成器は、前記右結合器の1つの焦点上に配置され、前記左光信号生成器は、前記左結合器の1つの焦点上に配置されることを特徴とする、請求項18に記載の方法。
  27. 前記右光信号生成器の右投射角は、前記右結合器への前記多数の右光信号の入射角を修正するように調節可能であり、前記左光信号生成器の左投射角は、前記左結合器への前記多数の左光信号の入射角を修正するように調節可能であることを特徴とする、請求項18に記載の方法。
  28. 前記右光信号生成器、前記左光信号生成器は、閲覧者の頭部に装着可能な支持構造体によって支持され、前記右結合器及び前記左結合器は、前記支持構造体によって支持され、閲覧者の視界内に配置されることを特徴とする、請求項18に記載の方法。
  29. 前記支持構造体は、前記右結合器又は前記左結合器を支持する、処方レンズを有する眼鏡であることを特徴とする、請求項28に記載の方法。
  30. 前記右結合器及び前記左結合器は、1つの一体化結合器に統合されることを特徴とする、請求項28に記載の方法。
JP2021563371A 2019-11-06 2020-11-06 奥行きのある物体を表示するシステム及び方法 Pending JP2023500177A (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201962931228P 2019-11-06 2019-11-06
US62/931,228 2019-11-06
US202062978322P 2020-02-19 2020-02-19
US62/978,322 2020-02-19
US202063041740P 2020-06-19 2020-06-19
US63/041,740 2020-06-19
US202063085172P 2020-09-30 2020-09-30
US63/085,172 2020-09-30
PCT/US2020/059317 WO2021092314A1 (en) 2019-11-06 2020-11-06 System and method for displaying an object with depths

Publications (1)

Publication Number Publication Date
JP2023500177A true JP2023500177A (ja) 2023-01-05

Family

ID=75849299

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021563371A Pending JP2023500177A (ja) 2019-11-06 2020-11-06 奥行きのある物体を表示するシステム及び方法

Country Status (6)

Country Link
US (1) US20220311992A1 (ja)
EP (1) EP4055437A4 (ja)
JP (1) JP2023500177A (ja)
KR (1) KR20220093041A (ja)
CN (1) CN114365027A (ja)
WO (1) WO2021092314A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022036302A1 (en) 2020-08-14 2022-02-17 Hes Ip Holdings, Llc Systems and methods for superimposing virtual image on real-time image
JP2023541495A (ja) 2020-09-03 2023-10-03 ヒーズ アイピー ホールディングス エルエルシー 両眼視を改善するためのシステムおよび方法
US11953689B2 (en) 2020-09-30 2024-04-09 Hes Ip Holdings, Llc Virtual image display system for virtual reality and augmented reality devices
CN116057450A (zh) * 2021-06-29 2023-05-02 海思智财控股有限公司 头戴式装置的光学系统
JP2023067266A (ja) * 2021-10-29 2023-05-16 富士フイルム株式会社 光走査装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070064319A (ko) * 2004-08-06 2007-06-20 유니버시티 오브 워싱톤 가변 응시 시거리 주사 광 디스플레이
KR20120069133A (ko) * 2010-12-20 2012-06-28 엘지디스플레이 주식회사 입체영상 표시장치와 그 구동방법
US20150169070A1 (en) 2013-12-17 2015-06-18 Google Inc. Visual Display of Interactive, Gesture-Controlled, Three-Dimensional (3D) Models for Head-Mountable Displays (HMDs)
US10757399B2 (en) * 2015-09-10 2020-08-25 Google Llc Stereo rendering system
PL3494695T3 (pl) * 2016-08-04 2024-02-19 Dolby Laboratories Licensing Corporation Rozwiązania akomodacji-wergencji ze śledzeniem pojedynczej głębi
WO2018057660A2 (en) * 2016-09-20 2018-03-29 Apple Inc. Augmented reality system
US10685492B2 (en) * 2016-12-22 2020-06-16 Choi Enterprise, LLC Switchable virtual reality and augmented/mixed reality display device, and light field methods
JP2019105777A (ja) * 2017-12-14 2019-06-27 セイコーエプソン株式会社 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
CN110376734B (zh) * 2018-04-12 2021-11-19 肥鲨技术 单面板头戴式显示器

Also Published As

Publication number Publication date
CN114365027A (zh) 2022-04-15
US20220311992A1 (en) 2022-09-29
EP4055437A4 (en) 2023-12-20
EP4055437A1 (en) 2022-09-14
WO2021092314A1 (en) 2021-05-14
KR20220093041A (ko) 2022-07-05

Similar Documents

Publication Publication Date Title
JP6423945B2 (ja) 表示装置、およびプロジェクタを用いた表示方法
US10663735B2 (en) Head-mounted display
JP2023500177A (ja) 奥行きのある物体を表示するシステム及び方法
US20230168513A1 (en) Image display systems for eyebox expansion and methods of making the same
US20170188021A1 (en) Optical engine for creating wide-field of view fovea-based display
US10404975B2 (en) Retroreflective light field display
RU2005112314A (ru) Стереопроекционная система
JP2022525561A (ja) 同心ライトフィールドおよび単眼から両眼への混成を提供するディスプレイシステム
US11695913B1 (en) Mixed reality system
JP3453086B2 (ja) 三次元表示方法およびヘッドマウントディスプレイ装置
TWI832308B (zh) 頭戴式裝置之光學系統
TW202334702A (zh) 具有用於像差感測偵測器的收集光學件的顯示系統
WO2023122161A1 (en) Detection, analysis and correction of disparities in a display system utilizing disparity sensing port
TWI802826B (zh) 顯示一個具有景深的物體的系統與方法
TWI717912B (zh) 頭戴式顯示裝置
TWI842461B (zh) 顯示一個具有景深的物體的系統
WO2020088468A1 (en) System and method for displaying a 3d image with depths
CN109963145B (zh) 视觉显示系统及方法,以及头戴显示装置
JP2021103276A (ja) 画像表示装置
JP2019049724A (ja) 目用投影システム
TWI837482B (zh) 擴大可視空間的影像顯示系統
WO2022064564A1 (ja) ヘッドマウントディスプレイ
US11927758B1 (en) Multi-laser illuminated mixed waveguide display with volume Bragg grating (VBG) and mirror
US20230258938A1 (en) Display systems with waveguide configuration to mitigate rainbow effect
US20230360567A1 (en) Virtual reality display system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220905

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230630

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20230630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240612