JP2016536635A - System and method for reconfigurable projection augmented reality / virtual reality appliance - Google Patents

System and method for reconfigurable projection augmented reality / virtual reality appliance Download PDF

Info

Publication number
JP2016536635A
JP2016536635A JP2016524419A JP2016524419A JP2016536635A JP 2016536635 A JP2016536635 A JP 2016536635A JP 2016524419 A JP2016524419 A JP 2016524419A JP 2016524419 A JP2016524419 A JP 2016524419A JP 2016536635 A JP2016536635 A JP 2016536635A
Authority
JP
Japan
Prior art keywords
projector
headset
image
filter
attachment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016524419A
Other languages
Japanese (ja)
Inventor
ジェイ. エルズワース、ジェリー
ジェイ. エルズワース、ジェリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Castar inc
Original Assignee
Castar inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/267,325 external-priority patent/US20140340424A1/en
Application filed by Castar inc filed Critical Castar inc
Publication of JP2016536635A publication Critical patent/JP2016536635A/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/30Polarising elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0018Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for preventing ghost images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Lenses (AREA)
  • Optical Filters (AREA)

Abstract

視線トラッキングを有するヘッドマウントディスプレイを備えるシステムは、投影拡張現実用途から、閉じた仮想現実を用いる用途や混合モードへの再構成用のアタッチメントを備える。A system comprising a head mounted display with eye tracking includes an attachment for reconstruction from a projection augmented reality application to a closed virtual reality application or mixed mode.

Description

本発明は、仮想現実、拡張現実、ボードゲーム、及びビデオゲームの分野に関する。より詳細には、本システムは、再構成可能なヘッドマウントディスプレイにおける複数の動作モード、すなわち、表面に対する投影画像、ニア・ツー・アイ(near to eye)ディスプレイ、及びグラフィック・オーバーレイ用の世界画像コンバイナを有するニア・ツー・アイ・ディスプレイを可能にする。   The present invention relates to the fields of virtual reality, augmented reality, board games, and video games. More particularly, the system is a global image combiner for multiple modes of operation in a reconfigurable head mounted display: projected image to surface, near to eye display, and graphic overlay. Enables near-to-eye display with

固定光学系ヘッドマウントディスプレイ・ヘッドセットは、通常、1つ又は複数のディスプレイと、コンピュータが生成するグラフィックをユーザの目(アイ)に届けるリレー光学系とからなり、多くの例が存在する。現実世界からの光を組み合わせる追加の固定光学系が備えられることができ、現実世界においてユーザが見るものの上にグラフィックをオーバーレイすることを可能にする。このディスプレイには、多くの場合、立体視によるビュー用にCGIシーンのレンダリングを駆動する情報を提供して3Dビジョンをシミュレートするべく、ユーザの視線をトラッキングするためにサブシステムが関連付けられている。   Fixed optics head-mounted display headsets typically consist of one or more displays and relay optics that deliver computer-generated graphics to the user's eyes, and there are many examples. Additional fixed optics that combine light from the real world can be provided, allowing graphics to be overlaid on what the user sees in the real world. The display is often associated with a subsystem to track the user's line of sight to provide information driving the rendering of the CGI scene for stereoscopic viewing and to simulate 3D vision. .

マーカをトラッキングするためのカメラと共に、2つのプロジェクション・ディスプレイ・システムと、世界において表面からユーザに戻る光のための2つのアパーチャとを備える、典型的な外向投影画像ヘッドセットの図。FIG. 2 is a typical outward projection image headset comprising two projection display systems and two apertures for light returning from the surface to the user in the world, along with a camera for tracking markers. 図1のヘッドセット用の有線接続システムの図。The figure of the wired connection system for the headset of FIG. プロジェクタに対する目の整合を示す、図1のヘッドセットの正面図。FIG. 2 is a front view of the headset of FIG. 1 showing eye alignment with the projector. 異方性反射による代替的なヘッドセットの図。Figure 6 shows an alternative headset with anisotropic reflection. 1つのプロジェクタを使用する代替的なヘッドセットの図。FIG. 4 is an alternative headset using one projector. 視線トラッキングにおいて使用するためのアクティブな「マーカ」パッドの図。FIG. 4 is an illustration of an active “marker” pad for use in eye tracking. 図1のヘッドセットからの及びヘッドセットへの光学経路の図。FIG. 2 is a diagram of the optical path from and to the headset of FIG. トラッキング・マーカ発光体から図1のヘッドセットへの光学経路の図。FIG. 2 is a diagram of an optical path from a tracking marker light emitter to the headset of FIG. 閉じた仮想現実動作モードへの「クリップオン」再構成用の光学経路の図。FIG. 6 is an optical path diagram for “clip-on” reconstruction into a closed virtual reality mode of operation. モードを切り替えるためのヒンジ式「フリップ・アップ」の動作の図。Diagram of hinged “flip-up” operation for switching modes. 閉位置における「クリップオン」装置の正面「透視」図。Front "perspective" view of the "clip-on" device in the closed position. 「クリップオン」装置の片側用途の図。Illustration of one-sided use of a “clip-on” device. 現実/仮想混合モード用の代替的な「クリップオン」再構成の図。FIG. 4 is an alternative “clip-on” reconstruction for mixed real / virtual mode. 「電子シースルー」現実/仮想混合モード用のカメラを有する代替的な「クリップオン」再構成の図。FIG. 6 is an alternative “clip-on” reconstruction with a camera for “electronic see-through” real / virtual mixed mode.

本発明は、投影イメージングなどの主動作のモードを有する1つ又は複数のディスプレイと、視線トラッキング・サブシステムと、直接的にユーザの目に画像をリレーするためのアタッチメント及び/又は世界画像コーミング光学系と、を備えるヘッドセット又は眼鏡を含む。視線トラッキング・システムは、例えば、一人称視点に基づくビデオゲーム又はシミュレーションに使用されるものなど、コンピュータが生成するシーンの立体ビューをレンダリングするために必要な情報を提供する。   The present invention relates to one or more displays having a mode of main operation, such as projection imaging, a line-of-sight tracking subsystem, attachments for relaying images directly to the user's eyes, and / or world image combing optics. And a headset comprising the system. The gaze tracking system provides the information necessary to render a stereoscopic view of a computer generated scene, such as, for example, those used for first person viewpoint based video games or simulations.

本発明のシステムは、ディスプレイ又はプロジェクション・システム(図1〜図5)及び見通し線トラッキング・システム(図6〜図7)や、投影からニア・ツー・アイ・ビューイングへ動作モードを変える機械的に取り付け可能なリレー・システム(図8〜図10)を備える眼鏡(又は、ヘッドセット)を備える。   The system of the present invention can be used for display or projection systems (FIGS. 1-5) and line-of-sight tracking systems (FIGS. 6-7), as well as mechanical changes in operating mode from projection to near-to-eye viewing. Eyeglasses (or a headset) equipped with a relay system (FIGS. 8 to 10) that can be attached to the camera.

眼鏡の実施形態を図1に示す。図1では、フレーム101は、一対の画像プロジェクタ102,104、1つ又は複数のトラッキング・カメラ103、及びビューイング・レンズ105,106を支持している。電池及びドライバ電子機器や無線電子通信装置を保持することのできる区画107が示されている。これに代えて、図2では、回路ボックス202への有線接続部201を有する実施形態を示す。回路ボックス202は、HDMI(登録商標)などコンピュータ/携帯電話インタフェース両用の接続部203及び/又はUSBなど他の周辺装置用の接続部204を備えてよい。回路ボックス202も電池を備えてよい。   An embodiment of the glasses is shown in FIG. In FIG. 1, the frame 101 supports a pair of image projectors 102 and 104, one or more tracking cameras 103, and viewing lenses 105 and 106. A compartment 107 is shown that can hold batteries and driver electronics and wireless electronic communication devices. Instead, FIG. 2 shows an embodiment having a wired connection 201 to the circuit box 202. The circuit box 202 may include a connection unit 203 for both computer / cell phone interfaces such as HDMI (registered trademark) and / or a connection unit 204 for other peripheral devices such as USB. The circuit box 202 may also include a battery.

図1のビューイング・レンズ105,106は、プロジェクタ102,104と共に、フレームの反対側のプロジェクタから発する光を除外するための手段を提供する。この手段は、選択的直交偏光(プラナー(planer)又はサーキュラー)、時分割多重化アクティブ・シャッタ、スペクトル・フィルタ処理(エミッタ物理又はソフトウェア選択される色又はパッシブ・フィルタリングによる)、又は本技術分野において知られるそうした他の手段によることができる。   The viewing lenses 105, 106 of FIG. 1, along with the projectors 102, 104, provide a means for excluding light emanating from the projector on the opposite side of the frame. This means can be selective orthogonal polarization (planer or circular), time-division multiplexed active shutter, spectral filtering (by emitter physics or software selected color or passive filtering), or in the art It can be by such other means known.

投影拡張現実モードを示す図7aに示すように、このシステムは、再帰反射材701によって、プロジェクタ102,104が放射する光の大部分702を、経路703によりビューイング・レンズ105及び106に重なる領域に戻す。従来技術(例えば、スタントン(Stanton)の米国特許第6,535,182号明細書)は、プロジェクタがフレームのヒンジに隣接して側面に配置されるシステムを教示している。しかし、これによって、ユーザの既存のアイウェアの上に装着するのに十分なほどフレームを大きくする場合、両側からの所望されない画像のクロストークを低くしようとする一方、ユーザの目からプロジェクタまでの軸外距離のため、戻される画像の輝度が低減するという不都合が生じる。従来技術(例えば、フィッシャー(Fisher)の米国特許第5,572,229号明細書及びファーガソン(Fergason)の米国特許第5,606,458号明細書)は、投影される光をユーザの視線と同軸に配向するために、ユーザの目の前方におけるビームスプリッタの使用も教示しているが、これによって、所望されない前方の重量とフレーム構造の拡大とが追加される。図3では、ビームスプリッタが不要である、プロジェクタがユーザの各目の中心の直上に位置するような、図1の実施形態の好適な整合を示す。プロジェクタが、目の下に、各同じ中心線上に中心を置き取り付けられてもよいことと、再帰反射材が、その後ろに配置されている物体をユーザが見ることができるように部分的に透明であってよいことが留意される。   As shown in FIG. 7a showing the projected augmented reality mode, the system uses a retroreflective material 701 to overlap most of the light 702 emitted by the projectors 102, 104 over the viewing lenses 105 and 106 via a path 703. Return to. Prior art (eg, Stanton US Pat. No. 6,535,182) teaches a system in which the projector is located on the side adjacent to the hinge of the frame. However, this makes the crosstalk of unwanted images from both sides low when the frame is large enough to be worn on the user's existing eyewear, while moving from the user's eyes to the projector. Due to the off-axis distance, there is a disadvantage that the brightness of the returned image is reduced. Prior art techniques (eg, Fisher US Pat. No. 5,572,229 and Ferguson US Pat. No. 5,606,458) have projected light into the user's line of sight. It also teaches the use of a beam splitter in front of the user's eye to be oriented coaxially, but this adds undesired forward weight and enlargement of the frame structure. FIG. 3 shows a preferred alignment of the embodiment of FIG. 1 where a beam splitter is not required and the projector is located directly above the center of each eye of the user. The projector may be mounted under the eyes, centered on each and the same centerline, and the retroreflective material is partially transparent so that the user can see the object placed behind it. It is noted that

代替の実施形態において、図3に示す整合は、戻される投影画像の輝度のパターンが垂直方向よりも水平方向において速く低下するように、異方性再帰反射スクリーンと共に使用されてよい。異方性再帰反射体は、軸に整合したわずかに楕円形の反射球体、又は鏡面上のホログラムフィルム、又は再帰反射体製造技術及び裸眼立体視スクリーンの技術において知られている他の手段に基づいて製造されることができる。この形態による左/右の画像の空間的分離を図4に示す。図4では、眼鏡フレーム401は開いており、フィルタ処理ビューイング・レンズを有しておらず、むしろ、異方性のビューイング戻り領域402により、反対の目に向かって交差する光は制限される。   In an alternative embodiment, the alignment shown in FIG. 3 may be used with an anisotropic retroreflective screen so that the brightness pattern of the returned projected image decreases more quickly in the horizontal direction than in the vertical direction. Anisotropic retroreflectors are based on a slightly elliptical reflecting sphere aligned in the axis, or a holographic film on a specular surface, or other means known in the art of retroreflector manufacturing and autostereoscopic screens Can be manufactured. The spatial separation of left / right images according to this configuration is shown in FIG. In FIG. 4, the spectacle frame 401 is open and does not have a filtered viewing lens, but rather the anisotropic viewing return region 402 limits the light that intersects the opposite eye. The

1つのプロジェクタを使用する代替的実施形態を図5に示す。図5では、プロジェクタ502は交互のフレームを逐次送り、フィルタ処理ビューイング・レンズ505,506
は、左右の画像を対応する目に選択的に渡す。前述のように、1つのプロジェクタ502は、偏光の直交性を切り替えることによって(プラナー偏光又は円偏光のどちらかを使用するとき)、又はビューイング・レンズにおけるアクティブ・シャッタによる時間多重化、又はビューイング・レンズにおけるスペクトル・フィルタが通過させる制限された色を左/右の側に投影することによって、ビューイング・レンズと調整される。
An alternative embodiment using one projector is shown in FIG. In FIG. 5, projector 502 sequentially sends alternating frames and filtered viewing lenses 505, 506.
Selectively passes left and right images to the corresponding eyes. As described above, one projector 502 can either time-multiplex by switching the polarization orthogonality (when using either planar or circular polarization), or time multiplexing with an active shutter in the viewing lens, or view It is coordinated with the viewing lens by projecting on the left / right side the limited color that the spectral filter in the ining lens passes.

拡張現実の仮想形態又は高度な形態の提示を行うには、ユーザの視線を算出することが必要である。本明細書の目的では、視線は、ユーザの目の間から発し、互いに平行となるように取り付けられるプロジェクタ102,104の中央投影線に対して平行に前方に延びる線とする。   In order to present a virtual form or an advanced form of augmented reality, it is necessary to calculate the user's line of sight. For the purposes of this specification, the line of sight originates from between the user's eyes and is a line that extends forward in parallel to the central projection lines of the projectors 102 and 104 that are mounted so as to be parallel to each other.

視線トラッキング・サブシステムは、102及び104の中央投影線に対して平行な中央視界の線に取り付けられる1つのヘッドセット・カメラ又は複数のカメラ103と、図6に示されるような「パッド」の形態を取り得る1つの「マーカ」又は複数のマーカとを備える。本実施形態において、このパッド又は板601は、5つの赤外発光ダイオードのセットを備え、そのセットにおいて、4つの外側ユニット602〜605は定出力モードである一方、オフセット内側ダイオード606は識別符号パターンを使用して変調される。エミッタ用の電源及び変調回路がパッド(図示せず)の材料に埋め込まれてもよく、エミッタが他の場所から有線によって供給を受けてもよい。また、マーカは、投影される画像をヘッドセットに戻す表面の一部分となる再帰反射材を備える前面を有してよい。複数のマーカ・パッドは、特にヘッドセット・ファームウェア又はソフトウェアによって識別されるように、変調されたIR源によってブロードキャストされる様々な符号を有する所与の構成により使用されることができる。均等なマーカ構成は、本技術分野における設計者には明らかである。   The line-of-sight tracking subsystem consists of a headset camera or multiple cameras 103 attached to a line of central vision parallel to the central projection lines 102 and 104 and a “pad” as shown in FIG. It includes one “marker” or a plurality of markers that can take the form. In this embodiment, this pad or plate 601 comprises a set of five infrared light emitting diodes, in which the four outer units 602-605 are in constant output mode, while the offset inner diode 606 is an identification code pattern. Is modulated using. The power supply and modulation circuit for the emitter may be embedded in the material of the pad (not shown), and the emitter may be supplied by wire from other locations. The marker may also have a front surface with a retroreflective material that becomes part of the surface that returns the projected image to the headset. Multiple marker pads can be used with a given configuration having various codes broadcast by a modulated IR source, particularly as identified by headset firmware or software. An equivalent marker configuration will be apparent to designers in the art.

図7aには、ヘッドセット上のプロジェクタから、フレーム705に対し取り付けられる再帰反射表面701までの典型的な光学経路を示す。再帰反射表面では、その性質上、ユーザに対して提示される角度は決定的ではなく、その表面は、折れ、曲がり、又は平坦な部分を有し得る。図7bには、幾何学的データを提供するように、カメラ(図1の103)によってトラッキングされる発光体のマーカ・パターン704から発する光の光学経路705を示す。この幾何学的データは、固定表面に対するユーザの見通し線を算出するよう数学的に処理されることが可能である。この図では、図6のマーカは開口がIR発光用に提供されるように表面701の中に埋め込まれている。これに代えて、表面がIRに対して透明であり、その後ろにマーカ・パッドが存在してもよい。本明細書の目的では、用語「再帰反射体」は、投影される光の相当な量を直接的にプロジェクタの方向へと戻す、透明から不透明までの任意の表面であってよい。   FIG. 7 a shows a typical optical path from the projector on the headset to the retroreflective surface 701 that is attached to the frame 705. For retroreflective surfaces, by nature, the angle presented to the user is not critical, and the surface may have a fold, bend, or flat portion. FIG. 7b shows the optical path 705 of light emanating from the emitter marker pattern 704 that is tracked by the camera (103 in FIG. 1) to provide geometric data. This geometric data can be mathematically processed to calculate the user's line of sight relative to the fixed surface. In this figure, the marker of FIG. 6 is embedded in the surface 701 so that an opening is provided for IR emission. Alternatively, the surface may be transparent to IR and behind it may be a marker pad. For the purposes of this specification, the term “retroreflector” may be any surface from transparent to opaque that returns a substantial amount of the projected light directly to the projector.

図1のヘッドセットは、ユーザの対応する目の各々に直接的に向けられる画像形成経路にプロジェクタの出力を再配向する「クリップオン」光学リレー・システム・アタッチメントによって、投影モードから、エンクロージャ型のニア・ツー・アイ仮想現実ディスプレイへと変換されることができる。アタッチメントの1つの側の光学経路の断面図を、図8aに示す。この図では、エンクロージャ801は、ヒンジ機構805によって、ヘッドセット・フレーム101上のプロジェクタハウジング102にクランプ手段により定位置に保持されている。エンクロージャ801は、プロジェクタによって生成される画像を、ユーザの目に対して同軸に提示され、且つ、視認可能な画像を生成するようにコリメートされるように向ける光学要素の構成を定位置に保持ための手段(図示せず)を備える。示した実施形態では、プロジェクタ102からの画像は、ミラー802によって下方に、次いでビームスプリッタ803によって前方に配向され、その後、成形ミラー804によって反射される。成形ミラー804は、ビームスプリッタ803及びヘッドセットのビューイング・レンズ105を通じて戻る正しい偏光のコリメート画像を提供する。回折、反射
、又は屈折光学要素は、画像特性を変えるために光学システムに配置されることができる。この光学経路について本実施形態では記載しているが、ヘッドマウントディスプレイの技術分野において使用されるニア・アイ(near eye)光学リレー手段の多くの例が存在し、当業者は、このアタッチメント用に任意の数の代替の経路を設計することができる。
The headset of FIG. 1 takes the enclosure type from the projection mode by a “clip on” optical relay system attachment that redirects the projector output to an imaging path that is directed directly to each of the user's corresponding eyes. Can be converted to a near-to-eye virtual reality display. A cross-sectional view of the optical path on one side of the attachment is shown in FIG. 8a. In this figure, the enclosure 801 is held at a fixed position by the clamping means on the projector housing 102 on the headset frame 101 by the hinge mechanism 805. Enclosure 801 holds in place the configuration of optical elements that direct the image generated by the projector to be collimated to produce a viewable image that is presented coaxially to the user's eyes. Means (not shown). In the illustrated embodiment, the image from projector 102 is oriented downward by mirror 802 and then forward by beam splitter 803 and then reflected by shaping mirror 804. The shaping mirror 804 provides a correctly polarized collimated image returning through the beam splitter 803 and the viewing lens 105 of the headset. Diffractive, reflective, or refractive optical elements can be placed in the optical system to change the image characteristics. Although this optical path is described in this embodiment, there are many examples of near eye optical relay means used in the technical field of head mounted displays, and those skilled in the art will be able to use this attachment for this attachment. Any number of alternative paths can be designed.

図8bでは、ユーザがアタッチメントを完全に取り外すことなくモードを切り替えられるような、ヒンジ805による「フリップ・アップ」されるアタッチメントを示す。ヘッドセットは、使用中のモードをサポートするために必要な画像補正(反転など)をシステムに関連するファームウェア及びソフトウェアが行い得るように、アタッチメントの存在及び位置を電気的又は光学的に検出する手段(図示せず)を有することが想定される。また、ユーザが、キーボード、ゲーム・コントローラ、又は他の機器から手を退けることなくエンクロージャ型の仮想現実モードへ切り替えるために素早く頷く頭の動きによってアタッチメントを上がった位置から「フリップ・ダウン」することができるような機械的手段(図示せず)が備えられることも想定される。   FIG. 8b shows an attachment that is “fliped up” by hinge 805 so that the user can switch modes without completely removing the attachment. The headset is a means of electrically or optically detecting the presence and position of the attachment so that the firmware and software associated with the system can perform the necessary image correction (such as inversion) to support the mode in use. (Not shown) is assumed. Users can also “flip down” the attachment from a raised position by a quick head movement to switch to enclosure-type virtual reality mode without leaving the keyboard, game controller, or other device. It is also envisaged that mechanical means (not shown) can be provided.

図8cには、ヘッドセットの正面を覆う係合位置における、プロジェクタにクランプによって付けられているアタッチメントの正面図を示す。このアタッチメントは、その後ろのヘッドセットを示すようにエックス線スタイルにより示されているが、不透明であるとして考えられる。当業者は、多くの他のエンクロージャと、磁石、スナップ、又は面ファスナーなどによってなど取付の手段とを設計することができるが、全ての設計において、固定具がカメラ103を覆ったり、又はその視界を制限したりすることがあってはならない。また、本記載のいずれでも、片目のみに閉じた画像又は情報を供給する拡張現実用途用に使用されるものなど、アタッチメントの半分の実装(図8dに示す)を排除しない。   FIG. 8c shows a front view of the attachment attached by a clamp to the projector in an engaged position covering the front of the headset. This attachment is shown in X-ray style to show the headset behind it, but is considered opaque. One skilled in the art can design many other enclosures and attachment means, such as by magnets, snaps or hook-and-loop fasteners, but in all designs the fixture covers camera 103 or its view. It should not be restricted. Also, none of the present description excludes half of the attachments (shown in FIG. 8d), such as those used for augmented reality applications that supply closed images or information to only one eye.

また、均等のアタッチメントが図5に開示される1つのプロジェクタの実施形態用に設計可能であることが、光学リレーの当業者には明らかであろう。そのような一実施形態では、図8aに示したのと同様のシステムに投入する前に、各目に対して側方に画像をリレーするビームスプリッタ又はアクティブ・ビーム・スイッチが伴われる。これに代えて、光学リレーがプロジェクタの出力を両目に送ってもよく、その場合、所望されないフレームは、時間式シャッタ、偏光フィルタ、スペクトル・フィルタ、又は他の光学的な手段によって除外される。   It will also be apparent to those skilled in the art of optical relays that equivalent attachments can be designed for the single projector embodiment disclosed in FIG. One such embodiment is accompanied by a beam splitter or active beam switch that relays the image laterally for each eye prior to launching into a system similar to that shown in FIG. 8a. Alternatively, an optical relay may send the output of the projector to both eyes, in which case undesired frames are excluded by a temporal shutter, polarizing filter, spectral filter, or other optical means.

いくつかの拡張現実用途では、コンピュータグラフィックス・システムによって生成される画像を現実世界の実際の画像と混合することが所望される。この目的を達成するために、アタッチメントは、図9に示されるように、外の世界から入る光用の経路を提供するための手段を具体化することができる。この実施形態では、エンクロージャは、開口に取り付けられ、前方を向いているレンズ又はレンズ・システム901を備える。レンズ又はレンズ・システム901は、外部の光を集め、その光に図8aにおいて前述した同軸の光学経路に加わる前にフィルタ手段902及び半反射ミラー804を通過させる。視界と、アナモルフィックと、色補正と、投影又は外部経路の他の特性となど、光学系は、屈折、回折、及び反射光学要素を有するアタッチメントによって修正されることができる。フィルタ手段902は、偏光子若しくは電子シャッタ、スペクトル・フィルタ、又はレンズ又はレンズ・システム901によって集められる画像の一部分をマスキング又は遮断する他の手段を含み得る。この光学動作の制御用の電子手段については示していないが、当業者には知られている。これに代えて、図10に示されるように、エンクロージャの前部に1つ又は複数のカメラ1001を取り付けることによって、「シースルー」モードが達成されてよい。本技術においてよく知られるように、本実施形態において、外部の世界の画像は、CGI画像のマスキング及び置換又はオーバーレイを制御するグラフィカルな混合ファームウェア及びソフトウェア(図示せず)へと電気的にリレーされる(同じく、図示せ
ず)。図10の実施形態は、ビデオカメラにより戻される画像によって指の動き及びジェスチャーをトラッキングするように開発されたものなど画像処理ソフトウェアと組み合わされるとき、特に有用である。
In some augmented reality applications, it is desirable to mix an image generated by a computer graphics system with an actual image of the real world. To achieve this goal, the attachment can embody means for providing a path for light entering from the outside world, as shown in FIG. In this embodiment, the enclosure comprises a lens or lens system 901 attached to the opening and facing forward. A lens or lens system 901 collects external light and passes it through filter means 902 and semi-reflective mirror 804 before entering the coaxial optical path previously described in FIG. 8a. The optical system, such as field of view, anamorphic, color correction, and other characteristics of the projection or external path, can be modified by attachments with refractive, diffractive, and reflective optical elements. Filter means 902 may include a polarizer or electronic shutter, a spectral filter, or other means for masking or blocking a portion of the image collected by the lens or lens system 901. The electronic means for controlling this optical operation are not shown, but are known to those skilled in the art. Alternatively, as shown in FIG. 10, a “see-through” mode may be achieved by attaching one or more cameras 1001 to the front of the enclosure. As is well known in the art, in this embodiment, external world images are electrically relayed to graphical mixed firmware and software (not shown) that controls masking and replacement or overlay of CGI images. (Also not shown). The embodiment of FIG. 10 is particularly useful when combined with image processing software such as those developed to track finger movements and gestures with images returned by a video camera.

結論
本明細書において、例示的な実施形態が例として記載された。しかし、特許請求の範囲によって定義される本実施形態が対象とする要素、製品、及び方法の真の範囲及び精神から逸脱することなく本実施形態に対して変更及び修正が行われてもよいことを、当業者は理解するだろう。
CONCLUSION Exemplary embodiments have been described herein by way of example. However, changes and modifications may be made to this embodiment without departing from the true scope and spirit of the elements, products and methods covered by this embodiment as defined by the claims. Will be understood by those skilled in the art.

米国特許文献   US Patent Literature

米国特許出願   US patent application

他の公開文献   Other publications

Claims (20)

ヘッドマウントディスプレイにおいて、
1つ以上の画像プロジェクタを支持するヘッドセット又は眼鏡フレームであって、
前記プロジェクタは垂直な瞳の中心線の直上又は直下に取り付けられている、ヘッドセット又は眼鏡フレームと、
1つ以上の再帰反射表面であって、
投影された画像を前記ヘッドセットへ戻す、表面と、
前記ヘッドセットの両側に取り付けられている前記プロジェクタから発する所望されない画像の輝度を低減するフィルタ手段と、を備える、ヘッドマウントディスプレイ。
In head mounted display,
A headset or eyeglass frame that supports one or more image projectors,
The projector is mounted directly above or below the center line of the vertical pupil, a headset or eyeglass frame;
One or more retroreflective surfaces,
Returning a projected image to the headset; a surface;
And a filter means for reducing the luminance of an undesired image emitted from the projector attached to both sides of the headset.
前記フィルタ手段は、
第1のプロジェクタに適用される第1の偏光フィルタと、
第2のプロジェクタに適用される第2の偏光フィルタであって、前記第2のフィルタの偏光の向きは前記第1の偏光フィルタの偏光の向きに直交している、第2の偏光フィルタと、
偏光フィルタを有する第1のビューイング・レンズであって、
前記第1のビューイング・レンズは前記ヘッドセットにおいて前記第1のプロジェクタと同じ側にあり、
前記第1のビューイング・レンズ上の前記第1の偏光フィルタは、前記第2のプロジェクタ上の前記第2の偏光フィルタを通過する反射画像を除外するように構成されている、第1のビューイング・レンズと、
偏光フィルタを有する第2のビューイング・レンズであって、前記第2のビューイング・レンズは前記ヘッドセットにおいて前記第2のプロジェクタと同じ側にあり、
前記第2のビューイング・レンズ上の前記第2の偏光フィルタは、前記第1のプロジェクタ上の前記第1の偏光フィルタを通過する反射画像を除外するように構成されている、第2のビューイング・レンズと、を備える請求項1に記載のヘッドマウントディスプレイ。
The filter means includes
A first polarizing filter applied to the first projector;
A second polarizing filter applied to a second projector, wherein a direction of polarization of the second filter is orthogonal to a direction of polarization of the first polarizing filter;
A first viewing lens having a polarizing filter,
The first viewing lens is on the same side of the headset as the first projector;
The first view, wherein the first polarizing filter on the first viewing lens is configured to exclude reflected images passing through the second polarizing filter on the second projector. Ing Lens,
A second viewing lens having a polarizing filter, wherein the second viewing lens is on the same side of the headset as the second projector;
The second view, wherein the second polarizing filter on the second viewing lens is configured to exclude reflected images that pass through the first polarizing filter on the first projector. The head mounted display according to claim 1, further comprising an ing lens.
各側に投影される光の前記偏光の種類はプラナーである、請求項2に記載のヘッドマウントディスプレイ。   The head mounted display according to claim 2, wherein the type of polarization of the light projected on each side is a planar. 各側に投影される光の前記偏光の種類はサーキュラーである、請求項2に記載のヘッドマウントディスプレイ。   The head mounted display according to claim 2, wherein the type of polarization of light projected on each side is circular. 前記フィルタ手段は、
第1のプロジェクタに適用される第1のスペクトル・フィルタと、
第2のプロジェクタに適用される第2のスペクトル・フィルタであって、
前記第1のスペクトル・フィルタと共通しない可視スペクトルの部分を通過させる、第2のスペクトル・フィルタと、
スペクトル・フィルタを有する第1のビューイング・レンズであって、
前記第1のビューイング・レンズは前記ヘッドセットについて前記第1のプロジェクタと同じ側にあり、
前記第1のビューイング・レンズにおける前記第1のスペクトル・フィルタは、前記第2のプロジェクタにおける前記第2のスペクトル・フィルタを通過する反射画像を除外するように構成されている、第1のビューイング・レンズと、
スペクトル・フィルタを有する第2のビューイング・レンズであって、
前記第2のビューイング・レンズは前記ヘッドセットについて前記第2のプロジェクタと同じ側にあり、
前記第2のビューイング・レンズにおける前記第2のスペクトル・フィルタは、前記第
1のプロジェクタ上の前記第1のスペクトル・フィルタを通過する反射画像を除外するように構成されている、第2のビューイング・レンズと、を備える請求項1に記載のヘッドマウントディスプレイ。
The filter means includes
A first spectral filter applied to the first projector;
A second spectral filter applied to a second projector,
A second spectral filter that passes a portion of the visible spectrum that is not in common with the first spectral filter;
A first viewing lens having a spectral filter comprising:
The first viewing lens is on the same side of the headset as the first projector;
The first view, wherein the first spectral filter in the first viewing lens is configured to exclude reflected images that pass through the second spectral filter in the second projector. Ing Lens,
A second viewing lens having a spectral filter,
The second viewing lens is on the same side of the headset as the second projector;
The second spectral filter in the second viewing lens is configured to exclude reflected images passing through the first spectral filter on the first projector; The head mounted display according to claim 1, further comprising a viewing lens.
前記プロジェクタの前記スペクトル・フィルタの処理は、投影された前記画像の画素を符号化する際の色選択によるか、又は用いられる物理的な発光体の放射スペクトルによる、請求項5に記載のヘッドマウントディスプレイ。   6. The head mount according to claim 5, wherein the processing of the spectral filter of the projector is by color selection in encoding pixels of the projected image or by the emission spectrum of the physical illuminant used. display. 前記フィルタ手段は、
第1及び第2の前記画像プロジェクタが画像投影用の交互の時間スロットを有することと、
取付式の又は内蔵の透明性切替手段を有する第1及び第2のビューイング・レンズと、を含み、
前記切替手段は、両側のプロジェクタから発する画像を遮断するように前記投影の時間スロットと調整されている、請求項1に記載のヘッドマウントディスプレイ。
The filter means includes
The first and second image projectors have alternating time slots for image projection;
First and second viewing lenses having mounted or built-in transparency switching means,
The head mounted display according to claim 1, wherein the switching unit is adjusted to a time slot of the projection so as to block images emitted from projectors on both sides.
前記フィルタ手段は、
垂直な向きに異方性の長軸を有する異方性再帰反射表面と、
前記プロジェクタを前記ヘッドセットの複数の目の位置に対する中心位置の上又は下に垂直に整合させることと、を含み、
前記異方性再帰反射は、反射画像同士を分離するように水平寸法において十分に狭い反射輝度パターンを有する、請求項1に記載のヘッドマウントディスプレイ。
The filter means includes
An anisotropic retroreflective surface having an anisotropic major axis in a vertical orientation;
Vertically aligning the projector above or below a center position with respect to a plurality of eye positions of the headset;
The head-mounted display according to claim 1, wherein the anisotropic retroreflection has a reflection luminance pattern that is sufficiently narrow in a horizontal dimension so as to separate reflection images.
請求項1に記載のヘッドマウントディスプレイと、
光エミッタの幾何学的アレイからの光信号を受信するために前記ヘッドセット上に取り付けられている1つ以上のカメラと、を備えるシステムであって、
前記エミッタは、前記再帰反射表面と共に取り付けられており、前記アレイにおける前記エミッタのうちの1つは符号化された識別パターンを送る、システム。
A head-mounted display according to claim 1;
One or more cameras mounted on the headset for receiving light signals from a geometric array of light emitters, the system comprising:
The emitter is mounted with the retroreflective surface, and one of the emitters in the array sends a coded identification pattern.
前記エミッタは赤外光を投影する、請求項9に記載のシステム。   The system of claim 9, wherein the emitter projects infrared light. 前記光信号からエミッタの前記アレイに関するユーザの視線を算出するための手段をさらに備える、請求項9に記載のシステム。   The system of claim 9, further comprising means for calculating a user's line of sight for the array of emitters from the optical signal. プロジェクション拡張現実ヘッドセット又は眼鏡と、
着脱可能なアタッチメントと、を備えるシステムであって、
前記アタッチメントは、前記ヘッドセットの前部の片側又は両側に取付可能であり、
前記アタッチメントは、前記ヘッドセットの動作をニア・アイ・ディスプレイ・システムの動作へと再構成するための手段を含む、システム。
Projection augmented reality headset or glasses,
A system comprising a detachable attachment,
The attachment can be attached to one side or both sides of the front part of the headset,
The attachment includes a means for reconfiguring the operation of the headset to the operation of a near eye display system.
ユーザの前方における現実世界からの画像を受け取るためのレンズと、
前記画像をプロジェクタからの画像と混合するための手段と、をさらに備える請求項12に記載のアタッチメント。
A lens to receive images from the real world in front of the user;
The attachment of claim 12, further comprising means for mixing the image with an image from a projector.
前記プロジェクタからの画像との混合に先立って前記現実世界からの前記画像の空間部分をマスキングするための手段をさらに備える、請求項13に記載のアタッチメント。   14. The attachment of claim 13, further comprising means for masking a spatial portion of the image from the real world prior to mixing with the image from the projector. ヒンジ式の取付手段であって、
前記ヘッドセットによる画像投影の経路内及び経路外に前記アタッチメントを回転させることによって前記ヘッドセットの動作モードの切替を行う手段をさらに備える、請求項
12に記載のアタッチメント。
A hinged attachment means,
The attachment according to claim 12, further comprising means for switching the operation mode of the headset by rotating the attachment in and out of a path of image projection by the headset.
電気又は光学センサをさらに備え、
前記センサは、前記アタッチメントの存在、位置、又はその両方について、前記システムのファームウェア又はソフトウェアに情報を提供するための手段を含む、請求項15に記載のアタッチメント。
Further comprising an electrical or optical sensor;
The attachment of claim 15, wherein the sensor includes means for providing information to the firmware or software of the system about the presence, location, or both of the attachment.
拡張現実を表示するための方法であって、
1つ以上のヘッドマウント画像プロジェクタから画像を投影する工程と、
1つ以上の再帰反射表面によって前記画像をヘッドセットへ戻すように反射する工程と、
反射された前記画像を、時系列化、偏光、スペクトル利用、又はスペクトル輝度パターンからなる組から選択される手段によってフィルタ処理する工程と、
フィルタ処理された画像を選択されたユーザの目に渡す工程と、を備える方法。
A method for displaying augmented reality,
Projecting images from one or more head-mounted image projectors;
Reflecting the image back to the headset by one or more retroreflective surfaces;
Filtering the reflected image by means selected from the group consisting of time series, polarization, spectral utilization, or spectral luminance pattern;
Passing the filtered image to a selected user's eye.
仮想現実を表示するための方法であって、
ヘッドマウント式の投影拡張現実アプライアンスを提供する工程と、
前記アプライアンスに光学装置を取り付ける工程と、を備え、
前記装置は投影された画像をニア・アイ・モードへと再配向する、方法。
A method for displaying virtual reality,
Providing a head-mounted projection augmented reality appliance;
Attaching an optical device to the appliance, and
The apparatus wherein the device redirects the projected image to near-eye mode.
ヘッドマウントディスプレイの動作のモードを切り替えるための方法であって、
頭部の頷きによって、手を使用することなく光学装置を下げる工程を備え、
前記装置は投影された画像をニア・アイ・モードへと再配向する、方法。
A method for switching the mode of operation of a head mounted display,
With the process of lowering the optical device without using the hand by whispering the head,
The apparatus wherein the device redirects the projected image to near-eye mode.
ヘッドマウントディスプレイの視線をトラッキングするための方法であって、
1つ以上の高解像度電子カメラによって5つ以上の赤外発光ダイオードの非対称パターンを撮像する工程と、
エミッタの前記パターンを世界位置に対する位置により固定する工程と、
前記エミッタのうち、前記パターンにおいて一意な位置を有するダイオードを一意な識別符号番号を用いて変調する工程と、
前記撮像を行うカメラからの信号の画像処理による復調を可能にするように前記変調を符号化する工程と、
前記復調から前記一意な識別符号番号を抽出する工程と、
前記識別番号に関して格納されている基準のサイズ及び形状の情報を検索する工程と、
前記撮像を行うカメラからの画像を前記基準のパターンについて格納されている前記サイズ及び前記形状に対して解析することによって、視線の座標について解を得る工程と、を備える方法。
A method for tracking the line of sight of a head mounted display,
Imaging an asymmetric pattern of five or more infrared light emitting diodes with one or more high resolution electronic cameras;
Fixing the pattern of the emitter according to its position relative to the world position;
Modulating a diode of the emitter having a unique position in the pattern using a unique identification code number;
Encoding the modulation to enable demodulation by image processing of a signal from the camera that performs the imaging;
Extracting the unique identification code number from the demodulation;
Retrieving reference size and shape information stored for the identification number;
Analyzing the image from the camera that performs the imaging with respect to the size and shape stored for the reference pattern to obtain a solution for the coordinates of the line of sight.
JP2016524419A 2013-10-15 2014-10-10 System and method for reconfigurable projection augmented reality / virtual reality appliance Pending JP2016536635A (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361961446P 2013-10-15 2013-10-15
US61/961,446 2013-10-15
US14/267,325 US20140340424A1 (en) 2013-05-17 2014-05-01 System and method for reconfigurable projected augmented/virtual reality appliance
US14/267,325 2014-05-01
PCT/US2014/060020 WO2015057507A1 (en) 2013-10-15 2014-10-10 System and method for reconfigurable projected augmented/virtual reality appliance

Publications (1)

Publication Number Publication Date
JP2016536635A true JP2016536635A (en) 2016-11-24

Family

ID=52828565

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016524419A Pending JP2016536635A (en) 2013-10-15 2014-10-10 System and method for reconfigurable projection augmented reality / virtual reality appliance

Country Status (7)

Country Link
EP (1) EP3058417A4 (en)
JP (1) JP2016536635A (en)
KR (1) KR20160075571A (en)
CN (1) CN105765444A (en)
CA (1) CA2926687A1 (en)
MX (1) MX2016004537A (en)
WO (1) WO2015057507A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022108150A1 (en) * 2020-11-19 2022-05-27 삼성전자 주식회사 Wearable augmented reality electronic device preventing light interference

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180073166A (en) 2016-12-22 2018-07-02 엘지디스플레이 주식회사 Augmented reality device
CN107065185A (en) * 2017-03-30 2017-08-18 联想(北京)有限公司 A kind of control method and electronic equipment
US10771773B2 (en) * 2017-05-11 2020-09-08 Htc Corporation Head-mounted display devices and adaptive masking methods thereof
KR102461253B1 (en) * 2017-07-24 2022-10-31 삼성전자주식회사 Projection display apparatus including eye tracker
KR101969797B1 (en) * 2017-08-16 2019-08-21 김석배 Image realization apparatus using potable projector
KR20190085368A (en) 2018-01-10 2019-07-18 삼성전자주식회사 Folding-type wearable electronic device with optical transfering member transfer to transparent member from projector
CN110967166B (en) * 2018-09-28 2022-07-01 舜宇光学(浙江)研究院有限公司 Detection method, detection device and detection system of near-eye display optical system
CN109542240B (en) * 2019-02-01 2020-07-10 京东方科技集团股份有限公司 Eyeball tracking device and method
WO2021040076A1 (en) * 2019-08-27 2021-03-04 엘지전자 주식회사 Electronic device
TWI727725B (en) * 2020-03-27 2021-05-11 台灣骨王生技股份有限公司 Surgical navigation system and its imaging method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2043940A (en) * 1979-01-11 1980-10-08 Redifon Simulation Ltd Visual Display Apparatus
US6204974B1 (en) * 1996-10-08 2001-03-20 The Microoptical Corporation Compact image display system for eyeglasses or other head-borne frames
US7855743B2 (en) * 2006-09-08 2010-12-21 Sony Corporation Image capturing and displaying apparatus and image capturing and displaying method
WO2012054231A2 (en) * 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022108150A1 (en) * 2020-11-19 2022-05-27 삼성전자 주식회사 Wearable augmented reality electronic device preventing light interference

Also Published As

Publication number Publication date
EP3058417A1 (en) 2016-08-24
MX2016004537A (en) 2017-05-10
EP3058417A4 (en) 2017-12-06
CA2926687A1 (en) 2015-04-23
WO2015057507A1 (en) 2015-04-23
CN105765444A (en) 2016-07-13
KR20160075571A (en) 2016-06-29

Similar Documents

Publication Publication Date Title
JP2016536635A (en) System and method for reconfigurable projection augmented reality / virtual reality appliance
US20140340424A1 (en) System and method for reconfigurable projected augmented/virtual reality appliance
US10409073B2 (en) Virtual reality attachment for a head mounted display
KR101895085B1 (en) Opacity filter for see-through head mounted display
KR101577919B1 (en) Compact see-through display system
CN110476105A (en) Uniformity improves and the Waveguide display of the cross-coupling reduction between color
EP3714318B1 (en) Position tracking system for head-mounted displays that includes sensor integrated circuits
JP6792622B2 (en) Head-mounted display with a rotating display
CN104898276A (en) Head-mounted display device
JPWO2015012280A1 (en) Gaze detection device
AU2018226651A1 (en) Display system with video see-through
CN114365027A (en) System and method for displaying object with depth of field
KR20240056592A (en) compact catadioptric projector
CN111381377A (en) Near-to-eye display equipment
WO2016101861A1 (en) Head-worn display device
CN113272710A (en) Extending field of view by color separation
CN107111143B (en) Vision system and film viewer
CN111308720A (en) Head-mounted display device
CN111338175A (en) Transmission type geometric holographic display system
JP2017079389A (en) Display device, display device control method, and program
US20220175326A1 (en) Non-Invasive Experimental Integrated Reality System
CN110967828A (en) Display system and head-mounted display device
CN211669451U (en) Near-to-eye display equipment
WO2020137088A1 (en) Head-mounted display, display method, and display system
CN109963145B (en) Visual display system and method and head-mounted display device