JP2018525662A - 拡張現実のための方法とシステム - Google Patents
拡張現実のための方法とシステム Download PDFInfo
- Publication number
- JP2018525662A JP2018525662A JP2017567392A JP2017567392A JP2018525662A JP 2018525662 A JP2018525662 A JP 2018525662A JP 2017567392 A JP2017567392 A JP 2017567392A JP 2017567392 A JP2017567392 A JP 2017567392A JP 2018525662 A JP2018525662 A JP 2018525662A
- Authority
- JP
- Japan
- Prior art keywords
- wearer
- visualization
- computer
- mirror
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000003190 augmentative effect Effects 0.000 title abstract description 12
- 238000012800 visualization Methods 0.000 claims description 130
- 230000003287 optical effect Effects 0.000 claims description 54
- 208000014733 refractive error Diseases 0.000 claims description 37
- 239000004973 liquid crystal related substance Substances 0.000 claims description 29
- 230000004075 alteration Effects 0.000 claims description 25
- 230000004438 eyesight Effects 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 14
- 230000000750 progressive effect Effects 0.000 claims description 11
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 claims description 9
- 239000005276 holographic polymer dispersed liquid crystals (HPDLCs) Substances 0.000 claims description 7
- 230000004304 visual acuity Effects 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims 1
- 210000001508 eye Anatomy 0.000 description 55
- 239000011521 glass Substances 0.000 description 26
- 238000005286 illumination Methods 0.000 description 21
- 239000011159 matrix material Substances 0.000 description 15
- 239000000463 material Substances 0.000 description 13
- IICCLYANAQEHCI-UHFFFAOYSA-N 4,5,6,7-tetrachloro-3',6'-dihydroxy-2',4',5',7'-tetraiodospiro[2-benzofuran-3,9'-xanthene]-1-one Chemical compound O1C(=O)C(C(=C(Cl)C(Cl)=C2Cl)Cl)=C2C21C1=CC(I)=C(O)C(I)=C1OC1=C(I)C(O)=C(I)C=C21 IICCLYANAQEHCI-UHFFFAOYSA-N 0.000 description 12
- 229930187593 rose bengal Natural products 0.000 description 11
- 229940081623 rose bengal Drugs 0.000 description 11
- STRXNPAVPKGJQR-UHFFFAOYSA-N rose bengal A Natural products O1C(=O)C(C(=CC=C2Cl)Cl)=C2C21C1=CC(I)=C(O)C(I)=C1OC1=C(I)C(O)=C(I)C=C21 STRXNPAVPKGJQR-UHFFFAOYSA-N 0.000 description 11
- 239000000178 monomer Substances 0.000 description 10
- 229920000642 polymer Polymers 0.000 description 10
- 210000005252 bulbus oculi Anatomy 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 9
- 230000005684 electric field Effects 0.000 description 8
- 210000003128 head Anatomy 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 239000011248 coating agent Substances 0.000 description 6
- 238000000576 coating method Methods 0.000 description 6
- 239000007788 liquid Substances 0.000 description 6
- 239000000758 substrate Substances 0.000 description 6
- 230000003213 activating effect Effects 0.000 description 5
- 201000009310 astigmatism Diseases 0.000 description 5
- 239000000835 fiber Substances 0.000 description 5
- 238000009472 formulation Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 239000002904 solvent Substances 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000000151 deposition Methods 0.000 description 4
- 229910052500 inorganic mineral Inorganic materials 0.000 description 4
- 239000011707 mineral Substances 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000004308 accommodation Effects 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 3
- 230000001070 adhesive effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000010422 painting Methods 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 125000006850 spacer group Chemical group 0.000 description 3
- 239000004094 surface-active agent Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 208000029257 vision disease Diseases 0.000 description 3
- 230000004393 visual impairment Effects 0.000 description 3
- NIXOWILDQLNWCW-UHFFFAOYSA-M Acrylate Chemical compound [O-]C(=O)C=C NIXOWILDQLNWCW-UHFFFAOYSA-M 0.000 description 2
- WHNWPMSKXPGLAX-UHFFFAOYSA-N N-Vinyl-2-pyrrolidone Chemical compound C=CN1CCCC1=O WHNWPMSKXPGLAX-UHFFFAOYSA-N 0.000 description 2
- NPKSPKHJBVJUKB-UHFFFAOYSA-N N-phenylglycine Chemical compound OC(=O)CNC1=CC=CC=C1 NPKSPKHJBVJUKB-UHFFFAOYSA-N 0.000 description 2
- 239000004988 Nematic liquid crystal Substances 0.000 description 2
- DAKWPKUUDNSNPN-UHFFFAOYSA-N Trimethylolpropane triacrylate Chemical compound C=CC(=O)OCC(CC)(COC(=O)C=C)COC(=O)C=C DAKWPKUUDNSNPN-UHFFFAOYSA-N 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000008021 deposition Effects 0.000 description 2
- 238000003618 dip coating Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000001704 evaporation Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 238000001093 holography Methods 0.000 description 2
- 239000003999 initiator Substances 0.000 description 2
- 239000003504 photosensitizing agent Substances 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001179 pupillary effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000004528 spin coating Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- ZORQXIQZAOLNGE-UHFFFAOYSA-N 1,1-difluorocyclohexane Chemical compound FC1(F)CCCCC1 ZORQXIQZAOLNGE-UHFFFAOYSA-N 0.000 description 1
- OXBLVCZKDOZZOJ-UHFFFAOYSA-N 2,3-Dihydrothiophene Chemical compound C1CC=CS1 OXBLVCZKDOZZOJ-UHFFFAOYSA-N 0.000 description 1
- 206010058314 Dysplasia Diseases 0.000 description 1
- 239000004593 Epoxy Substances 0.000 description 1
- 108010010803 Gelatin Proteins 0.000 description 1
- 239000005264 High molar mass liquid crystal Substances 0.000 description 1
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 229920001214 Polysorbate 60 Polymers 0.000 description 1
- 206010038848 Retinal detachment Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000000862 absorption spectrum Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 239000003963 antioxidant agent Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 239000003054 catalyst Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000005137 deposition process Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 239000004815 dispersion polymer Substances 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003891 environmental analysis Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 239000000499 gel Substances 0.000 description 1
- 239000008273 gelatin Substances 0.000 description 1
- 229920000159 gelatin Polymers 0.000 description 1
- 235000019322 gelatine Nutrition 0.000 description 1
- 235000011852 gelatine desserts Nutrition 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 239000012760 heat stabilizer Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 239000006072 paste Substances 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 239000004014 plasticizer Substances 0.000 description 1
- 229920006254 polymer film Polymers 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 201000010041 presbyopia Diseases 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000013557 residual solvent Substances 0.000 description 1
- 230000004264 retinal detachment Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 235000011069 sorbitan monooleate Nutrition 0.000 description 1
- 239000001593 sorbitan monooleate Substances 0.000 description 1
- 229940035049 sorbitan monooleate Drugs 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000002562 thickening agent Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/18—Diffraction gratings
- G02B5/1828—Diffraction gratings having means for producing variable diffraction
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C7/00—Optical parts
- G02C7/02—Lenses; Lens systems ; Methods of designing lenses
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C7/00—Optical parts
- G02C7/02—Lenses; Lens systems ; Methods of designing lenses
- G02C7/08—Auxiliary lenses; Arrangements for varying focal length
- G02C7/081—Ophthalmic lenses with variable focal length
- G02C7/083—Electrooptic lenses
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C7/00—Optical parts
- G02C7/02—Lenses; Lens systems ; Methods of designing lenses
- G02C7/08—Auxiliary lenses; Arrangements for varying focal length
- G02C7/086—Auxiliary lenses located directly on a main spectacle lens or in the immediate vicinity of main spectacles
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour
- G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour based on liquid crystals, e.g. single liquid crystal display cells
- G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
- G02F1/1333—Constructional arrangements; Manufacturing methods
- G02F1/1334—Constructional arrangements; Manufacturing methods based on polymer dispersed liquid crystals, e.g. microencapsulated liquid crystals
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour
- G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour based on liquid crystals, e.g. single liquid crystal display cells
- G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
- G02F1/1333—Constructional arrangements; Manufacturing methods
- G02F1/1334—Constructional arrangements; Manufacturing methods based on polymer dispersed liquid crystals, e.g. microencapsulated liquid crystals
- G02F1/13342—Holographic polymer dispersed liquid crystals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
- G02B2027/0174—Head mounted characterised by optical features holographic
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F2203/00—Function characteristic
- G02F2203/50—Phase-only modulation
Abstract
Description
1つの態様において、本発明は装着者により装着されることが意図される頭部装着型機器(HMD)に関し、頭部装着型機器は、装着者がコンピュータ生成画像を表示し、視覚化するように構成され、前記頭部装着型機器(HMD)は、画像源(IS)と、装着者の片眼の正面に位置付けられるシースルーチューナブル回折ミラー(M)と、ミラー(M)を調整するように構成されたコントローラと、を含み、画像源(IS)は光ビームを前記ミラー(M)に向かって発するように構成され、前記発せられた光ビームは前記ミラー(M)で反射され、それによって装着者の前記眼に向かって方向付けられて、装着者によりコンピュータ生成画像が視覚化されるようにする。
1つの態様において、本発明は、装着者により装着されることが意図されるシースルー頭部装着型機器におけるシースルーチューナブル回折ミラー(M)の使用であって、前記頭部装着型機器は、画像源(IS)を含み、前記画像源(IS)は、光ビームを前記ミラー(M)に向かって発するように構成され、前記発せられた光ビームは前記ミラー(M)で反射され、それによって装着者の前記眼に向かって方向付けられ、装着者によるコンピュータ生成画像の視覚化が行われ、装着者によるコンピュータ生成画像の視覚化の距離を調節するため、及び/又は装着者によるコンピュータ生成画像の視覚化の視線方向を調節するため、及び/又は装着者によるコンピュータ生成画像の視覚化の見えの大きさを調節するため、及び/又はコンピュータ生成画像の視覚化のための焦点を装着者の眼の位置に合わせて調節するため、及び/又は装着者によるコンピュータ生成画像の視覚化における二次光学収差、例えば非球面化、像面収差等を補正するため、及び/又は装着者に屈折異常がある場合、装着者によるコンピュータ生成画像の視覚化のために装着者の屈折異常を少なくとも部分的に矯正するため、及び/又は装着者によるコンピュータ生成画像の視覚化を部分的又は完全にオフ又はオンに切り替えるための使用に関する。
(a)装着者に本明細書に記載されている頭部装着型機器(HMD)を提供するステップと、
(b)ミラー(M)を、装着者によるコンピュータ生成画像の視覚化の距離を調節するため、及び/又は装着者によるコンピュータ生成画像の視覚化の視線方向を調節するため、及び/又は装着者によるコンピュータ生成画像の視覚化の見えの大きさを調節するため、及び/又はコンピュータ生成画像の視覚化のための焦点を装着者の眼の位置に合わせて調節するため、及び/又は装着者によるコンピュータ生成画像の視覚化における二次光学収差、例えば非球面化、像面収差等を補正するため、及び/又は装着者に屈折異常がある場合、装着者によるコンピュータ生成画像の視覚化のために装着者の屈折異常を少なくとも部分的に矯正するため、及び/又は装着者によるコンピュータ生成画像の視覚化を部分的又は完全にオフ又はオンに切り替えるために調整するステップと、
を含む。
(i)自然の視野内のある物体の装着者による視覚化の距離及び/又は視線方向を、シーンカメラから収集したデータに基づいて判断するステップと、任意選択により画像認識ステップを実行するステップと、
(ii)装着者によるコンピュータ生成画像の視覚化の距離及び/又は視線方向をステップ(i)で判断された距離及び/又は視線方向に応じて調節するようにミラー(M)を調整するステップと、
(iii)任意選択により、ステップ(i)及び(ii)をタイムラプス方式で繰り返すステップと、
を含む。
(i)照度又はルミノシティの少なくとも1つの値を、照度又はルミノシティセンサから収集したデータに基づいて判断するステップと、
(ii)装着者によるコンピュータ生成画像の視覚化の視線方向をステップ(i)で判断された値に応じて調節するようにミラー(M)を調整するステップ及び/又は、任意選択によりステップ(i)で判断された値に応じてエレクトロクロミックセルを制御するステップと、
(iii)任意選択により、ステップ(i)及び(ii)をタイムラプス方式で繰り返すステップと、
を含む。
(i)自然の視野内のある物体の装着者による視覚化の距離及び/又は視線方向を、アイトラッカから収集したデータに基づいて判断するステップと、
(ii)装着者によるコンピュータ生成画像の視覚化の距離及び/又は視線方向をステップ(i)で判断された値に応じて調節するようにミラー(M)を調整するステップと、
(iii)任意選択により、ステップ(i)及び(ii)をタイムラプス方式で繰り返すステップと、
を含む。
本発明を説明するために、以下の定義を提供する。
本発明は、HMDにおけるシースルーチューナブル回折ミラーの使用に関する。ミラーは、コンピュータ生成画像の視覚化のためのものである。
1つの態様において、本発明は、画像源と、シースルーチューナブル回折ミラーと、ミラーを調整するように構成されたコントローラと、を含む頭部装着型機器を提供し、画像源は光ビームを前記ミラーに向かって発するように構成され、前記発せられた光ビームは前記ミラーで反射され、それによって装着者の前記眼に向かって方向付けられ、装着者によるコンピュータ生成画像の視覚化が行われる。
− 装着者によるコンピュータ生成画像の視覚化の距離を調節するため、及び/又は
− 装着者によるコンピュータ生成画像の視覚化の視線方向を調節するため、及び/又は
− 装着者によるコンピュータ生成画像の視覚化の見えの大きさを調節するため、及び/又は
− コンピュータ生成画像の視覚化のための焦点を装着者の眼の位置に調節するため、及び/又は
− 装着者によるコンピュータ生成画像の視覚化における、非球面化、像面収差等の二次的光学収差を補正するため、及び/又は
− 装着者に屈折異常がある場合、装着者によるコンピュータ生成画像の視覚化のために装着者の屈折異常を少なくとも部分的に矯正するため、及び/又は
− 装着者によるコンピュータ生成画像の視覚化を部分的又は完全にオフ又はオンに切り替えるため
に調整されてもよい。
本発明によれば、シースルーチューナブル回折ミラーは、
− 装着者によるコンピュータ生成画像の視覚化の距離を調節するため、及び/又は
− 装着者によるコンピュータ生成画像の視覚化の視線方向を調節するため、及び/又は
− 装着者によるコンピュータ生成画像の視覚化の見えの大きさを調節するため、及び/又は
− コンピュータ生成画像の視覚化のための焦点を装着者の眼の位置に調節するため、及び/又は
− 装着者によるコンピュータ生成画像の視覚化における、非球面化、像面収差等の二次的光学収差を補正するため、及び/又は
− 装着者に屈折異常がある場合、装着者によるコンピュータ生成画像の視覚化のために装着者の屈折異常を少なくとも部分的に矯正するため、及び/又は
− 装着者によるコンピュータ生成画像の視覚化を部分的又は完全にオフ又はオンに切り替えるため
に使用できる。
(a)装着者に本明細書に記載されている頭部装着型機器(HMD)を提供するステップと、
(b)ミラー(M)を、
− 装着者によるコンピュータ生成画像の視覚化の距離を調節するため、及び/又は
− 装着者によるコンピュータ生成画像の視覚化の視線方向を調節するため、及び/又は
− 装着者によるコンピュータ生成画像の視覚化の見えの大きさを調節するため、及び/又は
− コンピュータ生成画像の視覚化のための焦点を装着者の眼の位置に調節するため、及び/又は
− 装着者によるコンピュータ生成画像の視覚化における、非球面化、像面収差等の二次的光学収差を補正するため、及び/又は
− 装着者に屈折異常がある場合、装着者によるコンピュータ生成画像の視覚化のために装着者の屈折異常を少なくとも部分的に矯正するため、及び/又は
− 装着者によるコンピュータ生成画像の視覚化を部分的又は完全にオフ又はオンに切り替える
ために調整するステップと、
を含む。
(i)装着者による自然の視野内のある物体の視覚化の距離及び/又は視線方向を、シーンカメラから収集したデータに基づいて判断するステップと、任意選択により画像認識ステップを実行するステップと、
(ii)装着者によるコンピュータ生成画像の視覚化の距離及び/又は視線方向をステップ(i)で判断された距離及び/又は視線方向に応じて調節するようにミラー(M)を調整するステップと、
(iii)任意選択により、ステップ(i)及び(ii)をタイムラプス方式で繰り返すステップと、
を含む。
(i)照度又はルミノシティの少なくとも1つの値を、照度又はルミノシティセンサから収集したデータに基づいて判断するステップと、
(ii)装着者によるコンピュータ生成画像の視覚化の視線方向を、ステップ(i)で判断された値に応じて調節するようにミラー(M)を調整するステップ、及び/又は任意選択により、ステップ(i)で判断された値に応じてエレクトロクロミックセルを制御するステップと、
(iii)任意選択により、ステップ(i)及び(ii)をタイムラプス方式で繰り返すステップと、
を含む。
(i)装着者による自然の視野内のある物体の視覚化の距離及び/又は視線方向を、アイトラッカにより収集したデータに基づいて判断するステップと、
(ii)装着者によるコンピュータ生成画像の視覚化の距離及び/又は視線方向を、ステップ(i)で判断された値に応じて調節するようにミラー(M)を調整するステップと、
(iii)任意選択により、ステップ(i)及び(ii)をタイムラプス方式で繰り返すステップと、
を含む。
ホログラフィックミラーの光学特性
ホログラフィ技術は当業界で知られている。これらは一般に、まず、ホログラフィックサポート等の適当な媒体上に記録するステップと、次に、ホログラフィック画像を再構築するステップを含む。記録するステップは一般に、媒体を参照ビームRBと照明ビームIBによる二重照明を含む。ホログラフィック画像を再構築するステップは、記録された媒体を参照ビームRBで照明することによって実行できる。
− ミラーのうち、画像が表示される領域に対応する、画像源のビームが反射される領域
− 焦点距離(おそらくは、装着者の眼科データを考慮する)
− 眼の方位軸に応じた視線方向を提供するための画像の反射角。
セルの特性を全体的又は局所的に(最も用途が広い)変化させることもできる。また、様々な値の焦点距離又は異なる反射角(視線方向)を持つ別々の領域(例えばVP、VL)を画定することも可能である。
本発明により実装されるHMを得るために、記録ステップは、ホログラフィック材料のフィルムFの光学機能を記録する(付与する)ために使用される。その結果(記録されたフィルム)は、画像源からのビームを反射させるために使用されるミラーであり、それによって装着者によりバーチャル画像の視覚化される。
このようなミラーは、重クロム酸ゼラチン又はフォトポリマ等の特定の材料から得ることができる。フォトポリマは、いずれの物理的状態(液体、固体、ペースト等)でもありえ、標準的条件下でのこれらの固体及びこれらの液体を含む。ミラー機能は、特定の材料の中にホログフラィ技術により記録される。
− 例えばポリエステル等のポリマフィルムのような柔軟な基板上へのフォトポリマの堆積
− 蒸発又は加熱による残留溶媒の除去
− よく知られている移動プロセスを使用し、これを使用材料(フィルムとフォトポリマ)に適合させることによる、平面又は曲面形状を持つ基板(鉱物又は有機)上へのフォトポリマによる被覆フィルムの移動(例えば、ESSILORの特許出願である国際公開第2007144308A1号パンフレット、国際公開第2010010275A2号パンフレット)。フォトポリマは、この場合、移動したフィルムの表面上にあるか、基板と接触することができる。
本発明によれば、チューナブルミラーに様々な構造を使用できる。これらの構造は、相互に組み合わせても、及び/又はパッシブ(調整不能な)ミラーと組み合わせてもよい。
1つの態様において、ミラーは1つ又は複数のゾーンで形成され、ホログラムがそこに登録され、前記ホログラムは調整(例えば、ディアクティベート)可能である。これらのゾーンは、ミラーの表面全体から1つ又は複数の小さいピクセルまで様々であってもよい。ピクセル内に記録される縞の数は、ミラーの機能が有効になるような数とすべきである。例えば、100本の縞の場合、50マイクロメートル以上のピクセルサイズを使用してもよい。各ピクセルの機能が記録されるが、調整は可能でも不可能でもよい。前記個別の機能は設定されるが、「微視的」ホログラフィック機能の集合に対応するピクセルの組合せ(集合)を使って異なる「巨視的」機能を実現できる。これらの組合せに加えて、例えば、ゾーンが大きければ、各領域に異なる機能が記憶された(記録された)いくつかのゾーンを有することが可能であり、これらは個別に調整できるように構成されてもよい。また、複数の層を実装することにより、同じ領域上で特徴を重畳させることも可能であり、各層は別々に調整されてもよい。
主モノマとしてトリメチロールプロパントリアクリレート(TMPTA)
結合モノマとしてN−ビニルピロリドン(NVP)
光重合開始剤としてローズベンガル(RB)
共開始剤としてN−フェニルグリシン(NPG)
表面活性剤としてS−271 POEソルビタンモノオレアート
液晶E7。
1つの態様において、ミラーは液晶マトリクス(アレイ)であり、これはアクティブでもパッシブでもよい。このマトリクスはSLMの製作に使用されるマトリクスと同様であるが、それが必ずしもアクティブマトリクスでなくてもよい点が異なる。パッシブマトリクスは、軸又は対称中心を有する単純な機能のために使用されてもよい。アクティブマトリクスは、より多様な用途とミラー管理(制御、調整)を提供する。インデックスマトリクスのディスプレイは、透過型SLMのそれと同様である。例えば、米国特許第5,548,301号明細書、米国特許第7,742,215号明細書、米国特許第7,154,654号明細書を参照のこと。
ミラーの記録は、光学配置に従って実行できる。例示的な光学配置が図9に示されている。この図では、記録はレーザを利用する。偏光ビームスプリッタPBSによって、ビームを「分割」できる。参照記号PMFは偏光保持ファイバ(polarization−maintaining fiber)である。ビームの分割によって2つのビーム、すなわちホログラフィック記録媒体の片面を照明する参照ビームRBとホログラフィック媒体の反対面を照明する照明ビームIBが提供される。これによってホログラフィックミラーHMの記録が可能となる。光学配置が設定されると(例えば、形状、ビームの大きさ等)、ホログラフィックミラーの特徴は、2つのビームのパワーの比(縞のコントラストと回折効率に影響を与える)、露光時間(回折及び拡散効率に影響を与える)、及びファイバ端のための回転可能な支持手段の使用の可能性(PMFファイバから射出するときのビームの偏向に影響を与える)を含む1つ又は複数のパラメータを変化させることによって変更できる。光学配置と記録のためのパラメータの例は、実施例4で提供する。
いくつかの実施形態において、HMDは1つ又は複数の眼鏡レンズを含み、HMは前記レンズのうちの1つ又は複数の中/上に提供される。このような実施形態では、HMは以下の方法にしたがって得られてもよい(一般に、図11〜14に示される非限定的な例を参照する)。
(1)前面と後面を有する眼鏡レンズを提供するステップであって、前記眼鏡レンズは記録されていないホログラフィック媒体のフィルム(F)を含み、前記眼鏡レンズは任意選択により、例えばエレクトロクロミックセル、偏光セル、及びフォトクロミックセルから選択される振幅変調セルをさらに含むようなステップ、
(2)参照ビーム(RB)と照明ビーム(IB)との間の干渉を発生させることによって前記ホログラフィック媒体のホログラフィック記録を実行し、ホログラフィックミラー(HM)を含む眼鏡レンズを提供するステップであって、ホログラフィック記録は少なくともHMDのフレームの(空間)配置を考慮に入れた光学配置で実行されるようなステップ、
(3)任意選択により、ステップ(2)で得られたレンズを切断するステップ。
− フレームを装着したときの装着者による前記表示されたバーチャル画像の視覚化の距離(D)及び/又は
− フレームを装着したときの装着者による前記表示されたバーチャル画像の視覚化の方向及び/又は
− ホログラフィックミラーのうち、フレームを装着したときの装着者による前記表示されたバーチャル画像の視覚化のための領域の数
をさらに考慮に入れる。
− 単焦点レンズ、二焦点レンズ等の多焦点レンズ、及び累進屈折力レンズから選択される1つ又は複数の記録レンズ(RL、RL1、RL2)、又はレンズマトリクス(LM)、又は位相変調されるアクティブレンズと、
− 任意選択により、不透明マスク(OM)
と共に空間的に構成される、というものである。
− 参照ビーム(RB)が前記ホログラフィックミラーを照明して、フレームを装着したときに装着者により視覚化されるべきバーチャル画像の表示が行われるようにするために使用される内蔵画像源のビームをシミュレートし、
− 照明ビーム(IB)が、
・ フレームを装着したときの装着者による前記表示されたバーチャル画像の視覚化の距離(D)及び/又は
・ フレームを装着したときの装着者による前記表示されたバーチャル画像の視覚化の方向及び/又は
・ ホログラフィックミラーのうち、フレームを装着したときの装着者による前記表示されたバーチャル画像の視覚化のための領域の数
を画定するように構成される
というものである。
本発明によれば、各種のイメージングパターンが可能である:
1つの態様において、画像源ISからのビームは無限遠又は所望の距離に送られる(図4左側)。ミラーMで反射された後、アイモーションボックス(EMB)を非常に広くすることができ、これによってバーチャル画像の視覚化が単純化される。
図4の右側の場合、ミラーは液晶アレイを含み、画像源から発せられたビームは、ミラーで反射された後に装着者の瞳孔に向かって(又は眼球の回転中心に向かって)輻輳する。この構成によって装着者は広い視野を視覚化できるが、これは、画像源の視野全体が網膜上に同時に表示されるからである。
Phase(x,y)=αx *x。
ミラーがHPDLCを含む場合、処方は、前述のように、適当な記録ステップを使って考慮されてもよい。
図7は、装着者による視覚化が可能な画像を示す。チューナブルミラーによって異なる視野ゾーンを使用できる。このようなゾーン1、2、3、4、5は異なる視線方向に応じて画定されてもよい。例えば(図7の左側)、ゾーン5は中央の視野に対応し、ゾーン1〜4は周辺視野である。このようなゾーンはまた、コンピュータ生成画像の視覚化距離に関して画定されてもよい。
本発明によれば、HMDは1つ又は複数のスマートセンサを含んでいてもよい。各センサは、装着者の環境(リアルタイムの環境と装着者)を分析するために使用されてもよく、それによって表示をある状況に合わせてカスタム化できる。表示は、有利な点として、タイムラプス方式で行い、「リアルタイム」で状況に合わせて調節することができる。
拡張現実での応用のために、仮想物体(コンピュータ生成画像)を実世界に「統合する」ためのシーンカメラを有することが有利である。
− 表示された画像は、その場所に(例えば、NVの中のある視線方向に)とどまっていてもよい、又は
− チューナブルミラーを用いて、画像を、それがミラーの視野の中にとどまっている間は物体に重畳されたままとし(それに取り付けられたままとし)、その後、そこから出るとオフになるようにすることができる。図5の上を参照のこと。
本発明のHMDは、光(明るさ)センサ、例えば照度又はルミノシティセンサを含んでいてもよい。装着者の見やすさを増大させるために、バーチャル画像の明るさ及び/又はコントラストを最適化して、これをそれが埋め込まれている実世界に適合させることが有利である。
IRホググラフィックミラーを用いたアイトラッキング
視線方向とその輻輳に追従するために、したがってコンピュータ生成画像を装着者がすでに見ている距離と視線方向に表示するために、アイトラッキングシステムを追加することが可能である。赤外線(IR)LEDは装着者の眼を(眼の安全を考慮して)照明できる。カメラは眼球を捕捉し、その移動と視線方向を追うことができる。古典的に、このカメラは眼球の方向に向けられてもよい。
小型さの点で、アイトラッカIR LEDの赤外線反射をHMD/眼鏡のテンプルへと方向転換させるために、レンズ内にIRホログラフィックミラーを使用することが可能である。このミラーはアクティブ(チューナブル)でもパッシブでもよい。このミラーは、画像反射ミラーと同様に取得されてもよいが、装着者の処方データを考慮する必要がないという点が異なる。それゆえ、これは非常に簡単に実現できる。赤外線で反射されると、可視光スペクトル内の視野と表示を妨害せず、装着者にとって完全に透明となる。
視線輻輳の測定によって焦点距離を得ることができる(図6)。すると、バーチャル画像を、装着者がすでに現実世界の中で見ているものと同じ地点からそれが来ていると見えるように適合させることが可能となる。これは、有利な点として、コンピュータ生成(バーチャル)画像を視覚化することと実際の物体を視覚化することの間の調節労力を軽減させ、又は完全に回避することが可能となる。視野は、より快適となり、眼球疲労を減少させる。
いくつかの実施形態において、アイトラッキング機能は環境モニタリング(シーンカメラ)から切り離されてもよい。これは、ある状況において有利となりうる。いくつかの実施形態において、これら2つの機能、すなわち、アイトラッキングと環境モニタを連結(結合)することができる。これによって、情報を得たうえでのアイトラッキングが可能となる。例えば、表示された情報(画像)の性質に応じて、遠方視野FVで視線を追うことが可能であり、その一方で、近方視野NVには関心を向けないようにすることができる。しかしながら、表示された画像の性質を鑑み、NVについて何らかの関心を向けてもよい。この場合、表示された画像はNVについて、固定された箇所か、又は実世界の物体に取り付けられた、制御された注視位置のいずれかに保持されてもよい。表示された画像は、FVに戻ると再び視線に追従してもよい。
ホログラフィックミラーの記録の例は図8に示されており、これはホログラフィックミラーをレンズ上に記録するための例示的な光学配置を示している(レンズは図示せず)。この例において、レーザは532nm(100mW)で発光する。PMFは偏光保持ファイバ(460−HP Nufern)であり、パンダファイバ、コア径2.5μm、オン0.13、モード径:3.5μm@515nmである。偏光ビームスプリッタPBSの横にあるコリメートレンズはf=8mmである。照明ビームIBは1mW/cm2である。参照ビームRBは0.5mW/cm2である。RBを生成するレンズはf=4mmである。IBを生成するレンズ(参照レンズRL)はf=400mmである。
− 50μLの液滴をガラス層に堆積させるステップ(スペーサ:5〜50μm、ガラス層:厚さ500μm、曲率半径87mm、円の直径70mm、反射防止処理又はコーティング、特に532nm)、
− 第二のガラス層を位置決めし、締め付けするステップ、
− 照明支持部材の上で20分間放置するステップ。
− 可視光に15分間露光させることにより(例えば、50〜75Wのハロゲンランプ)退色させるステップ。
− 必要に応じて接着剤でシールするステップ。
− 物理的妨害(空気の動き、機械的振動、埃等)からの保護
− 温度の安定化(空気の対流を防止)
− 暗黒室(暗室:例えば、緑色光を記録するためのinactinic照明)
− ガラスへのコーティング(反射防止)(寄生反射を回避)。
− スペクトル(反射及びミラー効率のための波長)
− 定性的光学特性(OLEDスクリーンを観察)
− 定量的光学特性(波面解析)。
Claims (14)
- 装着者により装着されることが意図される頭部装着型機器(HMD)において、
前記頭部装着型機器は、前記装着者によるコンピュータ生成画像の表示及び視覚化のために構成され、
前記頭部装着型機器(HMD)は、
− 画像源(IS)と、
− 前記装着者の片眼の正面に位置付けられるシースルーチューナブル回折ミラー(M)と、
− 前記ミラー(M)を調整するように構成されたコントローラと、
を含み、
前記画像源(IS)は光ビームを前記ミラー(M)に向かって発するように構成され、前記発せられた光ビームは前記ミラー(M)で反射され、それによって前記装着者の前記眼に向かって方向付けられて、前記装着者によりコンピュータ生成画像が視覚化されるようにする頭部装着型機器(HMD)。 - 前記ミラー(M)は、前記表示されたコンピュータ生成画像の視覚化のために前記装着者の視力を少なくとも部分的に調節するように調整されてもよく、
例えば、前記ミラー(M)は、
− 前記装着者による前記コンピュータ生成画像の視覚化の距離を調節するため、及び/又は
− 前記装着者による前記コンピュータ生成画像の視覚化の視線方向を調節するため、及び/又は
− 前記装着者による前記コンピュータ生成画像の視覚化の見えの大きさを調節するため、及び/又は
− 前記コンピュータ生成画像の視覚化のための焦点を前記装着者の前記眼の位置に合わせて調節するため、及び/又は
− 前記装着者による前記コンピュータ生成画像の視覚化における二次光学収差、例えば非球面化、像面収差等を補正するため、及び/又は
− 前記装着者に屈折異常がある場合、前記装着者による前記コンピュータ生成画像の視覚化のために前記装着者の屈折異常を少なくとも部分的に矯正するため、及び/又は
− 前記装着者による前記コンピュータ生成画像の視覚化を部分的又は完全にオフ又はオンに切り替えるため
に調整されてもよい、請求項1に記載の頭部装着型機器(HMD)。 - 前記ミラー(M)は屈折率が可変の1つ又は複数の領域を含む、
請求項1又は2の何れか1項に記載の頭部装着型機器(HMD)。 - 前記ミラー(M)は、個別に調整可能なピクセルのアレイを含む、
請求項1〜3の何れか1項に記載の頭部装着型機器(HMD)。 - 前記ミラー(M)は、個別に調整可能な記録済みのホログラフィックピクセルのアレイを含み、
任意選択により、前記アレイはポリマ分散型液晶(PDLC)又はホログラフィックポリマ分散型液晶(H−PDLC)のアレイである
請求項1〜4の何れか1項に記載の頭部装着型機器(HMD)。 - 前記ミラー(M)は調整可能な透明の液晶アレイを含み、
前記アレイはアクティブ又はパッシブであり、
任意選択により、前記アレイは透過型phase−only空間光変調器(SLM)である
請求項1〜4の何れか1項に記載の頭部装着型機器(HMD)。 - − 1つ又は複数のシーンカメラ、
− 1つ又は複数の照度センサ及びルミノシティセンサ、及び
− 1つ又は複数のアイトラッカ
から選択される少なくとも1つのセンサをさらに含む、
請求項1〜6の何れか1項に記載の頭部装着型機器(HMD)。 - 前記装着者の自然の視力における屈折異常を少なくとも部分に矯正するように構成された眼鏡レンズをさらに含み、前記眼鏡レンズは、単焦点レンズ、二焦点レンズ等の多焦点レンズ、累進屈折力レンズ、及びセミフィニッシュトレンズブランクから選択される、
請求項1〜7の何れか1項に記載の頭部装着型機器(HMD)。 - 装着者により装着されることが意図されるシースルー頭部装着型機器におけるシースルーチューナブル回折ミラー(M)の使用において、
前記頭部装着型機器は、画像源(IS)を含み、前記画像源(IS)は光ビームを前記ミラー(M)に向かって発するように構成され、前記発せられた光ビームは前記ミラー(M)で反射され、それによって前記装着者の前記眼に向かって方向付けられて、前記装着者によるコンピュータ生成画像の視覚化が行われ、
− 前記装着者による前記コンピュータ生成画像の視覚化の距離を調節するため、及び/又は
− 前記装着者による前記コンピュータ生成画像の視覚化の視線方向を調節するため、及び/又は
− 前記装着者による前記コンピュータ生成画像の視覚化の見えの大きさを調節するため、及び/又は
− 前記コンピュータ生成画像の視覚化のための焦点を前記装着者の眼の位置に合わせて調節するため、及び/又は
− 前記装着者による前記コンピュータ生成画像の視覚化における二次光学収差、例えば非球面化、像面収差等を補正するため、及び/又は
− 前記装着者に屈折異常がある場合、前記装着者による前記コンピュータ生成画像の視覚化のために前記装着者の屈折異常を少なくとも部分的に矯正するため、及び/又は
− 前記装着者による前記コンピュータ生成画像の視覚化を部分的又は完全にオフ又はオンに切り替えるため
の使用。 - コンピュータ生成画像の表示と視覚化のための方法において、
(a)前記装着者に請求項1〜8の何れか1項に記載の頭部装着型機器(HMD)を提供するステップと、
(b)前記ミラー(M)を、
− 前記装着者による前記コンピュータ生成画像の視覚化の距離を調節するため、及び/又は
− 前記装着者による前記コンピュータ生成画像の視覚化の視線方向を調節するため、及び/又は
− 前記装着者による前記コンピュータ生成画像の視覚化の見えの大きさを調節するため、及び/又は
− 前記コンピュータ生成画像の視覚化のための焦点を前記装着者の眼の位置に合わせて調節するため、及び/又は
− 前記装着者による前記コンピュータ生成画像の視覚化における二次光学収差、例えば非球面化、像面収差等を補正するため、及び/又は
− 前記装着者に屈折異常がある場合、前記装着者による前記コンピュータ生成画像の視覚化のために前記装着者の屈折異常を少なくとも部分的に矯正するため、及び/又は
− 前記装着者による前記コンピュータ生成画像の視覚化を部分的又は完全にオフ又はオンに切り替えるため
に調整するステップと、
を含む方法。 - 前記頭部装着型機器(HMD)は少なくとも1つのシーンカメラをさらに含み、
ステップ(b)は、
(i)自然の視野内のある物体の前記装着者による視覚化の距離及び/又は視線方向を、前記シーンカメラから収集したデータに基づいて判断するステップと、任意選択により画像認識ステップを実行するステップと、
(ii)前記装着者による前記コンピュータ生成画像の視覚化の距離及び/又は視線方向をステップ(i)で判断された前記距離及び/又は視線方向に応じて調節するようにミラー(M)を調整するステップと、
(iii)任意選択により、ステップ(i)及び(ii)をタイムラプス方式で繰り返すステップと、
を含む、請求項10に記載の方法。 - 前記頭部装着型機器(HMD)は、前記装着者の前記眼の正面に位置付けられた少なくとも1つの照度又はルミノシティセンサと、任意選択によりエレクトロクロミックセルをさらに含み、
ステップ(b)は、
(i)照度又はルミノシティの少なくとも1つの値を、前記照度又はルミノシティセンサから収集したデータに基づいて判断するステップと、
(ii)前記装着者による前記コンピュータ生成画像の視覚化の視線方向をステップ(i)で判断された値に応じて調節するようにミラー(M)を調整するステップ及び/又は、任意選択によりステップ(i)で判断された値に応じて前記エレクトロクロミックセルを制御するステップと、
(iii)任意選択により、ステップ(i)及び(ii)をタイムラプス方式で繰り返すステップと、
を含む、請求項10又は11の何れか1項に記載の方法。 - 前記頭部装着型機器(HMD)は少なくとも1つのアイトラッカをさらに含み、
ステップ(b)は、
(i)自然の視野内のある物体の前記装着者による視覚化の距離及び/又は視線方向を、前記アイトラッカから収集したデータに基づいて判断するステップと、
(ii)前記装着者による前記コンピュータ生成画像の視覚化の距離及び/又は視線方向をステップ(i)で判断された値に応じて調節するように前記ミラー(M)を調整するステップと、
(iii)任意選択により、ステップ(i)及び(ii)をタイムラプス方式で繰り返すステップと、
を含む、請求項10〜12の何れか1項に記載の方法。 - 前記画像源(IS)は、前記表示されたコンピュータ生成画像の視覚化のために前記装着者の視力を少なくとも部分的に調節するように構成され、例えば、前記装着者に屈折異常がある場合、前記画像源(IS)は前記表示されたコンピュータ生成画像の視覚化のために前記装着者の屈折異常を少なくとも部分的に矯正するように構成されていてもよい、
請求項9に記載の使用又は請求項10〜13の何れか1項に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15306097.5 | 2015-07-03 | ||
EP15306097 | 2015-07-03 | ||
PCT/EP2016/065361 WO2017005608A1 (en) | 2015-07-03 | 2016-06-30 | Methods and systems for augmented reality |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018525662A true JP2018525662A (ja) | 2018-09-06 |
JP7074478B2 JP7074478B2 (ja) | 2022-05-24 |
Family
ID=53524703
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017567392A Active JP7074478B2 (ja) | 2015-07-03 | 2016-06-30 | 拡張現実のための方法とシステム |
Country Status (6)
Country | Link |
---|---|
US (2) | US10852541B2 (ja) |
EP (1) | EP3317712B1 (ja) |
JP (1) | JP7074478B2 (ja) |
KR (1) | KR102586069B1 (ja) |
CN (1) | CN107924057B (ja) |
WO (1) | WO2017005608A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022527960A (ja) * | 2019-09-30 | 2022-06-07 | エルジー・ケム・リミテッド | ヘッドマウントディスプレイ |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NZ773833A (en) | 2015-03-16 | 2022-07-01 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
CA2901477C (en) | 2015-08-25 | 2023-07-18 | Evolution Optiks Limited | Vision correction system, method and graphical user interface for implementation on electronic devices having a graphical display |
JP6714402B2 (ja) * | 2016-03-18 | 2020-06-24 | 国立大学法人大阪大学 | 眼疲労検査装置及び眼疲労検査方法 |
CN107272319A (zh) * | 2016-04-07 | 2017-10-20 | 中强光电股份有限公司 | 投影装置以及影像投影方法 |
EP3367160B1 (en) * | 2017-02-22 | 2020-12-16 | Essilor International | Spectacle lens comprising an activable optical filter |
AU2018225146A1 (en) * | 2017-02-23 | 2019-08-29 | Magic Leap, Inc. | Display system with variable power reflector |
AU2018240367B2 (en) * | 2017-03-22 | 2022-06-02 | Magic Leap, Inc. | Dynamic field of view variable focus display system |
CN107272202A (zh) * | 2017-06-16 | 2017-10-20 | 北京灵犀微光科技有限公司 | 光学装置和波导显示装置 |
EP3435139A1 (en) | 2017-07-25 | 2019-01-30 | Essilor International | Optical article with a holographic waveguide |
RU2665289C1 (ru) * | 2017-08-15 | 2018-08-28 | Самсунг Электроникс Ко., Лтд. | Система отображения реальной или виртуальной сцены и способ ее функционирования |
JP2019068932A (ja) * | 2017-10-06 | 2019-05-09 | 株式会社Nttドコモ | 視線検出装置及び視線検出プログラム |
EP3502763B1 (en) * | 2017-12-22 | 2023-02-01 | Essilor International | Head mounted device comprising a fourier hologram |
EP3521868A1 (en) * | 2018-01-31 | 2019-08-07 | Essilor International | Phase change optical device |
US10459237B2 (en) * | 2018-02-01 | 2019-10-29 | Dell Products L.P. | System, head mounted device (HMD) and method for adjusting a position of an HMD worn by a user |
CN110364075B (zh) * | 2018-04-09 | 2022-10-18 | 京东方科技集团股份有限公司 | 显示面板及其制备方法和智能眼镜 |
US10845600B2 (en) | 2018-04-24 | 2020-11-24 | Samsung Electronics Co., Ltd. | Controllable modifiable shader layer for head mountable display |
WO2020004690A1 (ko) * | 2018-06-28 | 2020-01-02 | 광운대학교 산학협력단 | 다이나믹 마이크로 핀미러를 이용한 증강현실 구현장치 |
CN109085700A (zh) * | 2018-09-17 | 2018-12-25 | 杭州光粒科技有限公司 | 无零级光干扰的同轴全息近眼ar显示系统及其应用和全息图优化方法 |
CN109031669B (zh) * | 2018-09-25 | 2021-03-23 | 杭州光粒科技有限公司 | 紧凑型全息近眼ar显示系统及其应用 |
US11500460B2 (en) | 2018-10-22 | 2022-11-15 | Evolution Optiks Limited | Light field device, optical aberration compensation or simulation rendering |
US11287883B2 (en) | 2018-10-22 | 2022-03-29 | Evolution Optiks Limited | Light field device, pixel rendering method therefor, and adjusted vision perception system and method using same |
US11327563B2 (en) | 2018-10-22 | 2022-05-10 | Evolution Optiks Limited | Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same |
EP3669751A1 (en) * | 2018-12-20 | 2020-06-24 | Essilor International | Method and device for determining a refraction feature of an eye of a subject |
US11789531B2 (en) | 2019-01-28 | 2023-10-17 | Evolution Optiks Limited | Light field vision-based testing device, system and method |
US11500461B2 (en) | 2019-11-01 | 2022-11-15 | Evolution Optiks Limited | Light field vision-based testing device, system and method |
AU2020261009A1 (en) * | 2019-04-23 | 2021-10-28 | Sightglass Vision, Inc. | Ophthalmic lenses with dynamic optical properties for reducing development of myopia |
CA3134744A1 (en) | 2019-04-23 | 2020-10-29 | Evolution Optiks Limited | Digital display device comprising a complementary light field display or display portion, and vision correction system and method using same |
CN110109319B (zh) * | 2019-05-10 | 2021-01-19 | 上海瀚沧科技有限公司 | 增强现实可调透明投影屏及投影方法和制作方法 |
US11902498B2 (en) | 2019-08-26 | 2024-02-13 | Evolution Optiks Limited | Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same |
US11487361B1 (en) | 2019-11-01 | 2022-11-01 | Evolution Optiks Limited | Light field device and vision testing system using same |
US11823598B2 (en) | 2019-11-01 | 2023-11-21 | Evolution Optiks Limited | Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same |
CA3167642A1 (en) * | 2020-03-05 | 2021-09-10 | Faleh Mohammad Faleh ALTAL | Light field device, optical aberration compensation or simulation rendering method and vision testing system using same |
US11514649B2 (en) * | 2020-05-29 | 2022-11-29 | Microsoft Technology Licensing, Llc | Camera for augmented reality display |
CN116097131A (zh) | 2020-08-10 | 2023-05-09 | 依视路国际公司 | 包括至少一个全息漫射元件的光学元件 |
US20230375859A1 (en) * | 2020-09-08 | 2023-11-23 | Essilor International | Lens element comprising an activable optical element |
KR102490037B1 (ko) * | 2020-12-10 | 2023-01-18 | 주식회사 레티널 | 가상 영상의 깊이 조절 기능을 구비하는 증강 현실용 광학 장치 |
CN115373204A (zh) * | 2021-05-20 | 2022-11-22 | 华为技术有限公司 | 一种投影系统、增强现实眼镜、车以及终端 |
CN113589648B (zh) * | 2021-07-14 | 2024-03-08 | 上海理工大学 | 双单体全息光致聚合物及其制备成全息记录膜材料的方法 |
US11726339B2 (en) | 2021-11-30 | 2023-08-15 | Samsung Electronics Co., Ltd. | System for digital recording protection and electrochromic device frame |
EP4254046A1 (en) | 2022-03-28 | 2023-10-04 | Essilor International | System comprising an optical device intended to be worn by a user and a calculation module |
TWI815382B (zh) * | 2022-03-30 | 2023-09-11 | 國立臺灣科技大學 | 產生全像影像的方法 |
EP4357765A1 (en) * | 2022-08-30 | 2024-04-24 | Contemporary Amperex Technology Co., Limited | Defect detection method and apparatus, and computer-readable storage medium |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10301055A (ja) * | 1997-04-25 | 1998-11-13 | Sony Corp | 画像表示装置 |
WO2001009685A1 (en) * | 1999-08-03 | 2001-02-08 | Digilens Inc. | Display system with eye tracking |
JP2002107654A (ja) * | 2000-09-27 | 2002-04-10 | Minolta Co Ltd | 映像表示装置 |
JP2002529790A (ja) * | 1998-11-12 | 2002-09-10 | デジレンズ・インコーポレイテッド | 映像を見るための頭部搭載型ディスプレイ装置 |
JP2005223752A (ja) * | 2004-02-06 | 2005-08-18 | Olympus Corp | 視度調整用レンズ付頭部装着型カメラ |
JP2009075195A (ja) * | 2007-09-19 | 2009-04-09 | Olympus Corp | 眼鏡型画像表示装置及び画像表示装置付き眼鏡 |
JP2010026273A (ja) * | 2008-07-22 | 2010-02-04 | Dainippon Printing Co Ltd | ヘッドマウントディスプレイ |
WO2010125337A2 (en) * | 2009-04-27 | 2010-11-04 | Milan Momcilo Popovich | Compact holographic edge illuminated wearable display |
US20130314793A1 (en) * | 2012-05-22 | 2013-11-28 | Steven John Robbins | Waveguide optics focus elements |
JP2014132328A (ja) * | 2012-11-16 | 2014-07-17 | Rockwell Collins Inc | 透明導波管ディスプレイ |
WO2014126692A1 (en) * | 2013-02-15 | 2014-08-21 | Google Inc. | Cascading optics in optical combiners of head mounted displays |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4959284A (en) | 1988-12-29 | 1990-09-25 | E. I. Du Pont De Nemours And Company | Holographic photopolymer compositions and elements containing a ring-opening monomer |
JP3547160B2 (ja) | 1993-01-11 | 2004-07-28 | テキサス インスツルメンツ インコーポレイテツド | 空間光変調器 |
EP0785457A3 (en) | 1996-01-17 | 1998-10-14 | Nippon Telegraph And Telephone Corporation | Optical device and three-dimensional display device |
US6133971A (en) | 1997-01-31 | 2000-10-17 | Xerox Corporation | Holographically formed reflective display, liquid crystal display and projection system and methods of forming the same |
US7417782B2 (en) | 2005-02-23 | 2008-08-26 | Pixtronix, Incorporated | Methods and apparatus for spatial light modulation |
JP4338442B2 (ja) | 2003-05-23 | 2009-10-07 | 富士フイルム株式会社 | 透過型光変調素子の製造方法 |
FR2902105B1 (fr) | 2006-06-13 | 2008-09-12 | Essilor Int | Procede de collage d'un film sur un substrat courbe |
US20100149073A1 (en) * | 2008-11-02 | 2010-06-17 | David Chaum | Near to Eye Display System and Appliance |
FR2934056B1 (fr) | 2008-07-21 | 2011-01-07 | Essilor Int | Procede de transfert d'une portion de film fonctionnel |
JP2012252091A (ja) * | 2011-06-01 | 2012-12-20 | Sony Corp | 表示装置 |
WO2013049248A2 (en) * | 2011-09-26 | 2013-04-04 | Osterhout Group, Inc. | Video display modification based on sensor input for a see-through near-to-eye display |
US9494797B2 (en) * | 2012-07-02 | 2016-11-15 | Nvidia Corporation | Near-eye parallax barrier displays |
US20140146394A1 (en) * | 2012-11-28 | 2014-05-29 | Nigel David Tout | Peripheral display for a near-eye display device |
US9684170B2 (en) | 2012-12-10 | 2017-06-20 | Bae Systems Plc | Displays |
US9392129B2 (en) * | 2013-03-15 | 2016-07-12 | John Castle Simmons | Light management for image and data control |
KR102277893B1 (ko) | 2013-09-04 | 2021-07-15 | 에씰로 앙터나시오날 | 증강 현실을 위한 방법 및 시스템 |
CN105518539A (zh) | 2013-09-04 | 2016-04-20 | 依视路国际集团(光学总公司) | 用于增强现实的方法和系统 |
IL236243A (en) * | 2014-12-14 | 2016-08-31 | Elbit Systems Ltd | Visual enhancement of color icons is shown |
KR20180035934A (ko) * | 2014-12-23 | 2018-04-06 | 메타 컴퍼니 | 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템 |
US10571696B2 (en) * | 2014-12-26 | 2020-02-25 | Cy Vision Inc. | Near-to-eye display device |
WO2016107635A1 (en) * | 2014-12-29 | 2016-07-07 | Metaio Gmbh | Method and system for generating at least one image of a real environment |
EP3278175A1 (en) | 2015-04-03 | 2018-02-07 | Essilor International | Methods and systems for augmented reality |
-
2016
- 2016-06-30 JP JP2017567392A patent/JP7074478B2/ja active Active
- 2016-06-30 WO PCT/EP2016/065361 patent/WO2017005608A1/en active Application Filing
- 2016-06-30 KR KR1020177037647A patent/KR102586069B1/ko active IP Right Grant
- 2016-06-30 EP EP16733584.3A patent/EP3317712B1/en active Active
- 2016-06-30 CN CN201680037850.6A patent/CN107924057B/zh active Active
- 2016-06-30 US US15/741,327 patent/US10852541B2/en active Active
-
2020
- 2020-11-10 US US17/094,419 patent/US11762199B2/en active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10301055A (ja) * | 1997-04-25 | 1998-11-13 | Sony Corp | 画像表示装置 |
JP2002529790A (ja) * | 1998-11-12 | 2002-09-10 | デジレンズ・インコーポレイテッド | 映像を見るための頭部搭載型ディスプレイ装置 |
WO2001009685A1 (en) * | 1999-08-03 | 2001-02-08 | Digilens Inc. | Display system with eye tracking |
JP2002107654A (ja) * | 2000-09-27 | 2002-04-10 | Minolta Co Ltd | 映像表示装置 |
JP2005223752A (ja) * | 2004-02-06 | 2005-08-18 | Olympus Corp | 視度調整用レンズ付頭部装着型カメラ |
JP2009075195A (ja) * | 2007-09-19 | 2009-04-09 | Olympus Corp | 眼鏡型画像表示装置及び画像表示装置付き眼鏡 |
JP2010026273A (ja) * | 2008-07-22 | 2010-02-04 | Dainippon Printing Co Ltd | ヘッドマウントディスプレイ |
WO2010125337A2 (en) * | 2009-04-27 | 2010-11-04 | Milan Momcilo Popovich | Compact holographic edge illuminated wearable display |
US20130314793A1 (en) * | 2012-05-22 | 2013-11-28 | Steven John Robbins | Waveguide optics focus elements |
JP2014132328A (ja) * | 2012-11-16 | 2014-07-17 | Rockwell Collins Inc | 透明導波管ディスプレイ |
WO2014126692A1 (en) * | 2013-02-15 | 2014-08-21 | Google Inc. | Cascading optics in optical combiners of head mounted displays |
CN104937476A (zh) * | 2013-02-15 | 2015-09-23 | 谷歌公司 | 头戴式显示器的光学组合器中的级联光学器件 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022527960A (ja) * | 2019-09-30 | 2022-06-07 | エルジー・ケム・リミテッド | ヘッドマウントディスプレイ |
JP7282437B2 (ja) | 2019-09-30 | 2023-05-29 | エルジー・ケム・リミテッド | ヘッドマウントディスプレイ |
Also Published As
Publication number | Publication date |
---|---|
KR102586069B1 (ko) | 2023-10-05 |
EP3317712B1 (en) | 2020-04-29 |
US20210055563A1 (en) | 2021-02-25 |
EP3317712A1 (en) | 2018-05-09 |
US10852541B2 (en) | 2020-12-01 |
CN107924057B (zh) | 2020-12-22 |
US20180203232A1 (en) | 2018-07-19 |
CN107924057A (zh) | 2018-04-17 |
WO2017005608A1 (en) | 2017-01-12 |
US11762199B2 (en) | 2023-09-19 |
JP7074478B2 (ja) | 2022-05-24 |
KR20180045864A (ko) | 2018-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7074478B2 (ja) | 拡張現実のための方法とシステム | |
JP6930929B2 (ja) | 拡張現実のための方法とシステム | |
US11378803B2 (en) | Methods and systems for augmented reality | |
US9791926B2 (en) | Light management for image and data control | |
US20180084232A1 (en) | Optical See-Through Head Worn Display | |
US10429648B2 (en) | Augmented reality head worn device | |
EP3042249A1 (en) | Methods and systems for augmented reality | |
CN114026488A (zh) | 具有全息部件的一组半成品镜片 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190404 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200603 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201027 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210803 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220512 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7074478 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |