CN105518539A - 用于增强现实的方法和系统 - Google Patents
用于增强现实的方法和系统 Download PDFInfo
- Publication number
- CN105518539A CN105518539A CN201480048719.0A CN201480048719A CN105518539A CN 105518539 A CN105518539 A CN 105518539A CN 201480048719 A CN201480048719 A CN 201480048719A CN 105518539 A CN105518539 A CN 105518539A
- Authority
- CN
- China
- Prior art keywords
- data
- wearer
- hmd
- computer teaching
- practical computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000003190 augmentative effect Effects 0.000 title description 4
- 238000012800 visualization Methods 0.000 claims abstract description 73
- 238000004891 communication Methods 0.000 claims description 98
- 238000005286 illumination Methods 0.000 claims description 23
- 239000011521 glass Substances 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 14
- 201000009310 astigmatism Diseases 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000035945 sensitivity Effects 0.000 claims description 9
- 239000004973 liquid crystal related substance Substances 0.000 claims description 8
- 208000014733 refractive error Diseases 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 238000001093 holography Methods 0.000 claims description 4
- 229910052710 silicon Inorganic materials 0.000 claims description 4
- 239000010703 silicon Substances 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 6
- 230000003287 optical effect Effects 0.000 description 26
- 230000000007 visual effect Effects 0.000 description 19
- 210000000695 crystalline len Anatomy 0.000 description 11
- 230000004438 eyesight Effects 0.000 description 11
- 230000004075 alteration Effects 0.000 description 9
- 230000002349 favourable effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 208000029091 Refraction disease Diseases 0.000 description 5
- 230000004430 ametropia Effects 0.000 description 5
- 230000009977 dual effect Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000013480 data collection Methods 0.000 description 4
- 238000000576 coating method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000004305 hyperopia Effects 0.000 description 3
- 201000006318 hyperopia Diseases 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 208000001491 myopia Diseases 0.000 description 3
- PLXMOAALOJOTIY-FPTXNFDTSA-N Aesculin Natural products OC[C@@H]1[C@@H](O)[C@H](O)[C@@H](O)[C@H](O)[C@H]1Oc2cc3C=CC(=O)Oc3cc2O PLXMOAALOJOTIY-FPTXNFDTSA-N 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 2
- 241001393742 Simian endogenous retrovirus Species 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005802 health problem Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 208000013469 light sensitivity Diseases 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000010428 oil painting Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241000269627 Amphiuma means Species 0.000 description 1
- 108010010803 Gelatin Proteins 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 206010038848 Retinal detachment Diseases 0.000 description 1
- 239000011149 active material Substances 0.000 description 1
- 229910021417 amorphous silicon Inorganic materials 0.000 description 1
- 230000004323 axial length Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000007844 bleaching agent Substances 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 239000000839 emulsion Substances 0.000 description 1
- 229920000159 gelatin Polymers 0.000 description 1
- 239000008273 gelatin Substances 0.000 description 1
- 235000019322 gelatine Nutrition 0.000 description 1
- 235000011852 gelatine desserts Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004264 retinal detachment Effects 0.000 description 1
- 229910052594 sapphire Inorganic materials 0.000 description 1
- 239000010980 sapphire Substances 0.000 description 1
- 210000000162 simple eye Anatomy 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C7/00—Optical parts
- G02C7/02—Lenses; Lens systems ; Methods of designing lenses
- G02C7/024—Methods of designing ophthalmic lenses
- G02C7/027—Methods of designing ophthalmic lenses considering wearer's parameters
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2294—Addressing the hologram to an active spatial light modulator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
- G02B2027/0174—Head mounted characterised by optical features holographic
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C2202/00—Generic optical aspects applicable to one or more of the subgroups of G02C7/00
- G02C2202/20—Diffractive and Fresnel lenses or lens portions
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C7/00—Optical parts
- G02C7/02—Lenses; Lens systems ; Methods of designing lenses
- G02C7/08—Auxiliary lenses; Arrangements for varying focal length
- G02C7/086—Auxiliary lenses located directly on a main spectacle lens or in the immediate vicinity of main spectacles
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C7/00—Optical parts
- G02C7/14—Mirrors; Prisms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2286—Particular reconstruction light ; Beam properties
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
- G03H2001/0825—Numerical processing in hologram space, e.g. combination of the CGH [computer generated hologram] with a numerical optical element
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2249—Holobject properties
- G03H2001/2284—Superimposing the holobject with other visual information
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2225/00—Active addressable light modulator
- G03H2225/60—Multiple SLMs
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2226/00—Electro-optic or electronic components relating to digital holography
- G03H2226/04—Transmission or communication means, e.g. internet protocol
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2227/00—Mechanical components or mechanical aspects not otherwise provided for
- G03H2227/02—Handheld portable device, e.g. holographic camera, mobile holographic display
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- General Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Holo Graphy (AREA)
Abstract
本发明提供用于使用头戴式设备显示图像的方法和系统,其中,显示的定制是通过将佩戴者特定的可视化参数考虑在内而实现的。这类可视化参数包括与该设备的设计和/或如佩戴者处方数据等佩戴者眼科数据有关的多个参数。优选图像是计算机生成的全息图像。
Description
发明领域
本发明涉及用于增强现实的方法和系统。
本发明更具体地涉及借助于头戴式设备(HMD)显示图像、特别是全息图像。
发明背景
具有多个显示特征的头戴式设备在本领域中是已知的。这种设备包括所谓的‘智能眼镜’,这允许其佩戴者可视化图像或文本从而增强现实。
为了提高佩戴者视觉舒适度,希望提供多种方法和系统,其中,以特别适配于佩戴者和/或佩戴设备的定制方式显示图像和文本。
此外,为了提高佩戴者人体工学舒适度,希望提供一种轻型、紧凑的头戴式设备,并且尤其是一种在使用时具有低能量需求的设备。
另外,关于安全性,在通信中使用的用于数据交换的某些类型的电磁波可能造成健康问题,尤其是靠近头部定位的装置,如HMD。因此,希望提供一种其运行限制或避免将佩戴者暴露于这种电磁波下的头戴式设备。
发明内容
本发明总体上提供用于使用头戴式设备显示图像的方法和系统,其中,显示定制化是通过将佩戴者特定的可视化参数考虑在内而实现的。这类可视化参数包括与该设备的设计和/或如佩戴者处方数据等佩戴者眼科数据有关的多个参数。优选图像是计算机生成的全息图像。
根据本发明,可以通过矫正由于光学像差引起的图像失真来增强显示质量和佩戴者视觉体验。这种像差可能由于设备自身的几何形状和设计和/或由于佩戴者屈光不正和/或远视眼引起。
在优选实施例中,本发明借助于相位空间光调制器(SLM)实现图像显示。所述SLM可以选自仅相位SLM以及相位和振幅SLM。相位调制是非常有利的,因为它提供了对波前中的图像数据和处方数据两者进行编码的可能性,这对于不传达任何关于波前的相位的信息的其他常规显示是不可能的。在其他方面,除了对图像进行编码之外,SLM允许虚拟地对处方镜片的光学效应进行编码。相位调制还提供如下文所述的进一步优势。
发明方法
本发明提供一种用于处理计算机生成的图像数据以便使用佩戴者佩戴的头戴式计算机生成的图像显示设备进行显示的计算机实现的方法,该方法包括:
(i)提供选自以下各项的可视化参数数据的步骤
-包括佩戴者处方数据、佩戴者眼睛灵敏度数据和佩戴者眼科生物统计数据的佩戴者眼科数据;以及
-包括镜架数据和镜片数据的头戴式设备数据,
(ii)提供计算机生成的图像数据的步骤,
(iii)通过将步骤(i)中的该可视化参数数据考虑在内从步骤(ii)中的该计算机生成的图像数据计算经修改的计算机生成的图像数据的步骤,以及
(iv)将步骤(iii)中的该经修改的计算机生成的图像数据提供给所述设备以便显示的步骤。
所述图像可以是全息图像,并且/或者所述可视化参数数据可以是选自散光模数、散光轴线、屈光力、棱镜和下加光的佩戴者处方数据。
在一个实施例中,所述图像是全息图像,所述计算机生成的图像数据是计算机生成的全息图像数据,所述经修改的计算机生成的图像数据是经修改的计算机生成的全息图像数据;并且所述方法包括:
(v)由至少一个光源发射光束的步骤,该光束适合(被安排成、被配置成)用于通过照亮所述设备来显示由步骤(iii)中的该经修改的计算机生成的全息图像数据产生的该全息图像,
其中,所述光源设置在远程照明终端上和/或内置在所述设备上。
所述光源可以设置在远程照明终端上,并且所述光源可以被安排成用于传输数据,并且:
-步骤(ii)可以包括将所述计算机生成的全息图像数据从所述光源传输到所述设备的步骤,或
-步骤(iv)可以包括将所述经修改的计算机生成的全息图像数据从所述光源传输到所述设备的步骤。
在一个实施例中,步骤(i)中的所述可视化参数数据中的至少一项数据存储在所述设备上的存储器中。
在这个实施例中,步骤(i)可以包括:
(i-a)由至少一个通信终端检测所述佩戴者的存在的步骤,
(i-b)响应于在步骤(i-a)检测到的存在,将所述可视化参数数据从所述设备传输到所述通信终端的步骤,
并且步骤(iii)可以包括将经修改的计算机生成的图像数据从所述通信终端传输到所述设备的步骤。
在一个实施例中,步骤(i)中的所述可视化参数数据的至少一项数据与可视化参数标识符联合存储在经由通信网络连接到至少一个通信终端的通信服务器上的佩戴者数据库中。这种标识符可以被定义为允许检索所述可视化参数数据(VPD)的标识符。
在这个实施例中,步骤(i)可以包括:
(i-a)由所述至少一个通信终端检测所述佩戴者的存在的步骤,
(i-b)响应于在步骤(i-a)检测到的存在,将所述可视化参数数据从所述通信服务器传输到所述通信终端的步骤,以及
(i-c)可选地,将可视化参数数据从所述通信终端传输到所述设备的另一个步骤。
步骤(iii)可以包括:
-将经修改的计算机生成的图像数据从所述通信终端传输到所述设备的步骤,以及
-可选地,将经修改的计算机生成的图像数据从所述通信服务器传输到所述通信终端的先前步骤。
在一个实施例中,所述计算机生成的图像数据或所述经修改的计算机生成的图像数据存储在图像数据库中,
其中,所述方法包括在所述数据库中预登记佩戴者标识符与所述佩戴者之间的关联的预备步骤,并且
其中,可选地依据多个访问权限,根据所述佩戴者标识符确定(定义)步骤(ii)中的所述计算机生成的图像数据和/或步骤(iii)中的所述经修改的计算机生成的图像数据。
本发明的系统和设备
本发明提供了一种照明终端,该照明终端包括:
-光源,该光源适合(被安排成、被配置成)用于通过光照来显示全息图像,
-可选地,传感器,该传感器适合(被安排成、被配置成)用于检测配备有头戴式计算机生成的全息图像显示设备的佩戴者的存在,并且
-可选地,通信接口,该通信接口适合(被安排成、被配置成)用于从和/或向所述终端传输选自可视化参数数据、计算机生成的全息图像数据和经修改的计算机生成的全息图像数据的数据。
此照明终端适合(被安排成、被配置成)用于实现本发明的方法,其中,图像是全息图像。
在一个实施例中,所述光源进一步适合(被安排成、被配置成)用于从所述照明终端传输计算机生成的全息图像数据和/或经修改的计算机生成的全息图像数据。
本发明提供了一种包括在此描述的多个照明终端的系统,其中,所述照明终端中的每一个照明终端经由照明网络被连接到照明服务器。
此系统适合(被安排成、被配置成)用于实现本发明的方法,其中,图像是全息图像。
本发明还提供了一种头戴式计算机生成的图像显示,包括:
-例如,由LCoS(硅上液晶)或玻璃透射式有源矩阵液晶制成的相位和/或振幅空间光调制器。
-可选地,光源,该光源适合(被安排成、被配置成)用于基于光照来显示图像,并且
-可选地,通信接口,该通信接口适合(被安排成、被配置成)用于从和/或向所述设备传输选自可视化参数数据、计算机生成的图像数据和经修改的计算机生成的图像数据的数据。
此设备适合(被安排成、被配置成)用于实现本发明的方法。
本发明还涉及相位和/或振幅空间光调制器(SLM)、优选地LCoSSLM或玻璃透射式有源矩阵LCSLM)的使用,用于制造佩戴者处方顺从头戴式显示设备。
本发明还涉及相位和/或振幅空间光调制器(SLM)、优选地LCoSSLM或玻璃透射式有源矩阵LCSLM)的医学用途,用于在佩戴者处方顺从头戴式显示设备中矫正屈光不正时使用。
附图简要说明
图1至图8示出了本发明的方法的实施例。
图9至图11示出了在本发明的方法中有用的示例性数据库的结构。
图12至图14示出了本发明的头戴式设备的示例性结构。
定义
提供了以下定义来对本发明进行描述。
“计算机生成的图像”在本领域中是已知的。根据本发明,计算机生成的图像包括计算机生成的全息图像、以及其他类型的计算机生成的图像,如2D衍射图像等。本发明中的优选计算机生成的图像是计算机生成的全息图像。
“计算机生成的全息图像”在本领域中是已知的。这类全息图像可以通过阅读(照亮)计算机生成的全息图而被显示。计算机生成的全息图又被称为合成或数字全息图。计算机生成的全息图通常是通过选择2D或3D图像而获得的,并且以数字方式计算其全息图。全息图像可以通过光学重构(即,通过用合适的光束(全息图的参考光束)照亮(读取)全息图)而被显示。该图像可以是“真实的”(因为它可以显示在物理屏幕或支撑件上)或者是“空中的”(虚拟的)。全息图可以被印刷于全息支撑件上或被实现于如下文解释的SLM上。
“图像数据”ID在本领域中是已知的。它们通常包括编码数据(编码数据集),该编码数据允许显示图像以便受测者可看到。该图像可以是计算机生成的图像,如计算机生成的全息图像。图像数据包括针对图像自身(其内容)编码的数据,而且还可以进一步包括针对图像在佩戴者的视野中显示的位置(定位)(例如,参照设备HMD的框架)和/或针对有待被可视化(缩放或放大)的图像的大小和/或针对有待被可视化的图像的焦点平面的位置编码的数据。图像数据可以提供有待显示的若干图像,例如,用于多路显示。图像数据可以提供一种颜色的(例如,黑色和白色)或者多于一种颜色的(例如,使用至少三种颜色,例如,三原色)图像。根据本发明,所述计算机生成的图像数据ID可以是经修改的(经修改的计算机生成的图像数据MID)或未修改(ID)。数据ID或MID可以被解码以便允许显示。根据本发明,所述数据可以存储在HMD的存储器中和/或在如通信终端COMTERM等终端上的存储器中和/或在经由如通信服务器COMSERV等服务器可访问的数据库中。计算机生成的图像数据ID或MID可以存储在图像数据库IMDB中。所述数据库IMDB包括适合(被安排成、被配置成)用于存储和检索图像数据集的存储器并且可以是如通信服务器COMSERV等服务器的一部分,或者经由通信网络COMNETW连接到该服务器上。
“计算机生成的全息图像数据”HD在本领域中是已知的。它们通常包括编码数据(编码数据集),该编码数据允许显示计算机生成的全息图像以便受测者可看到。计算机生成的全息图像数据包括针对计算机生成的全息图像自身(其“内容”,其可以是图片、字母数字字符及其组合等)编码的数据,包括图像(2D、3D)的每个像素的相位和振幅的信息。计算机生成的全息图像数据还可以进一步包括针对全息图像在佩戴者的视野中显示的位置(定位)(例如,参照设备HMD的框架)和/或针对有待被可视化(缩放或放大)的图像的大小和/或针对有待被可视化的全息图像的焦点平面的位置编码的数据。针对全息图像位置、大小和焦点平面的这类数据对于将全息图像显示在配备有内置光源的设备HMD上是特别有用的。当设备HMD没有配备内置光源时,(即,当光源远离设备HMD时),可以考虑位置和焦点平面的数据被隐含地包括在计算机生成的全息图像数据中。然而,所述数据可以进一步包括图像大小的数据(例如,用于缩放)。计算机生成的全息图像数据还可以提供有待显示的若干图像,例如,用于多路显示。计算机生成的全息图像数据可以提供一种颜色的(例如,黑色和白色)或者多于一种颜色的(例如,使用至少三种颜色,例如,三原色)图像。对针对计算机生成的全息图像自身(其“内容”)编码的数据有利地进行相位编码。根据本发明,所述计算机生成的全息图像数据HD可以是经修改的(经修改的计算机生成的全息图像数据MHD)或未修改(HD)。数据HD或MHD可以被解码并被传输至显示装置(例如,传输至SLM),以便允许基于合适的(安排的、配置的)光照读取全息图并显示相应的全息图像。根据本发明,所述HD或MHD可以存储在HMD的存储器中和/或在如通信终端COMTERM等终端上的存储器中和/或在经由如通信服务器COMSERV等服务器可访问的数据库中。全息图像数据HD或MHD的集合可以存储在计算机生成的全息图像数据的全息图像数据库HOLODB中和/或经修改的计算机生成的全息图像数据的全息图像数据库MHOLODB中。所述数据库DB包括适合(被安排成、被配置成)用于存储和检索全息图像数据集的存储器并且可以是如通信服务器COMSERV等服务器的一部分,或者经由通信网络COMNETW连接到该服务器上。在图10至图11上示出了计算机生成的全息图像数据库的结构的实例。图10展示了包括计算机生成的全息图像数据HD的数据库HOLODB的实例。全息图像可以是字母数字字符(字母“A”、“B”,等;数字“1”、“2”等)或更复杂的图像(如图片)。该数据可以包括图像在佩戴者的视野中的位置LOC。进一步地,可以根据访问权限AC确定(定义)数据集。图11展示了经修改的计算机生成的全息图像数据MHD的数据库MHOLODB的实例。关于图10,示出了相同的全息图像,但是针对屈光不正佩戴者被修改以便将所述佩戴者的处方数据考虑在内。在图10和图11上,可以例如使用标识符(HOLOi,MHOLOi)从数据库中检索未经修改或经修改的计算机生成的全息图像数据HD和MHD的每个集合。图10和图11可以被概括至图像数据库IMDB、MIMDB。
“服务器”SERV在本领域中是已知的。服务器SERV可以经由扩展网络NETW连接至多个终端TERM。网络NETW允许数据传输并且可以依赖于如射频通信(Wi-Fi、蓝牙、3G、4G等)和/或如Li-Fi或FSO等光通信(红外IR、近红外NIR、短波长红外SWIR、可见光等)的无线通信和/或有线通信(以太网、光纤)。服务器SERV可以包括一个或多个数据库DB和/或其可以连接到一个或多个数据库DB上。服务器SERV可以是通信服务器COMSERV和/或照明服务器LIGHTSERV。
可以借助于本领域中已知的手段执行“提供数据”。可以通过无线通信(包括Wi-Fi、蓝牙、3G、4G的RF;包括Li-Fi或FSO、IR、近IR、可见光的光通信等)或有线通信(例如,通过以太网电缆、USB端口、光纤等)从一个实体到另一个实体提供数据。关于可能的安全性问题,光通信可能是优选的。实际上,光通信的使用(如通过Li-Fi或FSO)能够限制暴露于可能引起健康问题的某些类型的波(Wi-Fi等)下。这特别是适用于至/从头戴式设备的数据通信,因为这种设备是用于佩戴在大脑的附近。
可以通过访问包含存储数据的存储器或数据库和从其中进行检索而提供数据(访问和检索可以是直接或间接的;有条件或无条件的等)。还可以通过采集方式(例如,通过拍摄数字图片)提供数据。数据的采集可以是‘直播的’或实时的(即,连续的),如通过记录数字视频。还可以例如通过‘手动’设立(通过触觉装置采集等)类推地提供数据。
提供数据还可以依赖于预定义的访问权限,和/或在给定终端(传感器)附近检测到的存在。
“头戴式显示设备”(HMD)在本领域中是已知的。这类设备要佩戴在佩戴者的头上或周围,包括头盔式显示器、光学头戴式显示器、头戴显示器诸如此类。它们包括用于显示图像以便佩戴者可看到的光学装置。HMD可以提供仅计算机生成的图像的显示,或者提供计算机生成的图像和‘现实’视野的叠加可视化。HMD可以是单目的(单眼)或双目的(双眼)。本发明的HMD可以采取各种形式,包括眼镜、面具(如滑雪或潜水面具)、眼罩等。HMD可以包括一个或多个镜片。所述镜片可以选自处方镜片。根据本发明,HMD包括空间光调制器(SLM)。在优选实施例中,HMD是一副配备有多个镜片的眼镜。图12至图14中展示了本发明的设备HMD的实例。
“空间光调制器”(SLM)在本领域中是已知的。所述SLM可以是相位SLM、仅相位SLM、仅振幅SLM、或者相位振幅SLM。在存在的情况下,振幅调制优选地独立于相位调制,并且允许减少图像斑点,以便在灰度级方面提高图像质量。在优选实施例中,SLM是相位或仅相位SLM。根据本发明,所述SLM可以是:
-反射式SLM(导致显示在SLM上被反射的光束)。其实例包括由LCoS材料(硅上液晶)制成的SLM。可能的商业来源包括德国Holoeye公司、美国博尔德非线性系统公司(BoulderNonlinearSystems)、美国晶典公司(Syndiant)、剑桥科技公司(Cambridgetechnologies)。本发明的设备HMD包括反射式SLM,进一步包括全息反射镜;或
-透射式SLM(引起显示透射过SLM的光束)。优选地,透射式SLM是“透视”或“透明”SLM,即,SLM具有大于85%或大于90%的透射率。这种“透视”SLM可以有利地被直接放置在佩戴者眼睛之前,而不以其他方式损害视觉。其实例包括由玻璃上薄硅(SOI:绝缘体上硅)或蓝宝石基片或玻璃透射式有源矩阵液晶制成的透明有源材料。这种产品是由日本CitizenFinetechMiyota公司开发的。其他实例包括LCD型透明有源矩阵,如非晶硅、IGZO等。可能的商业来源的实例包括博尔德非线性系统公司。本发明的包括透射式SLM的设备HMD可以包括或可以不包括全息反射镜。
SLM优选地具有以下特征中的一个或多个、优选地所有特征:
-小于10μm、优选地小于5μm或小于4μm的像素大小。优选的是选择具有较小像素大小的SLM,以便具有间隔开的衍射级,这是容易选择/挑选的,并且以便提供对相位的合适的(安排的,配置的)空间采样,从而产生具有更高的分辨率并且更好地再现其细节的图像。此外,更小的像素大小提供具有更宽域的图像的可能性,因为衍射角度更大。
-衍射效率大于85%,优选地大于90%。这是令人期望的,因为它提供了对单个像素的相位的改进的动态(响应)以及合适的(安排的、配置的)采样;
-不可见的命令矩阵和硬件(针对试点像素);
-大于2π的相位动态;
-16级或更多(4位)的相位采样;
-大于90%、优选地大于95%的填充因子(像素有用区域)。
根据本发明,相位SLM是有利的,因为它们允许显示其图像数据被相位编码的图像。相位编码降低了图像的给定显示所需要的能量(相比于仅振幅调制编码,无强度损耗)。相应地,由于更少的计算资源需求,HMD的能量消耗可以被有利地减小。然而,还有利的是,SLM还允许振幅调制,因为它提供改进的图像质量,即使在那种情况下,计算可能需要更多的资源并因此消耗更多的能量。这能够使用更小的蓄电池,并且因此减小HMD的体积并扩展设备的能量自主权。根据本发明,SLM充当‘可编程的’全息图,即,允许显示期望的全息图像的电子可寻址读取支撑件。
“可视化参数数据”(VPD)包括头戴式设备HMD数据(如镜架数据FD和镜片数据LD)以及佩戴者眼科数据OD(OD包括如处方数据PD、眼睛灵敏度数据SD和生物统计数据BD等数据)中的一者或多者。所述VPD可以存储在内置于HMD上的存储器上,和/或存储在经由服务器可访问的专用数据库上。可视化参数数据VPD可以被认为是为佩戴者定制的,因为它们包括OD(特定于佩戴者)和HMDD数据(特定于佩戴者选择的设备)。
“头戴式设备数据”HMDD指与HMD设备的物理特征相对应(特别是与HMD的设计、几何形状或结构有关)的一个或多个数据集。这种HMDD包括如镜架数据FD和/或镜片数据LD等数据。所述HMDD可以存储在内置于HMD上的存储器上,和/或存储在经由服务器可访问的专用数据库上。根据本发明,这种数据对于用HMD优化显示是非常有用的,并且特别是对于矫正由HMD的几何形状造成的光学像差而言非常有用。佩戴者可以选择给定的HMD设备,其中,所述HMD设备具有相应的HMDD数据。这种HMDD数据可以被认为是为佩戴者定制的可视化参数数据,因为HMDD数据是佩戴者所选择的设备的那些数据。
“镜架数据”是指与HMD的结构相关的一个或多个数据集,并且可以包括多个设计参数,如HMD的一个元件在HMD中的相对位置。这包括SLM的位置、光源(如果有的话)的相对位置、SLM与HMD的镜片之间的距离等。这还包括与SLM、光源的特征有关的数据。
“镜片数据”(LD)是指表征眼科镜片的一个或多个数据集。所述数据包括定义镜片的一个或多个几何(表面)特性和/或一个或多个光学特性的数据,如镜片材料的光学折射率。镜片数据LD可以对应于镜片的后表面和/或镜片的前表面,或它们的相对位置。所述镜片数据LD可以进一步包括与镜片的总体几何形状有关的数据,例如平均曲率半径、凸度数据等。所述镜片数据LD还可以包括关于存在于镜片上的镜片表面涂层及其特性的数据;与存在于镜片上的全息反射镜及其特性有关的数据;或与存在于镜片中的电致变色材料及其特性有关的数据。
“佩戴者眼科数据”或“眼科数据”OD在本领域中是已知的。佩戴者眼科数据包括佩戴者处方数据PD、佩戴者眼睛灵敏度数据SD和佩戴者眼科生物统计数据BD、以及一般地与任何佩戴者视觉缺陷有关的数据,包括(例如)与色散、缺少眼晶状体(缺少晶状体)有关的数据等。
“处方数据”PD在本领域中是已知的。处方数据指的是为佩戴者获得的并且为每只眼睛指示以下内容的一项或多项数据:处方远视觉平均屈光力PFV、和/或处方散光值CYLFV和/或处方散光轴线AXEFV和/或适合于矫正每只眼睛的屈光不正和/或远视眼的处方下加光A。平均屈光力PFV是通过对处方散光值CYLFV的半值与处方球面值SPHFV进行求和获得的:PFV=SPHFV+CYLFV/2。然后,通过对处方下加光A与同一只眼睛的处方远视觉平均屈光力PFV进行求和获得每只眼睛的近距离(近)视觉的平均屈光力:PNV=PFV+A。在渐进式镜片的处方的情况下,处方数据包括为每只眼睛指示SPHFV、CYLFV及A的值的佩戴者数据。在优选实施例中,佩戴者处方数据PD选自散光模数、散光轴线、屈光力、棱镜和下加光、以及更普遍地指示任何给定视觉缺陷的矫正的任何数据。这种缺陷可能是由部分视网膜脱落、视网膜或虹膜或角膜结构变形造成的,
“佩戴者眼睛灵敏度数据”SD在本领域中是已知的。佩戴者眼睛灵敏度数据包括光谱灵敏度(针对一个或多个波长或光谱带)的数据;一般灵敏度,如亮度灵敏度,例如,室外亮度灵敏度。这类数据对于优化佩戴者的图像可视化对比度而言具有重要性。
“佩戴者眼科生物统计数据”或“生物统计数据”BD在本领域中是已知的。生物统计数据包括与佩戴者的形态有关的数据,并且通常包括以下各项中的一项或多项:单目瞳孔距离、瞳孔间距、眼睛的轴向长度、眼睛的转动中心的位置、眼远点、眼近点等。
“佩戴者数据库”WEARDB是包括适合(被安排成、被配置成)用于存储和检索佩戴者可视化参数数据VPD的存储器的数据库。数据库和存储器在本领域中是已知的。可以通过使用专用指针(如可视化参数标识符VPID)实现对可视化参数数据的检索。图9中展示了佩戴者数据库WEARDB的一个实例的结构。在图9上,标识符WEARID可以充当可视化参数标识符VPID。每个佩戴者标识符WEARID1,2,…n允许对各处方数据PD进行检索,这些处方数据在此针对佩戴者的右眼RE和左眼的LE中的每一者被展示为屈光力P、散光ASTI、下加光ADD等。
“光源”LIGHTSOURC在本领域中是已知的。根据本发明,光源LIGHTSOURC是可以发射适合(被安排成、被配置成)用于显示由佩戴者进行可视化的图像的光束的任何光源。关于全息图像的显示,该光束包括全息图的参考光束。当所述光源LIGHTSOURC照亮所述HMD设备时,可以显示由经修改的计算机生成的图像数据(例如,经修改的计算机生成的全息图像数据)产生的图像。光源LIGHTSOURC至少部分相干,优选地准相干或完全相干(在空间上和在光谱上)。光的相干性通常由谐振腔中的活性介质的受激发射造成的。相干性可能仅部分是由于用于受激发射的某些介质的自发发射引起的。相干源的实例包括激光器和窄谱激光二极管。部分相干源的实例包括某些激光二极管、已调制的激光二极管、S-LED、一些LED。在EP0421460B1中描述了进一步实例。优选地根据本发明,光源LIGHTSOURC可以几乎是完全相干的(准相干的),以便抑制由完全相干性造成的斑点效应。
根据本发明,光源LIGHTSOURC可以是单色的或多色的(例如,三色的)。针对单色使用,优选的是被发射用于图像显示的光束包括绿色光(波长约500nm-560nm)。绿色光是有利的,因为由于人类视网膜对这个范围中的波长更加敏感,因此需要较低的能量(例如,小于1mW)。具有在约520-550nm发射的单色光源的实例包括类2激光器、532nm激光器、520nm激光二极管(例如,来自欧司朗公司或日亚公司)、在约550nm发射的LED等。优选地,单色源的功率小于10mW。其他合适的单色光源包括红色:615-645nm;绿色:520-550nm;蓝色:435-465nm。针对多色使用,优选地使用接近在成像中使用的标准(红色:615-645nm;绿色:520-550nm;蓝色:435-465nm)的波长(红色、绿色、蓝色)。当使用三个不同的源(红色、绿色、蓝色)时,所述源中的每一者优选地具有小于1mW的功率。多色光源的实例包括激光器、激光二极管、LED或S-LED。优选地,可以组合地使用至少三个、优选地四个或五个不同发射波长以便提高彩色质量。
在优选实施例中,为了避免由某些外部光源(自然光、在佩戴者环境中的其他LED……)造成的噪声,可以将本发明的光源LIGHTSOURC与同设备相关的特定频率同步化,类似于同步检测。所述频率优选地远高于闪烁频率,以便避免使图像调制可见。随后,在光源LIGHTSOURC与由设备HMD显示的图像之间要求这种同步化。在一些实施例中,因此,存在两个同步化阶段:标识照明光源LIGHTSOURC以避免与寄生光源的多余交互,并且进行调制以便以正确的颜色显示正确的图像。
光照不需要是定向的,只要合适的(安排的、配置的)光束可以照亮设备HMD(及其SLM)从而引起所期望的显示。根据本发明,所述光源LIGHTSOURC可以设置在照明终端LIGHTTERM上和/或可以内置于所述HMD设备上。在一个实施例中,光源LIGHTSOURC设置在远程照明终端LIGHTTERM上,即,与HMD不同的终端上。所述照明终端LIGHTTERM可以经由或可以不经由网络NETW连接到服务器SERV。当被设置在照明终端LIGHTTERM上时,光源LIGHTSOURC可以是发散的。光源LIGHTSOURC发射光束不干扰在照明终端LIGHTTERM附近的人的视觉环境,无论所述人是否配备有设备HMD。进一步地,使用发散的、低功率(约小于100mW)光源LIGHTSOURC在眼睛安全性方面是有利的,因为HMD佩戴者和HMD非佩戴者不会由于使用激光器而有危险。
根据本发明,优选地,所述光源LIGHTSOURC还适合(被安排成、被配置成)用于传输数据。优选实施例包括光源LIGHTSOURC,该光源适合(被安排成、被配置成)用于既引起通过光照来显示图像又用于传输数据。当传输数据时,光源LIGHTSOURC可以通过光通信(可见光)的方式发射所述数据,例如,通过Li-Fi或FSO通信。所述数据可以是计算机生成的图像数据(经修改的或未经修改的ID或MID)、计算机生成的全息图像数据(经修改的或未经修改MHD或HD)或VPD(如PD)。例如,可以用高于闪烁频率的调制(特别是在75Hz或更高的频率或者80Hz或更高的频率下)依次发射数据。这些频率不被人类眼睛所感知并且用于图像显示的光束不干涉‘现实’中的视觉。
“终端”TERM在本领域中是已知的。根据本发明,终端TERM包括照明终端LIGHTTERM和通信终端COMTERM。终端TERM可以同时是通信和照明终端。这将是这样的情况:有利地根据本发明,光源LIGHTSOURC还适合(被安排成、被配置成)用于将数据传输到HMD。终端包括具有固定地理坐标或固定GPS坐标的终端以及具有非固定地理坐标或非固定GPS坐标的终端。具有固定地理或GPS坐标的终端包括位于火车站、地铁站、博物馆、机场、交通信号灯等的终端。具有非固定GPS的终端包括智能电话、平板计算机、车辆上装载的盒子、TV机顶盒、互联网机顶盒、计算机等。在一些实施例中,终端是除了智能电话和/或除了平板计算机之外的其他终端。终端可以是便携式的或不是便携式的。终端可以是独立式的或者连接至网络网。
发明详细说明
本发明提供用于由头戴式设备定制化显示图像的方法和系统(终端、设备)。
发明方法
一方面,本发明涉及一种用于处理计算机生成的图像数据以便使用佩戴者佩戴的头戴式计算机生成的图像显示设备HMD进行显示的计算机实现的方法。该方法包括:
(i)提供选自以下各项的可视化参数数据VPD的步骤
-包括佩戴者处方数据PD、佩戴者眼睛灵敏度数据SD和佩戴者眼科生物统计数据BD的佩戴者眼科数据OD;以及
-包括镜架数据FD和镜片数据LD的头戴式设备数据HMDD,
(ii)提供计算机生成的图像数据ID的步骤,
(iii)通过将步骤(i)中的该可视化参数数据VPD考虑在内从步骤(ii)中的该计算机生成的图像数据ID计算经修改的计算机生成的图像数据MID的步骤,以及
(iv)将步骤(iii)中的该经修改的计算机生成的图像数据MID提供给所述设备HMD以便显示的步骤。
提供可视化参数数据VPD的步骤(i)可以是传输所述VPD数据的步骤。例如,可以传输到HMD上的控制器。该传输可以是由无线通信或由通过闪驱(USB密钥)的输入实现的。还可以通过手动提供HMD上的设置来执行步骤(i),例如,通过打开在HMD上的用于调整可视化参数VP以获得期望的焦点或改变图像在佩戴者的视野中的位置的拇指旋轮。在这种情况下,在类比的基础上提供VPD数据。
计算步骤(iii)有利地将可视化参数数据VPD考虑在内。这考虑到佩戴者眼科数据OD和/或设备数据HMDD,提供了对图像显示的定制。具体而言,该定制允许限制或至少部分地矫正由光学系统造成的像差:由HMD造成的光学像差,并且尤其是由如下事实造成:位于HMD上的SLM可能对于佩戴者而言不在设备的视觉轴线上(SLM的位置偏离中心)。相应地,显示未矫正的(未经修改的)图像将导致图像失真,其严重地影响视觉舒适度和图像纠正。
步骤(iii)还将佩戴者处方数据PD考虑在内以提供针对佩戴者的屈光不正/远视眼定制的图像显示。例如,针对具有给定处方数据PD的给定近视佩戴者,根据本发明显示的图像对于所述佩戴者而言是完全清晰的,但是对于具有不同处方数据的其他佩戴者而言不清晰。
步骤(iii)包括计算,其中,计算机生成的图像数据相应地被修改。针对具有SLM的HMD,在波前方面,这意味着由SLM(通过透射或反射)发射的波前被修改以将VPD数据考虑在内。可能要编码图像,因为其通过屈光不正佩戴者的处方镜片被看到。这种计算实际上在傅立叶空间中更易于执行:傅立叶图像全息图和波前全息图的计算。可以用本领域中已知的计算技术(例如,用泽尼克多项式)将波前全息图描述为分析表面。
步骤(iii)可以包括单次(一次)计算或者可以包括例如针对图像的动态可视化的‘动态’、连续或实时计算。此外,步骤(iii)可以在开/关基础上执行。例如,针对近视佩戴者,可以针对远视图像显示执行步骤(iii),而针对近视图像显示可以不需要步骤(iii)。
在优选实施例中,可视化参数数据VPD包括佩戴者处方数据PD。所述处方数据PD优选地选自散光模数、散光轴线、屈光力、棱镜和下加光。
在优选实施例中,所述计算机生成的图像是全息图像。因此,HMD设备是头戴式计算机生成的全息图像显示设备HMD。相应地,在本发明的方法中,所述计算机生成的图像数据ID是计算机生成的全息图像数据HD,所述经修改的计算机生成的图像数据MID是经修改的计算机生成的全息图像数据MHD。
另一方面,本发明提供了一种用于使用佩戴者佩戴的头戴式计算机生成的全息图像显示设备HMD显示计算机生成的全息图像的计算机实现的方法。所述方法包括如本文中所描述的步骤(i)、(ii)、(iii)以及(iv)并且可以进一步包括由至少一个光源LIGHTSOURC发射光束的步骤(v),该光束适合(被安排成、被配置成)用于通过照亮所述设备HMD来显示由步骤(iii)中的经修改的计算机生成的全息图像数据MHD产生的全息图像。针对具有SLM的HMD,步骤(v)因此包括用光源LIGHTSOURC照亮SLM的步骤。
在一些实施例中,所述光源LIGHTSOURC设置在远程照明终端LIGHTTERM上。在其他实施例中,所述光源LIGHTSOURC内置于所述设备HMD上。在一些实施例中,光源LIGHTSOURC设置在远程照明终端LIGHTTERM上并且光源LIGHTSOURC内置于所述设备HMD上。
有利地根据本发明,当光源LIGHTSOURC设置在外部终端TERM(与HMD不同的远程终端)上时,光源是‘固定的’,因为其具有至少暂时恒定的地理坐标或GPS坐标。因此,有可能‘设置’图像,并且该图像保持‘附接’到光源LIGHTSOURC上,例如,位于博物馆中的给定油画附近的终端TERM。这是有利的,因为即使佩戴者转头,也不要求眼睛跟踪器以及进一步的计算来将图像‘附着’于油画上。
根据本发明,光源LIGHTSOURC可以用多路复用模式发射光。多路复用模式可以是空间的或时间的。多路复用还可以涉及发射光用于由多个设备HMD进行显示。在博物馆实例中,单个光源LIGHTSOURC可以为了对若干参观者有益而同时发射。
根据本发明,其中,所述光源LIGHTSOURC设置在远程照明终端LIGHTTERM上,所述光源LIGHTSOURC还可以有利地适合(被安排成、被配置成)用于将图像数据从所述光终端LIGHTTERM传输至所述设备HMD。因此,光源LIGHTSOURC扮演提供用于显示的计算机生成的全息图像(经修改的或未经修改的)数据以及照亮用于引起全息图像显示的设备HMD的双重角色。这种双重角色是特别有利的,因为即使所述HMD设备不包括它们自己的光源,其也提供在HMD设备上的图像显示。此外,其依赖于通信终端COMTERM的双重角色:可以传输包括图像数据的数据并且有利地紧随其后可以通过用合适的(安排的、配置的)光束提供光照而引起显示图像。
提供所述全息图像数据(经修改的或未经修改的)的步骤因此包括借助于在远程光终端LIGHTTERM上的光源LIGHTSOURC之间的光通信(例如,通过Li-Fi或FSO通信)传输所述数据的步骤。在这类实施例中,步骤(ii)可以包括将所述计算机生成的全息图像数据HD从所述光源LIGHTSOURC传输到设备HMD的步骤或者步骤(iv)可以包括将所述经修改的计算机生成的全息图像数据MHD从所述光源LIGHTSOURC传输到所述设备HMD的步骤。
在本发明的一个方面中,步骤(i)中的可视化参数数据VPD可以存储在设备HMD上的存储器中。在这种情况下,可以由位于设备HMD上的处理器(‘本地’计算)或者由远程处理器(‘远程’计算)来执行所述计算经修改的数据的步骤(iii)。所述远程处理器可以位于远程终端TERM上,例如,远程照明终端LIGHTTERM或远程通信终端COMTERM。所述终端TERM可以经由或可以不经由网络NETW连接到服务器SERV(独立式终端或联网终端)上。所述远程处理器还可以位于服务器SERV中。因此,根据本发明,步骤(i)可以包括:(i-a)通过至少一个通信终端COMTERM检测所述佩戴者的存在的步骤;和(i-b)响应于在步骤(i-a)检测到的存在而将所述可视化参数数据VPD从所述设备HMD传输至所述通信终端COMTERM的步骤,并且步骤(iv)可以包括将经修改的计算机生成的图像数据MID从所述通信终端COMTERM传输至所述设备HMD的步骤。图1至图4展示了本发明的实施例,其中,可视化参数数据VPD存储在设备HMD上的存储器中。
-图1至图2展示了实施例,其中,计算机生成的图像数据ID或HD被提供在通信终端COMTERM上。
-图3至图4展示了实施例,其中,计算机生成的图像数据ID或HD被提供在连接到通信数据库DB的通信服务器COMSERV上。
箭头指示为数据提供所传输的对应数据的注释的步骤,而星号(*)指示计算步骤(即,步骤(iii))可以由在终端TERM上或者在设备HMD上的处理器执行。
在本发明的另一个方面中,步骤(i)中的可视化参数数据VPD可以与可视化参数标识符VPID联合存储在存储器中,存储于通信服务器COMSERV上的佩戴者数据库WEARDB中,该通信服务器经由通信网络COMNETW连接至所述通信终端COMTERM。此标识符VPID可以被定义为允许检索所述可视化参数数据(VPD)的标识符。例如,其允许检索OD或HMDD数据。这个实施例是有利的,因为其允许更新可视化参数数据VPD。例如,针对给定的佩戴者,处方数据可以随时间而演变和/或佩戴者可以改变设备HMD。在本发明的方法中对服务器的使用提供了更新特征以由设备HMD如实地定制图像显示。可视化参数标识符VPID可以是单独的一个标识符,例如,标识给定佩戴者的唯一标识符。可视化参数标识符VPID还可以是通用标识符(群组标识符),例如,用于标识具有完全相同处方数据PD的一组佩戴者、例如具有相同近视矫正的多个佩戴者或者具有相同设备HMD型号的一组佩戴者。可视化参数标识符VPID可以是位于HMD上的代码,如QR代码或RFID代码。该标识符还可以是特定于HMD(和佩戴者)的调制频率。其可以是光签名。
在可视化参数数据VPD存储于服务器SERV上的数据库DB中的情况下,可以通过将可视化参数数据VPD从数据库DB传输到终端TERM,并且随后可选地从所述终端TERM传输到设备HMD来检索可视化参数数据VPD。因此,步骤(i)可以包括(i-a)通过所述通信终端COMTERM检测所述佩戴者的存在的步骤、以及(i-b)响应于在步骤(i-a)检测到的存在而将所述可视化参数数据VPD从所述通信服务器COMSERV传输到所述通信终端COMTERM的步骤。然后,步骤(i)可以可选地包括(i-c)将可视化参数数据VPD从所述通信终端COMTERM传输到所述设备HMD的另一个步骤。可以在眼科专家店经由计算机或者由佩戴者通过计算机、平板计算机或智能电话执行对可视化参数数据VPD的更新。
在可视化参数数据VPD存储在服务器SERV上的数据库DB中的情况下,计算经修改的图像数据的MID的步骤(iii)可以由位于终端TERM上的处理器或者由位于服务器SERV中的处理器执行。因此,其中,步骤(iii)可以包括将经修改的计算机生成的图像数据MID从所述通信终端COMTERM传输至所述设备HMD的步骤,并且可选地包括将经修改的计算机生成的图像数据MID从所述通信服务器COMSERV传输至所述通信终端COMTERM的先前步骤。
图5至图8展示了本发明的实施例,其中,可视化参数数据VPD存储在数据库中:
-图5展示了实施例,其中,可视化参数数据VPD从通信数据库DB中被检索并且经由通信终端COMTERM被传输到设备HMD。
-图6展示了实施例,其中,计算机生成的图像数据ID、HD被提供在通信终端COMTERM上。
-图7和图8展示了实施例,其中,计算机生成的图像数据ID、HD被提供在连接到通信数据库DB的通信服务器SERV上。
箭头指示提供数据的步骤,而星号(*)指示计算步骤(即,步骤(iii))可以由在终端TERM上、在服务器SERV上或者在设备HMD上的处理器执行。
根据本发明,在图像数据存储在服务器SERV上的图像数据库IMDB中的情况下,有可能定义对某些图像的访问权限。因此,在所述计算机生成的图像数据ID或所述经修改的计算机生成的图像数据MID存储在图像数据库IMDB中的情况下,本发明的方法可以包括在所述数据库中预登记佩戴者标识符WEARID与所述佩戴者之间的关联的预备步骤,并且步骤(ii)中的计算机生成的图像数据ID和/或步骤(iii)中的经修改的计算机生成的图像数据MID根据所述佩戴者标识符WEARID(可选地依据访问权限)被确定(定义)。因此,佩戴者标识符允许定义佩戴者概况。佩戴者标识符WEARID可以与可视化参数标识符VPID相同或不同。佩戴者标识符可以是位于设备HMD上的代码,例如,QR代码或RFID代码。因此,有可能定义与图像数据库IMDB连接的一个或多个访问权限级别。
本发明的系统和设备
另一个方面,本发明提供包括照明终端LIGHTTERM和设备HMD的系统。所述系统适合(被安排成、被配置成)用于执行本发明的方法。
因此,本发明涉及照明终端LIGHTTERM。此终端适合(被安排成、被配置成)用于实施本发明的方法,特别是当计算机生成的图像是全息图像时。
本发明的光终端LIGHTTERM包括:
-光源LIGHTSOURC,该光源适合(被安排成、被配置成)用于通过光照来显示全息图像,
-可选地,传感器SENS,该传感器适合(被安排成、被配置成)用于检测配备有头戴式计算机生成的全息图像显示设备HMD的佩戴者的存在,以及
-可选地,通信接口INT,该通信接口适合(被安排成、被配置成)用于从和/或向所述终端传输选自可视化参数数据VPD、计算机生成的全息图像数据HD和经修改的计算机生成的全息图像数据MHD的数据。
通信接口INT可以包括USB端口和/或用于无线通信的任何其他接口,包括如蓝牙、Wi-Fi,4G、3G等射频;光通信(Li-Fi或FSO)和/或IR通信;和/或光电二极管(用于接收数据)和/或例如可见光或近IR光源的发射器(用于发射数据)。
进一步地,光终端LIGHTTERM可以包括以下各项的一项或多项:
-电池或任何其他电力装置,
-用于确定GPS坐标的GPS,
-一个存储器或多个存储器,
-数字照相机,
-其他传感器,
-控制器CONT,该控制器适合(被安排成、被配置成)用于处理全息图像数据(经修改的或未经修改的)。所述控制器CONT适合(被安排成、被配置成)用于执行步骤(iii)并且包括处理器。
在优选实施例中,在本发明的照明终端LIGHTTERM中,所述光源LIGHTSOURC进一步适合(被安排成、被配置成)用于从所述照明终端LIGHTTERM传输计算机生成的全息图像数据HD和/或经修改的计算机生成的全息图像数据MHD。
这种双重角色(光照以便进行显示和数据传输)是特别有利的,因为即使所述HMD设备不包括它们自己的光源,其也提供在HMD设备上的图像显示。进一步地,其依赖于终端的双重角色:可以传输包括图像数据的数据并且有利地紧随其后可以通过用合适的(安排的、配置的)光束提供光照而引起显示图像。
本发明还涉及如在本文中所描述的照明终端的部署网络。因此,本发明涉及一种包括如在本文中所描述的多个照明终端LIGHTTERM的系统,其中,所述照明终端LIGHTTERM中的每一个照明终端经由照明网络LIGHTNETW连接至照明服务器LIGHTSERV。服务器和网络在本领域中是已知的。例如,为了通信目的,有可能经由网络将多个终端与服务器连接。类似地,在这些终端是照明终端的情况下,所述照明终端LIGHTTERM中的每一个照明终端可以被安排成(被配置成)经由网络LIGHTNETW与服务器LIGHTSERV通信(连接)。根据本发明,照明终端还可以是通信终端。进一步地,多个所述照明/通信终端TERM可以被安排成(被配置成)经由网络NETW与服务器SERV通信(连接)。
另一方面,本发明涉及一种头戴式设备。本发明提供了一种头戴式计算机生成的图像显示设备HMD,该显示设备包括:
-相位和/或振幅空间光调制器SLM,以及
-可选地,光源LIGHTSOURC,该光源适合(被安排成、被配置成)用于显示图像光照,以及
-可选地,通信接口μINT,该通信接口适合(被安排成、被配置成)用于从和/或向所述设备HMD传输选自可视化参数数据VPD、计算机生成的图像数据ID和经修改的计算机生成的图像数据MID的数据。
此设备HMD适合(被安排成、被配置成)用于实施本发明的方法。
在优选实施例,所述设备HMD是一副具有相位SLM的处方眼镜。
优选地,计算机生成的图像是计算机生成的全息图像。
SLM优选地是相位SLM(例如,仅相位),并且可以由LCoS或者玻璃透射式有源矩阵液晶制成。SLM还可以是在佩戴者眼睛之前设置的“透视”SLM,在这种情况下不需要全息反射镜。当SLM设置在除了佩戴者眼睛之前的其他地方时,例如,当SLM设置在设备HMD的侧面或佩戴者镜腿附近时,那么可能需要全息反射镜。
根据本发明,设备HMD可以包括以下各项中的一项或多项:
-至少一个镜片,其中,所述镜片配备有减反射涂层以及可选地设置在佩戴者的侧部上的镜片之上或之中的全息反射镜;该全息反射镜优选地在设备HMD配备有内置光源LIGHTSOURC时存在,
-可以是一副处方镜片的一部分的镜片,
-电池,
-GPS,
-至少一个存储器,
-照相机,
-麦克风,
-传感器,例如,眼睛跟踪器、移动跟踪器或触觉装置,包括触觉命令装置,
-适合(被安排成、被配置成)用于处理(解码、解调、编码等)图像数据的微控制器(μCONT)。所述控制器CONT可以适合(被安排成、被配置成)用于执行步骤(iii)并且包括处理器。
通信接口μINT可以包括USB端口和/或用于无线通信的任何其他接口,包括如蓝牙、Wi-Fi,4G、3G的射频;光学(Li-Fi或FSO)和/或IR通信;和/或光电二极管(用于接收数据)和/或例如可见光或近IR光源的发射器(用于发射数据)。
设备HMD可以包括适合(被安排成、被配置成)用于存储选自可视化参数数据VPD、计算机生成的图像数据ID和经修改的计算机生成的图像数据MID的数据的存储器。设备HMD的编程可以包括选自可视化参数数据VPD、计算机生成的图像数据ID和经修改的计算机生成的图像数据MID的输入数据。
在图12至图14上展示了本发明的设备HMD的实例。这些实例是包括安装在设备的镜腿TEMP上的光源LIGHTSOURC的设备,尽管根据本发明所述光源LIGHTSOURC的存在是可选的。
设备HMD包括空间光调制器SLM和镜片L。
SLM可以位于设备HMD的镜腿TEMP上。SLM可以在反射(图12)或透射(图13)中起作用。由光源LIGHTSOURC发射的光束在击中镜片L之前分别被SLM反射(图12)或透射(图13)。在本发明的设备HMD包括反射式SLM的情况下,设备HMD进一步包括全息反射镜。镜片L在镜片L的面向佩戴者眼睛的那侧上配备有全息反射镜MIRR。镜片L还配备有减反射涂层。在于全息反射镜MIRR上反射之后,光束被引导到佩戴者眼睛,因此引起全息图像的可视化。全息反射镜MIRR是偏离中心的。
全息反射镜在本领域中是已知的,是光全息术元件的一部分。它们可以例如包括设定的条纹的衍射光栅。全息反射镜可由本领域中已知的重铬酸盐明胶的感光聚合物或合成感光聚合物或漂白银全息乳剂制成。有利地,全息反射镜MIRR可以在不影响镜片的几何形状的情况下与镜片组合。结果,镜片的光学功能与全息反射镜的光学功能完全不相关并且可以被独立地优化。可以设计全息反射镜以便矫正系统的一些或所有光学像差(尤其是因为如在图12和图13上SLM被定位在玻璃镜腿TEMP上,它是偏离中心的,这在由佩戴者进行可视化时引起图像的光学像差)。全息反射镜可以被逐个角部分地制造以便限制场像差(减小的光圈)。在这种情况下,针对给定方向上的入射光,反射镜仅反射期望波长的光。这种反射镜对于配备有内置光源LIGHTSOURC的设备HMD而言是特别有利的。针对构造具有较大光圈的图像,有可能将整张图像进行分片并且通过光束用反射镜的扫描继续进行。
SLM也可以是如图14上所示的“透视”透射式SLM。远程光源LIGHTSOURC发射光束,该光束透射通过镜片L和SLM到达佩戴者的眼睛。
针对单色使用,在光照波长下以光方式记录(定义)全息反射镜。对于除了此波长之外的波长,反射镜是透明的并且因此不会由佩戴者通过这些镜片损害视觉。针对三色使用(红色、绿色、蓝色),在三个波长下以光方式记录(定义)全息反射镜并且全息图像可以在所考虑的三个波长下被可视化。全息反射镜在其他波长下是透明的。类似地,针对除了三个所选波长之外的波长,反射镜是透明的并且因此不会由佩戴者通过这些镜片损害视觉(衍射效力为零)。优选地,针对各种光照角度(入射光),以光方式记录反射镜。更普遍地,全息反射镜的设计和设置对技术人员而言是公知常识。
由于反射镜是特定于针对照明和可视化使用的波长,本发明的设备HMD是有利的,因为它们保护了佩戴设备HMD的佩戴者可见的图像的机密性。
当SLM设置在眼镜/HMD的镜腿上时,其明显地偏离中心,并因此SLM投影的全息图像造成视觉/光学像差,这可以有利地至少部分地由全息图像数据的适当修改进行补偿。因此,SLM修改由SLM相应发射(透射或反射)的波前,从而引起视觉体验和舒适度得到改善。
本发明还涉及SLM在头戴式设备中的使用。更具体而言,本发明涉及SLM在眼镜(包括处方眼镜)中的使用。SLM可以是相位和/或振幅空间光调制器SLM,优选地是相位或仅相位SLM,例如,LCoSSLM或玻璃透射式有源矩阵LCSLM。
通过以下非限制性实例来对本发明进行说明。
实例
实例1:地铁线路图的显示
近视佩戴者装配有本发明的设备HMD。佩戴者被分配包括处方数据PD(左眼和右眼屈光力)的可视化参数数据VPD和与所述设备HMD相对应的设备数据HMDD。可视化参数数据VPD存储在所述设备HMD上的存储器上。
在一个实施例中,如图1中所示,本发明的方法可以被如下实施。地铁站配备有包括光源LIGHTSOURC、存储器和处理器的独立式终端TERM。表示地图线路图的计算机生成的全息图像数据HD存储在终端TERM的存储器中。终端TERM检测佩戴设备HMD的佩戴者的存在。这引起将可视化参数数据VPD从设备HMD传输至终端TERM。终端的处理器执行计算步骤以便提供经修改的全息图像数据MHD,这些数据适配于佩戴者处方数据PD和设备设计HMDD。然后,使用Li-Fi通信将所述经修改的数据MHD从终端TERM传输到设备HMD。
在另一个实施例中,如图2所示,本发明的方法可以被如下实施。地铁站配备有包括光源LIGHTSOURC、存储器和处理器的独立式终端TERM。表示地图线路图的计算机生成的全息图像数据HD存储在终端TERM的存储器中。终端TERM检测佩戴设备HMD的佩戴者的存在。这引起通过Li-Fi将全息图像数据HD从终端TERM传输到设备HMD。设备HMD装配处理器,该处理器执行计算步骤以便提供经修改的全息图像数据MHD,这些数据适配于佩戴者处方数据PD和设备设计HMDD。
在两个实施例中,终端TERM的光源LIGHTSOURC发射适合(被安排成、被配置成)用于引起显示地铁线路图的经修改的全息图像的光束,从而允许佩戴者在地铁中找到方位。
佩戴者利用个性化特征体验增强的现实,因为该显示根据佩戴者处方数据提供对全息图像的矫正。
实例2:日期/时间的显示
散光佩戴者装配本发明的设备HMD。佩戴者具有包括处方数据PD(左眼和右眼的散光模数和轴线)的可视化参数数据VPD和与所述设备相对应的设备数据HMDD。设备HMD包括时钟、存储器和内置光源LIGHTSOURC。该时钟适用于提供日期和时间。该存储器包括经修改的全息图像数据,该数据将佩戴者的散光处方数据PD和设备数据HMDD考虑在内。全息图像数据包括数字0、1、2、…、9和其他字母数字字符,如斜线、破折号等。来自佩戴者的触觉命令和光源LIGHTSOURC的光照之后,HMD引起在佩戴者视野的左上角显示具有日期和时间的全息图像,格式如下:
dd/mm/yy(日/月/年)
hh:mm(小时:分钟)
HMD允许定制字体大小、显示位置(例如,在视野的右下角)、以及其他显示格式,如
hh:mm(am或pm)(小时:分钟)。
可替代地,全息图像数据可以是具有指针的实际时钟图像的那些数据。时间和/或日期的显示有利地针对佩戴者被定制,并且使用个性化计算机生成的全息图像提供符合处方的时间显示。本实例可以被推广到另外的实施例,其中,不需要终端来执行本发明的方法。
实例3:一天的时间表的显示
远视眼佩戴者装配本发明的设备HMD。佩戴者具有包括处方数据PD(左眼和右眼)的可视化参数数据VPD和与所述设备相对应的设备数据HMDD。该设备包括光源LIGHTSOURC。
佩戴者配备有呈平板计算机形式的终端TERM。平板计算机适合(被安排成、被配置成)用于将数据传输到设备HMD。平板计算机可以经由Wi-Fi通信连接到互联网以及例如连接到云。
在一个实施例中,可视化参数数据VPD存储在HMD上的存储器上。平板计算机可以将表示佩戴者一天的时间表的全息图像数据HD的集合传输到设备HMD。平板计算机检测佩戴者的存在,这引起将数据HD传输到设备HMD。数据HD随后照此存储在设备的存储器上(从平板计算机上传)、可以通过将可视化数据VPD考虑在内而被修改、并且还可以一旦被修改成将可视化数据VPD考虑在内则被存储在其中。
可选地,在另一个实施例中,平板计算机可以包括存储可视化参数数据VPD的存储器,并且平板计算机可以被编程以直接计算并传输经修改的数据MHD,而不是将未经修改的全息图像数据HD传输到设备HMD。
针对两个实施例,在一天的其余时候,即使当佩戴者‘离线’时(即,即使HMD未连接到终端或服务器),佩戴者也可以根据需要(例如,遵循触觉命令)访问并按全息图像显示时间表数据。在HMD的光源光照时有可能显示。该显示有利地针对佩戴者的远视眼被定制。有可能通过连接到与相关服务器或云相连接的合适的(被安排的、配置的)终端来更新时间表的数据。
实例4:本发明的具有远程光源的方法和系统的可能应用
访问博物馆
可能的应用是在博物馆中,其中,单个光源LIGHTSOURC是终端TERM的一部分并且可以为了对参观博物馆的佩戴者有益而发射。进一步地,光源LIGHTSOURC可以以多路复用模式发射,从而使得其可以为了对在同一时间参观博物馆的多个HMD佩戴者有益而被使用。
在车辆中
装配光源LIGHTSOURC的终端TERM可以被设置在如汽车、摩托车、飞机、卡车等车辆中。终端用于显示信息,如交通、天气等信息。信息以离散的、但非常明显的方式被显示(与在夜晚或在如雨天或雾天的恶劣天气条件下的不总是非常明显的路标截然相反)。图像被‘设置’在车辆的参照系中,从而使得驾驶员不需要转动头部来观看标记。进一步,光源可以以多路复用模式发射并且为了对在车辆中的另一个非驾驶人员有益而显示其他信息。
进入建筑物
可以根据本发明执行建筑物安全性(进/出控制)。入口处的终端允许显示用于输入入口代码的虚拟键盘。进入建筑物需要访问者佩戴合适的(被安排的、配置的)HMD。
***
Claims (21)
1.用于处理计算机生成的图像数据以便使用佩戴者佩戴的头戴式计算机生成的图像显示设备(HMD)进行显示的计算机实现的方法,该方法包括:
(i)提供选自以下各项的可视化参数数据(VPD)的步骤
-包括佩戴者处方数据(PD)、佩戴者眼睛灵敏度数据(SD)和佩戴者眼科生物统计数据(BD)的佩戴者眼科数据(OD);以及
-包括镜架数据(FD)和镜片数据(LD)的头戴式设备数据(HMDD),
(ii)提供计算机生成的图像数据(ID)的步骤,
(iii)通过将步骤(i)中的该可视化参数数据(VPD)考虑在内从步骤(ii)中的该计算机生成的图像数据(ID)计算经修改的计算机生成的图像数据(MID)的步骤,以及
(iv)将步骤(iii)中的该经修改的计算机生成的图像数据(MID)提供给所述设备(HMD)以便显示的步骤。
2.如权利要求1所述的计算机实现的方法,其中,
-所述图像是全息图像,和/或
-所述可视化参数数据(VPD)是选自散光模数、散光轴线、屈光力、棱镜和下加光的佩戴者处方数据(PD)。
3.如权利要求1和2所述的计算机实现的方法,其中,所述图像是全息图像,所述计算机生成的图像数据(ID)是计算机生成的全息图像数据(HD),所述经修改的计算机生成的图像数据(MID)是经修改的计算机生成的全息图像数据(MHD);并且其中,所述方法包括:
(v)由至少一个光源(LIGHTSOURC)发射光束的步骤,该光束被安排成用于通过照亮所述设备(HMD)来显示由步骤(iii)中的该经修改的计算机生成的全息图像数据(MHD)产生的全息图像,
其中,所述光源(LIGHTSOURC)设置在远程照明终端上和/或内置在所述设备(HMD)上。
4.如权利要求3所述的计算机实现的方法,其中,所述光源(LIGHTSOURC)设置在远程照明终端(LIGHTTERM)上并且所述光源(LIGHTSOURC)被进一步安排成用于传输数据,并且其中:
-步骤(ii)包括将所述计算机生成的全息图像数据(HD)从所述光源(LIGHTSOURC)传输到所述设备(HMD)的步骤,或
-步骤(iv)包括将所述经修改的计算机生成的全息图像数据(MHD)从所述光源(LIGHTSOURC)传输到所述设备(HMD)的步骤。
5.如权利要求1至4所述的计算机实现的方法,其中,步骤(i)中的所述可视化参数数据(VPD)中的至少一项数据存储在所述设备(HMD)上的存储器中。
6.如权利要求5所述的计算机实现的方法,其中,步骤(i)包括:
(i-a)由至少一个通信终端(COMTERM)检测所述佩戴者的存在的步骤,
(i-b)响应于在步骤(i-a)检测到的存在,将所述可视化参数数据(VPD)从所述设备(HMD)传输到所述通信终端(COMTERM)的步骤,
并且其中,步骤(iii)包括将经修改的计算机生成的图像数据(MID)从所述通信终端(COMTERM)传输到所述设备(HMD)的步骤。
7.如权利要求1至4所述的计算机实现的方法,其中,步骤(i)中的所述可视化参数数据(VPD)中的至少一项数据与可视化参数标识符(VPID)联合存储在经由通信网络(COMNETW)连接到至少一个通信终端(COMTERM)的通信服务器(COMSERV)上的佩戴者数据库(WEARDB)中,该可视化参数标识符是允许检索所述可视化参数数据(VPD)的标识符。
8.如权利要求7所述的计算机实现的方法,其中,步骤(i)包括:
(i-a)由所述至少一个通信终端(COMTERM)检测所述佩戴者的存在的步骤,
(i-b)响应于在步骤(i-a)检测到的存在,将所述可视化参数数据(VPD)从所述通信服务器(COMSERV)传输到所述通信终端(COMTERM)的步骤。
9.如权利要求8所述的计算机实现的方法,其中,步骤(i)包括:
(i-c)将可视化参数数据(VPD)从所述通信终端(COMTERM)传输到所述设备(HMD)的另一个步骤。
10.如权利要求7所述的计算机实现的方法,其中,步骤(iii)包括:
-将经修改的计算机生成的图像数据(MID)从所述通信终端(COMTERM)传输到所述设备(HMD)的步骤。
11.如权利要求10所述的计算机实现的方法,其中,步骤(iii)包括:
-将经修改的计算机生成的图像数据(MID)从所述通信服务器(COMSERV)传输到所述通信终端(COMTERM)的先前步骤。
12.如权利要求1至11所述的计算机实现的方法,其中,所述计算机生成的图像数据(ID)或所述经修改的计算机生成的图像数据(MID)存储在图像数据库(IMDB)中,
其中,所述方法包括在所述数据库中预登记佩戴者标识符(WEARID)与所述佩戴者之间的关联的预备步骤,并且
其中,根据所述佩戴者标识符(WEARID)确定步骤(ii)中的所述计算机生成的图像数据(ID)和/或步骤(iii)中的所述经修改的计算机生成的图像数据(MID)。
13.如权利要求12所述的计算机实现的方法,
其中,依据多个访问权限,根据所述佩戴者标识符(WEARID)确定步骤(ii)中的所述计算机生成的图像数据(ID)和/或步骤(iii)中的所述经修改的计算机生成的图像数据(MID)。
14.被安排成用于实现如权利要求3至13所述的方法的照明终端,该照明终端包括:
-光源(LIGHTSOURC),该光源被安排成用于通过光照来显示全息图像。
15.根据权利要求14所述的照明终端,进一步包括
-传感器(SENS),该传感器被安排成用于检测配备有头戴式计算机生成的全息图像显示设备(HMD)的佩戴者的存在,和/或
-通信接口(INT),该通信接口被安排成用于从和/或向所述终端传输选自可视化参数数据(VPD)、计算机生成的全息图像数据(HD)和经修改的计算机生成的全息图像数据(MHD)的数据。
16.根据权利要求14和15所述的照明终端,其中,所述光源(LIGHTSOURC)被进一步安排成用于从所述照明终端传输计算机生成的全息图像数据(HD)和/或经修改的计算机生成的全息图像数据(MHD)。
17.被安排成用于实现如权利要求3至13所述的方法的系统,该系统包括根据权利要求14至16所述的多个照明终端,其中,所述照明终端中的每一个照明终端经由照明网络连接至照明服务器。
18.被安排成用于实现如权利要求1至13所述的方法的头戴式计算机生成的图像显示设备(HMD),该显示设备包括:
-例如,由LCoS(硅上液晶)或玻璃透射式有源矩阵液晶制成的相位和/或振幅空间光调制器(SLM)。
19.根据权利要求18所述的头戴式计算机生成的图像显示设备(HMD),进一步包括:
-光源(LIGHTSOURC),该光源被安排成用于显示图像光照,和/或
-通信接口(μINT),该通信接口被安排成用于从和/或向所述设备(HMD)传输选自可视化参数数据(VPD)、计算机生成的图像数据(ID)和经修改的计算机生成的图像数据(MID)的数据。
20.相位和/或振幅空间光调制器(SLM),该相位和/或振幅空间光调制器用于在佩戴者处方顺从头戴式显示设备中矫正屈光不正。
21.根据权利要求20所述的供使用的SLM,其中,该SLM是LCoSSLM或玻璃透射式有源矩阵液晶SLM。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13306208.3 | 2013-09-04 | ||
EP13306208 | 2013-09-04 | ||
PCT/EP2014/068758 WO2015032828A1 (en) | 2013-09-04 | 2014-09-03 | Methods and systems for augmented reality |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105518539A true CN105518539A (zh) | 2016-04-20 |
Family
ID=49170647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480048719.0A Pending CN105518539A (zh) | 2013-09-04 | 2014-09-03 | 用于增强现实的方法和系统 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10520730B2 (zh) |
EP (1) | EP3042249B1 (zh) |
JP (1) | JP6675312B2 (zh) |
KR (1) | KR102309257B1 (zh) |
CN (1) | CN105518539A (zh) |
WO (1) | WO2015032828A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107589562A (zh) * | 2017-09-20 | 2018-01-16 | 厦门云镜视界设计有限公司 | 一种眼镜定制方法 |
CN109769136A (zh) * | 2018-12-07 | 2019-05-17 | 北京交通大学 | 基于瞬时访问速率值的在线视频缓存管理方法和系统 |
CN109960040A (zh) * | 2017-12-22 | 2019-07-02 | 依视路国际公司 | 包括傅立叶全息图的头戴式设备 |
CN112041732A (zh) * | 2018-05-11 | 2020-12-04 | 依视路国际公司 | 用于为配戴者生成虚像的系统 |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10048647B2 (en) | 2014-03-27 | 2018-08-14 | Microsoft Technology Licensing, Llc | Optical waveguide including spatially-varying volume hologram |
US10062224B2 (en) * | 2014-05-20 | 2018-08-28 | Tyco Safety Products Canada Ltd. | Dual access level security system and method |
EP4173550A1 (en) | 2015-03-16 | 2023-05-03 | Magic Leap, Inc. | Diagnosing and treating health ailments |
EP3278175A1 (en) | 2015-04-03 | 2018-02-07 | Essilor International | Methods and systems for augmented reality |
US9939644B2 (en) * | 2015-06-25 | 2018-04-10 | Intel Corporation | Technologies for controlling vision correction of a wearable computing device |
US10210844B2 (en) | 2015-06-29 | 2019-02-19 | Microsoft Technology Licensing, Llc | Holographic near-eye display |
US9798894B2 (en) * | 2015-07-02 | 2017-10-24 | Xerox Corporation | Secure computer display using inverse computational light field displays |
WO2017005608A1 (en) | 2015-07-03 | 2017-01-12 | Essilor International (Compagnie Generale D'optique) | Methods and systems for augmented reality |
KR102593113B1 (ko) | 2015-07-03 | 2023-10-25 | 에씰로 앙터나시오날 | 증강 현실을 위한 방법 및 시스템 |
CA3015213C (en) * | 2015-09-16 | 2019-03-19 | Robert THERRIEN | Relaxation and meditation eyewear |
DE102015219859B4 (de) * | 2015-10-13 | 2017-07-27 | Carl Zeiss Vision International Gmbh | Vorrichtung und Verfahren für die AR-Darstellung |
US10338410B1 (en) * | 2015-12-28 | 2019-07-02 | Facebook Technologies, Llc | Eyeglass prescription correction for optics blocks in head-mounted displays |
WO2017145158A1 (en) | 2016-02-22 | 2017-08-31 | Real View Imaging Ltd. | Zero order blocking and diverging for holographic imaging |
US10795316B2 (en) | 2016-02-22 | 2020-10-06 | Real View Imaging Ltd. | Wide field of view hybrid holographic display |
US10788791B2 (en) | 2016-02-22 | 2020-09-29 | Real View Imaging Ltd. | Method and system for displaying holographic images within a real object |
US11663937B2 (en) | 2016-02-22 | 2023-05-30 | Real View Imaging Ltd. | Pupil tracking in an image display system |
US10115205B2 (en) | 2016-03-11 | 2018-10-30 | Facebook Technologies, Llc | Eye tracking system with single point calibration |
KR102062658B1 (ko) * | 2016-03-11 | 2020-01-06 | 페이스북 테크놀로지스, 엘엘씨 | 안구 모델을 생성하기 위한 각막의 구체 추적 |
JP6409015B2 (ja) * | 2016-03-29 | 2018-10-17 | 矢崎総業株式会社 | 車両用投影表示装置 |
AU2017246901B2 (en) | 2016-04-08 | 2022-06-02 | Magic Leap, Inc. | Augmented reality systems and methods with variable focus lens elements |
US20170323482A1 (en) * | 2016-05-05 | 2017-11-09 | Universal City Studios Llc | Systems and methods for generating stereoscopic, augmented, and virtual reality images |
US10108144B2 (en) | 2016-09-16 | 2018-10-23 | Microsoft Technology Licensing, Llc | Holographic wide field of view display |
EP3296792A1 (en) * | 2016-09-19 | 2018-03-21 | Essilor International | Method for managing the display of an image to a user of an optical system |
EP3296793A1 (en) * | 2016-09-19 | 2018-03-21 | Essilor International | Method of determining a correcting optical function to a virtual image |
US10254542B2 (en) | 2016-11-01 | 2019-04-09 | Microsoft Technology Licensing, Llc | Holographic projector for a waveguide display |
US20180144554A1 (en) | 2016-11-18 | 2018-05-24 | Eyedaptic, LLC | Systems for augmented reality visual aids and tools |
US11022939B2 (en) | 2017-01-03 | 2021-06-01 | Microsoft Technology Licensing, Llc | Reduced bandwidth holographic near-eye display |
KR102483970B1 (ko) | 2017-02-23 | 2022-12-30 | 매직 립, 인코포레이티드 | 편광 변환에 기초한 가변-포커스 가상 이미지 디바이스들 |
JP7058471B2 (ja) * | 2017-04-17 | 2022-04-22 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
CN114019683A (zh) | 2017-05-17 | 2022-02-08 | 苹果公司 | 具有视力矫正的头戴式显示设备 |
US10712567B2 (en) | 2017-06-15 | 2020-07-14 | Microsoft Technology Licensing, Llc | Holographic display system |
US20190012841A1 (en) | 2017-07-09 | 2019-01-10 | Eyedaptic, Inc. | Artificial intelligence enhanced system for adaptive control driven ar/vr visual aids |
CN111133368A (zh) * | 2017-09-27 | 2020-05-08 | 奇跃公司 | 具有分离的相位和幅度调制器的近眼3d显示器 |
US10984508B2 (en) * | 2017-10-31 | 2021-04-20 | Eyedaptic, Inc. | Demonstration devices and methods for enhancement for low vision users and systems improvements |
KR20190087977A (ko) * | 2017-12-25 | 2019-07-25 | 저텍 테크놀로지 컴퍼니 리미티드 | 레이저 빔 스캐닝 표시 장치 및 증강 현실 안경 |
US10441161B2 (en) * | 2018-02-26 | 2019-10-15 | Veyezer LLC | Holographic real space refractive sequence |
US11253149B2 (en) | 2018-02-26 | 2022-02-22 | Veyezer, Llc | Holographic real space refractive sequence |
US11614623B2 (en) | 2018-02-26 | 2023-03-28 | Veyezer, Llc | Holographic real space refractive system |
US11563885B2 (en) | 2018-03-06 | 2023-01-24 | Eyedaptic, Inc. | Adaptive system for autonomous machine learning and control in wearable augmented reality and virtual reality visual aids |
US11187906B2 (en) | 2018-05-29 | 2021-11-30 | Eyedaptic, Inc. | Hybrid see through augmented reality systems and methods for low vision users |
US11726561B2 (en) | 2018-09-24 | 2023-08-15 | Eyedaptic, Inc. | Enhanced autonomous hands-free control in electronic visual aids |
DE102018126329A1 (de) * | 2018-10-23 | 2020-04-23 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Ausrichten eines virtuellen Bildelements und Head-up-Display zum Abbilden eines virtuellen Bildelements |
US10930183B2 (en) * | 2018-11-22 | 2021-02-23 | Electronics And Telecommunications Research Institute | Hologram content generation apparatus, integrated hologram content control system having the same, and method for operating the hologram content generation apparatus |
US20220240772A1 (en) * | 2019-05-09 | 2022-08-04 | Evolution Optiks Limited | Corrective light field display profile management, communication and integration system and method |
US20220343606A1 (en) * | 2021-04-21 | 2022-10-27 | NewSight Reality, Inc. | Optical module with active microlens array capable of synchronizing with see-through display to provide multiple modes of functionality |
US11790345B2 (en) * | 2022-02-03 | 2023-10-17 | Bank Of America Corporation | Card to card transaction initiation using light fidelity (“LIFI”) enabled smart glasses |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1260501A (zh) * | 1999-01-12 | 2000-07-19 | 夏普公司 | 光传输和接收组件 |
CN101432997A (zh) * | 2006-03-31 | 2009-05-13 | 株式会社中川研究所 | 照明光通信装置 |
US20090296177A1 (en) * | 2008-05-30 | 2009-12-03 | Avago Technologies Fiber Ip (Singapore) Pte. Ltd. | Method and apparatus for using a hologram to control the optical field distribution of light generated by a light source and launched into an end of an optical waveguide |
CN102857299A (zh) * | 2012-08-23 | 2013-01-02 | 中国科学院苏州纳米技术与纳米仿生研究所 | 光通信系统及方法 |
CN103270456A (zh) * | 2011-10-20 | 2013-08-28 | 松下电器产业株式会社 | 显示装置及显示系统 |
CN103297888A (zh) * | 2013-04-24 | 2013-09-11 | 青岛海信电器股份有限公司 | 无线耳机装置、移动终端装置以及可调制光源器件 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6421147B2 (en) * | 1998-07-07 | 2002-07-16 | Denso Corporation | Hologram screen and a method of producing the same |
JP3827082B2 (ja) | 2002-10-24 | 2006-09-27 | 株式会社中川研究所 | 放送システム及び電球、照明装置 |
US7733298B2 (en) * | 2004-10-19 | 2010-06-08 | Hewlett-Packard Development Company, L.P. | Display device |
JP2006208687A (ja) * | 2005-01-27 | 2006-08-10 | Konica Minolta Photo Imaging Inc | ヘッドマウントディスプレイの映像調節システム |
DE102006003741B4 (de) * | 2006-01-18 | 2009-08-27 | Seereal Technologies S.A. | Verfahren zum Kodieren eines computergenerierten Hologramms |
FR2900475B1 (fr) | 2006-04-26 | 2008-10-31 | Essilor Int | Afficheur comportant une paire de lunettes de type binoculaire et avec un dispositif de reglage de l'image |
US7595933B2 (en) * | 2006-10-13 | 2009-09-29 | Apple Inc. | Head mounted display system |
JP4963467B2 (ja) * | 2007-12-14 | 2012-06-27 | 独立行政法人情報通信研究機構 | ホログラムパターン発生装置、電子ホログラフィの非点収差補正方法、および、ホログラムパターン発生プログラム |
JP4858512B2 (ja) * | 2008-08-21 | 2012-01-18 | ソニー株式会社 | 頭部装着型ディスプレイ |
US8436789B2 (en) * | 2009-01-16 | 2013-05-07 | Microsoft Corporation | Surface puck |
JP5874176B2 (ja) * | 2011-03-06 | 2016-03-02 | ソニー株式会社 | 表示装置、並びに中継装置 |
JP5451670B2 (ja) * | 2011-03-15 | 2014-03-26 | 株式会社アウトスタンディングテクノロジー | 可視光通信装置 |
JP5118266B2 (ja) * | 2011-03-25 | 2013-01-16 | パナソニック株式会社 | 表示装置 |
US9143402B2 (en) * | 2012-02-24 | 2015-09-22 | Qualcomm Incorporated | Sensor based configuration and control of network devices |
JP5994715B2 (ja) * | 2012-04-10 | 2016-09-21 | パナソニックIpマネジメント株式会社 | 計算機ホログラム型表示装置 |
CA3140855A1 (en) * | 2012-12-31 | 2014-07-03 | Esight Corp. | Apparatus and method for fitting head mounted vision augmentation systems |
US9865087B2 (en) * | 2013-03-15 | 2018-01-09 | Huntington Ingalls Incorporated | Method and system for disambiguation of augmented reality tracking databases |
EP3042248B1 (en) * | 2013-09-04 | 2020-06-17 | Essilor International | Methods and systems for augmented reality |
-
2014
- 2014-09-03 JP JP2016539532A patent/JP6675312B2/ja active Active
- 2014-09-03 US US14/916,905 patent/US10520730B2/en active Active
- 2014-09-03 CN CN201480048719.0A patent/CN105518539A/zh active Pending
- 2014-09-03 WO PCT/EP2014/068758 patent/WO2015032828A1/en active Application Filing
- 2014-09-03 EP EP14758926.1A patent/EP3042249B1/en active Active
- 2014-09-03 KR KR1020167005451A patent/KR102309257B1/ko active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1260501A (zh) * | 1999-01-12 | 2000-07-19 | 夏普公司 | 光传输和接收组件 |
CN101432997A (zh) * | 2006-03-31 | 2009-05-13 | 株式会社中川研究所 | 照明光通信装置 |
US20090296177A1 (en) * | 2008-05-30 | 2009-12-03 | Avago Technologies Fiber Ip (Singapore) Pte. Ltd. | Method and apparatus for using a hologram to control the optical field distribution of light generated by a light source and launched into an end of an optical waveguide |
CN103270456A (zh) * | 2011-10-20 | 2013-08-28 | 松下电器产业株式会社 | 显示装置及显示系统 |
CN102857299A (zh) * | 2012-08-23 | 2013-01-02 | 中国科学院苏州纳米技术与纳米仿生研究所 | 光通信系统及方法 |
CN103297888A (zh) * | 2013-04-24 | 2013-09-11 | 青岛海信电器股份有限公司 | 无线耳机装置、移动终端装置以及可调制光源器件 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107589562A (zh) * | 2017-09-20 | 2018-01-16 | 厦门云镜视界设计有限公司 | 一种眼镜定制方法 |
CN109960040A (zh) * | 2017-12-22 | 2019-07-02 | 依视路国际公司 | 包括傅立叶全息图的头戴式设备 |
CN112041732A (zh) * | 2018-05-11 | 2020-12-04 | 依视路国际公司 | 用于为配戴者生成虚像的系统 |
CN109769136A (zh) * | 2018-12-07 | 2019-05-17 | 北京交通大学 | 基于瞬时访问速率值的在线视频缓存管理方法和系统 |
CN109769136B (zh) * | 2018-12-07 | 2021-02-19 | 北京交通大学 | 基于瞬时访问速率值的在线视频缓存管理方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
EP3042249A1 (en) | 2016-07-13 |
KR102309257B1 (ko) | 2021-10-06 |
US20160216515A1 (en) | 2016-07-28 |
US10520730B2 (en) | 2019-12-31 |
JP6675312B2 (ja) | 2020-04-01 |
EP3042249B1 (en) | 2020-03-18 |
KR20160048800A (ko) | 2016-05-04 |
JP2016535872A (ja) | 2016-11-17 |
WO2015032828A1 (en) | 2015-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105518539A (zh) | 用于增强现实的方法和系统 | |
CN105579917B (zh) | 用于增强现实的方法和系统 | |
US10884246B2 (en) | Releasably attachable augmented reality system for eyewear | |
CN103270456B (zh) | 显示装置及显示系统 | |
CN103885582B (zh) | 近眼微透镜阵列显示器 | |
EP1949174B1 (en) | Ophthalmic lens simulation system and method | |
US20180084232A1 (en) | Optical See-Through Head Worn Display | |
US10429648B2 (en) | Augmented reality head worn device | |
US20140211322A1 (en) | Projection optical system for coupling image light to a near-eye display | |
US10573080B2 (en) | Apparatus and method for augmented reality presentation | |
WO2021055327A1 (en) | Augmented reality or mixed reality system for eyewear |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20180518 Address after: France Sharon - basil Applicant after: Essilor International Ltd. Address before: France Sarah. Applicant before: Essilor International (Compagnie Generale D'Optique) |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160420 |