CN105579917A - 用于增强现实的方法和系统 - Google Patents

用于增强现实的方法和系统 Download PDF

Info

Publication number
CN105579917A
CN105579917A CN201480048835.2A CN201480048835A CN105579917A CN 105579917 A CN105579917 A CN 105579917A CN 201480048835 A CN201480048835 A CN 201480048835A CN 105579917 A CN105579917 A CN 105579917A
Authority
CN
China
Prior art keywords
wearer
hmd
terminal
data
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480048835.2A
Other languages
English (en)
Other versions
CN105579917B (zh
Inventor
萨缪尔·阿尔尚博
杰罗米·芭莱特
奥德·鲍奇厄
金-保尔·卡诺
戴维德·埃斯凯奇
斯泰凡·佩罗特
Original Assignee
Essilor International Compagnie Generale dOptique SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Essilor International Compagnie Generale dOptique SA filed Critical Essilor International Compagnie Generale dOptique SA
Priority to CN202011239667.9A priority Critical patent/CN112416221A/zh
Publication of CN105579917A publication Critical patent/CN105579917A/zh
Application granted granted Critical
Publication of CN105579917B publication Critical patent/CN105579917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/14—Mirrors; Prisms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2286—Particular reconstruction light ; Beam properties
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C2202/00—Generic optical aspects applicable to one or more of the subgroups of G02C7/00
    • G02C2202/20—Diffractive and Fresnel lenses or lens portions
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08—Auxiliary lenses; Arrangements for varying focal length
    • G02C7/086—Auxiliary lenses located directly on a main spectacle lens or in the immediate vicinity of main spectacles
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0061—Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0204—Object characteristics
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208—Individual components other than the hologram
    • G03H2001/0228—Electro-optic or electronic components relating to digital holography
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H2001/2236—Details of the viewing window
    • G03H2001/2242—Multiple viewing windows
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249—Holobject properties
    • G03H2001/2284—Superimposing the holobject with other visual information
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/42—Synthetic representation, i.e. digital or optical object decomposition from real object, e.g. using 3D scanner
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00—Active addressable light modulator
    • G03H2225/30—Modulation
    • G03H2225/32—Phase only
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/04—Transmission or communication means, e.g. internet protocol
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/05—Means for tracking the observer
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2227/00—Mechanical components or mechanical aspects not otherwise provided for
    • G03H2227/02—Handheld portable device, e.g. holographic camera, mobile holographic display
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2270/00—Substrate bearing the hologram
    • G03H2270/55—Substrate bearing the hologram being an optical element, e.g. spectacles

Abstract

本发明提供了用于通过头戴式显示器生成、检索并显示计算机生成的全息图像的方法和系统(终端、设备)。全息图像可用作用于在增强现实中显示的虚拟可检索标记。

Description

用于增强现实的方法和系统
技术领域
本发明涉及用于增强现实的系统和方法。
本发明更具体地涉及通过头戴式显示器(HMD)生成、检索并显示计算机生成的全息图像。
背景技术
具有多个显示特征的头戴式设备在本领域中是已知的。这种设备包括所谓的‘智能眼镜’，这允许其佩戴者可视化图像或文本从而增强现实。
为了提高佩戴者视觉舒适度，希望提供多种方法和系统，其中，以特别适配于佩戴者和/或佩戴设备的定制方式显示图像和文本。
此外，为了提高佩戴者人体工学舒适度，希望提供一种轻型、紧凑的头戴式设备，并且尤其是一种在使用时具有低能量需求的设备。
另外，关于安全性，在通信中使用的用于数据交换的某些类型的电磁波可能造成健康问题，尤其是靠近头部定位的装置，如HMD。因此，希望提供一种其运行限制或避免将佩戴者暴露于这种电磁波下的头戴式设备。
发明内容
本发明总体上提供了用头戴式设备显示计算机生成的全息图像的方法和系统。
在一些方面，本发明提供用于检索并显示计算机生成的全息图像的方法和系统。在其他方面，本发明提供了用于创建计算机生成的全息图像的方法和系统，其中，所述全息图像可用于随后的检索和显示。
根据本发明，可以通过矫正由于光学像差引起的图像失真来增强显示质量和佩戴者视觉体验。这种像差可能由于设备的几何形状和设计引起。
在优选实施例中，本发明借助于相位空间光调制器(SLM)实现计算机生成的全息图像显示。所述SLM可以选自仅相位SLM以及相位和振幅SLM。对计算机生成的全息图像进行相位编码在能耗和图像质量方面是非常有利，并且提供如在下文所描述的进一步优点。
发明方法
概括地，本发明提供一种用于处理计算机生成的全息图像数据的计算机实现的方法。所述方法包括：
(a)由至少一个通信终端检测配备有头戴式计算机生成的全息图像显示设备的佩戴者的存在的步骤；以及
(b)响应于在步骤(a)检测到的存在，将计算机生成的全息图像数据从所述设备和所述通信终端中的一者传输到所述设备和所述通信终端中的另一者的步骤。
步骤(b)可以包括通过光通信传输所述计算机生成的全息图像数据。
本发明的方法还可以包括：
(c)由至少一个光源发射光束的步骤，该光束适合(被安排成、被配置成)用于通过照亮所述设备来显示全息图像，其中，所述光源设置在至少一个远程照明终端上和/或内置于所述设备上。
其中，所述光源设置在所述通信终端上，步骤(b)可以包括将所述计算机生成的全息图像数据从所述光源传输至所述设备。
所述至少一个通信终端和/或所述至少一个照明终端可以经由网络连接到服务器。
根据本发明的方法的第一实施例，步骤(b)可以是将所述计算机生成的全息图像数据从所述通信终端传输至所述设备的步骤。
在这个第一实施例中，步骤(b)可以包括将计算机生成的全息图像数据从多个远端通信终端依次传输至所述设备的步骤，其中，所述通信终端中的每一者经由通信网络连接到通信服务器，并且其中，该依次发射反映了对佩戴者从一个通信终端附近到另一个通信终端附近的存在的连续检测步骤，从而定义了所述佩戴者根据时间的移动。
在这个第一实施例中，本发明的方法可以进一步包括：
(a2)确定所述佩戴者的位置的步骤，其中，根据在步骤(a2)确定的该位置定义步骤(b)中的该计算机生成的全息图像数据。
在这个第一实施例中，本发明的方法可以进一步包括：
(d)检测该佩戴者的移动的步骤，以及
(e)根据步骤(d)中对该移动的识别来生成控制信号的步骤，该控制信号用于选择有待从所述通信终端传输到所述设备的另一项计算机生成的全息图像数据。
根据第二实施例，本发明的方法包括：
(i)检测配备有所述头戴式计算机生成的全息图像显示设备的佩戴者的移动的步骤，以及
(ii)根据步骤(i)中对该移动的识别来采集图像数据的步骤，并且
步骤(b)是将计算机生成的全息图像数据从所述设备向所述通信终端传输的步骤。
在这个第二实施例中，步骤(ii)可以包括选自以下各项的一项或多项：从菜单中选择选项、在虚拟键盘上输入至少一个键、在虚拟记事本上手写、以及拍摄数字图片。
在这个第二实施例中，所述至少一个通信终端可以经由网络连接到通信服务器上并且步骤(b)中的数据可以可选地联合位置存储在通信数据库中。
概括地(包括第一实施例和第二实施例)，本发明的方法可以进一步包括(a1)在数据库中预登记标识符与所述佩戴者之间的关联的预备步骤，其中，根据所述标识符、可选地依据访问权限定义步骤(b)中的数据。
本发明的系统和设备
本发明提供一种照明终端，包括：
-光源，该光源适合(被安排成、被配置成)用于通过光照来显示全息图像，
-传感器，该传感器适合(被安排成、被配置成)用于检测配备有头戴式计算机生成的全息图像显示设备的佩戴者的存在，以及
-可选地，通信接口，该通信接口适合(被安排成、被配置成)用于从和/或向所述照明终端传输计算机生成的全息图像数据。
此照明终端适合(被安排成、被配置成)用于实现本发明的方法。
本发明还提供了一种包括本文中所描述的多个照明终端的系统，其中，所述照明终端中的每一者经由照明网络连接到照明服务器。这种系统适合(被安排成、被配置成)用于实现本发明的方法。
本发明还提供了一种头戴式计算机生成的全息图像显示设备，该显示设备包括：
-通信接口，该通信接口适合(被安排成、被配置成)用于从和/或向所述设备传输计算机生成的全息图像数据，
-相位空间光调制器，例如，由例如LCoS(硅上液晶)或玻璃透射式有源矩阵液晶制成的仅相位空间光调制器或者相位幅度空间光调制器，以及
-可选地，光源，该光源适合(被安排成、被配置成)用于基于光照来显示全息图像，其中，该光照包括照亮SLM；即，光源适合(被安排成、被配置成)用于进行光照以显示全息图像。
此设备适合(被安排成、被配置成)用于实现本发明的方法。
附图说明
图1至图4示出了本发明的方法的实施例。
图5示出了在本发明的方法中有用的示例性数据库的结构。
图6至图8示出了本发明的头戴式设备的示例性结构。
定义
提供了以下定义来对本发明进行描述。
“计算机生成的全息图像”在本领域中是已知的。这类全息图像可以通过阅读(照亮)计算机生成的全息图而被显示。计算机生成的全息图又被称为合成或数字全息图。计算机生成的全息图通常是通过选择2D或3D图像而获得的，并且以数字方式计算其全息图。全息图像可以通过光重构(即，通过用合适的(安排的、配置的)光束(全息图的参考光束)照亮(读取)全息图)而被显示。该图像可以是“真实的”(因为它可以显示在物理屏幕或支撑件上)或者是“空中的”(虚拟的)。全息图可以被印刷于全息支撑件上或被实现于如下文解释的SLM上。
“计算机生成的全息图像数据”HD在本领域中是已知的。它们通常包括编码数据(编码数据集)，该编码数据允许显示计算机生成的全息图像以便受测者可看到。计算机生成的全息图像数据包括针对计算机生成的全息图像自身(其“内容”，其可以是图片、字母数字字符及其组合等)编码的数据，包括图像(2D、3D)的每个像素的相位和振幅的信息。计算机生成的全息图像数据还可以进一步包括针对全息图像在佩戴者的视野中显示的位置(定位)(例如，参照设备HMD的框架)和/或针对有待被可视化(缩放或放大)的图像的大小和/或针对有待被可视化的全息图像的焦点平面的位置编码的数据。针对全息图像位置、大小和焦点平面的这类数据对于将全息图像显示在配备有内置光源的设备HMD上是特别有用的。当设备HMD没有配备内置光源时，(即，当光源远离设备HMD时)，可以考虑位置和焦点平面的数据被隐含地包括在计算机生成的全息图像数据中。然而，所述数据可以进一步包括图像大小的数据(例如，用于缩放)。计算机生成的全息图像数据还可以提供有待显示的若干图像，例如，用于多路显示。计算机生成的全息图像数据可以提供一种颜色的(例如，黑色和白色)或者多于一种颜色的(例如，使用至少三种颜色，例如，三原色)图像。对针对计算机生成的全息图像自身(其“内容”)编码的数据有利地进行相位编码。数据HD可以被解码并被传输至显示装置(例如，传输至SLM)，以便允许基于合适的(安排的、配置的)光照读取全息图并显示相应的全息图像。根据本发明，所述数据HD可以存储在HMD的存储器中和/或在如通信终端COMTERM等终端上的存储器中和/或在经由如通信服务器COMSERV等服务器可访问的数据库中。全息图像数据HD的集合可以存储在计算机生成的全息图像数据的全息图像数据库HOLODB中。所述数据库DB包括适合(被安排成、被配置成)用于存储和检索全息图像数据集的存储器并且可以是如通信服务器COMSERV等服务器的一部分，或者经由通信网络COMNETW连接到该服务器上。在图5上示出了计算机生成的全息图像数据库的结构的实例。图5展示了包括计算机生成的全息图像数据HD的数据库HOLODB的实例。全息图像可以是字母数字字符(字母“A”、“B”，等；数字“1”、“2”等)或更复杂的图像(如图片)。该数据可以包括图像在佩戴者的视野中的位置LOC。进一步地，可以根据访问权限AC定义数据集。在图5上，可以例如使用标识符(HOLOi)从数据库中检索计算机生成的全息图像数据HD的每个集合。数据HD可以是数据集。该数据可以对应于如图像和/或文本等内容。该数据还可以对应于呈文本部分和/或图标形式的选项菜单。
“服务器”SERV在本领域中是已知的。服务器SERV可以经由扩展网络NETW与多个终端TERM连接。网络NETW允许数据传输并且可以依赖于如射频通信(Wi-Fi、蓝牙、3G、4G等)和/或如Li-Fi或FSO等光通信(红外IR、近红外NIR、短波长红外SWIR、可见光等)的无线通信和/或有线通信(以太网、光纤)。服务器SERV可以包括一个或多个数据库DB和/或其可以连接到一个或多个数据库DB。服务器SERV可以是通信服务器COMSERV和/或照明服务器LIGHTSERV。
可以借助于本领域中已知的手段执行“传输数据”。可以通过无线通信(包括Wi-Fi、蓝牙、3G、4G的RF；包括Li-Fi或FSO的光通信)或通过有线通信(例如，通过以太网电缆、USB端口、光纤等)从一个实体到另一个实体传输数据。关于可能的安全性问题，光通信可能是优选的。实际上，光通信的使用(如通过Li-Fi或FSO)能够限制暴露于可能引起健康问题的某些类型的波(Wi-Fi等)下。这特别是适用于至/从头戴式设备的数据传输，因为这种设备是用于佩戴在大脑的附近。
可以通过访问包含存储数据的存储器或数据库和从其中进行检索而传输数据(访问和检索可以是直接或间接的；有条件或无条件的等)。传输数据还可以依赖于预定义的访问权限，和/或在给定终端(传感器)附近检测到的存在。
“头戴式显示设备”(HMD)在本领域中是已知的。这类设备要佩戴在佩戴者的头上或周围，包括头盔式显示器、光学头戴式显示器、头戴显示器诸如此类。它们包括用于显示图像以便佩戴者可看到的光学装置。HMD可以提供仅计算机生成的图像的显示，或者提供计算机生成的图像和‘现实’视野的叠加可视化。HMD可以是单目的(单眼)或双目的(双眼)。本发明的HMD可以采取各种形式，包括眼镜、面具(如滑雪或潜水面具)、眼罩等。HMD可以包括一个或多个镜片。所述镜片可以选自处方镜片。根据本发明，HMD包括空间光调制器(SLM)。在优选实施例中，HMD是一副配备有多个镜片的眼镜。图6至图8中展示了本发明的设备HMD的实例。
“空间光调制器”(SLM)在本领域中是已知的。所述SLM可以是相位SLM、仅相位SLM、仅振幅SLM、或者相位振幅SLM。在存在的情况下，振幅调制优选地独立于相位调制，并且允许减少图像斑点，以便在灰度级方面提高图像质量。在优选实施例中，SLM是相位或仅相位SLM。根据本发明，所述SLM可以是：
-反射式SLM(导致显示在SLM上被反射的光束)。其实例包括由LCoS材料(硅上液晶)制成的SLM。可能的商业来源包括德国Holoeye公司、美国博尔德非线性系统公司(BoulderNonlinearSystems)、美国晶典公司(Syndiant)、剑桥科技公司(Cambridgetechnologies)。本发明的设备HMD包括反射式SLM，进一步包括全息反射镜；或者
-透射式SLM(引起显示透射过SLM的光束)。优选地，透射式SLM是“透视”或“透明”SLM，即，SLM具有大于85％或大于90％的透射率。这种“透视”SLM可以有利地被直接放置在佩戴者眼睛之前，而不以其他方式损害视觉。其实例包括由玻璃上薄硅(SOI：绝缘体上硅)或蓝宝石基片或玻璃透射式有源矩阵液晶制成的透明有源材料。这种产品是由日本CitizenFinetechMiyota公司开发的。其他实例包括LCD型透明有源矩阵，如非晶硅、IGZO等。可能的商业来源的实例包括博尔德非线性系统公司。本发明的包括透射式SLM的设备HMD可以包括或可以不包括全息反射镜。
SLM优选地具有以下特征中的一个或多个、优选地所有特征：
-小于10μm、优选地小于5μm或小于4μm的像素大小。优选的是选择具有较小像素大小的SLM，以便具有间隔开的衍射级，这是容易选择/挑选的，并且以便提供对相位的合适的(安排的，配置的)空间采样，从而产生具有更高的分辨率并且更好地再现其细节的图像。此外，更小的像素大小提供具有更宽域的图像的可能性，因为衍射角度更大。
-衍射效率大于85％，优选地大于90％。这是令人期望的，因为它提供了对单个像素的相位的改进的动态(响应)以及合适的(安排的、配置的)采样；
-不可见的命令矩阵和硬件(针对试点像素)；
-大于2π的相位动态；
-16级或更多(4位)的相位采样；
-大于90％、优选地大于95％的填充因子(像素有用区域)。
根据本发明，相位SLM是有利的，因为它们允许显示其图像数据被相位编码的图像。相位编码降低了图像的给定显示所需要的能量(相比于仅振幅调制编码，无强度损耗)。相应地，由于更少的计算资源需求，HMD的能量消耗可以被有利地减小。然而，还有利的是，SLM还允许振幅调制，因为它提供改进的图像质量，即使在那种情况下，计算可能需要更多的资源并因此消耗更多的能量。这能够使用更小的蓄电池，并且因此减小HMD的体积并扩展设备的能量自主权。根据本发明，SLM充当‘可编程的’全息图，即，允许显示期望的全息图像的电子可寻址读取支撑件。
“光源”LIGHTSOURC在本领域中是已知的。根据本发明，光源LIGHTSOURC是可以发射适合(被安排成、被配置成)用于显示由佩戴者进行可视化的图像的光束的任何光源。关于全息图像的显示，该光束包括全息图的参考光束。当所述光源LIGHTSOURC照亮所述HMD设备时，可以显示由经修改的计算机生成的图像数据(例如，经修改的计算机生成的全息图像数据)产生的图像。光源LIGHTSOURC至少部分相干，优选地准相干或完全相干(在空间上和在光谱上)。光的相干性通常由谐振腔中的活性介质的受激发射造成的。相干性可能仅部分是由于用于受激发射的某些介质的自发发射引起的。相干源的实例包括激光器和窄谱激光二极管。部分相干源的实例包括某些激光二极管、已调制的激光二极管、S-LED、一些LED。在EP0421460B1中描述了进一步实例。优选地根据本发明，光源LIGHTSOURC可以几乎是完全相干的(准相干的)，以便抑制由完全相干性造成的斑点效应。
根据本发明，光源LIGHTSOURC可以是单色的或多色的(例如，三色的)。针对单色使用，优选的是被发射用于图像显示的光束包括绿色光(波长约500nm-560nm)。绿色光是有利的，因为由于人类视网膜对这个范围中的波长更加敏感，因此需要较低的能量(例如，小于1mW)。具有在约520-550nm发射的单色光源的实例包括类2激光器、532nm激光器、520nm激光二极管(例如，来自欧司朗公司或日亚公司)、在约550nm发射的LED等。优选地，单色源的功率小于10mW。其他合适的单色光源包括红色：615-645nm；绿色：520-550nm；蓝色：435-465nm。针对多色使用，优选地使用接近在成像中使用的标准(红色：615-645nm；绿色：520-550nm；蓝色：435-465nm)的波长(红色、绿色、蓝色)。当使用三个不同的源(红色、绿色、蓝色)时，所述源中的每一者优选地具有小于1mW的功率。多色光源的实例包括激光器、激光二极管、LED或S-LED。优选地，可以组合地使用至少三个、优选地四个或五个不同发射波长以便提高彩色质量。
在优选实施例中，为了避免由某些外部光源(自然光、在佩戴者环境中的其他LED……)造成的噪声，可以将本发明的光源LIGHTSOURC与同设备相关的特定频率同步化，类似于同步检测。所述频率优选地远高于闪烁频率，以便避免使图像调制可见。随后，在光源LIGHTSOURC与由设备HMD显示的图像之间要求这种同步化。在一些实施例中，因此，存在两个同步化阶段：标识照明光源LIGHTSOURC以避免与寄生光源的多余交互，并且进行调制以便以正确的颜色显示正确的图像。
光照不需要是定向的，只要合适的(安排的、配置的)光束可以照亮设备HMD(及其SLM)从而引起所期望的显示。根据本发明，所述光源LIGHTSOURC可以设置在照明终端LIGHTTERM上和/或可以内置于所述HMD设备上。在一个实施例中，光源LIGHTSOURC设置在远程照明终端LIGHTTERM上，即，与HMD不同的终端上。所述照明终端LIGHTTERM可以经由或可以不经由网络NETW连接到服务器SERV。当被设置在照明终端LIGHTTERM上时，光源LIGHTSOURC可以是发散的。光源LIGHTSOURC发射光束不干扰在照明终端LIGHTTERM附近的人的视觉环境，无论所述人是否配备有设备HMD。进一步地，使用发散的、低功率(约小于100mW)光源LIGHTSOURC在眼睛安全性方面是有利的，因为HMD佩戴者和HMD非佩戴者不会由于使用激光器而有危险。
根据本发明，优选地，所述光源LIGHTSOURC还适合(被安排成、被配置成)用于传输数据。优选实施例包括光源LIGHTSOURC，该光源适合(被安排成、被配置成)用于既引起通过光照来显示图像又用于传输数据。当传输数据时，光源LIGHTSOURC可以通过光通信(可见光)的方式发射所述数据，例如，通过Li-Fi通信。所述数据可以是计算机生成的图像数据(经修改的或未经修改的ID或MID)、计算机生成的全息图像数据(经修改的或未经修改MHD或HD)或VPD(如PD)。例如，可以用高于闪烁频率的调制(特别是在75Hz或更高的频率或者80Hz或更高的频率下)依次发射数据。这些频率不被人类眼睛所感知并且用于图像显示的光束不干涉‘现实’中的视觉。
“终端”TERM在本领域中是已知的。根据本发明，终端TERM包括照明终端LIGHTTERM和通信终端COMTERM。终端TERM可以同时是通信和照明终端。这将是这样的情况：有利地根据本发明，光源LIGHTSOURC还适合(被安排成、被配置成)用于将数据传输到HMD。终端包括具有固定地理坐标或固定GPS坐标的终端以及具有非固定地理坐标或非固定GPS坐标的终端。具有固定地理或GPS坐标的终端包括位于火车站、地铁站、博物馆、机场、交通信号灯等的终端。具有非固定GPS的终端包括智能电话、平板计算机、车辆上装载的盒子、TV机顶盒、互联网机顶盒、计算机等。在一些实施例中，终端是除了智能电话和/或除了平板计算机之外的其他终端。终端可以是便携式的或不是便携式的。终端可以是独立式的或者连接至网络网。
具体实施方式
本发明提供了用于通过头戴式显示器生成、检索并显示计算机生成的全息图像的方法和系统(终端、设备)。全息图像可用作用于在增强现实中显示的可检索虚拟标记。
发明方法
本发明提供了用于处理计算机生成的全息图像数据的方法。数据被处理，因为它们可以被生成或被检索用于全息图像的后续显示。
本发明提供了一种用于处理计算机生成的全息图像数据的计算机实现的方法，该方法包括：
(a)由至少一个通信终端COMTERM检测配备有头戴式计算机生成的全息图像显示设备HMD的佩戴者的存在的步骤；以及
(b)响应于在步骤(a)检测到的存在，将计算机生成的全息图像数据HD从所述设备HMD和所述通信终端COMTERM中的一者传输到所述设备HMD和所述通信终端COMTERM中的另一者的步骤。
步骤(b)是传输数据HD的步骤。数据HD的传输可以发生在两个‘方向’上：从设备HMD到终端COMTERM；或者从终端COMTERM到设备HMD。
这由图1所展示，其中，显示了数据HD的传输是从设备HMD到终端COMTERM，并且反之亦然。通信终端COMTERM可以经由或可以不经由网络连接到服务器：终端COMTERM可以是独立式终端或联网终端。
当步骤(b)包括将数据HD从设备HMD传输到终端COMTERM时，该方法适合(被安排成、被配置成)用于生成‘可检索的’全息图像。实际上，数据HD被传输并且可以存储在无论是在终端COMTERM还是在连接至所述终端的服务器的数据库上的存储器上。可能的应用包括创建全息图像标记，这些标记可以随后例如通过被‘定位’在给定位置处而可用于由同一佩戴者和/或由其他佩戴者进行检索和显示。
当步骤(b)包括将数据HD从终端COMTERM传输到设备HMD时，该方法适合(被安排成、被配置成)用于检索用于显示全息图像的数据。可能的应用包括检索可能与给定位置有关的全息图像，如标记或内容。例如，全息图像标记可以提供如文本或图片等信息，这些信息与位于给定位置附近的HMD佩戴者有关。该位置配备有终端，并且该终端向佩戴者提供检索和显示‘定位’在终端位置处的这类标记的选项。
优选地，根据本发明，步骤(b)可以包括通过包括Li-Fi或FSO的光通信、或者通过有线通信(例如，通过以太网电缆、USB端口、光纤等)从一个实体到另一个实体传输所述计算机生成的全息图像数据HD。这在如以上解释的安全性问题方面是有利的。
另一方面，本发明提供了一种用于使用佩戴者佩戴的头戴式计算机生成的全息图像显示设备HMD显示计算机生成的全息图像的计算机实施的方法。然后，全息图像的显示对佩戴者而言是可见的。所述方法包括如本文中所描述的步骤(a)和步骤(b)，并且进一步包括由至少一个光源LIGHTSOURC发射光束的步骤(c)，该光束适合(被安排成、被配置成)用于通过照亮所述设备HMD来显示全息图像。针对具有SLM的HMD，步骤(c)因此包括用光源LIGHTSOURC照亮SLM的步骤。
在一些实施例中，所述光源LIGHTSOURC设置在远程照明终端LIGHTTERM上。在其他实施例中，所述光源LIGHTSOURC内置于所述设备HMD上。在一些实施例中，光源LIGHTSOURC设置在远程照明终端LIGHTTERM上并且光源LIGHTSOURC内置于所述设备HMD上。
有利地根据本发明，当光源LIGHTSOURC设置在外部终端TERM(与HMD不同的远程终端)上时，光源是‘固定的’，因为其具有至少暂时恒定的地理坐标或GPS坐标。因此，有可能‘设置’图像，并且该图像保持‘附接’到光源LIGHTSOURC上，例如，位于博物馆中的给定油画附近的终端TERM。这是有利的，因为即使佩戴者转头，也不要求眼睛跟踪器以及进一步的计算来将图像‘附着’于油画上。
根据本发明，光源LIGHTSOURC可以用多路复用模式发射光。多路复用模式可以是空间的或时间的。多路复用还可以涉及发射光用于由多个设备HMD进行显示。在博物馆实例中，单个光源LIGHTSOURC可以为了对若干参观者有益而同时发射。
根据本发明，所述光源LIGHTSOURC可以设置在所述通信终端COMTERM上。因此，步骤(b)可以包括将所述计算机生成的全息图像数据HD从所述光源LIGHTSOURC传输到所述设备HMD。因此可以通过光通信执行步骤(b)，这如以上所解释的是有利的。
进一步地，根据本发明，所述至少一个通信终端COMTERM可以(或可以不)经由网络COMSERV连接到服务器COMSERV；和/或所述至少一个照明终端LIGHTTERM可以(或可以不)经由网络LIGHTSERV连接到服务器LIGHTSERV。服务器是有利的，因为它们允许更新数据。服务器可以包括一个或多个数据库和/或连接到一个或多个数据库上。
用于‘检索’和显示全息图像(读取标记)的方法
在第一实施例中，本发明提供了用于检索用于显示计算机生成的全息图像的合适的(安排的、配置的)数据的方法。该数据可以被绑定于特定位置上，以便将信息、图片等“标记”或“打标”到那个特定位置上。该位置不需要是固定的GPS坐标。
在这个实施例中，步骤(b)可以是将所述计算机生成的全息图像数据HD从所述通信终端COMTERM传输到所述设备HMD的步骤。从佩戴者的观点来看，传输可以是‘推式’或‘拉式’，即，不考虑来自佩戴者的任何命令、或者由佩戴者的有效命令触发。
在其他方面，根据这个实施例，光源既适合(被安排成、被配置成)用于显示计算机生成的全息图像(通过提供合适的(安排的、配置的)光束重放图像)；又适合(被安排成、被配置成)用于将所述计算机生成的全息图像数据HD从所述(远程)通信终端COMTERM传输至所述设备HMD。这种双重角色是特别有利的，因为即使所述HMD设备不包括它们自己的光源，其也提供在HMD设备上的图像显示。进一步地，它依赖于通信终端COMTERM的双重角色：可以传输图像数据并且有利地紧随其后可以通过用合适的(安排的、配置的)光束提供光照而引起显示图像。
根据本实施例，步骤(b)中的数据可以存储在所述终端COMTERM上的存储器上(图1)，或者存储在经由网络NETW联接至终端COMTERM的数据库DB中(图2)。数据库DB可以包括多个数据集，其中，每个数据集对应于给定的内容(文本、图像等)。
根据这个第一实施例，步骤(b)中的数据HD可以对应于实际内容(文本、图像等),或者步骤(b)中的数据HD可以包括用于显示供进一步选择内容的选项菜单的数据。相应地，显示步骤(c)可以是用于显示内容的步骤，或者是用于显示用于提供对内容的访问的选项菜单的步骤等。
根据这个第一实施例，该方法可以包括依次检索和显示连续的计算机生成的全息图像(内容、标记)。因此，在这个第一实施例中，步骤(b)可以包括将计算机生成的全息图像数据HD从多个远端通信终端COMTERMi依次传输至所述设备的步骤，其中，所述通信终端COMTERMi中的每一者经由通信网络COMNETW连接到通信服务器COMSERV，并且其中，该依次发射反映了对佩戴者从一个通信终端COMTERMi附近到另一个通信终端COMTERMj附近的存在的连续检测步骤，从而定义了所述佩戴者根据时间的移动。这样的步骤(b)使得能够按时间顺序连续显示一系列计算机生成的全息图像(内容、标记)。通信网络允许各个终端(定时)和/或被依次检索和显示的这些标记的内容的同步化。这由示出了多个终端COMTERM1、2、3的图3所展示。它们各自经由网络NETW连接到服务器SERV。网络NETW包括适合(被安排成、被配置成)用于存储和检索数据HDi(HD1，2，3)的数据库DB。数据HDi可以从数据库DB传输至终端COMTERMi并且然后传输至设备HMD。佩戴者可以例如沿着终端TERM1、2、3的顺序行走或驾驶。数据HD1、2、3然后被顺序地并且分别从终端COMTERM1、2、3传输到设备HMD。然后，佩戴者可以将对应于数据HD1、2、3的全息图像内容HOLO1、2、3的连续显示可视化。这个实例包括三个终端，但技术人员应理解的是，这不是限制性的并且本发明的方法可以用多个任何数量的终端COMTERM来执行。
仍然根据这个第一实施例，本发明的方法可以进一步包括(a2)确定所述佩戴者的位置的步骤，其中，根据在步骤(a2)确定的位置定义步骤(b)中的计算机生成的全息图像数据HD。可以用绝对的方式(例如，通过GPS坐标的方式)或者用相对的方式(例如，在给定终端COMTERM的附近)来确定佩戴者的位置。相对位置可以是在地标附近，如博物馆中的给定油画、给定地铁站附近、给定旅游胜地的入口处。然后，有利地根据所确定的位置定义步骤(b)中的数据，并且允许佩戴者检索所确定的位置的相关信息。例如，可以被检索用于显示的全息图像(内容、标记)分别包括在博物馆中的给定油画的信息(画师名字、作画日期、油画标题等)；地铁站周围的局部地图和主要方向的标记；关于最近餐馆或ATM的信息。
仍然根据这个第一实施例，本发明的方法可以进一步包括根据需求检索选自若干选项(如选自菜单)的全息图像的数据的可能性。本发明的方法可以进一步包括(d)检测佩戴者的移动的步骤，以及(e)根据步骤(d)中对移动的识别来生成控制信号的步骤，该控制信号用于选择有待从所述通信终端COMTERM传输到所述设备HMD的另一项计算机生成的全息图像数据HD。检测移动的步骤(d)可以是由设备HMD或由终端COMTERM进行检测的步骤。该移动可以是用于生成命令/控制信号的任何合适的(安排的、配置的)移动。这类移动包括任何触觉命令移动，如按压按钮，进行手、头、声带或眼睛运动诸如此类。步骤(e)中的控制信号允许对多个选项进行选择，包括从菜单、下拉菜单中进行选择，从虚拟键盘上的一个键进行选择，通过在虚拟平板上手写进行选择等。
用于创建全息图像并生成‘标记’的方法
在第二实施例中，本发明还提供了一种用于创建全息图像(标记/内容)的方法。然后，所述全息图像可以被依次检索和显示。全息图像还可以与给定位置相关联，从而使得本发明还提供了一种用于标记全息图像的方法。
根据这个第二实施例，本发明因此提供一种包括步骤(a)和(b)的方法，其中，步骤(b)是将计算机生成的全息图像数据HD从所述设备向所述通信终端COMTERM传输的步骤。有利地，这个实施例允许生成其随后可以被传输至终端的数据，其中，所述数据然后依次可用于进一步检索和显示。HMD可以不仅充当‘接收器’，其还可以充当图像数据的‘发射器’。
在这个第二实施例中，该方法可以包括如本文所述的可选步骤(c)。该方法还可以包括(i)检测配备有头戴式计算机生成的全息图像显示设备HMD的佩戴者的移动的步骤，以及(ii)根据步骤(i)中对移动的识别而采集如图像数据等数据的步骤。步骤(i)中的移动可以是用于生成用于命令的控制信号的任何合适的(安排的、配置的)移动，并且包括如以上针对步骤(d)所述的移动。
采集数据的步骤包括根据步骤(i)中对移动的识别来获取数据。数据可以是图像数据，如图片数据、文本数据。然后,所述图像数据可以被转换成计算机生成的图像数据。该转换可以由内置在HMD上或者在通信终端上的处理器来执行。
采集数据的步骤(ii)可以包括选自以下各项中的一项或多项：从菜单中选择选项、在虚拟键盘上点击至少一个键、在虚拟记事本上手写、通过语音命令给出指令、拍摄数字图片或者记录数字视频、按压放置在HMD上的按钮及其组合。步骤(ii)中的数据因此可以是文本、图片、其组合的数据等。本发明因此可以提供虚拟帖子，这些虚拟帖子是具有内容的计算机生成的全息图像标记。步骤(ii)还可以是虚拟注释步骤，例如，通过虚拟点击(从预定义的菜单或预定义的图标中进行选择，如选择虚拟按钮‘喜欢！’)或虚拟手写，其可以被识别并被转换成数字文本。
再次，通信终端可以或可以不经由网络连接到服务器上。在本发明的方法中，步骤(ii)可以被执行而无需连接到服务器上。替代地，所述至少一个通信终端COMTERM可以经由网络COMNETW连接到通信服务器COMSERV上并且步骤(b)中的数据可以可选地与位置联合存储在通信数据库COMDB中(如图4所展示)。所传输的数据与给定位置的关联允许定位标记(即，将计算机生成的全息图像(内容)与特定位置相关联)的选项。例如，可以在位于餐馆附近的终端上获得所述餐馆的顾客评论。与数据相关联的位置可以或可以不是佩戴者的位置：该位置可是当佩戴者出现在终端附近时佩戴者的位置，但是其还可能在佩戴者不再位于兴趣位置时为佩戴者提供数据与位置之间的关联，例如，通过经由网络使用另一个终端向服务器提供数据。
具有预定义访问权限的方法
本发明还提供多个选项用于定义佩戴者概况和访问权限。佩戴者概况的定义对于为给定佩戴者提供所选择的相关信息是有用的。例如，如果佩戴者对体育运动感兴趣，可以使与运动相关的特定内容对于所述佩戴者而言是可用的从而进行可视化。可以定义检索全息图像数据的访问权限(用于将标记或内容可视化的受限访问)和/或创建全息图像的访问权限(用于生成标记或内容的受限访问)。
本发明的方法可以进一步包括(a1)在数据库中预登记标识符ID与所述佩戴者之间的关联的预备步骤，其中，根据所述标识符ID、可选地依据访问权限定义步骤(b)中的数据。
标识符ID可以是任何合适的(安排的、配置的)标识符。它可以是例如位于设备HMD上的代码，如，QR码或RFID。该标识符允许定义佩戴者概况，佩戴者概况可以反映佩戴者的兴趣领域、习惯等。标识符还可用于定义访问权限。可以在数据检索(显示标记)和/或数据创建(生成标记)方面通过设置一个或多个访问级别(公开的、半公开的、机密的等)来定义访问权限。访问权限可以存储在专用数据库中，例如，佩戴者数据库。该数据库可以设置在终端上和/或在连接至该终端的服务器上。
本发明的系统和设备
另一个方面，本发明提供包括照明终端LIGHTTERM和设备HMD的系统。所述系统适合(被安排成、被配置成)用于执行本发明的方法。
本发明提供了一种照明终端LIGHTTERM。这个终端适用于实现本发明的方法。
本发明的光终端LIGHTTERM包括：
-光源LIGHTSOURC，该光源适合(被安排成、被配置成)用于通过光照来显示全息图像，
-传感器LIGHTSENS，该传感器适合(被安排成、被配置成)用于检测配备有头戴式计算机生成的全息图像显示设备HMD的佩戴者的存在，以及
-可选地，通信接口LIGHTINT，该通信接口适合(被安排成、被配置成)用于从和/或向所述照明终端LIGHTTERM传输计算机生成的全息图像数据。
光终端可以或可以不连接到网络(独立式终端或联网终端)。
可以通过本领域中已知的手段(例如，通过任何合适的(安排的、配置的)标识符)检测佩戴者的存在。合适的(安排的、配置的)标识符包括如QR码或RFID的代码。该标识符可以设置在设备HMD上。该标识符还可以是特定于HMD(和佩戴者)的调制频率。其可以是光签名。
通信接口INT可以包括USB端口和/或用于无线通信的任何其他接口，包括如蓝牙、Wi-Fi，4G、3G等射频；光通信(Li-Fi或FSO)和/或IR通信；和/或光电二极管(用于接收数据)和/或例如可见光或近IR光源的发射器(用于发射数据)。
进一步地，光终端LIGHTTERM可以包括以下各项的一项或多项：
-电池或任何其他电力装置，
-用于确定GPS坐标的GPS，
-一个存储器或多个存储器，
-数字照相机，
-其他传感器，
-控制器CONT，该控制器适合(被安排成、被配置成)用于处理全息图像数据(经修改的或未经修改的)。所述控制器CONT适合(被安排成、被配置成)用于执行步骤(iii)并且包括处理器。
在优选实施例中，在本发明的照明终端LIGHTTERM中，所述光源LIGHTSOURC进一步适合(被安排成、被配置成)用于从所述照明终端LIGHTTERM传输计算机生成的全息图像数据HD。如以上所解释的，光通信是非常有利的。
本发明还涉及如在本文中所描述的照明终端的部署网络。因此，本发明涉及一种包括如在本文中所描述的多个照明终端LIGHTTERM的系统，其中，所述照明终端LIGHTTERM中的每一个照明终端经由照明网络LIGHTNETW连接至照明服务器LIGHTSERV。
本发明还涉及一种头戴式设备。所述设备适合(被安排成、被配置成)用于实现本发明的方法。本发明提供了一种头戴式计算机生成的全息图像显示设备，该设备包括：
-通信接口μINT，该通信接口适合(被安排成、被配置成)用于从和/或向所述设备传输计算机生成的全息图像数据HD，
-相位空间光调制器SLM，例如，由例如LCoS(硅上液晶)或玻璃透射式有源矩阵液晶制成的仅相位空间光调制器或者相位幅度空间光调制器，以及
-可选地，光源LIGHTSOURC，该光源适合(被安排成、被配置成)用于通过光照来显示全息图像。
此设备HMD适合(被安排成、被配置成)用于实施本发明的方法。
在优选实施例，所述设备HMD是一副具有相位SLM的处方眼镜。
优选地，计算机生成的图像是计算机生成的全息图像。
SLM优选地是相位SLM(例如，仅相位)，并且可以由LCoS或者玻璃透射式有源矩阵液晶制成。SLM还可以是在佩戴者眼睛之前设置的“透视”SLM，在这种情况下不需要全息反射镜。当SLM设置在除了佩戴者眼睛之前的其他地方时，例如，当SLM设置在设备HMD的侧面或佩戴者镜腿附近时，那么可能需要全息反射镜。
根据本发明，设备HMD可以包括以下各项中的一项或多项：
-至少一个镜片，其中，所述镜片配备有减反射涂层以及可选地设置在佩戴者的侧部上的镜片之上或之中的全息反射镜；该全息反射镜优选地在设备HMD配备有内置光源LIGHTSOURC时存在，
-可以是一副处方镜片的一部分的镜片，
-电池，
-GPS，
-至少一个存储器，
-照相机，
-麦克风，
-传感器，例如，眼睛跟踪器、移动跟踪器或触觉装置，包括触觉命令装置，
-适合(被安排成、被配置成)用于处理(解码、解调、编码等)图像数据的微控制器(μCONT)。所述控制器CONT可以适合(被安排成、被配置成)用于执行步骤(iii)并且包括处理器。
通信接口μINT可以包括USB端口和/或用于无线通信的任何其他接口，包括如蓝牙、Wi-Fi，4G、3G等射频；光通信(Li-Fi、FSO)和/或IR通信；和/或光电二极管(用于接收数据)和/或例如可见光或近IR光源的发射器(用于发射数据)。
设备HMD可以包括适合(被安排成、被配置成)用于存储选自可视化参数数据VPD、计算机生成的图像数据ID和经修改的计算机生成的图像数据MID的数据的存储器。设备HMD的编程可以包括选自可视化参数数据VPD、计算机生成的图像数据ID和经修改的计算机生成的图像数据MID的输入数据。
在图6至图8上展示了本发明的设备HMD的实例。这些实例是包括安装在设备的镜腿TEMP上的光源LIGHTSOURC的设备，尽管根据本发明所述光源LIGHTSOURC的存在是可选的。
设备HMD包括空间光调制器SLM和镜片L。
SLM可以位于设备HMD的镜腿TEMP上。SLM可以在反射(图6)或透射(图7)中起作用。由光源LIGHTSOURC发射的光束在击中镜片L之前分别被SLM反射(图6)或透射(图7和图8)。在本发明的设备HMD包括反射式SLM的情况下，设备HMD进一步包括全息反射镜。镜片L在镜片L的面向佩戴者眼睛的那侧上配备有全息反射镜MIRR。镜片L还配备有减反射涂层。在于全息反射镜MIRR上反射之后，光束被引导到佩戴者眼睛，因此引起全息图像的可视化。全息反射镜MIRR是偏离中心的。
全息反射镜在本领域中是已知的，是光全息术元件的一部分。它们可以例如包括设定的条纹的衍射光栅。全息反射镜可由本领域中已知的重铬酸盐明胶的感光聚合物或合成感光聚合物或漂白银全息乳剂制成。有利地，全息反射镜MIRR可以在不影响镜片的几何形状的情况下与镜片组合。结果，镜片的光学功能与全息反射镜的光学功能完全不相关并且可以被独立地优化。可以设计全息反射镜以便矫正系统的一些或所有光学像差(尤其是因为如在图6和图7上SLM被定位在玻璃镜腿TEMP上，它是偏离中心的，这在由佩戴者进行可视化时引起图像的光学像差)。全息反射镜可以被逐个角部分地制造以便限制场像差(减小的光圈)。在这种情况下，针对给定方向上的入射光，反射镜仅反射期望波长的光。这种反射镜对于配备有内置光源LIGHTSOURC的设备HMD而言是特别有利的。针对构造具有较大光圈的图像，有可能将整张图像进行分片并且通过光束用反射镜的扫描继续进行。
SLM也可以是如图8上所示的“透视”透射式SLM。远程光源LIGHTSOURC发射光束，该光束透射通过镜片L和SLM到达佩戴者的眼睛。
针对单色使用，在光照波长下以光方式记录(定义)全息反射镜。对于除了此波长之外的波长，反射镜是透明的并且因此不会由佩戴者通过这些镜片损害视觉。针对三色使用(红色、绿色、蓝色)，在三个波长下以光方式记录(定义)全息反射镜并且全息图像可以在所考虑的三个波长下被可视化。全息反射镜在其他波长下是透明的。类似地，针对除了三个所选波长之外的波长，反射镜是透明的并且因此不会由佩戴者通过这些镜片损害视觉(衍射效力为零)。优选地，针对各种光照角度(入射光)，以光方式记录反射镜。
全息反射镜的设计和设置对技术人员而言是公知常识。
由于反射镜是特定于针对照明和可视化使用的波长，本发明的设备HMD是有利的，因为它们保护了佩戴设备HMD的佩戴者可见的图像的机密性。
当SLM设置在眼镜/HMD的镜腿上时，其明显地偏离中心，并因此SLM投影的全息图像造成视觉/光学像差，这可以有利地至少部分地由全息图像数据的合适的(安排的、配置的)修改进行补偿。因此，SLM修改由SLM相应发射(透射或反射)的波前，从而引起视觉体验和舒适度得到改善。
本发明还涉及SLM在头戴式设备中的使用。更具体而言，本发明涉及SLM在眼镜(包括处方眼镜)中的使用。SLM可以是相位和/或振幅空间光调制器SLM，优选地是相位或仅相位SLM，例如，LCoSSLM或玻璃透射式有源矩阵LCSLM。
本发明的这些方法和系统对于大量应用而言是有用的：在家里、在厨房，例如当做饭时用于显示做饭指令、厨房电器/家用电器的用户手册；在车上，例如当开车时用于显示方向或交通信息；在起居室中，例如当观看TV时用于显示TV节目指南；在购物中心，用于显示方向、广告、特殊事件的信息、价格信息、产品信息；在观光地方，用于显示方向或信息。
通过以下非限制性实例来对本发明进行说明。
实例
实例1：显示机场信息
佩戴者配备有本发明的设备HMD。佩戴者在机场将登机飞行。机场装配本发明的多个终端。这些终端部署在机场中。每个终端配备有光源，该光源适合(被安排成、被配置成)用于既引起全息图像显示在设备HMD上又用于使用Li-Fi通信传输数据。佩戴者具有佩戴者概况，该佩戴者概况标识她/他将要登机的航班，并且可以包括其他特征。该概况存储在连接至终端的数据库上。同样连接到终端的另一个数据库包含航班的相关信息，如登机口、舱门关闭时间等。
当计算机生成的全息图像在HMD上时，佩戴者可以检索并可视化信息。这类信息可以包括航班信息，如，登机口变更、预计晚点等；机场信息等。进一步地，佩戴者可以在她/他在机场迷路的情况下检索并显示到登机口的方向、从佩戴者当前位置步行到登机口大约所需的距离和/或时间等。进一步地，信息还可以根据佩戴者概况成为可用的。例如，如果佩戴者对文学感兴趣，可以显示关于在机场中的最近的书店的信息。
实例2：显示附近名胜信息
佩戴者配备有本发明的设备HMD。佩戴者处于观光位置。该位置配备有根据本发明的通信终端COMTERM。该终端检测佩戴者的存在，这引起将全息图像数据HD从终端COMTERM传输到设备HMD。数据HD允许显示包括多个图标的菜单。这些图标可以包括餐馆图标(例如，示出盘子和餐具的图像)、ATM的图标(例如，欧元符号€或美元符号$)、商店的图标(例如，篮子或购物袋)等。使用触觉装置(例如，虚拟点击)，佩戴者能够选择这些图标之一。通过选择€图标，为进一步显示提供指示，从而定位在终端附近最近的ATM。
实例3：创建餐馆标记(标志)
佩戴者配备有本发明的设备HMD。通信终端COMTERM位于餐馆附近。该终端经由网络NETW连接到服务器SERV。该服务器连接到数据库DB。该数据库包括包含全息图像数据的内容数据库以及包含佩戴者概况的佩戴者数据库。佩戴者是美食俱乐部的成员，这是由他/她的佩戴者概况和预登记的访问权限所反映的。
佩戴者在餐馆用餐并且打算发布对该美食俱乐部的其他成员可获得的评论。佩戴者可以通过使用照相机和/或触觉装置(例如通过在虚拟键盘上敲击)来采集数据(图片、文本条目)以创建于评论相对应的内容(盘子的图片、对食物的总评)。那么存在两个选项。要么佩戴者引起将与这些内容相对应的全息图像数据HD从设备HMD传输到位于餐厅附近的终端COMTERM。要么佩戴者回家并在家引起从终端传输所述数据HD。在两种情况下，可以经由服务器和网络将全息图像数据HD从对应终端上传到数据库。
根据针对那个俱乐部的成员预定义的访问权限，由佩戴者发布的内容然后可由美食俱乐部的其他成员获得。当到达餐馆附近时，俱乐部中的具有合适的(安排的、配置的)访问权限的另一个成员可以检索并显示由佩戴者创建的内容(评论)。

Claims (22)

1.用于处理计算机生成的全息图像数据的计算机实现的方法，该方法包括：
(a)由至少一个通信终端(COMTERM)检测配备有头戴式计算机生成的全息图像显示设备(HMD)的佩戴者的存在的步骤；以及
(b)响应于在步骤(a)检测到的存在，将计算机生成的全息图像数据(HD)从所述设备(HMD)和所述通信终端(COMTERM)中的一者传输到所述设备(HMD)和所述通信终端(COMTERM)中的另一者的步骤。
2.如权利要求1所述的计算机实现的方法，其中，步骤(b)包括通过光通信传输所述计算机生成的全息图像数据(HD)。
3.如权利要求1和2所述的计算机实现的方法，该方法包括：
(c)由至少一个光源(LIGHTSOURC)发射光束的步骤，该光束被安排成用于通过照亮所述设备(HMD)来显示该全息图像，
其中，所述光源(LIGHTSOURC)设置在至少一个远程照明终端上和/或内置在所述设备(HMD)上。
4.如权利要求3所述的计算机实现的方法，其中，所述光源(LIGHTSOURC)设置在所述通信终端(COMTERM)上，并且步骤(b)包括将所述计算机生成的全息图像数据(HD)从所述光源(LIGHTSOURC)传输到所述设备(HMD)。
5.如权利要求1至4所述的计算机实现的方法，其中，所述至少一个通信终端(COMTERM)经由网络(NETW)连接到服务器(SERV)。
6.如权利要求3至5所述的计算机实现的方法，其中，所述至少一个照明终端经由网络连接到服务器。
7.根据权利要求1至6所述的计算机实现的方法，其中，步骤(b)是将所述计算机生成的全息图像数据(HD)从所述通信终端(COMTERM)传输到所述设备(HMD)的步骤。
8.根据权利要求7所述的计算机实现的方法，其中，步骤(b)包括将计算机生成的全息图像数据(HD)从多个远端通信终端(COMTERMi)依次传输至所述设备的步骤，其中，所述通信终端(COMTERMi)中的每一者经由通信网络(COMNETW)连接到通信服务器(COMSERV)，并且其中，该依次发射反映了对佩戴者从一个通信终端(COMTERMi)附近到另一个通信终端(COMTERMj)附近的存在的连续检测步骤，从而定义了所述佩戴者根据时间的移动。
9.根据权利要求7和8所述的计算机实现的方法，进一步包括：
(a2)确定所述佩戴者的位置的步骤，并且
其中，根据在步骤(a2)确定的该位置定义步骤(b)中的该计算机生成的全息图像数据(HD)。
10.根据权利要求7至9所述的计算机实现的方法，进一步包括：
(d)检测该佩戴者的移动的步骤，以及
(e)根据步骤(d)中对该移动的识别来生成控制信号的步骤，该控制信号用于选择有待从所述通信终端(COMTERM)传输到所述设备(HMD)的另一项计算机生成的全息图像数据(HD)。
11.根据权利要求1至6所述的计算机实现的方法，该方法包括：
(i)检测配备有所述头戴式计算机生成的全息图像显示设备(HMD)的佩戴者的移动的步骤，以及
(ii)根据步骤(i)中对该移动的识别来采集图像数据的步骤，并且
其中，步骤(b)是将计算机生成的全息图像数据(HD)从所述设备向所述通信终端(COMTERM)传输的步骤。
12.根据权利要求11所述的计算机实现的方法，其中，步骤(ii)包括选自以下各项的一项或多项：从菜单中选择选项、在虚拟键盘上输入至少一个键、在虚拟记事本上手写、以及拍摄数字图片。
13.根据权利要求11和12所述的计算机实现的方法，其中，所述至少一个通信终端(COMTERM)经由网络(COMNETW)连接到通信服务器(COMSERV)，并且其中，步骤(b)中的该数据存储在通信数据库(COMDB)中。
14.根据权利要求13所述的计算机实现的方法，其中，步骤(b)中的该数据与位置联合存储在通信数据库(COMDB)中。
15.根据权利要求1至14所述的计算机实现的方法，其中，所述方法进一步包括：
(a1)在数据库中预登记标识符(ID)与所述佩戴者之间的关联的预备步骤，并且
其中，根据所述标识符(ID)定义步骤(b)中的该数据。
16.根据权利要求15所述的计算机实现的方法，其中，依据所述标识符(ID)，根据访问权限定义步骤(b)中的该数据。
17.被安排成用于实施如权利要求3、4或6所述的方法或者如权利要求7至16所述的方法的照明终端，当根据权利要求3、4或6时，该照明终端包括：
-光源(LIGHTSOURC)，该光源被安排成用于进行光照以便显示全息图像，
-传感器，该传感器被安排成用于检测配备有头戴式计算机生成的全息图像显示设备(HMD)的佩戴者的存在。
18.根据权利要求17所述的照明终端，进一步包括被安排成用于从和/或向所述照明终端传输计算机生成的全息图像数据的通信接口。
19.被安排成用于实现如权利要求1至16所述的方法的系统，该系统包括根据权利要求14所述的多个照明终端，其中，所述照明终端中的每一个照明终端经由照明网络连接至照明服务器。
20.头戴式计算机生成的全息图像显示设备，该显示设备被安排成用于实现如权利要求1至16所述的方法，该显示设备包括：
-通信接口，该通信接口被安排成用于从和/或向所述设备传输计算机生成的全息图像数据(HD)，以及
相位空间光调制器(SLM)。
21.根据权利要求20所述的头戴式计算机生成的全息图像显示设备，其中，该相位空间光调制器(SLM)是由LCoS(硅上液晶)或玻璃透射式有源矩阵液晶制成的。
22.根据权利要求20或21所述的头戴式计算机生成的全息图像显示设备，进一步包括被安排成用于通过照亮所述SLM来显示全息图像的光源(LIGHTSOURC)。
CN201480048835.2A 2013-09-04 2014-09-03 用于增强现实的方法和系统 Active CN105579917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011239667.9A CN112416221A (zh) 2013-09-04 2014-09-03 用于增强现实的方法和系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13306207 2013-09-04
EP13306207.5 2013-09-04
PCT/EP2014/068754 WO2015032824A1 (en) 2013-09-04 2014-09-03 Methods and systems for augmented reality

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011239667.9A Division CN112416221A (zh) 2013-09-04 2014-09-03 用于增强现实的方法和系统

Publications (2)

Publication Number Publication Date
CN105579917A true CN105579917A (zh) 2016-05-11
CN105579917B CN105579917B (zh) 2020-12-01

Family

ID=49170646

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011239667.9A Pending CN112416221A (zh) 2013-09-04 2014-09-03 用于增强现实的方法和系统
CN201480048835.2A Active CN105579917B (zh) 2013-09-04 2014-09-03 用于增强现实的方法和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011239667.9A Pending CN112416221A (zh) 2013-09-04 2014-09-03 用于增强现实的方法和系统

Country Status (6)

Country Link
US (1) US10698364B2 (zh)
EP (2) EP3657265B1 (zh)
JP (1) JP6632979B2 (zh)
KR (1) KR102277893B1 (zh)
CN (2) CN112416221A (zh)
WO (1) WO2015032824A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106200831A (zh) * 2016-08-31 2016-12-07 广州数娱信息科技有限公司 一种ar、全息智能装置
CN106444030A (zh) * 2016-10-13 2017-02-22 佛山市炫鲸科技有限公司 基于可见光通信的虚拟现实头盔与系统
CN106980178A (zh) * 2017-03-24 2017-07-25 浙江大学 一种位相型LCoS图像信号处理方法以及近眼显示系统
CN109031669A (zh) * 2018-09-25 2018-12-18 杭州光粒科技有限公司 基于复合功能全息光学元件的紧凑型全息近眼ar显示系统及其应用
CN110244473A (zh) * 2019-05-06 2019-09-17 华为技术有限公司 一种显示装置及眼镜
CN110431470A (zh) * 2017-01-19 2019-11-08 脸谱科技有限责任公司 焦面显示
CN111694254A (zh) * 2019-03-14 2020-09-22 杜尔利塔斯有限公司 激光调制
CN111948807A (zh) * 2019-05-14 2020-11-17 Oppo广东移动通信有限公司 控制方法、控制装置、穿戴设备和存储介质
CN112041732A (zh) * 2018-05-11 2020-12-04 依视路国际公司 用于为配戴者生成虚像的系统
CN112565165A (zh) * 2019-09-26 2021-03-26 北京外号信息技术有限公司 基于光通信装置的交互方法和系统
CN113031281A (zh) * 2021-04-21 2021-06-25 南昌三极光电有限公司 一种光学系统

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102309257B1 (ko) * 2013-09-04 2021-10-06 에씰로 앙터나시오날 증강 현실을 위한 방법 및 시스템
US10571696B2 (en) 2014-12-26 2020-02-25 Cy Vision Inc. Near-to-eye display device
US9715016B2 (en) * 2015-03-11 2017-07-25 The Boeing Company Real time multi dimensional image fusing
WO2017005614A1 (en) 2015-07-03 2017-01-12 Essilor International (Compagnie Generale D'optique) Methods and systems for augmented reality
KR102586069B1 (ko) 2015-07-03 2023-10-05 에씰로 앙터나시오날 증강 현실을 위한 방법 및 시스템
WO2017045061A1 (en) * 2015-09-16 2017-03-23 Therrien Robert Relaxation and meditation eyewear
US20170115489A1 (en) * 2015-10-26 2017-04-27 Xinda Hu Head mounted display device with multiple segment display and optics
US11663937B2 (en) 2016-02-22 2023-05-30 Real View Imaging Ltd. Pupil tracking in an image display system
WO2017145154A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. Wide field of view hybrid holographic display
WO2017145158A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. Zero order blocking and diverging for holographic imaging
US10788791B2 (en) 2016-02-22 2020-09-29 Real View Imaging Ltd. Method and system for displaying holographic images within a real object
US10782570B2 (en) 2016-03-25 2020-09-22 Cy Vision Inc. Near-to-eye image display device delivering enhanced viewing experience
US20170323482A1 (en) * 2016-05-05 2017-11-09 Universal City Studios Llc Systems and methods for generating stereoscopic, augmented, and virtual reality images
WO2018021984A1 (en) 2016-07-28 2018-02-01 Cy Vision Inc. System and method for high-quality speckle-free phase-only computer-generated holographic image projection
CN106296827A (zh) * 2016-08-10 2017-01-04 网易（杭州）网络有限公司 图像处理方法和装置
US10187146B2 (en) * 2016-09-19 2019-01-22 DISH Technologies L.L.C. Light converting device
KR102574874B1 (ko) * 2017-02-03 2023-09-05 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 헤드 마운트 디스플레이(hmd)를 이용한 화상회의를 위한 개선된 방법 및 시스템
US10338675B2 (en) * 2017-02-14 2019-07-02 Facebook Technologies, Llc Selective color sensing for motion tracking
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
US11023109B2 (en) 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
US10895966B2 (en) 2017-06-30 2021-01-19 Microsoft Technology Licensing, Llc Selection using a multi-device mixed interactivity system
IT201700090535A1 (it) * 2017-08-04 2019-02-04 Stefano Bastianello Sistema ottico fuori asse per schermo ad alta trasparenza in realtà aumentata
AU2018342099A1 (en) * 2017-09-27 2020-04-02 Magic Leap, Inc. Near eye 3D display with separate phase and amplitude modulators
US10438404B2 (en) 2017-10-13 2019-10-08 Disney Enterprises, Inc. Ambient light characterization
EP3502763B1 (en) 2017-12-22 2023-02-01 Essilor International Head mounted device comprising a fourier hologram
US10964030B2 (en) 2018-02-12 2021-03-30 Samsung Electronics Co., Ltd. Device and method with pose estimator based on current predicted motion state array
US10521013B2 (en) 2018-03-01 2019-12-31 Samsung Electronics Co., Ltd. High-speed staggered binocular eye tracking systems
EP3686767A1 (en) * 2019-01-25 2020-07-29 Essilor International Method, device and system for identifying a device
EP3703073A1 (en) * 2019-03-01 2020-09-02 Koninklijke Philips N.V. A projection and measurement system
US20220335698A1 (en) * 2019-12-17 2022-10-20 Ashley SinHee Kim System and method for transforming mapping information to an illustrated map
US11842445B1 (en) 2020-10-28 2023-12-12 Wells Fargo Bank, N.A. Digital representation of transfer of monetary assets
CN114363594A (zh) * 2021-12-29 2022-04-15 帛度光电科技(苏州)有限公司 多空间光调制器控制系统及其控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1260501A (zh) * 1999-01-12 2000-07-19 夏普公司 光传输和接收组件
CN101432997A (zh) * 2006-03-31 2009-05-13 株式会社中川研究所 照明光通信装置
US20090296177A1 (en) * 2008-05-30 2009-12-03 Avago Technologies Fiber Ip (Singapore) Pte. Ltd. Method and apparatus for using a hologram to control the optical field distribution of light generated by a light source and launched into an end of an optical waveguide
US20110270522A1 (en) * 2010-04-30 2011-11-03 Ryan Fink Visual training devices, systems, and methods
CN102857299A (zh) * 2012-08-23 2013-01-02 中国科学院苏州纳米技术与纳米仿生研究所 光通信系统及方法
CN103270456A (zh) * 2011-10-20 2013-08-28 松下电器产业株式会社 显示装置及显示系统
CN103297888A (zh) * 2013-04-24 2013-09-11 青岛海信电器股份有限公司 无线耳机装置、移动终端装置以及可调制光源器件

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3933443A1 (de) 1989-10-06 1991-04-11 Zeiss Carl Fa Strahlungsquelle fuer teilkohaerente strahlung
JP3407383B2 (ja) * 1993-06-15 2003-05-19 オリンパス光学工業株式会社 頭部装着型ディスプレイシステム
GB0000209D0 (en) * 2000-01-07 2000-03-01 Holmetrica Limited Holographic multiplexed image sensor
JP4673045B2 (ja) * 2004-11-26 2011-04-20 株式会社エヌ・ティ・ティ・ドコモ 画像表示装置、立体画像表示装置及び立体画像表示システム
JP2006293667A (ja) * 2005-04-11 2006-10-26 Sony Corp コンテンツ配信システム、コンテンツ提供媒体製造方法、コンテンツ取得装置、コンテンツ取得方法
DE102006003741B4 (de) * 2006-01-18 2009-08-27 Seereal Technologies S.A. Verfahren zum Kodieren eines computergenerierten Hologramms
GB2448132B (en) * 2007-03-30 2012-10-10 Light Blue Optics Ltd Optical Systems
KR101502622B1 (ko) * 2007-12-27 2015-03-13 메이플 비젼 테크놀로지스 인크. 광정보 처리를 위한 데이터 처리 시스템 및 데이터 처리방법
JP2009237801A (ja) * 2008-03-26 2009-10-15 Nippon Tokei Jimu Center:Kk 通信システム及び通信方法
JP5047090B2 (ja) * 2008-07-31 2012-10-10 キヤノン株式会社 システム
US8436789B2 (en) * 2009-01-16 2013-05-07 Microsoft Corporation Surface puck
JP2010213214A (ja) * 2009-03-12 2010-09-24 Brother Ind Ltd ヘッドマウントディスプレイ
US20110143769A1 (en) * 2009-12-16 2011-06-16 Microsoft Corporation Dual display mobile communication device
AU2011220382A1 (en) * 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US20120212484A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
GB201011829D0 (en) * 2010-07-14 2010-09-01 Two Trees Photonics Ltd Display system
WO2012062681A1 (de) * 2010-11-08 2012-05-18 Seereal Technologies S.A. Anzeigegerät, insbesondere ein head-mounted display, basierend auf zeitlichen und räumlichen multiplexing von hologrammkacheln
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
EP2691935A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
JP2012249147A (ja) * 2011-05-30 2012-12-13 Japan Radio Co Ltd 画像提供装置
US20130137076A1 (en) * 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
EP2939065A4 (en) * 2012-12-31 2016-08-10 Esight Corp APPARATUS AND METHOD FOR ATTACHING VISION FIELD INCREASE VISIOCASQUE SYSTEMS
WO2014152430A1 (en) * 2013-03-15 2014-09-25 Huntington Ingalls, Inc. Method and system for disambiguation of augmented reality tracking databases

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1260501A (zh) * 1999-01-12 2000-07-19 夏普公司 光传输和接收组件
CN101432997A (zh) * 2006-03-31 2009-05-13 株式会社中川研究所 照明光通信装置
US20090296177A1 (en) * 2008-05-30 2009-12-03 Avago Technologies Fiber Ip (Singapore) Pte. Ltd. Method and apparatus for using a hologram to control the optical field distribution of light generated by a light source and launched into an end of an optical waveguide
US20110270522A1 (en) * 2010-04-30 2011-11-03 Ryan Fink Visual training devices, systems, and methods
CN103270456A (zh) * 2011-10-20 2013-08-28 松下电器产业株式会社 显示装置及显示系统
CN102857299A (zh) * 2012-08-23 2013-01-02 中国科学院苏州纳米技术与纳米仿生研究所 光通信系统及方法
CN103297888A (zh) * 2013-04-24 2013-09-11 青岛海信电器股份有限公司 无线耳机装置、移动终端装置以及可调制光源器件

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106200831A (zh) * 2016-08-31 2016-12-07 广州数娱信息科技有限公司 一种ar、全息智能装置
CN106444030A (zh) * 2016-10-13 2017-02-22 佛山市炫鲸科技有限公司 基于可见光通信的虚拟现实头盔与系统
CN110431470A (zh) * 2017-01-19 2019-11-08 脸谱科技有限责任公司 焦面显示
CN110431470B (zh) * 2017-01-19 2022-03-01 脸谱科技有限责任公司 焦面显示
CN106980178A (zh) * 2017-03-24 2017-07-25 浙江大学 一种位相型LCoS图像信号处理方法以及近眼显示系统
CN106980178B (zh) * 2017-03-24 2019-05-31 浙江大学 一种位相型LCoS图像信号处理方法以及近眼显示系统
CN112041732A (zh) * 2018-05-11 2020-12-04 依视路国际公司 用于为配戴者生成虚像的系统
CN109031669A (zh) * 2018-09-25 2018-12-18 杭州光粒科技有限公司 基于复合功能全息光学元件的紧凑型全息近眼ar显示系统及其应用
CN109031669B (zh) * 2018-09-25 2021-03-23 杭州光粒科技有限公司 紧凑型全息近眼ar显示系统及其应用
CN111694254A (zh) * 2019-03-14 2020-09-22 杜尔利塔斯有限公司 激光调制
US11640138B2 (en) 2019-03-14 2023-05-02 Dualitas Ltd Laser modulation
CN111694254B (zh) * 2019-03-14 2022-04-15 杜尔利塔斯有限公司 激光调制
CN110244473A (zh) * 2019-05-06 2019-09-17 华为技术有限公司 一种显示装置及眼镜
CN111948807A (zh) * 2019-05-14 2020-11-17 Oppo广东移动通信有限公司 控制方法、控制装置、穿戴设备和存储介质
CN112565165B (zh) * 2019-09-26 2022-03-29 北京外号信息技术有限公司 基于光通信装置的交互方法和系统
CN112565165A (zh) * 2019-09-26 2021-03-26 北京外号信息技术有限公司 基于光通信装置的交互方法和系统
CN113031281A (zh) * 2021-04-21 2021-06-25 南昌三极光电有限公司 一种光学系统
CN113031281B (zh) * 2021-04-21 2022-11-08 南昌三极光电有限公司 一种光学系统

Also Published As

Publication number Publication date
KR102277893B1 (ko) 2021-07-15
WO2015032824A1 (en) 2015-03-12
JP6632979B2 (ja) 2020-01-22
US10698364B2 (en) 2020-06-30
EP3657265B1 (en) 2023-05-03
CN112416221A (zh) 2021-02-26
US20160223986A1 (en) 2016-08-04
JP2016536700A (ja) 2016-11-24
EP3657265A1 (en) 2020-05-27
KR20160048801A (ko) 2016-05-04
EP3042248B1 (en) 2020-06-17
CN105579917B (zh) 2020-12-01
EP3042248A1 (en) 2016-07-13

Similar Documents

Publication Publication Date Title
CN105579917A (zh) 用于增强现实的方法和系统
EP3042249B1 (en) Methods and systems for augmented reality
US11107368B1 (en) System for wireless devices and intelligent glasses with real-time connectivity
US11094127B2 (en) Systems and methods for presenting perspective views of augmented reality virtual object
JP2022188158A (ja) 拡張現実ディスプレイシステム
CN105264548B (zh) 用于生成增强现实体验的难以察觉的标签
JP6145789B2 (ja) 表示装置および表示システム
CN106415444B (zh) 注视滑扫选择
CN105431763B (zh) 在佩戴移动设备时跟踪头部移动
US20170103440A1 (en) Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
JP6476643B2 (ja) 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
CN105009039A (zh) 使用imu的直接全息图操纵
US20170308157A1 (en) Head-mounted display device, display system, control method for head-mounted display device, and computer program
CN109814719A (zh) 一种基于穿戴眼镜的显示信息的方法与设备
JP2013521576A (ja) 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
CN105229514A (zh) 用于将图像光耦合到近眼显示器的投影光学系统
CN111343449B (zh) 基于增强现实的显示方法及智能穿戴设备
US20230262192A1 (en) Video display device, video display system, and video display method
CN117784931A (zh) 一种智能眼镜
JP2017078894A (ja) 携帯型表示装置、検索サーバー、および携帯型表示装置の制御方法
CN109086579A (zh) 一种解密加密的可见代码的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180522

Address after: France Sharon - basil

Applicant after: Essilor International Ltd.

Address before: France Sarah.

Applicant before: Essilor International (Compagnie Generale D'Optique)

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant