CN103033936A - 具有虹膜扫描剖析的头戴式显示器 - Google Patents

具有虹膜扫描剖析的头戴式显示器 Download PDF

Info

Publication number
CN103033936A
CN103033936A CN2012103135529A CN201210313552A CN103033936A CN 103033936 A CN103033936 A CN 103033936A CN 2012103135529 A CN2012103135529 A CN 2012103135529A CN 201210313552 A CN201210313552 A CN 201210313552A CN 103033936 A CN103033936 A CN 103033936A
Authority
CN
China
Prior art keywords
display
user
optical
data
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012103135529A
Other languages
English (en)
Inventor
K·S·佩雷兹
B·小克罗科
J·R·刘易斯
B·沃特
A·A-A·基普曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201113221669A priority Critical
Priority to US13/221,669 priority
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN103033936A publication Critical patent/CN103033936A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00597Acquiring or recognising eyes, e.g. iris verification
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00597Acquiring or recognising eyes, e.g. iris verification
    • G06K9/0061Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00597Acquiring or recognising eyes, e.g. iris verification
    • G06K9/00617Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4014Identity check for transactions
    • G06Q20/40145Biometric identity checks
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363Graphics controllers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for supporting authentication of entities communicating through a packet data network
    • H04L63/0861Network architectures or network communication protocols for network security for supporting authentication of entities communicating through a packet data network using biometrical features, e.g. fingerprint, retina-scan
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communication
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0866Generation of secret information including derivation or calculation of cryptographic keys or passwords involving user or device identifiers, e.g. serial number, physical or biometrical information, DNA, hand-signature or measurable physical characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communication
    • H04L9/32Cryptographic mechanisms or cryptographic arrangements for secret or secure communication including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226Cryptographic mechanisms or cryptographic arrangements for secret or secure communication including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3231Biological data, e.g. fingerprint, voice or retina
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0154Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0159Head-up displays characterised by mechanical features with movable elements with mechanical means other than scaning means for positioning the whole image
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0161Head-up displays characterised by mechanical features characterised by the relative positioning of the constitutive elements
    • G02B2027/0163Electric or electronic control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller

Abstract

本发明涉及具有虹膜扫描剖析的头戴式显示器。透视头戴式显示器以及用于操作该显示器以通过自动地参考用户简档来优化显示器性能的方法。通过执行对用户的虹膜扫描和识别来确定用户的身份,从而使得用户简档信息能够被检索并用于增强用户佩戴透视头戴式显示器的体验。用户简档可包含用户偏好以及显示调整信息,该用户偏好是关于向透视头戴式显示器提供增强现实图像的服务的,该显示调整信息优化透视头戴式显示器中的显示元件的位置。

Description

具有虹膜扫描剖析的头戴式显示器技术领域[0001] 本发明涉及头戴式显示器。背景技术[0002] 头戴式显示器和双目镜是其中存在用于供用户双眼各自查看场景的光学系统的双眼查看系统的示例。增强现实(AR)涉及提供经增强的真实世界环境,其中用计算机生成的虚拟数据来增强或修改对真实世界环境(或表示真实世界环境的数据)的感知。例如,可使用诸如相机或话筒等传感输入设备实时地捕捉表示真实世界环境的数据,并用包括虚拟图像和虚拟声音的计算机生成的虚拟数据来增强该数据。虚拟数据还可包括与真实世界环境有关的信息,诸如与真实世界环境中的真实世界物体相关联的文本描述。AR环境可用于增强包括视频游戏、绘图、导航以及移动设备应用等多种应用。[0003] 一些AR环境启用对真实物体(S卩,存在于特定的真实世界环境中的物体)与虚拟物体(即,不存在于特定的真实世界环境中的物体)之间的实时交互的感知。正确地对准头戴式显示器改善AR系统使用该显示器以将虚拟物体逼真地集成到该显示器的AR环境中的能力。发明内容[0004] 提供启用具有眼睛成像技术的透视头戴式显示器以通过自动地参考用户简档来优化该显示器性能的技术。通过执行对用户的虹膜扫描和识别来确定用户的身份,使得用户简档信息能够被检索并用于增强用户佩戴透视头戴式显示器的体验。用户简档可包含用户偏好以及显示调整信息,该用户偏好是关于向透视头戴式显示器提供增强现实图像的服务的,该显示调整信息优化透视头戴式显示器中的显示元件的位置。[0005] 一方面,一种控制透视头戴式显示设备的方法包括用透视、近眼、混合现实显示器来提供对用户的至少一只眼睛进行成像的图像。该显示器包括用于每只眼睛的光学系统和显示器,该光学系统包括生成眼睛的图像数据的至少一个传感器。该方法确定至少一只眼睛的虹膜图像中的图案,并基于该图案将用户简档信息与该用户相关联以标识该用户。随后基于用户简档中的用户偏好来操作该设备,以在显示光学系统中向用户提供增强现实图像。[0006] 提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。附图说明[0007] 图1A是佩戴透视HMD的用户所看到的视野的一个实施例。[0008] 图1B是描绘透视、混合现实显示设备的另一实施例的示例组件的框图。[0009] 图2是示出根据本发明技术的方法的流程图。[0010] 图3A是示出虹膜扫描过程的流程图。[0011] 图3B示出了眼睛的虹膜图像。[0012] 图3C是描绘虹膜扫描识别过程的流程图。[0013] 图4是示出创建用户简档过程的流程图。[0014] 图5A是示出基于虹膜扫描来设置用户配置并用用户简档设置来操作设备的方法 的流程图。[0015] 图5B是示出确定用于用户瞳孔间距的用户设备偏好设置的方法的流程图。[0016] 图6A是基于所捕捉的数据自动地确定用户IPD的方法的流程图。[0017] 图6B示出了用于基于每只眼睛的瞳孔的图像格式的图像数据来将透视、近眼、混 合现实显示设备与用户iro对准的方法。[0018] 图6C是确定至少一个调整值的过程的流程图。[0019] 图7A和7B是描绘具有可调整IPD的透视、混合现实显示设备的实施例的示例组 件的框图。[0020] 图8A示出被实现为具有包括注视检测元件的活动显示光学系统的眼镜的透视头 戴式显示器的示例性安排。[0021] 图SB示出被实现为具有包括注视检测元件的活动显示光学系统的眼镜的透视头 戴式显示器的另一个示例性安排。[0022] 图SC示出被实现为具有包括注视检测元件的活动显示光学系统的眼镜的透视头 戴式显不器的又一个不例性安排。[0023] 图9A是混合现实显示设备的实施例中的提供对硬件和软件组件的支持的眼镜腿 的侧视图。[0024] 图9B是混合现实显示设备的实施例中的提供对硬件和软件组件的支持和对微显 示器部件的三维调整的眼镜腿的侧视图。[0025] 图1OA是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学 系统的实施例的俯视图。[0026] 图1OB是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学 系统的另一实施例的俯视图。[0027] 图1OC是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学 系统的第三实施例的俯视图。[0028] 图1OD是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学 系统的第四实施例的俯视图。[0029] 图11是可与一个或多个实施例一同使用的透视、近眼显示单元的硬件和软件组 件的一个实施例的框图。[0030] 图13是可以在本发明技术的各实施例中操作的示例性移动设备的框图。[0031]图14是描绘可用于实现中枢计算系统的计算系统的一个实施例的框图。具体实施方式[0032] 呈现本技术以利用其上使用相机技术的透视头戴式显示器来执行对用户的虹膜 扫描和识别以使得用户简档信息能够被检索并增强用户佩戴透视头戴式显示器的体验。用户简档可包含用户偏好以及显示调整信息,该用户偏好是关于向透视头戴式显示器提供增 强现实图像的服务的,该显示调整信息优化透视头戴式显示器中的显示元件的位置。[0033] 图1A描绘了佩戴参考图1B、7A和7B示出和描述的透视头戴式设备150的用户所 看到的视野的一个实施例。用户在视野内既可看到真实物体也可看到虚拟物体。真实物体 可包括椅子16和中枢计算系统10和显示器。虚拟物体可包括虚拟怪物17。由于通过HMD 的透视透镜所感知的虚拟怪物17被显示或覆盖在真实世界环境中,因此用户可感觉到虚 拟怪物17存在于真实世界环境内。[0034] 该环境包括两个头戴式显示设备150 (I)和150 (2)。中枢计算系统10可包括计 算环境12、一个或多个捕捉设备21、和显示器11,它们彼此通信。计算环境12可以包括一 个或多个处理器。捕捉设备21可以包括颜色或深度传感相机,该相机可以用于在视觉上监 控包括特定环境内的人以及一个或多个其他物体的一个或多个目标。在一个示例中,捕捉 设备21可以包括RGB或深度相机,并且计算环境12可以包括机顶盒或游戏控制台。中枢 计算系统10可支持多个头戴式显示器。[0035] 如图1A所示,用户28佩戴透视头戴式显示器18150 (1),并且用户29佩戴透视 头戴式显示器19150 (2)。所佩戴的透视头戴式显示器150 (I)和150 (2)可从此处描述 的多个处理设备(包括中枢计算系统10)中的任一个接收虚拟数据,使得虚拟物体如通过相 应的移动设备所显示的那样被感觉存在于视野内。例如,如用户28通过透视头戴式显示器(I)所看到的,虚拟物体被显示为虚拟怪物17的背面(未示出)。如用户29通过透视头戴式 显示器150 (I)所看到的,虚拟物体被显示为出现在椅子16背面上方的虚拟怪物17的正 面。[0036] 图1B示出了用于实现本技术的透视头戴式显示器150和系统的实施例的框图。头 戴式显示设备150将被耦合到处理单元20,该处理单元可包括此处所公开的处理设备中的 任一个,包括但不限于下面所讨论的处理单元4、移动设备5、或中枢计算系统12。显示处理 器可包括网络接口 25、处理器26和存储器27,其中存储器27包括一个或多个应用30并存 储用户简档信息280。应用30可存在于显示处理器的存储器27内,并向用户提供覆盖在透 视头戴式设备的显示器中的信息。如下所述,显示处理器将通过多个各种手段中的任一个 被耦合到头戴式显示设备150。处理单元20与诸如因特网等网络80交互,使用网络接口 25 来将头戴式显示设备150与例如提供用于显示应用30的数据的增强现实服务90相耦合。[0037] 增强现实服务90可提供一个或多个服务器92,该服务器92提供图像数据、备选的 信息显示应用35、用户定位服务34以供显示应用30使用。补充信息提供者本身可创建并 提供补充事件数据或提供服务,该服务将事件数据从第三方事件数据提供者传输到用户的 透视头戴式显示器。多个补充信息提供者和第三方事件数据提供者可与本技术一同使用。[0038] 处理器26可执行程序指令以实现应用30和此处描述的其他服务。处理单元20 可包括此处描述的处理设备的示例中的任一个。[0039] 图1B示出了示例性用户简档280。如图1B所示,用户简档280可被存储在与显示 设备150相关联的处理单元20上,或由增强现实服务90来存储。简档280可包括增强现 实服务90所提供的服务中任一个的登录信息、服务偏好信息、信息过滤器信息、用户设备 物理设置、和用户设备操作设置。[0040] 增强现实服务90可提供利用透视头戴式显示设备150的多个服务中的任一个。这些服务的示例包括基于事件的实时信息服务(如美国专利申请序列号13/112,919、题 为 “EVENT AUGMENTATION WITH REAL-TIMEINFORMATION (具有实时信息的事件增强)”中 描述的示例)、生活雷达跟踪服务(如美国专利申请序列号12/818,106、题为“CONTEXTUAL BASEDINFORMATION AGGREGATION SYSTEM (基于上下文的信息聚集系统)”中描述的示例)、 和生活流传输服务(如美国专利申请序列号13/031,033、题为“LIFE STREAMING (生活流传 输)”中描述的示例),这些服务通过引用专门包含于此。对于每个服务,可向用户要求登录 信息以保护用户的安全和隐私,以及向服务标识用户。服务偏好信息可包括所提供的服务 专用的用户指定的服务性能偏好。信息过滤器信息可包括对用户希望在透视头戴式显示器 中显示的信息类型的限制。设备物理设置可包括下面进一步描述的定位信息,以相对于用 户的注视来正确地对准透视头戴式显示设备,来向用户正确地显示虚拟物体。设备操作设 置可包括用户在佩戴设备时所偏好的亮度、对比度和其他设置。[0041] 每个用户简档可包括前面提到的类型的信息的全部或子集。例如当有限数量的常 规用户一贯地使用设备150时,用户简档可被存储在处理单元20上。简档280可与服务90 一同存储以向任一潜在的透视头戴式显示器150标识用户,该透视头戴式显示器150可访 问服务90,从而允许用户与可访问服务90的任一设备150交互以获得跨各种不同设备的相 同用户体验。[0042] 根据本技术,透视头戴式显示器150的系统允许将用户身份与用户简档一同存 储,使得通过佩戴透视头戴式显示器150可以自动地确定用户的身份,检索用户的简档并 根据用户简档来调整用户体验。各个示例在下文中引用。一方面,自动地访问用于与一个 或多个增强现实服务交互的用户偏好信息。另一方面,自动地作出用户的各个物理设备调難iF. O[0043] 用户身份信息37可被存储在处理单元20上,或与增强现实应用服务90 —同存 储,或二者皆有。当用户佩戴透视头戴式显示器150时,可使用此处公开的透视头戴式显示 器150的眼睛捕捉技术来执行用户识别,以执行对用户的虹膜扫描从而确立用户的身份。 一方面,该系统可使用用户身份根据用户已存储的偏好来自动地调整透视头戴式显示器和 增强现实服务。一方面,用户简档可用于自动地调整透视头戴式显示器150的显示元件的 瞳孔间距。瞳孔间距(Iro)通常指的是用户的瞳孔之间的水平距离。本技术规定iro可包 括垂直或高度维度。此外,还可在iro数据中存储从显示光学系统到相应眼睛的深度距离。 可监视该深度距离以检测显示设备相对于用户眼睛的移动,并触发iro对准检查。在一个 实施例中,用户简档数据280可仅被存储在诸如显示处理器20等本地设备上。作为对简档 数据的本地设备存储的替换或结合对简档数据的本地设备存储,身份和简档信息280可与 备选的现实服务90 —同存储。在一个实施例中,不提供服务并且在本地存储全部信息。[0044] 用户简档信息可包括iro数据集。所存储的iro数据集至少可被用作用来开始IPD 对准检查的显示设备的初始设置。在一些实施例中,一个或多个处理器将每一光轴的位置 存储在Iro数据集中。用户的iro可以是非对称的。每一显示光学系统的显示调整机构的 始自初始位置的调整值可被保存在iro数据集中。显示调整机构的初始位置可以具有相对 于不动的镜架部分的固定位置。另外,可基于到鼻梁上的点的固定位置以及调整值来为每 只眼睛估计相应瞳孔到用户鼻子的位置向量。每一眼睛的这两个位置向量至少提供水平距 离分量,并且也可包括垂直距离分量。一个或多个方向上的瞳孔间距iro可以从这些距离分量中导出。另外,iro数据集可包括用于眼睛跟踪的任意个人校准(例如,估计角膜半径、 视轴距离光轴的偏移等)的结果,以避免用户必须校准不止一次。[0045] 透视头戴式显示器包括具有光轴、被定位以由用户每只眼睛透视的显示光学系 统。在每一显示光学系统的光轴与相应瞳孔对准时,最近的显示设备与用户的iro对准。 通过使具有检测区域的至少一个传感器被定位成沿着光轴接收从眼睛反射的光,可根据 在预定的距离和方向处显示虚拟物体(通过光轴以供测量IPD)期间所捕捉的反射光数据 来确定每一显示光学系统的光轴与每一相应瞳孔的对准。虚拟物体可看起来像真实的物 体,如图像中的苹果或朋友。虽然苹果或朋友可能看起来位于你面前的三维空间中并位 于实际上在你面前的真实世界物体上,但苹果或朋友实际上并不在你真实世界的视野中。 如果每一瞳孔没有在一准则内与光轴对准,则相应显示光学系统被调整,直至对准满足一 准则为止。准则的示例是距离,例如lmm。以下各项中公开了能够检测注视、IB)和自动 调整的示例性透视头戴式显示器:转让给本申请的受让人并于2011年8月30日提交的 (代理人档案号是01466)、共同待审申请序列号为、题为“GAZE DETECTION IN A NEAR-EYE DISPLAY (近眼显示器中的注视检测)”、发明人是John R. Lewis, Yichen Wei, Robert L. Crocco, Benjaminl. Vaught, Alex Aben-Athar Kipman 和 Kathryn Stone Perez ;转让给 本申请的受让人并于2011年8月30日提交的(代理人档案号是01467)、共同待审申请序 列号为、题为 “ADJUSTMENT OF A MIXED REALITY DISPLAY FORINTER-PUPILLARY DISTANCE ALIGNMENT (调整混合现实显示器以供瞳孔间距对准)”、发明人是John R. Lewis, Kathryn Stone Perez, Robert L. Crocco 和 Alex Aben-Athar Kipman ;转让给本申请的受让人 并于2011年8月30日提交的(代理人档案号是01469)、共同待审申请序列号为、题为 “ALIGNINGINTER-PUPILLARY DISTANCE IN A NEAR-EYE DISPLAY SYSTEM (在近眼显示器 系统中对准瞳孔间距)”、发明人是 John R. Lewis, Yichen Wei, Robert L. Crocco, Benjamin1. Vaught, Kathryn Stone Perez, Alex Aben-Athar Kipman,全部文件通过引用包含于此。[0046] 在下面描述的实施例中,每一显示光学系统被定位在支撑结构内,该支撑结构在 位置上可由显示调整机构来调整。在很多示例中,该调整在处理器的控制下自动地执行。例 如,一个以上方向上的调整可由一组马达来执行,马达可垂直地、水平地或在深度方向上移 动显示光学系统。在其他实施例中,显示调整机构是用户启动以根据所显示的指令或音频 指令来定位显示光学系统的机械显示调整机构。在下面示出的某些示例中,对机械显示调 整机构的控制被校准,使得每次启动对应于要将显示光学系统在特定的方向上移动的距离 单位。[0047] 由于用户身份信息37可包括面临一个或多个隐私条款和考虑的信息,因此可作 出努力来以加密格式存储虹膜信息。例如,可将对用户身份数据的每次扫描作为与用户简 档信息280相关联的加密散列来存储,并且丢弃虹膜扫描的图像数据。这将确保用户实际 的虹膜数据不被存储,但简档信息可在接下来的扫描期间被检索。[0048] 图2是示出依照本技术的标识用户过程的流程图。在202,该过程通过多个各种手 段中任一个来初始化。用户可佩戴透视头戴式显示器并且该过程可自动开始,该过程可在 STHMD 一检测到虹膜图像时或当用户选择输入方法(诸如,点击物理按钮以启动该过程)时 开始。在204,执行用户虹膜扫描。下面讨论虹膜扫描过程。[0049] 在206,将虹膜扫描的结果与用户简档数据存储进行比较,以确定所扫描的虹膜图案与同用户简档相关联的所存储的虹膜图案之间是否存在匹配。在一个实施例中,206处的 比较可相对于在显示处理器存储器27中本地存储的简档数据而发生。如果未在本地处理 设备上发现简档信息,则在服务90中检查身份和简档信息。在一个实施例中,不提供服务 并且在本地存储全部信息。如果在208发现了简档,则用户简档配置设置被用于基于用户 简档来配置透视头戴式显示器。如果在208未发现简档,则可在212创建简档并在214存 储该简档。存储可包括将简档存储在处理单元20上,或与增强现实服务提供者90 —同存 储。注意,对用户简档的创建和存储对用户来说是可任选的。即,不要求用户存储用户简档 就能使用增强现实服务90。[0050] 图3A是示出扫描用户的眼睛以确立用户身份的过程204的流程图。可任选地在 步骤302,可以指导用户(通过屏幕显示或其他手段,如音频信号)将他们的眼睛定位在特定 的位置,并睁大他们的眼睛以允许透视头戴式显示器的相机获得虹膜的清晰视图。在304, 使用透视头戴式显示器相机得到用户眼睛的一个或多个图像。在306,执行虹膜识别处理。 在图3A中示出示例性方法。在308,图案确定算法用于确定用户虹膜中的达到系统所要求 的准确程度的图案。在一个实施例中,检测基本图案以便允许该系统在小数量的用户之间 进行区分。在一个替换实施例中,利用更详细的准确度水平来在较大数量的用户之间进行 进一步区分。在310,图案被输出到图案匹配引擎,以允许将该图案与用户简档进行匹配。[0051] 图3B是对用户虹膜的描绘。虹膜扫描使用对各个眼睛图像的图案识别技术。在 本技术中,下面讨论的透视头戴式显示器实施例的虹膜识别相机系统和照明源创建虹膜图 像。这些图像可被转换成虹膜的带图案的表示,以标识用户。可使用可见光或红外线成像 技术。[0052] 图3C是描绘虹膜识别过程的流程图。在380,进行图像增强处理。此处讨论的透 视头戴式显示器中的图像捕捉设备可获得用户眼睛的图像。该图像随后可被处理以增强对 比度,减少噪声,并从图像中移除对识别来说不必要的元素。在382处,隔离虹膜区域。一 般而言,用于定位虹膜系统的方法利用图像强度的一阶导数来标出对应于虹膜边界的边缘 位置。一般而言,多个虹膜识别算法中任一个可用于标识眼睛照片中虹膜与瞳孔的近似同 心圆的外边界。一般而言,构成瞳孔的虹膜内边界可通过利用瞳孔边界实质上是圆形边缘 的事实来确定。瞳孔一般是深色的,而虹膜则较浅,带有不同的着色。用于检测瞳孔边缘的 方法检查寻找沿圆圈求和时亮度上的陡变和突变。在一个实施例中,计算瞳孔内椭圆形的 轮廓积分,并计算该椭圆形轴向上的积分导数以增加轴的长度。同一方法可用于检测眼睑 边界。[0053] 仅覆盖虹膜的像素集随后被变换成保留如下信息的图案:该信息对于在统计学上 有意义地比较两个虹膜图像是必要的。为了经由标识(一对多模板匹配)或验证(一对一模 板匹配)进行认证,将通过对虹膜成像所创建的模板与数据库中所存储的值模板进行比较。[0054] 在384,使用一个或多个算法来计算匹配的图案。图案匹配包括使新获得的虹膜图 案与候选数据库条目在空间上对准,选择使其区别图案明显的经对准的虹膜图案的表示, 评估候选项与数据库表示之间的匹配的良好性,并决定匹配的成功性。存在许多用于发现 并跟踪面部特征(诸如,眼睛)的替换方法。在以下文件中描述了虹膜识别的各种技术:美国 专利号为7, 336,806、美国专利号为6,641,349、和美国专利号为5,291,560,以及Daugman 的 “How Iris Recognition Works (虹膜识别如何进行)”,发表在 IEEE TRANSACTIONS ONCIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY、2004年 I 月第 I 期第 14卷上,将其通过引 用全部并专门包含于本说明书中。[0055] 图6是示出对用户简档280的创建和更新的流程图。应当理解,创建用户简档可 允许存储服务提供者希望允许配置的任意数量的参数。图6中示出的每一步骤可被单独地 或异步地执行以创建用户简档。即,可执行每个步骤来创建或添加到现有的用户简档。在 602,如果用户已经指定了用于增强现实服务中的一个或多个的服务偏好,则可以存储用户 服务偏好。例如,如果用户订阅如共同待审申请序列号(MSFT 1425)中所公开的基于事件 的信息系统的透视头戴式显示器的信息馈源,则该用户可能希望限制在服务馈源中呈现的 信息类型。在602,关于服务的用户偏好被存储在用户的用户简档280中。在604,当用户 提供允许该用户登录到多个服务之一的凭证时,该登录凭证可与用户简档280 —同存储, 并基于对用户身份的判定被自动地检索。在606,在用户简档280中存储用户指定的与由增 强现实服务提供者90提供的信息有关的信息过滤器。信息过滤器限制可在透视头戴式显 示器中向用户呈现的信息的量和类型并且可在向用户提供信息时由用户定义。例如,当增 强现实服务显示特定类型的信息时,用户可指示该服务将来不应显示这种类型的信息。一 种类型的信息可包括交通警报或与特定类型的产品有关的广告。一旦用户作出了该种类型 的信息不应被显示的指示,过滤器被创建并且简档280可存储该过滤器。[0056] 可在608设置设备设置偏好。如上所述,该系统可使用用户身份根据用户已存储 的偏好来自动地调整透视头戴式显示器和增强现实服务。一方面,用户简档可用于自动地 调整透视头戴式显示器150的显示元件的瞳孔间距。透视头戴式显示器允许对IPD自动调 整并可包括垂直和/或高度维度、和/或从显示光学系统到相应眼睛的深度距离。[0057] 图5A是示出在210处基于用户简档来设置配置的方法的流程图,其中该配置用于 调整透视、近眼、混合现实显示设备以便与一个或多个用户的瞳孔间距(IPD)对准,并此后 在214操作该设备。在步骤542,作出关于显示器是否与在用户简档中定义的用户IB)对 准的初始判定。在步骤542,控制电路136的一个或多个处理器(例如下文图7A中的处理 器210,处理单元6、5,中枢计算系统12,或这些的组合)根据对准准则来自动地确定透视、 近眼、混合真实显示设备是否与用户的iro对准。如果确定透视、近眼、混合现实显示设备 与用户Iro对准,则该方法移至步骤546并监视对准中的改变。[0058] 如果显示器未对准,则在步骤544,从所标识的用户的用户简档中选择IPD。[0059] 显示设备2 (图7A、7B)具有用于每只眼睛的显示光学系统,并且在一些实施例中, 一个或多个处理器将iro作为在满足对准准则的位置处各显示光学系统的光轴之间的距 离来存储。在一些实施例中,一个或多个处理器将每一光轴的位置存储在用户简档中的iro 数据集中。用户的iro可以例如相对于用户的鼻子是不对称的。例如,左眼比右眼更靠近 鼻子。在一个示例中,每一显示光学系统的显示调整机构的始自初始位置的调整值可被保 存在用户简档中的iro数据集中。显示调整机构的初始位置可以具有相对于不动的镜架部 分的固定位置,例如鼻梁104上的点。基于相对于不动的镜架部分的这一固定位置以及用 于一个或多个移动方向上的调整值,每一光轴相对于不动的镜架部分的位置可以作为每一 显示光学系统的瞳孔对准位置来存储。另外,在不动的镜架部分是鼻梁上的点的情况下,可 以基于该固定位置到鼻梁上的该点以及调整值来为每一只眼睛估计该相应瞳孔到用户的 鼻子的位置向量。每一眼睛的这两个位置向量至少提供水平距离分量,并且也可包括垂直距离分量。一个或多个方向上的瞳孔间距iro可以从这些距离分量中导出。[0060] 在步骤545,从IB)数据集中检索为至少一个显示调整机构所确定的用于满足至 少一个显示光学系统的对准准则的一个或多个调整值。在步骤546,处理单元20使显示调 整机构(诸如参考图8A-8C讨论的机构803)自动地调整每只眼睛的显示光学系统814,以在 步骤546中与所选择的iro对准。或者,可以就要对透视头戴式显示器手动地作出的调整 方面来对用户做出指导。[0061] 在547,从用户简档检索附加的用户偏好,诸如服务偏好、服务的登录信息、和信息 过滤器。[0062] 在步骤548,根据用户偏好来操作该设备。在548,处理单元20可检测指示与所选 IPD的对准不再满足对准准则的变化,这触发处理器在步骤550自动地重新调整显示光学 系统中的至少一个以满足该对准准则。对准准则可以是几毫米的距离,例如3_。被持续完 成以跟踪用户的焦点的注视确定方法可以检测该变化。[0063] 图5B是示出创建用户简档条目以用于用户设置的方法608的一个实施例的流程 图,该方法随后可在操作用于透视、近眼、混合现实显示器的一个或多个用户的设备214时 自动地提供可调整IPD的对准。在步骤518,处理单元20基于所捕捉的来自每只眼睛的反 射光的数据来自动地确定用户的ipd,并在步骤520将与用户相关联的iro数据存储到用户 简档中。在546,透视头戴式显示器基于所确定的iro来自动地调整显示器的用于每只眼睛 的显示光学系统。在519,相对于用户的iro和特定的特性确定一个或多个调整值。因为由 于人类头骨的限制,Iro数据和调整对成人而言通常是固定的,所以在520iro数据可以被 确定一次并被存储。一旦在546调整了显示器,则该方法完成存储iro数据集和用户偏好 的步骤410,并且图2的方法完成步骤214和216。[0064] 共同待审申请序列号1467中公开了用于确定和存储IB)的各种方法。在用户简档 存储近Iro和远IPD的替换的实施例中,处理单元20基于注视数据来确定注视点的距离, 并基于该注视点的距离来选择近Iro或远iro作为IPD。[0065] 图6A-6C示出用于将透视、近眼、混合现实显示器与IPD对准的方法。[0066] 图6A是用于将透视、近眼、混合现实显示器与IB)对准的方法实施例600的流程 图。步骤602到606示出用于根据对准准则自动确定透视、近眼、混合现实显示设备是否与 用户的Iro对准的步骤542的示例的更多细节。步骤607到608示出步骤548中的用于调 整显示设备以使该设备与用户Iro对准的示例的更详细步骤。如针对图3C所讨论的,该调 整可由处理器自动地执行或通过电子地提供给用户的指令来供机械调整。[0067] 参考图6A和下面图8A-10D所公开的实施例,在步骤602,透视、近眼、混合现实系 统的处于处理单元4、移动设备5、或中枢计算系统12中的一个或多个处理器(如控制电路 的处理器210)单独地或相组合地标识用户视野中一定距离处以及一定方向上的对象以用 于确定IPD。对于远IPD,距离在有效无限远处(例如超过5英尺),方向是相对于每一显示 光学系统的光轴的正前方。换言之,距离和方向是这样的:当每一瞳孔与每一光轴对准时, 用户正在看向正前方。在步骤603,一个或多个处理器执行处理以将用户的焦点吸引到该对 象。在一个示例中,一个或多个处理器电子地提供指令来请求用户查看所标识的真实对象。 在一些情况下,可简单地请求用户看向正前方。[0068] 在步骤604,相应显示光学系统的注视检测元件的安排中的诸如传感器134r或光电检测器152或这两者等至少一个传感器捕捉每一只眼睛在对该对象的观察时间段期间 的数据。在一个示例中,所捕捉的数据可以是IR图像数据以及由IR相机捕捉的从每一只 眼睛反射的闪光。在其他示例中,至少一个传感器是像位置敏感检测器等IR传感器。该至 少一个传感器也可以是IR光电检测器。在一些示例中,该至少一个传感器可以是可见光相 机。[0069] 在步骤606,一个或多个处理器基于所捕捉的数据和注视检测元件的安排来根据 对准准则确定每一瞳孔是否与它相应的显示光学系统的光轴对准。对准准则可以是距光轴 的距离,例如2毫米(mm)。如果是,则显示设备2已经与每一瞳孔对准,并且因此与IPD对 准,并且在步骤609,一个或多个处理器将每一光轴的位置存储在iro数据集中。[0070] 如果不满足对准准则,则在步骤607,一个或多个处理器自动确定至少一个显示调 整机构的用于满足至少一个显示光学系统的对准准则的一个或多个调整值。“自动确定”意 味着一个或多个处理器在无需用户通过机械操纵来标识调整值的情况下确定这些值。在许 多实施例中,基于所存储的设备配置数据,跟踪光轴相对于支撑结构的固定点的当前位置。 在步骤608,处理器基于一个或多个调整值来造成对至少一个相应显示光学系统的调整。在 自动调整中,一个或多个处理器经由一个或多个显示调整机构驱动器245来控制至少一个 显示调整机构203,以基于一个或多个调整值来移动至少一个相应的显示光学系统。在机械 调整方法中,处理器向用户电子地提供指令,以供经由机械控制器将一个或多个调整值应 用到至少一个显示调整机构。该方法实施例的各步骤可以重复预定次数或直至满足对准准 则为止。[0071] 图6B是基于每一只眼睛的瞳孔的图像格式的图像数据来将透视、近眼、混合现实 显示设备与用户的iro对准的实现示例的方法实施例610的流程图。图像格式具有预定大 小和形状,例如可以由图像传感器大小和形状来设置。图像格式的示例是图像帧。该格式 将要提供用于跟踪图像数据内的位置的坐标系,例如中心作为原点。在例如IR相机(或在 需要时,可见光相机)等图像传感器的检测区域以显示光学系统14的光轴142为中心时,该 图像格式的图像数据以光轴142为中心。瞳孔中心距图像中心有多远是用于确定瞳孔是否 令人满意地与光轴对准的基础。[0072] 在步骤612,标识用户视野中一定距离和一定方向上的真实物体来确定IPD,并且 在步骤613,一个或多个处理器执行处理来将用户的焦点吸引到该真实物体。在步骤614, 在对该真实物体的观察时间段期间,由与相应显示光学系统的光轴对准的至少一个传感器 以图像数据来捕捉每一只眼睛的图像数据。在步骤615,根据图像数据确定相对于相应光轴 的相应瞳孔位置。图像数据中的瞳孔区域可以通过对强度值设置阈值来标识。可以应用椭 圆拟合算法来对瞳孔的大小和形状进行近似,并且所得椭圆的中心可被选作瞳孔的中心。 理想地,瞳孔的中心与显示光学系统的光轴对准。在步骤616,一个或多个处理器基于图像 格式(例如,图像帧)的瞳孔位置来根据对准准则确定每一瞳孔是否与相应光轴对准。在其 中检测区域139以光轴142为中心的情况下,一个或多个处理器根据对准准则来确定瞳孔 位置是否是图像格式的中心(例如,图像帧的中心)。可以在水平和垂直方向上确定每一只 眼睛相对于光轴的瞳孔位置。[0073] 如果满足对准准则,则在步骤609,一个或多个处理器将每一光轴的位置存储在 Iro数据集中。如果否,在步骤617,一个或多个处理器基于不满足对准准则的每一显示光学系统的至少一个传感器的映射准则来确定相应显示调整机构的至少一个调整值。在步骤 618,一个或多个处理器控制相应显示调整机构基于至少一个调整值来移动相应显示光学 系统。该方法实施例的各步骤可以重复预定次数或直至满足对准准则为止。[0074] 图6C是可被用于实现确定至少一个调整值的步骤617的方法实施例的流程图。在 步骤642,基于至少一个传感器的映射准则,一个或多个处理器确定水平瞳孔位置差向量。 像素到距离映射准则可被用于对其提供调整的每一方向上。取决于图像传感器的检测区域 的形状,对于垂直和水平而言,映射准则可以是不同的。在步骤644,基于至少一个传感器的 映射准则,也确定垂直瞳孔位置差向量。在步骤646,一个或多个处理器将水平瞳孔位置差 向量与水平调整值进行相关,并且在步骤648,将垂直瞳孔位置差向量与垂直调整值进行相 关。[0075] 因为水平Iro可能具有25-30mm之间的范围,所以显示调整机构可具有在任何方 向上移动显示光学系统的距离范围限制。深度调整可帮助将水平或垂直方向上的范围外调 整值带到范围内。可以执行可任选步骤651和653。在可任选步骤651,一个或多个处理器 确定水平或垂直调整值中的任一个是否处于范围外。如果否,则显示光学系统的对准可以 通过在二维平面上的移动来实现,并且可以执行步骤618。如果至少一个调整值在范围外, 则在可任选步骤653,一个或多个处理器确定用于将范围外的任何水平或垂直调整值带到 距范围限制更近或带到范围限制内的深度调整值,并且可以执行步骤618来调整显示光学 系统。[0076] 作为说明性示例,如果光轴距右侧12mm并且显示调整机构只可将显示光学系统 向左移动6_,则通过增加显示光学系统和瞳孔之间的深度,在看向正前方时从瞳孔到光轴 的位置之间的角度减小,因此深度增加结合向左侧的6_调整使得光轴根据对准准则更接 近于与瞳孔对准。深度变化对垂直维度的影响也可被考虑,使得垂直调整也是必要的或修 改深度调整值[0077] 当闪光彼此之间有几何关系并且传感器具有分立传感器(如像素)的表面时,图6B 和6C的实施例也可被应用于来自每一只眼睛的闪光数据。例如,由照明器生成的一只眼睛 的闪光通过照明器的位置形成与该眼睛的相应显示光学系统的光轴对准的框或其他几何 形状。如果传感器是用于检测闪光的位置敏感检测器(PSD),则传感器上的位置和检测到的 从固定照明器生成的闪光的强度值被用来映射瞳孔的位置。来自IR相机(或甚至可见光相 机)的图像数据提供用于瞳孔位置确定的更大准确度,但闪光数据方法处理更少数据并且 因此在计算上较不密集。[0078] 其他实施例可采用基于注视数据来将透视、近眼、混合现实显示器与iro对准的 实现。在这些实施例中,一个或多个处理器基于相应显不光学系统的注视检测兀件的安排 来确定每一只眼睛对真实物体的穿过该显示光学系统的光轴的基准注视向量。注视确定方 法的实施例在申请序列号1467中讨论。[0079] 当闪光数据用于确定注视时,可使用前面提到的方法。在一个实施例中,闪光反射 可基于为闪光所检测的若干强度值的数据点来估计注视,而不是处理大很多的眼睛图像数 据集。近眼显示设备的眼镜架115或其他支撑结构上的照明器153的位置可以是固定的, 使得由一个或多个传感器所检测的闪光位置在传感器检测区域中是固定的。[0080] 图7A是描绘一系统环境中的具有可调整iro的透视、混合现实显示设备的一个实施例的示例组件的框图,其中该设备可以在该系统环境中操作。系统10包括作为通过线6 与处理单元4进行通信的近眼、头戴式显示设备2的透视显示设备。在其他实施例中,头戴 式显示设备150通过无线通信来与处理单元4进行通信。头戴式显示设备150 (在一个实 施例中它是带框115眼镜的形状)被佩戴在用户的头上,使得用户可以透视显示器(在该示 例中该显示器被体现为每一只眼睛的显示光学系统14),并且从而具有该用户前方的空间 的实际直接视图。[0081] 使用术语“实际直接视图”来指直接用人眼看到真实世界物体的能力,而非看到所 创建的物体的图像表示。例如,在房间中透过眼镜进行查看将允许用户具有该房间的实际 直接视图,而在电视上查看房间的视频不是房间的实际直接视图。基于执行软件(例如,游 戏应用)的上下文,该系统可以将虚拟对象的图像(有时称为虚拟图像)投影在可由佩戴该 透视显示设备的人观看的显示器上,同时该人还透过该显示器观看真实世界物体。[0082] 镜架115提供用于将该系统的各元件保持在原位的支承体以及用于电连接的管 道。在该实施例中,镜架115提供了便利的眼镜架作为下面进一步讨论的系统的各元件的 支承体。在其他实施例中,可以使用其他支承结构。这样的结构的示例是帽舌或护目镜。镜 架115包括用于搁在用户的每一只耳朵上的镜腿或侧臂。镜腿102表示右镜腿的实施例, 并且包括显示设备150的控制电路136。镜架的鼻梁104包括用于记录声音并向处理单元 4传送音频数据的话筒110。[0083] 在一个实施例中,处理单元4被佩戴在用户的手腕上,并且包括用于操作透视头 戴式显示器150的计算能力中的许多计算能力。处理单元4可以与一个或多个中枢计算系 统12无线地(例如,WiF1、蓝牙、红外、或其他无线通信手段)通信。[0084]中枢计算系统10可以是计算机、游戏系统或控制台等等。根据一示例性实施例, 中枢计算系统10可以包括硬件组件和/或软件组件,使得中枢计算系统10可以用于执行 诸如游戏应用、非游戏应用等等之类的应用。在一个实施例中,中枢计算系统10可以包括 诸如标准化处理器、专用处理器、微处理器等等之类的处理器,这些处理器可以执行存储在 处理器可读存储设备上的指令以用于执行在此所述的过程。[0085] 中枢计算系统10还包括一个或多个捕捉设备,如捕捉设备21A和21B。在其他实 施例中,可使用多于或少于两个捕捉设备来捕捉房间或用户的其他物理环境。[0086] 捕捉设备21A和21B可以是例如相机,该相机在视觉上监视一个或多个用户和周 围空间从而可以捕捉、分析并跟踪该一个或多个用户所执行的姿势和/或移动以及周围空 间的结构,以在应用中执行一个或多个控制或动作和/或使化身或屏上角色动画化。应用 可以在中枢计算系统10、显示设备150上执行、如下所述地在移动设备5上执行、或在这些 设备的组合上执行。[0087] 中枢计算环境10可以连接到诸如电视机、监视器、高清电视机(HDTV)等可提供游 戏或应用视觉的视听设备11。例如,中枢计算系统10可包括诸如图形卡等视频适配器和 /或诸如声卡等音频适配器,这些适配器可提供与游戏应用、非游戏应用等相关联的视听信 号。视听设备11可从中枢计算系统10接收视听信号,并且然后可以输出与视听信号相关 联的游戏或应用视觉和/或音频。根据一个实施例,视听设备11可经由例如,S-视频电缆、 同轴电缆、HDMI电缆、DVI电缆、VGA电缆、分量视频电缆、RCA电缆等连接至中枢计算系统 10。在一个示例中,视听设备11包括内置扬声器。在其他实施例中,视听设备11、单独的立体声系统或中枢计算设备10连接到外部扬声器22。[0088] 图7B是描绘具有可调整IB)的透视、混合现实显示设备的另一实施例的示例组件 的框图。在该实施例中,透视头戴式显示器150与作为处理单元4的示例实施例的移动计 算设备5进行通信。在所示示例中,移动设备5经由线6进行通信,但在其他示例中通信也 可以是无线的。[0089] 此外,如在中枢计算系统10中一样,游戏和非游戏应用可以在移动设备5的处理 器上执行,其中用户动作控制或用户动作动画化被显示在设备5的显示器7上的化身。移 动设备5还提供用于通过因特网或经由另一通信网络通过有线或无线通信介质来与像中 枢计算系统10等的其他计算设备进行通信的网络接口。例如,用户可与其他移动设备用户 以及在像中枢计算系统10等更强大系统上玩的那些用户一同参与在线游戏会话。移动设 备5的硬件和软件组件(诸如包含在智能电话或平板计算设备中)的示例在图20中描述。 移动设备5的一些其他示例是膝上型计算机或笔记本计算机以及上网本计算机。[0090] 图8A示出被实现为具有包括注视检测元件的活动显示光学系统的眼镜的透视、 近眼、混合现实显示器的示例性安排。表现为每个眼睛的透镜的是每个眼睛的显示光学系 统14,例如14r和141。显示光学系统包括透视透镜,例如图7A、7B、9A_9B和10AU0B中的 116和118,如一副普通眼镜一样,但还包含用于将虚拟内容与透过透镜116、116看到的实 际直接真实世界视图无缝地融合的光学元件(例如,反射镜、滤光器)。显示光学系统14具 有一般处于透视透镜116、118的中心的光轴,其中光一般被校准来提供无失真视图。例如, 在眼睛护理专业人员使一副普通眼镜适合用户的脸部时,目标是该眼镜在每一瞳孔与相应 透镜的光轴或中心相对准的位置处落在用户的鼻子上,从而通常使得校准光到达用户的眼 睛以得到清晰或无失真的视图。[0091] 在图8A的示例中,至少一个传感器的检测区域139r、1391与其相应显示光学系统 14r、141的光轴相对准,使得检测区域139r、1391的中心捕捉沿着光轴的光。如果显示光学 系统14与用户的瞳孔对准,则相应传感器134的每一检测区域139与用户的瞳孔相对准。 经由一个或多个光学元件将检测区域139的反射光传送到相机的实际图像传感器134。[0092] 在一个示例中,通常被称为RGB相机的可见光相机可以是传感器,并且光学元件 或光定向元件的示例是部分透射且部分反射的可见光反射镜。在一些示例中,相机可以是 小型的,例如2毫米(mm)乘2mm。在其他示例中,至少一个传感器134是IR辐射可被定向 到的IR相机或位置敏感检测器(PSD)。例如,热反射表面可以透射可见光但反射IR辐射。 在一些示例中,传感器134可以是RGB和IR相机的组合,并且光定向元件可包括可见光反 射或转向元件和IR福射反射或转向元件。[0093] 在图8A的示例中,有四组照明器153,照明器153与光电检测器152配对并由屏障 154分开以避免照明器153所生成的入射光与在光电检测器152处接收到的反射光之间的 干扰。为了在附图中避免不必要的混乱,相对于代表性的一对示出了附图标记。每一照明 器可以是生成预定波长的窄光束的红外(IR)照明器。光电检测器中的每一个可被选择来 捕捉预定波长的光。红外还可包括近红外。[0094] 如下所述,在作为确定注视向量的一部分来计算角膜中心的一些实施例中,两个 闪光(并且因此两个照明器)将是足够的。然而,在确定瞳孔位置并且因此确定注视向量时, 其他实施例可以使用附加闪光。因为闪光和眼睛数据是重复地捕捉的,例如以每秒30帧或更大的帧率,所以一个闪光的数据可被眼睑或甚至被睫毛遮挡,但数据可由另一照明器所生成的闪光来收集。[0095] 在图8A中,每一显示光学系统14以及它面向每一眼睛的注视检测元件的安排(如相机134及其检测区域139)、光学对准元件(在该附图中未示出;参见以下图6A-6D)、照明器153、以及光电检测器152位于活动的内部镜架部分1711、171ι■上。在该示例中,显示调整机构包括具有附连到一物体的传动轴205的一个或多个马达203,该传动轴205用于在三个维度中的至少一个维度上推拉该物体。在该示例中,该物体是在镜架115内在由马达 203驱动的传动轴205的引导和力量下从左向右滑动或反向滑动的内部镜架部分117。在其他实施例中,一个马达203可以驱动两个内部镜架。如参考图9A和9B所讨论的,显示设备 150的控制电路136的处理器能够经由镜架115内的电连接来连接到一个或多个马达203, 以由马达203控制传动轴205在不同方向上的调整。此外,马达203也经由镜架115的电连接来接入电源。[0096] 图SB示出被实现为具有包括注视检测元件的活动显示光学系统的眼镜的透视、 近眼、混合现实显示器的另一个示例性安排。在该实施例中,每一显示光学系统14被封闭在独立的镜架部分1151和115r中,例如独立的眼镜架部分,它可由马达203单独地移动。 在一些实施例中,在任何维度上的移动范围小于10毫米。在一些实施例中,取决于针对产品提供的镜架大小的范围,移动范围小于6毫米。对于水平方向,将每一镜架向左或右移动几毫米将不会显著影响眼镜腿(例如102)之间的宽度,其中眼镜腿将显示光学系统14附连到用户的头部。[0097] 图SC示出被实现为具有包括注视检测元件的活动显示光学系统的眼镜的透视头戴式显示器的另一个示例性安排。在该示例中,传感器134r、1341本身在其相应显示光学系统14r、141的中心处与光轴成一直线或对准,但在镜架115上位于系统14下方。另外,在一些实施例中,相机134可以是深度相机或包括深度相机。在该示例中,有两组照明器153 和光电检测器152。[0098] 瞳孔间距可以描述用户的瞳孔之间在水平方向上的距离,但也可以确定垂直差异。另外,在眼睛和显示设备150之间在深度方向上移动显示光学系统也可帮助将光轴与用户的瞳孔对准。用户的眼球在头骨中实际上可能具有不同的深度。显示设备在深度方向上相对于头部移动也可引入显示光学系统14的光轴与其相应瞳孔之间的不对准。[0099] 在该示例中,马达形成用于在三个维度上移动每一显示光学系统14的XYZ机构的示例。在该示例中,马达203位于外部镜架115上,并且它们的传动轴205被附连到相应内部镜架部分117的顶部和底部。马达203的操作由控制电路136处理器210来针对它们的传动轴移动进行同步。另外,因为这是混合现实设备,用于生成虚拟物体的图像或虚拟图像以供在相应显示光学系统14中显示的每个微显示器部件173由马达和传动轴来移动,以维持与显示光学系统的光学对准。微显示器部件173的示例在下文进一步描述。在该示例中, 马达203是三轴马达或可以在三个维度上移动它们的传动轴。例如,可以在一个方向轴上沿十字准线导杆的中心对传动轴进行推拉,并且该传动轴在该十字准线导杆的垂直开口内在同一平面中的两个垂直方向中的每一个方向上移动。[0100] 图9A 是透视混合现实显示设备的实施例中的镜架115的提供对硬件和软件组件的支持的眼镜腿102的侧视图。在镜架115的前方是可捕捉视频和静止图像的面向物理环境的视频相机113。具体而言,在其中显示设备150没有结合像中枢系统12的捕捉设备21a 和21b等深度相机操作的实施例中,面向物理环境的相机113是深度相机以及对可见光敏 感的相机。例如,该深度相机可包括IR照明器发射器和像处于可见图像传感器前方的热镜 等热反射表面,该热反射表面使得可见光透过并将处于照明器所发射的波长范围内的所反 射的IR辐射定向到CCD或其他类型的深度传感器。来自传感器的数据可被发送到控制电 路136的处理器210,或处理单元6、5,或者这两者,它们可以处理该数据但单元6、5也可发 送到网络上的计算机系统或中枢计算系统12以供处理。该处理通过图像分割和边缘检测 技术来标识对象,并将深度映射到用户的真实世界视野中的物体。另外,面向物理环境的相 机113还可包括用于测量环境光的曝光计。[0101] 控制电路136提供支持头戴式显示设备150的其他组件的各种电子装置。控制电 路136的更多细节在下文参照图7提供。处于镜腿102内部或安装在镜腿102处的有耳机 130、惯性传感器132、GPS收发机、以及温度传感器138。在一个实施例中,惯性传感器132 包括三轴磁力计132A、三轴陀螺仪132B、以及三轴加速度计132C (参见图7)。惯性传感器 用于感测头戴式显示设备150的位置、定向、以及突然加速。从这些移动中,也可以确定头 部位置。[0102] 显示设备150提供可生成一个或多个虚拟物体的图像的一种类型的显示元件。在 一些实施例中,微显示器可被用作显示元件。在该示例中,微显示器部件173包括光处理元 件和可变焦点调整器135。光处理元件的示例是微显示器单元120。其他示例包括诸如透 镜系统122的一个或多个透镜之类的一个或多个光学元件、以及诸如图1OA到IOD中的面 124、124a和124b之类的一个或多个反射元件。透镜系统122可包括单个透镜或多个透镜。[0103] 微显示器单元120安装在镜腿102上或处于镜腿102内部,它包括图像源并生成 虚拟对象的图像。微显示器单元120在光学上与透镜系统122和反射面124或以下附图中 示出的反射面124a和124b对准。光学对准可以沿着光轴133或包括一个或多个光轴的光 路133。微显示器单元120透过透镜系统122来对虚拟物体的图像进行投影,这可将图像光 定向到反射元件124上,反射元件124将该光定向到图6C和6D中的光导光学元件112中 或定向到部分反射元件124b或反射面124a (例如,镜面或其他表面)上,反射面124a将虚 拟图像的光定向到部分反射元件124b,部分反射元件124b将沿着路径133的虚拟图像视图 与沿着图6A-6D中的光轴142的自然或实际直接视图进行组合。各视图的组合被定向到用 户的眼睛。[0104] 可变焦调整器135改变微显示器部件的光路中的一个或多个光处理元件之间的 位移或微显示器部件中的元件的光功率(optical power)。透镜的光功率被定义成其焦距 的倒数,例如I/焦距,因而一个中的改变影响另一个。该改变造成视野的区域的改变,例如 特定距离处的区域,该区域对于由微显示器部件173生成的图像而言是焦点对准的。[0105] 在微显示器部件173作出位移改变的一个示例中,在电枢137内对位移改变进行 引导,电枢137支承诸如该示例中的透镜系统122和微显示器120之类的至少一个光处理 元件。电枢137帮助在各元件的物理移动期间稳定沿光路133的对准,以达到所选位移或光 功率。在一些不例中,调整器135可以移动一个或多个光学兀件,如电枢137内的透镜系统 122中的透镜。在其他示例中,电枢可在光处理元件周围的区域中具有槽或空间,使得它在 不移动光处理元件的情况下在该元件(例如微显示器120)上滑动。电枢中的另一元件(如透镜系统122)被附连,使得系统122或其内的透镜与移动的电枢137 —起滑动或移动。位移范围通常是几毫米(mm)的量级。在一个示例中,这一范围是1-2_。在其他示例中,电枢 137可以向透镜系统122提供对涉及除位移之外的其他物理参数的调整的焦点调整技术的支持。[0106] 在一个示例中,调整器135可以是诸如压电马达之类的执行器。也可使用用于执行器的其他技术,并且这样的技术的一些示例是由线圈和永久磁铁、磁致伸缩元件、以及电致伸缩元件形成的音圈。[0107] 存在着可用于实现微显示器120的不同的图像生成技术。例如,微显示器120可以使用透射投影技术来实现,其中光源由光学活性材料来调制,用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的LCD类型的显示器来实现的。微显示器120 还可使用反射技术来实现,其中外部光被光学活性材料反射并调制。取决于该技术,照明是由白光源或RGB源来向前点亮的。数字光处理(DLP)、硅上液晶(LC0S)、以及来自Qualcomm 有限公司的Mkasoi®显示技术都是高效的反射技术的示例,因为大多数能量从已调制结构反射并且可用于本文描述的系统中。附加地,微显示器120可以使用发射技术来实现,其中光由该显示器生成。例如,来自Microvision有限公司的PicoPTM引擎使用微型镜面舵来将激光信号发射到担当透射元件的小型屏幕上或直接将光束(例如,激光)发射到眼睛。[0108] 如上所述,微显示器部件173的光处理元件的配置创建焦距或虚拟对象出现在图像中的聚焦区。改变该配置会改变虚拟物体图像的聚焦区。由光处理元件确定的聚焦区可以基于等式l/Sl+l/S2=l/f来确定和改变。[0109] 符号f表示透镜的焦距,如微显示器部件173中的透镜系统122。透镜系统122具有前节点和后节点。如果光线以相对于光轴的给定角度被向前引导到两个节点任一,则光线将以相对于光轴的相等角度从另一节点出射。在一个示例中,透镜系统122的后节点将处于它自己与微显示器120之间。从后节点到微显示器120的距离可被表示成S2。前节点通常处于透镜系统122的几毫米内。目标位置是要由微显示器120在三维物理空间中生成的虚拟对象图像的位置。从前节点到虚拟图像的目标位置的距离可被表示成SI。因为图像是与微显示器120出现在透镜的相同侧的虚拟图像,所以符号规约示出SI具有负值。[0110] 如果透镜的焦距是固定的,则改变SI和S2来将虚拟对象聚焦在不同的深度处。例如,初始位置可使SI设置成无限远处,并且使S2等于透镜系统122的焦距。假定透镜系统 122具有IOmm的焦距,考虑虚拟对象要被置于用户视野中大约I英尺(S卩,300mm)的示例。 SI现在大约是-300mm,f是IOmm并且S2当前被设置在焦距的初始位置10mm,从而意味着透镜系统122的后节点与微显示器122相距10mm。基于I/(-300)+1/S2=1/10 (所有项的单位均为毫米)来确定透镜122与微显示器120之间的新距离或新位移。其结果是S2大约为 9. 67mm。[0111] 在一个示例中,处理单元4可以在让焦距f固定的情况下计算SI和S2的位移值, 并且致使控制电路136使可变调整器驱动器237 (参见图6)发 送驱动信号以让可变虚焦点调整器135例如沿着光路133移动透镜系统122。在其他实施例中,作为移动透镜系统122 的替换或补充,可以移动微显示器单元120。在其他实施例中,作为沿光路133的位移改变的替换或补充,也可以改变透镜系统122中的至少一个透镜的焦距。[0112] 图9B是混合现实显示设备的另一实施例中的提供对硬件和软件组件的支持和微显示器部件的三维调整的眼镜腿的侧视图。以上在图5A中示出的附图标记中的一些被移除以避免附图中的混乱。在显示光学系统14在三个维度中的任一个维度上移动的实施例中,由反射面124表示的光学元件和微显示器部件173的其他元件(例如,120、122)也可以移动以维持虚拟图像的光到该显示光学系统的光路133。在该示例中,由马达框203和传动轴205所表示的在控制电路136的处理器210的控制之下的一个或多个马达构成的XYZ 机构控制微显示器部件173的各元件的移动。可以使用的马达的示例是压电马达。在所示示例中,一个马达被附连到电枢137并且也移动可变焦点调整器135,并且另一代表性马达 203控制反射元件124的移动。[0113] 图1OA是透视、近眼、混合现实设备2的包括注视检测元件的安排的活动显示光学系统14的实施例的俯视图。透视头戴式显示器150的镜架115的一部分将包围显示光学系统14并且为微显示器部件173的实施例的各元件提供支持,如图所示包括微显示器120 以及其附随元件。为了示出显示系统14 (在该情况下是右眼系统14r)的各个组件,在显示光学系统周围的镜架115的顶部部分未被描绘。另外,鼻梁104中的话筒110在该视图中未示出,以便将注意力集中于显示调整机构203的操作。如在图6C的示例中,在该实施例中,通过移动内部镜架117r来移动显示光学系统14,内部镜架117r在该示例中也包围微显示器部件173。在该实施例中,显示调整机构被实现为三轴马达203,这些马达将它们的传动轴205附连到内部镜架117r以在三个维度中的任一个维度上将显示光学系统14进行平移(如指示移动的三(3)个轴的符号144所示),在该实施例中显示光学系统14包括微显示器部件173。[0114] 在该实施例中,显示光学系统14具有光轴142并包括允许用户对真实世界的实际直接查看的透视透镜118。在该示例中,透视透镜118是眼镜中使用的标准透镜,并且可根据任何处方(包括不根据处方)来制作。在另一实施例中,用可变处方透镜来替换透视透镜 118。在一些实施例中,透视头戴式显示器150将包括附加透镜。[0115] 显不光学系统14还包括代表性的部分反射面124b。在该实施例中,来自微显不器 120的光沿光路133经由被嵌入在透镜118中的部分反射元件124b被定向,部分反射元件 124b将沿光路133行进的虚拟图像视图与沿光轴142的自然或实际直接视图进行组合,使得经组合的视图在光轴的具有用于最清晰视图的最多准直光的位置处被定向到用户的眼睛。[0116] 光传感器的检测区域1391■也是显示光学系统14r的一部分。光学元件125通过捕捉来自用户的眼睛的沿光轴142接收到的反射光来实现检测区域139r,并将捕捉到的光定向到传感器134r,在该示例中传感器134r位于内部镜架117r内的透镜118中。在一个示例中,传感器134r是可见光相机或RGB/IR相机的组合,并且光学元件125包括对反射自用户的眼睛的可见光进行反射的光学元件,例如部分反射镜面。在其他实施例中,传感器134r 是诸如IR相机等IR敏感设备,并且元件125包括令可见光穿过它并将IR辐射反射到传感器134r的热反射表面。IR传感器的另一个示例是位置敏感设备(PSD)。[0117] 在图10A-10D中描绘的反射元件125、124、124a、以及124b是它们的功能的表示。 这些表面可以采取任何数量的形式,并且可以用一个或多个光学组件按用于将光定向到到其预期目的地(如相机传感器或用户的眼睛)的一个或多个安排来实现。如图所示,这一安排允许传感器的检测区域139使其中心与显示光学系统14的中心对准。图像传感器134r捕捉检测区域139,使得在该图像传感器处捕捉到的图像以光轴为中心,因为检测区域139 的中心是光轴。[0118] 在用户看向正前方并且在检测区域139或图像传感器134r实际上以显示器的光轴为中心时用户的瞳孔的中心是所捕捉的用户的眼睛的图像的中心的情况下,显示光学系统14r与瞳孔对准。在两个显光学系统14都与它们相应的瞳孔对准时,光学中心之间的距离与用户的瞳孔间距相匹配或对准。在图6A的示例中,瞳孔间距可以在三个维度上与显不光学系统14对准。[0119] 在一个实施例中,如果传感器134捕捉到的数据指示瞳孔未与光轴对准,则处理单元20或控制电路136或这两者中的一个或多个处理器使用将距离或长度测量单元与图像的像素或其他分立单元或图像区域进行相关的映射准则来确定瞳孔的图像距光轴142 有多远。基于所确定的距离,一个或多个处理器确定要将显示光学系统14r调整多少距离以及在哪一方向上移动来使光轴142与瞳孔对准。控制信号由一个或多个显不调整机构驱动器245应用到组成一个或多个显示调整机构203的各组件之一,例如马达203。在该示例中在马达的情况下,马达移动它们的传动轴205来在由控制信号指示的至少一个方向上移动内部镜架117r。镜架115的可变形部分处于内部镜架117r的镜腿一侧,它们的一端附连到内部镜架117r并且当显不光学系统14在三个方向中的任一方向上移动以相对于相应瞳孔来改变宽度、高度或深度时它们在镜腿架115内部的槽217a和217b内滑动以将内部镜架117锚定到镜架115。[0120] 除传感器之外,显示光学系统14包括其他注视检测元件。在这一实施例中,至少两个(2)(但可以更多)红外(IR)照明设备153在透镜118的侧面附连到镜架117r,它们将处于特定波长范围内的窄红外光束定向到用户的眼睛以各自在用户角膜的表面上生成相应闪光。在其他实施例中,照明器和任何光电二极管可以处于透镜上,例如在角上或在边上。在这一实施例中,除至少2个红外(IR)照明设备153之外,还有IR光电检测器152。每一光电检测器152对它对应的IR照明器153的通过透镜118的特定波长范围内的IR辐射敏感,并且被定位来检测相应闪光。如在图6A-4C中所示,照明器和光电检测器由屏障154 分开,使得来自照明器153的入射IR光不干扰在光电检测器152处接收到的反射IR光。在其中传感器是IR传感器的情况下,可能不需要光电检测器152或可以是附加捕捉源。使用可见光相机,光电检测器152捕捉来自闪光的光,并且生成闪光强度值。[0121 ] 在一些实施例中,传感器134r可以是IR相机,该IR相机不仅可以捕捉闪光,还可以捕捉用户的眼睛(包括瞳孔)的红外或近红外图像。在其他实施例中,传感器设备1341■是位置敏感设备(PSD),有时被称为光学位置传感器。检测到的光在传感器的表面上的位置被标识。可以选择对闪光的IR照明器的波长范围敏感的PSD。当在该设备的传感器或光敏部件上检测到处于位置敏感设备的波长范围内的光时,生成标识检测器的表面上的位置的电子信号。在一些实施例中,PSD的表面被分成可从中确定光的位置的各分立传感器(像像素一样)。在其他示例中,可以使用PSD各向同性传感器,其中表面上的局部阻抗的变化可被用来标识光点在PSD上的位置。也可使用PSD的其他实施例。通过以预定顺序来操作照明器153,可以标识在PSD上的闪光反射位置并且因此将该闪光反射位置与角膜表面上的位置进行相关。[0122] 在图10A-10 D中,例如检测区域139和照明器153和光电检测器152等注视检测元件的位置相对于显示光学系统14的光轴是固定的。这些元件与显示光学系统14在内部 镜架上一起移动,并且因此与显不光学系统14的光轴一起移动,但它们与光轴142的空间 关系不变。[0123] 图1OB是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学 系统的另一实施例的俯视图。在这一实施例中,光传感器134r可被实现成可见光相机(有 时称为RGB相机),或它可被实现成IR相机或能够处理可见光和IR范围内的光的相机,如 深度相机。在这一示例中,图像传感器134r是检测区域139r。相机的图像传感器134r垂 直地位于显不光学系统的光轴142上。在一些不例中,相机可以在镜架115上位于透视透 镜118上方或下方,或嵌入在透镜118中。在一些实施例中,照明器153向相机提供光,而 在其他实施例中,相机使用环境光来捕捉图像。捕捉到的图像数据可被用来确定瞳孔与光 轴的对准。基于注视检测元件的几何形状,可以使用基于图像数据、闪光数据或这两者的注 视确定技术。[0124] 在这一示例中,鼻梁104中的马达203相对于用户的眼睛在水平方向上移动显示 光学系统14r,如方向符号144所示。在系统14被移动时,可变形的镜架部件215a和215b 在槽217a和217b内滑动。在这一示例中,微显示器部件173实施例的反射元件124a是 固定的。因为IB)通常只确定一次并被存储,所以可能做出的对微显示器120与反射元件 124a之间的焦距的任何调整可由微显示器部件来实现,例如经由在电枢137内对微显示器 元件的调整。[0125] 图1OC是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学 系统的第三实施例的俯视图。显示光学系统14具有注视检测元件的类似安排,包括IR照 明器153和光电检测器152、以及位于镜架115上或位于透镜118上处于光轴142上方或下 方的光传感器134r。在该示例中,显示光学系统14包括作为用于将虚拟图像定向到用户的 眼睛的反射元件并且被置于附加的透视透镜116和透视透镜118之间的光导光学元件112。 反射元件124处于光导光学元件内并且与元件112 —起移动,在该示例中在镜腿102上,微 显示器部件173的实施例被附连到显示光学系统14的显示调整机构203,该显示调整机构 203被实现为一组具有传动轴205的三轴马达203,包括用于移动微显示器部件的至少一个 马达。鼻梁104上的一个或多个马达203表示提供三轴移动144的显示调整机构203的其 他组件。在另一实施例中,马达可用于只经由它们的附连传动轴205来在水平方向上移动 该设备。微显示器部件173的马达203还将垂直地移动它以维持从微显示器120出射的光 与反射元件124之间的对准。控制电路的处理器210 (参见图7)对它们的移动进行协调。[0126] 光导光学元件112将来自微显示器120的光传送到佩戴头戴式显示设备150的用 户的眼睛。光导光学元件112还允许来自头戴式显示设备150的前方的光透过光导光学元 件112传送到用户的眼睛,从而除接收来自微显示器120的虚拟图像之外还允许用户具有 头戴式显示设备150的前方的空间的实际直接视图。因此,光导光学元件112的壁是透视 的。光导光学兀件112包括第一反射面124 (例如,镜面或其他表面)。来自微显不器120 的光穿过透镜122并入射在反射面124上。反射面124反射来自微显示器120的入射光, 使得光通过内反射而被捕获在包括光导光学元件112的平面衬底内。[0127] 在衬底的表面上进行若干反射之后,所捕获的光波到达选择性反射面126的阵 列。注意,五个表面中只有一个表面被标记为126以防止附图太过拥挤。反射面126将从衬底出射并入射在这些反射面上的光波耦合到用户的眼睛。由于不同光线将以不同角度传播并弹离衬底的内部,因此这些不同的光线将以不同角度击中各个反射面126。因此,不同光线将被所述反射面中的不同反射面从衬底中反射出。关于哪些光线将被哪个表面126从衬底反射出的选择是通过选择表面126的合适角度来设计的。光导光学元件的更多细节可以在于2008年11月20日公布的美国专利申请公开号2008/0285140、序列号 12/214,366 “Substrate-Guided Optical Devices (衬底导向的光学设备)”中找到,其整体通过引用结合于此。在一个实施例中,每只眼睛将具有其自己的光导光学元件112。当头戴式显示设备具有两个光导光学元件时,每只眼睛都可以具有其自己的微显示器120,该微显示器120可以在两只眼睛中显示相同图像或者在两只眼睛中显示不同图像。在另一实施例中,可以存在将光反射到两只眼睛的一个光导光学元件。[0128] 图1OD是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学系统的第四实施例的俯视图。该实施例类似于图6C的实施例,包括光导光学元件112。然而,光检测器仅有IR光电检测器152,因此这一实施例仅依赖于闪光检测来用作注视检测, 如在以下示例中讨论的。[0129] 在以上实施例中,所示出的具体数量的透镜只是示例。可以使用其他数目和配置的根据相同原理操作的透镜。另外,在以上示例中,只示出了透视、近眼显示器2的右侦彳。作为示例,全近眼、混合现实显示设备将包括另一组透镜116和/或118、用于图6C和6D的实施例的另一光导光学兀件112、另一微显不器120、另一透镜系统122、可能包括另一面向房间的相机113、用于图6A到6D的实施例的另一眼睛跟踪相机134、耳机130、以及温度传感器 138。[0130] 图11是可与一个或多个实施例一同使用的透视、近眼显示单元2的硬件和软件组件的一个实施例的框图。图12是描述处理单元20的各组件的框图。在这一实施例中,透视头戴式显示器150接收来自处理单元20的关于虚拟图像的指令并向处理单元20提供传感器信息。可被实现在处理单元20中的软件和硬件组件将从显示设备150接收传感器信息并且还可从中枢计算设备12接收传感器信息。基于这一信息,处理单元20将确定在何处以及在何时向用户提供虚拟图像并相应地将指令发送给显示设备150的控制电路136。[0131] 注意,图11的各组件中的一些(例如,面向物理环境的相机113、眼睛相机134、 可变虚拟焦距调整器135、光电检测器接口 139、微显示器120、照明设备153或照明器、耳机130、温度传感器138、显示调整机构203)以阴影示出,以指示这些设备中的每一个有两个——头戴式显示设备150的左侧一个以及右侧一个。图6示出与电源管理电路202通信的控制电路200。控制电路200包括处理器210、与存储器214 (例如D-RAM)进行通信的存储器控制器212、相机接口 216、相机缓冲区218、显示驱动器220、显示格式化器222、定时生成器226、显示输出接口 228、以及显示输入接口 230。在一个实施例中,控制电路220的所有组件经由一个或多个总线的专用线路彼此进行通信。在另一实施例中,控制电路200的每个组件都与处理器210通信。[0132] 相机接口 216提供到两个面向物理环境的相机113和每一眼睛相机134的接口, 并且将从相机113、134接收到的相应图像存储在相机缓冲区218中。显示驱动器220将驱动微显示器120。显示格式化器222可以向执行该扩充的真实系统的处理的一个或多个计算机系统(例如20、12、210)的一个或多个处理器提供与被显示在微显示器120上的虚拟图像有关的信息。定时生成器226被用于向该系统提供定时数据。显示输出228是用于将来 自面向物理环境的相机113和眼睛相机134的图像提供给处理单元4的缓冲区。显示输入 230是用于接收诸如要在微显示器120上显示的虚拟图像之类的图像的缓冲区。显示输出 228和显示输入230与作为到处理单元4的接口的带接口 232进行通信。[0133] 电源管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、可变调整器驱 动器237、光电检测器接口 239、音频DAC以及放大器238、话筒预放大器和音频ADC 240、温 度传感器接口 242、显示调整机构驱动器245、以及时钟生成器244。电压调节器234通过带 接口 232从处理单元4接收电能,并将该电能提供给头戴式显示设备150的其他组件。照明 驱动器236如上面所述的那样为照明设备153提供IR光源。音频DAC和放大器238从耳 机130接收音频信息。话筒预放大器和音频ADC 240提供话筒110的接口。温度传感器接 口 242是用于温度传感器138的接口。一个或多个显示调整驱动器245向组成每个显示调 整机构203的一个或多个马达或其他设备提供控制信号,这些控制信号指示三个方向中的 至少一个方向上的移动调整量。电源管理单元202还向三轴磁力计132A、三轴陀螺仪132B 以及三轴加速度计132C提供电能并从其接收回数据。[0134] 可变调整器驱动器237向调整器135提供例如驱动电流或驱动电压之类的控制信 号以移动微显示器部件173的一个或多个元件来达到针对由在处理单元4或中枢计算机12 或二者中执行的软件所计算出的聚焦区的位移。在扫过一定范围的位移并且因此扫过一定 范围的聚焦区域的实施例中,可变调整器驱动器237从定时生成器226、或者可替代地从时 钟生成器244接收定时信号,以便以所编程的速率或频率来操作。[0135] 光电检测器接口 239接收执行来自每一光电检测器的电压或电流读数所需的任 何模数转换,经由存储器控制器212以处理器可读的格式来将该读数存储在存储器中,并 且监视光电检测器152的操作参数,如温度和波长准确度。[0136] 图12是与透视、近眼显示单元相关联的处理单元4的硬件和软件组件的一个实施 例的框图。移动设备5可包括硬件和软件组件的这一实施例以及执行类似功能的类似组 件。图8示出与电源管理电路306通信的控制电路304。控制电路304包括:中央处理单 元(CPU)320 ;图形处理单元(GPU)322 ;高速缓存324 ;RAM 326 ;与存储器330 (例如D-RAM) 进行通信的存储器控制器328 ;与闪存334 (或其他类型的非易失性存储)进行通信的闪存 控制器332 ;通过带接口 302和带接口 232与透视头戴式显示设备150进行通信的显示输 出缓冲区336 ;经由带接口 302和带接口 232与透视头戴式显示设备150进行通信的显示 输入缓冲区338 ;与用于连接到话筒的外部话筒连接器342进行通信的话筒接口 340,用于 连接到无线通信设备346的PCI express接口 ;以及USB端口 348。[0137] 在一个实施例中,无线通信组件346可包括启用W1-Fi的通信设备、蓝牙通信设 备、红外通信设备等。USB端口可以用于将处理单元4对接到中枢计算设备12,以便将数 据或软件加载到处理单元20上以及对处理单元4进行充电。在一个实施例中,CPU 320和 GPU 322是用于确定在何处、何时以及如何向用户的视野内插入虚拟图像的主负荷设备。[0138] 电源管理电路306包括时钟生成器360,模数转换器362,电池充电器364,电压调 节器366,透视、近眼显示器电源376,以及与温度传感器374进行通信的温度传感器接口 372 (位于处理单元4的腕带上)。交流电到直流电转换器362被连接到充电插座370来接 收AC电源并为该系统产生DC电源。电压调节器366与用于向该系统提供电能的电池368进行通信。电池充电器364被用来在从充电插座370接收到电能后对电池368进行充电(经 由电压调节器366)。设备电源接口 376向显示设备150提供电能。[0139] 以上附图提供显示光学系统的各元件的几何结构的示例,它们提供在以下附图中 讨论的确定iro的不同方法的基础。这些方法实施例可引用以上系统的各元件和结构作为 说明性上下文;然而,这些方法实施例可以在与上述系统和结构不同的系统或结构实施例 中操作。[0140] 图16是可以在本发明技术的各实施例中操作的示例性移动设备的框图。描绘了 典型移动电话的示例性电子电路。电话900包括一个或多个微处理器912,以及存储由控制 处理器912的一个或多个处理器执行来实现此处所述的功能的处理器可读代码的存储器 1010 (例如,诸如ROM等非易失性存储器和诸如RAM等易失性存储器)。[0141] 移动设备900可包括例如处理器912、包括应用和非易失性存储的存储器1010。处 理器912可实现通信以及任何数量的应用,包括本文中所描述的交互应用。存储器1010可 以是任何种类的存储器存储介质类型,包括非易失性和易失性存储器。设备操作系统处理 移动设备900的不同操作,并可包含用于操作的用户界面,如拨打和接听电话呼叫、文本消 息收发、检查语音邮件等。应用1030可以是任何种类的程序,如用于照片和/或视频的相 机应用、地址簿、日历应用、媒体播放器、因特网浏览器、游戏、其他多媒体应用、闹钟应用、 其他第三方应用、本文中讨论的交互应用等。存储器1010中的非易失性存储组件1040包 含诸如web高速缓存、音乐、照片、联系人数据、日程安排数据、以及其他文件等数据。[0142] 处理器912还与RF发射/接收电路906进行通信,该电路906进而耦合到天线 902,它还与红外发射器/接收器908、与像W1-Fi或蓝牙等任何附加通信信道1060、以及与 像加速度计等移动/定向传感器914通信。加速度计被包括到移动设备中,以启用诸如让 用户通过姿势输入命令的智能用户界面之类的应用,在与GPS卫星断开联系之后计算设备 的移动和方向的室内GPS功能,并检测设备的定向,并且,当旋转电话时自动地将显示从纵 向变为横向。可以,例如,通过微机电系统(MEMS)来提供加速度计,该微机电系统是构建在 半导体芯片上的微小机械设备(微米尺寸)。可以感应加速方向、以及定向、振动和震动。处 理器912还与响铃器/振动器916、用户界面键区/屏幕、生物测定传感器系统918、扬声器 1020、话筒922、相机924、光传感器926以及温度传感器928进行通信。[0143] 处理器912控制无线信号的发射和接收。在发射模式期间,处理器912向RF发射 /接收电路906提供来自话筒922的语音信号或其他数据信号。发射/接收电路906将该 信号发射到远程站(例如固定站、运营商、其他蜂窝电话等)来通过天线902进行通信。响铃 器/振动器916被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其他通知等信 号。在接收模式期间,发射/接收电路906通过天线902接收来自远程站的语音或其他数 据信号。所接收到的语音信号被提供给扬声器1020,同时所接收到的其它数据信号也被适 当地处理。[0144] 另外,物理连接器988可被用来将移动设备900连接到外部电源,如AC适配器或 加电对接底座。物理连接器988还可被用作到计算设备的数据连接。该数据连接允许诸如 将移动数据与另一设备上的计算数据进行同步等操作。[0145] 为这种服务启用使用基于卫星的无线电导航来中继用户应用的位置的GPS接收 机 965。[0146] 附图中示出的示例计算机系统包括计算机可读存储介质的示例。计算机可读存储 介质也是处理器可读存储介质。这样的介质可包括以用于存储诸如计算机可读指令、数据 结构、程序模块、或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和 不可移动介质。计算机存储介质包括,但不限于,RAM、ROM、EEPR0M、高速缓存、闪存或其他 存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、记忆棒或卡、磁带盒、磁带、媒体 驱动器、硬盘、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问 的任何其他介质。[0147] 图13示出了诸如个人计算机等合适的计算系统环境700的示例。[0148] 参考图13,用于实现本技术的一个示例性系统包括计算机710形式的通用计算设 备。计算机710的组件可包括,但不限于,处理单元720、系统存储器730、以及将包括系统 存储器的各种系统组件耦合到处理单元720的系统总线721。系统总线721可以是若干类 型的总线结构中的任一种,包括使用各种总线体系结构中的任一种的存储器总线或存储器 控制器、外围总线、以及局部总线。作为示例而非限制,这样的体系结构包括工业标准体系 结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA (EISA)总线、视频电子标准协会 (VESA)局部总线,以及也称为夹层(Mezzanine)总线的外围部件互连(PCI)总线。[0149] 计算机710通常包括各种计算机可读介质。计算机可读介质可以是能被计算机 710访问的任何可用介质,而且包含易失性和非易失性介质、可移动和不可移动介质。作 为示例而非限制,计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包 括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或 技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括,但不限于, RAM、ROM、EEPR0M、闪存或其他存储器技术,CD-ROM、数字多功能盘(DVD)或其他光盘存储设 备,磁带盒、磁带、磁盘存储设备或其他磁存储设备,或者能用于存储所需信息且可以由计 算机710访问的任何其他介质。通信介质通常以诸如载波或其他传输机制等已调制数据信 号来体现计算机可读指令、数据结构、程序模块或其他数据,并包括任意信息传送介质。术 语“已调制数据信号”是指具有以在信号中编码信息的方式被设定或改变其一个或多个特 征的信号。作为示例而非限制,通信介质包括诸如有线网络或直接线连接之类的有线介质, 以及诸如声学、RF、红外及其他无线介质之类的无线介质。上述中任一组合也应包括在计算 机可读介质的范围之内。[0150] 系统存储器730包括易失性和/或非易失性存储器形式的计算机存储介质,如只 读存储器(ROM) 731和随机存取存储器(RAM) 732。包含诸如在启动期间帮助在计算机710 内的元件之间传输信息的基本例程的基本输入/输出系统733 (BIOS)通常储存储在ROM 731中。RAM 732通常包含处理单元720可立即访问和/或当前正在操作的数据和/或程 序模块。作为示例而非限制,图7示出了操作系统734、应用程序735、其它程序模块736和 程序数据737。[0151] 计算机710也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介 质。仅作为示例,图13示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动 器740,从可移动、非易失性磁盘752中读取或向其写入的磁盘驱动器751,以及从诸如⑶ ROM或其它光学介质等可移动、非易失性光盘756中读取或向其写入的光盘驱动器755。可 在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于,磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动 器741通常由例如接口 740等不可移动存储器接口连接至系统总线721,而磁盘驱动器751 和光盘驱动器755通常由例如接口 750等可移动存储器接口连接至系统总线721。[0152] 上文讨论并在图13中示出的驱动器及其相关联的计算机存储介质为计算机710 提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。例如,在图13中,硬盘 驱动器741被示为存储操作系统744、应用程序745、其它程序模块746和程序数据747。注 意,这些组件可与操作系统734、应用程序735、其他程序模块736和程序数据737相同,也 可与它们不同。在此操作系统744、应用程序745、其他程序模块746以及程序数据747被 给予了不同的编号,以说明至少它们是不同的副本。用户可以通过输入设备,例如键盘762 和定点设备761——通常是指鼠标、跟踪球或触摸垫——向计算机20输入命令和信息。其 他输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些以及 其他输入设备通常通过耦合到系统总线的用户输入接口 760连接到处理单元720,但也可 通过诸如并行端口、游戏端口或通用串行总线(USB)之类的其他接口和总线结构来连接。监 视器791或其他类型的显示设备也通过诸如视频接口 790之类的接口连接至系统总线721。 除监视器之外,计算机还可以包括可以通过输出外围接口 790连接的诸如扬声器797和打 印机796之类的其他外围输出设备。[0153] 计算机710可使用到一个或多个远程计算机(诸如,远程计算机780)的逻辑连接 而在联网环境中操作。远程计算机780可以是个人计算机、服务器、路由器、网络PC、对等设 备或其它常见网络节点,且通常包括上文相对于计算机710描述的许多或所有元件,但在 图7中只示出存储器存储设备781。图7中所示的逻辑连接包括局域网(LAN) 771和广域 网(WAN)773,但也可以包括其它网络。此类联网环境在办公室、企业范围的计算机网络、内 联网和因特网中是常见的。[0154] 当在LAN联网环境中使用时,计算机710通过网络接口或适配器770连接到LAN 771。当在WAN联网环境中使用时,计算机710通常包括调制解调器772或用于通过诸如因 特网等WAN 773建立通信的其他手段。调制解调器772可以是内置的或外置的,可经由用 户输入接口 760或其他适当的机制连接到系统总线721。在联网环境中,相对于计算机710 所示的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制,图13示 出了远程应用程序785驻留在存储器设备781上。应当理解,所示的网络连接是示例性的, 并且可使用在计算机之间建立通信链路的其他手段。[0155] 计算系统环境700只是合适计算环境的一个示例,而非意在暗示对本技术的使用 范围或功能有任何限制。也不应该将计算环境700解释为对示例性操作环境700中示出的 任一组件或其组合有任何依赖性或要求。[0156] 本技术可用各种其它通用或专用计算系统环境或配置来操作。适合在该技术中使 用的公知的计算系统、环境和/或配置的示例包括,但不限于,个人计算机、服务器计算机、 手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费者电子产品、 网络PC、小型机、大型机、包含上述系统或设备中的任一个的分布式计算机环境等。[0157] 本技术可在诸如程序模块等由计算机执行的计算机可执行指令的通用上下文中 描述。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、 组件、数据结构等。本技术也可以在任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。在分布式计算环境中,程序模块可以位于包括存储器存储设备在内的本地和远程计算机存储介质中。[0158]尽管用结构特征和/或方法动作专用的语言描述了本主题,但可以理解,所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言,上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (11)

1. 一种用于控制透视头戴式显示设备的方法,包括: 用透视、近眼、混合现实显示器来创建用户至少一只眼睛的图像(204),所述显示器包括用于每只眼睛的显示光学系统,所述显示光学系统包括生成所述眼睛的图像数据以提供虹膜图像的至少一个传感器; 确定所述至少一只眼睛的虹膜的图像中的图案(206); 基于所述图案将包含用户偏好的用户简档(208)信息与所述用户相关联,以标识所述用户;以及 基于所述用户简档中的所述用户偏好来操作所述透视、近眼、混合现实显示器(216),以在所述显示光学系统中向所述用户提供增强现实图像。
2.如权利要求1所述的方法,其特征在于,确定图案包括在所述虹膜图像中检测瞳孔,在所述虹膜图像中检测虹膜周围的虹膜环,并从所述虹膜图像中移除噪声,以及使用至少一个用户虹膜来生成图案。
3.如权利要求1所述的方法,其特征在于,所述用户简档包含iro调整数据,并且其中所述操作步骤包括操纵所述显示光学系统以将每只用户眼睛的光轴与所述显示光学系统中的显示设备对准。
4.如权利要求3所述的方法,其特征在于,所述iro调整数据包括在三个维度上定位所述显示光学系统的数据。
5.如权利要求1所述的方法,其特征在于,还包括以下步骤: 确定是否存在用户的用户简档,并且如果用户简档不存在,则生成用户简档,以及其中生成用户简档的步骤包括以下步骤: 确定在所捕捉数据中标识的瞳孔位置与相应光轴位置之间在水平方向和垂直方向上的瞳孔位置差; 基于所述瞳孔位置差来自动地确定至少一个显示调整机构的至少一个调整值;以及 将所述调整值存储到所述用户简档中。
6. 一种包括透视、近眼、混合现实显示器的系统,包括: 包括用于每只眼睛的显示光学系统的透视、近眼、混合现实显示系统(150),每个显示光学系统具有光轴并被定位成由相应的眼睛来透视,并包括用于支撑每个显示光学系统的一个或多个光学元件的相应的活动支撑结构(115); 所述显示光学系统包括至少一个传感器(134),所述至少一个传感器在所述显示光学系统在一定距离和方向处显示图像时生成从相应的眼睛所捕捉的反射光的眼睛数据,以便测量Iro ; 包括代码的处理器(4),所述代码指示所述处理器基于对所述用户至少一只眼睛的图像数据的评估来确定用户身份,对基于用户虹膜的虹膜识别图案与同用户简档(280)相关联的用户虹膜识别图案数据库(37)进行比较,并确定所述用户身份与已存储的用户简档之间是否存在匹配;以及 至少一个显示调整机构(203、205),所述至少一个显示调整机构被连接到所述相应的活动支撑结构以根据一个或多个位置调整值来移动至少一个活动支撑结构。
7.如权利要求6所述的系统,其特征在于,所述系统还包括指示所述处理器执行以下操作的代码:从所述用户简档检索用于所述活动支撑结构的所述至少一个或多个位置调整值;以及 依照定义所述用户的瞳孔间距的预定特性,根据所述显示光学系统的所述一个或多个元件来移动所述至少一个活动支撑结构。
8.如权利要求7所述的系统,其特征在于,所述至少一个或多个位置调整值包括在三个维度上定位所述显示光学系统的数据。
9.如权利要求7所述的系统,其特征在于,所述系统还包括指示所述处理器执行以下操作的代码:确定是否存在用户的用户简档,并且如果不存在用户简档,则生成用户简档。
10.如权利要求7所述的系统,其特征在于,所述系统还包括指示所述处理器执行以下操作的代码:确定在所捕捉数据中标识的瞳孔位置与相应眼睛光轴位置之间在水平方向和垂直方向上的瞳孔位置差; 基于所述瞳孔位置差来自动地确定至少一个显示调整机构的至少一个调整值;以及将所述调整值存储到所述用户简档中。
11.如权利要求7所述的系统,其特征在于,所述用户简档包括以下各项中的一个或多个:增强现实服务用户偏好;用户iro调整数据;增强现实信息过滤器。
CN2012103135529A 2011-08-30 2012-08-29 具有虹膜扫描剖析的头戴式显示器 Pending CN103033936A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US201113221669A true 2011-08-30 2011-08-30
US13/221,669 2011-08-30

Publications (1)

Publication Number Publication Date
CN103033936A true CN103033936A (zh) 2013-04-10

Family

ID=47757153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012103135529A Pending CN103033936A (zh) 2011-08-30 2012-08-29 具有虹膜扫描剖析的头戴式显示器

Country Status (6)

Country Link
US (1) US9202443B2 (zh)
EP (1) EP2751609B1 (zh)
JP (1) JP6144681B2 (zh)
KR (1) KR20140059213A (zh)
CN (1) CN103033936A (zh)
WO (1) WO2013033195A2 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440036A (zh) * 2013-08-23 2013-12-11 Tcl集团股份有限公司 三维图像的显示和交互操作方法及装置
CN103785169A (zh) * 2013-12-18 2014-05-14 微软公司 混合现实的竞技场
CN104809371A (zh) * 2014-01-24 2015-07-29 北京奇虎科技有限公司 判断头戴式智能设备的鉴权信息有效性的装置和方法
CN104808778A (zh) * 2014-01-24 2015-07-29 北京奇虎科技有限公司 判断头戴式智能设备操作有效性的装置和方法
CN104808775A (zh) * 2014-01-24 2015-07-29 北京奇虎科技有限公司 判断头戴式智能设备鉴权信息有效性的装置和方法
CN104809380A (zh) * 2014-01-24 2015-07-29 北京奇虎科技有限公司 头戴式智能设备及其使用者的身份一致性的判断方法
WO2015109887A1 (zh) * 2014-01-24 2015-07-30 北京奇虎科技有限公司 判断头戴式智能设备的操作及鉴权信息有效性的装置和方法
CN105531716A (zh) * 2013-07-30 2016-04-27 微软技术许可有限责任公司 显示设备中的近眼光学定位
CN105705210A (zh) * 2013-09-30 2016-06-22 索尼电脑娱乐公司 用于头戴式显示器用户的基于摄像机的安全机制
CN105930816A (zh) * 2016-05-05 2016-09-07 上海聚虹光电科技有限公司 基于虚拟现实设备的虹膜识别系统
CN105954875A (zh) * 2016-05-19 2016-09-21 华为技术有限公司 一种虚拟现实眼镜以及虚拟现实眼镜的调整方法
WO2016191953A1 (zh) * 2015-05-29 2016-12-08 深圳市柔宇科技有限公司 自适配显示调节的方法及头戴式显示设备
CN106249885A (zh) * 2016-07-26 2016-12-21 北京小米移动软件有限公司 一种虚拟现实设备的设备调整方法和装置、虚拟现实设备
CN106662746A (zh) * 2014-08-22 2017-05-10 国际智能技术公司 安全考试设备、系统和方法
CN106687065A (zh) * 2014-09-16 2017-05-17 索尼公司 显示控制设备、显示控制方法、显示控制系统和头戴式显示器
CN107087431A (zh) * 2014-05-09 2017-08-22 谷歌公司 用于辨别眼睛信号和连续生物识别的系统和方法
CN107132656A (zh) * 2017-04-28 2017-09-05 陈超平 一种头戴设备及其数据处理方法
CN107870424A (zh) * 2016-09-26 2018-04-03 纬创资通股份有限公司 可调整显示模块的可调式虚拟现实装置
CN108369653A (zh) * 2015-10-16 2018-08-03 奇跃公司 使用眼睛特征的眼睛姿态识别
US10136460B2 (en) 2014-07-29 2018-11-20 Samsung Electronics Co., Ltd Mobile device and method of pairing the same with electronic device
TWI691843B (zh) * 2014-07-29 2020-04-21 三星電子股份有限公司 電子裝置以及配對電子裝置的方法

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US9563265B2 (en) * 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
US9710483B1 (en) 2012-03-16 2017-07-18 Miller Nelson LLC Location-conscious social networking apparatuses, methods and systems
US8798332B2 (en) * 2012-05-15 2014-08-05 Google Inc. Contact lenses
US9600068B2 (en) * 2013-03-13 2017-03-21 Sony Interactive Entertainment Inc. Digital inter-pupillary distance adjustment
US20140362110A1 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US10277787B2 (en) 2013-09-03 2019-04-30 Tobii Ab Portable eye tracking device
US10686972B2 (en) 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
US10310597B2 (en) 2013-09-03 2019-06-04 Tobii Ab Portable eye tracking device
CN105765558A (zh) * 2013-09-03 2016-07-13 醒眸行有限公司 低功率眼睛跟踪系统和方法
KR102191151B1 (ko) 2013-12-30 2020-12-16 삼성디스플레이 주식회사 전자 기기 및 전자 기기의 구동 방법
IN2013CH06147A (zh) * 2013-12-30 2015-07-03 Samsung Electronics Co Ltd
WO2015139002A1 (en) 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
DE102014207251A1 (de) * 2014-04-15 2015-10-15 Siemens Aktiengesellschaft Datenbrille, Datenübertragungsnetzwerk und Verfahren zum drahtlosen Datenaustausch
US9323983B2 (en) * 2014-05-29 2016-04-26 Comcast Cable Communications, Llc Real-time image and audio replacement for visual acquisition devices
CN106663187B (zh) * 2014-07-09 2020-11-06 三星电子株式会社 用于识别生物测定信息的方法和设备
US9965030B2 (en) 2014-07-31 2018-05-08 Samsung Electronics Co., Ltd. Wearable glasses and method of displaying image via the wearable glasses
US10540907B2 (en) 2014-07-31 2020-01-21 Intelligent Technologies International, Inc. Biometric identification headpiece system for test taking
US10410535B2 (en) 2014-08-22 2019-09-10 Intelligent Technologies International, Inc. Secure testing device
JP6539981B2 (ja) * 2014-10-24 2019-07-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、表示システム、及び、プログラム
US10438106B2 (en) 2014-11-04 2019-10-08 Intellignet Technologies International, Inc. Smartcard
US20160131902A1 (en) * 2014-11-12 2016-05-12 Anthony J. Ambrus System for automatic eye tracking calibration of head mounted display device
US9886598B2 (en) * 2014-12-29 2018-02-06 Paypal, Inc. Automatic adjustment of a display to obscure data
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
CN107683446B (zh) * 2015-03-13 2020-11-03 苹果公司 用于自动识别眼睛追踪设备的至少一个用户的方法以及眼睛追踪设备
US10678897B2 (en) 2015-04-16 2020-06-09 Tobii Ab Identification, authentication, and/or guiding of a user using gaze information
KR20170138475A (ko) * 2015-04-16 2017-12-15 토비 에이비 시선 정보를 사용하는 사용자의 식별 및/또는 인증
US9690119B2 (en) 2015-05-15 2017-06-27 Vertical Optics, LLC Wearable vision redirecting devices
JP6701631B2 (ja) * 2015-06-22 2020-05-27 セイコーエプソン株式会社 表示装置、表示装置の制御方法、表示システム、及び、プログラム
US9824499B2 (en) * 2015-06-23 2017-11-21 Microsoft Technology Licensing, Llc Mixed-reality image capture
US10089526B2 (en) * 2015-08-21 2018-10-02 Magic Leap, Inc. Eyelid shape estimation
NZ740299A (en) 2015-08-21 2019-08-30 Magic Leap Inc Eyelid shape estimation using eye pose measurement
JP2017049867A (ja) * 2015-09-03 2017-03-09 日本電気株式会社 認証装置、防犯システム、認証方法およびプログラム
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
US10260864B2 (en) * 2015-11-04 2019-04-16 Magic Leap, Inc. Dynamic display calibration based on eye-tracking
US9965819B1 (en) 2015-11-25 2018-05-08 John DeVries Real-time school bus and student tracking
US10678958B2 (en) 2015-12-28 2020-06-09 Intelligent Technologies International, Inc. Intrusion-protected memory component
US20170185805A1 (en) * 2015-12-28 2017-06-29 Intelligent Technologies International, Inc. Intrusion-protected memory component
EP3405829A4 (en) 2016-01-19 2019-09-18 Magic Leap, Inc. COLLECTION, SELECTION AND COMBINATION OF EYE IMAGES
NZ746021A (en) * 2016-03-07 2020-02-28 Magic Leap Inc Blue light adjustment for biometric security
CN111329554B (zh) 2016-03-12 2021-01-05 P·K·朗 用于手术的装置与方法
CN105955476A (zh) * 2016-04-28 2016-09-21 乐视控股(北京)有限公司 用于电子设备的指令触发方法、装置及电子设备
KR102144040B1 (ko) * 2016-06-03 2020-08-13 페이스북 테크놀로지스, 엘엘씨 헤드 마운트 디스플레이의 얼굴 센서를 사용한 얼굴과 안구 추적 및 얼굴 애니메이션
US10430988B2 (en) 2016-06-03 2019-10-01 Facebook Technologies, Llc Facial animation using facial sensors within a head-mounted display
US9959678B2 (en) 2016-06-03 2018-05-01 Oculus Vr, Llc Face and eye tracking using facial sensors within a head-mounted display
US10692113B2 (en) * 2016-06-21 2020-06-23 Htc Corporation Method for providing customized information through advertising in simulation environment, and associated simulation system
EP3523782A4 (en) 2016-10-05 2020-06-24 Magic Leap, Inc. PERIOCULAR TEST FOR MIXED REALITY CALIBRATION
US10394033B2 (en) 2016-10-11 2019-08-27 Microsoft Technology Licensing, Llc Parallel beam flexure mechanism for interpupillary distance adjustment
US10698482B2 (en) * 2016-12-01 2020-06-30 Varjo Technologies Oy Gaze tracking using non-circular lights
EP3750004A1 (en) * 2017-01-05 2020-12-16 Philipp K. Lang Improved accuracy of displayed virtual data with optical head mount displays for mixed reality
US10154254B2 (en) * 2017-01-17 2018-12-11 Facebook Technologies, Llc Time-of-flight depth sensing for eye tracking
US10504397B2 (en) 2017-01-31 2019-12-10 Microsoft Technology Licensing, Llc Curved narrowband illuminant display for head mounted display
US10354140B2 (en) 2017-01-31 2019-07-16 Microsoft Technology Licensing, Llc Video noise reduction for video augmented reality system
US10298840B2 (en) 2017-01-31 2019-05-21 Microsoft Technology Licensing, Llc Foveated camera for video augmented reality and head mounted display
CN106873158A (zh) * 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN107122642A (zh) * 2017-03-15 2017-09-01 阿里巴巴集团控股有限公司 基于虚拟现实环境的身份认证方法及装置
CN108257112B (zh) * 2017-12-27 2020-08-18 北京七鑫易维信息技术有限公司 过滤光斑的方法和装置
US10523930B2 (en) 2017-12-29 2019-12-31 Microsoft Technology Licensing, Llc Mitigating binocular rivalry in near-eye displays
JP2021513160A (ja) 2018-02-06 2021-05-20 ウォルマート アポロ,エルエルシー カスタマイズされた拡張現実品目フィルタリングシステム
US20200008666A1 (en) * 2018-07-03 2020-01-09 Tarseer, Inc. Methods and systems for vision monitoring
US11009713B1 (en) * 2018-12-12 2021-05-18 Facebook Technologies, Llc Head-mounted display device with voice coil motors for moving displays
US10802281B2 (en) 2018-12-20 2020-10-13 General Electric Company Periodic lenses systems for augmented reality
WO2020189864A1 (ko) * 2019-03-19 2020-09-24 엘지전자 주식회사 전자 디바이스
US10698483B1 (en) * 2019-04-22 2020-06-30 Facebook Technologies, Llc Eye-tracking systems, head-mounted displays including the same, and related methods
US10991343B2 (en) * 2019-08-05 2021-04-27 Facebook Technologies, Llc Automatic image alignment with head mounted display optics
WO2021040083A1 (ko) * 2019-08-28 2021-03-04 엘지전자 주식회사 머리에 착용할 수 있는 전자 디바이스
US20210173206A1 (en) * 2019-12-09 2021-06-10 Magic Leap, Inc. Systems and methods for operating a head-mounted display system based on user identity

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US20020113755A1 (en) * 2001-02-19 2002-08-22 Samsung Electronics Co., Ltd. Wearable display apparatus
US20050046953A1 (en) * 2003-08-29 2005-03-03 C.R.F. Societa Consortile Per Azioni Virtual display device for a vehicle instrument panel
EP1637975A1 (en) * 2004-09-20 2006-03-22 Samsung Electronics Co., Ltd. Apparatus and method for inputting keys using biological signals in head mounted display information terminal
CN101067716A (zh) * 2007-05-29 2007-11-07 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔
CN101542584A (zh) * 2006-10-16 2009-09-23 索尼株式会社 显示设备、显示方法
US20090243967A1 (en) * 2006-09-13 2009-10-01 Nikon Corporation Head mount display
JP2010067083A (ja) * 2008-09-11 2010-03-25 Brother Ind Ltd ヘッドマウントディスプレイ

Family Cites Families (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4634384A (en) 1984-02-02 1987-01-06 General Electric Company Head and/or eye tracked optically blended display system
US5557364A (en) 1987-12-17 1996-09-17 Asahi Kogaku Kogyo Kabushiki Kaisha Eye direction detecting apparatus
US5016282A (en) 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
US5572361A (en) * 1991-10-17 1996-11-05 Minolta Camera Kabushiki Kaisha Binocular system with automatic diopter power adjustment
US5539422A (en) * 1993-04-12 1996-07-23 Virtual Vision, Inc. Head mounted display system
US5471542A (en) 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
AU686245B2 (en) 1993-10-07 1998-02-05 Virtual Vision, Inc. Binocular head mounted display system
US7310072B2 (en) * 1993-10-22 2007-12-18 Kopin Corporation Portable communication display device
US5815126A (en) * 1993-10-22 1998-09-29 Kopin Corporation Monocular portable communication and display system
JPH09163267A (ja) * 1995-12-06 1997-06-20 Sony Corp 光学視覚装置
US5771124A (en) 1996-07-02 1998-06-23 Siliscape Compact display system with two stage magnification and immersed beam splitter
GB2315858A (en) 1996-08-01 1998-02-11 Sharp Kk System for eye detection and gaze direction determination
US5689619A (en) 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
JPH1070742A (ja) 1996-08-29 1998-03-10 Olympus Optical Co Ltd 二眼式映像表示装置
JP3962115B2 (ja) * 1996-11-08 2007-08-22 オリンパス株式会社 映像観察装置
US6069608A (en) 1996-12-03 2000-05-30 Sony Corporation Display device having perception image for improving depth perception of a virtual image
US6603491B2 (en) 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6034653A (en) 1997-08-01 2000-03-07 Colorado Microdisplay, Inc. Head-set display device
US6154321A (en) * 1998-01-20 2000-11-28 University Of Washington Virtual retinal display with eye tracking
JP2000013818A (ja) 1998-06-23 2000-01-14 Nec Corp 立体表示装置及び立体表示方法
US6396461B1 (en) 1998-08-05 2002-05-28 Microvision, Inc. Personal display with vision tracking
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
WO2000062543A1 (en) 1999-04-08 2000-10-19 New York University Extremely high resolution foveated display
US6864910B1 (en) 1999-06-30 2005-03-08 Canon Kabushiki Kaisha Optical apparatus
US6619799B1 (en) 1999-07-02 2003-09-16 E-Vision, Llc Optical lens system with electro-active lens having alterably different focal lengths
US6480174B1 (en) * 1999-10-09 2002-11-12 Optimize Incorporated Eyeglass-mount display having personalized fit module
DE19953835C1 (de) 1999-10-30 2001-05-23 Hertz Inst Heinrich Rechnerunterstütztes Verfahren zur berührungslosen, videobasierten Blickrichtungsbestimmung eines Anwenderauges für die augengeführte Mensch-Computer-Interaktion und Vorrichtung zur Durchführung des Verfahrens
US6456262B1 (en) 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
US6578962B1 (en) 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
US6886137B2 (en) 2001-05-29 2005-04-26 International Business Machines Corporation Eye gaze control of dynamic information presentation
GB0119859D0 (en) 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
US20040238732A1 (en) 2001-10-19 2004-12-02 Andrei State Methods and systems for dynamic virtual convergence and head mountable display
US6659611B2 (en) 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
AU2003226187A1 (en) 2002-03-28 2003-10-13 Nokia Corporation Detecting misalignment and distortion in near-eye displays
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
JP3984907B2 (ja) 2002-11-29 2007-10-03 キヤノン株式会社 画像観察システム
WO2004061519A1 (ja) * 2002-12-24 2004-07-22 Nikon Corporation ヘッドマウントディスプレイ
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US20050047629A1 (en) 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
IL157837A (en) 2003-09-10 2012-12-31 Yaakov Amitai Substrate-guided optical device particularly for three-dimensional displays
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
CA2545202C (en) 2003-11-14 2014-01-14 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
WO2005052718A2 (en) 2003-11-26 2005-06-09 Rafael - Armament Development Authority Ltd. Helmet system for information or weapon systems
EP2148504B1 (en) 2003-12-03 2012-01-25 Nikon Corporation Information Display Device
US7532230B2 (en) 2004-01-29 2009-05-12 Hewlett-Packard Development Company, L.P. Method and system for communicating gaze in an immersive virtual environment
JP4364002B2 (ja) 2004-02-06 2009-11-11 オリンパス株式会社 頭部装着型カメラ及び頭部装着型カメラによる撮影方法
JP4604190B2 (ja) 2004-02-17 2010-12-22 国立大学法人静岡大学 距離イメージセンサを用いた視線検出装置
US8094927B2 (en) 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
WO2005098777A1 (en) * 2004-03-22 2005-10-20 Volvo Technology Corporation Method and system for perceptual suitability test of a driver
US7336806B2 (en) * 2004-03-22 2008-02-26 Microsoft Corporation Iris-based biometric identification
EP1779178A4 (en) 2004-08-03 2009-01-28 Silverbrook Res Pty Ltd VISIOCASQUE WITH MODULATOR OF WAVE FRONTS
JP2008509438A (ja) 2004-08-06 2008-03-27 ユニヴァーシティ オブ ワシントン 可変固定視距離で走査される光表示装置
JP4965800B2 (ja) * 2004-10-01 2012-07-04 キヤノン株式会社 画像表示システム
JP4560368B2 (ja) 2004-10-08 2010-10-13 キヤノン株式会社 眼検出装置および画像表示装置
US7396129B2 (en) 2004-11-22 2008-07-08 Carestream Health, Inc. Diagnostic system having gaze tracking
US7457434B2 (en) 2005-04-04 2008-11-25 Massachusetts Eye & Ear Infirmary Adaptively focusing extra-ocular vision prostheses
US7686451B2 (en) 2005-04-04 2010-03-30 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
US20060250322A1 (en) * 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
JP2007003745A (ja) * 2005-06-23 2007-01-11 Aruze Corp 画像表示装置及び画像表示システム
US20070052672A1 (en) * 2005-09-08 2007-03-08 Swisscom Mobile Ag Communication device, system and method
DE102005047594A1 (de) * 2005-10-05 2007-04-12 Carl Zeiss Jena Gmbh Vorrichtung zur automatischen Einstellung der Einblicksituation an Mikroskopen
US7522344B1 (en) 2005-12-14 2009-04-21 University Of Central Florida Research Foundation, Inc. Projection-based head-mounted display with eye-tracking capabilities
ES2605367T3 (es) 2006-01-26 2017-03-14 Nokia Technologies Oy Dispositivo de seguimiento ocular
FR2900475B1 (fr) 2006-04-26 2008-10-31 Essilor Int Afficheur comportant une paire de lunettes de type binoculaire et avec un dispositif de reglage de l'image
US20070273983A1 (en) * 2006-05-26 2007-11-29 Hebert Raymond T Devices, methods, and systems for image viewing
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
KR100809479B1 (ko) 2006-07-27 2008-03-03 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
JP4961914B2 (ja) * 2006-09-08 2012-06-27 ソニー株式会社 撮像表示装置、撮像表示方法
JP2008198028A (ja) * 2007-02-14 2008-08-28 Sony Corp ウェアラブル装置、認証方法、およびプログラム
CA2685976C (en) 2007-05-23 2013-02-19 The University Of British Columbia Methods and apparatus for estimating point-of-gaze in three dimensions
JP5222856B2 (ja) * 2007-11-20 2013-06-26 パナソニック株式会社 画像表示装置、その表示方法、プログラム、集積回路、眼鏡型ヘッドマウントディスプレイ、自動車、双眼鏡、及び卓上型ディスプレイ
US7618144B2 (en) 2008-01-07 2009-11-17 Optical Physics Company System and method for tracking eye movement
KR100917100B1 (ko) * 2008-01-14 2009-09-15 에스케이 텔레콤주식회사 입체 영상 디스플레이 장치 및 그 입체 영상 디스플레이장치에서의 표시부 위치 조절 방법
US20100110368A1 (en) * 2008-11-02 2010-05-06 David Chaum System and apparatus for eyeglass appliance platform
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
KR100947990B1 (ko) 2008-05-15 2010-03-18 성균관대학교산학협력단 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
US7736000B2 (en) 2008-08-27 2010-06-15 Locarna Systems, Inc. Method and apparatus for tracking eye movement
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
JP2010124191A (ja) * 2008-11-19 2010-06-03 Canon Inc 映像表示装置
US20100186072A1 (en) 2009-01-21 2010-07-22 Akshay Kumar Distributed secure telework
JP2011064894A (ja) * 2009-09-16 2011-03-31 Fujifilm Corp 立体画像表示装置
US8665177B2 (en) * 2010-02-05 2014-03-04 Kopin Corporation Touch sensor for controlling eyewear
US20110214082A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US8531355B2 (en) 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US8629815B2 (en) 2011-08-09 2014-01-14 Google Inc. Laser alignment of binocular head mounted display
US9285592B2 (en) 2011-08-18 2016-03-15 Google Inc. Wearable device with input and output structures
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US9213163B2 (en) 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
US9025252B2 (en) 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US20020113755A1 (en) * 2001-02-19 2002-08-22 Samsung Electronics Co., Ltd. Wearable display apparatus
US20050046953A1 (en) * 2003-08-29 2005-03-03 C.R.F. Societa Consortile Per Azioni Virtual display device for a vehicle instrument panel
EP1637975A1 (en) * 2004-09-20 2006-03-22 Samsung Electronics Co., Ltd. Apparatus and method for inputting keys using biological signals in head mounted display information terminal
US20090243967A1 (en) * 2006-09-13 2009-10-01 Nikon Corporation Head mount display
CN101542584A (zh) * 2006-10-16 2009-09-23 索尼株式会社 显示设备、显示方法
CN101067716A (zh) * 2007-05-29 2007-11-07 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔
JP2010067083A (ja) * 2008-09-11 2010-03-25 Brother Ind Ltd ヘッドマウントディスプレイ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JEONG JUN LEE: "Iris recognition in wearable computer", 《LECTURE NOTES IN COMPUTER SCIENCE》 *

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105531716A (zh) * 2013-07-30 2016-04-27 微软技术许可有限责任公司 显示设备中的近眼光学定位
US10345903B2 (en) 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
CN105531716B (zh) * 2013-07-30 2020-01-21 微软技术许可有限责任公司 显示设备中的近眼光学定位
CN103440036A (zh) * 2013-08-23 2013-12-11 Tcl集团股份有限公司 三维图像的显示和交互操作方法及装置
CN103440036B (zh) * 2013-08-23 2018-04-17 Tcl集团股份有限公司 三维图像的显示和交互操作方法及装置
CN105705210A (zh) * 2013-09-30 2016-06-22 索尼电脑娱乐公司 用于头戴式显示器用户的基于摄像机的安全机制
CN103785169A (zh) * 2013-12-18 2014-05-14 微软公司 混合现实的竞技场
CN104809371B (zh) * 2014-01-24 2018-12-11 北京奇虎科技有限公司 判断头戴式智能设备的鉴权信息有效性的装置和方法
WO2015109887A1 (zh) * 2014-01-24 2015-07-30 北京奇虎科技有限公司 判断头戴式智能设备的操作及鉴权信息有效性的装置和方法
CN104809380B (zh) * 2014-01-24 2018-10-30 北京奇虎科技有限公司 头戴式智能设备及其使用者的身份一致性的判断方法
CN104809380A (zh) * 2014-01-24 2015-07-29 北京奇虎科技有限公司 头戴式智能设备及其使用者的身份一致性的判断方法
CN104808775A (zh) * 2014-01-24 2015-07-29 北京奇虎科技有限公司 判断头戴式智能设备鉴权信息有效性的装置和方法
CN104808778A (zh) * 2014-01-24 2015-07-29 北京奇虎科技有限公司 判断头戴式智能设备操作有效性的装置和方法
CN104809371A (zh) * 2014-01-24 2015-07-29 北京奇虎科技有限公司 判断头戴式智能设备的鉴权信息有效性的装置和方法
CN104808778B (zh) * 2014-01-24 2019-03-01 北京奇虎科技有限公司 判断头戴式智能设备操作有效性的装置和方法
CN104808775B (zh) * 2014-01-24 2018-07-10 北京奇虎科技有限公司 判断头戴式智能设备鉴权信息有效性的装置和方法
CN107087431A (zh) * 2014-05-09 2017-08-22 谷歌公司 用于辨别眼睛信号和连续生物识别的系统和方法
US10375749B2 (en) 2014-07-29 2019-08-06 Samsung Electronics Co., Ltd. Mobile device and method of pairing the same with electronic device
US10136460B2 (en) 2014-07-29 2018-11-20 Samsung Electronics Co., Ltd Mobile device and method of pairing the same with electronic device
US10791586B2 (en) 2014-07-29 2020-09-29 Samsung Electronics Co., Ltd. Mobile device and method of pairing the same with electronic device
TWI691843B (zh) * 2014-07-29 2020-04-21 三星電子股份有限公司 電子裝置以及配對電子裝置的方法
US11013045B2 (en) 2014-07-29 2021-05-18 Samsung Electronics Co., Ltd. Mobile device and method of pairing the same with electronic device
CN106662746A (zh) * 2014-08-22 2017-05-10 国际智能技术公司 安全考试设备、系统和方法
CN106687065A (zh) * 2014-09-16 2017-05-17 索尼公司 显示控制设备、显示控制方法、显示控制系统和头戴式显示器
WO2016191953A1 (zh) * 2015-05-29 2016-12-08 深圳市柔宇科技有限公司 自适配显示调节的方法及头戴式显示设备
CN106461939A (zh) * 2015-05-29 2017-02-22 深圳市柔宇科技有限公司 自适配显示调节的方法及头戴式显示设备
CN108369653A (zh) * 2015-10-16 2018-08-03 奇跃公司 使用眼睛特征的眼睛姿态识别
CN105930816A (zh) * 2016-05-05 2016-09-07 上海聚虹光电科技有限公司 基于虚拟现实设备的虹膜识别系统
WO2017197827A1 (zh) * 2016-05-19 2017-11-23 华为技术有限公司 一种虚拟现实眼镜以及虚拟现实眼镜的调整方法
CN105954875A (zh) * 2016-05-19 2016-09-21 华为技术有限公司 一种虚拟现实眼镜以及虚拟现实眼镜的调整方法
CN106249885B (zh) * 2016-07-26 2019-08-06 北京小米移动软件有限公司 一种虚拟现实设备的设备调整方法和装置、虚拟现实设备
CN106249885A (zh) * 2016-07-26 2016-12-21 北京小米移动软件有限公司 一种虚拟现实设备的设备调整方法和装置、虚拟现实设备
CN107870424B (zh) * 2016-09-26 2020-01-03 纬创资通股份有限公司 可调整显示模块的可调式虚拟现实装置
CN107870424A (zh) * 2016-09-26 2018-04-03 纬创资通股份有限公司 可调整显示模块的可调式虚拟现实装置
CN107132656A (zh) * 2017-04-28 2017-09-05 陈超平 一种头戴设备及其数据处理方法

Also Published As

Publication number Publication date
JP6144681B2 (ja) 2017-06-07
US20130169683A1 (en) 2013-07-04
JP2014534655A (ja) 2014-12-18
EP2751609A2 (en) 2014-07-09
EP2751609B1 (en) 2017-08-16
US9202443B2 (en) 2015-12-01
EP2751609A4 (en) 2015-02-18
WO2013033195A2 (en) 2013-03-07
KR20140059213A (ko) 2014-05-15
WO2013033195A3 (en) 2013-05-10

Similar Documents

Publication Publication Date Title
CN103033936A (zh) 具有虹膜扫描剖析的头戴式显示器
US9824698B2 (en) Wearable emotion detection and feedback system
CN103091843B (zh) 透视显示器亮度控制
TWI597623B (zh) 可穿戴基於行爲的視覺系統
US9122321B2 (en) Collaboration environment using see through displays
US8928558B2 (en) Gaze detection in a see-through, near-eye, mixed reality display
CN102928979B (zh) 调整混合现实显示器以供瞳孔间距对准
US9035970B2 (en) Constraint based information inference
US9384737B2 (en) Method and device for adjusting sound levels of sources based on sound source priority
US9696547B2 (en) Mixed reality system learned input and functions
US9105210B2 (en) Multi-node poster location
US9323325B2 (en) Enhancing an object of interest in a see-through, mixed reality display device
CN105431763A (zh) 在佩戴移动设备时跟踪头部移动
CN105009039A (zh) 使用imu的直接全息图操纵
CN104838326A (zh) 可佩戴的食物营养反馈系统
CN105393160A (zh) 基于眼睛注视的相机自动聚焦

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1181465

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150724

TA01 Transfer of patent application right

Effective date of registration: 20150724

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C41 Transfer of patent application or patent right or utility model
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130410

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1181465

Country of ref document: HK