CN109791295A - 使用增强和虚拟现实眼镜的成像修改、显示和可视化 - Google Patents

使用增强和虚拟现实眼镜的成像修改、显示和可视化 Download PDF

Info

Publication number
CN109791295A
CN109791295A CN201780059031.6A CN201780059031A CN109791295A CN 109791295 A CN109791295 A CN 109791295A CN 201780059031 A CN201780059031 A CN 201780059031A CN 109791295 A CN109791295 A CN 109791295A
Authority
CN
China
Prior art keywords
user
display
image
visual field
system described
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780059031.6A
Other languages
English (en)
Inventor
N·U·罗柏纳
N·E·萨梅茨
C·M·哈利西斯
R·阿伯维茨
M·拜伦洛特
B·L·施密特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN109791295A publication Critical patent/CN109791295A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/90—Calibration of instruments, e.g. setting initial or reference parameters; Testing of instruments, e.g. detecting malfunction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/258—User interfaces for surgical systems providing specific settings for specific users
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Architecture (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Urology & Nephrology (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

一种显示系统可以包括头戴式显示器，该头戴式显示器被配置为将光投射到用户的眼睛以向用户显示增强现实图像内容。该显示系统可以包括被配置为感测用户的一个或多个用户传感器，并且可以包括被配置为感测用户的周围环境的一个或多个环境传感器。该显示系统还可以包括与显示器、一个或多个用户传感器以及一个或多个环境传感器通信的处理电子设备。该处理电子设备可以被配置为感测涉及用户关注的情况；确定对该情况的用户意图，并且至少部分地基于用户意图和/或感测到的涉及用户关注的情况而改变对用户视野内的真实或虚拟对象的用户感知。该处理电子设备可以被配置为执行加强或削弱对用户视野内的真实或虚拟对象的用户感知中的至少一者。

Description

使用增强和虚拟现实眼镜的成像修改、显示和可视化
优先权声明
本申请根据35 U.S.C.§119(e)要求2016年7月25日提交的美国临时申请No.62/366,599、2016年9月16日提交的美国临时申请No.62/396,071、以及2016年12月29日提交的美国临时申请No.62/440,332的优先权益。这些优先权文献中的每一者的全部公开内容通过引用并入本文中。
通过引用的并入
本申请通过引用并入有以下每个专利申请的全部内容：2016年7月25日提交的美国临时申请No.62/366,555；2016年6月20日提交的美国临时申请No.62/352,539；2016年5月9日提交的美国临时申请No.62/333,734；2014年3月14日提交的美国申请No.14/212,961；2014年7月14日提交的美国申请No.14/331,218；2016年3月16日提交的美国申请No.15/072,290；以及2016年2月11日提交的美国临时申请No.62/294,147。
技术领域
本公开涉及显示系统，更具体地涉及增强现实显示系统。
背景技术
现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中数字再现图像或其一部分以看起来是真实的或可以被感知为真实的方式被呈现给用户。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现而对其它实际的真实世界视觉输入不透明；增强现实或“AR”场景通常涉及将数字或虚拟图像信息呈现为对用户周围的实际世界的可视化的增强。混合现实或“MR”场景是“AR”类型的场景，并且通常涉及被整合到自然世界中且响应于自然世界的虚拟对象。例如，在MR场景中，AR图像内容可以被真实世界中的对象阻挡或者被感知为与与真实世界中的对象交互。
参考图1A，示出了增强现实场景1，其中AR技术的用户看到以人、树木、背景中的建筑物和混凝土平台1120为特征的真实世界的公园状设置1100。除了这些物品之外，AR技术的用户还感知到他/她“看到”“虚拟内容”，例如站在真实世界平台1120上的机器人雕像1110，以及看起来是大黄蜂的化身的飞过的卡通式化身角色1130，即使这些元素1130、1110在真实世界中不存在。由于人类的视觉感知系统是复杂的，因此产生促进除其他虚拟或真实世界图像元素之外的虚拟图像元素的舒适的、感觉自然的、丰富的呈现的AR技术是具有挑战性的。
本文公开的系统和方法解决了与AR和VR技术相关的各种挑战。
发明内容
本公开提供了显示系统的各种示例。这些示例包括但不限于以下示例。
1.一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视野中显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便以不同的发散量向所述用户的视野显示增强现实图像内容，就像是从距所述用户的眼睛不同的距离处投射的一样，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示器时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户的前方的环境的所述一部分的视图；
一个或多个环境传感器，其被配置为检测所述用户的周围环境；
处理电子设备，其与所述显示器和所述一个或多个环境传感器通信，所述处理电子设备被配置为：
感测涉及增加的用户关注(focus)的情况(situation)；以及
至少部分地基于感测到所述增加的关注而改变对所述用户的视野内的真实或虚拟对象的用户感知。
2.根据示例1所述的显示系统，其中所述处理电子设备被配置为通过改变包括所述对象的图像内容来改变对所述用户的视野内的虚拟对象的用户感知。
3.根据示例1或2所述的显示系统，其中所述处理电子设备被配置为通过将所述对象从第一位置移动到第二位置来改变对对象的用户感知。
4.根据示例3所述的显示系统，其中所述第一位置是外围区域，所述第二位置是中心区域，或者，其中所述第一位置是中心区域，所述第二位置是外围区域。
5.根据示例2至4中任一项所述的显示系统，其中改变图像内容包括改变包括所述对象的图像内容的对比度、不透明度、颜色、颜色饱和度、颜色平衡、大小、亮度、边缘或锐度中的至少一者。
6.根据示例1至5中任一项所述的显示系统，进一步被配置为向所述用户提供警报。
7.根据示例6所述的显示系统，其中所述警报是视觉警报或音频警报。
8.根据示例1至7中任一项所述的显示系统，其中所述一个或多个环境传感器包括深度传感器、双目世界相机对、地理定位传感器、接近传感器或GPS。
9.根据示例1至8中任一项所述的显示系统，进一步包括一个或多个用户传感器，所述一个或多个用户传感器被配置为感测所述用户，所述处理电子设备与所述一个或多个用户传感器通信。
10.根据示例9所述的显示系统，其中所述一个或多个用户传感器包括一个或多个相机。
11.根据示例1至10中任一项所述的显示系统，其中所述头戴式显示器包括波导，所述波导包括衍射光学元件，所述衍射光学元件被配置为通过从所述波导中提取光来输出所述光，其中所述波导是波导堆叠中的一者，其中所述波导堆叠中的不同波导被配置为输出具有不同波前发散的光。
12.根据示例1至11中任一项所述的显示系统，其中所述处理电子设备进一步被配置为确定对所述情况的用户意图，以及至少部分地基于所确定的用户意图改变对所述用户的视野内的所述真实或虚拟对象的用户感知。
13.根据示例1至12中任一项所述的显示系统，其中所述处理电子设备进一步被配置为确定对所述情况的用户意图，以及至少部分地基于感测到所述增加的关注而改变对所述用户的视野内的所述真实或虚拟对象的用户感知。
14.根据示例1至13中任一项所述的显示系统，其中所述环境传感器包括被配置为检测无线电信号的传感器。
15.根据示例1至14中任一项所述的显示系统，其中所述环境传感器包括被配置为检测来自汽车的蓝牙信号的传感器。
16.根据示例1至15中任一项所述的显示系统，其中所述涉及增加的用户关注的情况包括驾驶机动车辆。
17.根据示例16所述的显示系统，其中所述处理电子设备被配置为至少部分地基于关于用户的一个或多个数据记录而改变对所述用户的视野内的所述真实或虚拟对象的用户感知，所述一个或多个数据记录包括所述用户的驾驶记录。
18.根据示例1至17中任一项所述的显示系统，其中所述处理电子设备被配置为通过改变背景来改变对所述用户的视野内的所述真实或虚拟对象的用户感知。
19.根据示例18所述的显示系统，其中改变背景包括增加背景的均匀化，从而减少所述背景中的可见特征。
20.根据示例19所述的显示系统，其中增加背景的均匀化包括清除(wash out)或掩盖(paint over)所述背景中的特征。
21.根据示例18至20中任一项所述的显示系统，其中所述处理电子设备被配置为通过增加所述背景中的光强度来改变所述背景，使得所述用户和所述头戴式显示器的前方的环境中的特征对所述用户而言不太突出。
22.根据示例1至21中任一项所述的显示系统，其中所述处理电子设备被配置为增加所述光强度，使得所述用户和所述头戴式显示器的前方的环境中的特征对所述用户而言不太突出。
23.根据示例1至22中任一项所述的显示系统，其中改变对所述用户的视野内的对象的用户感知包括突出显示所述对象。
24.根据示例23所述的显示系统，其中突出显示所述对象包括将部分透明的颜色叠加在所述对象之上。
25.根据示例1至24中任一项所述的显示系统，进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
26.根据示例1至25中任一项所述的显示系统，其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将光投射到所述用户的一个或多个波导。
27.根据示例25所述的显示系统，其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
28.根据示例25至27中任一项所述的显示系统，其中所述光源包括光纤扫描投影仪。
29.根据示例1至28中任一项所述的显示系统，其中所述一个或多个环境传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获系统。
30.根据示例1至29所述的显示系统，其中所述环境传感器包括一个或多个面向外的相机。
31.根据示例1至30中任一项所述的显示系统，其中一个或多个环境传感器包括距离测量系统。
32.根据示例31所述的显示系统，其中所述距离测量系统包括激光测距仪。
33.根据示例1至32中任一项所述的显示系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪系统。
34.根据示例1至33中任一项所述的显示系统，进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获系统。
35.根据示例1至34中任一项所述的显示系统，其中所述头戴式显示系统被配置为与向所述用户的视野的第二部分呈现的图像内容相比，不同地处理向所述用户的视野的至少第一部分呈现的图像内容。
36.根据示例1至35中任一项所述的显示系统，其中所述头戴式显示系统被配置为与向所述用户的视野的中心区域呈现的图像内容相比，不同地处理向所述用户的视野的所述外围区域的至少一部分呈现的图像内容。
37.根据示例1至37中任一项所述的显示系统，其中改变所述用户感知包括加强或削弱(de-emphasizing)。
38.根据示例37所述的显示系统，其中由所述处理电子设备提供的加强包括放大图像内容。
39.根据示例37至38中任一项所述的显示系统，其中由所述处理电子设备提供的加强或削弱包括改变亮度。
40.根据示例37至39中任一项所述的显示系统，其中由所述处理电子设备提供的加强包括增加亮度。
41.根据示例37至40中任一项所述的显示系统，其中由所述处理电子设备提供的削弱包括降低亮度。
42.根据示例37至41中任一项所述的显示系统，其中由所述处理电子设备提供的削弱包括增加亮度。
43.根据示例37至42中任一项所述的显示系统，其中由所述处理电子设备提供的加强或削弱包括改变对比度。
44.根据示例37至43中任一项所述的显示系统，其中由所述处理电子设备提供的加强包括增加对比度。
45.根据示例37至44中任一项所述的显示系统，其中由所述处理电子设备提供的削弱包括降低对比度。
46.根据示例37至45中任一项所述的显示系统，其中由所述处理电子设备提供的加强或削弱包括改变颜色饱和度。
47.根据示例37至46中任一项所述的显示系统，其中由所述处理电子设备提供的加强包括增加颜色饱和度。
48.根据示例37至47中任一项所述的显示系统，其中由所述处理电子设备提供的削弱包括降低颜色饱和度。
49.根据示例37至48中任一项所述的显示系统，其中由所述处理电子设备提供的加强或削弱包括改变锐度。
50.根据示例37至49中任一项所述的显示系统，其中由所述处理电子设备提供的加强包括增加锐度。
51.根据示例37至50中任一项所述的显示系统，其中由所述处理电子设备提供的削弱包括降低锐度。
52.根据示例37至51中任一项所述的显示系统，其中由所述处理电子设备提供的加强或削弱包括改变不透明度。
53.根据示例37至52中任一项所述的显示系统，其中由所述处理电子设备提供的加强包括增加不透明度。
54.根据示例37至53中任一项所述的显示系统，其中由所述处理电子设备提供的削弱包括降低不透明度。
55.根据示例37至54中任一项所述的显示系统，其中由所述处理电子设备提供的削弱包括增加不透明度。
56.根据示例37至55中任一项所述的显示系统，其中加强包括边缘加强特征。
57.根据示例37至56中任一项所述的显示系统，由所述处理电子设备提供的加强或削弱包括改变颜色平衡。
1.一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视野中显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便将图像内容呈现到所述用户的视野，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图；
一个或多个面向外的相机，其被配置为对所述用户的环境中的对象进行成像；
一个或多个眼睛跟踪传感器，其被配置为确定所述用户的眼睛正在观看的位置；
处理电子设备，其与所述显示器、所述面向外的相机以及所述眼睛跟踪传感器通信，以控制所述显示器上的图像内容的呈现，所述处理电子设备被配置为：
向所述用户的视野显示图像内容；
确定所述眼睛所指向的对象；以及
执行加强所述眼睛所指向的对象的渲染(rendering)或削弱所述
眼睛所指向的所述对象的周围的一个或多个特征中的至少一者。
2.根据示例1所述的显示系统，其中所述处理电子设备被配置为在所述显示器上显示所述对象并加强所述对象的渲染。
3.根据示例1或2所述的显示系统，其中所述处理电子设备被配置为在所述显示器上显示所述对象的周围的所述一个或多个特征，并当在所述显示器上被渲染时，削弱所述眼睛所指向的对象的周围的所述一个或多个特征。
4.根据示例1至3中任一项所述的显示系统，其中所述对象的周围的所述一个或多个特征包括所述用户和所述头戴式显示系统的前方的环境中的真实特征，并且所述处理电子设备被配置为削弱所述眼睛所指向的对象的周围的所述一个或多个真实特征。
5.根据示例4所述的显示系统，其中所述处理电子设备被配置为通过增加被引导到所述眼睛中的光的强度来削弱所述眼睛所指向的对象的周围的所述一个或多个真实特征，使得所述用户和所述头戴式显示器的前方环境中的所述一个或多个真实特征对所述用户而言不太突出。
6.根据示例1至4中任一项所述的显示系统，其中所述处理电子设备被配置为增加投射到所述眼睛中的光的强度，使得所述用户和所述头戴式显示器的前方环境中的特征对所述用户而言不太突出。
7.根据示例1至6中任一项所述的显示系统，其中所述削弱包括降低通过所述透明部分的所述环境的视图的亮度、可见度、锐度或对比度、或者改变通过所述透明部分的所述环境的颜色中的一者或多者。
8.根据示例1至7中任一项所述的显示系统，其中所述处理电子设备被配置为增加投射到所述眼睛中的光的强度，使得所述用户和所述头戴式显示器的前方环境中的特征对所述用户而言不太突出，而不是通过在所述显示器上显示图像。
9.根据示例1至8中任一项所述的显示系统，其中所述削弱包括增加不透明度以使得通过所述透明部分的所述环境的视图衰减。
10.根据示例1至9中任一项所述的显示系统，其中所述削弱包括降低通过所述透明部分的所述环境的视图的亮度、可见度、锐度或对比度、或者改变通过所述透明部分的所述环境的颜色中的一者或多者，而不是通过在所述显示器上显示图像。
11.根据示例1至10中任一项所述的显示系统，其中所述削弱包括增加不透明度以使得通过所述透明部分的所述环境的视图衰减，而不是通过在所述显示器上显示图像。
12.根据示例1至11中任一项所述的显示系统，其中所述处理电子设备被配置为通过改变背景来改变对所述用户的视野内的所述真实或虚拟对象的用户感知。
13.根据示例12所述的显示系统，其中改变背景包括增加背景的均匀化，从而减少所述背景中的可见特征。
14.根据示例13所述的显示系统，其中增加背景的均匀化包括清除或掩盖所述背景中的特征。
15.根据示例12至14中任一项所述的显示系统，其中所述处理电子设备被配置为通过增加所述背景中的光强度来改变所述背景，使得所述用户和所述头戴式显示器的前方的环境中的特征对所述用户而言不太突出。
16.根据示例1至15中任一项所述的显示系统，其中所述处理电子设备被配置为加强由所述显示器显示的图像内容的渲染。
17.根据示例1至16中任一项所述的显示系统，其中所述处理电子设备被配置为削弱由所述显示器显示的图像内容的渲染。
18.一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视野内显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便将图像内容呈现到所述用户的视野，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户和所述头戴式显示器的前方环境的一部分的光透射到所述用户的眼睛，以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图；
处理电子设备，其与所述显示器通信，所述处理电子设备被配置为：
向所述用户的视野显示图像内容；
执行加强由所述显示器显示的所述图像内容的渲染或削弱所述图像内容的渲染中的至少一者，
其中所述加强包括相对于由所述显示器显示的其它图像内容，增加所渲染的图像内容的对比度、颜色饱和度、亮度、边缘可见度、不透明度或锐度、突出显示或改变所渲染的图像内容的颜色或颜色平衡中的一者或多者，以及
其中所述削弱包括相对于由所述显示器显示的其它图像内容，降低所渲染的图像内容的对比度、颜色饱和度、亮度、边缘可见度、不透明度或锐度、或者改变所渲染的图像内容的颜色或颜色平衡中的一者或多者。
19.根据示例18所述的显示系统，其中所述处理电子设备被配置为加强由所述显示器显示的图像内容的渲染。
20.根据示例18或19所述的显示系统，其中所述处理电子设备被配置为削弱由所述显示器显示的图像内容的渲染。
21.根据示例18至20中任一项所述的显示系统，其中所述处理电子设备被配置为相对于由所述显示器显示的周围图像内容，加强由所述显示器显示的所述图像内容的渲染。
22.根据示例18至21中任一项所述的显示系统，其中所述处理电子设备被配置为相对于被所述削弱的图像围绕的由所述显示器显示的图像内容，削弱由所述显示器显示的所述图像内容的渲染。
23.根据示例18至22中任一项所述的显示系统，进一步包括被配置为对所述用户的环境中的对象进行成像的一个或多个面向外的相机。
24.根据示例18至23中任一项所述的显示系统，进一步包括被配置为确定所述用户的眼睛正在观看的位置的一个或多个眼睛跟踪传感器。
25.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视野内显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便将图像内容呈现到所述用户的视野，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图；
一个或多个面向外的相机，其被配置为对所述用户的环境中的对象进行成像；
处理电子设备，其与所述显示器和所述面向外的相机通信，所述处理电子设备被配置为：
向所述用户的视野显示图像内容；
通过向从所述一个或多个面向外的相机接收的图像应用对象识别来识别所述用户的环境中的一个或多个对象；以及
基于所述对象识别，执行加强由所述显示器显示的所述图像内容的渲染或削弱所述图像内容的渲染中的至少一者，
其中所述加强包括增加所渲染的图像内容的对比度、颜色饱和度、亮度、边缘可见度、不透明度或锐度，突出显示、或改变所渲染的图像内容的颜色或颜色平衡中的一者或多者，以及
其中所述削弱包括降低所渲染的图像内容的对比度、颜色饱和度、亮度、边缘可见度、不透明度或锐度，或改变所渲染的图像内容的颜色或颜色平衡中的一者或多者。
26.根据示例25所述的显示系统，其中所述一个或多个面向外的相机被设置在所述框架上。
27.根据示例25或26所述的显示系统，其中所述处理电子设备被配置为加强由所述显示器显示的图像内容的渲染。
28.根据示例25至27中任一项所述的显示系统，其中所述处理电子设备被配置为削弱由所述显示器显示的图像内容的渲染。
29.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视野内显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便将图像内容呈现到所述用户的视野，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图；
一个或多个面向外的相机，其被配置为对所述用户的环境中的对象进行成像；
处理电子设备，其与所述显示器和所述面向外的相机通信，所述处理电子设备被配置为：
向所述用户的视野显示图像内容；
通过向从所述一个或多个面向外的相机接收的图像应用对象识别来识别所述用户的环境中的一个或多个对象；以及
基于所述对象识别，削弱通过所述透明部分呈现到所述用户的眼睛的所述用户的前方的所述环境的视图的至少一部分。
30.根据示例29所述的显示系统，其中所述削弱包括降低通过所述透明部分的所述环境的视图的亮度、可见度、锐度或对比度、或改变通过所述透明部分的所述环境的颜色中的一者或多者。
31.根据示例29或30所述的显示系统，其中所述削弱包括增加不透明度以使得通过所述透明部分的所述环境的视图衰减。
32.根据示例29至31中任一项所述的显示系统，其中所述削弱包括降低通过所述透明部分的所述环境的视图的亮度、可见度、锐度或对比度、或改变通过所述透明部分的所述环境的颜色中的一者或多者，而不是通过在所述显示器上显示图像。
33.根据示例29至32中任一项所述的显示系统，其中所述削弱包括增加不透明度以使得通过所述透明部分的所述环境的视图衰减，而不是通过在所述显示器上显示图像。
34.根据示例29至33中任一项所述的显示系统，其中所述处理电子设备被配置为通过改变背景来改变对所述用户的视野内的所述真实或虚拟对象的用户感知。
35.根据示例34所述的显示系统，其中改变背景包括增加背景的均匀化，从而减少所述背景中的可见特征。
36.根据示例35所述的显示系统，其中增加背景的均匀化包括清除或掩盖所述背景中的特征。
37.根据示例29至36中任一项所述的显示系统，其中所述处理电子设备被配置为通过增加所述背景中的光强度来改变所述背景，使得所述用户和所述头戴式显示器的前方的环境中的特征对所述用户而言不太突出。
38.根据示例29至37中任一项所述的显示系统，其中所述处理电子设备被配置为增加光强度，使得所述用户和所述头戴式显示器的前方的环境中的特征对所述用户而言不太突出。
39.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视野内显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
一个或多个面向外的传感器，其被配置为感测所述用户的环境；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便将图像内容呈现到所述用户的视野，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图；
处理电子设备，其与所述显示器以及包括关于所述用户的数据记录的一个或多个存储系统通信，所述处理电子设备被配置为：
向所述用户的视野显示图像内容；以及
基于来自所述一个或多个面向外的传感器的输出和所述一个或多个关于所述用户的数据记录，改变对所述用户的视野内的真实或虚拟对象的用户感知。
40.根据示例39所述的显示系统，其中所述一个或多个面向外的传感器包括被设置在所述框架上的一个或多个面向外的相机。
41.根据示例39或40所述的显示系统，其中所述一个或多个面向外的相机被配置为对所述用户的环境中的对象进行成像，并且所述处理电子设备被配置为通过向从所述一个或多个面向外的相机接收的图像应用对象识别来识别所述用户的环境中的一个或多个对象，以及基于所述对象识别，改变对所述用户的视野内的所述真实或虚拟对象的用户感知。
42.根据示例39至41中任一项所述的显示系统，其中所述处理电子设备被配置为感测涉及用户关注的情况，确定对所述情况的用户意图，以及至少部分地基于所述用户意图而改变对所述用户的视野内的所述真实或虚拟对象的用户感知。
43.根据示例39至42中任一项所述的显示系统，其中改变对所述用户的视野内的真实或虚拟对象的用户感知包括加强或削弱对所述用户的视野内的所述真实或虚拟对象的用户感知中的至少一者。
44.根据示例39至43中任一项所述的显示系统，其中所述一个或多个面向外的相机被配置为对所述用户的环境中的对象进行成像，并且所述处理电子设备被配置为通过向从所述一个或多个面向外的相机接收的图像应用对象识别来识别所述用户环境中的一个或多个对象，以及基于所述对象识别，执行加强或削弱对所述用户的视野内的所述真实或虚拟对象的用户感知中的至少一者。
45.根据示例39至44中任一项所述的显示系统，其中所述数据记录包括所述用户的驾驶记录。
46.根据示例45所述的显示系统，其中所述数据记录包括所述用户是否已具有驾驶违章。
47.根据示例45或46中任一项所述的显示系统，其中所述数据记录包括所述用户的年龄和所述用户是否为青少年(teenage)驾驶员中的至少一者。
48.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视野内显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便将图像内容呈现到所述用户的视野，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图；
一个或多个面向外的相机，其被配置为对所述用户的环境中的对象进行成像；
处理电子设备，其与所述显示器和所述面向外的相机通信，所述处理电子设备被配置为：
向所述用户的视野显示图像内容；
通过向从所述一个或多个面向外的相机接收的图像应用对象识别来识别所述用户的环境中的一个或多个对象；以及
基于所述对象识别，通过所述透明部分向用户的眼睛突出显示所述用户的前方的所述环境的视图的至少一部分。
49.根据示例48所述的头戴式显示系统，其中突出显示所述对象包括将部分透明的颜色叠加在所述对象之上。
50.根据示例48或49所述的头戴式显示系统，其中突出显示所述对象包括突出显示所述对象，而不是通过显示来自所述一个或多个面向外的相机的图像。
51.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视野内显示增强现实图像内容，所述头戴式显示系统包括：
头戴式显示器，其被设置在框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便将图像内容呈现到所述用户的视野，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图；
面向外的相机，其被配置为对所述用户的环境中的对象进行成像；以及
处理电子设备，其与所述显示器和所述面向外的相机通信，以控制所述显示器上的图像内容的呈现，所述处理电子设备被配置为：
确定所述用户正在操作车辆；以及
加强所述用户的视野中的对象。
52.根据示例51所述的显示系统，其中加强所述用户的视野中的对象包括将所述对象的图像内容从所述用户的视野中的第一位置移动到第二位置。
53.根据示例51或52所述的显示系统，其中加强所述用户的视野中的对象包括相对于在不进行加强的情况下所述对象的原始颜色，改变所述对象的感知颜色。
54.根据示例51至53中任一项所述的显示系统，其中加强所述用户的视野中的对象包括增加所显示的图像内容的对比度、颜色饱和度、亮度、边缘可见度、不透明度或锐度中的一者或多者。
55.根据示例51至54中任一项所述的显示系统，其中加强所述用户的视野中的对象包括通过将部分透明的颜色叠加在所述对象之上来突出显示所述对象。
56.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视野内显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
数据库，其被配置为包含一个或多个用户记录；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便将图像内容呈现到所述用户的视野，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图；以及
处理电子设备，其与所述显示器和所述数据库通信，所述处理电子设备被配置为基于所述用户的一个或多个记录减少所显示的图像内容的量。
57.根据示例56所述的显示系统，其中所述一个或多个用户记录包括驾驶记录、事故记录、传票记录、在校表现记录、犯罪记录或逮捕记录中的至少一者。
58.根据示例56或57所述的显示系统，其中所述一个或多个用户记录包括所述用户的年龄。
59.根据示例56至58中任一项所述的显示系统，其中基于所述用户的一个或多个记录减少所显示的图像内容的量包括选择性地使所述用户访问所显示的图像内容。
60.根据示例56至59中任一项所述的显示系统，其中基于所述用户的一个或多个记录减少所显示的图像内容的量包括不显示图像内容。
61.根据示例56至59中任一项所述的显示系统，其中基于所述用户的一个或多个记录减少所显示的图像内容的量包括基本上不显示图像内容。
62.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视野内显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便将图像内容呈现到所述用户的视野，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图；以及
处理电子设备，其与所述显示器通信，所述处理电子设备被配置为：
至少部分地基于所建立的与车辆的处理器的通信链路，确定所述用户在所述车辆附近；以及
基于所建立的通信链路减少所显示的图像内容的量。
63.根据示例62所述的头戴式显示系统，其中确定所述用户在所述车辆附近包括发送和/或接收射频信号或红外信号中的至少一者。
64.根据示例62所述的头戴式显示系统，其中确定所述用户在所述车辆附近包括发送和/或接收射频信号中的至少一者。
65.根据示例62所述的头戴式显示系统，其中确定所述用户在所述车辆附近包括发送和/或接收无线信号中的至少一者。
66.根据示例62所述的头戴式显示系统，其中确定所述用户在所述车辆附近包括发送和/或接收蓝牙信号中的至少一者。
67.根据示例62或66中任一项所述的头戴式显示系统，其中基于所建立的通信链路减少所显示的图像内容的量包括不显示任何图像内容。
68.根据示例62或66中任一项所述的头戴式显示系统，其中基于所建立的通信链路减少所显示的图像内容的量包括基本上不显示任何图像内容。
69.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视野内显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便将图像内容呈现到所述用户的视野，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图；
面向外的相机，其被配置为对所述用户的环境中的对象进行成像；
环境传感器，其被配置为识别所述对象的一个或多个方位；以及
处理电子设备，其与所述显示器、所述面向外的相机以及所述环境传感器通信，所述处理电子设备被配置为：
确定所述用户是否正在操作车辆；
确定所述车辆碰撞所述对象以及所述对象碰撞所述车辆中的至少一者的风险；以及
基于所确定的风险减少所显示的图像内容的量。
70.根据示例69所述的头戴式显示系统，其中确定所述碰撞风险包括基于由所述环境传感器识别的所述对象的所述一个或多个方位确定所述对象和所述车辆不断接近的速率。
71.根据示例69或70所述的头戴式显示系统，其中被配置为识别所述对象的一个或多个方位的所述环境传感器包括激光测距仪、LIDAR、雷达测距仪或超声波测距设备中的至少一者。
72.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视野内显示增强现实图像内容，所述头戴式显示系统包括：
显示器，其被设置在框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便将图像内容呈现到所述用户的视野，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图；
面向外的相机，其被配置为对所述用户的环境中的对象进行成像；以及
处理电子设备，其与所述显示器和所述面向外的相机通信，以控制所述显示器上的图像内容的呈现，所述处理电子设备被配置为：
确定所述用户正在操作车辆；
以不同的发散量向所述用户的视野显示图像内容，就像是从距所述用户的眼睛不同的距离处投射的那样；以及
基于所述用户正在操作车辆的确定，减少所显示的图像内容的量。
上述任何示例可以包括下面阐述的特征中的任何一者或多者以产生以下任一示例。
73.根据示例1至72中任一项所述的显示系统，其中所述处理电子设备可以被配置为通过改变包括所述对象的图像内容来改变对所述用户的视野内的虚拟对象的用户感知。
74.根据示例73所述的显示系统，其中改变图像内容包括改变包括所述对象的图像内容的对比度、不透明度、颜色、颜色饱和度、颜色平衡、大小、亮度、边缘或锐度中的至少一者。
75.根据示例1至74中任一项所述的显示系统，其中所述处理电子设备可以被配置为通过将所述对象从第一位置移动到第二位置来改变对所述对象的用户感知。
76.根据示例75所述的显示系统，其中所述第一位置是外围区域，所述第二位置是中心区域，或者其中所述第一位置是中心区域，所述第二位置是外围区域。
77.根据示例1至76中任一项所述的显示系统，进一步被配置为向所述用户提供警报。
78.根据示例77所述的显示系统，其中所述警报是视觉警报或音频警报。
79.根据示例1至78中任一项所述的显示系统，进一步包括一个或多个环境传感器。
80.根据示例1至79中任一项所述的显示系统，其中所述一个或多个环境传感器包括深度传感器、双目世界相机对、地理定位传感器、接近传感器或GPS。
81.根据示例1至79中任一项所述的显示系统，进一步包括一个或多个用户传感器。
82.根据示例1至81中任一项所述的显示系统，其中所述一个或多个用户传感器包括一个或多个相机。
83.根据示例1至82中任一项所述的显示系统，其中所述头戴式显示器包括波导，所述波导包括衍射光学元件，所述衍射光学元件被配置为通过从所述波导中提取光来输出所述光，其中所述波导是波导堆叠中的一者，其中所述波导堆叠中的不同波导被配置为输出具有不同波前发散的光。
84.根据示例1至83中任一项所述的显示系统，其中所述处理电子设备进一步被配置为确定对所述情况的用户意图，以及至少部分地基于所确定的用户意图而改变对所述用户的视野内的所述真实或虚拟对象的用户感知。
85.根据示例1至84中任一项所述的显示系统，其中所述处理电子设备进一步被配置为确定对所述情况的用户意图，以及至少部分地基于感测到所述增加的关注而改变对所述用户的视野内的所述真实或虚拟对象的用户感知。
86.根据示例1至85中任一项所述的显示系统，其中所述环境传感器包括被配置为检测无线电信号的传感器。
87.根据示例1至86中任一项所述的显示系统，其中所述环境传感器包括被配置为检测来自汽车的蓝牙信号的传感器。
88.根据示例1至87中任一项所述的显示系统，其中所述处理电子设备被配置为确定所述用户是否正在驾驶机动车辆。
89.根据示例1至88中任一项所述的显示系统，其中所述处理电子设备被配置为至少部分地基于关于所述用户的一个或多个数据记录而改变对所述用户的视野内的真实或虚拟对象的用户感知，所述一个或多个数据记录包括所述用户的驾驶记录。
90.根据示例1至89所述的显示系统，其中所述处理电子设备被配置为改变背景。
91.根据示例90所述的显示系统，其中改变背景包括增加背景的均匀化，从而减少所述背景中的可见特征。
92.根据示例91所述的显示系统，其中增加背景的均匀化包括清除或掩盖所述背景。
93.根据示例1至92中任一项所述的显示系统，其中所述处理电子设备被配置为通过增加所述背景中的光强度来改变所述背景，使得所述用户和所述头戴式显示器的前方的环境中的特征对所述用户而言不太突出。
94.根据示例1至93中任一项所述的显示系统，其中所述处理电子设备被配置为增加所述光强度，使得所述用户和所述头戴式显示器的前方的环境中的特征对所述用户而言不太突出。
95.根据示例1至94中任一项所述的显示系统，其中所述处理电子设备被配置为通过突出显示所述对象来改变对所述用户的视野内的对象的用户感知。
96.根据示例95所述的显示系统，其中突出显示所述对象包括将部分透明的颜色叠加在所述对象之上。
97.根据示例1至96中任一项所述的显示系统，进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
98.根据示例97所述的显示系统，其中所述一个或多个光源被配置为将光引导到一个或多个波导中。
99.根据示例97或98中任一项所述的显示系统，其中所述一个或多个光源包括光纤扫描投影仪。
100.根据示例1至99中任一项所述的显示系统，其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将光投射到所述用户的一个或多个波导。
101.根据示例1至100中任一项所述的显示系统，进一步包括被配置为监视所述环境的一个或多个传感器。
102.根据示例101所述的显示系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获系统。
103.根据示例102所述的显示系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获系统包括一个或多个面向外的相机。
104.根据示例101至103中任一项所述的显示系统，其中一个或多个传感器包括距离测量系统。
105.根据示例104所述的显示系统，其中所述距离测量系统包括激光测距仪。
106.根据示例1至105中任一项所述的显示系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪系统。
107.根据示例1至106中任一项所述的显示系统，进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获系统。
108.根据示例1至107中任一项所述的显示系统，其中所述头戴式显示系统被配置为与向所述用户的视野的第二部分呈现的图像内容相比，不同地处理向所述用户的视野的至少第一部分呈现的图像内容。
109.根据示例1至108中任一项所述的显示系统，其中所述头戴式显示系统被配置为与向所述用户的视野的中心区域呈现的图像内容相比，不同地处理向所述用户的视野的所述外围区域的至少一部分呈现的图像内容。
110.根据示例1至109中任一项所述的显示系统，其中由所述处理电子设备提供的加强包括放大图像内容。
111.根据示例1至110中任一项所述的显示系统，其中由所述处理电子设备提供的加强或削弱包括改变亮度。
112.根据示例1至111中任一项所述的显示系统，其中由所述处理电子设备提供的加强包括增加亮度。
113.根据示例1至112中任一项所述的显示系统，其中由所述处理电子设备提供的削弱包括降低亮度。
114.根据示例1至113中任一项所述的显示系统，其中由所述处理电子设备提供的削弱包括增加亮度。
115.根据示例1至114中任一项所述的显示系统，其中由所述处理电子设备提供的加强或削弱包括改变对比度。
116.根据示例1至115中任一项所述的显示系统，其中由所述处理电子设备提供的加强包括增加对比度。
117.根据示例1至116中任一项所述的显示系统，其中由所述处理电子设备提供的削弱包括降低对比度。
118.根据示例1至117中任一项所述的显示系统，其中由所述处理电子设备提供的加强或削弱包括改变颜色饱和度。
119.根据示例1至118中任一项所述的显示系统，其中由所述处理电子设备提供的加强包括增加颜色饱和度。
120.根据示例1至119中任一项所述的显示系统，其中由所述处理电子设备提供的削弱包括降低颜色饱和度。
121.根据示例1至120中任一项所述的显示系统，其中由所述处理电子设备提供的加强或削弱包括改变锐度。
122.根据示例1至121中任一项所述的显示系统，其中由所述处理电子设备提供的加强包括增加锐度。
123.根据示例1至122中任一项所述的显示系统，其中由所述处理电子设备提供的削弱包括降低锐度。
124.根据示例1至123中任一项所述的显示系统，其中由所述处理电子设备提供的加强或削弱包括改变不透明度。
125.根据示例1至124中任一项所述的显示系统，其中由所述处理电子设备提供的加强包括增加不透明度。
126.根据示例1至125中任一项所述的显示系统，其中由所述处理电子设备提供的削弱包括降低不透明度。
127.根据示例1至126中任一项所述的显示系统，其中由所述处理电子设备提供的削弱包括增加不透明度。
128.根据示例1至127中任一项所述的显示系统，其中加强包括边缘加强特征。
129.根据示例1至128中任一项的显示系统，由所述处理电子设备提供的加强或削弱包括改变颜色平衡。
下面提供其它示例。
示例集IA
1.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以显示增强现实图像内容，所述用户的眼睛具有视野，所述视野具有中心区域和被设置在所述中心区域周围的外围区域，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便在所述用户的视野的所述中心区域处呈现图像内容，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户的前方的环境的所述一部分的视图；
处理电子设备，其与所述显示器通信，以控制所述显示器上的图像内容的呈现，
其中所述头戴式显示系统被配置为向所述用户的视野的所述外围区域呈现与向所述用户的视野的所述中心区域呈现的图像内容相比加强的图像内容。
2.根据示例1所述的系统，进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
3.根据示例1或2所述的系统，其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将光投射到所述用户的一个或多个波导。
4.根据示例3所述的系统，其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
5.根据示例2至4中任一项所述的系统，其中所述光源包括光纤扫描投影仪。
6.根据以上任一示例所述的系统，进一步包括被配置为监视所述环境的一个或多个传感器。
7.根据示例6所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
8.根据示例7所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
9.根据示例6至8中任一项所述的系统，其中一个或多个传感器包括距离测量设备。
10.根据示例9所述的系统，其中所述距离测量系统包括激光测距仪。
11.根据以上任一示例所述的系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
12.根据示例1或11所述的系统，进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
13.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比，不同地处理向所述用户的视野的所述外围区域的至少一部分呈现的图像内容。
14.根据示例13所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比，通过放大被向所述用户的视野的所述外围区域的至少一部分呈现的图像内容来不同地处理图像内容。
15.根据示例13至14中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比，通过增加向所述用户的视野的所述外围区域的至少一部分呈现的图像内容的亮度来不同地处理图像内容。
16.根据示例13至15中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比，通过增加向所述用户的视野的所述外围区域的至少一部分呈现的图像内容的对比度来不同地处理图像内容。
17.根据示例13至16中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比，通过增加向所述用户的视野的所述外围区域的至少一部分呈现的图像内容的颜色饱和度来不同地处理图像内容。
18.根据示例13至17中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比，通过锐化向所述用户的视野的所述外围区域的至少一部分呈现的图像内容来不同地处理图像内容。
19.根据示例18所述的系统，其中锐化包括与向所述用户的视野的所述中心区域呈现的图像内容相比，边缘加强向所述用户的视野的所述外围区域的至少一部分呈现的图像内容中的特征。
20.根据示例13至19中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比，通过改变向所述用户的视野的所述外围区域的至少一部分呈现的图像内容的颜色平衡来不同地处理图像内容。
21.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以显示增强现实图像内容，所述用户的眼睛具有视野，所述视野具有中心区域和被设置在所述中心区域周围的外围区域，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便在所述用户的视野的所述中心区域和所述外围区域处呈现图像内容，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户的前方的环境的所述一部分的视图；
处理电子设备，其与所述显示器通信，以控制所述显示器上的图像内容的呈现，
其中所述头戴式显示系统被配置为向所述用户的视野的所述中心区域呈现与向所述用户的视野的所述外围区域呈现的图像内容相比削弱的图像内容。
22.根据示例21所述的系统，进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
23.根据示例21或22所述的系统，其中是透明的并且被设置在所述用户的眼睛的前方的位置处的所述显示器的所述至少一部分包括被配置为将光投射到所述用户的一个或多个波导。
24.根据示例23所述的系统，其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
25.根据示例22至24中任一项所述的系统，其中所述光源包括光纤扫描投影仪。
26.根据示例21至25中任一项所述的系统，进一步包括被配置为监视所述环境的一个或多个传感器。
27.根据示例26所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
28.根据示例27所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
29.根据示例26至28中任一项所述的系统，其中一个或多个传感器包括距离测量设备。
30.根据示例29所述的系统，其中所述距离测量设备包括激光测距仪。
31.根据示例21至30中任一项所述的系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
32.根据示例21至31所述的系统，进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
33.根据示例21至32中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比，不同地处理向所述用户的视野的所述中心区域的至少一部分呈现的图像内容。
34.根据示例33所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比，通过模糊(blur)向所述用户的视野的所述中心区域的至少一部分呈现的图像内容来不同地处理图像内容。
35.根据示例33至34中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比，通过使向所述用户的视野的所述中心区域的至少一部分呈现的图像内容变暗或衰减来不同地处理图像内容。
36.根据示例33至35中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比，通过降低向所述用户的视野的所述中心区域的至少一部分呈现的图像内容的对比度来不同地处理图像内容。
37.根据示例33至36中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比，通过降低向所述用户的视野的所述中心区域的至少一部分呈现的图像内容的颜色饱和度来不同地处理图像内容。
38.根据示例33至37中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比，通过降低向所述用户的视野的所述中心区域的至少一部分呈现的图像内容的锐度来不同地处理图像内容。
39.根据示例38所述的系统，其中降低锐度包括与向所述用户的视野的所述外围区域呈现的图像内容相比，去掉对向所述用户的视野的所述中心区域的至少一部分呈现的图像内容中的特征的边缘的加强。
40.根据示例33至39中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比，通过改变向所述用户的视野的所述中心区域的至少一部分呈现的图像内容的颜色平衡来不同地处理图像内容。
41.根据示例33至40中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比，通过缩小向所述用户的视野的所述中心区域的至少一部分呈现的图像内容来不同地处理图像内容。
42.根据示例14所述的系统，其中所述放大至少部分地基于所述眼睛的分辨率。
43.根据示例34所述的系统，其中所述模糊包括使用相同的颜色来模糊向所述用户的视野的所述中心区域的所述至少一部分呈现的所述图像内容。
44.根据示例44所述的系统，其中与向所述用户的视野的所述外围区域呈现的所述图像内容中的颜色相比，所述相同的颜色包括高对比度颜色。
45.根据示例1至20或42中任一项所述的系统，其中所述系统被配置为向所述用户提供警报以指示所呈现的图像已被加强。
46.根据示例21至41中任一项或示例43至44中任一项所述的系统，其中所述系统被配置为向所述用户提供警报以指示所呈现的图像已被削弱。
47.根据示例45或46中任一项所述的系统，其中所述警报是视觉警报。
48.根据示例45或46中任一项所述的系统，其中所述警报是音频警报。
49.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为构建所述用户的前方的环境的所述至少一部分的3D表示，并且被配置为解释所述环境的所述至少一部分的表示，所述环境的所述部分包括患者，并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
50.根据以上任一示例所述的系统，其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括一个或多个波导。
51.根据示例50所述的系统，包括被配置为将光引导到所述一个或多个波导中的一个或多个光源，所述波导被配置为将光引导到所述用户的眼睛中。
52.根据示例50至51中任一项所述的系统，其中所述一个或多个光源包括光纤扫描投影仪。
53.根据以上任一示例所述的系统，进一步包括被配置为监视所述环境的一个或多个传感器。
54.根据示例53所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
55.根据示例54所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
56.根据以上任一示例所述的系统，进一步包括距离测量设备。
57.根据以上任一示例所述的系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
58.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
59.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
60.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为在所述显示器上呈现的第一图像模态(modality)和第二图像模态之间切换。
61.根据示例60所述的系统，其中所述第一图像模态包括MRI扫描。
62.根据示例60至61中任一项所述的系统，其中所述第二图像模态包括超声波。
63.根据示例60至62中任一项所述的系统，其中所述第一图像模态包括x射线扫描。
64.根据以上任一示例所述的系统，进一步包括适于产生超声波的电子发射器。
65.根据以上任一示例所述的系统，进一步包括适于将超声波转换为电信号的传感器。
66.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为允许用户将所述用户的前方的环境的所述一部分上的虚拟基准标记(fiducial marker)放置到所述用户的眼睛。
67.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将图像投射到所述显示器上，使得所述图像看起来附着到所述环境中的真实世界对象上。
68.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示虚拟切割指导线(guideline)，使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
69.根据示例68所述的系统，其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
70.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的环境的所述一部分中的对象的方位的数据。
71.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的环境的所述一部分中的对象的方位。
72.根据示例71所述的系统，其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点，并将图像投射到所述用户的眼睛中，使得所述图像看起来相对于所述参考点固定。
73.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而使对象的3D图像的视图绕轴旋转。
74.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而使3D对象的图像的视图平移。
75.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示对象的3D图像的第一切片。
76.根据示例75所述的系统，其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3D图像的第二切片的图像。
77.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为传送(transmit)所述用户的前方的环境的一部分的图像，使得头戴式显示器的第二用户能够观看所传送的环境的所述一部分的所述图像。
78.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
79.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为监测用户的医疗参数并基于所述医疗参数提供警报。
80.根据示例79所述的系统，其中所述用户的医疗参数包括生命体征。
81.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射超声波，并测量由所述超声波产生的信号，并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
82.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
83.根据以上任一示例所述的系统，进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
84.根据以上任一示例所述的系统，其中所述一个或多个光源包括光纤扫描投影仪。
85.根据示例16所述的系统，其中增加对比度包括调整所述图像内容的至少一种颜色的亮度或暗度。
86.根据示例16所述的系统，其中增加对比度包括将黑色、灰色、白色或其它颜色添加到所述图像内容的至少一种颜色中。
87.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为至少在所呈现的图像内容附近提供一不透明度。
88.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
89.根据示例88的系统，其中所述第一图像模态和所述第二图像模态各自包括来自MRI、CT、PET、MRA或CTA扫描的图像。
90.根据示例88或89所述的系统，其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
示例集IB
1.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以显示增强现实图像内容，所述用户的眼睛具有视野，所述视野具有中心区域和被设置在所述中心区域周围的外围区域，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便在所述用户的视野的所述中心区域处呈现图像内容，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户的前方的环境的所述一部分的视图；
处理电子设备，其与所述显示器通信，以控制所述显示器上的图像内容的呈现，
其中所述头戴式显示系统被配置为向所述用户的视野的所述中心区域呈现与向所述用户的视野的所述外围区域呈现的图像内容相比加强的图像内容。
2.根据示例1所述的系统，进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
3.根据示例1或2所述的系统，其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将光投射到所述用户的一个或多个波导。
4.根据示例3所述的系统，其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
5.根据示例2至4中任一项所述的系统，其中所述光源包括光纤扫描投影仪。
6.根据以上任一示例所述的系统，进一步包括被配置为监视所述环境的一个或多个传感器。
7.根据示例6所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
8.根据示例7所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
9.根据示例6至8中任一项所述的系统，其中一个或多个传感器包括距离测量设备。
10.根据示例9所述的系统，其中所述距离测量设备包括激光测距仪。
11.根据以上任一示例所述的系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
12.根据示例1或11所述的系统，进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
13.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比，不同地处理向所述用户的视野的所述中心区域的至少一部分呈现的图像内容。
14.根据示例13所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比，通过放大向所述用户的视野的所述中心区域的至少一部分呈现的图像内容来不同地处理图像内容。
15.根据示例13至14中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比，通过增加向所述用户的视野的所述中心区域的至少一部分呈现的图像内容的亮度来不同地处理图像内容。
16.根据示例13至15中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比，通过增加向所述用户的视野的所述中心区域的至少一部分呈现的图像内容的对比度来不同地处理图像内容。
17.根据示例13至16中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比，通过增加向所述用户的视野的所述中心区域的至少一部分呈现的图像内容的颜色饱和度来不同地处理图像内容。
18.根据示例13至17中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比，通过锐化向所述用户的视野的所述中心区域的至少一部分呈现的图像内容来不同地处理图像内容。
19.根据示例18所述的系统，其中锐化包括与向所述用户的视野的所述外围区域呈现的图像内容相比，边缘加强向所述用户的视野的所述中心区域的至少一部分呈现的图像内容中的特征。
20.根据示例13至19中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比，通过改变向所述用户的视野的所述中心区域的至少一部分呈现的图像内容的颜色平衡来不同地处理图像内容。
21.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以显示增强现实图像内容，所述用户的眼睛具有视野，所述视野具有中心区域和被设置在所述中心区域周围的外围区域，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便在所述用户的视野的所述中心区域和外围区域处呈现图像内容，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户的前方的环境的所述一部分的视图；
处理电子设备，其与所述显示器通信，以控制所述显示器上的图像内容的呈现，
其中所述头戴式显示系统被配置为向所述用户的视野的所述外围区域呈现与向所述用户的视野的所述中心区域呈现的图像内容相比削弱的图像内容。
22.根据示例21所述的系统，进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
23.根据示例21或22所述的系统，其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将光投射到所述用户的一个或多个波导。
24.根据示例23所述的系统，其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
25.根据示例22至24中任一项所述的系统，其中所述光源包括光纤扫描投影仪。
26.根据示例21至25中任一项所述的系统，进一步包括被配置为监视所述环境的一个或多个传感器。
27.根据示例26所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
28.根据示例27所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
29.根据示例26至28中任一项所述的系统，其中一个或多个传感器包括距离测量设备。
30.根据示例29所述的系统，其中所述距离测量设备包括激光测距仪。
31.根据示例21至30中任一项所述的系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
32.根据示例21至31所述的系统，进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
33.根据示例21至32中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比，不同地处理向所述用户的视野的所述外围区域的至少一部分呈现的图像内容。
34.根据示例33所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比，通过模糊向所述用户的视野的所述外围区域的至少一部分呈现的图像内容来不同地处理图像内容。
35.根据示例33至34中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比，通过使向所述用户的视野的所述外围区域的至少一部分呈现的图像内容变暗或衰减来不同地处理图像内容。
36.根据示例33至35中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比，通过降低向所述用户的视野的所述外围区域的至少一部分呈现的图像内容的对比度来不同地处理图像内容。
37.根据示例33至36中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比，通过降低向所述用户的视野的所述外围区域的至少一部分呈现的图像内容的颜色饱和度来不同地处理图像内容。
38.根据示例33至37中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比，通过降低向所述用户的视野的所述外围区域的至少一部分呈现的图像内容的锐度来不同地处理图像内容。
39.根据示例38所述的系统，其中降低锐度包括与向所述用户的视野的所述中心区域呈现的图像内容相比，去掉对向所述用户的视野的所述外围区域的至少一部分呈现的图像内容中的特征的边缘的加强。
40.根据示例33至39中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比，通过改变向所述用户的视野的所述外围区域的至少一部分呈现的图像内容的颜色平衡来不同地处理图像内容。
41.根据示例33至40中任一项所述的系统，其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比，通过缩小向所述用户的视野的所述外围区域的至少一部分呈现的图像内容来不同地处理图像内容。
42.根据示例14所述的系统，其中所述放大至少部分地基于所述眼睛的分辨率。
43.根据示例34所述的系统，其中所述模糊包括使用相同的颜色来模糊向所述用户的视野的所述外围区域的所述至少一部分呈现的所述图像内容。
44.根据示例44所述的系统，其中与向所述用户的视野的所述中心区域呈现的所述图像内容中的颜色相比，所述相同的颜色包括高对比度颜色。
45.根据示例1至20或42中任一项所述的系统，其中所述系统被配置为向所述用户提供警报以指示所呈现的图像已被加强。
46.根据示例21至41中任一项或示例43至44中任一项所述的系统，其中所述系统被配置为向所述用户提供警报以指示所呈现的图像已被削弱。
47.根据示例45或46中任一项所述的系统，其中所述警报是视觉警报。
48.根据示例45或46中任一项所述的系统，其中所述警报是音频警报。
49.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为构建所述用户的前方的环境的所述至少一部分的3D表示，并且解释所述环境的所述至少一部分的表示，所述环境的所述部分包括患者，并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
50.根据以上任一示例所述的系统，其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括一个或多个波导。
51.根据示例50所述的系统，包括被配置为将光引导到所述一个或多个波导中的一个或多个光源，所述波导被配置为将光引导到所述用户的眼睛中。
52.根据示例50至51中任一项所述的系统，其中所述一个或多个光源包括光纤扫描投影仪。
53.根据以上任一示例所述的系统，进一步包括被配置为监视所述环境的一个或多个传感器。
54.根据示例53所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
55.根据示例54所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
56.根据以上任一示例所述的系统，进一步包括距离测量设备。
57.根据以上任一示例所述的系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
58.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
59.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
60.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为在所述显示器上呈现的第二图像模态和第一图像模态之间切换。
61.根据示例60所述的系统，其中所述第一图像模态包括MRI扫描。
62.根据示例60至61中任一项所述的系统，其中所述第二图像模态包括超声波。
63.根据示例60至61中任一项所述的系统，其中所述第一图像模态包括x射线扫描。
64.根据以上任一示例所述的系统，进一步包括适于产生超声波的电子发射器。
65.根据以上任一示例所述的系统，进一步包括适于将超声波转换为电信号的传感器。
66.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为允许用户将所述用户的前方的环境的所述一部分上的虚拟基准标记放置到所述用户的眼睛。
67.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将图像投射到所述显示器上，使得所述图像看起来附着到所述环境中的真实世界对象上。
68.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示虚拟切割指导线，使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
69.根据示例68所述的系统，其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
70.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的环境的所述一部分中的对象的方位的数据。
71.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为使用对象位置数据库来获得所述用户的前方的环境的所述一部分中的对象的方位。
72.根据示例71所述的系统，其中所述头戴式显示器被配置为基于所述对象位置数据库而设置参考点，并将图像投射到所述用户的眼睛中，使得所述图像看起来相对于所述参考点固定。
73.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而使对象的3D图像的视图绕轴旋转。
74.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而平移3D对象的图像的视图。
75.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示对象的3D图像的第一切片。
76.根据示例76所述的系统，其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3D图像的第二切片的图像。
77.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像，使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
78.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
79.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为监测用户的医疗参数并基于所述医疗参数提供警报。
80.根据示例79所述的系统，其中所述用户的医疗参数包括生命体征。
81.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射超声波，并测量由所述超声波产生的信号，并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
82.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
83.根据以上任一示例所述的系统，进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
84.根据以上任一示例所述的系统，其中所述一个或多个光源包括光纤扫描投影仪。
85.根据示例16所述的系统，其中增加对比度包括调整所述图像内容的至少一种颜色的亮度或暗度。
86.根据示例16所述的系统，其中增加对比度包括将黑色、灰色、白色或其它颜色添加到所述图像内容的至少一种颜色中。
87.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为至少在所呈现的图像内容附近提供不透明度。
88.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
89.根据示例88的系统，其中所述第一图像模态和所述第二图像模态各自包括来自MRI、CT、PET、MRA或CTA扫描的图像。
90.根据示例88或89所述的系统，其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
示例集IIA
1.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以显示增强现实图像内容，所述用户的眼睛具有视野，所述视野具有中心区域和被设置在所述中心区域周围的外围区域，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便在多个深度平面上向所述用户呈现图像内容，所述显示器的至少一部分包括一个或多个波导，所述一个或多个波导是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户的前方的环境的所述一部分的视图，所述用户的眼睛的视野的所述中心区域对应于所述用户的前方的所述环境中的中心区域，并且所述用户的眼睛的视野的所述外围区域对应于所述用户的前方的所述环境中的外围区域；
面向外的图像捕获设备，其被配置为对所述用户的前方的所述环境的所述至少一部分进行成像；
一个或多个传感器，其被配置为测量到所述用户的前方的所述环境的所述至少一部分中的对象的距离；
一个或多个输入设备，其被配置为接收来自所述用户的输入；
处理电子设备，其与所述显示器通信，以控制所述显示器上的图像内容的呈现，
其中所述头戴式显示系统被配置为基于由所述一个或多个输入设备接收的输入而选择与所述用户的视野的所述外围区域对应的环境中的对象，所述一个或多个传感器被配置为在所述选择之后测量到所述对象的距离，所述面向外的图像捕获设备被配置为获得所述对象的图像，并且所述显示器被配置为在基于由被配置为测量距离的所述一个或多个传感器测量的所述距离而确定的深度平面处呈现所述对象的加强图像，所述加强图像与所述视野的其它部分中的图像相比被加强，所述加强图像被呈现在所述用户的视野的所述外围区域中的一位置处。
2.根据示例1所述的系统，进一步包括被配置为将光引导到人的眼睛中以在所述眼睛中形成图像的一个或多个光源。
3.根据示例2所述的系统，其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
4.根据示例2或3所述的系统，其中所述一个或多个光源包括光纤扫描投影仪。
5.根据示例1所述的系统，其中所述深度平面包括第一远深度平面和第二近深度平面，当所述用户穿戴所述头戴式显示器时，所述第一远深度平面比所述第二近深度平面距所述用户的眼睛更远。
6.根据示例5所述的系统，其中所述加强图像被呈现在所述远深度平面上。
7.根据示例5或6所述的系统，其中所述显示器包括具有光焦度(optical power)的光学元件，使得投射到所述眼睛中的所述光发散，以便从所述第二近深度平面呈现图像内容。
8.根据示例7所述的系统，其中具有光焦度的光学元件包括透镜。
9.根据示例7或8所述的系统，其中具有光焦度的光学元件包括衍射光学元件。
10.根据示例1所述的系统，其中所述头戴式显示系统被配置为在所述用户的视野的所述外围区域中的一位置处呈现所述加强图像内容，该位置对应于所述对象所处于的所述环境中的所述外围区域中的位置。
11.根据示例1所述的系统，其中所述头戴式显示系统被配置为将所述加强图像内容移动到所述用户的视野的所述外围区域中的一位置，该位置不对应于所述对象所处于的所述环境中的所述外围区域。
12.根据示例1所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
13.根据示例12所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
14.根据示例1所述的系统，其中一个或多个传感器包括距离测量设备。
15.根据示例14所述的系统，其中所述距离测量系统包括激光测距仪。
16.根据示例1所述的系统，其中被配置为接收来自所述用户的输入的所述一个或多个输入设备包括被设置为对所述用户的眼睛进行成像并跟踪其运动的面向内的眼睛跟踪相机。
17.根据以上任一示例所述的系统，其中所述呈现所述加强图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比，不同地处理所述对象的所述图像。
18.根据示例17所述的系统，其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比，放大所述对象的所述图像。
19.根据示例17至18中任一项所述的系统，其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比，增加所述对象的所述图像中的亮度。
20.根据示例17至19中任一项所述的系统，其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比，增加所述对象的所述图像的对比度。
21.根据示例17至20中任一项所述的系统，其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比，增加所述对象的所述图像的颜色饱和度。
22.根据示例17至21中任一项所述的系统，其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比，锐化所述对象的所述图像。
23.根据示例22所述的系统，其中所述锐化包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比，边缘加强所述对象的所述图像的特征。
24.根据示例17至23中任一项所述的系统，其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比，改变所述对象的所述图像的颜色平衡。
25.根据以上任一示例所述的系统，其中所述视野的所述其它部分包括所述视野的所述外围区域的其它部分。
26.根据以上任一示例所述的系统，其中所述视野的所述其它部分包括所述视野的所述中心区域的至少一部分。
27.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以显示增强现实图像内容，所述用户的眼睛具有视野，所述视野具有中心区域和被设置在所述中心区域周围的外围区域，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便在多个深度平面上向所述用户呈现图像内容，所述显示器的至少一部分包括一个或多个波导，所述一个或多个波导是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户的前方的环境的所述一部分的视图，所述用户的眼睛的视野的所述中心区域对应于所述用户的前方的所述环境中的中心区域，并且所述用户的眼睛的视野的所述外围区域对应于所述用户的前方的所述环境中的外围区域；
面向外的图像捕获设备，其被配置为对所述用户的前方的环境的所述至少一部分进行成像；
一个或多个传感器，其被配置为测量到所述用户的前方的环境的所述至少一部分中的对象的距离；
一个或多个输入设备，其被配置为接收来自所述用户的输入；
处理电子设备，其与所述显示器通信，以控制所述显示器上的图像内容的呈现，
其中所述头戴式显示系统被配置为基于由所述一个或多个输入设备接收的输入而选择与所述用户的视野的所述外围区域对应的环境中的对象，所述一个或多个传感器被配置为在所述选择之后测量到所述对象的距离，所述面向外的图像捕获设备被配置为获得所述对象的图像，并且所述显示器被配置为在基于由被配置为测量距离的所述一个或多个传感器测量的所述距离而确定的深度平面处呈现所述对象的图像，所述对象的所述图像在所述用户的视野的所述外围区域中的一位置处呈现，所述显示器被配置为与所述对象的所述图像相比，削弱在所述视野的其它部分中形成的图像。
28.根据示例27所述的系统，进一步包括被配置为将光引导到人的眼睛中以在所述眼睛中形成图像的一个或多个光源。
29.根据示例28所述的系统，其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
30.根据示例28或29所述的系统，其中所述一个或多个光源包括光纤扫描投影仪。
31.根据示例27所述的系统，其中所述深度平面包括第一远深度平面和第二近深度平面，当所述用户穿戴所述头戴式显示器时，所述第一远深度平面比所述第二近深度平面距所述用户的眼睛更远。
32.根据示例31所述的系统，其中所述对象的所述图像被呈现在所述远深度平面上。
33.根据示例31或32所述的系统，其中所述显示器包括具有光焦度的光学元件，使得投射到所述眼睛中的所述光发散，以便从所述第二近深度平面呈现图像内容。
34.根据示例33所述的系统，其中具有光焦度的光学元件包括透镜。
35.根据示例33或34所述的系统，其中具有光焦度的光学元件包括衍射光学元件。
36.根据示例27所述的系统，其中所述头戴式显示系统被配置为在所述用户的视野的所述外围区域中的一位置处呈现所述对象的所述图像，该位置对应于所述对象所处于的所述环境中的所述外围区域中的位置。
37.根据示例27所述的系统，其中所述头戴式显示系统被配置为将所述对象的所述图像移到所述用户的视野的所述外围区域中的一位置，该位置不对应于所述对象所处于的所述环境中的所述外围区域。
38.根据示例27所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
39.根据示例38所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
40.根据示例27所述的系统，其中所述一个或多个传感器包括距离测量设备。
41.根据示例40所述的系统，其中所述距离测量设备包括激光测距仪。
42.根据示例27所述的系统，其中被配置为接收来自所述用户的输入的所述一个或多个输入设备包括被设置为对所述用户的眼睛进行成像并跟踪其运动的面向内的眼睛跟踪相机。
43.根据示例27至42中任一项所述的系统，其中所述头戴式显示系统被配置为与所述对象的所述图像相比，不同地处理在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像。
44.根据示例43所述的系统，其中所述头戴式显示系统被配置为与所述对象的所述图像相比，通过缩减或缩小在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像的大小来不同地处理图像。
45.根据示例43至44中任一项所述的系统，其中所述头戴式显示系统被配置为与所述对象的所述图像相比，通过使在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像变暗或衰减来不同地处理图像。
46.根据示例43至45中任一项所述的系统，其中所述头戴式显示系统被配置为与所述对象的所述图像相比，通过降低在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像的对比度来不同地处理图像。
47.根据示例43至46中任一项所述的系统，其中所述头戴式显示系统被配置为与所述对象的所述图像相比，通过降低在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像的颜色饱和度来不同地处理图像。
48.根据示例43至47中任一项所述的系统，其中所述头戴式显示系统被配置为与所述对象的所述图像相比，通过降低在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像的锐度来不同地处理图像。
49.根据示例48所述的系统，其中所述降低锐度包括与所述对象的所述图像相比，去掉对在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的所述图像中的特征的边缘的加强。
50.根据示例48或49所述的系统，其中所述降低锐度包括与所述对象的所述图像相比，模糊在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像。
51.根据示例48至50中任一项所述的系统，其中所述头戴式显示系统被配置为与所述对象的所述图像相比，通过改变在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像的颜色平衡来不同地处理图像。
52.根据示例27至51中任一项所述的系统，其中所述视野的所述其它部分包括所述视野的所述外围区域的其它部分。
53.根据示例27至52中任一项所述的系统，其中所述视野的所述其它部分包括所述视野的所述中心区域的至少一部分。
54.根据示例5所述的系统，其中所述加强图像被呈现在所述近深度平面上。
55.根据示例5或54所述的系统，其中所述显示器包括具有光焦度的光学元件，使得投射到所述眼睛中的所述光发散，以便从所述第一远深度平面呈现图像内容。
56.根据示例18所述的系统，其中所述放大至少部分地基于所述眼睛的分辨率。
57.根据示例31所述的系统，其中所述对象的所述图像被呈现在所述近深度平面上。
58.根据示例31或57所述的系统，其中所述显示器包括具有光焦度的光学元件，使得投射到所述眼睛中的所述光发散，以便从所述第一远深度平面呈现图像内容。
59.根据示例50所述的系统，其中所述模糊包括使用相同的颜色模糊在所述用户的视野的其它部分中形成的图像。
60.根据示例59所述的系统，其中与所述对象的所述图像中的颜色相比，所述相同的颜色包括高对比度颜色。
61.根据示例1至26中任一项或54至56中任一项所述的系统，其中所述系统被配置为向所述用户提供警报以指示所呈现的图像已被加强。
62.根据示例27至53中任一项或示例57至60中任一项所述的系统，其中所述系统被配置为向所述用户提供警报以指示所呈现的图像已被削弱。
63.根据示例61或62中任一项所述的系统，其中所述警报是视觉警报。
64.根据示例61或62中任一项所述的系统，其中所述警报是音频警报。
65.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为构建所述用户的前方的环境的所述至少一部分的3D表示，并且解释所述环境的所述至少一部分的表示，所述环境的所述部分包括患者，并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
66.根据以上任一示例所述的系统，其中是透明的并且被设置在所述用户的眼睛前方的一位置处的所述显示器的所述至少一部分包括一个或多个波导。
67.根据示例66所述的系统，包括被配置为将光引导到所述一个或多个波导中的一个或多个光源，所述波导被配置为将光引导到所述用户的眼睛中。
68.根据示例66至67中任一项所述的系统，其中所述一个或多个光源包括光纤扫描投影仪。
69.根据以上任一示例所述的系统，进一步包括被配置为监视所述环境的一个或多个传感器。
70.根据示例69所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
71.根据示例70所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
72.根据以上任一示例所述的系统，进一步包括距离测量设备。
73.根据以上任一示例所述的系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
74.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
75.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
76.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为在被呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
77.根据示例76所述的系统，其中所述第一图像模态包括MRI扫描。
78.根据示例76至77中任一项所述的系统，其中所述第二图像模态包括超声波。
79.根据示例76至78中任一项所述的系统，其中所述第一图像模态包括x射线扫描。
80.根据以上任一示例所述的系统，进一步包括适于产生超声波的电子发射器。
81.根据以上任一示例所述的系统，进一步包括适于将超声波转换为电信号的传感器。
82.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为允许用户将所述用户的前方的环境的所述一部分上的虚拟基准标记放置到所述用户的眼睛。
83.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将图像投射到所述显示器上，使得所述图像看起来附着到所述环境中的真实世界对象上。
84.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示虚拟切割指导线，使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
85.根据示例84所述的系统，其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
86.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的环境的所述一部分中的对象的方位的数据。
87.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的环境的所述一部分中的对象的方位。
88.根据示例87所述的系统，其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点，并将图像投射到用户的眼睛中，使得所述图像看起来相对于所述参考点固定。
89.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而使对象的3D图像的视图绕轴旋转。
90.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而平移3D对象的图像的视图。
91.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示对象的3D图像的第一切片。
92.根据示例91所述的系统，其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3D图像的第二切片的图像。
93.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像，使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
94.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
95.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为监测用户的医疗参数并基于所述医疗参数提供警报。
96.根据示例95所述的系统，其中所述用户的医疗参数包括生命体征。
97.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射超声波，并测量由所述超声波产生的信号，并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
98.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
99.根据以上任一示例所述的系统，进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
100.根据以上任一示例所述的系统，其中所述一个或多个光源包括光纤扫描投影仪。
101.根据示例20所述的系统，其中增加对比度包括调整所述图像内容的至少一种颜色的亮度或暗度。
102.根据示例20所述的系统，其中增加对比度包括将黑色、灰色、白色或其它颜色添加到所述图像内容的至少一种颜色中。
103.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为至少在所呈现的图像内容的附近提供不透明度。
104.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
105.根据示例104的系统，其中所述第一图像模态和所述第二图像模态各自包括来自MRI、CT、PET、MRA或CTA扫描的图像。
106.根据示例104或105所述的系统，其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
示例集IIB
1.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以显示增强现实图像内容，所述用户的眼睛具有视野，所述视野具有中心区域和被设置在所述中心区域周围的外围区域，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便在多个深度平面上向所述用户呈现图像内容，所述显示器的至少一部分包括一个或多个波导，所述一个或多个波导是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户的前方的环境的所述一部分的视图，所述用户的眼睛的视野的所述中心区域对应于所述用户的前方的所述环境中的中心区域，并且所述用户的眼睛的视野的所述外围区域对应于所述用户的前方的所述环境中的外围区域；
面向外的图像捕获设备，其被配置为对所述用户的前方的所述环境的所述至少一部分进行成像；
一个或多个传感器，其被配置为测量到所述用户的前方的环境的所述至少一部分中的对象的距离；
一个或多个输入设备，其被配置为接收来自所述用户的输入；
处理电子设备，其与所述显示器通信，以控制所述显示器上的图像内容的呈现，
其中所述头戴式显示系统被配置为基于由所述一个或多个输入设备接收的输入而选择与所述用户的视野的所述中心区域对应的所述环境中的对象，所述一个或多个传感器被配置为在所述选择之后测量到所述对象的距离，所述面向外的图像捕获设备被配置为获得所述对象的图像，并且所述显示器被配置为在基于由被配置为测量距离的所述一个或多个传感器测量的所述距离而确定的深度平面处呈现所述对象的加强图像，所述加强图像与所述视野的其它部分中的图像相比被加强，所述加强图像被呈现在所述用户的视野的所述中心区域中的位置处。
2.根据示例1所述的系统，进一步包括被配置为将光引导到人的眼睛中以在所述眼睛中形成图像的一个或多个光源。
3.根据示例2所述的系统，其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
4.根据示例2或3所述的系统，其中所述一个或多个光源包括光纤扫描投影仪。
5.根据示例1所述的系统，其中所述深度平面包括第一远深度平面和第二近深度平面，当所述用户穿戴所述头戴式显示器时，所述第一远深度平面比所述第二近深度平面距所述用户的眼睛更远。
6.根据示例5所述的系统，其中所述加强图像被呈现在所述远深度平面上。
7.根据示例5或6所述的系统，其中所述显示器包括具有光焦度的光学元件，使得投射到所述眼睛中的所述光发散，以便从所述第二近深度平面呈现图像内容。
8.根据示例7所述的系统，其中具有光焦度的光学元件包括透镜。
9.根据示例7或8所述的系统，其中具有光焦度的光学元件包括衍射光学元件。
10.根据示例1所述的系统，其中所述头戴式显示系统被配置为在所述用户的视野的所述中心区域中的一位置处呈现所述加强图像内容，该位置对应于所述对象所处于的所述环境中的所述中心区域中的位置。
11.根据示例1所述的系统，其中所述头戴式显示系统被配置为将所述加强图像内容移到所述用户的视野的所述中心区域中的一位置，该位置不对应于所述对象所处于的所述环境中的所述中心区域。
12.根据示例1所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
13.根据示例12所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
14.根据示例1所述的系统，其中一个或多个传感器包括距离测量设备。
15.根据示例14所述的系统，其中所述距离测量系统包括激光测距仪。
16.根据示例1所述的系统，其中被配置为接收来自所述用户的输入的所述一个或多个输入设备包括被设置为对所述用户的眼睛进行成像并跟踪其运动的面向内的眼睛跟踪相机。
17.根据以上任一示例所述的系统，其中所述呈现所述加强图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比，不同地处理所述对象的所述图像。
18.根据示例17所述的系统，其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比，放大所述对象的所述图像。
19.根据示例17至18中任一项所述的系统，其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比，增加所述对象的所述图像中的亮度。
20.根据示例17至19中任一项所述的系统，其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比，增加所述对象的所述图像的对比度。
21.根据示例17至20中任一项所述的系统，其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比，增加所述对象的所述图像的颜色饱和度。
22.根据示例17至21中任一项所述的系统，其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比，锐化所述对象的所述图像。
23.根据示例22所述的系统，其中所述锐化包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比，边缘加强所述对象的所述图像的特征。
24.根据示例17至23中任一项所述的系统，其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比，改变所述对象的所述图像的颜色平衡。
25.根据以上任一示例所述的系统，其中所述视野的所述其它部分包括所述视野的所述中心区域的其它部分。
26.根据以上任一示例所述的系统，其中所述视野的所述其它部分包括所述视野的所述外围区域的至少一部分。
27.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以显示增强现实图像内容，所述用户的眼睛具有视野，所述视野具有中心区域和被设置在所述中心区域周围的外围区域，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便在多个深度平面上向所述用户呈现图像内容，所述显示器的至少一部分包括一个或多个波导，所述一个或多个波导是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户的前方的环境的所述一部分的视图，所述用户的眼睛的视野的所述中心区域对应于所述用户的前方的所述环境中的中心区域，并且所述用户的眼睛的视野的所述外围区域对应于所述用户的前方的所述环境中的外围区域；
面向外的图像捕获设备，其被配置为对所述用户的前方的环境的所述至少一部分进行成像；
一个或多个传感器，其被配置为测量到所述用户的前方的环境的所述至少一部分中的对象的距离；
一个或多个输入设备，其被配置为接收来自所述用户的输入；
处理电子设备，其与所述显示器通信，以控制所述显示器上的图像内容的呈现，
其中所述头戴式显示系统被配置为基于由所述一个或多个输入设备接收的输入而选择与所述用户的视野的所述中心区域对应的环境中的对象，所述一个或多个传感器被配置为在所述选择之后测量到所述对象的距离，所述面向外的图像捕获设备被配置为获得所述对象的图像，并且所述显示器被配置为在基于由被配置为测量距离的所述一个或多个传感器测量的所述距离而确定的深度平面处呈现所述对象的图像，所述对象的所述图像被呈现在所述用户的视野的所述中心区域中的位置处，所述显示器被配置为与所述对象的所述图像相比，削弱在所述视野的其它部分中形成的图像。
28.根据示例27所述的系统，进一步包括被配置为将光引导到人的眼睛中以在所述眼睛中形成图像的一个或多个光源。
29.根据示例28所述的系统，其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
30.根据示例28或29所述的系统，其中所述一个或多个光源包括光纤扫描投影仪。
31.根据示例27所述的系统，其中所述深度平面包括第一远深度平面和第二近深度平面，当所述用户穿戴所述头戴式显示器时，所述第一远深度平面比所述第二近深度平面距所述用户的眼睛更远。
32.根据示例31所述的系统，其中所述对象的所述图像被呈现在所述远深度平面上。
33.根据示例31或32所述的系统，其中所述显示器包括具有光焦度的光学元件，使得投射到所述眼睛中的所述光发散，以便从所述第二近深度平面呈现图像内容。
34.根据示例33所述的系统，其中具有光焦度的光学元件包括透镜。
35.根据示例33或34所述的系统，其中具有光焦度的光学元件包括衍射光学元件。
36.根据示例27所述的系统，其中所述头戴式显示系统被配置为在所述用户的视野的所述中心区域中的一位置处呈现所述对象的所述图像，该位置对应于所述对象所处于的所述环境中的所述中心区域中的位置。
37.根据示例27所述的系统，其中所述头戴式显示系统被配置为将所述对象的所述图像移到所述用户的视野的所述中心区域中的一位置，该位置不对应于所述对象所处于的所述环境中的所述中心区域。
38.根据示例27所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
39.根据示例38所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
40.根据示例27所述的系统，其中所述一个或多个传感器包括距离测量设备。
41.根据示例40所述的系统，其中所述距离测量设备包括激光测距仪。
42.根据示例27所述的系统，其中被配置为接收来自所述用户的输入的所述一个或多个输入设备包括被设置为对所述用户的眼睛进行成像并跟踪其运动的面向内的眼睛跟踪相机。
43.根据示例27至42中任一项所述的系统，其中所述头戴式显示系统被配置为与所述对象的所述图像相比，不同地处理在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像。
44.根据示例43所述的系统，其中所述头戴式显示系统被配置为与所述对象的所述图像相比，通过缩减或缩小在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像的大小来不同地处理图像。
45.根据示例43至44中任一项所述的系统，其中所述头戴式显示系统被配置为与所述对象的所述图像相比，通过使在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像变暗或衰减来不同地处理图像。
46.根据示例43至45中任一项所述的系统，其中所述头戴式显示系统被配置为与所述对象的所述图像相比，通过降低在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像的对比度来不同地处理图像。
47.根据示例43至46中任一项所述的系统，其中所述头戴式显示系统被配置为与所述对象的所述图像相比，通过降低在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像的颜色饱和度来不同地处理图像。
48.根据示例43至47中任一项所述的系统，其中所述头戴式显示系统被配置为与所述对象的所述图像相比，通过降低在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像的锐度来不同地处理图像。
49.根据示例48所述的系统，其中所述降低锐度包括与所述对象的所述图像相比，去掉对在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的所述图像中的特征的边缘的加强。
50.根据示例48或49所述的系统，其中所述降低锐度包括与所述对象的所述图像相比，模糊在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像。
51.根据示例48至50中任一项所述的系统，其中所述头戴式显示系统被配置为与所述对象的所述图像相比，通过改变在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像的颜色平衡来不同地处理图像。
52.根据示例27至51中任一项所述的系统，其中所述视野的所述其它部分包括所述视野的所述中心区域的其它部分。
53.根据示例27至52中任一项所述的系统，其中所述视野的所述其它部分包括所述视野的所述外围区域的至少一部分。
54.根据示例5所述的系统，其中所述加强图像被呈现在所述近深度平面上。
55.根据示例5或54所述的系统，其中所述显示器包括具有光焦度的光学元件，使得投射到所述眼睛中的所述光发散，以便从所述第一远深度平面呈现图像内容。
56.根据示例18所述的系统，其中所述放大至少部分地基于所述眼睛的分辨率。
57.根据示例31所述的系统，其中所述对象的所述图像被呈现在所述近深度平面上。
58.根据示例31或57所述的系统，其中所述显示器包括具有光焦度的光学元件，使得投射到所述眼睛中的所述光发散，以便从所述第一远深度平面呈现图像内容。
59.根据示例50所述的系统，其中所述模糊包括使用相同的颜色模糊在所述用户的视野的其它部分中形成的所述图像。
60.根据示例59所述的系统，其中与所述对象的所述图像中的颜色相比，所述相同的颜色包括高对比度颜色。
61.根据示例1至26中任一项或54至56中任一项所述的系统，其中所述系统被配置为向所述用户提供警报以指示所呈现的图像已被加强。
62.根据示例27至53中任一项或示例57至60中任一项所述的系统，其中所述系统被配置为向所述用户提供警报以指示所呈现的图像已被削弱。
63.根据示例61或62中任一项所述的系统，其中所述警报是视觉警报。
64.根据示例61或62中任一项所述的系统，其中所述警报是音频警报。
65.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为构建所述用户的前方的环境的所述至少一部分的3D表示，并且解释所述环境的所述至少一部分的表示，所述环境的所述部分包括患者，并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
66.根据以上任一示例所述的系统，其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括一个或多个波导。
67.根据示例66所述的系统，包括被配置为将光引导到所述一个或多个波导中的一个或多个光源，所述波导被配置为将光引导到所述用户的眼睛中。
68.根据示例66至67中任一项所述的系统，其中所述一个或多个光源包括光纤扫描投影仪。
69.根据以上任一示例所述的系统，进一步包括被配置为监视所述环境的一个或多个传感器。
70.根据示例69所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
71.根据示例70所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
72.根据以上任一示例所述的系统，进一步包括距离测量设备。
73.根据以上任一示例所述的系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
74.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
75.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
76.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为在被呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
77.根据示例76所述的系统，其中所述第一图像模态包括MRI扫描。
78.根据示例76至77中任一项所述的系统，其中所述第二图像模态包括超声波。
79.根据示例76至78中任一项所述的系统，其中所述第一图像模态包括x射线扫描。
80.根据以上任一示例所述的系统，进一步包括适于产生超声波的电子发射器。
81.根据以上任一示例所述的系统，进一步包括适于将超声波转换为电信号的传感器。
82.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为允许用户将所述用户的前方的环境的所述一部分上的虚拟基准标记放置到所述用户的眼睛。
83.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将图像投射到所述显示器上，使得所述图像看起来附着到所述环境中的真实世界对象上。
84.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示虚拟切割指导线，使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
85.根据示例84所述的系统，其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
86.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的环境的所述一部分中的对象的位置的数据。
87.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的环境的所述一部分中的对象的方位。
88.根据示例87所述的系统，其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点，并将图像投射到用户的眼睛中，使得所述图像看起来相对于所述参考点固定。
89.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而使对象的3D图像的视图绕轴旋转。
90.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而平移3D对象的图像的视图。
91.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示对象的3D图像的第一切片。
92.根据示例91所述的系统，其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3D图像的第二切片的图像。
93.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像，使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
94.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
95.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为监测用户的医疗参数并基于所述医疗参数提供警报。
96.根据示例95所述的系统，其中所述用户的医疗参数包括生命体征。
97.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射超声波，并测量由所述超声波产生的信号，并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
98.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
99.根据以上任一示例所述的系统，进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
100.根据以上任一示例所述的系统，其中所述一个或多个光源包括光纤扫描投影仪。
101.根据示例20所述的系统，其中增加对比度包括调整所述图像内容的至少一种颜色的亮度或暗度。
102.根据示例20所述的系统，其中增加对比度包括将黑色、灰色、白色或其它颜色添加到所述图像内容的至少一种颜色中。
103.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为至少在所呈现的图像内容的附近提供不透明度。
104.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
105.根据示例104的系统，其中所述第一图像模态和所述第二图像模态各自包括来自MRI、CT、PET、MRA或CTA扫描的图像。
106.根据示例104或105所述的系统，其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
示例集III
一种头戴式显示系统，其被配置为将光投射到用户的眼睛以显示增强现实图像内容，所述用户的眼睛具有视野，所述视野具有中心区域和被设置在所述中心区域周围的外围区域，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便在多个深度平面上向所述用户呈现图像内容，所述显示器的至少一部分包括一个或多个波导，所述一个或多个波导是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户的前方的环境的所述一部分的视图，所述用户的眼睛的视野的所述中心区域对应于所述用户的前方的所述环境中的中心区域，并且所述用户的眼睛的视野的所述外围区域对应于所述用户的前方的所述环境中的外围区域；
面向外的图像捕获设备，其被配置为对所述用户的前方的环境的所述至少一部分进行成像；
一个或多个输入设备，其被配置为接收来自所述用户的输入；
处理电子设备，其与所述显示器通信，以控制所述显示器上的图像内容的呈现，
其中所述深度平面包括第一深度平面和第二深度平面，当所述用户穿戴所述头戴式显示器时，与所述第二深度平面相比，到所述对象的所述距离更多地对应于所述第一深度平面，
其中所述头戴式显示系统被配置为基于由所述一个或多个输入设备接收的输入而选择所述用户的视野内的所述环境中的对象，所述面向外的图像捕获设备被配置为获得所述对象的图像，并且所述显示器被配置为在所述第二深度平面处呈现所述对象的图像。
2.根据示例1所述的系统，其中被配置为接收来自所述用户的输入的所述一个或多个输入设备包括被设置为对所述用户的眼睛进行成像并跟踪其运动的面向内的眼睛跟踪相机。
3.根据以上任一示例所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
4.根据示例3所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
5.根据以上任一示例所述的系统，进一步包括被配置为测量到所述用户的前方的环境的所述至少一部分中的对象的距离的一个或多个传感器。
6.根据示例5所述的系统，其中所述一个或多个传感器被配置为在所述对象的所述选择之后测量到所述对象的距离。
7.根据示例5至6中任一项所述的系统，其中一个或多个传感器包括距离测量设备。
8.根据示例7所述的系统，其中所述距离测量设备包括激光测距仪。
9.根据以上任一示例所述的系统，其中所述第一深度平面包括远深度平面，所述第二深度平面包括近深度平面，当所述用户穿戴所述头戴式显示器时，与所述近深度平面相比，所述远深度平面距所述用户的眼睛更远。
10.根据示例1至8中任一项所述的系统，其中所述第一深度平面包括近深度平面，所述第二深度平面包括远深度平面，当所述用户穿戴所述头戴式显示器时，与所述近深度平面相比，所述远深度平面距所述用户的眼睛更远。
11.根据以上任一示例所述的系统，其中所述显示器被配置为在所述第二深度平面处呈现附加图像内容。
12.根据示例11所述的系统，其中所述附加图像是所选的对象。
13.根据以上任一示例所述的系统，其中在所述第二深度平面处呈现的所述对象的所述图像被放大。
14.根据以上任一示例所述的系统，其中在所述第二深度平面处呈现的所述对象的所述图像未被放大。
15.根据示例15所述的系统，其中在所述第二深度平面处呈现的所述对象的所述图像的大小被减小。
16.根据以上任一示例所述的系统，其中被配置为接收来自所述用户的输入的所述一个或多个输入设备包括头部姿势传感器。
17.根据示例16所述的系统，其中所述头部姿势传感器包括加速度计或IMU。
18.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为在所述中心区域中呈现所述对象的所述图像。
19.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为在所述外围区域中呈现所述对象的所述图像。
20.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为构建所述用户的前方的所述环境的所述至少一部分的3D表示，并且解释所述环境的所述至少一部分的表示，所述环境的所述部分包括患者，并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
21.根据以上任一示例所述的系统，其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括一个或多个波导。
22.根据示例21所述的系统，包括被配置为将光引导到所述一个或多个波导中的一个或多个光源，所述波导被配置为将光引导到所述用户的眼睛中。
23.根据示例21至22中任一项所述的系统，其中所述一个或多个光源包括光纤扫描投影仪。
24.根据以上任一示例所述的系统，进一步包括被配置为监视所述环境的一个或多个传感器。
25.根据示例24所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
26.根据示例25所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
27.根据以上任一示例所述的系统，进一步包括距离测量设备。
28.根据以上任一示例所述的系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
29.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
30.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
31.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为在被呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
32.根据示例31所述的系统，其中所述第一图像模态包括MRI扫描。
33.根据示例31至32中任一项所述的系统，其中所述第二图像模态包括超声波。
34.根据示例31至33中任一项所述的系统，其中所述第一图像模态包括x射线扫描。
35.根据以上任一示例所述的系统，进一步包括适于产生超声波的电子发射器。
36.根据以上任一示例所述的系统，进一步包括适于将超声波转换为电信号的传感器。
37.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为允许用户将所述用户的前方的所述环境的一部分上的虚拟基准标记放置到所述用户的眼睛。
38.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将图像投射到所述显示器上，使得所述图像看起来附着到所述环境中的真实世界对象上。
39.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示虚拟切割指导线，使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问(give access to)待切割部位。
40.根据示例39所述的系统，其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
41.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的环境的所述一部分中的对象的方位的数据。
42.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的环境的所述一部分中的对象的方位。
43.根据示例42所述的系统，其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点，并将图像投射到用户的眼睛中，使得所述图像看起来相对于所述参考点固定。
44.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而使对象的3D图像的视图绕轴旋转。
45.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而平移3D对象的图像的视图。
46.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示对象的3D图像的第一切片。
47.根据示例46所述的系统，其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3D图像的第二切片的图像。
48.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像，使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
49.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
50.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为监测用户的医疗参数并基于所述医疗参数提供警报。
51.根据示例50所述的系统，其中所述用户的医疗参数包括生命体征。
52.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射超声波，并测量由所述超声波产生的信号，并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
53.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
54.根据以上任一示例所述的系统，进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
55.根据以上任一示例所述的系统，其中所述一个或多个光源包括光纤扫描投影仪。
56.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
57.根据示例56的系统，其中所述第一图像模态和所述第二图像模态各自包括来自MRI、CT、PET、MRA或CTA扫描的图像。
58.根据示例56或57所述的系统，其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
示例集IV
1.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以显示增强现实图像内容，所述用户的眼睛具有视野，所述视野具有中心区域和被设置在所述中心区域周围的外围区域，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便在所述用户的视野的所述中心区域处呈现图像内容，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户的前方的所述环境的所述一部分的视图；
一个或多个捕获设备，其被配置为捕获所述环境的照明条件；
处理电子设备，其与所述显示器通信，以控制所述显示器上的图像内容的呈现，
其中所述头戴式显示系统被配置为向所述用户的视野呈现至少部分地基于所述环境的照明条件而被加强的图像内容。
2.根据示例1所述的系统，进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
3.根据示例1或2所述的系统，其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将光投射到所述用户的一个或多个波导。
4.根据示例3所述的系统，其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
5.根据示例2至4中任一项所述的系统，其中所述光源包括光纤扫描投影仪。
6.根据示例1至5中任一项所述的系统，其中所述一个或多个捕获设备包括一个或多个图像捕获设备。
7.根据示例6所述的系统，其中所述一个或多个图像捕获设备包括一个或多个相机。
8.根据示例1至5中任一项所述的系统，其中所述一个或多个捕获设备包括一个或多个光传感器。
9.根据示例8所述的系统，其中所述一个或多个光传感器包括一个或多个照度计。
10.根据以上任一示例所述的系统，其中所述一个或多个捕获设备被配置为测量所述环境的发光度(luminance)。
11.根据以上任一示例所述的系统，进一步包括距离测量设备。
12.根据示例11所述的系统，其中所述距离测量设备包括激光测距仪。
13.根据以上任一示例所述的系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
14.根据示例1至13中任一项所述的系统，进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
15.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而放大所述图像内容。
16.根据示例15所述的系统，其中所述放大至少部分地基于所述眼睛的分辨率。
17.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而增加所述图像内容中的亮度。
18.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而增加所述图像内容中的对比度。
19.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而增加所述图像内容中的颜色饱和度。
20.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而锐化所述图像内容。
21.根据示例20所述的系统，其中锐化包括至少部分地基于所述环境的照明条件而在所述图像内容中添加边缘加强特征。
22.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而改变所述图像内容的颜色平衡。
23.根据以上任一示例所述的系统，其中所述系统被配置为向所述用户提供警报以指示所述图像内容已被加强。
24.根据示例23所述的系统，其中所述警报是视觉警报。
25.根据示例23所述的系统，其中所述警报是音频警报。
26.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以显示增强现实图像内容，所述用户的眼睛具有视野，所述视野具有中心区域和被设置在所述中心区域周围的外围区域，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便在所述用户的视野的所述中心区域处呈现图像内容，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户的前方的环境的所述一部分的视图；
一个或多个捕获设备，其被配置为捕获所述环境的照明条件；
处理电子设备，其与所述显示器通信，以控制所述显示器上的图像内容的呈现，
其中所述头戴式显示系统被配置为向所述用户的视野呈现至少部分地基于所述环境的照明条件而被削弱的图像内容。
27.根据示例26所述的系统，进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
28.根据示例26或27所述的系统，其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将光投射到所述用户的一个或多个波导。
29.根据示例28所述的系统，其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
30.根据示例27至29中任一项所述的系统，其中所述光源包括光纤扫描投影仪。
31.根据示例26至30中任一项所述的系统，其中所述一个或多个捕获设备包括一个或多个图像捕获设备。
32.根据示例31所述的系统，其中所述一个或多个图像捕获设备包括一个或多个相机。
33.根据示例26至30中任一项所述的系统，其中所述一个或多个捕获设备包括一个或多个光传感器。
34.根据示例22所述的系统，其中所述一个或多个光传感器包括一个或多个照度计。
35.根据示例26至34中任一项所述的系统，其中所述一个或多个捕获设备被配置为测量所述环境的发光度。
36.根据示例26至35中任一项所述的系统，进一步包括距离测量设备。
37.根据示例36所述的系统，其中所述距离测量设备包括激光测距仪。
38.根据示例26至37中任一项所述的系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
39.根据示例26至38中任一项所述的系统，进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
40.根据示例26至39中任一项所述的系统，其中所述头戴式显示器被配置为至少部分地基于所述环境的照明条件减小所述图像内容的大小。
41.根据示例40所述的系统，其中大小的所述减小至少部分地基于所述眼睛的分辨率。
42.根据示例26至41中任一项所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而使所述图像内容变暗或衰减。
43.根据示例26至42中任一项所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容中的对比度。
44.根据示例26至43中任一项所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容中的颜色饱和度。
45.根据示例26至44中任一项所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容的锐度。
46.根据示例45所述的系统，其中降低锐度包括至少部分地基于所述环境的照明条件而去掉对所述图像内容中的特征的边缘的加强。
47.根据示例26至46中任一项所述的系统，其中所述头戴式显示器被配置为至少部分地基于所述环境的照明条件而改变所述图像内容的颜色平衡。
48.根据示例26至47中任一项所述的系统，其中所述头戴式显示器被配置为至少部分地基于所述环境的照明条件而模糊所述图像内容。
49.根据示例48所述的系统，其中所述模糊包括使用相同的颜色来模糊所述图像内容。
50.根据示例26至49中任一项所述的系统，其中所述系统被配置为向所述用户提供警报以指示所述图像内容已被削弱。
51.根据示例50所述的系统，其中所述警报是视觉警报。
52.根据示例52所述的系统，其中所述警报是音频警报。
53.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为构建所述用户的前方的所述环境的所述至少一部分的3D表示，并且解释所述环境的所述至少一部分的表示，所述环境的所述一部分包括患者，并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
54.根据以上任一示例所述的系统，其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括一个或多个波导。
55.根据示例54所述的系统，包括被配置为将光引导到所述一个或多个波导中的一个或多个光源，所述波导被配置为将光引导到所述用户的眼睛中。
56.根据示例54至55中任一项所述的系统，其中所述一个或多个光源包括光纤扫描投影仪。
57.根据以上任一示例所述的系统，进一步包括被配置为监视所述环境的一个或多个传感器。
58.根据示例57所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
59.根据示例58所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
60.根据以上任一示例所述的系统，进一步包括距离测量设备。
61.根据以上任一示例所述的系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
62.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
63.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
64.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为在被呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
65.根据示例64所述的系统，其中所述第一图像模态包括MRI扫描。
66.根据示例64至65中任一项所述的系统，其中所述第二图像模态包括超声波。
67.根据示例64至66中任一项所述的系统，其中所述第一图像模态包括x射线扫描。
68.根据以上任一示例所述的系统，进一步包括适于产生超声波的电子发射器。
69.根据以上任一示例所述的系统，进一步包括适于将超声波转换为电信号的传感器。
70.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为允许用户将所述用户的前方的所述环境的一部分上的虚拟基准标记放置到所述用户的眼睛。
71.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将图像投射到所述显示器上，使得所述图像看起来附着到所述环境中的真实世界对象上。
72.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示虚拟切割指导线，使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
73.根据示例72所述的系统，其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
74.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的所述环境的所述一部分中的对象的位置的数据。
75.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的所述环境的所述一部分中的对象的方位。
76.根据示例75所述的系统，其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点，并将图像投射到所述用户的眼睛中，使得所述图像看起来相对于所述参考点固定。
77.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而使对象的3D图像的视图绕轴旋转。
78.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而平移3D对象的图像的视图。
79.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示对象的3D图像的第一切片。
80.根据示例79所述的系统，其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3D图像的第二切片的图像。
81.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像，使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
82.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
83.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为监测用户的医疗参数并基于所述医疗参数提供警报。
84.根据示例83所述的系统，其中所述用户的医疗参数包括生命体征。
85.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射超声波，并测量由所述超声波产生的信号，并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
86.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
87.根据以上任一示例所述的系统，进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
88.根据以上任一示例所述的系统，其中所述一个或多个光源包括光纤扫描投影仪。
89.根据示例18所述的系统，其中增加对比度包括调整所述图像内容的至少一种颜色的亮度或暗度。
90.根据示例18所述的系统，其中增加对比度包括将黑色、灰色、白色或其它颜色添加到所述图像内容的至少一种颜色中。
91.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为至少在所呈现的图像内容的附近提供不透明度。
92.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
93.根据示例92的系统，其中所述第一图像模态和所述第二图像模态各自包括来自MRI、CT、PET、MRA或CTA扫描的图像。
94.根据示例92或93所述的系统，其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
示例集IVA
1.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以显示增强现实图像内容，所述用户的眼睛具有视野，所述视野具有中心区域和被设置在所述中心区域周围的外围区域，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便在所述用户的视野的所述中心区域处呈现图像内容，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户的前方的环境的所述一部分的视图；
一个或多个捕获设备，其被配置为捕获所述环境的照明条件；
处理电子设备，其与所述显示器通信，以控制所述显示器上的图像内容的呈现，
其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的位置，以便将至少部分地基于所述环境的照明条件而被加强的图像内容呈现到所述用户的视野的所述中心区域的一部分。
2.根据示例1所述的系统，其中在明视(photopic)照明条件下，基于所投射的光位置的视锥细胞密度而反向加强所述图像内容。
3.根据示例2所述的系统，其中所述环境的明视照明条件具有10cd/m2至108cd/m2的发光度。
4.根据示例1所述的系统，其中在暗视(scotopic)照明条件下，基于所投射的光位置的视杆细胞密度而反向加强所述图像内容。
5.根据示例4所述的系统，其中所述环境的暗视照明条件具有10-3.5cd/m2至10- 6cd/m2的发光度。
6.根据示例1所述的系统，其中在间视(mesopic)照明条件下，至少部分地基于在所述间视照明条件下度过的时间而加强所述图像内容。
7.根据示例6所述的系统，其中所述环境的间视照明条件具有10-3cd/m2至100.5cd/m2的发光度。
8.根据示例6或7所述的系统，其中所述系统被配置为至少部分地基于在所述间视照明条件下度过的时间而确定是视锥细胞还是视杆细胞在所述用户的眼睛中占主导。
9.根据示例6至8中任一项所述的系统，其中当所述视锥细胞在所述用户的眼睛中占主导时，基于所投射的光位置的视锥细胞密度而反向加强所述图像内容。
10.根据示例6至8中任一项所述的系统，其中当所述视杆细胞在所述用户的眼睛中占主导时，基于所述用户的眼睛的所投射的光位置的视杆细胞密度而反向加强所述图像内容。
11.根据以上任一示例所述的系统，其中所述系统包括计时器或时钟以监视在所述照明条件下度过的时间。
12.根据以上任一示例所述的系统，进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
13.根据以上任一示例所述的系统，其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将所述光投射到所述用户的一个或多个波导。
14.根据示例13所述的系统，其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
15.根据示例12至14中任一项所述的系统，其中所述光源包括光纤扫描投影仪。
16.根据示例1至15中任一项所述的系统，其中所述一个或多个捕获设备包括一个或多个图像捕获设备。
17.根据示例16所述的系统，其中所述一个或多个图像捕获设备包括一个或多个相机。
18.根据示例1至15中任一项所述的系统，其中所述一个或多个捕获设备包括一个或多个光传感器。
19.根据示例18所述的系统，其中所述一个或多个光传感器包括一个或多个照度计。
20.根据以上任一示例所述的系统，其中所述一个或多个捕获设备被配置为测量所述环境的发光度。
21.根据以上任一示例所述的系统，其中所述一个或多个捕获设备包括包含像素阵列的检测器阵列，其中所述检测器阵列被配置为对所述像素上的光级(light level)求积分以捕获所述照明条件。
22.根据以上任一示例所述的系统，其中所述一个或多个捕获设备包括一个或多个面向内的相机，所述面向内的相机被配置为检测瞳孔大小以捕获所述照明条件。
23.根据以上任一示例所述的系统，进一步包括距离测量设备。
24.根据示例23所述的系统，其中所述距离测量设备包括激光测距仪。
25.根据以上任一示例所述的系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
26.根据示例1至25中任一项所述的系统，进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
27.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而放大所述图像内容。
28.根据示例27所述的系统，其中所述放大至少部分地基于所述眼睛的分辨率。
29.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而增加所述图像内容中的亮度。
30.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而增加所述图像内容中的对比度。
31.根据示例30所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述眼睛的对比敏感度而增加对比度。
32.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而增加所述图像内容中的颜色饱和度。
33.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而锐化所述图像内容。
34.根据示例33所述的系统，其中锐化包括至少部分地基于所述环境的照明条件而在所述图像内容中添加边缘加强特征。
35.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而改变所述图像内容的颜色平衡。
36.根据以上任一示例所述的系统，其中所述系统被配置为向所述用户提供警报以指示所述图像内容已被加强。
37.根据示例36所述的系统，其中所述警报是视觉警报。
38.根据示例36所述的系统，其中所述警报是音频警报。
39.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为构建所述用户的前方的所述环境的所述至少一部分的3D表示，并且解释所述环境的所述至少一部分的表示，所述环境的所述一部分包括患者，并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
40.根据以上任一示例所述的系统，进一步包括被配置为监视所述环境的一个或多个传感器。
41.根据示例40所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
42.根据示例41所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
43.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
44.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
45.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为在被呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
46.根据示例45所述的系统，其中所述第一图像模态包括MRI扫描。
47.根据示例45至46中任一项所述的系统，其中所述第二图像模态包括超声波。
48.根据示例45至47中任一项所述的系统，其中所述第一图像模态包括x射线扫描。
49.根据以上任一示例所述的系统，进一步包括适于产生超声波的电子发射器。
50.根据以上任一示例所述的系统，进一步包括适于将超声波转换为电信号的传感器。
51.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为允许用户将所述用户的前方的所述环境的所述一部分上的虚拟基准标记放置到所述用户的眼睛。
52.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将图像投射到所述显示器上，使得所述图像看起来附着到所述环境中的真实世界对象上。
53.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示虚拟切割指导线，使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
54.根据示例53所述的系统，其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
55.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的所述环境的所述一部分中的对象的方位的数据。
56.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的所述环境的所述一部分中的对象的方位。
57.根据示例56所述的系统，其中所述头戴式显示器被配置为基于所述对象位置的数据库而设置参考点，并将图像投射到所述用户的眼睛中，使得所述图像看起来相对于所述参考点固定。
58.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而使对象的3D图像的视图绕轴旋转。
59.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而平移3D对象的图像的视图。
60.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示对象的3D图像的第一切片。
61.根据示例60所述的系统，其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3D图像的第二切片的图像。
62.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像，使得头戴式显示器的第二用户可以观看所传送的所述环境的所述一部分的所述图像。
63.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
64.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为监测医疗参数并基于所述医疗参数提供警报。
65.根据示例64所述的系统，其中所述医疗参数包括生命体征。
66.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射超声波，并测量由所述超声波产生的信号，并且其中所述头戴式显示器进一步被配置为基于所述信号而形成超声图像。
67.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
68.根据示例21所述的系统，其中所述检测器阵列包括被配置为对所述环境进行成像的向外看的相机。
69.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的位置，以便将相对于向所述外围区域的一部分呈现的图像内容而被加强的图像内容呈现到所述用户的视野的所述中心区域的一部分。
70.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的位置，以便将相对于向所述用户的视野的所述中心区域的一部分呈现的图像内容而被加强的图像内容呈现到所述中心区域的另一部分。
71.根据以上任一示例所述的系统，其中所述系统被配置为至少部分地基于所述环境的照明条件的时间方面而确定如何在所述用户的眼睛中呈现所述图像内容。
72.根据以上任一示例所述的系统，其中所述显示器被配置为以不同的发散量将光投射到所述用户的眼睛中，以便好像所述图像内容来自不同深度那样呈现所述图像内容。
73.根据示例30所述的系统，其中增加对比度包括调整所述图像内容的至少一种颜色的亮度或暗度。
74.根据示例30所述的系统，其中增加对比度包括将黑色、灰色、白色或其它颜色添加到所述图像内容的至少一种颜色中。
75.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为至少在所呈现的图像内容的附近提供不透明度。
76.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
77.根据示例76的系统，其中所述第一图像模态和所述第二图像模态各自包括来自MRI、CT、PET、MRA或CTA扫描的图像。
78.根据示例76或77所述的系统，其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
示例集IVB
1.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以显示增强现实图像内容，所述用户的眼睛具有视野，所述视野具有中心区域和被设置在所述中心区域周围的外围区域，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便在所述用户的视野的所述外围区域处呈现图像内容，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户的前方的环境的所述一部分的视图；
一个或多个捕获设备，其被配置为捕获所述环境的照明条件；
处理电子设备，其与所述显示器通信，以控制所述显示器上的图像内容的呈现，
其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的位置，以便将至少部分地基于所述环境的照明条件而被加强的图像内容呈现到所述用户的视野的所述外围区域的一部分。
2.根据示例1所述的系统，其中在明视照明条件下，基于所投射的光位置的视锥细胞密度而反向加强所述图像内容。
3.根据示例2所述的系统，其中所述环境的明视照明条件具有10cd/m2至108cd/m2的发光度。
4.根据示例1所述的系统，其中在暗视照明条件下，基于所投射的光位置的视杆细胞密度而反向加强所述图像内容。
5.根据示例4所述的系统，其中所述环境的暗视照明条件具有10-3.5cd/m2至10- 6cd/m2的发光度。
6.根据示例1所述的系统，其中在间视照明条件下，至少部分地基于在所述间视照明条件下度过的时间而加强所述图像内容。
7.根据示例6所述的系统，其中所述环境的间视照明条件具有10-3cd/m2至100.5cd/m2的发光度。
8.根据示例6或7所述的系统，其中所述系统被配置为至少部分地基于在所述间视照明条件下度过的时间而确定是视锥细胞还是视杆细胞在所述用户的眼睛中占主导。
9.根据示例6至8中任一项所述的系统，其中当所述视锥细胞在所述用户的眼睛中占主导时，基于所投射的光位置的视锥细胞密度而反向加强所述图像内容。
10.根据示例6至8中任一项所述的系统，其中当所述视杆细胞在所述用户的眼睛中占主导时，基于所述用户的眼睛的所投射的光位置的视杆细胞密度而反向加强所述图像内容。
11.根据以上任一示例所述的系统，其中所述系统包括计时器或时钟以监视在所述照明条件下度过的时间。
12.根据以上任一示例所述的系统，进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
13.根据以上任一示例所述的系统，其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将光投射到所述用户的一个或多个波导。
14.根据示例13所述的系统，其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
15.根据示例12至14中任一项所述的系统，其中所述光源包括光纤扫描投影仪。
16.根据示例1至15中任一项所述的系统，其中所述一个或多个捕获设备包括一个或多个图像捕获设备。
17.根据示例16所述的系统，其中所述一个或多个图像捕获设备包括一个或多个相机。
18.根据示例1至15中任一项所述的系统，其中所述一个或多个捕获设备包括一个或多个光传感器。
19.根据示例18所述的系统，其中所述一个或多个光传感器包括一个或多个照度计。
20.根据以上任一示例所述的系统，其中所述一个或多个捕获设备被配置为测量所述环境的发光度。
21.根据以上任一示例所述的系统，其中所述一个或多个捕获设备包括包含像素阵列的检测器阵列，其中所述检测器阵列被配置为对所述像素上的光级求积分以捕获所述照明条件。
22.根据以上任一示例所述的系统，其中所述一个或多个捕获设备包括一个或多个面向内的相机，所述面向内的相机被配置为检测瞳孔大小以捕获所述照明条件。
23.根据以上任一示例所述的系统，进一步包括距离测量设备。
24.根据示例23所述的系统，其中所述距离测量设备包括激光测距仪。
25.根据以上任一示例所述的系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
26.根据示例1至25中任一项所述的系统，进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
27.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而放大所述图像内容。
28.根据示例27所述的系统，其中所述放大至少部分地基于所述眼睛的分辨率。
29.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而增加所述图像内容中的亮度。
30.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而增加所述图像内容中的对比度。
31.根据示例30所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述眼睛的对比敏感度而增加对比度。
32.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而增加所述图像内容中的颜色饱和度。
33.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而锐化所述图像内容。
34.根据示例33所述的系统，其中锐化包括至少部分地基于所述环境的照明条件而在所述图像内容中添加边缘加强特征。
35.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而改变所述图像内容的颜色平衡。
36.根据以上任一示例所述的系统，其中所述系统被配置为向所述用户提供警报以指示所述图像内容已被加强。
37.根据示例36所述的系统，其中所述警报是视觉警报。
38.根据示例36所述的系统，其中所述警报是音频警报。
39.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为构建所述用户的前方的所述环境的所述至少一部分的3D表示，并且解释所述环境的所述至少一部分的表示，所述环境的所述一部分包括患者，并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
40.根据以上任一示例所述的系统，进一步包括被配置为监视所述环境的一个或多个传感器。
41.根据示例40所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
42.根据示例41所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
43.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
44.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
45.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为在被呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
46.根据示例45所述的系统，其中所述第一图像模态包括MRI扫描。
47.根据示例45至46中任一项所述的系统，其中所述第二图像模态包括超声波。
48.根据示例45至47中任一项所述的系统，其中所述第一图像模态包括x射线扫描。
49.根据以上任一示例所述的系统，进一步包括适于产生超声波的电子发射器。
50.根据以上任一示例所述的系统，进一步包括适于将超声波转换为电信号的传感器。
51.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为允许用户将所述用户的前方的所述环境的一部分上的虚拟基准标记放置到所述用户的眼睛。
52.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将图像投射到所述显示器上，使得所述图像看起来附着到所述环境中的真实世界对象上。
53.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示虚拟切割指导线，使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
54.根据示例53所述的系统，其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
55.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的环境的一部分中的对象的方位的数据。
56.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的环境的一部分中的对象的位置。
57.根据示例56所述的系统，其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点，并将图像投射到所述用户的眼睛中，使得所述图像看起来相对于所述参考点固定。
58.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而使对象的3D图像的视图绕轴旋转。
59.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而平移3D对象的图像的视图。
60.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示对象的3D图像的第一切片。
61.根据示例60所述的系统，其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3D图像的第二切片的图像。
62.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像，使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
63.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
64.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为监测医疗参数并基于所述医疗参数而提供警报。
65.根据示例64所述的系统，其中所述医疗参数包括生命体征。
66.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射超声波，并测量由所述超声波产生的信号，并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
67.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
68.根据示例21所述的系统，其中所述检测器阵列包括被配置为对所述环境进行成像的向外看的相机。
69.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的位置，以便将相对于向所述中心区域的一部分呈现的图像内容而被加强的图像内容呈现到所述用户的视野的所述外围区域的一部分。
70.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的位置，以便将相对于向所述外围区域的一部分呈现的图像内容而被加强的图像内容呈现到所述用户的视野的所述外围区域的另一部分。
71.根据以上任一示例所述的系统，其中所述系统被配置为至少部分地基于所述环境的照明条件的时间方面而确定如何在所述用户的眼睛中呈现所述图像内容。
72.根据以上任一示例所述的系统，其中所述显示器被配置为以不同的发散量将光投射到所述用户的眼睛中，以便好像所述图像内容来自不同深度那样呈现所述图像内容。
73.根据示例30所述的系统，其中增加对比度包括调整所述图像内容的至少一种颜色的亮度或暗度。
74.根据示例30所述的系统，其中增加对比度包括将黑色、灰色、白色或其它颜色添加到所述图像内容的至少一种颜色中。
75.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为至少在所呈现的图像内容的附近提供不透明度。
76.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
77.根据示例76的系统，其中所述第一图像模态和所述第二图像模态各自包括来自MRI、CT、PET、MRA或CTA扫描的图像。
78.根据示例76或77所述的系统，其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
示例集IVC
1.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以显示增强现实图像内容，所述用户的眼睛具有视野，所述视野具有中心区域和被设置在所述中心区域周围的外围区域，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便将图像内容呈现到所述用户的视野，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户的前方的环境的所述一部分的视图；
一个或多个捕获设备，其被配置为捕获所述环境的照明条件；
处理电子设备，其与所述显示器通信，以控制所述显示器上的图像内容的呈现，
其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而将图像内容从所述用户的视野的第一部分呈现到所述用户的视野的第二部分，并且其中在所述环境的照明条件下，所述第二部分对应于所述用户的眼睛的具有比所述第一部分高的视敏度的位置。
2.根据示例1所述的系统，其中在明视照明条件下，所述第二部分对应于所述用户的眼睛的具有比所述第一部分高的视锥细胞密度的位置。
3.根据示例2所述的系统，其中所述环境的明视照明条件具有10cd/m2至108cd/m2的发光度。
4.根据示例2或3所述的系统，其中所述第一部分包括所述外围区域中的一部分，并且所述第二部分包括所述中心区域中的一部分。
5.根据示例2或3所述的系统，其中所述第一部分包括所述中心区域中的一部分，并且所述第二部分包括所述中心区域中的另一部分。
6.根据示例2或3所述的系统，其中所述第一部分包括所述外围区域中的一部分，并且所述第二部分包括所述外围区域中的另一部分。
7.根据示例1所述的系统，其中在暗视照明条件下，所述第二部分对应于所述用户的眼睛的具有比所述第一部分高的视杆细胞密度的位置。
8.根据示例7所述的系统，其中所述环境的暗视照明条件具有10-3.5cd/m2至10- 6cd/m2的发光度。
9.根据示例7或8所述的系统，其中所述第一部分包括所述中心区域中的一部分，并且所述第二部分包括所述外围区域中的区域。
10.根据示例7或8所述的系统，其中所述第一部分包括所述外围区域中的一部分，并且所述第二部分包括所述外围区域中的另一区域。
11.根据示例1所述的系统，其中在间视照明条件下，所述系统被配置为至少部分地基于在所述间视照明条件下度过的时间而将图像内容从所述第一部分呈现到所述第二部分。
12.根据示例11所述的系统，其中所述环境的间视照明条件具有10-3cd/m2至100.5cd/m2的发光度。
13.根据示例11或12所述的系统，其中所述系统被配置为至少部分地基于在所述间视照明条件下度过的时间而确定是视锥细胞还是视杆细胞在所述用户的眼睛中占主导。
14.根据示例11至13中任一项所述的系统，其中当所述视锥细胞在所述用户的眼睛中占主导时，所述第二部分对应于所述用户的眼睛的具有比所述第一部分高的视锥细胞密度的位置。
15.根据示例14所述的系统，其中所述第一部分包括所述外围区域中的一部分，并且所述第二部分包括所述中心区域中的一部分。
16.根据示例14所述的系统，其中所述第一部分包括所述中心区域中的一部分，并且所述第二部分包括所述中心区域中的另一部分。
17.根据示例14所述的系统，其中所述第一部分包括所述外围区域中的一部分，并且所述第二部分包括所述外围区域中的另一部分。
18.根据示例11至13中任一项所述的系统，其中当所述视杆细胞在所述用户的眼睛中占主导时，所述第二部分对应于所述用户的眼睛的具有比所述第一部分高的视杆细胞密度的位置。
19.根据示例18所述的系统，其中所述第一部分包括所述中心区域中的一部分，并且所述第二部分包括所述外围区域中的一部分。
20.根据示例18所述的系统，其中所述第一部分包括所述外围区域中的一部分，并且所述第二部分包括所述外围区域中的另一部分。
21.根据以上任一示例所述的系统，其中所述系统包括计时器或时钟以监视在所述照明条件下度过的时间。
22.根据以上任一示例所述的系统，进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
23.根据以上任一示例所述的系统，其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将所述光投射到所述用户的一个或多个波导。
24.根据示例23所述的系统，其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
25.根据示例22至24中任一项所述的系统，其中所述光源包括光纤扫描投影仪。
26.根据示例1至25中任一项所述的系统，其中所述一个或多个捕获设备包括一个或多个图像捕获设备。
27.根据示例26所述的系统，其中所述一个或多个图像捕获设备包括一个或多个相机。
28.根据示例1至25中任一项所述的系统，其中所述一个或多个捕获设备包括一个或多个光传感器。
29.根据示例28所述的系统，其中所述一个或多个光传感器包括一个或多个照度计。
30.根据以上任一示例所述的系统，其中所述一个或多个捕获设备被配置为测量所述环境的发光度。
31.根据以上任一示例所述的系统，其中所述一个或多个捕获设备包括包含像素阵列的检测器阵列，其中所述检测器阵列被配置为对所述像素上的光级求积分以捕获所述照明条件。
32.根据以上任一示例所述的系统，其中所述一个或多个捕获设备包括一个或多个面向内的相机，所述面向内的相机被配置为检测瞳孔大小以捕获所述照明条件。
33.根据以上任一示例所述的系统，进一步包括距离测量设备。
34.根据示例33所述的系统，其中所述距离测量设备包括激光测距仪。
35.根据以上任一示例所述的系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
36.根据示例1至35中任一项所述的系统，进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
37.根据以上任一示例所述的系统，其中所述系统被配置为向所述用户提供警报以指示所述图像内容已从所述第一部分移位到所述第二部分。
38.根据示例37所述的系统，其中所述警报是视觉警报。
39.根据示例37所述的系统，其中所述警报是音频警报。
40.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为构建所述用户的前方的环境的所述至少一部分的3D表示，并且解释所述环境的所述至少一部分的表示，所述环境的所述一部分包括患者，并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
41.根据以上任一示例所述的系统，进一步包括被配置为监视所述环境的一个或多个传感器。
42.根据示例41所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
43.根据示例42所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
44.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
45.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
46.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为在呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
47.根据示例46所述的系统，其中所述第一图像模态包括MRI扫描。
48.根据示例46至47中任一项所述的系统，其中所述第二图像模态包括超声波。
49.根据示例46至48中任一项所述的系统，其中所述第一图像模态包括x射线扫描。
50.根据以上任一示例所述的系统，进一步包括适于产生超声波的电子发射器。
51.根据以上任一示例所述的系统，进一步包括适于将超声波转换为电信号的传感器。
52.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为允许用户将所述用户的前方的环境的所述一部分上的虚拟基准标记放置到所述用户的眼睛。
53.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将图像投射到所述显示器上，使得所述图像看起来附着到所述环境中的真实世界对象上。
54.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示虚拟切割指导线，使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
55.根据示例54所述的系统，其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
56.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的环境的所述一部分中的对象的方位的数据。
57.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的环境的所述一部分中的对象的方位。
58.根据示例57所述的系统，其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点，并将图像投射到所述用户的眼睛中，使得所述图像看起来相对于所述参考点固定。
59.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而使对象的3D图像的视图绕轴旋转。
60.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而平移3D对象的图像的视图。
61.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示对象的3D图像的第一切片。
62.根据示例61所述的系统，其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3D图像的第二切片的图像。
63.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像，使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
64.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
65.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为监测医疗参数并基于所述医疗参数提供警报。
66.根据示例65所述的系统，其中所述医疗参数包括生命体征。
67.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射超声波，并测量由所述超声波产生的信号，并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
68.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
69.根据示例31所述的系统，其中所述检测器阵列包括被配置为对所述环境进行成像的向外看的相机。
70.根据以上任一示例所述的系统，其中所述系统被配置为至少部分地基于所述环境的照明条件的时间方面而确定如何在所述用户的眼睛中呈现所述图像内容。
71.根据以上任一示例所述的系统，其中所述显示器被配置为以不同的发散量将光投射到所述用户的眼睛中，以便好像所述图像内容来自不同深度那样呈现所述图像内容。
72.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
73.根据示例72的系统，其中所述第一图像模态和所述第二图像模态各自包括来自MRI、CT、PET、MRA或CTA扫描的图像。
74.根据示例72或73所述的系统，其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
示例集IVD
1.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以显示增强现实图像内容，所述用户的眼睛具有视野，所述视野具有中心区域和被设置在所述中心区域周围的外围区域，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便将图像内容呈现到所述用户的视野，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户的前方的环境的所述一部分的视图；
一个或多个捕获设备，其被配置为捕获所述环境的照明条件；
处理电子设备，其与所述显示器通信，以控制所述显示器上的图像内容的呈现，
其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的位置，以便至少部分地基于所述环境的照明条件而将图像内容呈现到所述用户的视野的一部分。
2.根据示例1所述的系统，其中在明视照明条件下，所投射的光位置基于所投射的光位置的视锥细胞密度。
3.根据示例2所述的系统，其中所述环境的明视照明条件具有10cd/m2至108cd/m2的发光度。
4.根据示例2至3中任一项所述的系统，其中所述用户的视野的所述一部分包括所述中心区域。
5.根据示例2至4中任一项所述的系统，其中所投射的光位置在从中央凹偏离0至5度的范围内。
6.根据示例1所述的系统，其中在暗视照明条件下，所投射的光位置基于所投射的光位置的视杆细胞密度。
7.如实施例6所述的系统，其中所述环境的暗视照明条件具有10-3.5cd/m2至10- 6cd/m2的发光度。
8.根据示例6至7中任一项所述的系统，其中所述用户的视野的所述一部分包括所述外围区域。
9.根据示例6至8中任一项所述的系统，其中所投射的光位置在从中央凹偏离15至20度的范围内。
10.根据示例6至8中任一项所述的系统，其中所投射的光位置在从中央凹偏离25至35度的范围内。
11.根据示例1所述的系统，其中在间视照明条件下，所投射的光位置至少部分地基于在所述间视照明条件下度过的时间。
12.根据示例11所述的系统，其中所述环境的间视照明条件具有10-3cd/m2至100.5cd/m2的发光度。
13.根据示例11或12所述的系统，其中所述系统被配置为至少部分地基于在所述间视照明条件下度过的时间而确定是视锥细胞还是视杆细胞在所述用户的眼睛中占主导。
14.根据示例11至13中任一项所述的系统，其中当所述视锥细胞在所述用户的眼睛中占主导时，所投射的光位置基于所投射的光位置的视锥细胞密度。
15.根据示例14所述的系统，其中所述用户的视野的所述一部分包括所述中心区域。
16.根据示例14所述的系统，其中所投射的光位置在从中央凹偏离0至5度的范围内。
17.根据示例11至13中任一项所述的系统，其中当所述视杆细胞在所述用户的眼睛中占主导时，所投射的光位置基于所投射的光位置的视杆细胞密度。
18.根据示例17所述的系统，其中所述用户的视野的所述一部分包括所述外围区域。
19.根据示例17所述的系统，其中所投射的光位置在从中央凹偏离15至20度的范围内。
20.根据示例17所述的系统，其中所投射的光位置在从中央凹偏离的25至35度的范围内。
21.根据以上任一示例所述的系统，其中所述系统包括计时器或时钟以监视在所述照明条件下度过的时间。
22.根据以上任一示例所述的系统，进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
23.根据以上任一示例所述的系统，其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将所述光投射到所述用户的一个或多个波导。
24.根据示例23所述的系统，其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
25.根据示例22至24中任一项所述的系统，其中所述光源包括光纤扫描投影仪。
26.根据示例1至25中任一项所述的系统，其中所述一个或多个捕获设备包括一个或多个图像捕获设备。
27.根据示例26所述的系统，其中所述一个或多个图像捕获设备包括一个或多个相机。
28.根据示例1至25中任一项所述的系统，其中所述一个或多个捕获设备包括一个或多个光传感器。
29.根据示例28所述的系统，其中所述一个或多个光传感器包括一个或多个照度计。
30.根据以上任一示例所述的系统，其中所述一个或多个捕获设备被配置为测量所述环境的发光度。
31.根据以上任一示例所述的系统，其中所述一个或多个捕获设备包括包含像素阵列的检测器阵列，其中所述检测器阵列被配置为对所述像素上的光级求积分以捕获所述照明条件。
32.根据以上任一示例所述的系统，其中所述一个或多个捕获设备包括一个或多个面向内的相机，所述面向内的相机被配置为检测瞳孔大小以捕获所述照明条件。
33.根据以上任一示例所述的系统，进一步包括距离测量设备。
34.根据示例33所述的系统，其中所述距离测量设备包括激光测距仪。
35.根据以上任一示例所述的系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
36.根据示例1至35中任一项所述的系统，进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
37.根据以上任一示例所述的系统，其中所述系统被配置为向所述用户提供警报以指示所述图像内容已被呈现。
38.根据示例37所述的系统，其中所述警报是视觉警报。
39.根据示例37所述的系统，其中所述警报是音频警报。
40.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为构建所述用户的前方的环境的所述至少一部分的3D表示，并且解释所述环境的所述至少一部分的表示，所述环境的所述一部分包括患者，并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
41.根据以上任一示例所述的系统，进一步包括被配置为监视所述环境的一个或多个传感器。
42.根据示例41所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
43.根据示例42所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
44.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
45.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
46.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为在呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
47.根据示例46所述的系统，其中所述第一图像模态包括MRI扫描。
48.根据示例46至47中任一项所述的系统，其中所述第二图像模态包括超声波。
49.根据示例46至48中任一项所述的系统，其中所述第一图像模态包括x射线扫描。
50.根据以上任一示例所述的系统，进一步包括适于产生超声波的电子发射器。
51.根据以上任一示例所述的系统，进一步包括适于将超声波转换为电信号的传感器。
52.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为允许用户将所述用户的前方的环境的一部分上的虚拟基准标记放置到所述用户的眼睛。
53.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将图像投射到所述显示器上，使得所述图像看起来附着到所述环境中的真实世界对象上。
54.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示虚拟切割指导线，使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
55.根据示例54所述的系统，其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
56.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的环境的一部分中的对象的方位的数据。
57.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的环境的一部分中的对象的方位。
58.根据示例57所述的系统，其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点，并将图像投射到所述用户的眼睛中，使得所述图像看起来相对于所述参考点固定。
59.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而使对象的3D图像的视图绕轴旋转。
60.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而平移3D对象的图像的视图。
61.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示对象的3D图像的第一切片。
62.根据示例61所述的系统，其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3D图像的第二切片的图像。
63.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像，使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
64.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
65.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为监测医疗参数并基于所述医疗参数提供警报。
66.根据示例65所述的系统，其中所述医疗参数包括生命体征。
67.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射超声波，并测量由所述超声波产生的信号，并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
68.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
69.根据示例31所述的系统，其中所述检测器阵列包括被配置为对所述环境进行成像的向外看的相机。
70.根据以上任一示例所述的系统，其中所述系统被配置为至少部分地基于所述环境的照明条件的时间方面而确定如何在所述用户的眼睛中呈现所述图像内容。
71.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的位置，以便至少部分地基于所投射的光位置的感光细胞密度(photoreceptors)而将图像内容呈现到所述用户的视野的一部分。
72.根据以上任一示例所述的系统，其中所述显示器被配置为以不同的发散量将光投射到所述用户的眼睛中，以便好像所述图像内容来自不同深度那样呈现所述图像内容。
73.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
74.根据示例73的系统，其中所述第一图像模态和所述第二图像模态各自包括来自MRI、CT、PET、MRA或CTA扫描的图像。
75.根据示例73或74所述的系统，其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
示例集IVE
1.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以显示增强现实图像内容，所述用户的眼睛具有视野，所述视野具有中心区域和被设置在所述中心区域周围的外围区域，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便将图像内容呈现在所述用户的视野的所述中心区域处，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户的前方的环境的所述一部分的视图；
一个或多个捕获设备，其被配置为捕获所述环境的照明条件；
处理电子设备，其与所述显示器通信，以控制所述显示器上的图像内容的呈现，
其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的位置，以便将至少部分地基于所述环境的照明条件而被削弱的图像内容呈现到所述用户的视野的所述中心区域的一部分。
2.根据示例1所述的系统，其中在明视照明条件下，基于所投射的光位置的视锥细胞密度而削弱所述图像内容。
3.根据示例2所述的系统，其中所述环境的明视照明条件具有10cd/m2至108cd/m2的发光度。
4.根据示例1所述的系统，其中在暗视照明条件下，基于所投射的光位置的视杆细胞密度而削弱所述图像内容。
5.如实施例4所述的系统，其中所述环境的暗视照明条件具有10-3.5cd/m2至10- 6cd/m2的发光度。
6.根据示例1所述的系统，其中在间视照明条件下，至少部分地基于在所述间视照明条件下度过的时间而削弱所述图像内容。
7.根据示例6所述的系统，其中所述环境的间视照明条件具有10-3cd/m2至100.5cd/m2的发光度。
8.根据示例6或7所述的系统，其中所述系统被配置为至少部分地基于在所述间视照明条件下度过的时间而确定是视锥细胞还是视杆细胞在所述用户的眼睛中占主导。
9.根据示例6至8中任一项所述的系统，其中当所述视锥细胞在所述用户的眼睛中占主导时，基于所投射的光位置的视锥细胞密度而削弱所述图像内容。
10.根据示例6至8中任一项所述的系统，其中当所述视杆细胞在所述用户的眼睛中占主导时，基于所述用户的眼睛的所投射的光位置的视杆细胞密度而削弱所述图像内容。
11.根据以上任一示例所述的系统，其中所述系统包括计时器或时钟以监视在所述照明条件下度过的时间。
12.根据以上任一示例所述的系统，进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
13.根据以上任一示例所述的系统，其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将所述光投射到所述用户的一个或多个波导。
14.根据示例13所述的系统，其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
15.根据示例12至14中任一项所述的系统，其中所述光源包括光纤扫描投影仪。
16.根据示例1至15中任一项所述的系统，其中所述一个或多个捕获设备包括一个或多个图像捕获设备。
17.根据示例16所述的系统，其中所述一个或多个图像捕获设备包括一个或多个相机。
18.根据示例1至15中任一项所述的系统，其中所述一个或多个捕获设备包括一个或多个光传感器。
19.根据示例18所述的系统，其中所述一个或多个光传感器包括一个或多个照度计。
20.根据以上任一示例所述的系统，其中所述一个或多个捕获设备被配置为测量所述环境的发光度。
21.根据以上任一示例所述的系统，其中所述一个或多个捕获设备包括包含像素阵列的检测器阵列，其中所述检测器阵列被配置为对所述像素上的光级求积分以捕获所述照明条件。
22.根据以上任一示例所述的系统，其中所述一个或多个捕获设备包括一个或多个面向内的相机，所述面向内的相机被配置为检测瞳孔大小以捕获所述照明条件。
23.根据以上任一示例所述的系统，进一步包括距离测量设备。
24.根据示例23所述的系统，其中所述距离测量设备包括激光测距仪。
25.根据以上任一示例所述的系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
26.根据示例1至25中任一项所述的系统，进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
27.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而减小所述图像内容的大小。
28.根据示例27所述的系统，其中大小的所述减小至少部分地基于所述眼睛的分辨率。
29.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容中的亮度。
30.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容中的对比度。
31.根据示例30所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述眼睛的对比敏感度而降低对比度。
32.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容中的颜色饱和度。
33.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容的锐度。
34.根据示例33所述的系统，其中锐化包括至少部分地基于所述环境的照明条件而去掉对所述图像内容中的特征的边缘的加强。
35.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而改变所述图像内容的颜色平衡。
36.根据以上任一示例所述的系统，其中所述系统被配置为向所述用户提供警报以指示所述图像内容已被削弱。
37.根据示例36所述的系统，其中所述警报是视觉警报。
38.根据示例36所述的系统，其中所述警报是音频警报。
39.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为构建所述用户的前方的环境的所述至少一部分的3D表示，并且解释所述环境的所述至少一部分的表示，所述环境的所述一部分包括患者，并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
40.根据以上任一示例所述的系统，进一步包括被配置为监视所述环境的一个或多个传感器。
41.根据示例40所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
42.根据示例41所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
43.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
44.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
45.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为在呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
46.根据示例45所述的系统，其中所述第一图像模态包括MRI扫描。
47.根据示例45至46中任一项所述的系统，其中所述第二图像模态包括超声波。
48.根据示例45至47中任一项所述的系统，其中所述第一图像模态包括x射线扫描。
49.根据以上任一示例所述的系统，进一步包括适于产生超声波的电子发射器。
50.根据以上任一示例所述的系统，进一步包括适于将超声波转换为电信号的传感器。
51.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为允许用户将所述用户的前方的所述环境的所述一部分上的虚拟基准标记放置到所述用户的眼睛。
52.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将图像投射到所述显示器上，使得所述图像看起来附着到所述环境中的真实世界对象上。
53.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示虚拟切割指导线，使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
54.根据示例53所述的系统，其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
55.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的环境的所述一部分中的对象的方位的数据。
56.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的环境的所述一部分中的对象的方位。
57.根据示例56所述的系统，其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点，并将图像投射到所述用户的眼睛中，使得所述图像看起来相对于所述参考点固定。
58.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而使对象的3D图像的视图绕轴旋转
59.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而平移3D对象的图像的视图。
60.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示对象的3D图像的第一切片。
61.根据示例60所述的系统，其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3D图像的第二切片的图像。
62.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像，使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
63.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
64.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为监测医疗参数并基于所述医疗参数提供警报。
65.根据示例64所述的系统，其中所述医疗参数包括生命体征。
66.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射超声波，并测量由所述超声波产生的信号，并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
67.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
68.根据示例21所述的系统，其中所述检测器阵列包括被配置为对所述环境进行成像的向外看的相机。
69.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的一位置，以便将相对于向所述外围区域的一部分呈现的图像内容而被削弱的图像内容呈现到所述用户的视野的所述中心区域的一部分。
70.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的一位置，以便将相对于向所述用户的视野的所述中心区域的一部分呈现的图像内容而被削弱的图像内容呈现到所述中心区域的另一部分。
71.根据以上任一示例所述的系统，其中所述系统被配置为至少部分地基于所述环境的照明条件的时间方面而确定如何在所述用户的眼睛中呈现所述图像内容。
72.根据以上任一示例所述的系统，其中所述显示器被配置为以不同的发散量将光投射到所述用户的眼睛中，以便好像所述图像内容来自不同深度那样呈现所述图像内容。
73.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为至少在所呈现的图像内容的附近提供不透明度。
74.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
75.根据示例74的系统，其中所述第一图像模态和所述第二图像模态各自包括来自MRI、CT、PET、MRA或CTA扫描的图像。
76.根据示例74或75所述的系统，其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
示例集IVF
1.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以显示增强现实图像内容，所述用户的眼睛具有视野，所述视野具有中心区域和被设置在所述中心区域周围的外围区域，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便将图像内容呈现在所述用户的视野的所述外围区域处，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户的前方的环境的所述一部分的视图；
一个或多个捕获设备，其被配置为捕获所述环境的照明条件；
处理电子设备，其与所述显示器通信，以控制所述显示器上的图像内容的呈现，
其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的位置，以便将至少部分地基于所述环境的照明条件而被削弱的图像内容呈现到所述用户的视野的所述外围区域的一部分。
2.根据示例1所述的系统，其中在明视照明条件下，基于所投射的光位置的视锥细胞密度而削弱所述图像内容。
3.根据示例2所述的系统，其中所述环境的明视照明条件具有10cd/m2至108cd/m2的发光度。
4.根据示例1所述的系统，其中在暗视照明条件下，基于所投射的光位置的视杆细胞密度而削弱所述图像内容。
5.如实施例4所述的系统，其中所述环境的暗视照明条件具有10-3.5cd/m2至10- 6cd/m2的发光度。
6.根据示例1所述的系统，其中在间视照明条件下，至少部分地基于在所述间视照明条件下度过的时间而削弱所述图像内容。
7.根据示例6所述的系统，其中所述环境的间视照明条件具有10-3cd/m2至100.5cd/m2的发光度。
8.根据示例6或7所述的系统，其中所述系统被配置为至少部分地基于在所述间视照明条件下度过的时间而确定是视锥细胞还是视杆细胞在所述用户的眼睛中占主导。
9.根据示例6至8中任一项所述的系统，其中当所述视锥细胞在所述用户的眼睛中占主导时，基于所投射的光位置的视锥细胞密度而削弱所述图像内容。
10.根据示例6至8中任一项所述的系统，其中当所述视杆细胞在所述用户的眼睛中占主导时，基于所述用户的眼睛的所投射的光位置的视杆细胞密度而削弱所述图像内容。
11.根据以上任一示例所述的系统，其中所述系统包括计时器或时钟以监视在所述照明条件下度过的时间。
12.根据以上任一示例所述的系统，进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
13.根据以上任一示例所述的系统，其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将所述光投射到所述用户的一个或多个波导。
14.根据示例13所述的系统，其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
15.根据示例12至14中任一项所述的系统，其中所述光源包括光纤扫描投影仪。
16.根据示例1至15中任一项所述的系统，其中所述一个或多个捕获设备包括一个或多个图像捕获设备。
17.根据示例16所述的系统，其中所述一个或多个图像捕获设备包括一个或多个相机。
18.根据示例1至15中任一项所述的系统，其中所述一个或多个捕获设备包括一个或多个光传感器。
19.根据示例18所述的系统，其中所述一个或多个光传感器包括一个或多个照度计。
20.根据以上任一示例所述的系统，其中所述一个或多个捕获设备被配置为测量所述环境的发光度。
21.根据以上任一示例所述的系统，其中所述一个或多个捕获设备包括包含像素阵列的检测器阵列，其中所述检测器阵列被配置为对所述像素上的光级求积分以捕获所述照明条件。
22.根据以上任一示例所述的系统，其中所述一个或多个捕获设备包括一个或多个面向内的相机，所述面向内的相机被配置为检测瞳孔大小以捕获所述照明条件。
23.根据以上任一示例所述的系统，进一步包括距离测量设备。
24.根据示例23所述的系统，其中所述距离测量设备包括激光测距仪。
25.根据以上任一示例所述的系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
26.根据示例1至25中任一项所述的系统，进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
27.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而减小所述图像内容的大小。
28.根据示例27所述的系统，其中大小的所述减小至少部分地基于所述眼睛的分辨率。
29.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容中的亮度。
30.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容中的对比度。
31.根据示例30所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述眼睛的对比敏感度而降低对比度。
32.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容中的颜色饱和度。
33.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容的锐度。
34.根据示例33所述的系统，其中锐化包括至少部分地基于所述环境的照明条件而去掉对所述图像内容中的特征的边缘的加强。
35.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而改变所述图像内容的颜色平衡。
36.根据以上任一示例所述的系统，其中所述系统被配置为向所述用户提供警报以指示所述图像内容已被削弱。
37.根据示例36所述的系统，其中所述警报是视觉警报。
38.根据示例36所述的系统，其中所述警报是音频警报。
39.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为构建所述用户的前方的环境的所述至少一部分的3D表示，并且解释所述环境的所述至少一部分的表示，所述环境的所述一部分包括患者，并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
40.根据以上任一示例所述的系统，进一步包括被配置为监视所述环境的一个或多个传感器。
41.根据示例40所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
42.根据示例41所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
43.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
44.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
45.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为在呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
46.根据示例45所述的系统，其中所述第一图像模态包括MRI扫描。
47.根据示例45至46中任一项所述的系统，其中所述第二图像模态包括超声波。
48.根据示例45至47中任一项所述的系统，其中所述第一图像模态包括x射线扫描。
49.根据以上任一示例所述的系统，进一步包括适于产生超声波的电子发射器。
50.根据以上任一示例所述的系统，进一步包括适于将超声波转换为电信号的传感器。
51.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为允许用户将所述用户的前方的所述环境的所述一部分上的虚拟基准标记放置到所述用户的眼睛。
52.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将图像投射到所述显示器上，使得所述图像看起来附着到所述环境中的真实世界对象上。
53.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示虚拟切割指导线，使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
54.根据示例53所述的系统，其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
55.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的环境的所述一部分中的对象的方位的数据。
56.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的环境的所述一部分中的对象的方位。
57.根据示例56所述的系统，其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点，并将图像投射到所述用户的眼睛中，使得所述图像看起来相对于所述参考点固定。
58.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而使对象的3D图像的视图绕轴旋转
59.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而平移3D对象的图像的视图。
60.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示对象的3D图像的第一切片。
61.根据示例60所述的系统，其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3D图像的第二切片的图像。
62.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像，使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
63.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
64.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为监测医疗参数并基于所述医疗参数提供警报。
65.根据示例64所述的系统，其中所述医疗参数包括生命体征。
66.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射超声波，并测量由所述超声波产生的信号，并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
67.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
68.根据示例21所述的系统，其中所述检测器阵列包括被配置为对所述环境进行成像的向外看的相机。
69.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的一位置，以便将相对于向所述中心区域的一部分呈现的图像内容而被削弱的图像内容呈现到所述用户的视野的所述外围区域的一部分。
70.根据以上任一示例所述的系统，其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的一位置，以便将相对于向所述用户的视野的所述外围区域的一部分呈现的图像内容而被削弱的图像内容呈现到所述外围区域的另一部分。
71.根据以上任一示例所述的系统，其中所述系统被配置为至少部分地基于所述环境的照明条件的时间方面而确定如何在所述用户的眼睛中呈现所述图像内容。
72.根据以上任一示例所述的系统，其中所述显示器被配置为以不同的发散量将光投射到所述用户的眼睛中，以便好像所述图像内容来自不同深度那样呈现所述图像内容。
73.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为至少在所呈现的图像内容的附近提供不透明度。
74.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
75.根据示例74的系统，其中所述第一图像模态和所述第二图像模态各自包括来自MRI、CT、PET、MRA或CTA扫描的图像。
76.根据示例74或75所述的系统，其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
示例集V
1.一种用于医疗和/或诊断的头戴式显示系统，其被配置为将光投射到用户的眼睛以显示增强现实图像内容，所述用户的眼睛具有视野，所述视野具有中心区域和被设置在所述中心区域周围的外围区域，所述头戴式显示器包括：
框架，其被配置为被支撑在所述用户的头部上；
显示器，其被设置在所述框架上，所述显示器被配置为在多个深度平面上将光投射到所述用户的眼睛中，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示器时被设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户的前方的所述环境的所述一部分的视图；以及
处理电子设备，其与所述显示器通信，以控制所述显示器上的图像内容的呈现。
2.根据示例1所述的系统，其中所述头戴式显示系统被配置为构建所述用户的前方的所述环境的所述至少一部分的3D表示，并且解释所述环境的所述至少一部分的表示，所述环境的所述一部分包括患者，并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
3.根据以上任一示例所述的系统，其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括一个或多个波导。
4.根据示例3所述的系统，包括被配置为将光引导到所述一个或多个波导中的一个或多个光源，所述波导被配置为将光引导到所述用户的眼睛中。
5.根据示例3至4中任一项所述的系统，其中所述一个或多个光源包括光纤扫描投影仪。
6.根据以上任一示例所述的系统，进一步包括被配置为监视所述环境的一个或多个传感器。
7.根据示例6所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
8.根据示例7所述的系统，其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
9.根据以上任一示例所述的系统，进一步包括距离测量设备。
10.根据以上任一示例所述的系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
11.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
12.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
13.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为在呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
14.根据示例13所述的系统，其中所述第一图像模态包括MRI扫描。
15.根据示例13至14中任一项所述的系统，其中所述第二图像模态包括超声波。
16.根据示例13至15中任一项所述的系统，其中所述第一图像模态包括x射线扫描。
17.根据以上任一示例所述的系统，进一步包括适于产生超声波的电子发射器。
18.根据以上任一示例所述的系统，进一步包括适于将超声波转换为电信号的传感器。
19.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为允许用户将所述用户的前方的环境的所述一部分上的虚拟基准标记放置到所述用户的眼睛。
20.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将图像投射到所述显示器上，使得所述图像看起来附着到所述环境中的真实世界对象上。
21.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示虚拟切割指导线，使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
22.根据示例21所述的系统，其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
23.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的所述环境的所述一部分中的对象的方位的数据。
24.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的环境的所述一部分中的对象的方位。
25.根据示例24所述的系统，其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点，并将图像投射到所述用户的眼睛中，使得所述图像看起来相对于所述参考点固定。
26.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而使对象的3D图像的视图绕轴旋转。
27.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为基于用户输入而平移3D对象的图像的视图。
28.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为显示对象的3D图像的第一切片。
29.根据示例28所述的系统，其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3D图像的第二切片的图像。
30.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像，使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
31.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
32.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为监测用户的医疗参数并基于所述医疗参数提供警报。
33.根据示例32所述的系统，其中所述用户的医疗参数包括生命体征。
34.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为发射超声波，并测量由所述超声波产生的信号，并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
35.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
36.根据以上任一示例所述的系统，进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
37.根据以上任一示例所述的系统，其中所述一个或多个光源包括光纤扫描投影仪。
38.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为朝向所述患者发射能量并感测返回的能量。
39.根据示例38所述的系统，其中所述能量包括超声波。
40.根据以上任一示例所述的系统，其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
41.根据示例40的系统，其中所述第一图像模态和所述第二图像模态各自包括来自MRI、CT、PET、MRA或CTA扫描的图像。
42.根据示例40或41所述的系统，其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
附图说明
图1A示出了用户通过AR设备观看的增强现实(AR)视图。
图1B示出了人的视野和能视域。
图1C-1和1C-2示出了中心视野和外围视野可包括的场景的哪些部分的第一人称视角。
图1D示出了人眼的横截面。
图1E和1F分别示出了典型人眼中的视锥细胞和视杆细胞的相对密度和分辨率。
图1G示出了在不同照明条件下的视觉功能。
图2示出了可穿戴显示系统的示例。
图3示出了用于为用户模拟三维图像的传统显示系统。
图4示出了使用多个深度平面模拟三维图像的方法的方面。
图5A至5C示出了曲率半径与焦半径之间的关系。
图6示出了用于将图像信息输出给用户的波导堆叠的示例。
图7示出了由波导输出的出射光束的示例。
图8示出了堆叠波导组件的示例，其中，每个深度平面包括使用多种不同组分颜色形成的图像。
图9A示出了堆叠波导组的示例的横截面侧视图，每个堆叠波导包括耦入(incoupling)光学元件。
图9B示出了图9A的多个堆叠波导的示例的透视图。
图9C示出了图9A和图9B的多个堆叠波导的示例的俯视平面图。
图10A示出了包括环境和用户传感器的增强现实系统的各种部件的示例的示意图。
图10B示出了包括环境和用户传感器的增强现实系统的各种部件的另一示例的示意图。
图11A是示出用于加强环境的图像内容的用户视图的方法的示例的流程图。
图11B是示出用于加强环境的图像内容的用户视图的方法的另一示例的流程图。
图12A是示出用于图像修改的方法的示例的流程图。
图12B示出了本文中描述的一些实施例的示例应用。
图12C示出了基于位置的图像修改的示例。
图13A是可穿戴系统的示例的框图。
图13B是渲染与所识别的对象有关的虚拟内容的方法的示例的过程流程图。
图13C是可穿戴系统的另一示例的框图。
图14是示出用于至少部分地基于用户意图改变对用户视野内的真实或虚拟对象的用户感知的方法的示例的流程图。
具体实施方式
眼睛是复杂的器官，其收集并感测来自我们的环境的反射光和发射光以提供有用信息，例如我们周围的对象的形状、特征和位置。提高我们用眼睛感知对象的能力可以帮助我们对各种努力的追求。提高的视力特别有益的一个示例是对于医疗从业者，例如进行诸如手术、诊断和/或治疗的医疗工作的外科医生。提高的视力也对需要集中精力的日常任务(例如操作机动车辆或其它交通工具)有所帮助。
在任何给定时刻，人对世界或其周围环境的观察是由具有中心区域和外围区域的视野表征。当人四处移动，移动他们的头部，或移动他们的眼睛或注视时，该视野可以改变。图1B示出了这种包括中心区域和外围区域的视野1755。图1B还示出了能视域(field ofregard)1765，其包括能够被人60感知(例如，通过转动其头部或重定向其注视)的人60周围的环境的一部分。人60的眼睛的视野1755的中心部分可以被称为中心视野1745。在视野1755内但在中心视野1745之外的区域可以被称为外围视野。
中心视野将向人提供环境视图的中心区域中的对象的对应视图。类似地，外围视野将向人提供环境视图的外围区域中的对象的对应视图。在这种情况下，什么被视为中心以及什么被视为外围，这取决于人正在观看的方向，因此取决于他们的视野。
图1C-1和1C-2示出了中心视野和外围视野可包括的场景部分的第一人称视角。例如，图1C-1示出了人可以在他或她的视野1755中看到的内容的示例。视野1755可以包括对象1721、1722。如图1C-2所示，中心视野1745包括对象1721，而图1C-1中示出的另一对象1722处于外围视野(例如，阴影区域)中。
如图1D所示，示出了人眼1100的示意性横截面视图，其中包括角膜42、虹膜44、水晶体或“晶状体”46、巩膜48、脉络膜层50、黄斑52、视网膜54，以及到大脑的视神经通路56。角膜42和晶状体46将光折射并聚焦到视网膜54。黄斑52是视网膜54的中心。黄斑52的中心处是视网膜54的被称为“中央凹”的部分。视网膜54包含被称为视锥细胞和视杆细胞的感光细胞。在视网膜54的内表面附近是神经节细胞，其接收来自视锥细胞和视杆细胞的视觉信息并将该视觉信息传递到大脑。视觉信息可以包括用于形成图像的信息。
中央凹包含比视网膜54的任何其它部分都多的感光细胞(每视度(visualdegree)约120个视锥细胞)。图1E示出了典型人眼中视锥细胞和视杆细胞的相对密度，这些密度是作为从视网膜中心偏离的角度(例如，从通过眼睛晶状体到视网膜中心的光轴测量)的函数而被绘制。图1E示出视锥细胞的相对密度1852在视网膜中心(例如，中央凹)处最高，并且在从该中心偏离若干度之后显著降低。相比而言，在中心处基本上没有视杆细胞，但视杆细胞的密度1856在从中心偏离若干度之后显著增加并且在视网膜上降低。
图1F示出了视网膜上相同角度光谱上的视锥细胞和视杆细胞的相对分辨率。如图1F所示，类似于视锥细胞的密度，视锥细胞的分辨率1842在中央凹处最高，并且随着从中央凹偏离的角度的增加而下降。类似于视杆细胞的密度，视杆细胞1846的分辨率首先增加，然后逐渐降低。
由于中央凹位于眼睛中心，因此中心视野落在中央凹上。视锥细胞通常负责颜色(例如，l视锥细胞或长波长敏感视锥细胞可用于红色波长，m视锥细胞或中波长敏感视锥细胞可用于绿色波长，s视锥细胞或短波长敏感视锥细胞可以用于蓝色波长)和空间分辨率。视杆细胞对颜色不敏感，通常负责基本空间分辨率(例如，用于检测形状和移动)。由于中央凹包含最高密度的视锥细胞，因此它为位于人的中心视野中的对象提供高分辨率。当移动远离中央凹时，视锥细胞密度减小，位于人的外围视野(例如，从近外围视野到远外围视野)中的对象的分辨率也是如此。由于视锥细胞密度从中央凹开始减小，因此与中心视野相比，外围视野通常会与差图像质量相关联。然而，可能希望使人眼以中心视野(例如，图1B中的1745)中的对象为中心，并且还能够看到外围视野中的对象。
因此，本文描述的显示系统的各种实施例可以有利地提供用户的外围视野中的一个或多个对象的改善的用户视图。例如，某些实施例可以允许用户关注于用户的中心视野中的一个对象，并且同时以增加的可见性观看位于用户的外围视野中的另一对象。作为示例，在典型的手术设置中，外科医生或者将注意力集中在患者身上，或者集中于距手术台一定距离的医学图像上。外科医生可能在这两者之间来回移动他或她的眼睛(和/或头部)，使得患者和医学图像中的一者位于外科医生的中心视野中，而另一者以较低分辨率位于外科医生的外围视野中(甚至可能在外科医生的视野之外)。在本文描述的各种实施例中，显示系统可以呈现图像内容，使得外科医生可以以足够的视敏度(例如足够的分辨率)同时看到患者和医学图像二者。例如，一些实施例可以被配置为呈现医学图像的增强或虚拟图像，该图像被加强或移动为更接近患者。一些这样的实施例可以缩短在患者与医学图像之间转移注意力所花费的时间，从而允许花费更多时间来观察患者和向患者提供医疗照顾。本文描述的各种实施例还可以有利地提供用户的中心视野中的一个或多个对象的改善的用户视图。例如，一些实施例可以被配置为提供灰色背景以相对于手术部位和/或医学图像而削弱房间的其余部分。
有三种不同类型的视觉：明视、间视和暗视。明视、间视和暗视分别是在相对明亮(例如，在某些情况下10至108cd/m2)、中度明亮(例如，在某些情况下10-3cd/m2至100.5cd/m2)和低光(例如，在某些情况下10-3.5cd/m2至10-6cd/m2)条件下的眼睛视觉。例如，根据环境光发光度，可以激活视锥细胞、视杆细胞或它们两者。视锥细胞和视杆细胞可以是反向相关的，因为它们在不同的照明条件下被激活。如图1G所示，视锥细胞在高光条件下被激活，而视杆细胞在低光条件下被激活。因此，对于明视，主要使用视锥细胞，而对于暗视，主要使用视杆细胞。间视同时使用视锥细胞和视杆细胞。由于视敏度可取决于视锥细胞和/或视杆细胞的分辨率或密度，视敏度也可以是发光度水平的函数。因此，本文描述的各种实施例可以包括一个或多个捕获设备(例如，一个或多个相机、光传感器、照度计等)以捕获照明条件和/或可以至少部分地基于照明条件而呈现或修改(例如，加强、削弱、移动等)图像内容的至少一部分。
当明视变为间视时，视杆细胞变得更加活跃，但不一定呈线性关系。例如，该关系可以取决于在黑暗环境中度过的时间。环境越暗，从视锥细胞活跃到视杆细胞活跃的过渡就可以越快。当暗视变为间视时，可发生相反的情况。通过监测时间、发光度水平和发光度水平变化，可以确定所利用的视锥细胞和/或视杆细胞的量。因此，本文描述的各种实施例可以包括一个或多个定时装置(例如，一个或多个时钟或定时器)以监视时间，和/或可以至少部分地基于照明条件和/或至少部分地基于照明条件中的时间来呈现或修改(例如，加强、削弱、移动等)图像内容的至少一部分。
虽然不限于医疗情境，但是本文描述的某些实施例可以针对医学成像、显示和可视化实现。例如，医疗服务专业人员所提供的医疗服务对他们的身心能力要求很高。这些专业人员例如可以包括医生、外科医生、护士、技师、牙医、眼科医生、家庭医疗服务提供者、临床医生和/或其它医疗护理提供者。在许多情况下，医疗护理的需求需要快速反应和精确动作。医疗情境以外的专业人员(例如，运动员、机械师和厨师)也可受益于本文所述的各种实施例。此外，具有需要使用人手同时需要来自多个位置的信息的职业和爱好的人可受益于本文公开的方法和系统。此外，本文描述的各种实施例可用于日常活动，例如需要用户聚精会神和集中注意力的任务，如操作机动车辆或其它交通工具。
有利地，在一些实施例中，本文公开的增强现实(AR)显示系统可以被配置为帮助医疗护理提供者进行他们的工作(例如，在用户的外围视野和/或中心视野中提供一个或多个对象的加强的用户视图)。AR系统可以向用户或观看者显示虚拟内容，同时仍然允许用户看到其周围的世界。优选地，该内容在头戴式显示器(例如作为眼镜的一部分)上显示，头戴式显示器将图像信息投射到用户的眼睛。另外，显示器还可以将来自周围环境的光透射到用户的眼睛，以允许观察该周围环境。如本文所使用的，应当理解，“头戴式”显示器是可以安装在观看者头部上的显示器。
穿戴诸如本文所述的头戴式增强现实显示系统或设备的人可通过透明光学器件(例如，窗口、透镜、波导等)被提供外部世界或环境的视图，透明光学器件允许来自外部环境中的对象的光穿过透明光学器件而传递到用户的眼睛，从而外部环境中的这些对象可以被直接看到。当通过头戴式显示器的透明元件直接观看外部世界时，佩戴着头戴式增强现实显示器的人具有视野，例如图1B所示。AR系统还可以另外向佩戴着头戴式显示器的用户呈现图像，例如通过将来自调制光源的光投射到用户的眼睛中。这些图像可以被称为“虚拟”图像，因为这些“虚拟”图像是由显示器产生的，而不是来自外部世界中的对象的光(该光穿过头戴式显示器的透明元件而到达眼睛以在视网膜上形成对象的图像)。
如下面进一步讨论的，许多VR、AR和MR显示设备在显示图像信息时受到调节-聚散(accommodation-vergence)不匹配的影响。这种不匹配可能引起用户不适并且无法长期穿戴设备。有利地，根据本文的实施例的显示设备通过除别的手段之外提供用户的调节和聚散之间的正确匹配而允许长期穿戴设备。因此，该设备的用户能够基本上连续地穿戴和使用该设备3小时或更长时间、4小时或更长时间、5小时或更长时间、6小时或更长时间、或全天，而无需持续超过25％、超过20％、超过15％、超过10％或超过5％的时间移除该设备。在一些实施例中，显示设备可以在上述持续时间内基本上连续地显示增强现实图像。
本文公开的显示系统的可穿戴性和该可穿戴性的长期性质以及显示系统(包括传感部件)与用户的紧密接近有利地促进了在医疗过程和治疗之前、期间和之后对显示系统或设备的使用。在一些实施例中，显示系统可以被配置为在用户视野中提供真实世界对象(例如，用户前方环境中的有形对象等)的图像。在某些实施例中，显示系统可以为观看者将真实世界对象的图像渲染为加强图像。加强图像例如可以包括由光源投射到眼睛中的图像，这些图像已经相对于在穿戴着头戴式显示器的用户前方的环境中的实际真实世界对象的图像和/或相对于由显示器提供的其它图像和/或相对于穿戴着头戴式显示器的用户前方的环境中的其它对象，提升了放大率、在用户视野中的位置、深度平面分配、颜色饱和度、对比度、亮度、锐度、测量比例、白平衡、阴影、高亮、相对于用户的图像取向、颜色或阴影平衡和/或清晰度。例如，显示系统可以被配置为识别真实世界中的对象并显示该对象的放大图像。在各种实施例中，显示系统可被配置为与通过头戴式显示器的透明光学元件(窗口、透镜、波导)观看前方环境中的对象的用户的视野中的图像的其它部分或其它对象相比，放大该图像的一部分。
在一些实施例中，显示系统可以被配置为确定对象看起来相对于用户的近似距离。在某些实施例中，显示系统可以至少部分地基于该近似确定的距离而在一深度场处渲染对象的图像。应当理解，显示系统可以为每只眼睛显示视觉内容，并且可以改变各种视觉参数，包括视觉内容的位置、显示该内容的深度平面、暴露于视觉内容的持续时间等。通过改变视觉内容和这些视觉参数，真实世界对象可以以各种方式被显示系统渲染，如本文所述。在一些实施例中，显示系统可以改变用于环境中的其它对象和/或用于周围环境的视觉内容的各种视觉参数。
人类视觉系统不是被动传感器类型的系统；它被配置为主动扫描环境。以在某种程度上类似于使用平板扫描仪捕获图像或者使用手指从纸上读取布莱叶盲文的方式，眼睛的感光细胞响应于刺激的变化而激发(fire)，而不是不断地对恒定的刺激状态做出响应。
如本文所讨论的，大脑的视觉皮层从双眼及其部件相对于彼此的运动中获得有价值的感知信息。而且，容纳眼睛的头部的移动也对对象的可视化具有关键影响。人类移动他们的头来使其周围的世界可视化；他们通常处于相对于感兴趣的对象重定位和重定向头部的相当恒定的状态。此外，大多数人在他们的眼睛注视需要偏离中心移动超过约20度以聚焦于特定对象时喜欢移动他们的头部(例如，人们通常不喜欢从眼角看东西)。人类通常还会根据声音扫动或移动他们的头部——以改善音频信号捕获并利用与头部相关联的耳朵的几何形状。人类视觉系统从所谓的“头部运动视差”获得有力的深度线索，“头部运动视差”作为头部运动和眼睛聚散距离的函数而与不同距离处的对象的相对运动有关(即，如果人左右移动他的头部并保持注视着对象，则距该对象更远的物体将在与头部相同的方向上移动；在该对象前面的事物将与头部运动相反地移动；这些对于事物相对于人在环境中在空间上位于哪里是非常显著的线索——可能与立体观测一样有力)。当然，头部运动也被用于环视对象。
然而，在用户需要提高关注度(focus)、专注度(concentration)和/或注意力的情形下(例如，在手术或驾驶汽车期间)，用户对头部运动的依赖可能是不利的。在这些情形下，用户可能会发现有帮助的做法是使图像更方便地呈现(例如，针对用户个性化)或使图像加强(诸如放大)，更集中地例如更靠近用户的中心视野或更靠近光轴和/或中央凹，或者采取其它方式，如本文所述。用户还可能发现使可能分心的内容被削弱(例如缩小尺寸或移动到外围区域)是有帮助的。
在一些实施例中，显示系统在多个深度平面上显示图像的能力可以有利地被应用于确定观看者正在感知多个图像中的哪一个或对多个图像中的哪一个作出反应，并且有利地不需要直接用户输入或不需要复杂的外部仪器来测量大脑活动。例如，真实世界图像可以在显示系统的不同深度平面上被渲染，并且可以测量用户眼睛的调节和/或聚散(例如，使用显示设备上的眼睛跟踪相机)。应当理解，观看者感知的不同深度平面上的图像将使眼睛采取不同的调节和/或聚散状态。因此，可通过确定以下项来推断用户所感知的图像：1)用户眼睛的调节和/或聚散状态；2)调节和/或该聚散状态与图像或所显示的图像的深度平面的匹配。然后，将与所测量的用户的调节和/或聚散状态对应的图像解释为用户所感知的图像。在一些实施例中，图像可以在广泛地迥然不同的深度平面(例如，由显示系统输出的最近深度平面和无限远)上显示，以增加图像之间的调节和/或聚散状态的预期差异。在一些实施例中，还可以测量用户注视图像的持续时间(例如，用户眼睛采取特定调节和/或聚散状态的时长)，以推断用户是否正在主动感知特定图像，或者调节和/或聚散状态的变化是否例如是无意识的反射。将理解，这种用于检测用户感知的方案可以用于各种感知测试，包括但不限于与竞争、支配和/或抑制、后向掩蔽和前向掩蔽相关的测试。
如上所述，能视域包括能够被用户感知的用户周围环境的一部分。因此，对于穿戴着头戴式增强现实设备(ARD)的用户而言，能视域可以包括围绕穿戴者的基本上全部4π球面立体角，因为穿戴者可以移动他或她的身体、头部或眼睛以感知空间中的基本任何方向。在其它情境中，用户的移动可能更加受限，因此用户的能视域可以对着较小的立体角。
在图1B中，能视域1765可以包含能够被穿戴着AR系统的用户感知的一组对象(例如，对象1721、1722、1727)。在一些实施例中，对象1729可以在通过头戴式显示器的透明光学器件观看的用户的视野之外，但是仍然可能被AR系统上的至少一个传感器(例如，相机)感知(取决于它们的位置和视野)并向用户60显示。
AR系统可以将虚拟元素添加到通过头戴式显示器的透明光学器件观看的现有物理对象上，从而允许用户与物理对象进行交互。例如，AR系统可以添加与房间中的医疗监测器相关联的虚拟菜单，其中虚拟菜单可以向用户提供使用AR系统打开或调整医学成像设备或进行剂量控制的选项。
因此，除了用户前方环境中的对象的虚拟图像之外，显示器还可以向穿戴者呈现附加的虚拟图像内容。虚拟对象例如可以包括操作系统对象，例如用于输入命令的终端、用于访问文件或目录的文件管理器、图标、菜单、音频或视频流应用、来自操作系统的通知等。虚拟对象可以还包括应用中的对象，例如化身、游戏中的虚拟对象、图形或图像等。一些虚拟对象可以既是操作系统对象也是应用中的对象。
视野1755可包含多个对象(例如，对象1721、1722)。视野1755可以取决于AR系统的尺寸或光学特性，例如头戴式显示器的透明窗口或透镜的透明孔径尺寸，其中光通过该透明窗口或透镜从用户前方的真实世界传递到用户的眼睛。在一些实施例中，随着用户60的姿势(例如，头部姿势、身体姿势和/或眼睛姿势)改变，视野1755可以相应地改变，并且视野1755内的对象也可能改变。如本文所述，AR系统可以包括传感器，例如监视能视域1765中的对象以及视野1755中的对象，或者对所述对象进行成像的相机。在一些这样的实施例中，AR系统可以向用户警告未被注意的对象、或在用户视野1755中发生和/或在用户视野之外但在能视域1765内发生的事件。在一些实施例中，AR系统还可以区分用户60关注或不关注的内容。
图2示出了可穿戴显示系统80的示例。显示系统80包括显示器62，以及支撑该显示器62的功能的各种机械和电子模块和系统。显示器62可以被耦接到框架64，该框架可由显示系统用户或观看者60穿戴，并且被配置为将显示器62定位在用户60的眼睛前方。在一些实施例中，显示器62可以被视为眼镜。在一些实施例中，扬声器66被耦接到框架64并且被定位在用户60的耳道附近(在一些实施例中，另一扬声器(未示出)被定位在用户的另一耳道附近以提供立体/可塑形的声音控制)。在一些实施例中，显示系统还可以包括一个或多个麦克风67或其它检测声音的设备。在一些实施例中，麦克风被配置为允许用户向系统80提供输入或命令(例如，语音菜单命令的选择、自然语言问题等)和/或可以允许与其它人(例如，与类似显示系统的其他用户)进行音频通信。麦克风还可以被配置为外围传感器以连续收集音频数据(例如，以被动地从用户和/或环境收集)。这种音频数据可以包括用户声音(诸如重呼吸)或环境声音(诸如指示附近事件的巨响)。显示系统还可以包括外围传感器30a，其可以与框架64分离并且被附接到用户60的身体(例如，在用户60的头部、躯干、四肢等上)。如本文进一步描述的，在一些实施例中，外围传感器30a可以被配置为获取关于用户60的数据。
继续参考图2，显示器62通过通信链路68(例如通过有线引线或无线连接)可操作地耦接到本地数据处理模块70，本地数据处理模块70可以以各种配置被安装，例如固定地附接到框架64，固定地附接到用户所戴的头盔或帽子，嵌入耳机中，或以其它方式可移除地附接到用户60(例如，采取背包式配置，采取腰带耦接式配置)。类似地，传感器30a可通过通信链路30b(例如通过有线引线或无线连接)可操作地耦接到本地处理和数据模块70。本地处理和数据模块70可以包括硬件处理器，以及数字存储器，诸如非易失性存储器(例如，闪速存储器或硬盘驱动器)，这两者都可被用于辅助数据的处理、缓存和存储。这些数据包括：a)从传感器(其例如可以可操作地耦接到框架64或以其它方式附接到用户60)捕获的数据，这些传感器例如为图像捕获设备(如相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电设备、陀螺仪、深度传感器、双目世界相机对、地理定位传感器、接近传感器和/或此处公开的其它传感器；和/或b)使用远程处理模块72和/或远程数据储存库74获取和/或处理的数据(包括与虚拟内容相关的数据)，这些数据可能在被这样的处理或检索之后被传送到显示器62。本地处理和数据模块70可以通过通信链路76、78(诸如经由有线或无线通信链路)可操作地耦接到远程处理模块72和远程数据储存库74，使得这些远程模块72、74可操作地彼此耦接，并且作为资源可用于本地处理和数据模块70。在一些实施例中，本地处理和数据模块70可以包括图像捕获设备、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电设备、陀螺仪、深度传感器、双目世界相机对、地理定位传感器、接近传感器等中的一者或多者。在一些其它实施例中，这些传感器中的一者或多者可以附接到框架64，或者可以是通过有线或无线通信路径与本地处理和数据模块70通信的独立结构。
继续参考图2，在一些实施例中，远程处理模块72可以包括被配置为分析和处理数据和/或图像信息的一个或多个处理器。在一些实施例中，远程数据储存库74可以包括数字数据存储设施，该设施可以通过因特网或“云”资源配置中的其它网络配置获得。在一些实施例中，远程数据储存库74可以包括一个或多个远程服务器，这些服务器向本地处理和数据模块70和/或远程处理模块72提供信息，例如用于生成增强现实内容的信息。在一些实施例中，所有数据都被存储，所有计算都在本地处理和数据模块中被执行，允许从远程模块完全自主地使用。
可以通过向观看者的每只眼睛提供略微不同的图像呈现来实现将图像感知为“三维的”或“3D”。图3示出了用于模拟用户的三维图像的传统显示系统。向用户输出两个不同图像5、7，其中每个图像针对一只眼睛4、6。图像5、7沿着平行于观看者视线的光轴或z轴而与眼睛4、6相隔一距离10。图像5、7是平坦的，眼睛4、6可以通过假设单个调节状态而聚焦在这些图像上。这样的系统依赖于人类视觉系统来组合图像5、7以为组合图像提供深度感和/或缩放。
然而，应当理解，人类视觉系统更复杂，并且提供逼真的深度感更具挑战性。例如，传统的“3-D”显示系统的许多观看者发现这样的系统不舒服或者根本不能感知到深度感。不受理论的限制，据信对象的观看者可由于聚散和调节的组合而将对象感知为“三维的”。两只眼睛相对于彼此的聚散运动(例如，眼睛的转动使得瞳孔朝向彼此或远离彼此运动以使眼睛的视线会聚以注视在对象上)与眼睛的晶状体和瞳孔的聚焦(或者调节)密切相关。在正常情况下，改变眼睛的晶状体的焦点或调节眼睛，以将焦点从一个对象改变到不同距离处的另一对象将根据被称为“调节-聚散反射”的关系以及瞳孔扩张或收缩而自动导致与同一距离匹配的聚散度变化。同样，在正常条件下，聚散度的变化将触发晶状体形状和瞳孔大小的匹配的调节变化。如本文所指出的，许多立体或“3-D”显示系统使用略微不同的呈现(以及，因此略微不同的图像)向每只眼睛显示场景，使得人类视觉系统感知到三维透视。然而，这样的系统对于许多观看者来说是不舒服的，因为它们除了其余内容之外简单地提供场景的不同呈现，而眼睛在单个调节状态下观看所有图像信息，并且违反“调节-聚散反射”起作用。在调节和聚散之间提供更好匹配的显示系统可以形成更逼真和舒适的三维图像模拟，从而有助于增加穿戴持续时间，进而遵从诊断和治疗协议。
图4示出了使用多个深度平面模拟三维图像的方法的各方面。参考图4，z轴上距眼睛4、6不同距离处的对象由眼睛4、6调节，以使这些对象焦点对准(in focus)。眼睛(4和6)呈现特定的调节状态，以使沿着z轴的不同距离处的对象进入焦点。因此，可以说特定的调节状态与深度平面14中的特定一个深度平面相关联，该特定深度平面具有相关联的焦距，以使得当眼睛处于针对该深度平面的调节状态时，特定深度平面中的对象或对象的部分焦点对准。在一些实施例中，可以通过为每只眼睛4、6提供图像的不同呈现来模拟三维图像，并且还可以通过提供与深度平面中每一个深度平面对应的图像的不同呈现来模拟三维图像。尽管为了清楚说明而示出为分离的，但应理解，例如，随着沿着z轴的距离增加，眼睛4、6的视野可以重叠。另外，尽管为了便于说明而示出为平坦的，但是应当理解，深度平面的轮廓可以在物理空间中弯曲，使得深度平面中的所有特征在眼睛处于特定调节状态时焦点对准。
对象与眼睛4或6之间的距离也可以改变来自该眼睛所看到的对象的光的发散量。图5A至5C示出了距离和光线发散之间的关系。对象与眼睛4之间的距离按照递减的次序由距离R1、R2和R3表示。如图5A至5C所示，随着到对象的距离减小，光线变得更加发散。随着距离的增加，光线变得更加准直。换句话说，可以说，由点(对象或对象的一部分)产生的光场具有球面波前曲率，其是该点距用户眼睛的距离的函数。随着对象与眼睛4之间的距离减小，曲率增大。因此，在不同的深度平面处，光线的发散度也不同，发散度随着深度平面与观看者眼睛4之间的距离的减小而增大。尽管为了在图5A至5C和本文中的其它图中清楚地说明而仅示出单只眼睛4，但是应当理解，关于眼睛4的讨论可以应用于观看者的双眼4和6。
不受理论的限制，据信人类眼睛通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个深度平面对应的图像(例如，场景)的不同呈现，可以实现感知深度的高度可信的模拟。不同的呈现可以由观看者的眼睛单独聚焦，从而有助于基于使位于不同深度平面上的场景的不同图像特征进入焦点所需的眼睛调节和/或基于观察到在不同深度平面上的不同图像特征的焦点没对准，为用户提供深度线索。
图6示出了用于将图像信息输出给用户的波导堆叠的示例。显示系统1000包括波导堆叠或堆叠波导组件178，其可用于使用多个波导182、184、186、188、190向眼睛/大脑提供三维感知。在一些实施例中，显示系统1000是图2的系统80，图6更详细地示意性地示出了该系统80的一些部分。例如，波导组件178可以是图2的显示器62的一部分。将理解，在一些实施例中，显示系统1000可以被视为光场显示器。
继续参考图6，波导组件178还可以包括位于波导之间的多个特征198、196、194、192。在一些实施例中，特征198、196、194、192可以是一个或多个透镜。波导182、184、186、188、190和/或多个透镜198、196、194、192可以被配置为以各种水平的波前曲率或光线发散度向眼睛发送图像信息。每个波导级可以与特定深度平面相关联，并且可以被配置为输出对应于该深度平面的图像信息。图像注入装置200、202、204、206、208可以用作波导的光源，并且可用于将图像信息注入到波导182、184、186、188、190中，如本文所述，每个波导可以被配置为将入射光分配穿过每个相应的波导以朝着眼睛4输出。光从图像注入装置200、202、204、206、208的输出表面300、302、304、306、308出射，并且注入到波导182、184、186、188、190的相应输入表面382、384、386、388、390中。在一些实施例中，输入表面382、384、386、388、390中的每一者可以是相应波导的边，或者可以是相应波导的主表面(即，直接面向世界144或观看者眼睛4的波导表面中的一者)的一部分。在一些实施例中，可以将单个光束(例如准直光束)注入到每个波导中，以便以与特定波导相关联的深度平面对应的特定角度(和发散量)输出朝向眼睛4定向的克隆准直光束的整个视野。在一些实施例中，图像注入装置200、202、204、206、208的一者可以与多个波导182、184、186、188、190(例如，其中的三个)相关联并将光注入到这些波导中。
在一些实施例中，图像注入装置200、202、204、206、208是离散显示器，每个离散显示器分别产生用于注入到对应的波导182、184、186、188、190中的图像信息。在一些其它实施例中，图像注入装置200、202、204、206、208是单个多路复用显示器的输出端，例如，多路复用显示器可以经由一个或多个光学导管(例如，光纤光缆)将图像信息通过管道传输到图像注入装置200、202、204、206、208中的每一者。将理解，由图像注入装置200、202、204、206、208提供的图像信息可以包括不同波长或颜色的光(例如，如本文所讨论的不同的组分颜色)。
在一些实施例中，注入到波导182、184、186、188、190中的光由光投射器系统2000提供，光投射器系统2000包括光模块2040，光模块2040可以包括光发射器，例如发光二极管(LED)。来自光模块2040的光可以经由分束器2050而被引导到光调制器2030(例如，空间光调制器)以及被光调制器2030修改。光调制器2030可以被配置为改变注入到波导182、184、186、188、190中的光的感知强度。空间光调制器的示例包括液晶显示器(LCD)，其包括硅上液晶(LCOS)显示器。
在一些实施例中，显示系统1000可以是包括一个或多个扫描光纤的扫描光纤显示器，扫描光纤被配置为以各种图案(例如，光栅扫描、螺旋扫描、利萨如图案等)将光投射到一个或多个波导182、184、186、188、190中并最终投射到观看者的眼睛4。在一些实施例中，所示的图像注入装置200、202、204、206、208可示意性地表示单个扫描光纤或扫描光纤束，单个扫描光纤或扫描光纤束被配置为将光注入到一个或多个波导182、184、186、188、190中。在一些其它实施例中，所示的图像注入装置200、202、204、206、208可以示意性地表示多个扫描光纤或多个扫描光纤束，这些扫描光纤或扫描光纤束中的每一者被配置为将光注入到波导182、184、186、188、190中关联的一者中。应当理解，一个或多个光纤可以被配置为将光从光模块2040传输到一个或多个波导182、184、186、188、190。应当理解，可以在一个或多个扫描光纤与一个或多个波导182、184、186、188、190之间提供一个或多个居间光学结构，以例如将从扫描光纤出射的光重定向到一个或多个波导182、184、186、188、190中。
控制器210控制堆叠波导组件178中的一者或多者的操作，包括图像注入装置200、202、204、206、208、光源2040和光调制器2030的操作。在一些实施例中，控制器210是本地数据处理模块70的一部分。控制器210包括编程(例如，非暂时性介质中的指令)，该编程根据例如本文公开的各种方案中的任何方案，调节定时和向波导182、184、186、188、190的图像信息提供。在一些实施例中，控制器可以是单个集成设备，或者是通过有线或无线通信信道连接的分布式系统。在一些实施例中，控制器210可以是处理模块70或72(图2)的一部分。
继续参考图6，波导182、184、186、188、190可以被配置为通过全内反射(TIR)在每个相应的波导内传播光。波导182、184、186、188、190可以各自是平面的或具有另一形状(例如，弯曲的)，具有顶部主表面和底部主表面以及在这些顶部主表面和底部主表面之间延伸的边缘。在所示的配置中，波导182、184、186、188、190可各自包括耦出(outcoupling)光学元件282、284、286、288、290，这些元件被配置为通过重定向光来从波导中提取光，在各自对应的波导内部传播，从波导出射以将图像信息输出到眼睛4。所提取的光也可以被称为耦出光，而耦出光学元件光也可以被称为光提取光学元件。在波导中传播的光照射到光提取光学元件的位置处，所提取的光束由波导输出。如本文进一步讨论的，耦出光学元件282、284、286、288、290可以例如是光栅，光栅包括衍射光学特征。虽然为了便于描述和描绘清楚而被示出为设置在波导182、184、186、188、190的底部主表面处，但是在一些实施例中，如本文进一步所讨论的，耦出光学元件282、284、286、288、290可以被设置在顶部和/或底部主表面处，和/或可以被直接设置在波导182、184、186、188、190的体中。在一些实施例中，耦出光学元件282、284、286、288、290可以被形成在附接到透明基板的材料层中，以形成波导182、184、186、188、190。在一些其它实施例中，波导182、184、186、188、190可以是单片材料，且耦出光学元件282、284、286、288、290可以被形成在该片材料的表面上和/或内部中。
继续参考图6，如本文所讨论的，每个波导182、184、186、188、190被配置为输出光以形成对应于特定深度平面的图像。例如，最靠近眼睛的波导182可以被配置为将注入到这种波导182中的准直光传送到眼睛4。准直光可以代表光学无限远焦平面。下一个上行波导184可以被配置为将穿过第一透镜192(例如，负透镜)的准直光在其可以到达眼睛4之前发送出；这样的第一透镜192可以被配置为产生微凸的波前曲率，使得眼睛/大脑将来自下一个上行波导184的光解释为来自第一焦平面，该第一焦平面从光学无限远处更靠近向内朝向眼睛4。类似地，第三上行波导186使其输出光在到达眼睛4之前通过第一透镜192和第二透镜194；第一透镜192和第二透镜194的组合光焦度(optical power)可被配置为产生另一增量的波前曲率，以使得眼睛/大脑将来自第三波导186的光解释为来自第二焦平面，该第二焦平面从光学无穷远比来自下一个上行波导184的光更靠近向内朝向人。
其它波导层188、190和透镜196、198被类似地配置，其中堆叠中的最高波导190通过其与眼睛之间的所有透镜发送其输出，以获得代表与人最接近的焦平面的聚合焦度(aggregate focal power)。为了在观看/解释来自堆叠波导组件178的另一侧上的世界144的光时补偿透镜堆叠198、196、194、192，可以在堆叠的顶部设置补偿透镜层180以补偿下面的透镜堆叠198、196、194、192的聚合焦度。这种配置提供与可用的波导/透镜配对一样多的感知焦平面。波导的耦出光学元件和透镜的聚焦方面都可以是静态的(即，不是动态的或电活性的)。在一些替代实施例中，它们中的一者或全部两者可以是使用电活性特征而动态的。
在一些实施例中，波导182、184、186、188、190中的两者或更多者可具有相同的相关深度平面。例如，多个波导182、184、186、188、190可以被配置为将图像集输出到相同的深度平面，或者波导182、184、186、188、190的多个子集可以被配置为将图像集输出到相同的多个深度平面，每个深度平面一个图像集。这可以提供形成平铺图像以在那些深度平面处提供扩展的视野的优势。
继续参考图6，耦出光学元件282、284、286、288、290可以被配置为将光重定向到它们相应的波导之外并且针对与该波导相关联的特定深度平面输出具有适当的发散量或准直量的该光。结果，具有不同相关联深度平面的波导可具有不同的耦出光学元件282、284、286、288、290的配置，这些耦出光学元件依赖于相关联的深度平面而输出具有不同发散量的光。在一些实施例中，光提取光学元件282、284、286、288、290可以是体或表面特征，其可以被配置为以特定角度输出光。例如，光提取光学元件282、284、286、288、290可以是体全息图、表面全息图和/或衍射光栅。在一些实施例中，特征198、196、194、192可以不是透镜；相反，它们可以简单地是间隔物(例如，包层和/或用于形成气隙的结构)。
在一些实施例中，耦出光学元件282、284、286、288、290是形成衍射图案的衍射特征，或“衍射光学元件”(在本文中也被称为“DOE”)。优选地，DOE具有足够低的衍射效率，以使得光束的仅一部分光通过DOE的每一个交点而偏转向眼睛4，而其余部分经由全内反射而继续移动通过波导。携带图像信息的光因此被分成多个相关的出射光束，这些出射光束在多个位置处离开波导，并且结果对于在波导内反弹的该特定准直光束是朝向眼睛4的相当均匀图案的出射发射。
在一些实施例中，一个或多个DOE可以在它们活跃地衍射的“开”状态与它们不显著衍射的“关”状态之间可切换。例如，可切换的DOE可以包括聚合物分散液晶层，其中微滴在主体介质中包含衍射图案，并且微滴的折射率可以被切换为基本上匹配主体材料的折射率(在这种情况下，图案不会明显地衍射入射光)，或者微滴可以被切换为与主体介质的折射率不匹配的折射率(在这种情况下，该图案活跃地衍射入射光)。
在一些实施例中，可提供相机组件500(例如，数字相机，包括可见光和红外光相机)以捕获眼睛4和/或眼睛4周围的组织的图像，从而例如检测用户输入。如本文所使用的，相机可以是任何图像捕获设备。在一些实施例中，相机组件500可以包括图像捕获设备和光源，以将光(例如，红外光)投射到眼睛，然后光可以被眼睛反射并被图像捕获设备检测到。在一些实施例中，相机组件500可以被附接到框架64(图2)并且可以与处理模块70和/或72电通信，处理模块70和/或72可以处理来自相机组件500的图像信息。在一些实施例中，可以针对每只眼睛使用一个相机组件500以分别监测每只眼睛。
现在参考图7，其中示出了由波导输出的出射光束的示例。示出了一个波导，但是应当理解，波导组件178(图6)中的其它波导可以类似地起作用，其中波导组件178包括多个波导。光400在波导182的输入表面382处被注入到波导182中，并通过TIR在波导182内传播。在光400照射在DOE 282上的点处，一部分光作为出射光束402离开波导。出射光束402被示例为基本上平行，但是如本文所讨论的，依赖于与波导182相关联的深度平面，出射光束402也可以以一角度(例如，形成发散的出射光束)被重定向以传播到眼睛4。应该理解，基本上平行的出射光束可以指示具有耦出光学元件的波导，所述耦出光学元件将光耦出以形成看起来被设置在距眼睛4较大距离(例如，光学无穷远)处的深度平面上的图像。其它波导或者其它耦出光学元件组可以输出更加发散的出射光束图案，这将需要眼睛4调节到更近距离以将其聚焦在视网膜上并且将被大脑解释为来自比光学无穷远更接近眼睛4的距离的光。
在一些实施例中，可以通过在组分颜色(例如，三种或更多种组分颜色)中的每一者中叠加图像来在每个深度平面处形成全色图像。图8示出了堆叠波导组件的示例，其中，每个深度平面包括使用多种不同组分颜色形成的图像。所示的实施例示出了深度平面14a-14f，但也可以预期更多或更少的深度。每个深度平面可以具有与其相关联的三个组分颜色图像：第一颜色G的第一图像；第二颜色R的第二图像；以及第三颜色B的第三图像。对于字母G，R和B之后的屈光度(dpt)，在图中通过不同的数字表示不同的深度平面。仅作为示例，这些字母中的每一者后面的数字表示屈光度(1/m)，或该深度平面距观看者的距离的倒数，并且图中的每个框表示单独的组分颜色图像。在一些实施例中，为了考虑眼睛对不同波长的光的聚焦的差异，不同组分颜色的深度平面的精确放置可以变化。例如，给定深度平面的不同组分颜色图像可以被放置在与距用户不同距离相对应的深度平面上。这样的布置可以增加视敏度和用户舒适度，和/或可以减少色差。
在一些实施例中，每种组分颜色的光可以由单个专用波导输出，因此，每个深度平面可以具有与其相关联的多个波导。在这样的实施例中，图中包括字母G、R或B的每个框可以被理解为表示单独的波导，并且每个深度平面可以提供三个波导，其中，每个深度平面提供三个组分颜色图像。尽管为了便于描述，在此图中与每个深度平面相关联的波导被示出为邻近彼此，但应当理解，在物理设备中，波导可以全部被布置为每层级一个波导的堆叠形式。在一些其他实施例中，多个组分颜色可以由相同的波导输出，使得例如每个深度平面可以仅提供单个波导。
继续参考图8，在一些实施例中，G是绿色，R是红色，B是蓝色。在一些其他实施例中，除了红色、绿色或蓝色之外，可以使用与其他波长的光(包括品红色和青色)相关联的其他颜色，或者这些其他颜色可以替代红色，绿色或蓝色中的一种或多种。在一些实施例中，特征198、196、194和192可以是有源或无源光学滤波器，其被配置为阻挡来自周围环境的光或选择性地允许来自周围环境的光到达观看者的眼睛。
应当理解，贯穿本公开对给定颜色的光的提及将被理解为包括在被观看者感知为具有该给定颜色的光的波长范围内的一个或多个波长的光。例如，红光可以包括在约620-780nm范围内的一个或多个波长的光，绿光可以包括在约492-577nm范围内的一个或多个波长的光，并且蓝光可以包括在约435-493nm范围内的一个或多个波长的光。
在一些实施例中，光源2040(图6)可以被配置为发射观看者的视觉感知范围之外的一个或多个波长的光，例如红外和/或紫外波长的光。此外，显示器1000的波导的耦入、耦出和其它光重定向结构可以被配置为引导此光并使此光从显示器出射朝向用户的眼睛4，例如用于成像和/其它应用。
现在参考图9A，在一些实施例中，可能需要将照射在波导上的光重定向以将该光耦入到波导中。可以使用耦入光学元件将光重定向并且耦入到其对应的波导中。图9A示出了多个堆叠波导或堆叠波导组1200的示例的横截面侧视图，每个波导包括耦入光学元件。波导可以被各自配置为输出一个或多个不同波长的光，或一个或多个不同波长范围的光。应当理解，堆叠1200可以对应于堆叠178(图6)，并且除了来自图像注入装置200、202、204、206、208中的一者或多者的光从需要光被重定向以耦入的位置被注入到波导中之外，堆叠1200的所示波导可以对应于多个波导182、184、186、188、190的一部分。
所示的堆叠波导组1200包括波导1210、1220和1230。每个波导包括关联的耦入光学元件(其也可以被称为波导上的光输入区域)，其中例如耦入光学元件1212被设置在波导1210的主表面(例如，顶部主表面)上，耦入光学元件1224被设置在波导1220的主表面(例如，顶部主表面)上，耦入光学元件1232被设置在波导1230的主表面(例如，顶部主表面)上。在一些实施例中，耦入光学元件1212、1222、1232中的一者或多者可以被设置在相应波导1210、1220、1230的底部主表面上(特别是在一个或多个耦入光学元件是反射性的偏转光学元件的情况下)。如图所示，耦入光学元件1212、1222、1232可以被设置在它们相应的波导1210、1220、1230(或下一下行波导的顶部)的顶部主表面上，特别是在那些耦入光学元件是透射性的偏转光学元件的情况下。在一些实施例中，耦入光学元件1212、1222、1232可以被设置在相应的波导1210、1220、1230的体中。在一些实施例中，如本文所讨论的，耦入光学元件1212、1222、1232是波长选择性的，使得它们选择性地重定向一个或多个波长的光，同时透射其他波长的光。尽管在它们相应的波导1210、1220、1230的一侧或角上示出，但是应当理解，在一些实施例中，耦入光学元件1212、1222、1232可以被设置在它们相应的波导1210、1220、1230的其它区域中。
如图所示，耦入光学元件1212、1222、1232可以彼此横向偏移。在一些实施例中，每个耦入光学元件可以被偏移，使得耦入光学元件接收光，而该光无需传输通过另一耦入光学元件。例如，如图6所示，每个耦入光学元件1212、1222、1232可以被配置为从不同的图像注入装置200、202、204、206和208接收光，并且可以与其它耦入光学元件1212、1222、1232分开(例如，横向间隔开)，使得该耦入光学元件基本上不接收来自耦入光学元件1212、1222、1232中的其它耦入光学元件的光。
每个波导还包括关联的光分布元件，其中，例如，光分布元件1214被设置在波导1210的主表面(例如，顶部主表面)上，光分布元件1224被设置在波导1220的主表面(例如，顶部主表面)上，光分布元件1234被设置在波导1230的主表面(例如，顶部主表面)上。在一些其它实施例中，光分布元件1214、1224、1234可以被分别设置在关联的波导1210、1220、1230的底部主表面上。在一些其它实施例中，光分布元件1214、1224、1234可以被分别设置在关联的波导1210、1220、1230的顶部主表面和底部主表面上；或者，光分布元件1214、1224、1234可以被分别设置在不同的关联的波导1210、1220、1230中的顶部主表面和底部主表面中的不同主表面上。
波导1210、1220、1230可以被例如气体、液体和/或固体材料层间隔开并分隔开。例如，如图所示，层1218a可以使波导1210和1220分隔开；层1218b可以使波导1220和1230分隔开。在一些实施例中，层1218a和1218b由低折射率材料(即，具有比形成紧邻的波导1210、1220、1230中的一个波导的材料的折射率低的材料)形成。优选地，形成层1218a、1218b的材料的折射率比形成波导1210、1220、1230的材料的折射率小了0.05或更大，或小了0.10或更大。有利地，较低折射率层1218a、1218b可以作为包层，其促进通过波导1210、1220、1230的光的全内反射(TIR)(例如，在每个波导的顶部主表面与底部主表面之间的TIR)。在一些实施例中，层1218a、1218b由空气形成。尽管未示出，但应当理解，所示波导组1200的顶部和底部可包括紧邻的包层。
优选地，为了便于制造和出于其它考虑，形成波导1210、1220、1230的材料相似或相同，并且形成层1218a、1218b的材料相似或相同。在一些实施例中，形成波导1210、1220、1230的材料在一个或多个波导之间可以是不同的，和/或形成层1218a、1218b的材料可以是不同的，同时仍然保持上述各种折射率关系。
继续参考图9A，光线1240、1242、1244入射在波导组1200上。应当理解，光线1240、1242、1244可通过一个或多个图像注入装置200、202、204、206、208(图6)而被注入到波导1210、1220、1230中。
在一些实施例中，光线1240、1242、1244具有不同的特性，例如，不同的波长或不同的波长范围，这些波长或波长范围可以对应于不同的颜色。耦入光学元件1212、1222、1232各自使入射光偏转，使得光通过TIR传播通过波导1210、1220、1230中的相应一者。
例如，耦入光学元件1212可以被配置为使具有第一波长或第一波长范围的光线1240偏转。类似地，透射光线1242照射在耦入光学元件1222上并被耦入光学元件1222偏转，该耦入光学元件1222被配置为使第二波长或第二波长范围的光偏转。同样，光线1244被耦入光学元件1232偏转，该耦入光学元件1232被配置为选择性地使第三波长或第三波长范围的光偏转。
继续参考图9A，偏转的光线1240、1242、1244被偏转为使得它们传播通过对应的波导1210、1220、1230；也就是说，每个波导的耦入光学元件1212、1222、1232将光偏转到该对应的波导1210、1220、1230中，以将光耦入到该对应的波导中。光线1240、1242、1244以一定角度被偏转，所述角度使光通过TIR传播通过相应的波导1210、1220、1230。光线1240、1242、1244通过TIR传播通过相应的波导1210、1220、1230，直到照射到波导的对应的光分布元件1214、1224、1234上。
现在参考图9B，示出了图9A的多个堆叠波导的示例的透视图。如上所述，耦入的光线1240、1242、1244分别被耦入光学元件1212、1222、1232偏转，然后分别在波导1210、1220、1230内通过TIR传播。然后，光线1240、1242、1244分别照射在光分布元件1214、1224、1234上。光分布元件1214、1224、1234使光线1240、1242、1244偏转，使得光线1240、1242、1244分别朝向耦出光学元件1250、1252、1254传播。
在一些实施例中，光分布元件1214、1224、1234是正交光瞳扩展器(OPE)。在一些实施例中，OPE既将光偏转或分布到耦出光学元件1250、1252、1254，并且还在光向耦出光学元件传播时增加此光的光束或光斑尺寸。在一些实施例中，例如，在光束尺寸已经是理想尺寸的实施例中，可以省略光分布元件1214、1224、1234，并且可以将耦入光学元件1212、1222、1232配置为将光直接偏转到耦出光学元件1250、1252、1254。例如，参考图9A，光分布元件1214、1224、1234可分别被耦出光学元件1250、1252、1254代替。在一些实施例中，耦出光学元件1250、1252、1254是出射光瞳(EP)或出射光瞳扩展器(EPE)，其将导入观看者的眼睛4(图7)中。
因此，参考图9A和9B，在一些实施例中，波导组1200包括：波导1210、1220、1230；耦入光学元件1212、1222、1232；光分布元件(例如，OPE)1214、1224、1234；以及耦出光学元件(例如，EP)1250、1252、1254，用于每种组分颜色。波导1210、1220、1230可以被堆叠有每个波导之间的气隙/包层。耦入光学元件1212、1222、1232将入射光(其中不同耦入光学元件接收不同波长的光)重定向或偏转到其波导中。然后光以一角度传播，该角度将导致相应波导1210、1220、1230内的TIR。在所示的示例中，以先前描述的方式，光线1240(例如，蓝光)被第一耦入光学元件1212偏转，然后继续沿波导反弹，与光分布元件(例如，OPE)1214和耦出光学元件(例如，EP)1250相互作用。光线1242和1244(例如，分别为绿光和红光)将传输通过波导1210，其中光线1242照射在耦入光学元件1222上并被耦入光学元件1222偏转。光线1242然后经由TIR沿波导1220反弹，前进到其光分布元件(例如，OPE)1224，然后前进到耦出光学元件(例如，EP)1252。最后，光线1244(例如，红光)传输通过波导1230而照射在波导1230的光耦入光学元件1232上。光耦入光学元件1232使光线1244偏转，使得该光线通过TIR传播到光分布元件(例如，OPE)1234，然后通过TIR传播到耦出光学元件(例如，EP)1254。然后，耦出光学元件1254最终将光线1244耦出到观看者，观看者还接收来自其它波导1210、1220的耦出光。
图9C示出了图9A和9B的多个堆叠波导的示例的俯视平面图。如图所示，波导1210、1220、1230以及每个波导的关联的光分布元件1214、1224、1234和关联的耦出光学元件1250、1252、1254可以垂直对准。然而，如本文所讨论的，耦入光学元件1212、1222、1232不是垂直对准的；相反，耦入光学元件优选地是不重叠的(例如，当在俯视图中观看时横向间隔开)。如本文进一步讨论的，此不重叠的空间布置有助于将来自不同资源的光一对一地注入到不同波导中，从而允许特定光源被唯一地耦合到特定波导。在一些实施例中，包括不重叠的空间分离的耦入光学元件的布置可以被称为移位的光瞳系统，并且这些布置内的耦入光学元件可以与子光瞳对应。
现在参考图10A，其示出了包括用户传感器24、28、30、32和环境传感器34的增强现实显示系统的各种部件的示例的示意图。在一些实施例中，增强现实显示系统可以是混合现实显示系统。如图所示，用户传感器24、28、30、32可以被配置为检测关于用户的数据，环境传感器34可以被配置为收集关于用户外部的参数的数据。在一些实施例中，显示系统可以被配置为存储与传递给用户的AR内容相关和/或表征该AR内容的数据(例如，AR内容的时间、位置、颜色构成、音量等)。
首先将讨论用户传感器。如图所示，增强现实显示系统2010可以包括各种用户传感器。增强现实显示系统2010可以对应于图2的系统80，并且可以包括观看者成像系统22。系统22可以包括与光源26(例如，红外光源)配对的相机24(例如，红外、UV和/或可见光相机)，光源26指向用户并被配置为监视用户(例如，用户的眼睛2001、2002和/或周围组织)。相机24和光源26可操作地耦接到本地处理模块70。这样的相机24可以被配置为监视相应眼睛的瞳孔(包括瞳孔大小)或虹膜的取向、形状和对称性中的一者或多者，和/或眼睛周围的组织，例如眼睑或眉毛，以进行本文公开的各种分析。在一些实施例中，眼睛的虹膜和/或视网膜的成像可被用于对用户的安全识别。
继续参考图10A，相机24可进一步被配置为对相应眼睛的视网膜成像，例如用于诊断目的和/或用于基于视网膜特征(例如中央凹)或眼底特征的位置进行取向跟踪。可以执行虹膜和视网膜成像或扫描以便安全识别用户，例如，用于正确地将用户数据与特定用户进行关联，和/或向适当的用户呈现私人信息。在一些实施例中，作为相机24的补充或替代，可以配置一个或多个相机28以检测和/或监视用户状态的各种其它方面。例如，一个或多个相机28可以是面向内的并且被配置为监视除用户眼睛之外的特征的形状、方位、运动、颜色和/或其它特性，例如监视一个或多个面部特征(例如，面部表情、自发的运动、无意的抽搐)。在另一示例中，一个或多个相机28可以是面向下的并且被配置为监视用户的手臂、手、腿、脚和/或躯干的方位、运动和/或其它特征或特性。
在一些实施例中，如本文所公开的，显示系统2010可以包括空间光调制器，空间光调制器通过光纤扫描仪(例如，图6中的图像注入装置200、202、204、206、208)，跨用户的视网膜可变地投射光束以形成图像。在一些实施例中，光纤扫描仪可以结合或代替相机24或28使用以例如跟踪用户眼睛或对用户眼睛进行成像。例如，作为被配置为输出光的扫描光纤的替代或补充，健康系统可以具有单独的光接收装置以接收从用户眼睛反射的光，并收集与该反射光相关的数据。
继续参考图10A，相机24、28和光源26可以被安装在框架64上，框架64也可以保持波导堆叠2005、2006。在一些实施例中，显示系统2010的传感器和/或其它电子设备(例如，相机24、28和光源26)可以被配置为通过通信链路76、70而与本地处理和数据模块70通信。
在一些实施例中，除了提供关于用户的数据之外，还可以利用相机24和28中的一者或两者跟踪眼睛以提供用户输入。例如，观看者成像系统22可用于选择虚拟菜单上的项目，和/或向显示系统2010提供其它输入，例如用于在本文公开的各种测试和分析中提供用户响应。
在一些实施例中，显示系统2010可以包括运动传感器32，例如一个或多个加速度计、陀螺仪、手势传感器、步态传感器、平衡传感器和/或IMU传感器。传感器30可以包括一个或多个向内指向(指向用户)的麦克风，其被配置为检测声音和这些声音的各种特性，其中包括所检测到的声音的强度和类型、多个信号的存在和/或信号位置。
传感器30示意性地示出为被连接到框架64。应当理解，该连接可以采取物理附接到框架64的形式，并且可以连接到框架64上的任何位置，包括框架64的从用户耳朵上方延伸的镜腿(temple)的端部。例如，传感器30可以被安装在框架64的镜腿的端部处，框架64和用户之间的接触点处。在一些其它实施例中，传感器30可以远离框架64延伸以接触用户60(图2)。在另外的实施例中，传感器30可以不物理地附接到框架64；相反，传感器30可以采用外围传感器30a(图2)的形式，其可以与框架64间隔开。
在一些实施例中，显示系统2010可以进一步包括一个或多个环境传感器34，环境传感器34被配置为检测用户周围的世界的对象、刺激物、人、动物、位置或其它方面。例如，环境传感器34可以包括一个或多个相机、高度计、气压计、化学传感器、湿度传感器、温度传感器、外部麦克风、光传感器(例如，照度计)、定时装置(例如，时钟或日历)，或其任何组合或子组合。在一些实施例中，多个(例如，两个)麦克风可以被间隔开，以便于声源定位确定。在包括环境感测相机的各种实施例中，相机例如可以面向外(例如，向前看)地定位，以便捕获与用户的普通视野的至少一部分类似的图像。环境传感器可以进一步包括发射装置，其被配置为接收信号，诸如激光、可见光、不可见波长光、声音(例如，可听声音、超声波或其它频率)。在一些实施例中，一个或多个环境传感器(例如，相机或光传感器)可以被配置为测量环境的环境光(例如，发光度)(例如，以捕获环境的照明条件)。物理接触传感器(例如应变仪、路缘探测器等)也可以被包括作为环境传感器。
在一些实施例中，显示系统2010可以进一步被配置为接收其它环境输入，诸如GPS位置数据、天气数据、日期和时间、或可以从因特网、卫星通信、或其它合适的有线或无线数据通信方法接收的其它可用环境数据。处理模块70可以被配置为访问表征用户位置的其它信息，例如花粉量、人口统计、空气污染、环境毒素、来自智能恒温器的信息、生活方式统计或与其他用户、建筑物或医疗保健提供者的接近。在一些实施例中，可以使用基于云的数据库或其它远程数据库来访问表征位置的信息。处理模块70可以被配置为获得这样的数据和/或进一步分析来自环境传感器中的任一者或其组合的数据。
显示系统2010可以被配置为持续长时间收集和存储通过上述任何传感器和/或输入而获得的数据。在设备处接收的数据可以被处理和/或被存储在本地处理模块70处和/或被远程地存储(例如，如图2所示，被存储在远程处理模块72或远程数据储存库74处)。在一些实施例中，可以在本地处理模块70处直接接收附加数据，诸如日期和时间、GPS位置或其它全局数据。关于由系统传递给用户的内容的数据(诸如图像、其它视觉内容或听觉内容)也可以在本地处理模块70处被接收。
图10B示出了另一示例性增强现实显示系统。在一些实施例中，显示系统2010可以发送和接收超声波以基于超声信息呈现患者的图像。类似于图10A，图10B中的示例包括环境传感器34和用户传感器24、28、30、32。另外，如图10B所示，显示系统2010可以进一步包括一个或多个面向外的超声探针1081，超声探针1081被配置为将声能引导到患者身体。一个或多个探针1081可以被配置为将超声波发送到用户身体的各个区域以及接收从用户身体的各个区域反射的超声波。例如，一个或多个探针1081可以被连接到超声波发射器1077和超声波接收器1079，超声波发射器1077被配置为向患者身体发射超声能量，超声波接收器1079被配置为接收从患者身体的各种结构反射和/或散射回来的超声能量。在一些实施例中，一个或多个探针1081可以被连接到超声波收发器1075，超声波收发器1075组合了超声波发射器和接收器二者。各种实施例可以基于反射信息而呈现患者的图像。在一些实施例中，显示系统2010可以被配置为基于反射的超声波而确定患者的组织密度。在一些实施例中，显示系统2010可以被配置为基于反射的超声波而绘制血流地图(例如，血流通过血管的速度)。
加强的视野
如本文所公开的，包含用户传感器和/或环境传感器(诸如向外看的相机和/或光传感器)的显示系统可以有利地例如在用户的外围视野(例如，用户视野的外围区域)中提供环境的图像内容的改善的用户视图。例如，某些实施例允许用户关注用户的中心视野(例如，用户视野的中心区域)中的一个对象并且同时以增加的可见性观看位于用户的外围视野中的另一对象。
在各种实施例中，用户视野的中心区域可以包括从中央凹中心偏离(或从始于瞳孔中心的光轴偏离)0至15度、1至15度、2至15度、5至15度、0至12度、1至12度、2至12度、5至12度、0至10度、1至10度、2至10度、5至10度的范围(半角)内的区域、这些范围的任何组合内的区域、或由从中央凹中心偏离0至15度中的任何值形成的任何范围(例如，从中央凹中心偏离0至7度、1至7度、2至7度等)内的区域。
用户视野的外围区域可以包括视野的外部区域，该外部区域位于中心区域的对应区域外侧。例如，用户视野的外围区域可以包括从中央凹中心偏离(或从始于瞳孔中心的光轴偏离)16至60度、18至60度、20至60度、25至60度、30至60度、35至60度、40至60度、45至60度、50至60度、55至60度的范围(半角)内的视野区域、这些范围的任何组合内的视野区域、或由从中央凹中心偏离16至60度中的任何值形成的任何范围(例如，从中央凹中心偏离16至50度、20至50度、16至55度、30至55度等)内的视野区域。
在一些实施例中，用户视野的中心区域可以包括用户视野的1％至5％、1％至10％、5％至10％、1％至15％、5％至15％、5％至20％、10％至20％、5％至25％、10％至25％、这些范围的任意组合、或由用户视野的0％至25％中的任何值形成的任何范围(例如，用户视野的1％至17％、3％至18％、7％至25％、15％至25％等)。
用户视野的外围区域可以包括用户视野的剩余百分比。例如，用户视野的外围区域可以包括用户视野的75％至99.9％、75％至99％、75％至95％、75％至90％、80％至99.9％、80％至99％、80％至95％、80％至90％、这些范围的任意组合、或由用户视野的75％至99.9％中的任何值形成的任何范围(例如，用户视野的77％至98％、75％至85％、85％至95％等)。
现在参考图11A，示出了使用显示系统改善例如用户的外围视野中的环境的图像内容的至少一部分的用户视图的示例方法3000。显示系统可以包括分别在图2、图6和图10A至10B中的显示系统80、1000或2010。显示系统例如可以包括将图像内容投射到用户的眼睛的头戴式显示设备。
在一些实施例中，头戴式显示设备被配置为使用显示器向用户呈现增强现实图像内容。在某些实施例中，显示器被设置在头戴式显示器的框架上。如本文所述，显示器可以包括被设置在用户的眼睛前方的位置处的一个或多个透明波导。因此，用户能够通过显示器观看。来自穿戴着头戴式显示设备的用户前方的环境中的对象的光通过显示器(例如通过一个或多个透明波导)而被透射到用户的眼睛中，使得用户前方的环境或其至少一部分的图像在用户眼睛的视网膜上形成。用户的视觉可以由具有中心区域和外围区域的视野表征。外围区域可以被设置在中心区域四周或周围。如本文所讨论的，中心区域和外围区域可分别对应于中心视野和外围视野。用户视野的中心区域可以包括直接在用户前方的环境的一部分(例如，如果用户的注视直接指向前方)。类似地，在这样的示例中，用户眼睛的视野的外围区域可以对应于用户前方的环境中的外围区域。在用户注视的前方环境的一部分的中心中的对象可以被包括在中心视野中，而用户注视的前方的环境的一部分的外围中的对象可以被包括在外围区域中。例如，用户可以观看手术，其中用户将注意力集中于例如在手术部位动手术的患者。患者，特别是手术部位，可以例如对应于用户视野的用户中心区域。同样在该示例中，用户可以在视野的外围区域中看到医务人员的其它成员、患者手术部位周围的解剖结构、手术室中的家具，例如手术台和/或上面放置有手术用品(例如，器械)的托盘、其它手术和/或诊断设备、手术室的墙壁和/或地板，和/或环境的外围区域中的灯和其它物品(例如，场景)。
在框3010处，显示系统或设备可以被配置为捕获环境的一个或多个图像。例如，如本文所述，各种实施例可以包括一个或多个环境传感器34，诸如面向外的一个或多个图像捕获设备(例如，摄像机)以捕获与用户的普通视野的至少一部分类似的图像。换句话说，面向外的图像捕获设备可以捕获与用户的环境视图相对应的图像。这种相机可以例如是面向前的，以便捕获用户前方的环境的图像。然而，在各种实施例中，这些相机可以至少部分地相对于面向正前方的方向倾斜或成一定角度。这些相机个体和/或一起也可以具有视场，该视场可以大于或小于用户眼睛的视野。
因此，如本文所讨论的，头戴式显示设备可以包括面向外的图像捕获设备，该设备可以被配置为对用户前方的环境的一部分进行成像或扫描。在一些实施例中，面向外的相机被配置为扫描用户环境中不在用户前方的部分，诸如位于用户的能视域中但不在用户视野中的对象或图像。在某些情况下，例如，头戴式显示系统可以包括多个相机，例如一个或多个更多地指向用户前方的环境部分的摄像机以及一个或多个更多地指向用户侧面的环境部分的摄像机。在一些情况下，头戴式显示系统可以包括指向用户后面的环境部分的一个或多个相机。在某些实施例中，面向外的相机可以被配置为长时间连续工作，从而捕获诸如医院、手术室或其它环境中的活动的视频。在一些配置中，面向外的相机可以确定用户正在注视的内容，诸如环境中的对象。在一些实施例中，头戴式显示设备可以包括一个或多个捕获设备，以捕获关于环境的信息。例如，相机或光传感器(例如，照度计)可被用于捕获环境的照明条件。
在框3020处，各种实施例可以处理环境的图像。例如，可以使用图2中所示的本地处理和数据模块70或远程处理模块72来处理图像。在一些这样的实施例中，处理电子设备可以与显示器62通信以控制图像内容向显示器的呈现。显示器可以包括图6中所示的波导组件178，以将光投射到用户的眼睛中来呈现供观看的图像(诸如来自一个或多个面向外的摄像机的环境的图像)。如本文所述，波导组件178也可以是透光的(例如透明的)，以便经由来自环境中的对象的光(所述光传播通过透明波导组件而到达用户眼睛的视网膜)提供穿戴着头戴式显示设备的用户前方的环境的一部分的直接视图。
继续参考图11A，在框3030处，显示系统可以被配置为提高例如外围视野中的环境的至少一部分的可见度(例如，通过呈现环境的一部分的增强现实图像来提高环境的图像内容的至少一部分的可见度)。一些实施例可以相对于眼睛中的感光细胞密度(例如，对于中心视觉，视锥细胞密度在中央凹中最高，对于外围视觉，视锥细胞密度随着远离中央凹而降低)来提供图像修改。如图1E和1F所示，基于眼睛中的视锥细胞密度，视敏度通常在中央凹(例如，眼睛的中心)处最高，并且随着移动远离中央凹而下降。例如，最高到从眼睛中心(例如，通过眼睛晶状体到视网膜中心的光轴)偏离大约30度，每远离眼睛中心2.5度(例如，从该光轴测量)，视敏度可降低约50％。对于甚至更高角度的光线(例如，相对于该光轴)，视敏度的下降可能大得多(例如，双曲线函数)。具有最高视锥细胞密度和视敏度的中央凹被用于在中心视野中观看。当远离中央凹，视锥细胞密度和视敏度下降时，观看从中心视野移动到外围视野。
因此，与用户的中心视野中的对象相比，通常更难以在用户的外围视野中的对象的细节之间进行区分。另外，与用户的近外围视野中的对象相比，通常更难以在用户的远外围视野中的对象的细节之间进行区分。就分辨率而言，可通过眼睛分辨的两点区分(two-point distinction)的最小距离(例如，区分两个特征的最小间距)随着距中央凹的距离增加而增加(并且空间分辨率降低)。因此，一般而言，向距离视野中心较远的眼睛呈现的图像内容可能需要更大以便能够被看到。另外，距离眼睛较远的对象可能需要更大(例如，被放大)以便被看到。如本文所述，可以基于这些关系中的一个或多个而修改图像内容。
在各种实施例中，显示系统可以被配置为，将相对于内容将否则被用户感知的方式(例如在没有被加强的情况下)加强(例如，通过一种或多种方式)的图像内容呈现到例如用户的外围视野。在一些实施例中，显示系统可以被配置为，将与向用户的中心视野呈现的图像内容相比加强的图像内容呈现到例如用户的外围视野。在各种实施例中，由用户感知的内容(可以包括真实世界内容)可通过使用一个或多个增强图像和/或通过结合实际真实世界内容使用一个或多个增强图像而看起来被加强。在一些实施例中，显示系统可以呈现具有一不透明度(例如，30％、40％、50％、60％、70％、80％、90％、95％等)的一个或多个增强图像。在一些情况下，具有不透明度的被呈现图像可以遮蔽(obscure)一些实际真实世界内容。在一些实施例中，加强的图像内容可以作为一个或多个虚拟图像(例如，其中，实际真实世界内容通过不透明度或基本不透明度(例如，98％、99％或100％不透明度)而被遮蔽)而被呈现给眼睛。在一些实施例中，加强的程度可以至少部分地基于距视野中心和/或中央凹的距离、距眼睛的距离和/或两点区分的最小距离、和/或与眼睛的空间分辨率的反比关系、和/或与眼睛的视锥细胞密度、视杆细胞密度、神经节细胞密度和/或视敏度的反比关系。例如，随着移动远离中央凹，两点区分的最小距离增加，而眼睛的细胞密度和/或视敏度降低。在一些这样的实施例中，可以向呈现到远外围区域(例如，距中心区域最远，其中细胞密度和视敏度降低，并且两点区分的最小距离增加)的图像内容提供比向近外围区域(例如，最接近中心区域)呈现的图像内容更多的加强。
作为示例，向用户的外围视野呈现的图像内容的大小可以被增加。例如，在一些实施例中，与不使用显示系统观看时的内容(例如，如果没有被放大)相比，可以放大图像内容。作为另一示例，显示系统可以被配置为与向用户的中心视野呈现的图像内容相比，放大向用户的外围视野呈现的图像内容的至少一部分。由于向外围视野呈现的图像内容可以被放大，因此某些实施例可以增加这种图像内容的可见性。放大量可以至少部分地基于距眼睛的距离、距视野中心的距离(例如，距中央凹的距离)和/或两点区分的最小距离、和/或与眼睛的空间分辨率的反比关系、和/或与眼睛的细胞密度和/或视敏度的反比关系。例如，可以向呈现到远外围区域的图像内容提供较大的放大率，并且可以向呈现到近外围区域的图像内容提供较小的放大率。
作为另一示例，向用户的外围视野呈现的图像内容可通过相对于在不强化内容(例如，不增加光强度)的情况下显示内容的方式和/或与向用户的中心视野呈现的图像内容相比改变(例如，增加)光强度或亮度而被加强。在一些这样的实施例中，可以使用一个或多个光源来增加图像内容的光强度或亮度。通常，更明亮的图像更容易看到。由于呈现到外围视野的图像内容更亮，因此某些实施例可以增加这种图像内容的可见性。在一些实施例中，可以向呈现到远外围区域的图像内容提供较大的光强度或亮度，并且可以向呈现到近外围区域的图像内容提供较小的强度或亮度。在一些实施例中，光强度可以至少部分地基于距眼睛的距离和/或与眼睛的细胞密度(例如，视杆细胞密度)和/或视敏度的反比关系(例如，距视野中心或中央凹的距离)。
作为另一示例，向用户的外围视野呈现的图像内容可通过相对于在不增加对比度的情况下内容呈现的方式和/或与向用户的中心视野呈现的图像内容相比增加对比度而被加强。对比度的增加可以由对比率的比较来指示。在一些这样的实施例中，对比率可以基于最亮颜色和最暗颜色的发光度之间的比率。在一些实施例中，增加量可以使得对比率高于眼睛区分对比度的阈值。例如，视网膜可具有约100:1的静态对比率并且可最高扩展到约106:1。因此，各种实施例可以将所呈现的图像的至少一部分中的对比率增加到约100:1、103:1、104:1、105:1或106:1或这些值的任何组合之间的任何范围。对比率的增加量可以基于将呈现到用户的外围视野的图像内容和/或呈现到用户的中心视野的图像内容中的现有对比率。
可通过调整相邻颜色(例如，高对比度颜色)的亮度和/或暗度来提供对比度的增加。在一些实施例中，可以使用在白色(例如，在8位灰度级中的值255)旁边提供黑色(例如，值0)。例如，邻近黑色对象或背景的灰色对象可能看起来比邻近白色对象或背景的灰色对象更亮。在一些实施例中，所呈现的图像内容可以包括增强图像，该增强图像与实际真实世界内容相结合提供与相对于没有调整的情况下内容呈现的方式和/或与向用户视野的其它部分呈现的图像内容相比调整的对比度。在一些示例中，可通过调整至少一种颜色的亮度和/或暗度(例如，调整对象的颜色、至少两个相邻对象的颜色、背景的颜色、对象的颜色和背景的颜色、对象的一部分的颜色、对象的两个相邻部分的颜色等的亮度和/或暗度)来调整相邻颜色的亮度和/或暗度。在一些情况下，颜色的亮度和/或暗度可通过向对象或背景提供一种或多种附加颜色(例如，黑色、灰色、白色或其它颜色等)来调整，以便当以实际真实世界内容观看时，真实颜色和附加颜色的组合提供调整后的对比度。在一些情况下，颜色的亮度和/或暗度可通过提供具有不透明度(例如，30％、40％、50％、60％、70％、80％、90％、95％等)的一个或多个增强图像而被调整，以便当以被遮蔽的实际真实世界内容观看时，该组合提供调整后的对比度。
在一些实施例中，所呈现的图像内容可以包括虚拟图像(例如，通过不透明度或基本不透明度而被遮蔽的实际真实世界内容的一部分)，与不进行调整的情况下内容呈现的方式相比和/或与呈现到用户视野的其它部分的图像内容相比，所述虚拟图像具有调整后的对比度。在一些示例中，相邻颜色的亮度和/或暗度可通过调整至少一种颜色的亮度和/或暗度(例如，调整对象的颜色、至少两个相邻对象的颜色、背景的颜色、对象的颜色和背景的颜色、对象的一部分的颜色、对象的两个相邻部分的颜色等的亮度和/或暗度)而被调整。颜色的亮度和/或暗度可通过向该颜色添加黑色、灰色、白色或其它颜色，或者通过从该颜色中减去黑色、灰色、白色或其它颜色，而被调整。附加地或替代地，颜色的亮度和/或暗度可通过使一颜色被黑色、灰色、白色或其它颜色代替而被调整。
由于具有较大对比度的图像可以更容易地被看到，因此以较高对比率呈现到外围视野的图像内容可以增加这种图像内容的可见性。作为示例，当患者的其它部位可能开始出血(例如，在外科医生的外围视野中)时，外科医生可能正在观看手术部位(例如，在外科医生的中心视野中)。一些实施例可以增加外围区域中的对比率，使得红血液“弹出”给外科医生。例如，如本文所述，一些实施例可以呈现提供附加的红色的增强图像，以便加强由用户感知的外围区域。作为另一示例，一些实施例可以用产生具有与血液形成大对比度的颜色挡住血液周围的背景。作为另一示例，一些实施例可以以增加的对比率呈现外围区域的虚拟图像(例如，血液以及与实际血液和血液周围的区域相比产生高对比度或增加的对比度的血液周围的区域的图形图像)。外科医生可以同时密切关注手术部位和附加的出血部位。在一些实施例中，如本文所述，对比度增加量可以至少部分地基于与细胞密度(神经节细胞密度、视锥细胞密度和/或视杆细胞密度)的反比关系。例如，可以向呈现到远外围区域的图像内容提供较大对比度，并且可以向呈现到近外围区域的图像内容提供较小对比度。
作为另一示例，呈现到用户的外围视野的图像内容可通过相对于在没有加强的颜色或颜色饱和度的情况下内容呈现的方式和/或与呈现到用户的中心视野的图像内容相比的颜色或颜色饱和度而被加强。在一些这样的实施例中，可以使用一个或多个光源来增加图像内容中的颜色饱和度。通常，具有较高颜色饱和度的图像更容易看到。由于向外围视野呈现的图像内容与向中心视野呈现的图像内容相比可具有更高的颜色饱和度或颜色饱和度增加，因此某些实施例可增加这种图像内容的可见性。在一些实施例中，如本文所述，颜色饱和度的量可以至少部分地基于距眼睛的距离、距视野中心(或中央凹)的距离和/或与眼睛的细胞密度和/或视敏度的反比关系。例如，可以向呈现到远外围区域的图像内容提供较大的颜色饱和度，并且可以向呈现到近外围区域的图像内容提供较小的颜色饱和度(例如，基于视锥细胞密度的倒数)。
处理图像内容的其它示例也是可能的，所述图像内容例如以相对于在没有被加强的情况下内容呈现的方式和/或与呈现到用户的中心视野的图像内容相比加强可被视网膜感测到的外围图像的方式而被提供给用户视野。例如，向用户的外围视野呈现的图像内容可通过改变颜色平衡(例如，红/绿平衡)和/或白平衡(例如，色温)而被加强。通常，在不同的光源(例如，烛光与办公室荧光灯)下，邻近不同颜色时，和/或在不同背景下，颜色看起来不同。视觉系统可以基于眼睛的感觉响应和大脑对信号的解释来适应颜色和强度的变化。如果白色被正确地感知，则其它颜色也可以被正确地感知。因此，可通过改变颜色平衡来加强一些实施例。
此外，还可以使用特殊效果来加强提供给外围视野或视野的图像内容。例如，一些实施例可以被配置为相对于在没有被锐化的情况下内容呈现的方式和/或与呈现到用户的中心视野的图像内容相比锐化呈现到用户的外围视野的图像内容。例如，图像内容可以包括边缘加强。在一些这样的实施例中，显示系统可以包括被配置为识别环境中的边缘的边缘检测器或处理电子设备。例如，所配置的边缘检测器或处理电子设备可以被配置为通过检测颜色突变，通过检测强度突变和/或通过应用k均值聚类算法来识别边缘。所呈现的图像内容可通过包括外形、轮廓、背景和/或对比技术来锐化，从而加强某些边缘、形状和/或特征。作为另一示例，所呈现的图像内容可以在背景(例如，某些情况下的周围的后屏幕)下被呈现，以便至少在所呈现的图像内容附近，用户主要观看所呈现的图像内容(例如，并且削弱周围的真实世界内容)。在一些情况下，可以为背景提供一不透明度，和/或在某些情况下，为背景提供不透明度或基本不透明度。作为其它示例，可以基于曝光、明度、阴影、高光、翻转(例如，反转)、拉直、旋转、测量图像部分(例如，包括体积)、和/或使用其它技术，来加强呈现到用户的外围视野的图像内容。在一些实施例中，可以更方便地向用户呈现图像内容。例如，当与头部对准时，图像可能更容易观看。因此，一些实施例可通过基于用户的头部姿势来拉直和/或旋转图像内容来加强图像内容。因此，与呈现到用户的中心视野的图像内容相比，呈现到用户的外围视野的图像内容可以被不同地进行图像处理。
应当理解，代替(或结合)将相对于在没有被加强的情况下内容呈现的方式和/或与呈现到用户的中心视野的图像内容相比加强的图像内容呈现到用户的外围区域，各种实施例可以被配置为将相对于在没有被削弱的情况下内容呈现的方式和/或与呈现到用户的外围视野的图像内容相比削弱的图像内容呈现到用户的中心视野。例如，向用户的中心视野呈现的图像内容可通过与向用户的外围视野呈现的图像内容相比减小尺寸(例如，收缩)、模糊、调暗/衰减、降低对比度、降低颜色饱和度、降低锐度、遮蔽和/或去掉对边缘的加强而被削弱。模糊的一个示例包括以基本相同的颜色将图像内容呈现到用户的中心视野。图像可以包括相似颜色(例如蓝色或绿色等)的色调变化。因此，图像可以在中心视野中的图像保持可辨别的情况下在中心视野中看起来是单色调的。用户仍然能够观看中心视野中的内容(例如，通过对象的边缘)，同时加强外围视野中的对象的视图。呈现到用户的中心视野的图像内容也可以基于曝光、明度、阴影、高光、翻转(例如、反转)、拉直、旋转、测量图像部分(例如，包括体积)、改变颜色平衡(或白平衡)、和/或使用其它技术而被削弱。在某些情况下，使用明度、曝光、阴影、高光等或这些项的任何组合可以帮助增加对比度。因此，与呈现到用户的外围视野的图像内容相比，呈现到用户的中心视野的图像内容可以被不同地图像处理。某些类型的图像处理可以包括例如图像处理领域的技术人员已知的常用技术。一些实施例可以使用各种加强和/或削弱技术的组合。
当图像已被加强或削弱时，某些实施例可以向用户提供修改标志(indicator)。在一些情况下，所呈现的图像本身可以提供警报以将用户的注意力吸引到被修改的图像内容(例如，尺寸的快速增长、所呈现的图像中的高对比度、用一种颜色模糊图像内容、闪光等等)。作为其它示例，一些实施例可以向用户提供视觉警报(例如，弹出警报或闪烁灯)或音频警报(例如，铃声或语音)。
在某些配置中，加强的程度可以基于各种因素。例如，加强的程度可以通过对象与用户的距离来确定。在一些实施例中，加强的程度可以至少部分地基于从对象接收的光量或者基于从显示器中的其它附近对象接收的光量。
尽管本文描述的某些示例公开了加强向用户的外围视野呈现的图像内容和/或削弱向用户的中心视野呈现的图像内容(例如，以增加用户的外围视野中的环境的图像内容的可见性)，但是各种实施例也可以使用本文描述的加强和/或削弱技术来加强向用户的中心视野呈现的图像内容和/或削弱向用户的外围视野呈现的图像内容(例如，以增加用户的中心视野中的环境的图像内容的可见性)。例如，放射科医师或其他医疗从业者可以在他或她的中心视野中观看X射线或用荧光成像的内容(例如，染色细胞、肿瘤、淀粉样斑块等)。一些实施例可以对呈现到用户的中心视野的图像内容增加对比度、增加光强度、增加尺寸、遮蔽背景等等，和/或对呈现到用户的外围视野的图像内容降低对比度、降低光强度、减小尺寸、模糊、暗化、遮蔽等。一些实施例还可以如本文所述改变图像内容的颜色平衡(例如，红/绿平衡)。在这样的示例中，可以更容易地看到X射线或用荧光成像的内容中的细节。作为另一示例，一些实施例可以在模糊的背景(例如，在用户的外围视野中)下提供有效(active)手术部位(例如，在用户的中心视野中)的视图，使得用户可以具有手术部位的加强视图(例如，去除视觉拥挤)。作为又一示例，一些实施例可以遮蔽背景中的内容(例如，背景的一部分具有一定程度的不透明度或具有不透明度/基本不透明度)，使得所涉及的手术部位可见，而真实世界的剩余部分被遮蔽。
此外，可以将附加的“虚拟”图像内容呈现到外围和/或中心视觉视野。这样的附加或“增强”的内容还可以包括另外的文本、箭头、用户命令、复制的图像等。在一些情况下，这样的附加或“增强”的内容可以包括诸如二维(2D)或三维(3D)图像之类的图像，例如X射线、CT、MRI、PET、超声图像或来自成像技术的其它图像。这样的附加的图像内容还可以包括来自诊断监视设备或其它仪器以及来自其它来源的数据。
现在参考图11B，示出了使用显示系统改善环境的图像内容的至少一部分的用户视图的另一示例方法3500。显示系统可以包括分别在图2、图6和图10A至10B中的显示系统80、1000或2010。显示系统可以包括例如将图像内容透射到用户眼睛的头戴式显示设备。
在框3510处，显示系统可以被配置为捕获环境的条件。如本文所述，一些实施例可以包括一个或多个捕获设备以捕获环境的条件。作为一个示例，显示系统可以包括一个或多个相机或光传感器(例如，照度计)以感测环境的照明条件。一个或多个相机或光传感器可以测量环境光的发光度。
在框3520处，各种实施例可以至少部分地基于该条件而修改环境的图像内容的至少一部分。例如，各种实施例可以基于环境中的照明条件而修改图像内容。
如本文所述，视锥细胞通常负责颜色和空间分辨率。视杆细胞对颜色不敏感，通常负责基本空间分辨率。视锥细胞在亮光条件下最活跃，而视杆细胞在低光条件下更活跃。因此，随着照明条件(例如，发光度)降低，视锥细胞的分辨率也降低。
因此，一些实施例可以至少部分地基于与照明条件的反比关系呈现图像内容。在一些示例中，可以使用本文描述的技术来加强呈现给用户的图像内容。加强的程度可以至少部分地基于与环境发光度的反比关系。例如，在具有较低照明条件的环境中可以为图像内容提供较大的加强，例如放大、增加的亮度、增加的对比度或诸如本文所述的其它类型的加强或其组合。如本文所述，还可以至少部分地基于照明条件而削弱图像内容的不同部分。有利地，本文描述的某些实施例可以通过如本文所述的各种加强/削弱技术中的一种或多种来基于照明条件而加强图像内容。例如，通过增加在暗环境中呈现到显示器的图像内容的亮度，用户可能已经降低了通过显示器观看的真实世界环境的可见性。因此，各种实施例可以利用基于照明条件来对图像内容进行加强(例如，除增加亮度之外的加强，例如增加尺寸、增加对比度、增加颜色饱和度、增加锐度、合并背景等)或进行削弱(例如，减小尺寸、模糊、降低对比度、降低颜色饱和度、降低锐度、遮蔽等)的一种或多种其它技术。在一些情况下，可以在具有较低照明条件的环境中为图像内容提供较大的加强或削弱。
某些实施例还可以有利地基于环境照明条件下的视觉功能而加强图像内容(例如，参见图1G)。例如，各种实施例可以针对不同的照明条件利用用户眼睛中视锥细胞和/或视杆细胞的使用变化。在一些这样的实施例中，显示系统可以被配置为将光投射到用户眼睛的一位置，以便将至少部分地基于用户正在利用明视、间视还是暗视视觉而被加强的图像内容呈现到用户视野的中心区域或外围区域的一部分。明视、间视和暗视视觉分别是相对明亮、中等明亮和低光条件下的眼睛视觉。对于明视视觉，主要使用视锥细胞，对于暗视视觉，主要使用视杆细胞。间视视觉同时使用视锥细胞和视杆细胞。如本文所述，相应的照明条件可以被称为明视、间视或暗视照明条件。在特定照明条件下，当眼睛中的视锥细胞活性超过视杆细胞活性时，一些实施例可以基于本文所述的相应视锥细胞密度而加强图像内容。在一些这样的实例中，可以基于视锥细胞密度而反向加强图像内容。例如，可以向呈现到具有较低视锥细胞密度的眼睛位置的图像内容提供较大加强(例如，尺寸、对比度、颜色饱和度、锐度等的增加较大)。另外，在特定照明条件下，当眼睛中的视杆细胞活性超过视锥细胞活性时，一些实施例可以基于本文所述的相应视杆细胞密度而加强图像内容。在一些这样的实例中，可以基于视杆细胞密度而反向加强图像内容。例如，可以向呈现到具有较低视杆细胞密度的眼睛位置的图像内容提供较大加强(例如，尺寸、对比度、颜色饱和度、锐度等的增加较大)。
如本文所述，一些实施例可以包括一个或多个捕获设备以捕获关于环境的信息。例如，图像捕获设备(例如，相机)可被用于捕获环境的光条件(例如，发光度)。作为另一示例，包括像素阵列的检测器阵列(例如，光传感器、检测器或有源传感器区域的阵列)可被用于捕获环境的照明条件(例如，通过对像素上的光级进行积分以捕获环境的照明条件)。作为又一示例，一个或多个捕获设备可以包括面向内的图像捕获设备或眼睛跟踪设备以检测瞳孔大小。根据发光度，瞳孔大小可以改变。对于低光条件，瞳孔可能扩张，而在高光条件下，瞳孔可能收缩。因此，一些实施例可以至少部分地基于瞳孔大小而确定照明条件。一些实施例可以包括一个或多个定时装置(例如，时钟或定时器)以监视在照明条件下度过的时间。定时装置中的一者或多者可以包括被包含在设备的电子设备中的定时装置(例如，时钟)，所述电子设备例如是处理电子设备(例如，图2所示的本地处理和数据模块70或远程处理模块72)。
在明视照明条件下，发光度可以大于或等于10cd/m2，大于或等于12cd/m2，大于或等于15cd/m2，大于或等于20cd/m2，大于或等于50cd/m2，或大于或等于其间的任何值(例如，大于或等于10.5cd/m2，大于或等于13cd/m2等)。发光度范围可以是10cd/m2至108cd/m2，12cd/m2至108cd/m2，15cd/m2至108cd/m2，10cd/m2至107cd/m2，12cd/m2至107cd/m2，15cd/m2至107cd/m2，10cd/m2至106cd/m2，或由10cd/m2至108cd/m2中的任何值形成的任何范围(例如，10.5cd/m2至108cd/m2，10.5cd/m2至107cd/m2等)。
在一些这样的照明条件下，由于视锥细胞被激活，因此可以基于所投射光位置的视锥细胞密度而对图像内容进行反向加强(例如，放大、亮度增加、对比度增加、颜色饱和度增加、锐度增加等)。例如，在具有较小视锥细胞密度(例如，较远离中央凹)的所投射的光位置(例如，对应于中心或外围视野)，可能需要更大加强(例如，尺寸、对比度、颜色饱和度、锐度等的增加较大)。
在暗视照明条件下，发光度可小于或等于10-3.5cd/m2，小于或等于10-3.6cd/m2，小于或等于10-3.7cd/m2，小于或等于10-3.8cd/m2，小于或等于10-4cd/m2，小于或等于10-4.5cd/m2，或小于或等于比10-3.5cd/m2小的任何值(例如，小于或等于10-3.9cd/m2，小于或等于10- 5cd/m2等)。发光度范围可以是10-3.5cd/m2至10-6cd/m2，10-3.6cd/m2至10-6cd/m2，10-3.7cd/m2至10-6cd/m2，10-3.8cd/m2至10-6cd/m2，10-4cd/m2至10-6cd/m2，10-4.5cd/m2至10-6cd/m2，10-3.5cd/m2至10-5cd/m2，10-3.6cd/m2至10-5cd/m2，10-3.6cd/m2至10-5cd/m2，10-4cd/m2至10-5cd/m2，或由10-3.5cd/m2至10-6cd/m2中的任何值形成的任何范围(例如，10-3.9cd/m2至10-6cd/m2，10-4.2cd/m2至10-6cd/m2，10-5cd/m2至10-6cd/m2等)。
在一些这样的照明条件下，由于视杆细胞被激活，因此可基于所投射的光位置的视杆细胞密度而反向加强图像内容。在具有较小视杆细胞密度(和较大视锥细胞密度)的所透射的光位置中(例如，对应于中心视野内)，可能需要更大的加强(例如，尺寸、对比度、颜色饱和度、锐度等的增加较大)，例如以“唤醒”视杆细胞和/或视锥细胞。例如，可基于差异而激活视杆细胞和视锥细胞。形状上的边缘或移动可以是能够通过视杆细胞检测到的差异。呈现任何这样的差异可以唤醒视杆细胞并且可能使视杆细胞对检测到图像更敏感。由于视锥细胞负责颜色，但在暗视视觉下不激活，因此在一些实施例中，在暗视视觉期间，向例如在中心区域中的视锥细胞呈现颜色或对比度加强的图像(例如，具有增加的颜色饱和度或对比度的图像)可以激活视锥细胞。此外，视杆细胞密度可以在距中央凹中心约18度处达到峰值，并且在距中央凹中心约30度处具有较小的峰值。在一些实施例中，加强可以至少部分地基于相对于这些峰之一的距离。例如，在较远离这些峰之一的所投射的光位置中(例如，对应于外围视野内)，可能需要更大的加强。
在间视照明条件下，发光度可以是10-3cd/m2至100.5cd/m2，10-2.9cd/m2至100.5cd/m2，10-2.8cd/m2至100.5cd/m2，10-3cd/m2至100.45cd/m2，10-2.9cd/m2至100.45cd/m2，10-2.8cd/m2至100.45cd/m2，或由10-3cd/m2至100.5cd/m2中的任何值形成的任何范围(例如，10-2.9cd/m2至100.4cd/m2，10-2.8cd/m2至100.4cd/m2，10-2cd/m2至100.4cd/m2等)。
在一些这样的照明条件下，可以同时使用视锥细胞和视杆细胞。照明条件越暗(例如，从明视视觉到间视视觉)，变为激活的视杆细胞越多(视锥细胞越少)。另外，在一些这样的情况下，在间视照明条件下度过的时间越长，变为激活的视杆细胞越多(视锥细胞越少)。照明条件越亮(例如，从暗视到间视)，变为激活的视锥细胞越多(视杆细胞越少)。在一些这样的情况下，在间视照明条件下度过的时间越长，变为激活的视锥细胞越多(视杆细胞越少)。通过监视时间(例如，实时地)和发光度水平，某些实施例可以确定活性的视锥细胞和视杆细胞的量和/或确定是视锥细胞还是视杆细胞在用户的眼睛中占主导。通常，环境越暗，视杆细胞超过视锥细胞而占主导的过渡越快。而且，发光度变化越大(例如，更暗或更亮)，视杆细胞或视锥细胞越快地变为激活的。
因此，在一些实施例中，可以至少部分地基于照明条件以及至少部分地基于在该照明条件下(例如，在间视照明条件下)度过的时间而加强图像内容。当视锥细胞占主导时，例如，当在明视条件下，可以基于所投射光位置的视锥细胞密度而反向加强图像内容。例如，可以向呈现到具有较低视锥细胞密度的眼睛位置的图像内容提供更大加强(例如，尺寸、对比度、颜色饱和度、锐度等的增加更大)。当视杆细胞占主导时，例如，当在暗视条件下，可以基于所投射光位置的视杆细胞密度而反向加强图像内容。例如，可以向呈现到具有较低视杆细胞密度的眼睛位置的图像内容提供更大加强(例如，尺寸、对比度、颜色饱和度、锐度等的增加更大)。
另外，加强可以至少部分地基于活性感光细胞(例如，用于明视视觉的视锥细胞、用于暗视视觉的视杆细胞，和用于间视视觉的视锥细胞和/或视杆细胞)的分辨率。分辨图像内容的两点可取决于眼睛的空间和/或对比灵敏度(或空间分辨率)。另外，眼睛可以感测到的最小空间距离和/或最小对比度可以取决于发光度水平。例如，与暗环境相比，眼睛可感测到的最小空间距离和/或最小对比度对于光照良好的环境而言可能较小。因此，各种实施例可以加强图像内容，以便至少部分地基于针对给定照明条件的眼睛分辨率而被眼睛分辨。例如，图像内容可以被扩大到一定程度，以至少满足活性视锥细胞和/或视杆细胞的最小空间分辨率。作为另一示例，图像内容可以具有以一程度增加的对比度，以至少满足活性视锥细胞和/或视杆细胞的最小对比灵敏度。一些实施例可以利用多于一种加强技术(例如，放大、增加亮度、增加对比度、增加颜色饱和度、增加锐度、添加背景等)。
应当理解，各种实施例可以利用一种或多种技术来基于环境照明条件下的视觉功能和/或基于活性感光细胞的分辨率而对图像内容进行削弱(例如，减小尺寸、模糊、调暗/衰减、降低对比度、降低颜色饱和度、降低锐度、遮蔽等)。例如，在较高发光度水平(例如，与较低发光度水平相比)中，视锥细胞可以更敏感。在一些这样的情况下，呈现到与具有高视锥细胞密度的光投射位置对应的用户视野的一部分的图像内容可以被削弱，并仍能被检测到。因此，在明视照明条件下，一些实施例可以削弱呈现到中心视野的图像内容，使得用户能够更好地观看呈现到外围视野的图像内容，同时仍然能够观看在中心视野中呈现的削弱的图像内容。在较低发光度水平(例如，与较高发光度水平相比)下，视杆细胞可以更敏感。在一些这样的情况下，呈现到与具有高视杆细胞密度的光投射位置对应的用户视野的一部分的图像内容可以被削弱，并仍能被检测到。因此，在暗视照明条件下，一些实施例可以削弱呈现到外围视野的图像内容，使得用户能够更好地观看呈现到中心视野的图像内容，同时仍然能够观看在外围视野中呈现的削弱的图像内容。另外，在间视照明条件下，一些实施例可以确定是视锥细胞还是视杆细胞在用户的眼睛中占主导(例如，至少部分地基于在照明条件下度过的时间)并且相应地呈现图像内容。例如，一些实施例可以在视锥细胞占主导时，例如，当在明视条件下，基于视锥细胞密度而削弱图像内容。一些实施例可以在视杆细胞占主导时，例如，当在暗视条件下，基于视杆细胞密度而削弱图像内容。此外，本文所述的一些实施例可以有利地通过视觉或音频警报而向用户警告加强/削弱的图像内容。
图像修改
现在参考图12A和12B，包含用户传感器和/或环境传感器的显示系统可以有利地提供环境中对象的图像修改。换句话说，某些实施例可以允许用户以更好的可见性观看位于用户视野中的对象。
图12A和12B示出了使用显示系统对用户视野中的对象进行图像修改的示例方法4000。显示系统可以包括分别在图2、图6和图10A至10B中的显示系统80、1000或2010。类似于图11A的框3010和3020，显示系统可以被配置为捕获环境的一个或多个图像，如框4010所示，并且可以处理环境的图像，如框4020所示。在一些实施例中，捕获设备可以捕获关于环境的其它信息(例如，相机或光传感器可被用于捕获环境的照明条件(例如，平均亮度))。
在框4030处，各种实施例可以确定环境中的感兴趣对象。在一些实施例中，感兴趣对象可以是用户的外围视野中的对象。通常，用户通常将注意力集中在用户的中心视野中的一个或多个对象上。在一些这样的实施例中，显示系统可以自动确定位于用户的外围视野中的用户感兴趣的对象。
例如，各种实施例可以识别用户可能感兴趣的用户的外围视野中的环境的至少一部分(例如，一个或多个对象、一个或多个对象的一部分、或者对象的至少一部分及其邻近环境的一部分)。在一些实施例中，显示系统可以通过监视用户以确定用户有兴趣观看环境的哪个部分，来自动识别环境的该部分。用户在某个观看方向上聚焦的时间和/或精力可以被解释为用户的感兴趣水平。例如，对用户的外围视野中的特定区域感兴趣的用户可能多次使其头部和/或眼睛指向特定方向和/或可能花费更长时间观看该方向。作为另一示例，对环境的特定部分感兴趣的用户可能在某个方向上观看时眯起眼睛，该方向指示试图查看例如位于该方向上具有低分辨率的对象的精力/兴趣。用户也可尽力调节。因此，可以监测眼睛中的晶状体的调节度量以确定用户是否正试图观看一对象但却有一些困难。
因此，如图10A至10B所示，显示系统可以包括被配置为接收来自用户的输入的一个或多个输入设备。输入设备可以包括面向内的相机24、28和/或用于眼睛跟踪的传感器，例如用于检测眼睛位置、运动、注视或瞳孔大小。面向内的相机24、28和/或传感器可以进一步被配置为监视其它面部标志，例如眼睑位置、周围眼组织位置、面部肌肉运动(例如，紧缩或挤压面部肌肉、眯眼等)或其它面部位置或运动。诸如本文所述的传感器和/或相机(例如，头部姿势传感器，诸如加速度计、陀螺仪、IMU和/或相机24、28、30、32、34)可被用于确定用户的头部姿势，例如头部定位的方向(例如，直的或相对于地平线倾斜的)。通过结合使用一条或多条这样的信息(例如，关于眼睛跟踪、面部标志和/或头部姿势的信息)和来自面向外的相机34的关于用户环境的信息，本地处理和数据模块70(和/或图2的远程处理模块72)可以被配置为确定用户的外围视野中的感兴趣区域。
在一些实施例中，显示系统可以通过用户主动指示感兴趣区域来识别用户的外围视野中的环境的一部分。例如，面向内的传感器和/或相机24、28可以包括检测系统以检测某些基于用户眼睛的命令。例如，一些实施例可以通过用户命令选择感兴趣的区域，这些用户命令涉及注视、眯眼，或者一个或多个使眼色或眨眼的模式。作为其它示例，显示系统可以包括物理用户接口(例如，触摸传感器，诸如触摸板、鼠标、指点设备，或显示系统表面上的一个或多个按钮)、虚拟用户接口(例如，虚拟触摸板、虚拟鼠标、虚拟指点设备、或虚拟触摸屏上的一个或多个图标)、音频识别系统(例如，用于检测语音命令、叹息、打哈欠等的一个或多个麦克风)、姿势识别系统(例如，用于识别姿势的摄像机和处理电子设备)和/或运动识别系统(例如，运动检测器)以允许用户选择感兴趣的区域。
一些实施例可以包括一个或多个指示符(indicator)或设备警报(例如，闪光灯或弹出警报或使用音频信号)以将用户的注意力吸引到外围视野中的情况(例如，外围区域中未被注意到的出血)。作为响应，用户可以主动选择是否加强用户的外围视野中的相关部分的图像。在一些这样的实施例中，用户可以与外围视野交互而不会中断对当前中心视野的注视(诸如语音命令或挥手以关闭外围中的弹出警报)。
在各种实施例中，用户的外围视野中的环境的所识别的部分可以包括一个或多个物理对象、一个或多个物理对象的一部分，或物理对象的至少一部分以及其附近环境的一部分。例如，所识别的部分可以包括附近桌子上的一个或多个工具。作为另一示例，对象可包括在手术室中的物理屏幕上呈现的预先记录的或实时的医学图像。医学图像可以包括诸如数据文件、计算机断层(CT)扫描(或者也被称为计算机轴向断层(CAT)扫描)、磁共振成像(MRI)、正电子发射断层(PET)扫描、超声成像、X射线等的信息。在一些这样的示例中，环境的该部分不必包括屏幕上的整个图像，而是可以包括图像的一部分。此外，显示系统可以被配置为识别环境的多于一个的非相邻部分(例如，外科医生左侧的医学图像和外科医生右侧的不同医学图像)。
在各种实施例中，一个或多个面向外的传感器34可以被配置为测量距环境的所识别的部分中的感兴趣对象的距离。一个或多个传感器34可以包括距离测量设备(例如，激光测距仪)。距感兴趣对象的距离可被用于确定对象的图像内容所被呈现于的深度平面。
参考图12A，在框4040处，显示系统可以被配置为修改与对象的图像对应的环境的图像的一部分。如框4041所示，显示系统可以呈现对象的加强图像(例如，至少部分地基于到对象的距离、和/或两点区分的最小距离、和/或与眼睛的空间分辨率的反比关系而确定的深度平面处的放大图像)，或如框4042所示，显示系统可以在不同的位置中呈现对象的图像。图12B示出了一些这样的实施例的示例应用。在图12B中，外科医生可以在他或她的中心视野中对患者进行手术。距手术台一定距离可以是医学图像4045(例如，心脏监护器上的心电图)。如图12B中的4041所示，一些实施例可以有利地呈现加强的医学图像(例如，在该示例中增大尺寸)。在一些实例中，加强的图像可以出现在与实际医学图像基本相同的位置中(为清楚起见，加强的图像未在图12B中的该相同的位置中示出)。例如，医学图像可以保持在其实际位置中或实际位置附近，但可以看起已被加强(例如，大于或小于其实际尺寸)。当外科医生观看该加强的医学图像时，外科医生能够看到具有更佳可见度的医学图像。如图12B中的4042所示，一些实施例可以有利地改变医学图像的位置。例如，位于外科医生的外围视野中的医学图像可以被移位为更靠近患者，以便外科医生不必连续调整头部姿势。这样，外科医生能够同时看到患者和医学图像两者。各种实施例还可以向用户呈现另外的图像。例如，如图12B所示，可以提供另外的AR图像4047(例如，靠近患者呈现的心脏的3D图像)。
返回参考图12A的框4041，如本文所述，可以在与对象的对应深度平面相同的深度平面上或在与对应于对象的深度平面接近的深度平面上加强对象的图像。例如，在一些实施例中，显示系统可以被配置为在至少部分地基于到对象的距离确定的深度平面处呈现感兴趣的对象的加强的图像。从中投射图像的深度平面可能与真实世界中从用户到对象的距离不完全一致。替代地，在某些情况下，所选择的深度平面接近在真实世界中对象与用户的距离，例如可用的近深度平面或至少比头戴式显示设备被配置为从中提供图像的一个或多个其它深度平面更近。因为加强了用户的外围视野中的感兴趣对象的图像，所以用户可以具有对该对象的更佳可见度而不必将用户视野重定向到该对象。尽管在图12B所示的示例中，对象4045的图像4041被放大，但是对象4045的图像4041可以以其它方式被加强。
可以使用各种方式来测量用户到真实世界中的对象的距离。例如，美国临时申请No.62/294,147描述了一种进行物理测量的方法。在一些实施例中，头戴式显示设备可以包括被配置为测量到环境中的对象的距离的一个或多个传感器。这种传感器可以是距离测量设备或测距设备，例如激光测距仪(例如激光雷达)、雷达测距仪、超声波测距设备(使用例如声纳或回声)。也可以使用诸如三角测量之类的其它方法。如本文所述，可以在头戴式显示器上显示对象的图像，以针对用户产生这样的效果：对象的图像看起来在与真实位置相同的位置处。该效果可以通过确定成像对象可被呈现于的深度平面来实现，以便看起来位于与对象的实际位置相同的距离处。头戴式显示器提供的深度平面可以不必与到对象的距离精确匹配。可选择接近该距离的深度平面。或者，最合适的深度平面可能是可由头戴式显示设备提供的深度平面，该深度平面比可由头戴式显示设备提供的其它深度平面更接近从用户到对象的距离。在一些实施例中，例如，显示设备包括至少两个深度平面：远深度平面和近深度平面。可以根据从对象到用户的距离选择最合适的深度平面。例如，如果从对象到用户的距离更接近第一深度平面而不是由特定头戴式显示器提供的第二深度平面，则该对象的图像可以在第一深度平面上呈现。在一些实施例中，远深度平面可以显示出现在比距用户的阈值距离更远的位置处的对象的图像，并且近深度平面可以显示出现在比该阈值距离更近的位置处的对象的图像。在各种实施例中，不止仅两个深度平面可用于呈现图像。同样，如上所述，在这样的实施例中，可以选择与对应于真实世界中的对象的深度平面更接近的最合适深度平面。
在一些实施例中，显示系统可以被配置为放大对象的图像内容并且至少部分地基于到对象的距离和/或两点区分的最小距离和/或与眼睛的空间分辨率的反比关系而在一深度平面上呈现该放大的图像。在某些实施例中，显示系统可以相对于在没有放大(或加强)的情况下对象呈现的方式呈现对象的放大(或加强)图像。在一些实施例中，图像的放大(或加强)可以相对于真实世界中的周围对象和/或在显示器上呈现的其它图像。
现在参考图12A中的框4042，如本文所述，显示系统可以在与对象不同的位置处呈现感兴趣的对象的图像。在一些示例中，显示系统可以在对应于到对象的距离的相同深度平面处的不同位置处呈现对象的图像，如框4042a所示，或者，在与对应于到对象的距离的深度平面不同的深度平面处呈现对象的图像，如框4042b所示。例如，可以参考图12C说明框4042a。图12C示出了相对于图4的一只眼睛6的深度平面。感兴趣的对象最初可以与位置A处(例如，距离用户10英尺处)的深度平面4100相关联。如图12C所示，显示系统可以在位置A'处呈现对象的图像(例如，将光线投射到视网膜中，就像发出光线的对象位于距用户10英尺处或者在一些实施例中)，该位置A'从位置A横向移位，但在相同的深度平面4100处。例如，医学图像可以几乎位于外科医生的视野外侧(例如，在外围视野中)。在一些实施例中，医学图像可以在横向移位的位置处呈现，使得医学图像看起来更接近外科医生的中心视野。在一些这样的实施例中，与医学图像不在横向移位的位置处呈现相比，外科医生能够以更佳的可见度查看医学图像。
还可以参考图12C说明框4042b。如上所述，感兴趣的对象最初可以与位置A处的深度平面4100相关联。如图12C所示，显示系统可以将对象的图像呈现在位于深度平面4200处的位置A”处，深度平面4200与位置A的关联深度平面不同。例如，位于位置A处的医学图像可以在更接近与患者和/或手术部位(例如，在位置B处)相关联的深度平面4200的不同深度平面4200处呈现。
在各种实施例中，在更接近与患者相关联的深度平面(如果不相同)的深度平面上呈现医学图像可以放松外科医生的调节(例如，使医学图像的调节状态更接近患者的调节状态)。另外，与医学图像不被呈现于不同位置处相比，外科医生能够以更佳的可见度查看医学图像。例如，医学图像可以与患者相邻地呈现。作为另一示例，医学图像可以叠加在患者身上。在一些情况下，叠加在患者身上的图像可以在外科手术期间为外科医生提供指导。
在一些实施例中，感兴趣对象的图像可以在较靠近或较远离眼睛6的深度平面处呈现。例如，深度平面可以包括远深度平面4100和近深度平面4200。远深度平面4100可以比近深度平面4200距用户的眼睛6更远。如本文所述，各种实施例可以包括被配置为确定到感兴趣对象的距离的一个或多个面向外的传感器34。到感兴趣对象的距离可以更多地对应于远深度平面4100而不是近深度平面4200。在一些情况下，对象的图像可以在近深度平面4200处呈现。在某些情况下，在近深度平面4200处呈现的对象的图像可以被呈现到用户的中心视野或其附近。所呈现的图像可以被放大或可以不被放大(或以其它方式被加强)。在一些其它实施例中，感兴趣对象可以更多地对应于近深度平面4200而不是远深度平面4100，并且对象的图像可以被呈现在远深度平面4100处(例如，以减少由在感兴趣的对象附近引入分心或杂乱的太多成像细节导致的视觉拥挤)。此外，在一些实施例中，对象的图像可以在与对象的对应深度平面相同的深度平面处被横向移位(例如，从外围视野被横向移位到中心视野)。一些实施例可以呈现在与对象的对应深度平面相同的深度平面处被横向位移的加强图像。作为一个示例，用户的外围视野中的瓶子上的标签的放大图像可以在实际带标签瓶子上方被横向移位地呈现。
应当理解，可以基于除放大率和/或位置以外的方面(或与放大率和/或位置组合的方面)修改感兴趣对象的图像。例如，可以在强度/亮度、对比度、颜色饱和度、锐度、边缘加强、包含背景、颜色平衡和/或白平衡方面修改与对象的图像对应的环境的图像的部分(例如，在外围视野中)，使得它相对于在不被修改的情况下对象呈现的方式和/或与环境的图像的另一部分(例如，外围视野中的环境图像的另一部分(诸如接近修改后的图像的部分)，或中心视野中的环境图像的一部分)相比而被加强。还可以基于曝光、明度、阴影、高光、翻转、拉直、旋转、测量图像部分和/或使用其它方法来加强与对象图像对应的环境图像的部分。因此，在各种实施例中，与环境图像的另一部分相比，可以不同地处理与对象的图像对应的环境图像的一部分。所呈现的图像内容是附加的增强内容和/或可以包括另外的附加的增强内容(例如，文本、箭头、用户命令、复制的图像，诸如可被操作的器官之类的对象的3D图像等)。
还应当理解，作为对修改与感兴趣对象对应的环境的图像或视图的一部分的替代或补充，可以通过对环境或由显示器显示的其它图像的图像或视图执行收缩、模糊、调暗/衰减、降低对比度、降低颜色饱和度、降低锐度、去掉对边缘的加强、遮挡等来削弱环境的另一部分。例如，可以模糊这样的图像内容以减少视觉拥挤或杂乱。一些实施例可以通过以基本上全部相同颜色(例如，单色调)呈现图像的相邻部分来模糊内容。在一些这样的实例中，颜色可以是与对应于感兴趣对象的图像部分中的颜色具有高对比度的颜色。还可以基于曝光、明度、阴影、高光、翻转(例如，反转)、拉直或减小直线度、旋转、测量图像部分(例如，包括体积)、改变颜色平衡(或白平衡)，和/或否则是与对应于感兴趣对象的图像的环境图像部分相比不同地处理的图像，实现削弱环境或由显示器显示的其它图像的图像或视图。
还应当理解，被确定为感兴趣的对象可以对应于用户的中心视野中的对象，并且与该对象的图像对应的环境图像部分可以如本文所述被加强和/或移动位置。此外，如本文所述，可以削弱环境图像的另一部分。
作为又一示例，一些实施例可以将来自用户的中心视野的对象的图像呈现到用户的中心视野中的另一位置。来自远深度平面的图像内容可以被置于近深度平面，以增加用户的中心视野中的可见度。同样，对应于近深度平面的图像内容可以被置于远深度平面，例如以减少用户的近视野中的杂乱和/或视觉拥挤。一些实施例还可以将来自用户的中心视野的对象的图像呈现到用户的外围视野(例如，以减少视觉拥挤)。
继续参考图12A，在框4050处，一些实施例可以被配置为修改与对象的被修改图像接近的环境图像的一部分。例如，一些实施例可以削弱与对象的被修改图像接近的环境图像的一方面(例如，减小尺寸，降低颜色饱和度，降低强度，模糊图像内容，使图像内容变暗/衰减，改变颜色或色调等)(例如，以减少分散注意力的视觉细节或视觉拥挤)。作为另一示例，一些实施例可以调整与对象的被修改图像接近的环境图像部分以覆盖任何下伏的(underlying)图像。例如，如果对象的被修改图像被移位到一不同的位置和/或是放大的图像，则某些实施例可以调整在被修改图像下面的区域以防止呈现双图像。在一些情况下，还可以修改环境的图像以包括围绕对象的被修改图像的边界。提供边界可以帮助用户知道他或她正在观看对象的被修改图像(例如，增强的虚拟图像)而不是实际世界中存在的对象的图像。此外，如图12B所示，可以在对象的被修改图像附近呈现附加的增强现实图像(例如，预先计划的手术指导、指令等)。
如本文所述，显示设备可以被配置为突出显示(highlight)用户周围环境中的对象的图像。这些对象可以出现在用户的各种感测区域中，例如在用户视野内。在这种情况下，对象可以在用户的中心视野中或在外围视野中。或者，对象可以在用户的能视域内但在用户视野之外。例如，在一些实施例中，将用户视野外的对象的图像置于用户视野内可以用于向用户发出警报。在外科手术的情况下，当将注意力集中在手术部位上时不在外科医生视野内的屏幕可以包括患者的生命体征。当这样的生命体征达到一定水平时，可以通过在头戴式显示设备显示器上提供屏幕的图像来向外科医生发出警报。可以由放置在头戴式显示设备上的摄像机对该屏幕进行成像。该相机(或多个相机)可以是前向相机，或甚至可以是侧向相机或后向相机。作为另一示例，警报可以包括图标(例如，图像的副本)或音频以向外科医生指示可能的情况。作为又一示例，图标(例如，心脏或温度计)可能出现在显示器上以提醒外科医生检查患者的某些生命体征(例如，心率或温度)。小图标可以减少分心。然后，外科医生可以选择移动他或者头部以查看实际对象或者选择将对象作为AR图像查看。
作为另一示例，在紧急情况下(例如，在机场)，感兴趣对象可以是除颤器。显示设备可以通过网络系统或对象识别算法定位除颤器，并提供到其位置的大体方向(例如，视觉、音频、文本等)。在面向外的相机定位除颤器之后(例如，在用户的能视域内)，显示设备可以呈现除颤器的加强图像(例如，其放大的图像)以及附加的增强图像，诸如到除颤器的更精确方向(例如，箭头、文本等)。此外，当使用除颤器时，显示设备可以在患者旁边呈现操作指南小册子的加强图像。还可以在患者附近呈现附加内容(例如，放置除颤器垫的位置)。许多其它示例是可能的。如上所述，与网络系统的通信可用于提供附加信息，例如该示例中的除颤器位置。诸如由处理电子设备提供的模式识别可以用于处理由面向外的相机捕获的图像，例如以确定对象(例如该示例中的除颤器)的位置或识别对象。
基于照明条件的图像修改的另外的实施例
如本文所述，某些实施例可以至少部分地基于照明条件而修改环境的图像内容的至少一部分(参见例如图11B)。还如本文所述，各种实施例可识别环境中的感兴趣对象并修改对应于该对象的环境图像的一部分(例如，呈现对象的加强图像或在一不同位置处呈现对象的图像，如图12A至12B所示)。可以至少部分地基于照明条件而修改图像的一部分。
在图像内容被呈现在一不同位置处的一些实施例中，显示系统可以被配置为至少部分地基于环境的照明条件而将图像内容从用户视野的第一部分呈现到用户视野的第二部分。在环境的照明条件下，第二部分可以对应于具有比第一部分更高的视敏度的用户眼睛的所投射光位置。通过将图像内容移动到与具有更高视敏度的用户眼睛的所投射光位置相对应的位置，本文描述的某些实施例可以将图像内容呈现到显示器而不必增加图像内容的亮度。有利地，在黑暗环境中使用一些这样的实施例可以保持用户在自然的黑暗环境中通过显示器观看真实世界的能力。
在明视照明条件下，由于视锥细胞被激活，第二部分可对应于具有比第一部分更高的视锥细胞密度的用户眼睛的所投射光位置。例如，第一部分可以包括外围区域中的一部分，第二部分可以包括中心区域中的一部分。作为另一示例，第一部分可以包括中心区域中的一部分，第二部分可以包括中心区域中的另一部分(例如，对应于更靠近中央凹的用户眼睛的所投射光位置)。作为又一示例，第一部分可以包括外围区域中的一部分，第二部分可以包括外围区域中的另一部分(例如，对应于更靠近中央凹的用户眼睛的所投射光位置)。在一些情况下，第二部分可以对应于中央凹处的用户眼睛的所投射光位置，在这里视锥细胞具有用于最佳观看的最高视敏度。在一些示例中，第二部分可以对应于在如下范围内的用户眼睛的所投射光位置：该范围为从中央凹中心偏离0至10度、1至10度、2至10度、0至8度、1至8度、2至8度、0至5度、1至5度、2至5度，或者为由从中央凹中心偏离0至10度中的任何值形成的任何范围(例如，从中央凹中心偏离1至4度、1至6度、2至7度等)。
在暗视照明条件下，由于视杆细胞被激活，第二部分可对应于具有比第一部分更高的视杆细胞密度的用户眼睛的所投射光位置。例如，一个人可以尝试使用转移视觉(averted vision)在昏暗光线下看到细节。由于中央凹中基本上没有视杆细胞，因此人可以将注视改到外围视觉，同时集中于感兴趣对象。因此，第一部分可以包括中心区域中的一部分，第二部分可以包括外围区域中的一部分。
如本文所述，视杆细胞密度可以在从中央凹中心偏离约18度处达到峰值，并且在从中央凹中心偏离约30度处具有较小的峰值。在一些示例中，第一部分可以包括外围区域中的一部分，第二部分可以包括外围区域中的另一部分(例如，对应于更靠近视杆细胞密度峰值之一的用户眼睛的所投射光位置)。在一些情况下，第二部分可以对应于视杆细胞密度峰值之一处的用户眼睛的所投射光位置以实现最佳观看。在一些示例中，第二部分可以对应于从中央凹中心偏离10至25度、12至22度、15至20度的范围内，或者由从中央凹中心偏离10至25度中的任何值形成的任何范围(例如，从中央凹中心偏离13至23度，14至22度，16至20度等)内的用户眼睛的所投射光位置。在一些示例中，第二部分可以对应于从中央凹中心偏离20至40度、22至38度、25至35度的范围内，或者由从中央凹中心偏离20至40度中的任何值形成的任何范围(例如，从中央凹中心偏离23至37度，26至32度，27至33度等)内的用户眼睛的所投射光位置。
在间视照明条件下，可以同时使用视锥细胞和视杆细胞。在一些实施例中，在间视照明条件下，设备可以被配置为至少部分地基于照明条件以及至少部分地基于在照明条件下度过的时间而将图像内容从第一部分呈现到第二部分。照明条件越暗，变为激活的视杆细胞越多(视锥细胞越少)。另外，在间视照明条件下度过的时间越长，变为激活的视杆细胞越多(视锥细胞越少)。通过监视时间(例如，实时地)和发光度水平，某些实施例可以确定正被使用的视锥细胞和视杆细胞的量并确定是视锥细胞还是视杆细胞在用户的眼睛中占主导。通常，环境越暗，视杆细胞超过视锥细胞而占主导的过渡越快
当视锥细胞在用户的眼睛中占主导时，例如，如在明视条件下，第二部分可以对应于具有比第一部分更高的视锥细胞密度的用户眼睛的所投射光位置。例如，第一部分可以包括外围区域中的一部分，第二部分可以包括中心区域中的一部分。作为另一示例，第一部分可以包括中心区域中的一部分，第二部分可以包括中心区域中的另一部分(例如，对应于更靠近中央凹的用户眼睛的所投射光位置)。作为又一示例，第一部分可以包括外围区域中的一部分，第二部分可以包括外围区域中的另一部分(例如，对应于更靠近中央凹的用户眼睛的所投射光位置)。在一些情况下，例如，如本文针对明视条件所描述的，第二部分可以对应于中央凹处的用户眼睛的所投射光位置，在这里视锥细胞具有用于最佳观看的最高视敏度。
当视杆细胞在用户的眼睛中占主导时，例如，如在暗视条件下，第二部分可以对应于具有比第一部分更高的视杆细胞密度的用户眼睛的所投射光位置。例如，第一部分可以包括中心区域中的一部分，第二部分可以包括外围区域中的一部分。在一些示例中，第一部分可以包括外围区域中的一部分，第二部分可以包括外围区域中的另一部分(例如，对应于更靠近视杆密度峰值之一或在视杆密度峰值之一处的用户眼睛的所投射光位置，如针对暗视条件所述的)。
由于显示系统可以被配置为将图像内容从用户视野的第一部分呈现到用户视野的第二部分，因此一些实施例可以有利地通过视觉或音频警报而向用户警告图像内容的改变。
应当理解，一些实施例可以不必将图像内容从一个位置移动到另一位置，但是可以使用本文描述的类似原理来确定位置，以至少部分地基于环境的照明条件以及至少部分地基于所投射光位置的感光细胞密度而呈现增强的图像内容(例如，用于实现照明条件下的最佳观看)。
例如，在明视照明条件下，可以基于所投射光位置的视锥密度而将图像内容呈现到用户视野的一部分。可以将图像内容呈现到与具有相对高的视锥细胞密度的用户眼睛位置对应的用户视野的一部分。在一些情况下，可以将光投射到用户眼睛的一位置，以便将图像内容呈现到用户视野的中心区域。在一些情况下，所投射光位置可以在中央凹处或靠近中央凹。
作为另一示例，在暗视照明条件下，可以如本文所述基于所投射光位置的视杆细胞密度而将图像内容呈现到用户视野的一部分。可以将图像内容呈现到与具有相对高的视杆细胞密度的用户眼睛位置对应的用户视野的一部分。在一些情况下，可以将光投射到用户眼睛的一位置，以便将图像内容呈现到用户视野的外围区域。在一些情况下，所投射光位置可以在视杆细胞密度峰值之一处或靠近视杆细胞密度峰值之一。
作为又一示例，在间视照明条件下，某些实施例可以被配置为确定在照明条件下是视锥细胞还是视杆细胞在用户的眼睛中占主导。如本文所述，该确定可以基于在该照明条件下度过的时间。当视锥细胞在用户的眼睛中占主导时，可以将图像内容呈到如针对明视条件所描述的位置。当视杆细胞在用户的眼睛中占主导时，可以将图像内容呈现到如针对暗视情况所描述的位置。还如本文所述，一些实施例可以有利地通过视觉或音频警报向用户警告所呈现的增强图像内容。
用于医学成像、显示和可视化的示例显示系统
许多人经历在其生命中的某个时刻需要诊断和治疗的医学病症或疾病。这些病症可以采取多种形式，包括例如心脏病、癌症、脊柱病症和骨科伤害等。有利地，在一些实施例中，本文公开的增强现实(AR)显示系统可以被配置为辅助医疗专业人员评估和治疗他们的患者，并且可以在任何护理阶段这样做。AR显示系统可以被用于医学成像、医学显示和/或医学可视化是有用的任何合适的情境中。例如，AR显示系统可以被用于急诊室、手术室、诊所、医生办公室、患者家中等。在一些实施例中，AR显示系统可以被配置为在医疗过程期间成像、显示图像、操纵图像、诊断疾病和异常、提供治疗选项、防止某些健康问题和/或提供辅助。应当理解，AR显示系统可以以任何合适的方式为一个或多个医疗专业人员提供辅助或补充。在医学情境中，在家中的患者和用户也可受益于各种实施例。
在一些实施例中，显示系统可以是“近眼”显示器，例如可以位于用户眼睛附近和前方的显示器。显示器可以是三维体积显示器，其通过例如跨视网膜以各种图案扫描具有不同焦距的强度调制光的光束，将图像直接投射到用户的眼睛中。扫描图案可以包括光栅、螺旋和/或利萨如等。为了将这样的各种图案投射到眼睛，显示器可以包括扫描光纤显示器，该显示器包括一个或多个扫描光纤。显示器可以通过向眼睛产生准直光束和发散光束来产生各种深度的图像，这有利地允许在向观看者显示对象时执行更正常的调节。在一些实施例中，可以通过光学元件、机械结构、处理算法或其任何组合来调整图像的深度或焦距。显示器可以包括增强现实显示器，其允许观看者通过透明的窗口、透镜和/或其它透明光学器件观看前方的环境，并且还可以将由包括光源的显示器呈现的图像添加到该环境的视图中，其中所述光源将光引导到眼睛中以形成这种附加的或“增强的”图像。
如下所述，附加的图像可以包括医学图像，例如X射线、CT、PET或MRI扫描、超声图像等。在一些实施例中，可以调整医学图像的对比度水平。例如，医学图像可以是灰度级的，并且灰度级可以是组织类型的固有级。有时，医学图像的级数可以大于人眼可区分的级数。例如，8位图像可以具有256级，其可以大于人眼可区分的级数。一些实施例可以调整对比度水平，使得它们可以被人眼区分。
附加的图像还可包括例如来自医疗仪器或其它来源的医学数据或其它信息。在一些实施例中，在显示系统中包括的图像处理和/或机器视觉技术可以被配置为基于这样的图像或其它信号或数据来勾边(contour)和/或测量形状和/或体积的变化和/或测量流体流动。还可以显示其它类型的信息。显示系统可以被配置用于对这种成像的和感测的数据进行实时处理和/或后处理。这可以有利地允许显示系统利用相关信息(例如，指令、测量、计算和其它可见图像)来增强实时图像和/或后视(post-viewing)图像。
如本文所述，显示系统可以包括一个或多个面向外的相机。在一些实施例中，机器视觉可以被用于分析来自用户环境的视觉内容，并且可以包括例如以下一者或多者：颜色传感器、深度传感器、模式识别器、边缘检测器和/或世界相机，以及其它特征或部件。来自这些一个或多个相机的图像可以被呈现在显示器上。如上文和本文其它地方所讨论的，显示技术可以使用深度平面、离散内容观看和图像放置，以使得用户可以清楚地看到内容，并且如本文所讨论的，在各种情况下基于地球(grounded to the earth)(像素棒)。
这样的系统可以另外包括一个或多个传感器，例如图像传感器、加速度计、陀螺仪、温度传感器、电极、压力传感器等。在一些实施例中，显示系统可以包括高度计、气压计、化学传感器、湿度/温度传感器、麦克风、扬声器、GPS系统、天气图、日历和/或其它信息源，上述每一者有助于用户在其设备上看到和与之交互的内容类型。
该系统可以另外包括一个或多个记录器和/或一个或多个其它外部输入和/或输出设备。如上所述，机器视觉可以允许显示系统接收与机器视觉系统的各种输入设备(例如，传感器)对应的输入并将它们显示在用户视野中。可以将图像和其它信息存储和/或传递给其他用户。
在一些实施例中，可以同时地或通过比较历史数据来收集和/或分析结果。在一些实施例中，显示系统可以包括用于诊断医疗病症的机器视觉技术。在一些实施例中，例如，可以使用面向外的相机收集关于患者状况的信息。而且，在一些实施例中，可以分析超声、X射线、MRI、PET、CT、成像以提供诊断。在一些实施例中，例如，设备可以输出来自作为超声发射源的换能器的超声波，并测量作为响应而返回的超声波以确定组织密度，以获得关于患者的信息。参见例如图10B。因此，在一些实施例中，头戴式显示设备可包括超声波源。头戴式显示器还可以包括接收器，该接收器被配置为接收、测量和/或解译来自所发射的超声波的返回信号。一些实施例使用多普勒效应或飞行时间作为所接收信号的测量和/或解译的一部分。在某些实施例中，显示系统包括适于将超声波转换为电信号的传感器。本文所公开的处理电子设备可用于处理这种信号。在一些实施例中，源和/或接收器可包括一个或多个换能器。在一些实施例中，源和/或接收器的一个或多个换能器可以安装在显示系统上。在一些实施例中，显示设备被配置为发射超声波，使其传播通过传播介质(例如，空气、皮肤、液体、凝胶等)。其它输入还可以包括导入的数据，例如，图像、患者历史档案、急诊医疗记录或外科病例备注，这些可以在以后用于帮助诊断。在一些实施例中，设备可以使用模式识别和处理电子设备，例如，以执行测量(例如，病变长度、来自超声的飞行时间数据)来评估患者的状况。在某些实施例中，可以存储群体规范，使得它们可被用于与由设备进行的实时测量和/或观察进行比较。使用通过这种比较而接收的信息，某些实施例可以从图像数据中识别异常。这种诊断和/或确定可以采用发射、响应、测量和/或分析过程中的一者或多者。此类诊断还可被用于防止发生某些健康问题。在一些实施例中，所收集的信息(例如，基于历史的反应、群体规范等)可被用于形成对象(例如，骨骼结构)的更准确的表示和/或图像。响应于收集的和/或分析的数据，在一些实施例中，显示系统可以被配置为提供信息线索、发送警报或发起其它响应。应当理解，显示系统的感测和显示能力可以以任何合适的方式(例如，利用传感器和/或其它设备)而被修改，以在研究人员、临床医生、患者、消费者等所使用的任何医疗和消费应用中具有实用性。
一个或多个面向内的相机可以被配置为检测用户的输入。在一些实施例中，一个或多个面向内的相机可以被配置为跟踪眼睛运动、包围眼睛组织和/或跟踪用户的瞳孔。面向内的相机可以包括被配置为检测用户输入的视网膜相机。在一些情况下，可使用反馈来评估用户表现并相应地显示内容(例如，颜色、大小、位置等)。例如，眯眼或眼睑下垂可以指示用户疲劳的迹象。一些实施例的显示系统可以被配置为通过某些内容的缩放和/或增加对比度来自动调整显示内容以使用户重新参与任务。作为另一示例，在一些实施例中，可以测量瞳孔保持聚焦在对象上的时间，并且可以将该时间解释为用户的兴趣水平。显示系统可以包括姿势识别。一个或多个面向外的相机例如可以使用机器视觉、边缘检测、对象识别和/或惯性测量单元(IMU)等来理解用户的手势、头部姿势、运动模式等。在一些实施例中，显示系统可包括能够识别例如一个或多个信号、一个或多个信号的位置、音频(例如，语音)输入和/或噪声强度的麦克风。在一些实施例中，显示系统可以包括用于例如向用户提供音频反馈的扬声器。
根据患者医疗扫描而生成3D虚拟图像
如上所述，显示系统可以与各种医学成像模态(例如，CT、MRI、PET和/或超声等)组合以可视化各种解剖学特征，包括例如骨骼、器官、软骨、血液、癌组织等。例如，在一些实施例中，显示系统可以被配置为测量组织体积(例如肿瘤体积)并测量健康组织相对于不健康组织的程度(例如，获得健康组织与不健康组织的比率或百分比)。在一些实施例中，可以分析和显示可视化组织的各个方面。当与一个或多个医学成像模态组合时，显示系统可以有利地根据一个或多个3D数据集生成对象的3D虚拟图像，并将3D虚拟图像显示给用户以用于医疗应用。这可以例如允许更逼真的图像，为观看者提供更准确和自然的观看体验(例如，因为对象图像以3D显示)并且提高了医疗过程的准确性。例如，在一些这样的组合实施例中，医生可以使用显示系统进行更精确的术前计划和操作。提高手术精确度可以有利地缩短患者恢复时间以及保留更多的周围健康组织。
作为示例，诸如全切除之类的积极外科手术干预已成为针对大多数良性脑肿瘤的标准治疗。结合一种或多种成像模态使用显示系统进行准确的术前扫描和肿瘤定位计划可以允许更局域化的肿瘤切除，并且更多地保留健康的周围组织。作为另一示例，本文描述的系统可被用于诊断关节疾病。例如，在生成的关节图像中，医生能够缩放和查看关节内的流体。医生可诊断疼痛的关节。例如，医生可以取流体样本，该样本可揭示流体中的细菌(指示疼痛的关节可能是由于感染引起的)。在一些实施例中，显示系统可以被配置为推荐基于图像和/或医生与图像的交互来取流体样本。
如上所述，显示系统可以与患者扫描模态(例如CT、MRI、PET、超声)或这些成像模态的组合(例如，MRI和PET、CT和PET、MRI和超声，和/或或任何其它合适的组合)结合以生成各种3D虚拟图像。在没有显示设备的情况下，医师以前不得不查看2D图像并根据其想象“构建”真实的3D图像。本文描述的显示系统可以被配置为有利地渲染3D图像，这些3D图像看起来像患者的解剖结构或者是患者的实际解剖结构的再现。这些3D图像可以有益于诊断医学症状以及其中学生可能难以将这些来自不同角度的2D图像渲染到他们头部中的3D模型中的教育目的。
在一些实施例中，显示系统可以包括人工智能以分析从患者扫描模态生成的图像。以这种方式，可以使用例如机器学习技术对诸如癌症、糖尿病或认知心力衰竭等疾病进行早期诊断。在一些实施例中，显示系统可以下载或访问其中群体规范被识别的群体的一个或多个数据库。可以将群体规范与图像进行比较，以帮助例如诊断疾病、分析症状和/或开具疗法。
3D虚拟图像操纵与交互
如上所述，显示系统可以使用例如多个深度平面和波导堆叠来显示三维图像。这使得用户能够以适当的调节和聚散专注于被渲染为就像在距离眼睛不同的距离处一样的对象的图像。
在一些实施例中，用户不需要使用遥控器或手指来操纵显示区域中的虚拟内容。而是如上所述，显示设备可以包括一个或多个能够跟踪眼睛运动、包围眼睛组织，跟踪瞳孔等的面向内的相机。在一些实施例中，显示系统可包括视网膜相机以检测用户输入。瞳孔保持聚焦在对象上的时间可以被解释为用户的兴趣水平。在一些实施例中，眼睛跟踪技术可以允许用户利用注视、斜视和/或眼睛的一次或多次眨眼和/或以其它方式操纵虚拟内容。在某些实施例中，显示设备可以检测调节和/或聚散的波动。该信息可被用于确定用户正在努力观看图像。在一些配置中，显示设备可以使用该信息来选择要加强的(例如，放大)图像部分。可以使用麦克风和/或扬声器输入操纵虚拟内容。
各种各样的3D视觉操纵是可能的，并且这种操纵具有许多用途。例如，在一些实施例中，用户能够划分(segment)(例如，绘制白质或肿瘤周围的轮廓)、提取身体部位、提取身体部位的部分，选择组织层以在扫描中聚焦于某解剖结构(例如，仅显示骨，没有软组织)、缩放、平移、旋转和/或重新定位虚拟解剖图像以修改它和/或更仔细地检查它。一些实施例可以使用从医学成像结果收集的信息对不同的组织类型进行分类和/或划分。例如，在各种情况下，图像的灰度级的类似值指示类似的组织类型。因此，可以识别包含相同组织类型的区域。在一些配置中，例如，k均值聚类可用于识别、突出显示和/或划分共享共同特征的某些或某个组织。例如，一些实施例允许用户“关闭”(例如，调暗)所选择的组织部分。例如，如果仅想要显示血液和血管，则需要不显示其它组织和部分。诸如此类的虚拟图像操纵例如在取走本文描述的图像操纵可以使用户能够准确地计划切口和其器械的轨迹的脊柱外科手术的情况下会是特别有益的。作为另一示例，用户可以使心脏的虚拟图像旋转以更好地看到闭塞的动脉。用户可以根据他或她的需要放大或移动心脏的图像。在一些实施例中，通过使用MRI、CT、PET成像模态，显示系统可以被配置为在虚拟3D图像中显示异常的位置(例如，闭塞的动脉位置)，用于快速、有效和微创的视觉参考，这可以有利地导致加快过程并且使医生获得更多信息。使用3D视觉操纵例如来进行支架植入、定位待移除肿瘤、取活检样品以及其它医疗用途也会是有益的。
在一些实施例中，3D视觉操纵特征可被用于通过在屏幕上操纵并置(例如，并排、叠加等)的3D和2D图像的一部分来实现移植计划。准确的2D和3D图像可以有利地允许用户更安全地定位移植物，尤其是在诸如脊柱之类的关键区域中。作为另一个示例，3D视觉操纵特征可以允许更准确的骨科移植入放置和计划。例如，可以参考患者的髋/膝/腿的基于医学数字成像和通信(DICOM)(一种医学成像标准)的图像集的3D渲染和/或操作以更好地计划腿长、偏移、以及与使用2D CT图像进行计划相比，用于更精确地选择要植入髋部中的人造部件的髋臼杯的型式(version)。显示系统有利地允许用户以3D观看他们的术前计划，从而使他们更好地了解情况。前述内容也可以应用于移植物移除计划以及其它医疗过程。在一些实施例中，显示系统可包括用户界面。例如，在一些实施例中，用户界面可以非常类似于用于调整移植物尺寸、位置、倾斜度、型式、旋转、平移、放置策略等的菜单而被使用。
如上所述，该显示系统可被用于诊断身体内的医学症状、解剖学和生理学运动和/或相互影响，包括实时(和/或通过后处理)的血液循环。例如，糖尿病并发症通常包括神经损伤和血液循环不良。这些问题可能使足部易于皮肤溃疡，皮肤溃疡可能会迅速恶化并且难以治疗。不愈合的溃疡可能需要截去脚趾、足部或腿的一部分。因此，仔细的足部护理通常对防止溃疡很重要。本文描述的显示系统可以包括传感器或成像系统(例如，超声成像)，并且用于评估数据的处理电子设备可以被配置为监测循环并使用户能够在溃疡形成之前或之后及时识别不良循环。例如，显示系统可以依靠MRI扫描检查血流浓度和/或依靠超声波检查患者体内的实时血液流动。在一些实施例中，使用显示系统早期检测不良循环可以有利地允许医生在形成医学循环相关并发症(例如，源自糖尿病或吸烟)之前开出促进循环的补充剂。
图像切片
如上所述，显示系统可以被配置为提供图像作为一个或多个深度平面，使得用户可以浏览各种患者扫描模态(例如，MRI、CT、PET等)的切片并且清晰地看到每个切片。在一些实施例中，显示系统可以被配置有深度平面和/或可以被配置为使用深度平面，所述深度平面允许用户适当地聚焦在图像上，从而减少疲劳和/或眼疲劳。与不同深度相关联的不同图像内容好像源自不同深度平面一样的呈现可以促进适当的调节和聚散，从而缓解眼疲劳和/或疲劳。另一好处是用户可能能够通过“逐个切片”地浏览患者扫描的每个切片或至少多个切片来操纵图像。例如，用户可以在不同的时间观看分离的切片，这些切片可能位于不同的深度平面处和/或具有不同的切片角度。用户可以按顺序或不按顺序观看切片。在一些实施例中，可以在显示系统中呈现多于一个的患者扫描。用户可能能够浏览和/或切换一个或多个患者扫描的各种切片。在一些情况下，可以向用户呈现3D图像，该3D图像允许用户滚动浏览3D图像的2D切片。例如，该特征可以允许更精确的移植物定位。这种“逐片切片”方法可以例如在跨多个组织层观察肿瘤或观察各种脑异常时是有益的，尽管可以理解任何合适的用途。
患者上方的图像显示
在一些实施例中，显示系统可以在患者的解剖结构上方显示2D和/或3D图像。参见例如图12B。在一些实施例中，2D和/或3D虚拟图像可以被接地到世界(例如，环境，到固定患者等)。为了在患者的适当解剖部位上方显示虚拟图像，显示系统上的一个或多个面向外的相机可以被配置为进行成像，并且处理电子设备可以被配置有图像处理以识别患者解剖结构的各个方面。例如，在有或没有上述一种或多种成像模态(例如，CT、PET、MRI等)的帮助下，显示系统能够识别各种系统(例如，循环系统、边缘系统、神经系统)、器官(例如，肝脏、胃、心脏、肺、脑、胆囊、胰腺、阑尾、肾脏等)、肢体(例如，手臂、腿)、组织(例如，骨骼、肌肉、脂肪等)或任何其它合适的解剖学特征或属性。在一些实施例中，显示系统可以被配置为知道每个身体部位、器官等的位置以根据解剖结构、环境等准确地放置虚拟图像。例如，在一些实施例中，显示系统可以包括：边缘检测(例如，与一个或多个相机或成像设备和/或处理电子设备中的一者或多者集成)以相对于患者(例如，在器官或相关解剖结构上方)正确地定位虚拟图像。在一些实施例中，一个或多个用户可以相对于他们对虚拟图像的视角(例如，每个用户正站立/观看图像的位置)观看虚拟图像。
在一些实施例中，可以如上所述操纵2D和/或3D图像。例如，外科医生能够操作图像以在手术(或任何其它过程)期间提供更好的可视化。作为一些示例，图像可以被配置为允许医生旋转虚拟图像以在手术之前和/或手术期间更好地看到动脉中的闭塞或椎间盘的损伤。
在一些实施例中，如上所述，用户可以操纵2D和/或3D图像而不必观看单独的计算机屏幕，并且不必使用手势或遥控器控制。这对于在手术过程中保持无菌性至关重要的外科医生尤其有益。例如，在一些实施例中，显示系统可以被配置为允许用户使用他们的眼睛或口头(例如，语音)通信来调整虚拟图像的各种特征，包括例如虚拟图像上的照明、虚拟图像与环境之间的对比度、图像的取向、图像的大小或任何其它合适的特征。在一些实施例中，一个或多个用户可以同时观看和操纵同一图像。在某些情况下，如果一个用户操纵虚拟图像，则其他观看者可以看到被操作的该虚拟图像。然而，在一些情况下，不同的用户可以独立地操纵虚拟图像而不影响其他观看者对虚拟图像的观看。
在一些实施例中，例如，可以在患者上方观看和操纵诸如乳房、前列腺和心脏之类的软组织器官的图像，以帮助用户可视化该过程可能的需要和/或提供重要信息，例如，与其它器官的空间关系、肿瘤位置、正确的解剖结构等。作为另一示例，可以在患者的解剖结构上方观看和操纵断裂或骨折的椎骨的一个或多个图像，以允许更准确的测量和与脊柱损伤有关的诊断，但可以理解可以是任何类型的骨裂/骨折。可以获得例如对距离和角度的测量值。有利地，显示系统可以被配置为允许用户在理论上重新对准断裂的骨骼并将图像叠加在实际的解剖结构上以模拟过程和/或预期的手术结果。例如，脊柱外科医生能够在开始手术之前或之后的任何时间将其目标结果叠加在其患者的断裂的椎骨上。作为另一示例，考虑整形手术的患者可以将增强叠加在他们的实际解剖结构上作为“试穿”他们的新外观的手段。在一些实施例中，虚拟内容还可以包括菜单，其中用户可以使用菜单操纵虚拟内容(例如，大小、位置、形状等)。在一些实施例中，该特征可以允许用户看到他们可以对哪个椎骨作手术。对于断裂或骨折的骨骼，使用来自合适的成像模态(例如X射线、MRI等)的图像，以及通过处理电子设备的合适的图像处理，显示系统可以从图像中检测骨骼，然后检测异常并获得测量结果。显示系统还可以被配置为在患者的解剖结构之上投射模拟的正确骨对准(具有术前计划)以帮助用户修复断裂。作为另一示例，显示系统可被用于帮助用户进行椎体成形术，这是一种用于骨折椎骨的减轻疼痛的过程，其中将骨接合剂注入到一个或多个椎骨中。显示系统的成像可以有利地允许更精确地将接合剂放置在椎骨中。
在患者上方显示增强内容和/或虚拟内容可以被显示为图像的组合(例如，患者扫描的组合)。例如，一些实施例可以被配置为将医学图像与不同的诊断模态对准(例如，图像到图像配准)，以向用户提供组合信息。在一些情况下，可以组合(例如，叠加)来自MRI、CT、PET、单光子发射计算机断层摄影(SPECT)、磁共振血管造影(MRA)、计算机断层摄影血管造影(CTA)等的一个或多个图像。作为一个示例，MRI和PET图像可以显示覆盖在一个图像中的解剖信息和代谢活动。这种组合信息可以帮助用户更快速和准确地诊断异常。各种实施例可以包括将多个成像模态网格化为组合的虚拟视觉图像以供用户观看并且在一些情况下操纵的算法。在一些实施例中，组合图像还可以与患者的实际解剖结构对准，如本文所述。
在一些实施例中，显示系统可以在用户的患者视野中按照人体工程学投射虚拟图像，使得用户不必在屏幕和手术部位之间来回查看(例如，用于图像导航或用于拍摄患者的标记以配准患者的实际解剖结构)。例如，图像可以被投射在患者的患者解剖结构的正上方，并且增加过程的容易性和效率，例如在图12B中所示。这可以允许护理人员(例如，医生)将更多的注意力和时间放在患者身上。在其它实施例中，图像可以被投射在患者解剖结构上(例如，在实际患者解剖结构上显示的配准点)，以便医生知道在哪里探测/配准解剖结构。
在一些实施例中，显示系统可以被配置为帮助用户进行手动全膝关节置换，其可以包括例如股骨上的5个切口和胫骨上的1个切口。对于股骨上的5个切口，最后4个切口可以基于第一次切割。因此，针对第一次切割准确地定位切割块是很重要的。显示系统可以有利地提供实时定位辅助以根据术前计划定位手动切除块。可以使用各种实施例来帮助定位虚拟内容，因为显示系统可以被配置为识别膝部的解剖结构。一些实施例也可被用于定位切割块。例如，在一些实施例中，切割指导线可以基于世界(例如，膝部)，使得用户相对于膝部的位置是不相关的。在一些实施例中，可以从参考点(例如，膝部)投射虚拟内容。例如，可以使用边缘检测或其它图像处理技术，使得显示系统可以识别患者骨骼的边缘以进行适当的放置。边缘检测的另一示例可以应用于识别手术工具尖端(例如，手术刀、钻尖等)的边缘的设备。
一些实施例可以有利地在患者的解剖结构(例如相关的解剖特征)上方显示虚拟内容(例如，通过识别对象/解剖结构)，并且使切口指导线基于患者而不是用户。在一些实施例中，可以在患者上方投射切口指导线以进行更精确的切割，这可以缩短恢复时间。例如，在一些实施例中，虚拟图像内容可以被显示在患者的解剖结构的一个或多个部分上方或者叠加在患者的解剖结构的一个或多个部分上以指示切割位置，并且可以包括用于不同切割的标签(例如，5mm孔(port)、5mm辅助孔、10mm相机孔等)。其它用途也是可能的。
实时虚拟成像和显示
显示系统的各种实施例可以向用户提供真实对象的实时3D图像。如上所述，图像的信号可以是从向外看的视频摄像机和/或从利用电磁波或其它能源(例如声波)的仪器或传感器接收的，以探测诸如人体部分的目标。在一些实施例中，显示系统可以基于超音速或超声信息而呈现对象的图像。参见例如图10B。可以设置产生超声波的超声波源以将那些超声波引导到待成像的对象上。对超声波敏感的换能器可以在超声波被引导到对象之后检测和测量所接收的超声波。该对象可以是患者，并且这些超声波可以被用于对人体的解剖学和/或生理学进行成像。例如，在一些实施例中，显示设备可以使用超声技术感测通过人体血管的血液流。因此，显示设备可以被配置为对人的血流进行成像。因此，显示器可以潜在地允许用户在不与该人物理接触的情况下查看和/或测量个体的脉搏。如上所述，显示设备可以被配置为向用户呈现看起来是3D的图像。在一些情况下，该图像可以是实时图像和/或可以看起来覆盖在患者身上。另外，如上所述，用户可以潜在地操纵图像，例如以选择所呈现图像的期望视图。
如上所述，显示设备可以组合来自对象的多个图像和/或扫描(例如，X射线图像、CT、PET或MRI扫描等)的数据以呈现对象的3D图像。在一些情况下，3D图像根据从相同成像模态中的多个图像或从相同类型的扫描(例如，超声或X射线)获得的数据而被创建。在一些情况下，可以组合来自多个模态(例如，超声加上MRI扫描数据)的信息以呈现3D图像。如上所述，显示设备可以被配置为检测用户的视野内的一个或多个对象的类型。在一些实施例中，显示设备可以确定适合于用户期望或需要的图像模态。例如，当在医疗过程期间对子宫颈成像时，显示设备可以被配置为自动检测向用户提供3D实时图像是在手术期间使用的最佳模态。显示系统还可以被配置为选择模态，例如是否使用超声、X射线、MRI等来在用户的视野(例如，中心视野)中对特定解剖特征进行成像。对于某些设计，图像模态可以被自动和/或预先确定。在某些情况下，该图像可以是实时图像。在一些实施例中，显示设备可以基于先前的成像模态(例如，MRI)构建对象的3D呈现，并且可以基于新数据(例如，超声)实时更新3D呈现。X射线也可以例如在血管成形术和支架放置中被实时使用。
如上所述，显示设备可以被配置为自动确定对象的特定图像表示哪个身体部位。例如，显示设备能够辨别不同的器官、骨骼或其它解剖部位。作为另一示例，显示设备能够辨别癌症组织和健康组织。在一些实施例中，显示设备可以在成像(例如，图像的灰度)的同时基于内在质量(例如，组织密度、吸收、衰减)和结果影响而辨别相邻组织的边界。作为另一示例，显示设备能够辨别身体中的异常，例如骨折、肿瘤和/或息肉。
在一些实施例中，显示设备可以检测和测量已添加或已从对象移除的材料的量。例如，在一些实施例中，显示设备可以自动确定在手术期间已经移除的癌组织的量(例如，基于切割工具的角度和/或轨迹)并且可以确定剩余多少癌组织待移除。在某些实施例中，如果过程不完整(例如，如果未移除所有癌组织)，则显示设备可以向用户提供反馈(例如，视觉、音频等)。
显示设备可以被配置为与各种外部设备协同工作。在一些实施例中，显示设备可以从外部设备接收数据并将其显示给用户。例如，在一些实施例中，医生可以使用内窥镜来观察鼻腔的癌性息肉。在这种情况下，显示设备可以被配置为从内窥镜接收成像数据并在显示器上为用户呈现内窥镜图像和/或跟踪内窥镜的位置(例如，使用附接到内窥镜的6DOF设备)。在一些实施例中，可以将图像投射在显示器上的方便位置，以便在执行其它任务(例如，执行医疗操作)时减少或最小化在观看重叠图像(overlaid image)时的难度。显示设备可以呈现实时图像和/或向医生提供更新，作为移除鼻息肉进展的过程。在另一个示例中，显示设备的某些实施例可以对患者血管系统的一部分进行成像。这种成像可以通过显示设备而被实时显示为用户对患者的视图上的叠加。该实时图像可以相对于手术部位(例如，邻近)或患者身体的相关部分并置。这可以例如在执行过程(例如，递送一剂量的药物、手术导航等)帮助用户。在类似的示例中，可以通过医疗从业者的显示器将怀孕母亲的腹部或上腹部上方的胎儿的超声图像投射到眼睛中，以提供超声的实时3D图像。如上所述，在一些实施例中，用户可以通过例如使用眼睛运动、面部表情、手指运动或本文所述的其它信号的命令来操纵重叠图像。在一些情况下，用户可以通过围绕任何轴旋转或沿任何轴平移(或其组合)来操纵对象。因此，在一些实施例中，用户可以使用六个自由度来操纵图像。
共享虚拟内容
在某些实施例中，由显示设备接收的信息可以被发送到这样的设备的其他用户或非用户。在一些实施例中，显示设备可以呈现对象的图像(例如，使用显示设备或其它传感器或成像系统上的面向外的相机)并同时向多个用户提供该图像。在一些情况下，图像可以是3D图像，例如，根据如从X射线、MRI、CT技术收集的2D扫描编译的3D图像。在一些实施例中，每个显示设备可以向每个用户呈现相同对象的图像，就像每个用户正在从相对于该对象的不同方位观看该对象一样。例如，一组医生可以从他们站立的角度观察他们的设备中的每一者中的患者扫描、解剖结构等的虚拟图像，这是因为通过像素棒，图像可以基于地球。这将通过具有多种意见、教育/培训辅助、专家建议、手术计划等来辅助诊断。在一些配置中，用户可以选择从中查看对象的相对于对象的虚拟位置。例如，即使用户不在手术现场，用户也可以像直接站在执行手术的外科医生后面或附近那样观看手术。此外，在这样的实施例中，可以在用户的方向上改变用户的虚拟位置，以便实现不同的观看角度。因此，在各种实施例中，头戴式显示器可彼此通信或被连接到可包括或不包括其它部件的网络。从用户的显示设备获得的图像以及其它信息也可以以电子方式传输给非用户。例如，安装在一个或多个头戴式显示器上的一个或多个相机可以对环境(例如，手术室)进行成像并收集关于环境内的对象(手术台、器械、患者、周围的人等)的位置的信息(可能使用测距仪或距离测量系统)，以便建立环境中的对象和位置的数据库。利用已知方位，例如头戴式显示设备(例如，使用GPS)的方位以及对象到头戴式显示器的距离，可以获知对象在3D空间中的位置(例如，x、y、z坐标)并将其存储在数据库中。不同的头戴式设备可以发出稀疏点的地图以构建环境的3D地图。在环境中度过的时间越多，数据库就越大。在某些情况下，边缘检测可以确定对象，例如手术台、器械托盘、设备或患者。
在各种情况下，显示设备可以设置真实世界中的参考点，从该参考点分配和/或计算空间关系。例如，在某些配置中，显示设备能够识别房间中的兴趣点(例如，患者的胸部或膝部)并确定与感兴趣点相关的测量值。可以呈现与该对象相关联的图像内容(例如，膝部移植物的3D图形呈现)，从而获知对象相对于用户以及也在房间中的其它对象的位置。这样的图像内容可以相对于参考点或对象被固定。例如，即使膝部移动，膝部移植物的3D图形也可以被固定在膝部上方。此外，穿戴这种头戴式显示器的不同观看者还可以看到相对于参考点(例如，膝部)固定的图像内容(例如，3D图形)，但是可以从不同的视角看到图像内容(可以是3D图像内容)，这是因为不同的观看者位于不同的位置和/或不同地取向。同样参见图12B和布置在患者上方的心脏图形，其中心脏图形可以被固定在患者上方的特定位置上方，并且在一些情况下，如果患者移动，则与患者一起移动。如上所述，为了汇集位置数据库，显示设备的一些实施例可以发射信号(例如，如在稀疏点映射(mapping)中)以获得关于真实世界中的空间方位和/或运动的数据。有效地，头戴式显示设备可以对环境中的对象进行成像并将它们的位置记录在数据库中，而且，该位置数据库中的位置(例如，患者的膝部或胸部)可以用作参照系，基于相对于该参考系的选定视角/位置而确定一个或多个被显示的图像相对于参考系的位置和取向。相对于对象具有不同位置和视角的不同用户也可以根据其位置看到不同的图像内容或其视图。
类似地，在一些实施例中，多个用户可以操纵公共虚拟对象。例如，在一些实施例中，与其他虚拟用户一起观看手术的用户可以指示对象的特定感兴趣区域(例如，通过突出显示、放大)。这种指示可以同时和/或自动显示在其他用户的每个显示器上。以这种方式，一个用户可以有利地通过视觉信号而与其他用户进行关于精确对象的通信。在一些实施例中，用户可以操纵所显示的对象，例如通过旋转或平移。这种操纵可以被显示在其他用户的显示器上，从而使得两个或更多用户讨论呈现为3D的成像对象的方式变得容易。类似地，显示设备可以被配置为允许用户使用其它介质进行通信，例如通过语音聊天、文本或其它方式。在一些实施例中，显示设备可被配置为在执行过程(例如，手术)时检测用户处于哪个步骤。例如，某些实施例可以检测医生接下来执行手术中的哪个步骤，并且可以向房间中的其他用户显示即将到来的步骤。类似地，显示设备可以呈现内容(例如，视频、音频、图像、文本等)以帮助医生完成手术的特定步骤。
介入放射学
在某些实施例中，显示设备可以帮助医务人员查看和解释介入放射学图像。例如，在一些实施例中，该设备可以被配置为在使用一个或多个成像模态(例如，CT、X射线、MRI等)进行的过程之前或期间在显示器上呈现图像。在一些实施例中，可以使用各种方法(例如，机器学习、手动算法)训练显示设备以正确地识别与不健康或异常的扫描或图像相比的正常或健康的患者的组织、器官、解剖结构等的扫描或图像。因此，在各种实施例中，显示设备可以自动确定患者图像(例如，扫描)是否异常，并且潜在地确定图像的医学和/或病理学重要性并从中得出结论或诊断。例如，在某些实施例中，该设备可以识别骨折的骨骼、脑部扫描中的异常(诸如肿瘤)，以及基于X射线的额外牙齿，或基于图像的肿瘤生长的位置。
在一些实施例中，显示设备可以检测表面上和/或皮肤下面(例如，骨骼、器官或血管)的身体部位的边缘(例如，毛发的位置、膝部的边缘等)。显示设备可以在执行外科手术时在用户的显示器上呈现身体部位的图像。用户能够在对象的图像之上放置虚拟标记(例如，基准标记)，例如以指示哪些部分应该接收放射治疗，用于手术切割的位置等。用户(例如，医生)可以确定虚拟标记的位置，但是显示系统的某些实施例可以识别和/或放置基准标记。与头戴式显示设备相关联的处理电子设备可以使用模式识别来识别结构的位置以及放置基准标记的位置。作为另一示例，在将造影剂注射到患者体内并用MRI或X射线扫描之后，显示设备可以在显示器上呈现血管中阻塞的3D图像。如上所述，显示系统显示与阻塞的不同部分相关联的多个深度(例如，作为不同切片)。将3D图像呈现为切片可以帮助医生做出准确的术前决定。这些图像在手术后也可用于评估手术和此后患者的进展，并且可用于做出随后的医疗保健决定。
因此，显示设备可以通过呈现对象的3D图像而在各种医疗过程之前、期间和/或之后为用户(例如，医生、护士、技术人员、学生)提供帮助。在一些情况下，这样的图像可以相对于患者并置，例如，邻近或叠加在外科手术或治疗部位或者正在进行诊断测试的位置附近的位置的上方。在一些实施例中，该呈现可以基于来自多种类型的扫描(例如，超声加MRI)的信息，并且可以在过程期间实时提供。一种应用是用于动静脉畸形或血管异常(例如，在脑中)。另一应用是用于使球囊血管成形术可视化，其中球囊被插入并在血管中膨胀，以便疏通动脉或血管的狭窄/阻塞。另一种应用是用于胆汁引流和支架植入，其中支架被插入以打开阻塞的导管并允许胆汁从肝脏排出。另一示例是内部出血的情况，在这种情况下，该设备可以被配置为定位内部出血区域和/或帮助用户插入凝血物质，例如凝胶、泡沫或线圈。另一应用是用于化疗栓塞，其中抗癌剂被直接递送至癌症肿瘤部位。显示设备还可以用于在患者体内的适当位置中插入(或虚拟插入练习)胃管。
显示设备还可以帮助用户执行或准备其它过程。一种这样的应用是维持血液透析通路，其中血管成形术或血栓溶解被用于在肾衰竭期间打开阻塞的移植物。另一种应用是射频消融，其中辐射能量被用于烹杀和杀死癌性肿瘤。另一应用是支架的放置，其中导管被用于定位支架以打开堵塞的血管或其它通道。另一应用是经颈静脉肝内门体分流术(TIPS)，这是一种救生程序，其中医生在流入门静脉和流出肝静脉之间的肝脏内放置人工通道。作为另一示例，该设备可以帮助有子宫肌瘤栓塞的用户，其中医生切断对肌瘤的血液供应，从而导致肌瘤收缩和死亡。在该过程中，医生将导管放置在股动脉中，将造影剂注入到导管中，并引导导管通过动脉以找到向肌瘤供血的动脉。同样地，该设备可有利地提供3D图像的视图，以在医疗过程的准备时、执行期间或执行之后改善可视化。
计算机视觉和对象检测
可以使用各种技术检测对象。例如，可以使用计算机视觉技术检测对象。例如，显示设备可以分析由面向外的成像系统获取的图像以执行场景重建、事件检测、视频跟踪、对象识别、对象姿势估计、学习、索引、运动估计或图像恢复等。可以使用一种或多种计算机视觉算法来执行这些任务。计算机视觉算法的一些限制性示例包括：尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、定向FAST和旋转BRIEF(ORB)、二进制鲁棒不变可扩展关键点(BRISK)、快速视网膜关键点(FREAK)、Viola-Jones算法、特征脸方法、Lucas-Kanade算法、Horn-Schunk算法，均值漂移(Mean-shift)算法、视觉同步定位与地图构建(vSLAM)技术、序列贝叶斯估计器(例如，卡尔曼滤波器、扩展卡尔曼滤波器等)、光束法平差(bundleadjustment)、自适应阈值分割(和其它阈值分割技术)、迭代最近点(ICP)、半全局匹配(SGM)、半全局块匹配(SGBM)、特征点直方图、各种机器学习算法(例如，支持向量机、k最近邻算法、朴素贝叶斯、神经网络(包括卷积或深度神经网络)或其它有监督/无监督模型等)等等。
这些计算机视觉技术中的一者或多者也可以与从其它环境传感器(例如，麦克风、温度传感器、光传感器、定时装置、物理接触传感器等)获取的数据一起使用以检测对象的存在。
可以基于一个或多个标准检测对象。这些标准可以由用户(或另一人)定义。例如，用户可以在用户的环境中(例如，在手术室中)设置心脏监护器作为可能的感兴趣对象。用户可以将标准定义为当心脏监护器的信号小于某个值时或者当心脏监护器发出哔哔声时。因此，当设备使用计算机视觉算法和/或使用从一个或多个环境传感器接收的数据检测到心脏监护器满足标准时，设备便可发信号(例如，作为警报的图标)通知心脏监护器的存在和/或自动提供心脏监护器的加强视图(例如，心脏监护器的放大图像)。
图13A是混合现实(“MR”)环境700的示例的框图。MR环境700可以被配置为接收来自一个或多个用户可穿戴系统(例如，可穿戴系统80或显示系统62)或固定的房间系统(例如，房间相机等)的输入(例如，来自用户的可穿戴系统的视觉输入702、诸如房间相机的固定输入704、来自各种传感器的传感器输入706、姿势、图腾、眼睛跟踪、来自用户输入设备504的用户输入等)。可穿戴系统可以使用各种传感器(例如，加速度计、陀螺仪、温度传感器、移动传感器、深度传感器、GPS传感器、面向内的成像系统、面向外的成像系统等)来确定用户环境的位置和各种其它属性。该信息可以进一步补充有来自房间中的固定相机的信息，该相机可以从不同的视点提供图像或各种线索。由相机(诸如房间相机和/或面向外的成像系统的相机)获取的图像数据可以被缩减为映射点组。
一个或多个对象识别器708可以爬过(crawl through)接收到的数据(例如，点的集合)并且借助于地图数据库710来识别或映射点、标记图像，将语义信息附加到对象。地图数据库710可以包括随时间推移收集的各个点及其相应的对象。各种设备和地图数据库可以通过网络(例如LAN、WAN等)相互连接以访问云。
基于该信息和地图数据库中的点的集合，对象识别器708a至708n可以识别对象并用语义信息补充对象以赋予对象生命。例如，如果对象识别器将一组点识别为门，则系统可以附加一些语义信息(例如，该门具有铰链并且具有围绕铰链的90度移动)。如果对象识别器将一组点识别为镜子，则系统可以附加这样的语义信息：该镜子具有可以反射房间中对象的图像的反射表面。随着时间的推移，地图数据库随着系统(其可以驻留在本地或可以通过无线网络访问)累积来自世界的更多数据而增长。一旦识别出对象，就可以将该信息发送到一个或多个可穿戴系统。例如，MR环境700可以包括关于在加利福尼亚的场景的信息。环境700可以被传送给纽约的一个或多个用户。基于从FOV相机和其它输入接收的数据，对象识别器和其它软件组件可以映射从各种图像收集的点、识别对象等，使得该场景可以准确地“传递”给可能在世界的不同部分的第二用户。环境700也可以使用拓扑图来实现本地化目的。
图13B是呈现与所识别的对象相关的虚拟内容的方法800的示例的过程流程图。方法800描述了如何将虚拟场景呈现给可穿戴系统的用户。用户可能在地理上远离该场景。例如，用户可能在纽约，但可能想要观看当前正在加利福尼亚发生的场景，或者可能想要与居住在加利福尼亚的朋友散步。
在框810处，AR系统可以从用户和其他用户接收关于用户的环境的输入。这可以通过各种输入设备和在地图数据库中已有的知识来实现。在框810处，用户的FOV相机、传感器、GPS、眼睛跟踪等向系统传送信息。在框820处，系统可以基于该信息确定稀疏点。稀疏点可用于确定姿势数据(例如，头部姿势、眼睛姿势、身体姿势或手部手势)，这些数据可用于显示和理解用户周围环境中各种对象的取向和位置。在框830处，对象识别器708a-708n可以爬过这些收集的点并使用地图数据库识别一个或多个对象。然后可以在框840处将该信息传送给用户的个人可穿戴系统，并且可以在框850处相应地向用户显示所期望的虚拟场景。例如，可以相对于在纽约的用户的各种对象和其它环境以适当的取向、位置等显示所期望的虚拟场景(例如，位于CA的用户)。
图13C是可穿戴系统的另一示例的框图。在该示例中，可穿戴系统900包括地图，该地图可以包括世界的地图数据。该地图可以部分地驻留在可穿戴系统本地，可以部分地驻留在可通过有线或无线网络(例如，在云系统中)访问的网络存储位置。姿势处理910可以在可穿戴计算架构(例如，处理模块260或控制器460)上被执行，并利用来自地图的数据而确定可穿戴计算硬件或用户的位置和取向。可以根据当用户正在体验系统并在世界中操作时即时收集的数据来计算姿势数据。该数据可以包括图像、来自传感器(例如惯性测量单元，其通常包括加速度计和陀螺仪部件)的数据和与真实或虚拟环境中的对象相关的表面信息。
稀疏点表示可以是同时定位与地图构建(SLAM或V-SLAM，是指其中输入只是图像/视觉的配置)过程的输出。该系统可以被配置为不仅找出各种部件在该世界中的位置，而且还找出该世界是由什么构成的。姿势可以是实现许多目标的构建块，包括填充地图和使用来自地图的数据。
可以补充稀疏点位置来产生多焦点AR、VR或MR体验。可以使用通常参考深度地图信息的密集表示来至少部分地填充该间隙。这样的信息可以根据被称为立体(stereo)的处理940来计算，其中使用诸如三角测量或飞行时间感测的技术来确定深度信息。图像信息和有源(active)模式(诸如使用有源(active)投影仪创建的红外模式)可以用作立体处理940的输入。可以将大量深度地图信息融合在一起，并且可以用表面表示来概括其中的一些。例如，数学上可定义的表面是诸如游戏引擎之类的其它处理设备的有效(例如，相对于大点云)且可消化的输入。因此，立体处理(例如，深度地图)940的输出可以在融合处理930中组合。姿势也可以是向该融合处理930的输入，并且融合930的输出变为填充(populate)地图处理920的输入。子表面可以彼此连接(例如在地形图中)以形成更大的表面，并且地图变成点和表面的大混合体。
为了解决混合现实处理960中的各个方面，可以使用各种输入。例如，在图13C所示的实施例中，可以输入游戏参数以确定系统的用户正在执行手术，其中一个或多个虚拟医生位于房间四周的各个位置处。虚拟医生可以对房间内的各种状况做出反应。世界地图可以包括关于这些对象在哪些位置彼此相关的信息，作为混合现实的另一有价值的输入。相对于世界的姿势也成为一种输入，并且对几乎任何交互系统起着关键作用。
来自用户的控制或输入是可穿戴系统900的另一输入。如本文所述，用户输入可包括视觉输入、手势、图腾、音频输入、感官输入等。为了四处移动或玩游戏，例如，用户可能需要指示可穿戴系统900关于他或她想要做什么。除了在空间中移动自己之外，存在可以利用的多种形式的用户控制。图腾(例如，用户输入设备)或诸如手术器械之类的对象可由用户握持并由系统跟踪。该系统优选地被配置为知道用户正在握住物品并且理解用户正在与物品进行何种交互(例如，如果图腾或对象是一把手术剪，则系统可以被配置为了解位置和取向，以及用户是否正在按下可能配备有传感器(例如IMU)的手柄，其可以有助于确定正在发生的事情，即使这样的活动不在任何相机的视场内)。
手势跟踪或识别也可以提供输入信息。可穿戴系统900可以被配置为跟踪和解释按钮按压的手势，用于向左或向右打手势、停止、抓取、保持等。例如，在一种配置中，用户可能想要在非游戏环境中翻阅电子邮件或日历，或与其他人或玩家“击拳”。可穿戴系统900可以被配置为利用最小量的手势，该手势可以是动态的，也可以不是动态的。例如，手势可以是简单的静态手势，如张开手表示停止，拇指向上表示好(ok)，拇指向下表示不好；或者左右或上下翻转手来做出方向命令。
眼睛跟踪是另一种输入(例如，跟踪用户正在看哪里以控制显示技术来在特定深度或范围进行呈现)。可以使用三角测量来确定眼睛的聚散度，然后使用为该特定人物开发的聚散度/调节模型，可以确定调节。
关于相机系统，图13C所示的示例性可穿戴系统900可包括三对相机：相对宽的FOV或被动SLAM相机对，其布置在用户面部的侧面，不同的相机对定位在用户前面以处理立体成像处理940且还捕获手势和在用户面部前面的图腾/对象跟踪。用于立体处理940的FOV相机和所述相机对可以是一个或多个面向外的成像系统34的一部分(如图10A所示)。可穿戴系统900可以包括眼睛跟踪相机(其可以是图10A所示的用户传感器24、28、30、32中的一者或多者)，眼睛跟踪相机朝向用户的眼睛取向，以便对眼睛向量和其它信息进行三角测量。可穿戴系统900可以还包括一个或多个纹理化光投影仪(例如红外(IR)投影仪)以将纹理注入到场景中。
作为另一示例，感兴趣对象可以是除颤器。用户可以描述除颤器的一般外观，或者可以描述特定的除颤器。在某些情况下，设备可以访问包括除颤器图片的内部或外部系统。因此，当设备使用计算机视觉算法和/或使用从一个或多个环境传感器接收的数据检测到除颤器时，设备然后可以发信号通知除颤器的存在并自动提供除颤器位置的加强视图。在各种实施例中，设备还可以在存储器中存储除颤器的图像和/或其位置以供将来使用。
这样的算法和方法以及类似的算法和方法可以被应用于本文描述的各种应用和/或实施例中的任一者。
机器学习
可以在一些实施例中实现各种机器学习算法以检测可能的感兴趣对象(例如，具有低于特定值的信号的心脏监护器)。一旦经过训练，机器学习算法便可以由设备存储。机器学习算法的一些示例可以包括有监督或无监督的机器学习算法，包括回归算法(例如，普通最小二乘回归)、基于实例的算法(例如，学习向量量化)、决策树算法(例如，分类和回归树)、贝叶斯算法(例如，朴素贝叶斯)、聚类算法(例如，k均值聚类)，关联规则学习算法(例如，先验算法)、人工神经网络算法(例如，感知器)、深度学习算法(例如，深度玻尔兹曼机、或深度神经网络)、降维算法(例如，主成分分析)、集成算法(例如，堆叠泛化)和/或其它机器学习算法。在一些实施例中，可以针对个体数据集定制各个模型。例如，可穿戴设备可以生成或存储基础模型。基础模型可以用作起点以生成特定于数据类型(例如，特定用户)、数据集(例如，所获得的附加图像集)、条件状况或其它变体的附加模型。在一些实施例中，可穿戴设备可以被配置为利用多种技术来生成用于分析聚合数据的模型。其它技术可包括使用预定义的阈值或数据值。
标准可以包括阈值条件。如果由环境传感器获取的数据的分析指示通过阈值条件，则设备可以检测到感兴趣对象的存在。阈值条件可以涉及定量和/或定性测量。例如，阈值条件可以包括与感兴趣对象的可能性相关联的分数或百分比。设备可以将根据环境传感器的数据计算的分数与阈值分数进行比较。如果分数高于阈值水平，则设备可以检测到感兴趣对象的存在。在其它实施例中，如果分数低于阈值，则设备可以发信号通知感兴趣对象的存在。
阈值条件还可以包括字母等级，例如“A”、“B”、“C”、“D”等。每个等级可以代表情况的严重程度。例如，“A”可以是最严重的(例如，心脏监护器发出哔哔声)，而“D”可以是最不严重的。当设备确定用户环境中的事件足够严重时(与阈值条件相比)，设备可以指示感兴趣对象或事件的存在并采取行动(例如，提供警报或感兴趣对象/事件的加强视图)。
可以基于用户的物理环境中的对象(或人)来确定阈值条件。例如，阈值条件可以基于患者的失血量、患者的心率或其它生理参数。如参考图2和10A至10B所述，设备可以从环境传感器(例如，对手术部位进行成像的面向外的相机)或从外部源(例如，由心电图仪或心脏监护器监视的ECG数据)获取患者的数据。
还可以基于用户环境中的真实世界对象或者正向用户显示的虚拟对象来确定阈值条件。作为一个示例，阈值条件可以基于用户与对象的交互(例如，用户瞥向对象的次数、用户观看对象的持续时间等)。例如，可以基于用户的眼睛跟踪而确定阈值条件。
在一些实施例中，阈值条件、机器学习算法或计算机视觉算法可以专用于特定情境。例如，在外科手术情境中，计算机视觉算法可以专用于检测某些手术事件。作为另一示例，设备可以执行人脸或身体识别算法以检测用户环境中的人(例如，患者或其他医务人员)。
这些算法和方法以及类似的算法和方法可以应用于本文描述的各种应用和/或实施例中的任一者。
基于用户意图改变感知
在各种实施例中，显示系统可以有利地至少部分地基于用户意图而改变对真实或虚拟内容的用户感知。例如，某些实施例可以允许用户通过加强(或削弱)图像内容和/或在不同位置处呈现图像内容来关注情况或任务。
现在参考图14，示出了至少部分地基于用户意图和/或使用显示系统感知的用户意图而改变对真实或虚拟对象的用户感知的示例方法5000。确定感知的用户意图可以包括例如对用户环境中的一个或多个对象进行成像，确定用户的眼睛正在观看的位置，和/或确定用户的眼睛所指向的对象。显示系统可以包括本文所述的任何显示系统，例如分别在图2、图6和图10A至10B中的显示系统80、1000或2010。显示系统还可以包括本文描述的任何特征。例如，如本文所述，在一些实施例中，头戴式显示设备可以被配置为使用显示器向用户呈现增强现实图像内容。头戴式显示器可以安装在用户的头部上。在某些实施例中，显示器可以被设置在框架(例如，图2和10A至10B中的框架64)上，例如作为眼镜的一部分。
头戴式显示器可以将虚拟图像内容投射到用户的眼睛，同时仍然允许用户看到真实世界并与之交互。例如，显示器可以包括一个或多个透明波导(例如，图6中的波导组件178和/或图9A至9C中的波导堆叠1200)，其设置在用户眼睛前方的一位置处。显示器可以允许用户通过显示器观看。显示器可以将来自真实世界环境的光透射到用户的眼睛，使得可以在用户的视网膜上形成环境的图像。显示器还可以将增强和/或虚拟图像内容投射到用户的眼睛，例如，通过投射来自调制光源的光。例如，波导组件中的波导可以被注入有图像信息，并且可以将图像信息引导到用户的眼睛。
在一些实施例中，波导可以被配置为以不同的波前发散发送图像信息。头戴式显示器可以被配置为将光投射到用户的眼睛，以便以不同的发散量向用户显示增强现实图像内容，就好像从距用户眼睛不同距离投射一样。因此，波导可以与一个或多个深度平面相关联，使得光可以提供来自不同深度(例如，在不同深度平面上)的图像内容，以帮助提供例如舒适的三维深度感知。在一些实施例中，波导可以包括一个或多个光学元件(例如，图6中的耦出光学元件282、284、286、288、290)，其被配置为将光重定向出波导(例如，在波导内传播的光)并且使光进入用户的眼睛中(例如，图7)。在一些情况下，一个或多个光学元件可包括一个或多个衍射光学元件，其被配置为从波导中提取光。然而，该设计不必限于使用波导和/或衍射光学元件。然而，在各种实施例中，头戴式显示器可被配置为将光投射到用户的眼睛以向用户显示增强现实图像内容。
用户的视觉可以由具有中心区域和外围区域的视野来表征。外围区域可以被设置在中心区域四周或周围。如本文所讨论的，中心区域和外围区域可分别对应于中心视野和外围视野。
显示系统或设备可以包括和/或被耦接到被配置为感测用户的一个或多个用户传感器(例如，图10A和10B中的用户传感器24、28、30、32)。在一些实施例中，一个或多个用户传感器被设置在显示系统的框架上。一个或多个用户传感器可以包括一个或多个面向内和/或面向下的传感器。一个或多个用户传感器可以被配置为确定用户的眼睛正在观看的位置。用户传感器的示例可以包括诸如相机的图像捕获设备。如本文所述，这样的传感器可以监视用户，包括监视用户的眼睛、面部特征和/或诸如手臂、手、腿等的其它身体部位。例如，一个或多个用户传感器可以包括对眼睛和/或面部进行成像并且可以提供眼睛跟踪的面向内的相机。也可以使用其它类型的眼睛跟踪设备。用户传感器(例如，眼睛跟踪传感器)可以被配置为帮助控制图像内容在显示系统的显示器上的呈现。控制图像内容的呈现可以包括，例如，将传感图像发送到处理电子设备，然后处理电子设备控制图像内容的呈现、要显示的图像内容、图像的位置和特征，例如对比度、锐度、亮度、颜色、颜色平衡、颜色饱和度、不透明度等。
显示系统或设备还可以包括和/或被耦接到被配置为感测用户的周围环境的一个或多个环境传感器(例如，图10A和10B中的环境传感器34)。一个或多个环境传感器可包括一个或多个面向外的传感器。一个或多个环境传感器可以被配置为对用户环境中的一个或多个对象进行成像。环境传感器的示例可以包括深度传感器、一个或多个相机，诸如双目世界相机对、地理定位传感器、接近传感器、GPS等。一个或多个环境传感器还可以包括被配置为感测环境中的声音的麦克风(例如，图2中的麦克风67)。如本文所述，环境传感器可以检测和/或监视用户环境中的对象、运动和/或声音，例如，以帮助确定可能吸引用户和/或与用户交互的内容。这种传感器可以提供用户可能正在进行的动作的指示和/或用户进行动作的意图。如本文还描述的，一些实施例可以包括一个或多个光传感器，例如，以确定环境的光条件。
各种实施例可以包括和/或被耦接到具有与显示器通信的处理电子设备的一个或多个处理器(例如，图2中的本地处理和数据模块70和/或远程处理模块72)、一个或多个用户传感器和/或一个或多个环境传感器。在一些实施例中，如本文所述，处理电子设备还可以与网络系统通信。处理电子设备可以被配置为分析从一个或多个用户传感器和/或环境传感器获得的信息，并向显示器提供指令，例如关于要显示给用户的图像内容。例如，处理电子设备可以被配置为执行图14中所示的示例方法5000。处理电子设备可以被配置为感测涉及增加的用户关注的情况，可选地确定用户对该情况的意图，并且至少部分地基于用户的增加的关注和/或用户意图而改变对用户视野内的图像内容(例如，真实或虚拟对象)的用户感知。作为另一示例，处理电子设备可以被配置为确定用户的眼睛所指向的对象。在一些实施例中，处理电子设备被配置为确定眼睛所指向的多于一个对象(例如，在中心视野和/或外围视野中)。确定用户的眼睛所指向的对象可以包括通过将对象识别应用于从一个或多个环境传感器(例如，面向外的相机)接收的图像来识别用户环境中的一个或多个对象。识别用户的观看特别地指向的对象可以便于确定用户已经增加了关注，和/或可以帮助确定用户意图。另外地或替代地，识别用户正在注视的对象可以允许处理电子设备使该对象更容易观看，例如，通过加强对该对象的感知和/或通过削弱对其它对象的感知。对象识别可以包括简单地确定对象的存在和/或将该对象与周围特征隔离。对象识别可以替代地或附加地包括与对象相关联的一些含义，诸如识别该对象是什么和/或该对象的特征或功能。例如，对象识别可以简单地确定前景中存在与背景分离的某个对象。然而，在另一示例中，对象识别可以另外包括确定对象是什么，例如该对象是人脸、心脏监护器、方向盘以及可能与该对象相关联的特征和/或含义。更复杂的分析级别可以是联合多个对象的确定以形成对环境的更高级的理解。例如，如果处理电子设备识别手术刀、心率监测器和俯卧在桌子上的人，则结论可能是用户在手术室中。所识别的其它对象和/或输入的组合(例如，用户前方和中间的方向盘、仪表盘、挡风玻璃和/或刚好在挡风玻璃之外的汽车引擎盖以及可能的其它输入信号，例如接收蓝牙信号)可以指示用户位于可能正在行驶的车辆的驾驶座位上或准备启动机动车辆。
因此，在框5010处，处理电子设备可以被配置为可选地感测涉及用户关注的情况。如上所述，感测涉及用户关注的情况可以包括例如从由一个或多个用户传感器和/或环境传感器提供的信息中检测一个或多个对象。感测涉及用户关注的情况可以包括(至少一般地)确定用户眼睛所指向的对象。处理电子设备可以被配置为使用任何计算机视觉和对象检测技术来检测对象，例如本文所述的那些(参见例如上文)。感测涉及用户关注的情况还可以包括例如从由一个或多个用户传感器和/或环境传感器提供的信息中检测一个或多个运动或声音。感测涉及用户关注的情况还可以包括检测一个或多个其它类型的信号，例如无线电或RF信号(例如，汽车发射出的蓝牙信号)。在不同房间中发射的无线电信号还可以通知用户在特定房间中并且可以提供用户可能正在进行什么动作的指示。感测涉及用户关注的情况可以进一步包括确定一个或多个检测到的对象、运动和/或声音是否与特定情况相关联，例如涉及用户关注的动作或情况。替代地或附加地，感测涉及用户关注的情况可以包括提供感兴趣的涉及用户关注的各种情况，并且例如在由一个或多个用户传感器和/或环境传感器提供的信息中搜索与这些情况相关的特定对象、动作和/或声音。
作为示例，穿戴着头戴式显示设备的用户可以走进手术室中。由一个或多个用户传感器和/或环境传感器捕获的图像可以包括手术室和/或相关对象(例如，手术台、轮床、托盘、手术器械、心脏监护器、患者、医疗助理等)的图像。处理电子设备可以确定外科医生正将他或她的眼睛指向例如手术器械。外科医生可以将手术器械放在他或她的手中。手术器械可以正作用于患者。基于检测到的对象、检测到的特定环境(例如，接近患者的手术器械)和/或外科医生已将他或她的眼睛指向的位置，处理电子设备可以感测到用户参与即将进行的手术。
如上所述，显示系统或设备的各种设计可以针对某些情境而被配置，并且可以感测这些情境中的某些情况。例如，针对医疗护理专业人员配置的显示系统或设备可以被配置为感测医疗环境(例如，医疗诊断或过程)中的情况。在一些实例中，显示系统或设备可以针对或也可以不针对特定用户定制。机器学习算法可以在本文所述的一些实施例中使用。
在感测到涉及用户关注的情况之后，处理电子设备可以继续到框5020。在一些实施例中，处理电子设备还可以继续感测涉及用户关注的其它情况。
在框5020处，处理电子设备可以可选地被配置为确定用户对该情况的意图。确定用户意图可以包括检测指示用户的行动意图的一个或多个对象、动作和/或声音(例如，来自由一个或多个用户传感器和/或环境传感器提供的信息)。替代地或附加地，确定用户意图可以包括例如在数据库中提供指示用户的行动意图的各种可能的对象、动作和/或声音，以及例如在由一个或多个用户传感器/或环境传感器提供的信息中搜索这些对象、运动和/或声音。对于一些设计和/或在一些情况下，显示系统或设备可以基于或可以不基于检测到的对象、运动和/或声音来执行动作，直到已确定用户意图。
作为示例，用户可以与外科手术助手简要交谈。麦克风可以捕获外科医生和助手之间的对话。音频数据可以确认即将进行的手术，但可能不会触发任何动作。然后，用户可以走到患者身边并拿起手术器械。基于根据一个或多个用户传感器和/或环境传感器提供的信息确定这样的动作，处理电子设备可以确定用户开始手术的意图。这样的动作可以触发处理电子设备继续到框5030。如本文所述，可以为特定用户定制一些设计。例如，特定的外科医生在进行手术之前可能具有某种习惯、仪式或程序(例如，说“让我们开始吧”)，可以将这些习惯、程序或仪式存储在显示系统或设备上。
在确定用户意图之后，处理电子设备可以根据框5030继续执行。在一些实施例中，处理电子设备还可以继续确定在感测到的情况中的其它用户意图。
在框5030处，处理电子设备可以被配置为可能至少部分地基于用户意图和/或用户关注等来改变对例如用户视野内的真实或虚拟对象的用户感知。这样的真实或虚拟对象可以包括在头戴式显示器前方的用户环境中的真实对象，光从其反射或发射，通过眼镜透射到眼睛或由显示器显示的虚拟内容。处理电子设备可以被配置为，例如通过使用本文描述的任何图像修改技术改变包括虚拟对象的虚拟图像内容，来改变对真实或虚拟内容的用户感知。改变对真实或虚拟内容的用户感知可以包括以下至少一项：加强眼睛所指向的对象的呈现或者削弱眼睛所指向的对象(例如，真实或虚拟对象)周围的一个或多个特征。作为示例，显示系统或设备(例如，通过由处理电子设备提供的指令)可以被配置为在一不同位置处呈现图像内容。在一些情况下，用户的外围视野中的真实或虚拟对象可以在用户的中心视野中被呈现或重新渲染，例如，以便于观看。或者，用户的中心视野中的真实或虚拟对象可以在用户的外围视野中被呈现或重新渲染，例如，以消除杂乱。用户的外围视野中的真实或虚拟对象也可以在用户的外围视野的另一区域中被呈现或渲染(例如，远外围视野到近外围视野或反之，或者远中心视野到近中心视野或反之)。在一些情况下，显示系统或设备(例如，通过由处理电子设备提供的指令)可以被配置为将图像内容从第一深度平面呈现到第二深度平面(例如，较远的深度平面到较近的深度平面或反之)。同样如本文所述，图像内容可以在同一深度平面上被横向移位(例如，被横向移位为距用户的中心视野更近或更远)。
作为另一示例，显示系统或设备(例如，通过由处理电子设备提供的指令)可以被配置为使用本文描述的任何加强(或削弱)技术来修改图像内容。例如，处理电子设备可以被配置为改变(例如，增加、降低)图像内容(例如包括真实或虚拟对象的图像内容)的一个或多个图像属性，例如对比度、不透明度、颜色、颜色饱和度、颜色平衡、尺寸、背景、亮度、边缘可见度、锐度等。加重图像内容可以包括增加图像内容的一个或多个图像属性中的某些(例如，亮度、锐度、对比度等)。例如，加重图像内容可以包括改变图像内容的颜色，增加图像内容的不透明度。削弱图像内容可以包括降低所述一个或多个图像属性中的某些(例如，亮度、锐度、对比度等)。例如，削弱图像内容可以包括改变图像内容的颜色，降低图像内容的不透明度。在某些情况下，可以削弱对象周围的特征以使对象更加突出。削弱对象周围的特征可以包括降低周围图像内容的一个或多个图像属性中的某些图像属性。例如，削弱周围特征可以包括削弱周围虚拟图像内容，和/或增加周围虚拟图像内容的不透明度，从而衰减用户的头戴式显示器前方的周围环境的视图。
在一些设计中，可以通过将图像内容显示为好像源自距用户不同深度处(例如，在一不同深度平面处)的方式来加重(例如，加强)或削弱图像内容。例如，加重图像内容可以包括在更近的深度上显示图像内容和/或在更远的深度上显示周围图像内容。削弱图像内容可以包括在更远的深度上显示图像内容和/或在更近的深度上显示周围图像内容。通过改变光的发散量，可以至少部分地提供感知深度。在一些实例中，与否则内容将被用户感知的方式(例如没有被加强和/或被削弱的情况下)相比和/或与用户视野中的其它对象相比，可以加强或削弱图像内容。例如，相对于用户的中心视野中的图像内容和/或对象，可以削弱用户的外围视野中的图像内容和/或对象。如本文所述，加强或削弱的程度可以至少部分地基于距中心视野或中央凹的距离、两点区分的最小距离、眼睛的空间分辨率、视锥细胞密度、视杆细胞密度、照明条件等中的一者或多者。
其它加强的示例包括突出显示。例如，黄色突出显示可以被叠加在虚拟对象上，例如使用面向外的相机和显示器重新渲染的环境中的对象的图像。另一示例是在可以通过透射显示器看到的真实对象前方叠加黄色突出显示。黄色突出显示可以不会太亮而冲刷掉通过透射显示器看到的对象(例如，限速标志)，但足以补充通过透射显示器看到的对象视图，另外，黄色虚拟内容(突出显示)和真实对象、限速标志的组合可以将用户的注意力吸引到限速标志。
此外，某些实施例可以针对涉及用户关注的给定情况重复框5020和5030，以确定该情况中的其它用户意图并基于这些其它用户意图而改变对图像内容的用户感知。
作为示例，基于用户开始进行手术的意图，可以提供灰色背景以帮助用户聚焦在手术部位上并且相对于手术部位而削弱房间的其余部分。足够强烈的灰色光可以被投射到眼睛中，使得用户和头戴式显示器前方的环境中的真实对象或特征(其否则将构成背景特征)对用户而言不太突出。该灰色背景也可以是均质的，以减少或消除分散注意力的细节。也可以减少或移除背景中的其它图像内容(诸如其它图像/其它虚拟图像内容)的投射。以这种方式，背景中的特征可以被充分地清除或掩盖，使得这些特征不会分散用户对手术部位进行手术的注意力。
手术期间的另一用户意图可以包括观看位于外围的心脏监护器上的医学图像(例如，基于眼睛跟踪)。基于这样的用户意图，某些实施例可以通过将该医学图像呈现为更接近手术部位以更易于观看。
本文描述的各种示例是在医学情境中。各种实施例也可以应用于其它情境，例如，包括日常活动和任务。一个示例包括操作车辆(例如，汽车、出租车、公共汽车、摩托车、火车、施工车辆、拖拉机、农场设备、船只、飞机等)，其中用户关注和注意力集中可以对操作者和操作者周围的那些有帮助。例如，通过加重停车标志、交通信号灯、人行横道和其它交通特征，增强现实加强可以向驾驶员提醒他们可能否则没有看到或注意到的情况，从而提高安全性。
继续参考图14，在框5010处，处理电子设备可以感测涉及用户关注的情况。感测涉及用户关注的情况可以包括确定用户眼睛所指向的对象。确定用户眼睛所指向的对象可以部分地基于从眼睛跟踪传感器接收的传感器信息，该眼睛跟踪传感器被配置为确定用户的眼睛正在观看的位置。例如，穿戴着头戴式显示设备的用户可以离开他或她的房子并走到外面前往车辆(例如，汽车)。由一个或多个用户传感器和/或环境传感器捕获的图像可以包括建筑物内部的图像、与门的交互、户外和/或车辆的图像。这些图像可以或可以不触发任何要采取的行动。然后，用户可以打开车门。基于由一个或多个用户传感器或环境传感器提供的信息，处理电子设备可以感测涉及用户关注的情况。显示系统可以对对象进行成像，并且对象识别可以被用于识别这些对象以及这些对象的可能的移动。显示系统可以例如使用对象识别来识别驾驶员正在启动车辆或使车辆进入档位(例如，前进档或倒车档)。显示系统可以获得无线互联网(例如，WiFi)、蓝牙和/或其它信息收集系统。显示系统可以通过蓝牙连接而与车辆进行连接(例如，与车辆“配对”)，蓝牙连接可以是用户在车辆内(或至少在车辆附近)的指示。显示系统能够检测显示系统先前是否已与该特定车辆配对。显示系统可以简单地检测无线信号(例如，蓝牙)或其它信号(诸如其它无线电或RF信号)，并确定用户在汽车中或其附近。显示系统可以例如通过识别视图或用户视图中的对象来确定用户将要驾驶汽车或正在驾驶汽车。其它类型的传感器也可被用于确定驾驶员正在驾驶或打算驾驶。感测到音频，例如发给汽车导航系统或其它控制系统(例如，加热和/或冷却)的语音命令、锁定汽车或发动机开启的声音可以指示用户即将开始驾驶汽车。来自GPS或加速计的加速和/或运动数据可被用于确定车辆是处于静止还是运动中。诸如音频输入(发动机启动的声音)之类的输入与来自头戴式显示器的面向外的相机的图像(显示方向盘或从驾驶员侧通过挡风玻璃看到的视图)的组合可以指示用户即将驾驶或正在驾驶。
处理电子设备可以确定用户可能正在驾驶汽车和/或识别与驾驶相关的情况，例如，用户即将突然停止。一个或多个用户传感器和/或环境传感器可以检测到前方车辆正在逐渐减速或突然停止等。确定对象位置的传感器，例如测距仪(激光测距仪)、LIDAR、雷达、超声波测距设备或其它位置感测系统能够确定位置和/或位置变化。可能基于由环境传感器识别的对象的一个或多个位置(例如，位置的变化)来确定对象和用户或用户的车辆越来越靠近的速率。可以确定用户或用户的车辆碰撞对象、或者对象碰撞用户或用户的车辆中的至少一者的风险。显示系统可以视情况显示图像内容和/或加强和/或削弱对象或图像内容。例如，可以显示并且可以加强虚拟停车、警告或警告标志，和/或可以削弱其它对象或图像内容。另外，可以基于所确定的风险减少所显示的图像内容的量。例如，在某些情况下可以不显示或基本上不显示图像内容以降低分心的可能性并且允许用户关注于该情况(如果不采取行动(例如，施加制动，汽车转向远离对象)可能发生的碰撞)。
在一些实施例中，处理电子设备可以基于自动接收的信号而确定该情况涉及关注。例如，处理电子设备可以确定汽车方向盘上的两只手指示涉及用户关注的情况。诸如面向内的传感器(例如眼睛跟踪传感器)或相机之类的一个或多个传感器可以至少检测注视方向改变的最小频率。传感器可以被配置为检测用户做出的可以指示被用户关注的动作，例如由一个或多个环境传感器或向内指向的传感器确定的例如眯眼、高于阈值音量的语音、由用户身体施加的高于阈值水平的压力(例如，紧紧抓住转向控件)引起的肤色变化、和/或脉搏率的升高。作为另一示例，显示系统的传感器可以检测到用户已经掌握了车辆(例如，汽车、施工车辆)的一个或多个特定控制，这可以指示该情况涉及增加的用户关注。
作为框5010的一部分，显示系统能够在感测用户关注时考虑围绕车辆操作的一个或多个条件。显示系统可以包括存储器存储设备(例如，硬盘驱动器、RAM)，其存储关于用户的信息，例如数据记录。显示系统的一个或多个传感器还能够感测用户的一个或多个特征。存储器设备可以保存用户的一个或多个数据记录和/或特征，例如用户的年龄、用户的尺码和/或身高、用户的身份、用户的操作凭证(例如，驾驶执照、学习者许可证、限制使用许可证)、用户的操作记录(例如，传票/开单、逮捕和/或驾照的吊销、限制和/或撤销的次数和/或原因)、表现记录(例如，学校GPA、犯罪记录)和/或用户的能力(例如，身体和/或心理疾病或限制的存在)。
一个或多个传感器可以被配置为检测与用户的一个或多个特征相关的特征和/或数据，例如以上列出的那些。其它示例包括：面向外的相机可扫描用户操作凭证(例如，学习者许可证)，检测用户位置和/或取向(例如，用户是否在驾驶员座位中)，和/或感测用户的身体和/或心理特征(例如，身高、体重等)。处理电子设备可以潜在地确定：这些因素中的一者或多者指示涉及关注的情况并且可以调整用户对系统应用(例如，电子邮件、文本等)的访问权限，如下面更全面地描述的。
在框5020处，处理电子设备可以可选地被配置为确定用户对该情况的意图。例如，用户可以在车里坐下。此类信息可以或可以不触发任何要采取的行动。在一些实施例中，一个或多个传感器可以检测和/或搜索某些对象的存在以及相对于用户的位置，以确认用户是否处于操作车辆的位置(例如，驾驶汽车)。例如，处理电子设备可以确定指示用户位于驾驶员座位中的对象的存在和相对位置(例如，用户左侧的驾驶员侧门和/或侧视镜、用户右侧的乘客、用户前方的仪表盘和方向盘、用户右上侧的后视镜等)。当一个或多个传感器提供与这种意图一致的信息时(例如，用户启动发动机，发动机的声音，用户将车辆置于驾驶档位或倒车档位，用户注视后方，注视后视镜，或者注视后视相机图像等)，处理电子设备可以确定用户将要开始驾驶。
在框5030处，处理电子设备可以被配置为至少部分地基于增加的用户关注和/或至少部分地基于用户意图而改变对例如用户视野内的真实或虚拟对象(诸如头戴式显示器前方的环境中的真实对象或虚拟内容)的用户感知。各种显示系统可以例如通过一个或多个传感器连续监视可能有助于向用户强调的对象。例如，显示系统或设备可以搜索交通标志、道路标志、人行横道和/或其它对象(例如，交通灯、停车标志、限速标志等)并向用户视野中添加增强或虚拟内容。例如，可以加强和/或重新渲染可能加强的标志，并且该标志可以被呈现为更靠近中心视野以帮助驾驶员更安全地驾驶。如上所述，可以用颜色高光而突出显示该标志。显示系统还可以削弱干扰，例如警报(例如，电子邮件、电话、文本或其它消息、社交媒体通知)、音频和/或视频呈现和/或外围声音。削弱干扰可以包括限制或取消对干扰的访问。例如，在某些动作(例如，操作车辆)期间和/或在某些情况下(例如，针对低于特定年龄的操作者)，可以减少、限制或禁止某些软件应用(例如，“app”)、因特网和/或其它通信服务(例如，电子邮件、电话)的功能和/或对它们的访问。削弱干扰可以包括调暗或去除视觉刺激(例如，不在显示系统上显示)和/或降低音量或使听觉刺激(例如，歌曲、音调、语音)静音。因此，在某些情况下可以去除或减少虚拟内容，而在某些情况下可以添加其它虚拟内容。因此，显示系统可以被配置为提高车辆(例如，汽车)的操作的安全性。
尽管图14中的框图参考检测涉及用户关注和确定用户意图的情况，但是可以选择性地包括这两者中的一者或全部两者，或者这两者可以都被排除。
在一些设计中，处理电子设备可以确定在机动车辆的操作期间允许的多个应用(例如，系统应用、第三方应用)和/或不允许的多个应用。处理电子设备可以基于上面讨论的一个或多个因素(例如，用户特征、环境读数)确定哪些应用可用和/或具有减少的访问/功能。例如，低于特定年龄、高于特定年龄或者没有操作车辆的许可证的用户可能被限制访问显示系统的应用。一个或多个传感器可以被配置为检测诸如对象(例如运动中的汽车或人)的运动。作为示例，基于检测到的运动，处理电子设备可以被配置为确定突然停止的车辆、慢速移动的车辆、自行车和/或行人的存在。在这种潜在危险的情况下，可以加强相关内容(和/或削弱不太相关的细节，例如周围环境)以帮助驾驶员避免事故。例如，可以用提供高对比度的颜色明亮地重新渲染感兴趣对象(例如车辆、自行车、行人)。还可以基于眼镜检测到情况而发出警报声。可以削弱其它背景特征，例如，通过在眼睛中投射亮色光来清除或掩盖真实环境中的那些特征或虚拟内容的特征。可以提供均质区域以减少分散注意力的细节。其它示例也是可能的。
各种实施例还可包括如本文所述的其它特征。例如，显示系统或设备可以向用户提供警报，例如，以指示图像内容的改变。警报可以包括视觉警报(例如，弹出窗口、图标、闪烁的灯等)、触觉警报(例如，振动)和/或音频警报(例如，铃声、音乐、语音等)。
因此，取决于设计，头戴式显示设备可以包括被配置为对用户环境中的对象进行成像的一个或多个面向外的相机，以及与所述显示器和所述面向外的相机通信的处理电子设备。处理电子设备可以被配置为向用户的视野显示图像内容，通过将对象识别应用于从一个或多个面向外的相机接收的图像来识别用户环境中的一个或多个对象；并且基于所述对象识别，执行加强图像内容的呈现或者削弱由显示器显示的图像内容的呈现中的至少一者。加强可以包括增加所呈现的图像内容的对比度、颜色饱和度、亮度、边缘可见度、不透明度、锐度、或改变所呈现的图像内容的颜色或颜色平衡中的一者或多者。削弱可以包括降低所呈现的图像内容的对比度、颜色饱和度、亮度、边缘可见度、不透明度或锐度、或改变所呈现的图像内容的颜色或颜色平衡中的一者或多者。一个或多个面向外的相机可以被设置在框架上。
在一些设计中，头戴式显示设备包括被配置为对用户环境中的对象进行成像的一个或多个面向外的相机，以及与所述显示器和所述面向外的相机通信的处理电子设备。处理电子设备可以被配置为向用户的视野显示图像内容，通过将对象识别应用于从一个或多个面向外的相机接收的图像来识别用户环境中的一个或多个对象；并且基于所述对象识别，削弱通过所述透明部分向用户眼睛呈现的用户前方的环境视图的至少一部分。削弱可以包括降低通过所述透明部分的环境视图的亮度、可见度、锐度或对比度、或改变通过所述透明部分的环境的颜色中的一者或多者。削弱可以包括增加不透明度或亮度以衰减通过所述透明部分的环境视图，而不是通过显示来自所述一个或多个面向外的相机的图像。
另外在一些头戴式显示器设计中，处理电子设备可以与显示器通信，其中处理电子设备被配置为向用户的视野显示图像内容以及执行加强由显示器显示的图像内容的渲染或削弱由显示器显示的图像内容的渲染中的至少一者。加强可以包括相对于由显示器显示的其它图像内容，增加所渲染的图像内容的对比度、颜色饱和度、亮度、边缘可见度、不透明度、锐度或改变所渲染的图像内容的颜色或颜色平衡中的一者或多者。削弱可以包括相对于由显示器显示的其它图像内容，降低所渲染的图像内容的对比度、颜色饱和度、亮度、边缘可见度、不透明度或锐度、或改变所渲染的图像内容的颜色或颜色平衡中的一者或多者。因此，处理电子设备可以被配置为加强由显示器显示的图像内容的渲染。替代地或附加地，处理电子设备被配置为削弱由所述显示器显示的图像内容的渲染。处理电子设备可以被配置为相对于由显示器显示的周围图像内容，加强由所述显示器显示的图像内容的渲染。处理电子设备可以被配置为相对于由削弱的图像内容包围的显示器所显示的图像内容，削弱显示器所显示的图像内容的渲染。
此外，取决于头戴式显示设备的设计，该设备可以包括：被配置为对用户环境中的对象进行成像的一个或多个面向外的相机；被配置为确定用户的眼睛正在观看的位置的一个或多个眼睛跟踪传感器；与显示器、面向外的相机和眼睛跟踪传感器通信的处理电子设备，用于控制所述显示器上的图像内容的呈现。处理电子设备可以被配置为向所述用户的视野显示图像内容；确定眼睛所指向的对象；以及执行加强眼睛所指向的对象的渲染，或者削弱眼睛所指向的对象周围的显示器上的图像中的一个或多个特征中的至少一者。因此，显示设备可以识别用户正在关注的对象，并且可以加强在显示器上呈现的该对象和/或削弱在显示器上呈现的其它对象。处理电子设备可以被配置为在显示器上显示用户正在关注的对象周围的一个或多个特征，但是削弱在显示器上呈现的眼睛所指向的对象周围的所述一个或多个特征。
如上所述，对象识别可以包括简单地在背景中辨别对象。其它形式的对象识别可以包括识别对象是什么以及与其相关联的功能和/或特征。
各种其它变型和设计都是可能的。例如，显示系统可以包括被配置为对用户环境中的对象进行成像的面向外的相机。显示系统可以进一步包括与本文描述的显示器(例如，如上所述)和/或面向外的相机通信的处理电子设备。处理电子设备可以被配置为确定用户正在操作车辆(例如，汽车)。处理电子设备可以被配置为加强用户视野中的对象。加强用户视野中的对象可以包括将对象的图像内容从用户视野中的第一位置移动到第二位置。替代地或附加地，加强用户的视野中的对象可以包括相对于在不进行加强的情况下对象的原始颜色而改变对象的感知颜色。加强用户视野中的对象可以包括增加所显示的图像内容的对比度、颜色饱和度、亮度、边缘可见度、不透明度或锐度中的一者或多者。加强用户视野中的对象可以包括通过在对象上叠加部分透明的颜色来突出显示对象。
也可能提供削弱。对环境中的真实对象的这种削弱可以包括将足够亮的光引导到眼睛中，使得真实对象不太可见。削弱虚拟对象可以包括降低所显示的虚拟图像内容的对比度、颜色饱和度、亮度、边缘可见度、不透明度或锐度。
取决于设计，头戴式显示设备可以包括被配置为包含一个或多个用户记录(例如，表现记录)的数据库。显示设备还可以包括被配置为基于一个或多个用户记录而减少所显示的图像内容的量的处理电子设备。处理电子设备可以基于一个或多个用户记录而允许或不允许用户访问一个或多个系统和/或用户应用。此类应用的示例可以包括电子邮件、文本、电话呼叫、社交媒体连接等。处理电子设备可以基于一个或多个用户记录而允许显示指定量的图像内容。例如，在没有确定访问凭据的情况下，可以在能使用什么应用方面对用户进行限制。替代地或附加地，在没有确定访问凭据的情况下，可以限制显示指定量的图像内容。基于用户访问凭据，可以减少所显示的图像内容的量。一个或多个用户记录可以包括但不限于驾驶记录、事故记录、传票记录、在校表现记录、犯罪记录或逮捕记录中的至少一者。替代地或附加地，记录可以包括用户年龄的记录。基于一个或多个用户记录减少所显示的图像内容的量可以包括选择性地使用户能够访问所显示的图像内容(例如，允许用户访问某些应用或虚拟内容，而不允许用户访问其它应用或虚拟内容)。在一些情况下，减少所显示的图像内容的量可以包括不显示图像内容或基本上不显示图像内容。
显示设备可以包括处理电子设备，所述处理电子设备被配置为至少部分地基于所建立的与车辆处理器的通信链路而确定用户在车辆附近。处理电子设备可以被配置为基于所建立的通信链路而减少所显示的图像内容的量。确定用户在车辆附近可以包括确定用户在车辆中和/或用户正在操作车辆。确定用户正在操作车辆可以包括确定用户正在驾驶车辆(例如，汽车、船)。处理电子设备可以部分地基于由环境传感器之一(例如，无线电接收器、光学接收器)接收的信号而确定用户在车辆附近。确定用户在车辆附近可以包括接收和/或发送射频信号或发送红外信号中的至少一者。处理电子设备还可以使用由一个或多个面向外的图像传感器(例如，相机)中的一者接收的图像以及通信链路的建立来确定用户在车辆附近。基于所建立的通信链路而减少所显示的图像内容的量可以包括不显示任何图像内容或者基本不显示任何图像内容。
根据显示设备的设计，显示设备可以包括被配置为对用户环境中的对象进行成像的面向外的传感器(例如，相机)。显示设备可以包括被配置为识别对象的一个或多个位置的一个或多个环境传感器。显示设备中的处理电子设备可以被配置为确定用户是否正在操作车辆。处理电子设备可以被配置为确定车辆碰撞对象和对象碰撞车辆中的至少一者的风险。替代地或附加地，处理电子设备可以被配置为在确定用户在车辆内时减少所显示的图像内容的量。取决于设计，处理电子设备可以被配置为基于所确定的碰撞风险而减少所显示的图像内容的量。确定碰撞风险可以包括基于由一个或多个环境传感器识别的对象的一个或多个位置而确定对象和车辆越来越靠近的速率。
根据显示设备的设计，可以包括被配置为对用户环境中的对象进行成像的面向外的相机，以及与显示器和面向外的相机通信以控制图像内容在显示器上的呈现的处理电子设备。处理电子设备被配置为确定用户正在操作车辆，以不同的发散量向用户的视野显示图像内容，就好像图像内容是从距用户眼睛不同距离投射的一样，并且基于用户正在操作车辆的确定而减少所显示的图像内容的量。
因此，设计的各种变化是可能的。在一些设计中，例如，一个或多个应用(例如，用户应用、系统应用)的功能和/或访问权限和/或所显示的图像内容的量可以由访问管理系统来管理。访问管理系统可以被配置为在可以使用一个或多个应用之前和/或在可以显示图像内容之前需要登录和/或密码。附加地或替代地，访问管理系统可以基于系统设置来限制用户的访问。访问管理系统可以被配置为授予不同的访问权限集(例如，哪些应用可被使用，什么图像内容将被显示)。访问权限可以被提供为“白名单”(例如，允许的应用和/或显示的图像内容的列表)和/或“黑名单”(例如，受限制的应用和/或显示的图像内容的列表)。根据设计，访问管理系统可能具有无法更改的访问权限。访问权限可以被更高级访问权限覆盖。例如，父母可以覆盖孩子的访问权限。或者，访问权限可能不能被覆盖。取决于设计，紧急覆盖可以允许用户访问(例如，有限访问)某些应用和/或图像内容。访问管理系统可以至少部分地基于正被操作的车辆类型来准许对某些应用和/或图像内容的访问。例如，可以为驾驶船的用户提供在驾驶汽车期间不被允许的某些功能。访问管理系统可以基于用户记录(例如，年龄、驾驶记录、平均学分绩点(GPA)、犯罪记录、DWD逮捕等)授予用户特定的访问权限。基于各种因素，访问管理系统可以授予或不授予对应用和/或图像内容的访问权限，这些因素包括但不限于车辆类型、用户、设备、本地管辖区的法律、覆盖控制策略、所在地人口密度、用户活动范围(例如，用户坐在车里而不是开车)等。
此外，将理解，本文描述和/或在附图中示出的过程、方法和算法中的每一者可以体现在由一个或多个物理计算系统、硬件计算机处理器、应用专用电路和/或被配置为执行特定和特殊的计算机指令的电子硬件所执行的代码模块中并且完全或部分地由该代码模块自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如，服务器)或专用计算机、专用电路等等。代码模块可以被编译并链接到可执行程序中，安装在动态链接库中，或者可以用解释的编程语言编写。在一些实施例中，特定操作和方法可以由专用于给定功能的电路来执行。
此外，本公开的功能的某些实施例在数学上、计算上或技术上是足够复杂的，使得应用专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)对于执行功能可能是必需的，例如由于所涉及的计算的数量或复杂性或为了基本上实时提供结果。例如，视频可以包括许多帧，每帧具有数百万个像素，并且具体地编程的计算机硬件对于处理视频数据是必需的以在商业上合理的时间量内提供期望的图像处理任务或应用。
代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，诸如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器、其组合和/或类似物。在一些实施例中，非暂时性计算机可读介质可以是本地处理和数据模块70、远程处理模块72和远程数据储存库74中的一者或多者的一部分。方法和模块(或数据)也可以在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)传输，所述传输介质包括基于无线的和有线/基于线缆的介质，并且可以采取多种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字分组或帧)。所公开的方法或方法步骤的结果可以持久地或以其他方式存储在任何类型的非暂时性有形计算机存储器中，或者可以经由计算机可读传输介质来通信。
本文描述的和/或在附图中描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分，代码包括一个或多个可执行指令以实现特定功能(例如，逻辑或算术)或方法中的步骤。各种方法、框、状态、步骤或功能可以与本文提供的说明性示例相组合，重新排列，添加，删除，修改或以其他方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行本文描述的功能中的一些或全部。这里描述的方法和过程也不限于任何特定的序列，并且与其相关的块、步骤或状态可以以适当的其他序列来执行，例如串行、并行或以某种其他方式。可以向所公开的示例性实施例添加任务或事件或者从中移除任务或事件。此外，这里描述的实现中的各种系统组件的分离是出于说明的目的，并且不应该被理解为在所有实施例中都需要这种分离。应该理解，所描述的程序组件、方法和系统通常可以一起集成在单个计算机产品中或者封装到多个计算机产品中。
在上述说明书中，已经参考本发明的具体实施例对本发明进行了描述。然而，显而易见的是，在不脱离本发明的更广泛的精神和范围的情况下，可以对本发明进行各种修改和改变。因此，说明书和附图应被视为说明性的而非限制性的。
实际上，应当理解，本公开的系统和方法各自具有若干创新性方面，其中没有单独一个对于本文公开的期望属性完全负责或需要。上述各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合均旨在落入本公开的范围内。
在本说明书中在分开的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以分开或者以任何合适的子组合在多个实施例中实施。此外，尽管上文可以将特征描述为以某些组合起作用并且甚至最初如此示例，但是来自所示例的组合的一个或多个特征可以在一些情况下从组合中删除，并且所示例的组合可以针对子组合或变体的子组合。没有单个特征或特征组对于每个实施例是必要或是必不可少的。
应当理解，除非另有明确说明，否则本文中使用的条件语言，诸如“能够”、“可能”“应该”、“可以”、“例如”等等，或者在上下文中以其他方式理解的，为一般地意在表达某些实施例包括，而其他实施例不包括某些特征、元件和/或步骤。因此，这样的条件语言通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或者没有作者输入或提示的情况下决定是否这些特征、元件和/或步骤包括在任何特定实施例中或将在任何特定实施例中执行。术语“包括”、“包含”、“具有”等是同义词，并且以开放式的方式包含性地使用，并且不排除附加的元件、特征、动作、操作等等。此外，术语“或”以其包含性含义(而不是其专有含义)使用，因此当用于例如连接元素列表时，术语“或”表示一个、一些或全部列表中的元素。另外，除非另有说明，否则本申请和所附示例中使用的冠词“一”、“一个”和“所述”应被解释为表示“一个或多个”或“至少一个”。类似地，尽管可以在特定顺序中在附图中描绘操作，但应认识到，这些操作不需要以所示出的特定顺序或按顺序执行，或者所有所示操作都要执行，以实现理想的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作可以并入示意性说明的示例性方法和过程中。例如，可以在任何所示操作之前、之后、同时或之间执行一个或多个附加操作。另外，在其他实施例中，操作可以重新安排或重新排序。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统组件的分离不应该被理解为在所有实施例中都需要这种分离，并且应该理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品。另外，其他实施例在以下示例的范围内。在一些情况下，示例中列举的动作可以以不同的顺序执行并且仍然实现期望的结果。
因此，本公开不旨在限于本文所示的实施例或示例，而是与符合本公开、本文所公开的原理和新颖特征的最宽范围相一致。例如，尽管关于医学领域中的医学应用提供了本公开内的许多示例，但是本文描述的某些实施例可以针对各种其它应用和/或在许多其它情境中实施。

Claims (20)

1.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视野中显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便以不同的发散量向所述用户的视野显示增强现实图像内容，就像从距所述用户的眼睛不同的距离处投射一样，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示设备时被设置在所述用户的眼睛前方的一位置处，使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户和所述头戴式显示器的前方的所述的所述一部分的视图；
一个或多个用户传感器，其被配置为感测所述用户；
一个或多个环境传感器，其被配置为感测所述用户的周围环境；
处理电子设备，其与所述显示器、所述一个或多个用户传感器以及所述一个或多个环境传感器通信，所述处理电子设备被配置为：
感测涉及增加的用户关注的情况；以及
至少部分地基于感测到增加的关注而改变对所述用户的视野内的真实或虚拟对象的用户感知。
2.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为通过改变包括所述对象的图像内容来改变对所述用户的视野内的所述真实或虚拟对象的用户感知。
3.根据权利要求2所述的显示系统，其中改变图像内容包括将所述对象的图像内容从第一位置移动到第二位置。
4.根据权利要求3所述的显示系统，其中所述第一位置是外围区域且所述第二位置是中心区域，或者其中所述第一位置是中心区域且所述第二位置是外围区域。
5.根据权利要求2所述的显示系统，其中改变图像内容包括改变包括所述对象的图像内容的对比度、不透明度、颜色、颜色饱和度、颜色平衡、大小、背景、亮度、边缘或锐度中的至少一者。
6.根据权利要求1至7中任一项所述的显示系统，其中所述一个或多个环境传感器包括深度传感器、双目世界相机对、地理定位传感器、接近传感器或GPS。
7.根据权利要求1至6中任一项所述的显示系统，其中所述一个或多个用户传感器包括一个或多个相机。
8.根据权利要求1至7中任一项所述的显示系统，其中所述处理电子设备进一步被配置为确定对所述情况的用户意图，并且至少部分地基于感测到增加的关注而改变对所述用户的视野内的所述真实或虚拟对象的用户感知。
9.根据权利要求1至8中任一项所述的显示系统，其中所述涉及增加的用户关注的情况包括驾驶机动车辆。
10.根据权利要求9所述的显示系统，其中所述环境传感器包括被配置为检测无线电信号的传感器。
11.根据权利要求10所述的显示系统，其中所述环境传感器包括被配置为检测来自汽车的蓝牙信号的传感器。
12.根据权利要求9所述的显示系统，其中所述处理电子设备被配置为至少部分地基于关于所述用户的一个或多个数据记录而改变对所述用户的视野内的所述真实或虚拟对象的用户感知，所述一个或多个数据记录包括所述用户的驾驶记录。
13.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以显示增强现实图像内容，所述用户的眼睛具有视野，所述视野具有中心区域和被设置在所述中心区域周围的外围区域，所述头戴式显示系统包括：
框架，其被配置为被支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以便在所述用户的视野的所述中心区域处呈现图像内容，所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示设备时被设置在所述用户的眼睛前方的一位置处，使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛，以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图；
处理电子设备，其与所述显示器通信，以控制所述显示器上的图像内容的呈现，
其中所述头戴式显示系统被配置为向所述用户的视野的所述中心区域呈现与向所述用户的视野的所述外围区域呈现的图像内容相比被加强的图像内容。
14.根据权利要求10所述的系统，进一步包括被配置为监视所述环境的一个或多个传感器。
15.根据权利要求11所述的系统，其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
16.根据权利要求11或12所述的系统，其中一个或多个传感器包括距离测量设备。
17.根据权利要求10至13中任一项所述的系统，进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
18.根据权利要求10至15中任一项所述的系统，其中所述头戴式显示设备被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比，不同地处理向所述用户的视野的所述中心区域的至少一部分呈现的图像内容。
19.根据权利要求16所述的系统，其中所述头戴式显示设备被配置为，通过与向所述用户的视野的所述外围区域呈现的图像内容相比放大向所述用户的视野的所述中心区域的至少一部分呈现的图像内容来不同地处理图像内容。
20.根据权利要求16或17所述的系统，其中所述头戴式显示设备被配置为，通过与向所述用户的视野的所述外围区域呈现的图像内容相比增加向所述用户的视野的所述中心区域的至少一部分呈现的图像内容的亮度来不同地处理图像内容。
CN201780059031.6A 2016-07-25 2017-07-24 使用增强和虚拟现实眼镜的成像修改、显示和可视化 Pending CN109791295A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662366599P 2016-07-25 2016-07-25
US62/366,599 2016-07-25
US201662396071P 2016-09-16 2016-09-16
US62/396,071 2016-09-16
US201662440332P 2016-12-29 2016-12-29
US62/440,332 2016-12-29
PCT/US2017/043555 WO2018022523A1 (en) 2016-07-25 2017-07-24 Imaging modification, display and visualization using augmented and virtual reality eyewear

Publications (1)

Publication Number Publication Date
CN109791295A true CN109791295A (zh) 2019-05-21

Family

ID=61016802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780059031.6A Pending CN109791295A (zh) 2016-07-25 2017-07-24 使用增强和虚拟现实眼镜的成像修改、显示和可视化

Country Status (9)

Country Link
US (4) US10838210B2 (zh)
EP (2) EP4345831A3 (zh)
JP (3) JP7182538B2 (zh)
KR (3) KR20230133940A (zh)
CN (1) CN109791295A (zh)
AU (3) AU2017301435B2 (zh)
CA (1) CA3031771A1 (zh)
IL (4) IL298851B2 (zh)
WO (1) WO2018022523A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110364096A (zh) * 2019-08-12 2019-10-22 张枫 一种体三维显示装置
CN110376737A (zh) * 2019-05-28 2019-10-25 京东方科技集团股份有限公司 光学显示系统、显示控制装置和增强现实设备
CN110457990A (zh) * 2019-06-19 2019-11-15 特斯联（北京）科技有限公司 一种机器学习的安防监控视频遮挡智能填补方法与系统
CN110930811A (zh) * 2019-11-11 2020-03-27 北京交通大学 一种适用于无人驾驶决策学习和训练的系统
CN110989203A (zh) * 2019-11-28 2020-04-10 四川泛华航空仪表电器有限公司 一种360度视野的眼镜及其使用方法
CN111831118A (zh) * 2020-07-10 2020-10-27 清华大学 一种基于增强现实的三维脑电显示方法及其显示系统
CN112509040A (zh) * 2019-08-26 2021-03-16 苹果公司 对提供镜面反射和反射修改的表面进行基于图像的检测
CN112734939A (zh) * 2021-03-23 2021-04-30 济南浪潮高新科技投资发展有限公司 基于ar可穿戴设备和视觉拥挤神经机制的优化显示方法
WO2021081845A1 (zh) * 2019-10-30 2021-05-06 未艾医疗技术(深圳)有限公司 一种基于vrds ai的肝脏肿瘤和血管分析方法及相关产品
CN113297789A (zh) * 2021-05-17 2021-08-24 南京大学 一种基于机器学习的声涡旋分束器设计方法
CN113297723A (zh) * 2021-04-22 2021-08-24 哈尔滨理工大学 基于均值漂移-灰色关联分析的电主轴温度测点优化方法
CN113768620A (zh) * 2020-06-09 2021-12-10 格罗伯斯医疗有限公司 用于手术期间的计算机辅助导航的摄像机跟踪系统的摄像机跟踪杆
TWI756944B (zh) * 2020-11-27 2022-03-01 國立臺北科技大學 融合混增實境及虛擬實境之教學系統及其方法
CN114721497A (zh) * 2020-12-22 2022-07-08 鸿富成精密电子(成都)有限公司 基于混合现实的培训方法、电子设备及存储介质
CN117541471A (zh) * 2023-11-09 2024-02-09 西安电子科技大学 基于sph启发的pg-spect图像超分辨重建方法
US12014465B2 (en) 2022-01-06 2024-06-18 Htc Corporation Tracking system and method

Families Citing this family (151)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11918375B2 (en) * 2014-09-05 2024-03-05 Beijing Zitiao Network Technology Co., Ltd. Wearable environmental pollution monitor computer apparatus, systems, and related methods
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
US9836895B1 (en) 2015-06-19 2017-12-05 Waymo Llc Simulating virtual objects
WO2017114834A1 (en) * 2015-12-29 2017-07-06 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
TWI589274B (zh) * 2016-07-05 2017-07-01 da-quan Ye 心理臨床應用的虛擬實境系統
KR20230133940A (ko) 2016-07-25 2023-09-19 매직 립, 인코포레이티드 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화
CN109478339A (zh) * 2016-07-29 2019-03-15 三菱电机株式会社 显示装置、显示控制装置和显示控制方法
EP3512452A1 (en) * 2016-09-16 2019-07-24 Zimmer, Inc. Augmented reality surgical technique guidance
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
EP3343957B1 (en) * 2016-12-30 2022-07-06 Nokia Technologies Oy Multimedia content
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
RU2718167C1 (ru) 2017-03-06 2020-03-30 Е Инк Корпорэйшн Способ и устройство для рендеринга цветных изображений
CN116236282A (zh) 2017-05-05 2023-06-09 史赛克欧洲运营有限公司 手术导航系统
US11221823B2 (en) * 2017-05-22 2022-01-11 Samsung Electronics Co., Ltd. System and method for context-based interaction for electronic devices
CN107272202A (zh) * 2017-06-16 2017-10-20 北京灵犀微光科技有限公司 光学装置和波导显示装置
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
CN110998674B (zh) * 2017-08-09 2023-11-24 索尼公司 信息处理装置、信息处理方法和程序
US20190061617A1 (en) * 2017-08-29 2019-02-28 GM Global Technology Operations LLC Audio Control Systems And Methods Based On Driver Helmet Use
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
JP7282090B2 (ja) 2017-12-10 2023-05-26 マジック リープ， インコーポレイテッド 光学導波管上の反射防止性コーティング
US11266849B2 (en) * 2017-12-12 2022-03-08 Eb Neuro S.P.A. Control device and a machine for interactive cerebral and bodily navigation with real-time anatomical display and control functions
US11124136B2 (en) * 2017-12-19 2021-09-21 GM Global Technology Operations LLC Controlling vehicle modules based on media content
KR20200100720A (ko) 2017-12-20 2020-08-26 매직 립, 인코포레이티드 증강 현실 뷰잉 디바이스용 인서트
US10665023B2 (en) * 2017-12-26 2020-05-26 Disney Enterprises, Inc. System and method for providing improved augmented reality content
US11612408B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Determining tissue composition via an ultrasonic system
US11998193B2 (en) 2017-12-28 2024-06-04 Cilag Gmbh International Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation
US11076921B2 (en) 2017-12-28 2021-08-03 Cilag Gmbh International Adaptive control program updates for surgical hubs
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11304763B2 (en) * 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US12062442B2 (en) 2017-12-28 2024-08-13 Cilag Gmbh International Method for operating surgical instrument systems
US12096916B2 (en) 2017-12-28 2024-09-24 Cilag Gmbh International Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub
US20190206569A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of cloud based data analytics for use with the hub
US20190246946A1 (en) * 2018-02-15 2019-08-15 Covidien Lp 3d reconstruction and guidance based on combined endobronchial ultrasound and magnetic tracking
US11417071B1 (en) 2018-02-23 2022-08-16 Red Pacs, Llc Virtual toolkit for radiologists
US11337746B2 (en) 2018-03-08 2022-05-24 Cilag Gmbh International Smart blade and power pulsing
WO2019177711A1 (en) * 2018-03-13 2019-09-19 Intuitive Surgical Operations, Inc. Methods of guiding manual movement of medical systems
US10755676B2 (en) 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
JP7381482B2 (ja) * 2018-03-16 2023-11-15 マジック リープ， インコーポレイテッド ディスプレイシステムのための深度ベースの中心窩化レンダリング
CN110324528A (zh) * 2018-03-28 2019-10-11 富泰华工业（深圳）有限公司 摄像装置、影像处理系统及方法
US10922862B2 (en) * 2018-04-05 2021-02-16 Lenovo (Singapore) Pte. Ltd. Presentation of content on headset display based on one or more condition(s)
US10872470B2 (en) 2018-04-05 2020-12-22 Lenovo (Singapore) Pte. Ltd. Presentation of content at headset display based on other display not being viewable
US10565718B2 (en) * 2018-04-18 2020-02-18 Faro Technologies, Inc. System and method of scanning an environment
US10504290B2 (en) * 2018-05-04 2019-12-10 Facebook Technologies, Llc User interface security in a virtual reality environment
US10916065B2 (en) * 2018-05-04 2021-02-09 Facebook Technologies, Llc Prevention of user interface occlusion in a virtual reality environment
US11885871B2 (en) 2018-05-31 2024-01-30 Magic Leap, Inc. Radar head pose localization
US11422764B1 (en) 2018-06-03 2022-08-23 Epic Optix, Inc. Multi-platform integrated display
US20190377538A1 (en) 2018-06-08 2019-12-12 Curious Company, LLC Information Presentation Through Ambient Sounds
US11989836B2 (en) * 2018-06-12 2024-05-21 Current Lighting Solutions, Llc Integrated management of sensitive controlled environments and items contained therein
WO2019245550A1 (en) * 2018-06-20 2019-12-26 Hewlett-Packard Development Company, L.P. Alerts of mixed reality devices
US11450070B2 (en) 2018-06-20 2022-09-20 Hewlett-Packard Development Company, L.P. Alerts of mixed reality devices
JP7008220B2 (ja) * 2018-06-21 2022-01-25 パナソニックＩｐマネジメント株式会社 映像表示システム、映像表示方法、プログラム、及び移動体
JP7026325B2 (ja) * 2018-06-21 2022-02-28 パナソニックＩｐマネジメント株式会社 映像表示システム、映像表示方法、プログラム、及び移動体
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US10818088B2 (en) 2018-07-10 2020-10-27 Curious Company, LLC Virtual barrier objects
CN112740666A (zh) 2018-07-19 2021-04-30 艾科缇弗外科公司 自动手术机器人视觉系统中多模态感测深度的系统和方法
US10679393B2 (en) 2018-07-24 2020-06-09 Snap Inc. Conditional modification of augmented reality object
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US10991148B2 (en) * 2018-08-13 2021-04-27 Canon Medical Systems Corporation Medical image rendering method and apparatus
US11244509B2 (en) 2018-08-20 2022-02-08 Fisher-Rosemount Systems, Inc. Drift correction for industrial augmented reality applications
JP7487176B2 (ja) 2018-08-22 2024-05-20 マジック リープ， インコーポレイテッド 患者視認システム
AU2019325414A1 (en) * 2018-08-24 2021-03-25 David Byron Douglas A virtual tool kit for radiologists
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
US20200082576A1 (en) * 2018-09-11 2020-03-12 Apple Inc. Method, Device, and System for Delivering Recommendations
US11508127B2 (en) * 2018-11-13 2022-11-22 Disney Enterprises, Inc. Capturing augmented reality on a head mounted display
CN114879840A (zh) * 2018-11-23 2022-08-09 华为技术有限公司 根据眼球焦点控制显示屏的方法和头戴电子设备
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US11055913B2 (en) 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
US10963757B2 (en) 2018-12-14 2021-03-30 Industrial Technology Research Institute Neural network model fusion method and electronic device using the same
CN113330484A (zh) 2018-12-20 2021-08-31 斯纳普公司 虚拟表面修改
CN113454507B (zh) 2018-12-21 2024-05-07 奇跃公司 用于促进波导内的全内反射的气穴结构
US10970935B2 (en) * 2018-12-21 2021-04-06 Curious Company, LLC Body pose message system
US11023769B2 (en) * 2019-01-16 2021-06-01 Lenovo (Singapore) Pte. Ltd. Modifying an image based on identifying a feature
US11031128B2 (en) 2019-01-25 2021-06-08 Fresenius Medical Care Holdings, Inc. Augmented reality-based training and troubleshooting for medical devices
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US11532132B2 (en) * 2019-03-08 2022-12-20 Mubayiwa Cornelious MUSARA Adaptive interactive medical training program with virtual patients
EP3939030A4 (en) 2019-03-12 2022-11-30 Magic Leap, Inc. REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY
US10872584B2 (en) 2019-03-14 2020-12-22 Curious Company, LLC Providing positional information using beacon devices
DE112019007085T5 (de) 2019-03-27 2022-01-20 Intel Corporation Intelligente Anzeigetafeleinrichtung und verwandte Verfahren
US12053333B2 (en) * 2019-04-04 2024-08-06 The Board Of Regents Of The University Of Oklahoma Surgical enhanced visualization system and method of use
US11024096B2 (en) 2019-04-29 2021-06-01 The Board Of Trustees Of The Leland Stanford Junior University 3D-perceptually accurate manual alignment of virtual content with the real world with an augmented reality device
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US11265487B2 (en) * 2019-06-05 2022-03-01 Mediatek Inc. Camera view synthesis on head-mounted display for virtual reality and augmented reality
US10799090B1 (en) * 2019-06-13 2020-10-13 Verb Surgical Inc. Method and system for automatically turning on/off a light source for an endoscope during a surgery
JP2022537092A (ja) 2019-06-23 2022-08-24 ルーマス リミテッド 中心窩光学補正を用いるディスプレイ
US10976816B2 (en) 2019-06-25 2021-04-13 Microsoft Technology Licensing, Llc Using eye tracking to hide virtual reality scene changes in plain sight
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
JP7198950B2 (ja) * 2019-07-12 2023-01-04 ニューラリンク コーポレーション ロボット脳外科手術用の光コヒーレンストモグラフィ
US11022972B2 (en) * 2019-07-31 2021-06-01 Bell Textron Inc. Navigation system with camera assist
US20210065374A1 (en) * 2019-08-26 2021-03-04 Organize Everything Inc. System and method for extracting outlines of physical objects
US11232646B2 (en) 2019-09-06 2022-01-25 Snap Inc. Context-based virtual object rendering
CN114730086B (zh) 2019-10-23 2024-07-05 鲁姆斯有限公司 采用散光光学器件和像差补偿的显示器
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
US12033081B2 (en) 2019-11-14 2024-07-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
EP4058979A4 (en) 2019-11-15 2023-01-11 Magic Leap, Inc. VIEWING SYSTEM FOR USE IN A SURGICAL ENVIRONMENT
WO2021108327A1 (en) * 2019-11-26 2021-06-03 Magic Leap, Inc. Enhanced eye tracking for augmented or virtual reality display systems
US20210161596A1 (en) * 2019-12-02 2021-06-03 SG Devices LLC Augmented reality display of surgical imaging
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11886001B2 (en) * 2019-12-20 2024-01-30 Snap Inc. Optical waveguide fabrication process
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
US11983256B2 (en) * 2019-12-31 2024-05-14 Atlassian Pty Ltd. Illumination-based user authentication
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
CN114746715A (zh) * 2020-01-10 2022-07-12 松下知识产权经营株式会社 三维模型生成方法、信息处理装置及程序
US11789688B1 (en) 2020-03-26 2023-10-17 Apple Inc. Content presentation based on environmental data
EP4135615A4 (en) * 2020-04-17 2024-08-14 Activ Surgical Inc SYSTEMS AND METHODS FOR ENHANCING MEDICAL IMAGES
US11641460B1 (en) 2020-04-27 2023-05-02 Apple Inc. Generating a volumetric representation of a capture region
US11922581B2 (en) 2020-05-08 2024-03-05 Coviden Lp Systems and methods of controlling an operating room display using an augmented reality headset
CN115461700A (zh) * 2020-05-11 2022-12-09 直观外科手术操作公司 用于基于区域的呈现增强内容的系统和方法
US20210390882A1 (en) * 2020-06-16 2021-12-16 Venu Iyengar Blind assist eyewear with geometric hazard detection
CN115803779A (zh) 2020-06-29 2023-03-14 斯纳普公司 分析增强现实内容使用数据
KR20220008118A (ko) * 2020-07-13 2022-01-20 삼성전자주식회사 가상 객체들의 밝기를 다르게 표시하는 방법 및 장치
US11816887B2 (en) * 2020-08-04 2023-11-14 Fisher-Rosemount Systems, Inc. Quick activation techniques for industrial augmented reality applications
CN114114518A (zh) 2020-08-28 2022-03-01 中强光电股份有限公司 光波导、光波导的制作方法以及头戴式显示装置
CN112037340A (zh) * 2020-09-09 2020-12-04 中电建冀交高速公路投资发展有限公司 基于增强现实技术的隧道衬砌病害查看方法及穿戴式设备
JP7484613B2 (ja) * 2020-09-23 2024-05-16 セイコーエプソン株式会社 表示制御装置および表示制御プログラム
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US12095975B2 (en) 2020-12-23 2024-09-17 Meta Platforms Technologies, Llc Reverse pass-through glasses for augmented reality and virtual reality devices
WO2022146169A1 (en) * 2020-12-30 2022-07-07 Ringcentral, Inc., (A Delaware Corporation) System and method for noise cancellation
US11831665B2 (en) 2021-01-04 2023-11-28 Bank Of America Corporation Device for monitoring a simulated environment
WO2022153683A1 (ja) * 2021-01-15 2022-07-21 ソニーセミコンダクタソリューションズ株式会社 画像表示装置及び画像表示方法
TW202229978A (zh) * 2021-01-27 2022-08-01 美商菲絲博克科技有限公司 用於擴增實境和虛擬實境裝置的反向透視眼鏡
US11736679B2 (en) * 2021-01-27 2023-08-22 Meta Platforms Technologies, Llc Reverse pass-through glasses for augmented reality and virtual reality devices
JP2022133176A (ja) * 2021-03-01 2022-09-13 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US11669159B2 (en) 2021-03-22 2023-06-06 Microsoft Technology Licensing, Llc Eye tracker illumination through a waveguide
JP7345866B2 (ja) * 2021-03-23 2023-09-19 国立大学法人 東京大学 情報処理システム、情報処理方法及びプログラム
WO2022235886A1 (en) * 2021-05-07 2022-11-10 Snap Inc. Virtual tastings and guided tours for augmented reality experiences
CN115373064A (zh) 2021-05-20 2022-11-22 中强光电股份有限公司 光波导
US20220374543A1 (en) * 2021-05-24 2022-11-24 Samsung Electronics Co., Ltd. Method and apparatus for removing privacy sensitive objects in an augmented reality system
KR20230007611A (ko) * 2021-07-05 2023-01-13 삼성전자주식회사 시력 측정 및 시력 교정을 제공하는 증강 현실 장치 및 방법
KR102615906B1 (ko) * 2021-07-16 2023-12-21 고려대학교 산학협력단 의료 환경의 가상 현실을 구현하기 위한 전자 장치
US12096112B2 (en) 2021-07-29 2024-09-17 Meta Platforms Technologies, Llc User interface to select field of view of a camera in a smart glass
WO2023009853A1 (en) * 2021-07-29 2023-02-02 Meta Platforms Technologies, Llc User interface to select field of view of a camera in smart glasses
JP7544001B2 (ja) * 2021-08-23 2024-09-03 トヨタ自動車株式会社 遠隔操作装置、遠隔運転システム、遠隔操作方法及び遠隔操作プログラム
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US12114180B2 (en) * 2022-01-24 2024-10-08 Qualcomm Incorporated Wireless communication techniques employing beamforming based on spatial relationship to human tissue
US11741861B1 (en) 2022-02-08 2023-08-29 Lumus Ltd. Optical system including selectively activatable facets
US12005919B2 (en) * 2022-02-22 2024-06-11 Toyota Research Institute, Inc. Varying extended reality content based on risk level of a driving environment
US20230306690A1 (en) * 2022-03-22 2023-09-28 Snap Inc. Situational-risk-based ar display
WO2023205145A1 (en) * 2022-04-18 2023-10-26 Mobeus Industries, Inc. Interactive reality computing experience using multi-layer projections to create an illusion of depth
WO2024145341A1 (en) * 2022-12-29 2024-07-04 Intuitive Surgical Operations, Inc. Systems and methods for generating 3d navigation interfaces for medical procedures
NL2034292B1 (en) * 2023-03-08 2024-09-20 Angstone B V See-through device and method for enhanced visual perception

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102566756A (zh) * 2010-12-16 2012-07-11 微软公司 用于扩展现实显示的基于理解力和意图的内容
WO2015077766A1 (en) * 2013-11-25 2015-05-28 Pcms Holdings, Inc. Systems and methods for providing augmenting reality information associated with signage
CN104919398A (zh) * 2013-01-12 2015-09-16 微软公司 可佩戴的基于行为的视觉系统
CN105009598A (zh) * 2013-03-15 2015-10-28 索尼公司 获取观看者观看内容时的兴趣的设备
CN105283834A (zh) * 2013-03-15 2016-01-27 埃尔瓦有限公司 增强现实系统中的临时要素恢复
WO2016056162A1 (en) * 2014-10-06 2016-04-14 Toyota Jidosha Kabushiki Kaisha Safety system for augmenting roadway objects on a heads-up display
WO2016056227A1 (ja) * 2014-10-10 2016-04-14 株式会社デンソー 表示制御装置、表示システム
US20160131912A1 (en) * 2014-01-21 2016-05-12 Osterhout Group, Inc. See-through computer display systems

Family Cites Families (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
JP3058004B2 (ja) * 1994-03-23 2000-07-04 キヤノン株式会社 目視制御画像表示装置
US5913079A (en) * 1995-07-31 1999-06-15 Canon Kabushiki Kaisha Optical apparatus having a line of sight detection device
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
JP3492942B2 (ja) * 1999-06-30 2004-02-03 株式会社東芝 装着型情報呈示装置および方法および記憶媒体
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
JP5904690B2 (ja) 2003-06-30 2016-04-20 イー インク コーポレイション 電気光学ディスプレイを駆動するための方法
DE10331592A1 (de) * 2003-07-08 2005-02-03 Carl Zeiss Meditec Ag Augenuntersuchungsgerät
JP4281462B2 (ja) * 2003-08-08 2009-06-17 日産自動車株式会社 車両用表示装置
US8778022B2 (en) 2004-11-02 2014-07-15 E-Vision Smart Optics Inc. Electro-active intraocular lenses
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
JP5036177B2 (ja) 2005-12-12 2012-09-26 オリンパス株式会社 情報表示装置
US20070248261A1 (en) * 2005-12-31 2007-10-25 Bracco Imaging, S.P.A. Systems and methods for collaborative interactive visualization of 3D data sets over a network ("DextroNet")
JP5228307B2 (ja) 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
JP2009288529A (ja) * 2008-05-29 2009-12-10 Keio Gijuku 視野領域抽出装置、映像表示装置、視野領域抽出方法、映像表示方法、視野領域抽出プログラム、及び映像表示プログラム
BRPI0822707A2 (pt) 2008-07-11 2015-07-07 Tele Atlas Bv Aparelho para e método de visor de visão de entrocamento
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
US8482562B2 (en) * 2009-12-03 2013-07-09 International Business Machines Corporation Vision-based computer control
US8847972B2 (en) * 2010-01-20 2014-09-30 Intellectual Ventures Fund 83 Llc Adapting display color for low luminance conditions
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
EP2383695A1 (en) * 2010-04-28 2011-11-02 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Apparent display resolution enhancement for moving images
US9557812B2 (en) * 2010-07-23 2017-01-31 Gregory A. Maltz Eye gaze user interface and calibration method
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
CA2822978C (en) 2010-12-24 2019-02-19 Hong Hua An ergonomic head mounted display device and optical system
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
DE102011015136A1 (de) * 2011-03-25 2012-09-27 Institut für Rundfunktechnik GmbH Vorrichtung und Verfahren zum Bestimmen einer Darstellung digitaler Objekte in einem dreidimensionalen Darstellungsraum
JP6316186B2 (ja) 2011-05-06 2018-04-25 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 広範囲同時遠隔ディジタル提示世界
US8223088B1 (en) 2011-06-09 2012-07-17 Google Inc. Multimode input field for a head-mounted display
US8988474B2 (en) * 2011-07-18 2015-03-24 Microsoft Technology Licensing, Llc Wide field-of-view virtual image projector
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US10795448B2 (en) 2011-09-29 2020-10-06 Magic Leap, Inc. Tactile glove for human-computer interaction
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
RU2017115669A (ru) 2011-10-28 2019-01-28 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
KR102116697B1 (ko) 2011-11-23 2020-05-29 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
WO2013085193A1 (ko) * 2011-12-06 2013-06-13 경북대학교 산학협력단 사용자 인지 향상 장치 및 그 인지 향상 방법
US9096920B1 (en) 2012-03-22 2015-08-04 Google Inc. User interface method
KR102028732B1 (ko) 2012-04-05 2019-10-04 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
US20130300634A1 (en) 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for determining representations of displayed information based on focus distance
EP2847648A4 (en) 2012-05-09 2016-03-02 Intel Corp EYE PERSONALIZED SELECTIVE STRESSING OF PARTS OF AN INDICATION
US9210413B2 (en) 2012-05-15 2015-12-08 Imagine Mobile Augmented Reality Ltd System worn by a moving user for fully augmenting reality by anchoring virtual objects
US10502876B2 (en) * 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US9310559B2 (en) 2012-06-11 2016-04-12 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9219901B2 (en) * 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
AU2013315607A1 (en) 2012-09-11 2015-04-02 Magic Leap, Inc Ergonomic head mounted display device and optical system
JP6040715B2 (ja) 2012-11-06 2016-12-07 ソニー株式会社 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US9247779B1 (en) * 2012-11-08 2016-02-02 Peter Aloumanis Enhanced global positioning system (GPS) based functionality for helmets
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US9812046B2 (en) * 2013-01-10 2017-11-07 Microsoft Technology Licensing, Llc Mixed reality display accommodation
IL293789B2 (en) 2013-01-15 2023-08-01 Magic Leap Inc A system for scanning electromagnetic imaging radiation
JP6375591B2 (ja) * 2013-01-15 2018-08-22 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
US9699433B2 (en) 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
GB201301958D0 (en) * 2013-02-04 2013-03-20 Polyphotonix Ltd Medical apparatus,system and method
US9030103B2 (en) 2013-02-08 2015-05-12 Cree, Inc. Solid state light emitting devices including adjustable scotopic / photopic ratio
CN105188516B (zh) 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
KR102458124B1 (ko) 2013-03-15 2022-10-21 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US9245388B2 (en) 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US9965062B2 (en) 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
GB2517143A (en) * 2013-08-07 2015-02-18 Nokia Corp Apparatus, method, computer program and system for a near eye display
KR102165444B1 (ko) 2013-08-28 2020-10-14 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
IL302408B2 (en) 2013-10-16 2024-09-01 Magic Leap Inc An augmented or virtual reality head device with intrapupillary distance adjustment
CN110542938B (zh) * 2013-11-27 2023-04-18 奇跃公司 虚拟和增强现实系统与方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
TWI516804B (zh) * 2014-01-02 2016-01-11 廣達電腦股份有限公司 頭戴式顯示裝置及其背光調整方法
US9651784B2 (en) * 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
CN106461955B (zh) 2014-01-31 2019-08-13 奇跃公司 显示增强现实的方法
NZ722903A (en) 2014-01-31 2020-05-29 Magic Leap Inc Multi-focal display system and method
US9639968B2 (en) * 2014-02-18 2017-05-02 Harman International Industries, Inc. Generating an augmented view of a location of interest
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
WO2015161307A1 (en) 2014-04-18 2015-10-22 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US20150317956A1 (en) * 2014-04-30 2015-11-05 International Business Machines Corporation Head mounted display utilizing compressed imagery in the visual periphery
WO2016018488A2 (en) 2014-05-09 2016-02-04 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification
CN113253476B (zh) 2014-05-30 2022-12-27 奇跃公司 采用虚拟或增强现实装置生成虚拟内容显示的方法和系统
CN107077013B (zh) * 2014-10-21 2020-07-03 飞利浦灯具控股公司 用于发光分布的不用手配置的系统、方法和计算机程序产品
US20160131905A1 (en) 2014-11-07 2016-05-12 Kabushiki Kaisha Toshiba Electronic apparatus, method and storage medium
US10121063B2 (en) * 2015-01-12 2018-11-06 BMT Business Meets Technology Holding AG Wink gesture based control system
NZ773826A (en) 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
US10241350B1 (en) * 2015-07-06 2019-03-26 Peter Davis Poulsen Mapping a central visual field onto a peripheral visual sensor
AU2016341196B2 (en) 2015-10-20 2021-09-16 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
WO2017131770A1 (en) * 2016-01-29 2017-08-03 Hewlett-Packard Development Company, L.P Viewing device adjustment based on eye accommodation in relation to a display
CN115177208A (zh) 2016-05-09 2022-10-14 奇跃公司 用于用户健康分析的增强现实系统和方法
US20170353714A1 (en) * 2016-06-06 2017-12-07 Navid Poulad Self-calibrating display system
JP7385993B2 (ja) 2016-06-20 2023-11-24 マジック リープ， インコーポレイテッド 視覚的処理および知覚の疾患を含む神経学的疾患の評価および修正のための拡張現実ディスプレイシステム
KR20230133940A (ko) 2016-07-25 2023-09-19 매직 립, 인코포레이티드 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화
CN109788901B (zh) 2016-07-25 2024-01-02 奇跃公司 光场处理器系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102566756A (zh) * 2010-12-16 2012-07-11 微软公司 用于扩展现实显示的基于理解力和意图的内容
CN104919398A (zh) * 2013-01-12 2015-09-16 微软公司 可佩戴的基于行为的视觉系统
CN105009598A (zh) * 2013-03-15 2015-10-28 索尼公司 获取观看者观看内容时的兴趣的设备
CN105283834A (zh) * 2013-03-15 2016-01-27 埃尔瓦有限公司 增强现实系统中的临时要素恢复
WO2015077766A1 (en) * 2013-11-25 2015-05-28 Pcms Holdings, Inc. Systems and methods for providing augmenting reality information associated with signage
US20160131912A1 (en) * 2014-01-21 2016-05-12 Osterhout Group, Inc. See-through computer display systems
WO2016056162A1 (en) * 2014-10-06 2016-04-14 Toyota Jidosha Kabushiki Kaisha Safety system for augmenting roadway objects on a heads-up display
WO2016056227A1 (ja) * 2014-10-10 2016-04-14 株式会社デンソー 表示制御装置、表示システム

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110376737A (zh) * 2019-05-28 2019-10-25 京东方科技集团股份有限公司 光学显示系统、显示控制装置和增强现实设备
CN110376737B (zh) * 2019-05-28 2022-09-30 京东方科技集团股份有限公司 光学显示系统、显示控制装置和增强现实设备
CN110457990A (zh) * 2019-06-19 2019-11-15 特斯联（北京）科技有限公司 一种机器学习的安防监控视频遮挡智能填补方法与系统
CN110364096B (zh) * 2019-08-12 2024-04-05 张枫 一种体三维显示装置
CN110364096A (zh) * 2019-08-12 2019-10-22 张枫 一种体三维显示装置
CN112509040A (zh) * 2019-08-26 2021-03-16 苹果公司 对提供镜面反射和反射修改的表面进行基于图像的检测
WO2021081845A1 (zh) * 2019-10-30 2021-05-06 未艾医疗技术(深圳)有限公司 一种基于vrds ai的肝脏肿瘤和血管分析方法及相关产品
CN110930811B (zh) * 2019-11-11 2020-10-16 北京交通大学 一种适用于无人驾驶决策学习和训练的系统
CN110930811A (zh) * 2019-11-11 2020-03-27 北京交通大学 一种适用于无人驾驶决策学习和训练的系统
CN110989203A (zh) * 2019-11-28 2020-04-10 四川泛华航空仪表电器有限公司 一种360度视野的眼镜及其使用方法
CN113768620A (zh) * 2020-06-09 2021-12-10 格罗伯斯医疗有限公司 用于手术期间的计算机辅助导航的摄像机跟踪系统的摄像机跟踪杆
CN111831118A (zh) * 2020-07-10 2020-10-27 清华大学 一种基于增强现实的三维脑电显示方法及其显示系统
CN111831118B (zh) * 2020-07-10 2022-12-30 清华大学 一种基于增强现实的三维脑电显示方法及其显示系统
TWI756944B (zh) * 2020-11-27 2022-03-01 國立臺北科技大學 融合混增實境及虛擬實境之教學系統及其方法
TWI794715B (zh) * 2020-12-22 2023-03-01 大陸商鴻富成精密電子(成都)有限公司 基於混合現實的培訓方法、電子設備及存儲介質
CN114721497A (zh) * 2020-12-22 2022-07-08 鸿富成精密电子(成都)有限公司 基于混合现实的培训方法、电子设备及存储介质
CN112734939A (zh) * 2021-03-23 2021-04-30 济南浪潮高新科技投资发展有限公司 基于ar可穿戴设备和视觉拥挤神经机制的优化显示方法
CN113297723A (zh) * 2021-04-22 2021-08-24 哈尔滨理工大学 基于均值漂移-灰色关联分析的电主轴温度测点优化方法
CN113297789B (zh) * 2021-05-17 2024-03-19 南京大学 一种基于机器学习的声涡旋分束器设计方法
CN113297789A (zh) * 2021-05-17 2021-08-24 南京大学 一种基于机器学习的声涡旋分束器设计方法
US12014465B2 (en) 2022-01-06 2024-06-18 Htc Corporation Tracking system and method
CN117541471A (zh) * 2023-11-09 2024-02-09 西安电子科技大学 基于sph启发的pg-spect图像超分辨重建方法
CN117541471B (zh) * 2023-11-09 2024-06-07 西安电子科技大学 基于sph启发的pg-spect图像超分辨重建方法

Also Published As

Publication number Publication date
US20220107502A1 (en) 2022-04-07
JP2019533824A (ja) 2019-11-21
IL292427A (en) 2022-06-01
US11327312B2 (en) 2022-05-10
EP4345831A3 (en) 2024-04-24
JP2022087104A (ja) 2022-06-09
KR20190027930A (ko) 2019-03-15
IL298851B2 (en) 2023-12-01
NZ750172A (en) 2023-08-25
KR20230133940A (ko) 2023-09-19
AU2023214273B2 (en) 2024-09-12
JP2023126317A (ja) 2023-09-07
KR102577634B1 (ko) 2023-09-11
KR102461953B1 (ko) 2022-10-31
US20190011703A1 (en) 2019-01-10
IL298851A (en) 2023-02-01
IL264350B (en) 2022-06-01
AU2022252723A1 (en) 2022-11-03
EP3488283A4 (en) 2020-04-08
CA3031771A1 (en) 2018-02-01
US20240053612A1 (en) 2024-02-15
IL264350A (en) 2019-02-28
EP3488283B1 (en) 2024-02-14
AU2023214273A1 (en) 2023-08-31
AU2017301435A1 (en) 2019-02-07
KR20220149632A (ko) 2022-11-08
US11808943B2 (en) 2023-11-07
US20200183171A1 (en) 2020-06-11
IL292427B2 (en) 2023-05-01
EP3488283A1 (en) 2019-05-29
WO2018022523A1 (en) 2018-02-01
EP4345831A2 (en) 2024-04-03
JP7182538B2 (ja) 2022-12-02
IL298851B1 (en) 2023-08-01
US10838210B2 (en) 2020-11-17
IL292427B1 (en) 2023-01-01
IL304145A (en) 2023-09-01
AU2022252723B2 (en) 2023-08-24
AU2017301435B2 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
CN109791295A (zh) 使用增强和虚拟现实眼镜的成像修改、显示和可视化
US20200197098A1 (en) Enhanced reality medical guidance systems and methods of use
CN106909771B (zh) 用于输出增强现实信息的方法和系统
EP2671114B1 (en) Imaging system and method for imaging and displaying an operator's work-site
US20220008141A1 (en) Enhanced reality medical guidance systems and methods of use
CN109788901A (zh) 光场处理器系统
CN107847289A (zh) 现实增强的形态学手术
Sahu et al. IoT-driven augmented reality and virtual reality systems in neurological sciences
JP2024155937A (ja) 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化
Mak Brain Mechanisms of Attention and Motor Deficits after Stroke
Hedger et al. Vicarious Somatotopic Maps Tile Visual Cortex
Aragão et al. Temporal sampling in the perception of biological motion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination