CN109414164A - 用于用户健康分析的增强现实系统和方法 - Google Patents

用于用户健康分析的增强现实系统和方法 Download PDF

Info

Publication number
CN109414164A
CN109414164A CN201780042528.7A CN201780042528A CN109414164A CN 109414164 A CN109414164 A CN 109414164A CN 201780042528 A CN201780042528 A CN 201780042528A CN 109414164 A CN109414164 A CN 109414164A
Authority
CN
China
Prior art keywords
user
data
display system
sensor
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780042528.7A
Other languages
English (en)
Other versions
CN109414164B (zh
Inventor
N·E·萨梅茨
M·拜伦洛特
N·U·罗柏纳
C·D·W·维克斯
C·M·哈利西斯
N·克拉默尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202210652539.XA priority Critical patent/CN115177208A/zh
Publication of CN109414164A publication Critical patent/CN109414164A/zh
Application granted granted Critical
Publication of CN109414164B publication Critical patent/CN109414164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/02—Stethoscopes
    • A61B7/04—Electric stethoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/103—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining refraction, e.g. refractometers, skiascopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14532—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring glucose, e.g. by tissue impedance measurement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/082—Evaluation by breath analysis, e.g. determination of the chemical composition of exhaled breath
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G02B2027/0125—Field-of-view increase by wavefront division
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0075—Arrangements of multiple light guides
    • G02B6/0076—Stacked arrangements of multiple light guides of the same or different cross-sectional area
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0081—Mechanical or electrical aspects of the light guide and light source in the lighting device peculiar to the adaptation to planar light guides, e.g. concerning packaging
    • G02B6/0086—Positioning aspects
    • G02B6/009—Positioning aspects of the light source in the package

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Pulmonology (AREA)
  • Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Emergency Medicine (AREA)
  • Multimedia (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Vascular Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)

Abstract

用于用户健康分析的增强现实系统和方法。用于用户健康分析的方法可以包括收集用于初始预测模型的数据并基于一个或多个数据标准继续收集附加数据。该方法还可以包括基于附加数据更新初始预测模型以产生修订的预测模型或者基于附加数据导致干预发生。数据可以由显示系统收集，该显示系统包括被配置为收集用户特定的数据的一个或多个传感器和被配置为向用户呈现虚拟内容的显示装置。显示装置可以被配置为以可变波前发散输出光。

Description

用于用户健康分析的增强现实系统和方法
优先权声明
本申请要求2016年5月9日提交的美国临时申请No.62/333,734、2016年7月25日提交的美国临时申请No.62/366,576、以及2016年12月29日提交的美国临时申请No.62/440,348依据35U.S.C.§119(e)的优先权。这些优先权文件中的每一个的全部公开内容通过引用并入本文。
相关申请的交叉引用
本申请通过引用整体并入以下专利申请中的每一个：2014年11月27日提交的美国申请No.14/555,585；2015年7月23日公布作为美国公开No.2015/0205126；2015年4月18日提交的美国申请No.14/690,401，其于2015年10月22日公布作为美国公开No.2015/0302652；2014年3月14日提交的美国申请No.14/212,961，其现在作为2016年8月16日发布的美国专利No.9,417,452；2014年7月14日提交的美国申请No.14/331,218，其于2015年10月29日公布作为美国公开No.2015/0309263；2016年3月16日提交的美国申请No.15/072,290，其于2016年9月22日公布作为美国公开No.2016/0270656；以及2017年3月24日提交的美国申请No.15/469,369。
技术领域
本公开涉及显示系统，并且更特别地，涉及增强现实显示系统。
背景技术
现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的发展，其中数字再现的图像或其部分以其看起来是真实的或者可被感知为真实的方式呈现给用户。虚拟现实(或者“VR”)场景通常涉及数字或虚拟图像信息的呈现，而对于其它实际的真实世界的视觉输入不透明；增强现实(或者“AR”)场景通常涉及数字或虚拟图像信息的呈现作为对用户周围的实际世界的可视化的增强。混合现实(或者“MR”)场景是一种AR场景并且通常涉及集成到自然世界中并响应于自然世界的虚拟对象。例如，在MR场景中，AR图像内容可以被真实世界中的对象阻挡或者被感知为与对象交互。
参考图1，示出了增强场景10，其中AR技术的用户看到以人、树木、背景中的建筑物和混凝土平台30为特征的真实世界公园状设置20。除了这些项目之外，AR技术的用户同样感知到他“看到”诸如站在真实世界平台30上的机器人雕像40以及飞过的卡通式化身角色50的“虚拟内容”，该化身角色看起来是大黄蜂的化身，即使这些元素40、50在真实世界中不存在。因为人类的视觉感知系统是复杂的，因此产生有助于连同其它虚拟或真实世界的图像元素一起的虚拟图像元素的舒适、自然、丰富呈现的AR技术是具有挑战性的。
本文公开的系统和方法解决了与AR和VR技术相关的各种挑战。
发明内容
在一些实施例中，显示系统包括：显示装置，其被配置为向用户呈现虚拟内容；一个或多个传感器，其附到显示装置并且被配置为收集用户特定的数据；一个或多个处理器；以及一个或多个计算机存储介质。显示装置被配置为以可变波前发散(divergence)输出光。该一个或多个计算机存储介质存储指令，该指令在由系统执行时使得系统执行操作，该操作包括从一个或多个传感器收集数据、将该数据应用于初始预测模型、继续从一个或多个传感器收集附加的数据、以及基于附加数据更新初始预测模型以产生修订的预测模型。
在一些其他实施例中，进行用户健康分析的方法包括从被配置为以可变波前发散输出光的增强现实显示装置中的一个或多个传感器收集数据、将该数据应用于初始预测模型、继续从一个或多个传感器收集附加的数据、以及基于附加数据更新初始预测模型以产生修订的预测模型。
在其他实施例中，显示系统包括：显示装置，其被配置为向用户呈现虚拟内容；一个或多个传感器，其附到显示装置并且被配置为收集用户特定的数据；一个或多个处理器；以及一个或多个计算机存储介质。显示装置被配置为以可变波前发散输出光。该一个或多个计算机存储介质存储指令，该指令在由系统执行时使得系统执行操作，该操作包括从一个或多个传感器收集数据、将该数据应用于初始预测模型、继续从一个或多个传感器收集附加的数据、以及基于附加数据导致干预发生。
在一些其他实施例中，进行用户健康分析的方法包括从被配置为以可变波前发散输出光的增强现实显示装置中的一个或多个传感器收集数据、将该数据应用于初始预测模型、继续从一个或多个传感器收集附加的数据、以及基于附加数据导致干预发生。
在其他实施例中，显示系统包括头戴式显示器，该头戴式显示器被配置为将光投射到用户以在多个深度平面上显示增强现实图像内容。显示器包括被配置为将光投射到用户的一个或多个波导。该一个或多个波导还被配置为将光从周围环境传输到用户。该系统还包括一个或多个传感器，其被配置为在用户佩戴显示器的同时在3小时或更长时间内连续收集用户的用户特定的数据。
在一些其他实施例中，显示系统包括头戴式显示器，该头戴式显示器被配置为将光投射到用户以在多个深度平面上显示增强现实图像内容。显示器包括被配置为将光投射到用户的一个或多个波导。该一个或多个波导还被配置为将光从周围环境传输到用户。显示系统还包括被配置为检测环境数据的一个或多个环境传感器和/或被配置为在用户佩戴显示器的同时在超过3小时的时间内连续收集用户的用户特定的数据的一个或多个用户传感器。显示系统被配置为将环境数据与用户特定的数据相关联。
在其他实施例中，显示系统包括头戴式显示器，该头戴式显示器被配置为将光投射到用户以在多个深度平面上显示图像内容。显示器包括被配置为将光投射到用户的一个或多个波导。该一个或多个波导被配置为依赖于由光形成的图像内容的深度平面以不同的发散量投射光。显示系统还包括一个或多个传感器，其被配置为在3小时或更长时间内连续收集用户的用户特定的数据。显示系统被配置为基于用户特定的数据进行用户的分析。
在一些其他实施例中，显示系统包括头戴式显示器，该头戴式显示器被配置为将光投射到用户以在多个深度平面上显示图像内容。显示器包括一个或多个波导，其被配置为将光投射到用户。一个或多个波导被配置为将光从周围环境传输到用户。显示系统还包括被配置为检测环境数据的一个或多个环境传感器和被配置为收集用户的用户特定的数据的一个或多个传感器。显示系统被配置为向用户管理(administer)治疗，并且还被配置为基于环境或用户特定的数据来管理或修改治疗。
在其他实施例中，显示系统包括头戴式显示器，该头戴式显示器被配置为将光投射到用户以在多个深度平面上显示图像内容。显示系统包括一个或多个波导，其被配置为将光投射到用户。一个或多个波导被配置为将光从周围环境传输到用户。显示系统还包括被配置为检测环境数据的一个或多个环境传感器和被配置在3小时或更长的时间内连续收集用户的用户特定的数据的一个或多个用户佩戴的传感器。此外，显示系统被配置为与其他显示系统共享用户佩戴和/或环境数据中的一个或两个。
在一些其他实施例中，显示系统包括头戴式显示器，该头戴式显示器被配置为将光投射到用户以在多个深度平面上显示图像内容。显示系统包括一个或多个波导，其被配置为将光投射到用户。一个或多个波导被配置为将光从周围环境传输到用户。显示系统被配置为以不匹配的适应-聚散(accommodation-vergence)关系向用户提供视觉内容。
在其他实施例中，显示系统包括头戴式显示器，该头戴式显示器被配置为将光投射到用户以在多个深度平面上显示图像内容。显示系统包括一个或多个波导，其被配置为将光投射到用户。一个或多个波导被配置为将光从周围环境传输到用户。显示系统还包括例如麦克风或压力传感器的环境传感器，其被配置为检测从周围环境反射的声音。另外，显示系统被配置为使用环境传感器进行回声定位，以确定周围环境中对象的尺寸和距离中的一个或两个。在一些实施例中，显示系统还可包括环境传感器以检测周围环境中的光，例如成像装置。
在一些实施例中，显示系统包括头戴式显示器，该头戴式显示器被配置为将光投射到用户以在多个深度平面上显示增强现实图像内容。显示器包括一个或多个波导，其被配置为将光投射到用户。一个或多个波导还被配置为将光从周围环境传输到用户。该系统还包括传感器，该传感器被配置为在用户佩戴显示器时收集用户的多组用户特定的数据。显示系统被配置为对分析中的每一者使用不同的收集到的用户特定的数据的组来进行多个用户分析。
在一些其他实施例中，显示系统包括头戴式显示器，该头戴式显示器被配置为将光投射到用户以在多个深度平面上显示增强现实图像内容。显示器包括一个或多个波导，其被配置为将光投射到用户。一个或多个波导还被配置为将光从周围环境传输到用户。显示系统还包括被配置为检测环境数据的一个或多个环境传感器和/或被配置为在用户佩戴显示器的同时收集用户的多组用户特定的数据的一个或多个用户传感器。显示系统被配置为将环境数据与用户特定的数据相关联。
在其他实施例中，显示系统包括头戴式显示器，该头戴式显示器被配置为将光投射到用户以在多个深度平面上显示图像内容。显示器包括一个或多个波导，其被配置为将光投射到用户。一个或多个波导被配置为依赖于由光形成的图像内容的深度平面以不同的发散量投射光。显示系统还包括一个或多个传感器，其被配置为收集用户的多组用户特定的数据。显示系统被配置对分析中的每一者使用不同的收集到的用户特定的数据的组来进行多个用户分析。
在一些其他实施例中，显示系统包括头戴式显示器，该头戴式显示器被配置为将光投射到用户以在多个深度平面上显示图像内容。显示器包括一个或多个波导，其被配置为将光投射到用户。一个或多个波导被配置为将光从周围环境传输到用户。显示系统还包括被配置为检测环境数据的一个或多个环境传感器和/或被配置为收集用户的用户特定的数据的一个或多个传感器。显示系统被配置为向用户管理治疗，并且还被配置为基于环境和用户特定的数据之间的相关性来管理或修改治疗。
在其他实施例中，显示系统包括头戴式显示器，该头戴式显示器被配置为将光投射到用户以在多个深度平面上显示图像内容。显示系统包括一个或多个波导，其被配置为将光投射到用户。一个或多个波导被配置为将光从周围环境传输到用户。显示系统还包括被配置为检测环境数据的一个或多个环境传感器和/或被配置为收集用户的用户特定的数据的一个或多个用户佩戴的传感器。此外，显示系统被配置为与其他显示系统共享用户特定和环境数据中的一个或两个。
以下提供另外的示例实施例。
1.一种显示系统，包括：
头戴式显示器，其被配置为将光投射到用户以在多个深度平面上显示增强现实图像内容，所述显示器包括：
一个或多个波导，其被配置为将光投射到用户，其中一个或多个波导还被配置为将光从周围环境传输到用户；以及
至少一个传感器，其被配置为在用户佩戴显示器的同时在3小时或更长时间内连续收集用户的用户特定的数据。
2.根据实施例1所述的显示系统，其中显示系统被配置为基于用户特定的数据进行用户的分析。
3.根据实施例2所述的显示系统，其中所述分析是诊断健康分析。
4.根据实施例2所述的显示系统，其中所述分析与用于干预的适应相关联。
5.根据实施例1所述的显示系统，其中显示系统被配置为基于用户特定的数据进行用户的分析
6.根据实施例1所述的显示系统，其中传感器被配置为在5小时或更长时间内收集用户特定的数据。
7.根据实施例1所述的显示系统，其中传感器被配置为持续多天每天多次收集用户特定的数据。
8.根据实施例1所述的显示系统，其中显示系统被配置为在分析期间使边远(outlying)的用户特定的数据点打折(discount)。
9.根据实施例1所述的显示系统，其中传感器是被配置为对用户成像的成像装置。
10.根据实施例9所述的显示系统，其中所述成像装置被配置为对用户的眼睛和眼睛周围的特征中的一个或多个成像。
11.根据实施例1所述的显示系统，其中所述显示系统被配置为通过以下方式进行健康分析：
向用户提供增强现实内容；以及
收集响应于所传递的增强现实内容的用户特定的数据。
12.根据实施例11所述的显示系统，其中增强现实内容是在头戴式显示器上显示的增强现实图像内容。
13.根据实施例11所述的显示系统，其中增强现实内容包括声音。
14.根据实施例11所述的显示系统，还包括分析收集到的用户特定的数据，以确定用户特定的数据与显示增强现实图像内容之间的相关性。
15.根据实施例1所述的显示系统，其中传感器和显示器连接到公共框架，该显示系统还包括连接到框架的一个或多个附加传感器，其中该一个或多个附加传感器被配置为在3小时或更长时间内连续地收集用户的附加的用户特定的数据，其中显示系统被配置为使用户特定的数据和附加的用户特定的数据相关联。
16.根据实施例1所述的显示系统，其中所述传感器选自由以下方面构成的组：眼睛跟踪装置、电子诊断装置、血压传感器、血糖仪、温度传感器、加速度计、心率监视器、相机和麦克风。
17.根据实施例1所述的显示系统，其中还包括本地处理器和数据模块，其中所述传感器被配置为与本地处理器和数据模块无线通信。
18.根据实施例1所述的显示系统，其中所述显示器包括波导堆叠，所述波导堆叠包括多个波导。
19.根据实施例1所述的显示系统，其中显示系统包括多个传感器。
20.根据实施例1所述的显示系统，其中所述显示系统被配置为对用户进行健康分析，其中所述健康分析包括以下中的一个或多个：
评估用户的神经系统的功能；
确定用户的精神状态；
检测精神或神经疾病的生理或行为表现；
检测情绪；以及
评估用户的感觉功能。
21.一种显示系统，包括：
头戴式显示器，其被配置为将光投射到用户以在多个深度平面上显示增强现实图像内容，该显示器包括：
一个或多个波导，其被配置为将光投射到用户，
其中所述一个或多个波导还被配置为将光从周围环境传输给用户；
环境传感器，其配置为检测环境数据；以及
用户传感器，其被配置为在用户佩戴显示器的同时在3小时或更长时间内连续收集用户的用户特定的数据，
其中显示系统被配置为将环境数据与用户特定的数据相关联。
22.根据实施例21所述的显示系统，其中所述显示系统被配置为基于用户特定的数据进行用户的分析，其中将环境数据与用户特定的数据相关联包括将分析的结果与用户特定的数据相关联。
23.根据实施例21所述的显示系统，其中用户特定的数据包括表征用户行为的行为信息。
24.根据实施例21所述的显示系统，其中行为信息包括用户的运动和用户的面部表情中的一个或多个。
25.根据实施例21所述的显示系统，其中显示系统被配置为分析数据并显示包括关于周围环境的信息的增强现实图像内容。
26.根据实施例21所述的显示系统，其中头戴式显示器被配置为向用户呈现增强现实内容，其中环境数据包括关于增强现实内容的信息。
27.一种显示系统，包括：
头戴式显示器，被配置为将光投射到用户以在多个深度平面上显示图像内容，该显示器包括：
一个或多个波导，其被配置为将光投射到用户，
其中，一个或多个波导被配置为依赖于由所述光形成的图像内容的深度平面以不同的发散量投射光；以及
传感器，其配置为在3小时或更长时间内连续收集用户的用户特定的数据，
其中显示系统被配置为基于用户特定的数据进行用户的分析。
28.根据实施例27所述的显示系统，其中传感器和显示器连接到公共框架，所述显示系统还包括连接到框架的一个或多个附加传感器，其中该一个或多个附加传感器被配置为在3小时或更长时间内连续地收集用户的附加的用户特定的数据，其中该分析包括用户特定的数据和附加的用户特定的数据相关联。
29.一种显示系统，包括：
头戴式显示器，其被配置为将光投射到用户以在多个深度平面上显示图像内容，该显示器包括：
一个或多个波导，其被配置为将光投射到用户，
其中，所述一个或多个波导被配置为将光从周围环境传输给用户；
环境传感器，其被配置为检测环境数据；以及
传感器，其被配置为收集用户的用户特定的数据，
其中显示系统被配置为向用户管理治疗，并且其中显示系统还被配置为基于环境或用户特定的数据来管理或修改治疗。
30.根据实施例29所述的显示系统，其中所述治疗包括被配置为治疗一种或多种精神、行为和/或神经疾病的视觉内容。
31.根据实施例29所述的显示系统，其中显示系统被配置为响应于检测到佩戴者经历的医学迹象(sign)或症状而向用户管理治疗。
32.根据实施例29所述的显示系统，其中显示系统被配置为基于超过或保持低于预定阈值水平的用户特定的数据来修改治疗。
33.一种显示系统，包括：
头戴式显示器，其被配置为将光投射到用户以在多个深度平面上显示图像内容，该显示器包括：
一个或多个波导，其被配置为将光投射到用户，
其中所述一个或多个波导被配置为将光从周围环境传输给用户；
环境传感器，其被配置为检测环境数据；以及
用户佩戴的传感器，其被配置为在3小时或更长时间内连续收集用户的用户特定的数据，
其中显示系统被配置为与其他显示系统共享用户特定的和环境数据中的一个或两个。
34.根据实施例33所述的显示系统，还包括无线通信电路，其被配置为在由不同用户佩戴的显示系统之间传输和接收环境数据和用户特定的数据。
35.根据实施例33所述的显示系统，其中显示系统被配置为当检测到异常环境或用户特定的数据时发送环境或用户特定的数据。
36.根据实施例33所述的显示系统，其中显示系统被配置为在由不同用户佩戴的显示系统之间传输环境数据和用户特定的数据。
37.根据实施例33所述的显示系统，其中所述显示系统还被配置为接收从至少一个其他系统发送的环境或用户特定的数据，并将所接收的环境或用户特定的数据与使用环境传感器检测到的环境数据或使用用户佩戴的传感器检测到的用户特定的数据进行比较。
38.根据实施例37所述的显示系统，其中所述至少一个其他系统包括另一显示系统。
39.根据实施例33所述的显示系统，包括：
处理电路，其被配置为接收环境数据和从其他显示系统传输的用户特定的数据，
其中，处理电路还被配置为基于位置数据和所接收的环境数据或所接收的用户特定的数据中的至少一个来检测物理邻近的多个显示装置佩戴者中的类似的生理、行为或环境异常的发生。
40.根据实施例33所述的显示系统，其中所述不同用户中的至少一个是临床医生，并且其中由临床医生佩戴的显示系统被配置为向临床医生显示增强现实内容以用于诊断、监测或治疗不同的用户。
41.一种显示系统，包括：
头戴式显示器，其被配置为将光投射到用户以在多个深度平面上显示图像内容，该显示器包括：
一个或多个波导，其被配置为将光投射到用户，
其中所述一个或多个波导被配置为将光从周围环境传输给用户；
其中显示系统被配置为：
以不匹配的适应-聚散关系向用户提供视觉内容。
42.根据实施例41所述的显示系统，还包括：
环境传感器，其配置为检测环境数据；以及
用户佩戴的传感器，其被配置为在3小时或更长时间内连续收集用户的用户特定的数据。
43.根据实施例41所述的显示系统，其中所述显示系统还被配置为收集包括一个或多个生理或行为响应的用户数据。
44.根据实施例43所述的显示系统，其中所述生理或行为响应包括脑中的电活动。
45.根据实施例42所述的显示系统，其中所述生理或行为响应包括一个或多个自主响应。
46.根据实施例44所述的显示系统，其中所述一个或多个自主响应包括血压、呼吸速率和瞳孔扩张/收缩中的一个或多个。
47.根据实施例40所述的显示系统，其中所述显示系统被配置为以选自由以下方面构成的组的一个或多个选择的不匹配向用户提供内容：视听不匹配、前庭眼不匹配和本体视觉不匹配。
48.一种显示系统，包括：
头戴式显示器，其被配置为将光投射到用户以在多个深度平面上显示图像内容，该显示器包括：
一个或多个波导，其被配置为将光投射到用户，
其中所述一个或多个波导被配置为将光从周围环境传输给用户；以及
环境传感器，其被配置为检测从周围环境反射的声音，
其中显示系统被配置为使用环境传感器进行回声定位，以确定周围环境中对象的尺寸和距离中的一个或两个。
49.根据实施例48所述的显示系统，还包括：声音发射器，其被配置为将声音投射到周围环境中，其中所述显示系统被配置为基于声音的初始产生和所述初始产生与环境传感器检测到的反射之间的经过时间来进行回声定位。
50.根据实施例48所述的显示系统，其中显示系统被配置为基于检测到用户产生的声音与环境传感器检测到声音的反射之间的经过时间来进行回声定位。
51.一种显示系统，包括：
头戴式显示器，其被配置为将光投射到用户以在多个深度平面上显示增强现实图像内容，该显示器包括：
一个或多个波导，其被配置为将光投射到用户，其中所述一个或多个波导还被配置为将来自周围环境的光传输给用户；以及
传感器，其被配置为在用户佩戴显示器的同时收集用户的多组用户特定的数据，
其中显示系统被配置为对分析中的每一者使用不同的收集到的用户特定的数据的来进行多个用户分析。
52.根据实施例51所述的显示系统，其中用户分析包括诊断健康分析。
53.根据实施例51所述的显示系统，其中用户分析包括治疗分析。
54.根据实施例51所述的显示系统，其中显示系统被配置为在分析期间使边远的用户特定的数据点打折。
55.根据实施例51所述的显示系统，其中传感器是被配置为对用户成像的成像装置。
56.根据实施例55所述的显示系统，其中成像装置被配置为对用户的眼睛和眼睛周围的特征中的一个或多个成像。
57.根据实施例51所述的显示系统，其中显示系统被配置为通过以下方式进行健康分析：
检测用户周围的世界的刺激；以及
收集响应于检测到的刺激的用户特定的数据。
58.根据实施例57所述的显示系统，其中检测刺激包括确定用户正在触摸对象。
59.根据实施例57所述的显示系统，其中检测刺激包括检测用户可听到的声音。
60.根据实施例57所述的显示系统，还包括分析所收集的用户特定的数据以确定用户特定的数据与检测到的刺激之间的相关性。
61.根据实施例51所述的显示系统，其中传感器和显示器连接到公共框架，所述显示系统还包括连接到框架的一个或多个附加传感器，其中传感器和一个或多个附加传感器被配置为收集用户特定的数据的组中的不同的用户特定的数据的组。
62.根据实施例60所述的显示系统，其中显示系统被配置为在每个数据组中收集统计上显著量的数据。
63.根据实施例51所述的显示系统，其中所述传感器由以下方面构成的组：眼睛跟踪装置、电子诊断装置、血压传感器、血糖仪、温度传感器、加速度计、心率检测器、相机和麦克风。
64.根据实施例51所述的显示系统，还包括本地处理器和数据模块，其中传感器被配置为与本地处理器和数据模块无线通信。
65.根据实施例51所述的显示系统，其中所述显示器包括波导堆叠，所述波导堆叠包括多个波导。
66.根据实施例51所述的显示系统，其中显示系统包括多个传感器。
67.根据实施例51所述的显示系统，其中显示系统被配置为对用户进行健康分析，其中健康分析包括以下中的一个或多个：
评估用户的一个或多个颅神经的功能；确定用户的精神状态；
检测行为障碍；
检测情绪；
检测强迫性障碍；以及
评估用户的感觉功能。
68.一种显示系统，包括：
头戴式显示器，其被配置为将光投射到用户以在多个深度平面上显示增强现实图像内容，该显示器包括：
一个或多个波导，其被配置为将光投射到用户，其中所述一个或多个波导还被配置为将来自周围环境的光传输给用户；
环境传感器，其被配置为检测环境数据；以及
用户传感器，其被配置为在用户佩戴显示器的同时收集用户的多组用户特定的数据，
其中显示系统被配置为将环境数据与用户特定的数据相关联。
69.根据实施例68所述的显示系统，其中环境数据包括关于增强现实图像内容的或更多的数据和来自一个或多个外部数据库的数据。
70.根据实施例68所述的显示系统，其中显示系统被配置为基于用户特定的数据进行用户的分析，其中将环境数据与用户特定的数据相关联包括将分析结果与用户特定的数据相关联。
71.根据实施例68所述的显示系统，其中用户特定的数据包括表征用户行为的行为信息。
72.根据实施例68所述的显示系统，其中行为信息包括用户的运动和用户的面部表情中的一个或多个。
73.根据实施例68所述的显示系统，其中显示系统被配置为分析数据并显示包括关于周围环境的信息的增强现实图像内容。
74.根据实施例68所述的显示系统，其中显示系统被配置为基于环境数据检测周围环境中的多个刺激。
75.一种显示系统，包括：
头戴式显示器，其被配置为将光投射到用户以在多个深度平面上显示图像内容，该显示器包括：
一个或多个波导，其被配置为将光投射到用户，其中一个或多个波导被配置为依赖于由光形成的图像内容的深度平面以不同的发散量投射光；以及
传感器，其被配置为收集用户的多组用户特定的数据，
其中显示系统被配置为对分析中的每一者使用不同的所收集的用户特定的数据的组来进行多个用户分析。
76.根据实施例75所述的显示系统，其中传感器和显示器连接到公共框架，所述显示系统还包括连接到框架的一个或多个附加传感器，其中传感器和一个或多个附加传感器被配置为收集用户特定的数据的组中的不同的用户特定的数据的组。
77.一种显示系统，包括：
头戴式显示器，其被配置为将光投射到用户以在多个深度平面上显示图像内容，该显示器包括：
一个或多个波导，其被配置为将光投射到用户，其中所述一个或多个波导被配置为将来自周围环境的光传输给用户；
环境传感器，其被配置为检测环境数据；以及传感器，其被配置为收集用户的用户特定的数据，
其中显示系统被配置为向用户管理治疗，并且其中显示系统还被配置为基于环境数据和用户特定的数据之间的相关性来管理或修改治疗。
78.根据实施例77所述的显示系统，其中所述治疗包括视觉内容，所述视觉内容被配置为治疗癫痫、强迫性行为、焦虑和抑郁中的一种或多种。
79.根据实施例77所述的显示系统，其中显示系统被配置为响应于检测到佩戴者所经历的医学迹象或症状而对用户管理治疗。
80.根据实施例79所述的显示系统，其中显示系统被配置为基于超过或保持低于预定阈值水平的用户特定的数据来修改治疗。
81.一种显示系统，包括：
头戴式显示器，其被配置为将光投射到用户以在多个深度平面上显示图像内容，该显示器包括：
一个或多个波导，其被配置为将光投射到用户，其中所述一个或多个波导被配置为将来自周围环境的光传输给用户；
环境传感器，其配置为检测环境数据；以及
用户佩戴的传感器，其被配置为收集用户的用户特定的数据，
其中显示系统被配置为与其他显示系统共享用户特定的和环境数据中的一个或两个。
82.根据实施例81所述的显示系统，还包括无线通信电路，其被配置为在由不同用户佩戴的显示系统之间传输和接收环境数据和用户特定的数据。
83.根据实施例81所述的显示系统，其中显示系统被配置为当检测到异常环境或用户特定的数据时传输环境或用户特定的数据。
84.根据实施例81所述的显示系统，其中显示系统被配置为在由不同用户佩戴的显示系统之间传输环境数据和用户特定的数据。
85.根据实施例81所述的显示系统，其中显示系统还被配置为接收从至少一个其他显示系统发送的环境或用户特定的数据，并将接收到的环境或用户特定的数据与使用环境传感器检测到的环境数据或使用用户佩戴的传感器检测到的用户特定的数据进行比较。
86.根据实施例81所述的显示系统，包括：
处理电路，其被配置为接收环境数据和从其他显示系统传输的用户特定的数据，
其中处理电路还被配置为基于位置数据和所接收的环境数据或所接收的用户特定的数据中的至少一个来检测物理邻近的多个显示装置佩戴者中的类似的生理、行为或环境异常的发生。
87.根据实施例81所述的显示系统，其中所述不同用户中的至少一个是临床医生，并且其中由临床医生佩戴的显示系统被配置为向临床医生显示增强现实内容以用于诊断、监测或治疗不同的用户。
88.一种显示系统，包括：
头戴式显示器，其被配置为将光投射到用户以在多个深度平面上显示图像内容，该显示器包括：
一个或多个波导，其被配置为将光投射到用户，其中所述一个或多个波导被配置为将来自周围环境的光传输给用户；以及
环境传感器，其被配置为检测从周围环境反射的声音，
其中显示系统被配置为使用环境传感器进行回声定位，以确定周围环境中对象的尺寸和距离中的一个或两个。
89.根据实施例88所述的显示系统，还包括：声音发射器，其被配置为将声音投射到周围环境中，其中所述显示系统被配置为基于声音的初始产生和所述初始产生与由环境传感器检测到的反射之间的经过时间来进行回声定位。
90.根据实施例88所述的显示系统，其中显示系统被配置为基于检测到用户产生的声音与环境传感器检测到的声音的反射之间的经过时间来进行回声定位。
91.根据实施例88所述的显示系统，其中显示系统被配置为基于回声定位确定周围环境的一个或多个刺激。
92.根据实施例91所述的显示系统，还包括一个或多个用户佩戴的传感器，其被配置为从用户收集用户特定的数据，其中显示系统还被配置为确定所收集的用户特定的数据与周围环境的刺激之间的相关性。
附图说明
图1示出了通过AR装置的增强现实(AR)的用户的视图。
图2示出了用于为用户模拟三维图像的常规显示系统。
图3A-3C示出了曲率半径和聚焦半径之间的关系。
图4A示出了人类视觉系统的适应-聚散响应的表示。
图4B示出了用户的一对眼睛的不同适应状态和聚散状态的示例。
图4C示出了经由显示系统观看内容的用户的俯视图的表示的示例。
图4D示出了经由显示系统观看内容的用户的俯视图的表示的另一示例。
图5示出了通过修改波前发散来模拟三维图像的方法的方面。
图6示出了用于向用户输出图像信息的波导堆叠的示例。
图7示出了由波导输出的出射光束的示例。
图8示出了堆叠波导组件的示例，其中每个深度平面包括使用多种不同组件颜色形成的图像。
图9A示出了堆叠波导的组的示例的横截面侧视图，其中每个堆叠波导包括耦入光学元件。
图9B示出了图9A的多个堆叠波导的示例的透视图。
图9C示出了图9A和9B的多个堆叠波导的示例的俯视平面图。
图9D示出了可穿戴显示系统的示例。
图9E示出了数据收集和分析的方法的示例。
图10示出了包括环境和用户传感器的增强现实系统的各种组件的示例的示意图。
图11是示出关联来自多个源的数据以分析用户的示例方法的流程图。
图12示意性地示出了被配置为使用本文公开的显示系统进行诊断、监测和/或治疗的健康系统。
提供附图是为了说明示例实施例，而不是为了限制本公开的范围。
具体实施方式
如本文所公开的，增强现实(AR)和混合现实(MR)系统可以向观看者或用户显示虚拟内容，同时仍然允许观看者看到他们周围的世界。优选地，该内容显示在例如作为眼镜的一部分的头戴式显示器上，该头戴式显示器将图像信息投射到观看者的眼睛，同时还将来自周围环境的光传输到那些眼睛，以允许观察该周围环境。如本文所使用的，应当理解，“头戴式”显示器是可以安装在观看者头部上的显示器。
如本文所讨论的，许多VR、AR和MR显示装置在显示图像信息时遭受适应-聚散不匹配和/或前庭-眼睛不匹配。这种不匹配可能引起使用者的不适并且可能使装置的长期佩戴是不可行的。有利地，根据本文实施例的显示装置通过除了其他事项之外的在用户中提供适应和聚散之间和/或前庭和眼睛输入之间的正确匹配而允许装置的长期佩戴。在一些实施例中，本文公开的显示系统以约0.5屈光度或更低、约0.33屈光度或更低、或约0.25屈光度或更低、包括约0.1屈光度或更低的适应-聚散不匹配向观看者呈现图像。结果，该装置的使用者可以能够基本上连续地佩戴和使用该装置持续约3小时或更长、约4小时或更长、约5小时或更长、约6小时或更长、或全天的持续时间，而不需要移除装置大于约25％、大于约20％、大于约15％、大于约10％、或大于约5％的持续时间。
本文公开的显示系统的可穿戴性和该可穿戴性的长期性质以及显示系统(包括感测(sensory)组件)与观看者的紧密接近有利地提供了关于提供健康保健益处的机会。例如，显示系统可以允许收集不容易获得的数据的组(set)。此外，由于除了其他益处之外的数据收集的持续时间、数据的种类、数据收集的位置的种类以及同时收集多种类型数据的能力(从而允许例如使用应用于所有数据的时间标记(stamp)和/或位置标记来交叉引用不同的数据)可以提高使用用户数据或外部数据(例如，环境数据)执行的任何健康分析的准确度并且能够揭示健康状况(condition)或治疗与不是显而易见的各种测量的变量之间的关系，因此评估和预测用户状态和状况的准确度可能会增加。应当理解，外部数据可以描述对于用户是外部的属性或状况。
在一些实施例中，形成显示系统的一部分的用户传感器可以被配置为在延长的持续时间内收集数据，而显示系统在基本上所有持续时间期间安装在观看者上。优选地，持续时间为约3小时或更长、约4小时或更长、约5小时或更长、约6小时或更长、或约一整天或更长，所有这些都不需要移除装置持续大于约25％、大于约20％、大于约15％、大于约10％、或大于约5％的指定持续时间。除了用户传感器之外，环境传感器形成显示系统的一部分并且可以被配置为收集关于用户的周围环境的数据。在各种实施例中，用户传感器可以被配置为收集数据直到满足预定标准或标准的组，该预定标准或标准的组包括在用户数据和环境数据之间建立与佩戴系统的持续时间无关的统计上显著的或其他有用的相关性的标准。例如，一些分析可以基于佩戴系统少于一小时、少于三小时或间歇地持续短或长的持续时间来完成。
在一些实施例中，可以向用户提供虚拟或AR内容(例如，图像、触觉反馈和/或声音)，并且用户传感器可以响应于该虚拟内容来收集用户数据。在这样的实施例中，虚拟内容可以具有关联的“环境数据”或虚拟数据，该“环境数据”或虚拟数据对应于如果AR图像内容是例如真实对象或真实声音而将被环境传感器收集的数据。
在各种实施例中，例如从显示系统的传感器收集用户数据或用户特定的数据。用户特定的数据可以包括生理数据(例如，心率、血压、脑电波等)和/或行为数据(例如，身体位置、肢体运动、面部表情、眼睛运动等)。在一些实施例中，用户特定的数据包括从多个生理和/或行为数据导出的参数。这些参数可以被称为导出参数，其的示例为情绪状态。在一些实施例中，用户特定的数据是从突出或不显眼的客观测量仪器(例如，用户佩戴的心率传感器等)或从主观测量仪器(例如，数字自我报告和/或其他报告工具，诸如生态瞬时评估等)收集的。
在各种实施例中，例如通过使用显示系统的传感器的直接测量和/或通过从外部源(诸如外部数据库)获得数据来收集外部数据。外部数据可以包括环境数据(例如，环境光、邻近对象等)，该环境数据包括虚拟数据和公共/一般数据(例如，天气信息、花粉计数等)。
在一些实施例中，干预可以被管理至用户。干预可包括治疗，例如各种医学和/或心理治疗。可以基于用户特定的数据和外部数据中的任何一个或多个以及基于一个或多个数据类型的相关性或其他分析来管理或修改干预和/或治疗。
在一些实施例中，可以进行相关性分析以确定两种或更多种不同类型的数据之间的关系。例如，关联用户特定的和环境数据以确定两种类型的数据之间的关系。有利地，由于在许多不同的背景(例如，不同的位置、时间等)下获得数据的能力，可以使相关性更强或者可以更准确地确定相关性。用户特定的和环境数据之间的相关性可以包括针对各种目的对从各种源获得的数据组(例如，环境数据和用户特定的数据)执行的各种统计分析，该各种目的例如评估数据类型和/或数据源之间地有意义的统计相关性和/或因果关系、以及为个人和/或人群构建分析和/或预测回归。在相关的背景下执行的各种分析可以实时地、接近实时地和/或基于来自不同源、不同用户和/或在随着时间的推移的个体用户和/或用户群之内的数据的历史模式来进行。
应当理解，本文公开的许多测试利用关于用户对各种刺激的响应而收集的用户数据。如本文所述，用户数据可以采用例如用户的图像、来自指向用户的传感器的测量等的形式。还应当理解，随着用户经历一天，他们可能接触适合于特定测试的外部刺激。外部刺激可以采取来自周围环境的环境刺激和/或由显示系统提供给用户的刺激的形式(例如，为了除了执行特定健康分析之外的目的，以提供给用户的图像和/或声音的形式)。有利地，显示系统可以被配置为被动地收集关于用户的数据，以便不显眼地执行各种分析，而无需特别主动地使用户受到特定的刺激。例如，显示系统可以被配置为收集外部数据(例如，日期、温度、环境噪声、光照条件、距镜子的距离等)和/或由显示系统提供给用户的输出，该外部数据和/或输出是同步的或以其他方式与用户数据相关联。由显示系统提供给用户的环境数据和输出可以称为外部数据。
在一些实施例中，外部和用户数据可以被连续存储，然后随后被分析。例如，可以连续地收集来自面向外的相机的图像信息和来自显示系统的麦克风的声音输入以及来自附到或指向用户的各种传感器(例如，面向内的相机、电极等)的用户数据。显示系统可以被配置为在收集信息时执行所收集的外部和用户数据的分析，以确定所收集的数据是否与本文公开的一个或多个分析相关，例如，本文公开的用户健康分析。
在一些实施例中，数据分析的时序和频率由用于分析的预限定决策规则确定，包括但不限于在任何特定时间点收集的必要数据类型和数据量。如果确定存在用于特定分析的必要数据类型和数据量，则显示系统可以被配置为然后执行相关联的分析。在一些其他实施例中，分析和/或确定是否存在适当数据可以在稍后的时间(例如，以预设间隔，诸如在晚上或在用户不使用显示系统的其他时间和/或响应来自用户的特定输入以执行一个或多个分析)进行。优选地，在用户佩戴显示系统的同时，外部和用户数据的收集是连续的，而例如根据预设的时间表和/或用户或其他方的输入，分析和/或确定是否存在适当数据是间歇地或间断地执行的。所收集的数据(例如，外部数据和用户数据)表示可用于多个分析的多个数据的组，其中一个数据的组适于一种分析，另一个数据的组适于其他分析。此外，原始外部和用户数据的可用性有助于可以使用在常规分析中不易利用的数据组合的分析的后期开发。在一些实施例中，外部和用户数据的同时期获取允许执行多个分析以确定在给定时间点处的用户的状态。有利地，通过评估从相同时间点导出的数据执行的这些分析可以帮助验证由每个单独分析提供的结论。
有利地，这些分析可以随时间连续执行，例如，可以在数小时、数天、数周、数月或甚至数年的跨度内多次执行特定分析。结果，在得出关于特定分析的结论之前，可以获得并分析大数据组。相对于仅在单个时间点获得的数据的单个分析，这样的大数据组可以提高从分析得出的结论的可靠性和水平置信度。
此外，还可以通过对收集的外部和用户数据的历史分析来获得长期趋势。结果，可以确定当代用户健康状况和关于这些用户状况的趋势，这可以提供用于确定更具体地针对特定用户定制的未来趋势的数据。例如，某些状况可能在达到特定的症状阈值之前不会变得明显，并且常规上可能难以在发现状况之前分析用户的状态，因为与状况相关的先前数据组通常不是正常地由临床医生获得，因为先前没有理解这些数据组的相关性。外部和用户数据的被动收集和存储有利地为显示系统提供了及时回顾(reach back)以在较早时间点进行用户分析的能力。结果，可以确定对状况进展的更准确的理解。另外，不是从一般人群的规范推断，而是可以确定用户的状况的变化率，从而提供用于更准确地投射状况的进展的信息。
在一些实施例中，可以利用以任何配置收集的所有数据来实时或接近实时地或以预先指定的时间延迟向用户提供一个或多个干预。在一些实施例中，具有授权访问和控制权限的用户或另一实体可以确定任何干预的内容和时序。可以在系统中或经由远程装置以自动或手动方式调用干预决策。可以分析数据并且可以使用一个或多个算法来触发新干预或干预的组和/或修改用户正在进行的干预或一系列干预，诸如医学治疗或心理治疗。在一些实施例中，干预可以由显示系统传递给用户(例如，以视觉和/或听觉内容和/或触觉反馈的形式)和/或通过具有或不具有视觉显示器的其他技术装置传递。该数据可用于评估预先指定的参数(例如，健康参数)的组的一个或多个组合，该一个或多个组合可用于支持或执行相关用户状态和状况的评估或诊断，诸如医学诊断。
在一些实施例中，可以例如与本地(local)附近的类似装置的其他用户和/或与其他存储和/或共享用户和/或环境数据(例如，包括真实和/或虚拟内容)以及用户和/或环境数据之间的关系。有利地，这种共享可以帮助提高与用户和/或环境数据进行的任何相关性的准确度，因为来自其他用户的数据组将是可用的。在一些其他实施例中，可以与第三方共享用户和/或环境数据和/或从该数据导出的信息，以例如提供关于引起与特定位置处的人的共同反应的刺激的通知。在一些实施例中，数据可以与具有或不具有能够接收数据输入的显示功能的其他技术装置共享，例如，智能手机等。
现在将参考附图，其中贯穿全文，相同的参考标号表示相同的部件。
图2示出了用于为用户模拟三维图像的常规显示系统。应当理解，用户的眼睛是隔开的，并且当在空间中观看真实对象时，每只眼睛将具有略微不同的对象视图，并且可以在每个眼睛的视网膜上的不同位置处形成对象的图像。这可以被称为双目视差，并且可以由人类视觉系统利用以提供深度感知。常规的显示系统通过呈现具有相同虚拟对象的略微不同视图的两个不同图像190、200-用于每个眼睛210、220中的一个-来模拟双目视差，该不同的视图对应于每只眼睛将看到的虚拟对象的视图，该虚拟对象是位于期望的深度处的真实对象的虚拟对象。这些图像提供双目提示(cue)，其中用户的视觉系统可以解释该双目提示以得到深度感知。
继续参考图2，图像190、200与眼睛210、220在z轴上隔开距离230。z轴平行于观看者的光轴，他们的眼睛注视(fixate)在直接位于观看者前方的光学无限远处的对象上。图像190、200是平坦的并且位于离眼睛210、220的固定距离处。基于分别呈现给眼睛210、220的图像中的虚拟对象的略微不同的视图，眼睛可以自然地旋转，使得对象的图像落在每只眼睛的视网膜上的相应点上，以维持单个双目视觉。该旋转可以使得每只眼睛210、220的视线会聚到虚拟对象被感知为存在的空间中的点上。结果，提供三维图像通常涉及提供双目提示，其可以操纵用户眼睛210、220的聚散，并且人类视觉系统将其解释为提供深度感知。
然而，产生真实且舒适的深度感知是具有挑战性的。应当理解，来自距眼睛不同距离处的对象的光具有不同发散量的波前。图3A-3C示出了距离和光线发散之间的关系。对象与眼睛210之间的距离由距离减小的顺序R1、R2和R3表示。如图3A-3C所示，随着到对象的距离减小，光线变得更发散。相反地，随着距离的增加，光线变得更加准直。换句话说，可以说由点(对象或对象的一部分)产生的光场具有球面波前曲率，其是该点离用户眼睛有多远的函数。随着对象与眼睛210之间的距离减小，曲率增加。虽然为了清楚地说明在图3A-3C和本文的其它图中仅示出了单个眼睛210，但是应当理解，关于眼睛210的讨论可以应用于观看者的双眼210和220。
继续参考图3A-3C，来自观看者的眼睛注视到的对象的光可以具有不同程度的波前发散。由于波前发散的量不同，光可以通过眼睛的晶状体而被不同地聚焦，这进而可能需要晶状体呈现不同的形状以在眼睛的视网膜上形成聚焦的图像。在视网膜上没有形成聚焦的图像的情况下，所产生的视网膜模糊充当适应的提示，该适应引起眼睛的晶状体形状的改变，直到在视网膜上形成聚焦的图像。例如，关于适应的提示可以触发眼睛晶状体周围的睫状肌松弛或收缩，从而调节施加到保持晶状体的悬韧带的力，由此使眼睛晶状体的形状改变直到注视的对象的视网膜模糊消除或最小化，从而在眼睛的视网膜(例如，中央凹(fovea))上形成注视的对象的聚焦的图像。眼睛的晶状体改变形状的过程可以被称为适应，以及在眼睛的视网膜(例如，中央凹)上形成注视的对象的聚焦的图像所需的眼睛的晶状体的形状可以被称为适应状态。
现在参考图4A，示出了人类视觉系统的适应-聚散响应的表示。眼睛运动以注视对象使得眼睛接收来自对象的光，其中光在眼睛的视网膜中的每一个上形成图像。在视网膜上形成的图像中视网膜模糊的存在可以提供关于适应的提示，以及图像在视网膜上的相对位置可以提供对聚散的提示。关于适应的提示使适应发生，导致眼睛的晶状体各自呈现特定的适应状态，该特定的适应状态在眼睛的视网膜(例如，中央凹)上形成对象的聚焦的图像。另一方面，关于聚散的提示引起聚散运动(眼睛的旋转)发生，使得在每只眼睛的每个视网膜上形成的图像处于维持单个双目视觉的相应视网膜点处。在这些位置，可以说眼睛已处于特定的聚散状态。继续参考图4A，适应可以被理解为眼睛实现特定适应状态的过程，以及聚散可以被理解为眼睛实现特定聚散状态的过程。如图4A中所示，如果用户注视另一个对象，则眼睛的适应和聚散状态可以改变。例如，如果用户注视在z轴上的不同深度处的新对象，则适应状态可以改变。
不受理论的限制，据信对象的观看者可能由于聚散和适应的组合而将对象感知为“三维的”。如上所述，两只眼睛相对于彼此的聚散运动(例如，眼睛的转动使得瞳孔向着彼此或远离彼此运动以会聚眼睛的视线来注视对象)与眼睛的晶状体的适应紧密相关。在正常情况下，改变眼睛的晶状体的形状以将聚焦从一个对象改变到位于不同距离处的另一对象，将会在被称为“适应-聚散反射”的关系下自动导致到相同距离的聚散的匹配变化。同样，在正常情况下，聚散的变化将引发晶状体形状的匹配变化。
现在参考图4B，示出了眼睛的不同适应和聚散状态的示例。眼睛对222a注视在光学无穷远处的对象上，而眼睛对222b注视在小于光学无限远处的对象221上。值得注意的是，每对眼睛的聚散状态是不同的，其中眼睛对222a指向正前方，而眼睛对222会聚在对象221上。形成每个眼睛对222a和222b的眼睛的适应状态是也可以是不同的，如晶状体210a、220a的不同形状所表示的那样。
不希望的是，常规“3-D”显示系统的许多用户发现这些常规系统由于这些显示器中的适应和聚散状态之间的不匹配而感到不舒服或者根本不会感知到深度感。如上所述，许多立体或“3-D”显示系统通过向每只眼睛提供略微不同的图像来显示场景。这样的系统对于许多观看者来说是不舒服的，因为它们除了其他事项之外仅仅提供场景的不同呈现并且引起眼睛的聚散状态的改变，但是没有那些眼睛的相应的适应状态的改变。然而，图像由距离眼睛固定距离的显示器示出，使得眼睛在单个适应状态下观看所有图像信息。这种布置通过引起聚散状态的变化而没有适应状态的匹配变化来对抗“适应-聚散反射”。这种不匹配被认为会引起观看者的不适。提供适应和聚散之间的更好匹配的显示系统可以形成更真实和舒适的三维图像模拟。
不受理论的限制，据信人类眼睛通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个深度平面对应的图像的不同呈现，可以实现感知深度的高度可信的模拟。在一些实施例中，不同的呈现可以提供关于聚散的提示和关于适应的匹配提示，从而提供生理上正确的适应-聚散匹配。
继续参考图4B，示出了两个深度平面240，其对应于在空间中距眼睛210、220的不同距离。对于给定的深度平面240，可以通过为每只眼睛210、220显示适当不同的透视图像来提供聚散提示。此外，对于给定的深度平面240，形成提供给每只眼睛210、220的图像的光可以具有与由该深度平面240的距离处的点产生的光场对应的波前发散度。
在所示实施例中，包含点221的深度平面240的沿z轴的距离是1m。如本文所使用的，可以利用位于用户眼睛的出射光瞳处的零点来测量沿z轴的距离或深度。因此，在眼睛指向光学无限远那些眼睛的光轴上，位于1m深度处的深度平面240与距离用户眼睛的出射光瞳1m的距离对应。作为近似，沿着z轴的深度或距离可以从用户眼睛前方的显示器(例如，从波导的表面)测量，加上装置和用户眼睛的出射光瞳之间的距离的值。该值可以被称为视距(eye relief)并且对应于用户眼睛的出射光瞳与用户在眼睛前方佩戴的显示器之间的距离。在实践中，视距的值可以是通常用于所有观看者的标准化值。例如，可以假设眼睛间隙是20mm，以及深度为1m的深度平面可以在显示器前方980mm的距离处。
现在参考图4C和4D，分别示出了匹配的适应-聚散距离和不匹配的适应-聚散距离的示例。如图4C所示，显示系统可以向每只眼睛210、220提供虚拟对象的图像。图像可以使眼睛210、220呈现其中眼睛会聚在深度平面240上的点15上的聚散状态。此外，图像可以由具有与该深度平面240处的真实对象相对应的波前曲率的光形成。结果，眼睛210、220呈现其中图像聚焦在那些眼睛的视网膜上的适应状态。因此，用户可以感知到虚拟对象在深度平面240上的点15处。
应当理解，眼睛210、220的适应和聚散状态中的每一个与z轴上的特定距离相关联。例如，距眼睛210、220特定距离处的对象使得那些眼睛基于对象的距离呈现特定的适应状态。与特定适应状态相关联的距离可以被称为适应距离Ad。类似地，存在与在特定聚散状态下的眼睛或相对于彼此的位置相关联的特定的聚散距离Vd。在适应距离和聚散距离匹配的情况下，可以说适应和聚散之间的关系在生理学上是正确的。这被认为是对观众最舒适的场景。
然而，在立体显示器中，适应距离和聚散距离可能不总是匹配。例如，如图4D所示，显示给眼睛210、220的图像可以以对应于深度平面240的波前发散而被显示，并且眼睛210、220可以呈现其中在该深度平面上的点15a、15b被聚焦的特定的适应状态。然而，显示给眼睛210、220的图像可以提供其中使眼睛210、220会聚在不位于深度平面240上的点15的关于聚散的提示。结果，在一些实施例中，适应距离对应于从眼睛210、220的出射光瞳到深度平面240的距离，而聚散距离对应于从眼睛210、220的出射光瞳到点15的较大距离。适应距离与聚散距离不同。因此，存在适应-聚散不匹配。这种不匹配被认为是不需要的并且可能引起使用者的不适。应当理解，不匹配对应于距离(例如，Vd-Ad)并且可以使用屈光度来表征。
在一些实施例中，应当理解，除了眼睛210、220的出射光瞳之外的参考点可以用于确定用来确定适应-聚散不匹配的距离，只要相同的参考点用于适应距离和聚散距离即可。例如，可以从角膜到深度平面、从视网膜到深度平面、从目镜(例如，显示装置的波导)到深度平面等测量距离。
不受理论的限制，据信用户仍然可以感知作为在生理上是正确的高达约0.25屈光度、高达约0.33屈光度和高达约0.5屈光度的适应-聚散不匹配，没有不匹配本身引起显著的不适。在一些实施例中，本文公开的显示系统(例如，显示系统250，图6)以约0.5屈光度或更小的适应-聚散不匹配向观看者呈现图像。在一些其他实施例中，由显示系统提供的图像的适应-聚散不匹配为约0.33屈光度或更小。在其他实施例中，由显示系统提供的图像的适应-聚散不匹配为约0.25屈光度或更小，包括约0.1屈光度或更小。
图5示出了通过修改波前发散来模拟三维图像的方法的方面。该显示系统包括波导270，该波导270被配置为接收利用图像信息编码的光770并将该光输出到用户的眼睛210。波导270可以输出具有与由期望深度平面240上的点产生的光场的波前发散相对应的限定量的波前发散的光650。在一些实施例中，为在该深度平面上呈现的所有对象提供相同量的波前发散。另外，将说明可以向用户的另一只眼睛提供来自类似波导的图像信息。
在一些实施例中，单个波导可以被配置为以与单个或有限数量的深度平面对应的设定量的波前发散输出光和/或波导可以被配置为输出有限波长范围的光。因此，在一些实施例中，可以利用多个波导或波导堆叠来为不同的深度平面提供不同量的波前发散和/或输出具有不同波长范围的光。
图6示出了用于向用户输出图像信息的波导堆叠的示例。显示系统250包括可以用于采用多个波导270、280、290、300、310向眼睛/大脑提供三维感知的波导堆叠或堆叠波导组件260。可以理解，在一些实施例中，显示系统250可以被认为是光场显示器。此外，波导组件260也可以称为目镜。
在一些实施例中，显示系统250可以被配置为提供关于聚散的基本上连续的提示以及关于适应的多个离散的提示。可以通过向用户的每只眼睛显示不同的图像来提供关于聚散的提示，并且可以通过以可选择的离散量的波前发散输出形成图像的光来提供关于适应的提示。换句话说，显示系统250可以被配置为以可变水平的波前发散输出光。在一些实施例中，波前发散的每个离散水平对应于特定深度平面并且可以由波导270、280、290、300、310中的特定一者来提供。
继续参考图6，波导组件260可以还包括位于波导之间的多个特征320、330、340、350。在一些实施例中，特征320、330、340、350可以是一个或多个透镜。波导270、280、290、300、310和/或多个透镜320、330、340、350可以被配置为以各种级别的波前曲率或光线发散向眼睛发送图像信息。每个波导级别可以与特定的深度平面相关联，并且可以被配置为输出与该深度平面对应的图像信息。图像注入装置360、370、380、390、400可以用作波导的光源并且可以用于将图像信息注入到波导270、280、290、300、310中，如本文所述，其中的每个波导可以被配置为分配入射光穿过每个相应的波导，用于向眼睛210输出。光离开图像注入装置360、370、380、390、400的输出表面410、420、430、440、450并被注入到波导270、280、290、300、310的相应输入表面460、470、480、490、500。在一些实施例中，输入表面460、470、480、490、500中的每一个可以是相应波导的边缘，或者可以是相应波导的主表面的一部分(也就是，直接面向世界510或观看者眼睛210的波导表面中的一个。在一些实施例中，可以将单个光束(例如，准直光束)注入到每个波导中，以便以与特定波导相关联的深度平面对应的特定角度(和发散量)输出朝向眼睛210定向的克隆准直光束的整个视场。在一些实施例中，图像注入装置360、370、380、390、400中的单个图像注入装置可以与波导270、280、290、300、310中的多个(例如，三个)相关联并将光注入到波导270、280、290、300、310中的多个(例如，三个)中。
在一些实施例中，图像注入装置360、370、380、390、400是分立的显示器，每个显示器产生用于分别注入到相应波导270、280、290、300、310中的图像信息。在一些其它实施例中，图像注入装置360、370、380、390、400是单个复用显示器的输出端，其可以例如经由一个或多个光导管(诸如，光纤线缆)向图像注入装置360、370、380、390、400中的每一个图像注入装置用管输送图像信息。可以理解，由图像注入装置360、370、380、390、400提供的图像信息可以包括不同波长或颜色(例如，如本文所讨论的，不同的组分颜色)的光。
在一些实施例中，注入到波导270、280、290、300、310中的光由包括光模块530的光投影仪系统520提供，光模块530可包括诸如发光二极管(LED)的光发射器。来自光模块530的光可以经由光束分离器550被导向光调制器540(例如，空间光调制器)并由光调制器540(例如，空间光调制器)修改。光调制器540可以被配置为改变注入到波导270、280、290、300、310中的光的感知强度，以对具有图像信息的光进行解码。空间光调制器的示例包括液晶显示器(LCD)(其包括硅上的液晶(LCOS)显示器)。应当理解，图像注入装置360、370、380、390、400被示意性地示出，并且在一些实施例中，这些图像注入装置可以表示位于共用(common)投影系统中的不同光路径和位置，该共用投影系统被配置为将光输出到波导270、280、290、300、310中的相关联的波导中。在一些实施例中，波导组件260的波导可以用作理想透镜，同时将注入波导的光中继出来到用户的眼睛。在该构思中，对象可以是空间光调制器540，以及图像可以是深度平面上的图像。
在一些实施例中，显示系统250可以是包括一个或多个扫描光纤的扫描光纤显示器，该一个或多个扫描光纤被配置为以各种图案(例如，光栅扫描、螺旋扫描、李萨如图案等)将光投射到一个或多个波导270、280、290、300、310中并最终投射到观看者的眼睛210。在一些实施例中，所示图像注入装置360、370、380、390、400可示意性地表示被配置为将光注入到波导270、280、290、300中的一个或多个中的单个扫描光纤或扫描光纤束。在一些其他实施例中，所示图像注入装置360、370、380、390、400可以示意性地表示多个扫描光纤或多个扫描光纤束，每个扫描光纤被配置为将光注入到波导270、280、290、300、310中的相关联的一个波导中。应当理解，一个或多个光纤可以配置成将光从光模块530传输到一个或多个波导270、280、290、300、310。应当理解，可以在扫描光纤或光纤与一个或多个波导270、280、290、300、310之间提供一个或多个干预光学结构，以例如将从扫描光纤出射的光重定向到一个或多个波导270、280、290、300、310中。
控制器560控制堆叠波导组件260中的一个或多个的操作，包括图像注入装置360、370、380、390、400、光源530和光调制器540的操作。在一些实施例中，控制器560是本地数据处理模块140的一部分。控制器560包括编程(例如，非暂时性介质中的指令)，例如，根据本文公开的任何各种方案，该编程调节图像信息到波导270、280、290、300、310的定时和提供。在一些实施例中，控制器可以是单个整体装置，或者是通过有线或无线通信通道连接的分布式系统。在一些实施例中，控制器560可以是处理模块140或150(图9D)的部分。
继续参考图6，波导270、280、290、300、310可以被配置为通过全内反射(TIR)在每个相应的波导内传播光。波导270、280、290、300、310可以各自是平面的或具有其它形状(例如，曲面的)，其具有顶部主表面和底部主表面以及在这些顶部主表面与底部主表面之间延伸的边缘。在所示的配置中，波导270、280、290、300、310可以各自包括耦出光学元件570、580、590、600、610，这些耦出光学元件被配置为通过将每一个相应波导内传播的光重定向到波导外而将光提取到波导外，以向眼睛210输出图像信息。所提取的光也可以被称为耦出光，并且耦出光学元件光也可以被称为光提取光学元件。所提取的光束在波导中传播的光照射到光提取光学元件的位置处可以被波导输出。耦出光学元件570、580、590、600、610可以例如包括衍射光学特征的光栅，如本文进一步讨论的。虽然为了便于描述和清晰绘图起见而将其图示为设置在波导270、280、290、300、310的底部主表面处，但是在一些实施例中，耦出光学元件570、580、590、600、610可以设置在顶部和/或底部主表面处和/或可以直接设置在波导270、280、290、300、310的体积中，如本文进一步讨论的。在一些实施例中，耦出光学元件570、580、590、600、610可以形成在被附接到透明基板的材料层中以形成波导270、280、290、300、310。在一些其它实施例中，波导270、280、290、300、310可以是单片材料，并且耦出光学元件570、580、590、600、610可以形成在该片材料的表面上和/或该片材料的内部中。
继续参考图6，如本文所讨论的，每个波导270、280、290、300、310被配置为输出光以形成与特定深度平面对应的图像。例如，最接近眼睛的波导270可以被配置为将如注入到这种波导270中的准直光传送到眼睛210。准直光可以代表光学无限远焦平面。下一个上行波导280可以被配置为将穿过第一透镜350(例如，负透镜)的准直光在其可以到达眼睛210之前发送出；这样的第一透镜350可以被配置为产生轻微凸面的波前曲率，使得眼睛/大脑将来自下一个上行波导280的光解释为来自第一焦平面，该第一焦平面从光学无限远处更靠近向内朝向眼睛210。类似地，第三上行波导290使其输出光在到达眼睛210之前穿过第一透镜350和第二透镜340；第一透镜350和第二透镜340的组合光焦度(optical power)可被配置为产生另一增量的波前曲率，以使得眼睛/大脑将来自第三波导290的光解释为来自第二焦平面，该第二焦平面从光学无穷远比来自下一个上行波导280的光更靠近向内朝向人。
其它波导层300、310和透镜330、320被类似地配置，其中堆叠中的最高波导310通过它与眼睛之间的所有透镜发送其输出，用于代表最靠近人的焦平面的聚合焦度(aggregate focal power)。当在堆叠波导组件178的另一侧上观看/解释来自世界144的光时，为了补偿透镜320、330、340、350的堆叠，补偿透镜层620可以设置在堆叠的顶部处以补偿下面的透镜堆叠320、330、340、350的聚合焦度。这种配置提供了与可用波导/透镜配对一样多的感知焦平面。波导的耦出光学元件和透镜的聚焦方面可以是静态的(即，不是动态的或电活性的)。在一些替代实施例中，两者之一或两者都可以是使用电活性特征而动态的。
在一些实施例中，波导270、280、290、300、310中的两个或更多个可具有相同的相关联的深度平面。例如，多个波导270、280、290、300、310可以被配置为输出设置到相同深度平面的图像，或者波导270、280、290、300、310的多个子集可以被配置为输出设置到相同的多个深度平面的图像，每个深度平面有一组。这可以为形成平铺图像提供优势，以在那些深度平面处提供扩展的视场。
继续参考图6，耦出光学元件570、580、590、600、610可以被配置为将光重定向到它们相应的波导之外并且针对与该波导相关联的特定深度平面输出具有适当的发散量或准直量的该光。结果，具有不同相关联深度平面的波导可具有不同的耦出光学元件570、580、590、600、610的配置，这些耦出光学元件依赖于相关联的深度平面而输出具有不同发散量的光。在一些实施例中，光提取光学元件570、580、590、600、610可以是体积或表面特征，其可以被配置为以特定角度输出光。例如，光提取光学元件570、580、590、600、610可以是体积全息图、表面全息图和/或衍射光栅。在一些实施例中，特征320、330、340、350可以不是透镜；相反，它们可以简单地是间隔物(例如，用于形成空气间隙的包覆层和/或结构)。
在一些实施例中，耦出光学元件570、580、590、600、610是形成衍射图案的衍射特征，或者说“衍射光学元件”(在此也称为“DOE”)。优选地，DOE具有足够低的衍射效率，以使得光束的仅一部分光通过DOE的每一个交点而偏转向眼睛210，而其余部分经由TIR而继续移动通过波导。携带图像信息的光因此被分成多个相关的出射光束，这些出射光束在多个位置处离开波导，并且结果对于在波导内反弹的该特定准直光束是朝向眼睛210的相当均匀图案的出射发射。
在一些实施例中，一个或多个DOE可以在它们活跃地衍射的“开”状态与它们不显著衍射的“关”状态之间可切换。例如，可切换的DOE可以包括聚合物分散液晶层，其中微滴在主体介质中包含衍射图案，并且微滴的折射率可以被切换为基本上匹配主体材料的折射率(在这种情况下，图案不会明显地衍射入射光)，或者微滴可以被切换为与主体介质的折射率不匹配的折射率(在这种情况下，该图案活跃地衍射入射光)。
在一些实施例中，可提供相机组件630(例如，数码相机，包括可见光和红外光相机)以捕捉眼睛210和/或眼睛210周围的组织的图像，以例如检测用户输入和/或监测用户的生理状态。如本文所使用的，相机可以是任何图像捕捉装置。在一些实施例中，相机组件630可以包括图像捕捉装置和光源，以将光(例如，红外光)投射到眼睛，然后该光可以由眼睛反射并由图像捕捉装置检测。在一些实施例中，相机组件630可以附到框架80(图9D)并且可以与能够处理来自相机组件630的图像信息的处理模块140和/或150电通信。在一些实施例中，每个眼睛可以使用一个相机组件630，以分别监测每只眼睛。
现在参考图7，示出了由波导输出的出射光束的示例。示出了一个波导，但是应该理解，波导组件260(图6)中的其它波导可以类似地起作用，其中波导组件260包括多个波导。光640在波导270的输入表面460处被注入到波导270中，并且通过TIR在波导270内传播。在光640照射在DOE 570上的点处，一部分光如出射光束650离开波导。出射光束650被示出为基本上平行，但是如本文所讨论的，依赖于与波导270相关联的深度平面，出射光束650也可以以一角度(例如，形成发散的出射光束)被重定向以传播到眼睛210。应该理解，基本上平行的出射光束可以指示具有耦出光学元件的波导，所述耦出光学元件将光耦出以形成看起来被设置在距眼睛210较大距离(例如，光学无穷远)处的深度平面上的图像。其它波导或者其它耦出光学元件组可以输出更加发散的出射光束图案，这将需要眼睛210适应更近距离以将其聚焦在视网膜上并且将被大脑解释为来自比光学无穷远更接近眼睛210的距离的光。
在一些实施例中，可以通过叠加每个分量颜色(例如，三种或更多种分量颜色)的图像来在每个深度平面处形成全色图像。图8示出了堆叠波导组件的示例，其中每个深度平面包括使用多种不同分量颜色形成的图像。所示实施例示出了深度平面240a-240f，但也可以考虑更多或更少的深度。每个深度平面可以具有与其相关联的三个或更多个分量彩色图像，包括：第一种颜色的第一图像G；第二种颜色的第二图像R；以及第三种颜色的第三图像B。对于字母G、R和B之后的屈光度(dpt)，在图中用不同的数字表示不同的深度平面。作为示例，这些字母的每一个后面的数字表示屈光度(1/m)、或者深度平面与观看者的反距离，并且图中的每个框表示单独的分量彩色图像。在一些实施例中，为了解决眼睛对不同波长的光的聚焦的差异，不同分量颜色的深度平面的精确放置可以改变。例如，给定深度平面的不同分量颜色图像可以放置在与用户的不同距离对应的深度平面上。这样的布置可以增加视觉敏度和用户舒适度和/或可以减少色差。
在一些实施例中，每种分量颜色的光可以由单个专用波导输出，因此，每个深度平面可以具有与其相关联的多个波导。在这样的实施例中，图中包括字母G、R或B的每个框可以被理解为表示单独的波导，并且每个深度平面可以提供三个波导，其中每个深度平面提供三个分量颜色图像。虽然为了便于描述，在该图中示出了与每个深度平面相关联的波导彼此相邻，但是应当理解，在物理装置中，波导可以全部布置成每层具有一个波导的堆叠。在一些其他实施例中，多个分量颜色可以由相同的波导输出，使得例如每个深度平面可以仅提供单个波导。
继续参考图8，在一些实施例中，G是绿色、R是红色、B是蓝色。在一些其他实施例中，除了红色、绿色或蓝色之外，可以使用与其他波长的光相关联的其他颜色(包括品红色和青色)，或者可以替换红色、绿色或蓝色中的一种或多种。
应当理解，贯穿本公开内容对给定颜色的光的参考将被理解为包括在观看者感知为具有该给定颜色的光的波长范围内的一个或多个波长的光。例如，红光可以包括在约620-780nm范围内的一个或多个波长的光，绿光可以包括在约492-577nm范围内的一个或多个波长的光，以及蓝光可以包括在约435-493nm的范围内的一个或多个波长的光。
在一些实施例中，光源530(图6)可以被配置为发射观看者的视觉感知范围之外的一个或多个波长的光，例如，红外和/或紫外波长。此外，显示器250的波导的耦入、耦出和其他光重定向结构可以被配置为将该光被从显示器引导出并朝向用户的眼睛210发射，例如，用于成像和/或用户刺激应用。
现在参考图9A，在一些实施例中，可能需要将入射到波导上的光重定向以将该光耦入到波导中。可以使用耦入光学元件将光重定向并且将光耦入到其相应的波导中。图9A示出了多个堆叠波导或堆叠波导组660的示例的横截面侧视图，每个堆叠波导包括耦入光学元件。每个波导可以被配置为输出一个或多个不同波长的光、或者一个或多个不同波长范围的光。应当理解，堆叠660可以对应于堆叠260(图6)，并且所出的堆叠的波导1200可以对应于多个波导270、280、290、300、310的一部分，除了来自图像注入装置360、370、380、390、400中的一个或多个光从需要光被重定向以进行耦入的位置注入到波导中。
所示的堆叠波导组660包括波导670、680和690。每个波导包括相关联的耦入光学元件(其也可以称为波导上的光输入区域)，例如，设置在波导670的主表面(例如，上主表面)上的耦入光学元件700、设置在波导680的主表面(例如，上主表面)上的耦入光学元件710、以及设置在波导690的主表面(例如，上主表面)上的耦入光学元件720。在一些实施例中，耦入光学元件700、710、720中的一个或多个可以设置在相应的波导670、680、690的底部主表面上(特别是在一个或多个耦入光学元件是反射的、偏转光学元件的情况下)。如所示出的，耦入光学元件700、710、720可以设置在它们相应的波导670、680、690的上主表面上(或下一个下波导的顶部)，特别是在那些耦入光学元件是透射的、偏转的光学元件情况下。在一些实施例中，耦入光学元件700、710、720可以设置在相应波导670、680、690的主体中。在一些实施例中，如本文所讨论的，耦入光学元件700、710、720是波长选择性的，使得它们选择性地重定向一个或多个波长的光，同时透射其他波长的光。虽然在它们相应的波导670、680、690的一侧或角上示出，但是应当理解，在一些实施例中，耦入光学元件700、710、720可以设置在它们相应的波导670、680、690的其他区域中。
如所示出的，耦入光学元件700、710、720可以彼此横向偏移。在一些实施例中，每个耦入光学元件可以偏移，使得它接收光而光不通过另一耦入光学元件。例如，每个耦入光学元件700、710、720可以被配置为从如图6所示的不同的图像注入装置360、370、380、390和400接收光并且可以与其他耦入光学元件700、710、720分离(例如，横向间隔开)，使得它基本上不接收来自其他耦入光学元件700、710、720的光。
每个波导还包括相关联的光分布(distribute)元件，例如，设置在波导670的主表面(例如，顶部主表面)上的光分布元件730、设置在波导680的主表面(例如，顶部主表面)上的光分布元件740以及设置在波导690的主表面(例如，顶部主表面)上的光分布元件750。在一些其他实施例中，光分布元件730、740、750可以分别设置在相关联的波导670、680、690的底部主表面上。在一些其他实施例中，光分布元件730、740、750可以分别设置在相关联的波导670、680、690的顶部和底部主表面上；或者光分布元件730、740、750可以分别设置在不同的相关联的波导670、680、690的顶部和底部主表面中的不同的主表面上。
波导670、680、690可以由例如气体、液体和/或固体材料层间隔开并分离。例如，如所示出的，层760a可以分离波导670和680；以及层760b可以分离波导680和690。在一些实施例中，层760a和760b由低折射率材料(也就是，具有比形成波导670、680、690中的紧邻的波导的材料的折射率低的材料)形成。优选地，形成层760a、760b的材料的折射率比形成波导670、680、690的材料的折射率小0.05或更多、或0.10或更少。有利地，低折射率层760a、760b可以用作促进通过波导670、680、690的光的全内反射(TIR)(例如，每个波导的顶部和底部主表面之间的TIR)的包覆(clad)层。在一些实施例中，层760a、760b由空气形成。尽管未示出，但应理解，所示波导组660的顶部和底部可包括紧邻的包覆层。
优选地，为了便于制造和其他的考虑，形成波导670、680、690的材料类似或相同，以及形成层760a、760b的材料类似或相同。在一些实施例中，形成波导670、680、690的材料在一个或多个波导之间可以是不同的，以及/或者形成层760a、760b的材料可以是不同的，同时仍然保持上述各种折射率关系。
继续参考图9A，光线770、780、790入射到波导组660上。应当理解，光线770、780、790可以通过一个或多个图像注入装置360、370、380、390、400(图6)注入到波导670、680、690中。
在一些实施例中，光线770、780、790具有不同的属性，例如，不同的波长或不同的波长范围，其可以对应于不同的颜色。耦入光学元件700、710、720各自使入射光偏转，使得光通过TIR传播通过波导670、680、690中的相应一个波导。在一些实施例中，耦入光学元件700、710、720每个选择性地偏转一个或多个特定波长的光，同时将其他波长传输到下面的波导和相关联的耦入光学元件。
例如，耦入光学元件700可以被配置为偏转具有第一波长或波长范围的光线770，同时分别传输具有不同的第二和第三波长或波长范围的光线780和790。传输的光线780入射耦入光学元件710并被耦入光学元件710偏转，该耦入光学元件710被配置为偏转具有第二波长或波长范围的光。光线790被耦入光学元件720偏转，该耦入光学元件720被配置为选择性地偏转具有第三波长或波长范围的光。
继续参考图9A，偏转的光线770、780、790被偏转，使得它们传播通过相应的波导670、680、690；也就是，每个波导的耦入光学元件700、710、720将光偏转到相应的波导670、680、690中，以将光耦入到相应的波导中。光线770、780、790以一定角度偏转，该角度使光经由TIR传播通过相应的波导670、680、690。光线770、780、790经由TIR传播通过相应的波导670、680、690，直到入射波导的相应的光分布元件730、740、750。
现在参考图9B，示出了图9A的多个堆叠波导的示例的透视图。如上所述，耦入光线770、780、790分别被耦入光学元件700、710、720偏转，然后分别在波导670、680、690内通过TIR传播。然后，光线770、780、790分别入射光分布元件730、740、750。光分布元件730、740、750使光线770、780、790偏转，使得它们分别朝向耦出光学元件800、810、820传播。
在一些实施例中，光分布元件730、740、750是正交瞳孔扩展器(OPE)。在一些实施例中，OPE将光偏转或分布至耦出光学元件800、810、820，并且在一些实施例中还在该光传播到耦出光学元件时增加该光的光束或光点尺寸。在一些实施例中，例如，可以省略光分布元件730、740、750，并且可以将耦入光学元件700、710、720配置为将光直接偏转至耦出光学元件800、810、820。例如，参考图9A，光分布元件730、740、750可以分别被耦出光学元件800、810、820代替。在一些实施例中，耦出光学元件800、810、820是出射光瞳(EP)或出射光瞳扩展器(EPE)，其引导观看者眼睛210中的光(图7)。应当理解，OPE可以被配置为在至少一个轴上增加眼箱的尺寸，并且EPE可以在例如与OPE的轴正交的轴上增加眼箱。例如，每个OPE可以被配置为将入射(strike)OPE的光的一部分重定向到相同波导的EPE，同时允许光的剩余部分继续沿波导向下传播。在再次入射OPE之后，剩余光的另一部分被重定向到EPE，并且该部分的剩余部分继续沿波导向下进一步传播，等等。类似地，在入射EPE之后，一部分入射光被引导出波导朝向用户，并且该光的剩余部分继续传播通过波导直到它再次入射EP，此时入射光的另一部分被引导出波导，等等。因此，每当光的一部分被OPE或EPE重定向时，可以“复制”单束耦入光，从而形成克隆光束的场，如图6所示。在一些实施例中，OPE和/或EPE可以被配置为修改光束的尺寸。
因此，参考图9A和9B，在一些实施例中，波导组660包括波导670、680、690；耦入光学元件700、710、720；光分布元件(例如，OPE)730、740、750；以及用于每种分量颜色的耦出光学元件(例如，EP)800、810、820。波导670、680、690可以堆叠，其中每个之间存在的空气隙/包覆层。耦入光学元件700、710、720将入射光(采用接收不同波长的光的不同的耦入光学元件)重定向或偏转到其波导中。然后光以一定角度传播，这将导致相应波导670、680、690内的TIR。在所示的示例中，光线770(例如，蓝光)被第一耦入光学元件700偏转，然后继续跳到波导，以前面描述的方式与光分布元件(例如，OPE)730相互作用，然后与耦出光学元件(例如，EPs)800相互作用。光线780和790(例如，分别为绿光和红光)将穿过波导670，其中光线780入射耦入光学元件710并被耦入光学元件710偏转。光线780然后经由TIR跳到波导680，继续进行到达其的光分布元件(例如，OPE)740然后到达耦出光学元件(例如，EP)810。最后，光线790(例如，红光)穿过波导690以入射波导690的光耦入光学元件720。光耦入光学元件720偏转光线790，使得光线通过TIR传播到光分布元件(例如，OPE)750，然后通过TIR传播到耦出光学元件(例如，EP)820。然后，耦出光学元件820最终将光线790耦出到观看者，观看者还接收来自其他波导670、680的耦出光。
图9C示出了图9A和9B的多个堆叠波导的示例的俯视平面图。如所示出的，波导670、680、690以及与每个波导相关联的光分布元件730、740、750和相关联的耦出光学元件800、810、820可以垂直对准。然而，如本文所讨论的，耦入光学元件700、710、720不是垂直对准的；相反，耦入光学元件优选地是非重叠的(例如，如在俯视图中所见，横向间隔开)。如本文进一步讨论的，该非重叠空间布置有助于将来自不同源的光一对一地注入到不同波导中，从而允许特定光源唯一地耦接到特定波导。在一些实施例中，包括非重叠的空间分离的耦入光学元件的布置可以被称为移位的瞳孔系统，并且这些布置内的耦入光学元件可以对应于子瞳孔。
图9D示出了可穿戴显示系统60的示例，本文公开的各种波导和相关系统可以集成到该可穿戴显示系统60中。在一些实施例中，显示系统60是图6的系统250，其中图6更详细地示意性地示出了该系统60的一些部分。例如，图6的波导组件260可以是显示器70的一部分。
继续参考图9D，显示系统60包括显示器70以及支持该显示器70的功能的各种机械和电子模块和系统。显示器70可以耦接到框架80，该框架80可由显示系统用户或观看者90佩戴并被配置为将显示器70定位在用户90的眼睛前方。在一些实施例中，显示器70可以被认为是眼镜。在一些实施例中，扬声器100耦接到框架80并且被配置为位于用户90的耳道附近(在一些实施例中，另一个扬声器，未示出，可以可选地位于用户的另一耳道附近，以提供立体声/可塑形声音控制)。显示系统60还可以包括一个或多个麦克风110或其他装置以检测声音。在一些实施例中，麦克风被配置为允许用户向系统60提供输入或命令(例如，语音菜单命令、自然语言问题等的选择)和/或可以允许与其他人的音频通信(例如，与类似显示系统的其他用户一起。麦克风还可以被配置作为外围传感器以收集音频数据(例如，来自用户和/或环境的声音)。在一些实施例中，显示系统还可以包括外围传感器120a，其可以与框架80分离并且附到用户90的身体(例如，在用户90的头部、躯干、肢体等上)。在一些实施例中，外围传感器120a可以被配置为获取表征用户90的生理状态的数据。例如，传感器120a可以是电极。
继续参考图9D，显示器70通过通信链路130(诸如通过有线引线或无线连接)可操作地被耦接到本地数据处理和模块140，本地数据处理和模块140可以以各种配置安装，诸如被固定地附到框架80上、被固定地附到由用户佩戴的头盔或帽子上、被嵌入头戴耳机内、或者可拆卸地附用户90(例如，以背包式配置、以带耦接式配置)。类似地，传感器120a可以通过通信链路120b(例如，有线引线或无线连接)可操作地耦接到本地处理器和数据模块140。本地处理和数据模块140可以包括硬件处理器以及诸如非易失性存储器(例如，闪速存储器或硬盘驱动器)的数字存储器，这两者都可用于辅助处理、高速缓存和存储数据。可选地，本地处理器和数据模块140可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、专用处理硬件等。数据可以包括：a)从例如可以可操作地耦接到框架80或附到用户90的传感器捕捉的数据，所述传感器诸如为图像捕捉装置(诸如相机)、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线电装置、陀螺仪和/或本文公开的其他传感器；以及/或者b)使用远程处理模块150和/或远程数据储存库160获取和/或处理的数据(包括与虚拟内容相关的数据)，这些数据可以在这样的处理或检索之后被传送到显示器70。本地处理和数据模块140可以通过通信链路170、180(诸如经由有线或无线通信链路)可操作地耦接到远程处理模块150和远程数据储存库160，使得这些远程模块150、160可操作地彼此耦接并且可用作本地处理和数据模块140的资源。在一些实施例中，本地处理和数据模块140可以包括图像捕捉装置(诸如相机)、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线电装置和/或陀螺仪中的一个或多个。在一些其他实施例中，这些传感器中的一个或多个可以附到框架80，或者可以是通过有线或无线通信路径与本地处理和数据模块140通信的独立结构。
继续参考图9D，在一些实施例中，远程处理模块150可以包括被配置为分析和处理数据和/或图像信息的一个或多个处理器，该一个或多个处理器例如包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、专用处理硬件等。在一些实施例中，远程数据储存库160可以包括数字数据存储设施，该设施可以通过因特网或“云”资源配置中的其它网络配置而可用。在一些实施例中，远程数据储存库160可以包括一个或多个远程服务器，该一个或多个远程服务器向本地处理和数据模块140和/或远程处理模块150提供信息，例如，用于产生增强现实内容的信息。在一些实施例中，在本地处理和数据模块中存储所有数据并且执行所有计算，从而允许从远程模块完全自主的使用。可选地，包括CPU、GPU等的外部系统(例如，具有一个或多个处理器的系统、一个或多个计算机)可以执行处理的至少一部分(例如，产生图像信息、处理数据)以及例如经由无线或有线连接向模块140、150、160提供信息和从模块140、150、160接收信息。
现在参考图9E，本文描述的显示系统可以用于数据的收集和分析。图9E示出了根据各种实施例的用于数据的收集和分析的示例方法900。方法900开始于框910，其中产生预测模型。预测模型可以包括用于基于收集的数据确定结果的一个或多个标准。例如，预测模型可以包括用于基于一个或多个标准或变量来确定用户是否具有症状、状况、障碍等的一种或多种方法，该一个或多个标准或变量可以由显示系统检测和/或基于显示系统获得的数据而确定。预测模型可以例如基于诸如科学和/或医学文献的源、提供生理学、神经学和/或行为数据与诸如症状或状况的结果之间的相关性的公开的研究等等而产生。通常，预测模型可以包括要分析的指定变量以及用于分析变量的加权因子。在一个示例中，可以生成用于检测抑郁状况的预测模型。与抑郁相关的现有研究可以指示抑郁具有一定数量(例如9)的已识别的症状，以及抑郁的诊断可以以9种症状中的另一特定数量(例如，5)的存在持续特定的持续时间(例如，至少2周)为基础。因此，如果用户表现出9个已识别的症状中的5个或更多个(其中的一些或全部可以由显示系统的一个或多个传感器直接或间接地检测到)持续2周或更长的连续时间，则用于抑郁的预测模型可以提供用户已抑郁的确定。在产生预测模型之后，方法900继续到框920。应当理解，产生预测模型可以包括将预测模型提供或编程到显示系统中。例如，可以在数据收集开始之前将预测模型预编程或以其他方式提供给显示系统。
在框920，确定数据标准以控制和/或引导用于评估预测模型数据的收集。例如，数据标准可以包括足以基于预测模型产生可靠结果的数据量(例如，数据点的数量、数据收集的总时间等)。在一个示例中，用于分析的要收集的数据量可以是足以产生具有高于机会水平(例如，50％)的可靠性的结果的数据点的量，该可靠性具有最大10％类型1(假阳性)误差和最大10％类型2(假阴性)误差。在一些其他实施例中，基于用于在特定预测模型中的结果的确定的要求，可允许较大或较小的误差裕度(margin)。数据标准可以进一步指定预测模型内的特定变量的各个量。通常，数据标准可以指定针对至少一个数据类型持续至少一个时间段内的至少一个用户收集数据。在一些实施例中，数据标准还可以包括附加用户(例如，以获得较大的样本大小)、附加数据类型(例如，基于诸如显示系统的多个传感器的不同数据源)和/或较长时间段(例如，一个或多个用户在较长时间段内的数据)。数据标准的这种扩展可以基于要测量的数据(例如，针对特定生理或行为现象的数据)的类型和/或基于要产生的结果的类型(例如，状况的诊断等)来确定。在确定数据标准之后，方法900继续到框930。
在框930，基于数据标准开始数据收集。例如，显示系统可以被配置为根据数据标准收集数据。在各种实施例中，可以收集至少指定数量的数据点。在一些实施例中，可以持续至少指定的时间段以规则或不规则的间隔收集数据点以满足数据标准。在一些实施例中，当用户佩戴显示装置时连续收集数据点。另外，在一些实施例中，可以为至少指定数量的用户收集一定数量或持续时间的数据。在基于数据标准收集了足够的数据之后，方法900继续到框940。
在框940，基于预测模型分析收集的数据。通常，对收集的数据的分析基于如预测模型中指定的分类、回归模型或其他分析方法产生结果(例如，类别标签、值、阈值等)。在一些实施例中，对收集的数据的分析可包括任何已知的统计分析方法(例如，R平方、卡方或其他统计检验或分析方法)。基于预测模型，可以将标签应用于分析的输出。例如，标签可以包括症状或状况的一个或多个分类、确定存在特定症状或状况等等。在已经分析了收集的数据之后，方法900可以基于数据分析的结果进行到框950和/或框960。
在框950，基于分析进行干预。例如，如果数据分析的结果是确定应该为症状或状况实施治疗或其他干预，则可以基于该分析进行这样的干预。
在框960，基于分析更新预测模型。例如，分析结果可以指示应该修改预测模型的数据标准和/或方面以提高模型的准确度。在一些实施例中，对模型的更新可以包括要分析的变量的变化、变量的相对加权、要收集的数据的量等。在各种实施例中，可以基于框940的分析的特定结果来实施框950和960中的任一个或两者。在框950或框960之后，方法900可以返回至框910，其中方法900可以是重复任何次数以进行用于其他用户健康分析和分析结果的细化以及预测模型的更新。
作为示例，可以实施方法900以诊断和/或修改抑郁的治疗。例如，框910的初始预测模型可以包括9个已识别的抑郁症状，其中存在9种症状中的5种或更多种连续2周或更长的连续时间指示抑郁的诊断。初始预测模型还可以包括要使用的分析类型，诸如物流(logistics)回归分析或其他统计分析。另外，预测模型可以包括基于输入数据类型(例如，眼睛跟踪数据等)的一个或多个人口子群(例如，帕金森病或其他群)。在框920处，方法900可以确定要收集的数据的量和类型以便执行分析。例如，数据标准可以包括每分钟、每小时、每周等的指定数量的数据点，并且还可以包括应该基于预编程的预测模型在例如2周或更长时间的时间段内收集数据点。数据标准另外可以包括例如基于显示系统的指定传感器的要收集的数据点的特定类型。
然后，在框930，可以根据数据标准收集数据。例如，显示系统可以开始收集数据，直到数据收集的量和/或时间段满足数据标准。在收集数据之后，可以在框940基于预测模型分析数据。例如，显示系统可以执行如本文所述的一个或多个统计分析，以指定置信区间确定收集的数据是否指示用户具有5个或更多个指定的抑郁症状持续2周或更长时间。然后可以标记统计分析的输出以指示用户是否被确定为具有抑郁。对于治疗实施方式，方法900可以继续到框950，其中基于标记的分析输出启动干预。例如，干预可以包括呼叫医生、经由显示系统实施实时干预以减轻抑郁的一种或多种症状、通知用户、创建日志等。在开始干预之后，方法900可以返回到框910以继续持续监测抑郁的症状。
在另一示例中，可以实现方法900以改进预测模型中的指示的知识和/或预测方法的增强(例如，改进显示装置的算法、聚合数据和更新预测模型以增强可靠性、准确度和/或有效性等)。可以产生一个或多个初始预测模型，并且可以产生与上面的框910和920的描述一致的数据标准。可以收集和分析数据以确定与上面的框930和940一致的分析输出。在分析数据之后，方法900可以继续到框960，其中在框940处基于分析的输出来分析和/或修改预测模型。例如，可以评估(例如，基于统计功效分析等)初始预测模型来确定所选变量是否是要被包括在预测模型中的正确变量、是否应该向模型添加和/或从模型中移除任何变量、给予(accord)每个变量的权重是否是正确的等等。在识别出对初始预测模型的修改之后，该方法可以返回到框910，其中模型被修改了，并且该方法可以继续到框920以进行与修改的模型一致的进一步的分析。应当理解，框910-960中的任何或组合或全部可以在本地处理模块(其可以包括至少一个可由用户穿戴的存储器和硬件处理器)中本地执行和/或可以在包括一个或多个硬件处理器的远程处理模块(50，图9D)中执行。另外，包括用于执行框910-960中的任何或组合或全部的指令的计算机编程可以被本地存储在数据模块和/或远程数据储存库(50，图9D)中。
在一些实施例中，系统60可以操纵适应和聚散，例如用于用户监测、数据收集、诊断或治疗。在一个示例中，系统60可以以适当的适应和聚散向用户90显示视觉内容，并且系统60可以收集包括诸如电活动(例如，通过EEG测量)的神经响应和/或诸如血压、呼吸频率、瞳孔扩张/收缩或其他迹象的生理响应的数据。另外或可选地，系统60可以操纵传递给用户90的视觉内容，以便建立更多或更少的适应-聚散不匹配，并且可以收集类似的数据。在一些方面，用户特定的数据(诸如从用户90收集的神经和/或生理数据)可以相应地用于确定系统60和显示器70是否提供适当的适应和聚散或者是否应该进行调整以改善观看者舒适，诸如长期穿戴舒适。
现在将参考图10，其示出了包括用户传感器24、28、2030、32和环境传感器34的增强现实显示系统的各种组件的示例的示意图。在一些实施例中，增强现实显示系统可以是混合现实显示系统。如图所示，用户传感器24、28、2030、32可以被配置为检测关于用户状态的数据，以及环境传感器34可以被配置为收集关于用户外部的参数的数据。在一些实施例中，显示系统可以被配置为存储与传递给用户的虚拟内容相关和/或表征传递给用户的虚拟内容的数据(例如，虚拟内容的时间、位置、颜色构成、音量等)。
首先将讨论用户传感器。如图所示，增强现实显示系统2010可包括各种用户传感器。增强现实显示系统2010可以对应于图9D的系统60，并且可以包括观看者成像系统22。系统22可以包括与光源26(例如，红外光源)配对的相机24(例如，红外、UV、其他不可见光和/或可见光相机)，光源26指向用户并被配置为监测用户(例如，眼睛2001、2002和/或用户的周围组织)。这些相机24和光源26可以可操作地耦接到本地处理模块70。这样的相机24可以被配置为监测相应眼睛的瞳孔(包括瞳孔尺寸)、虹膜或其他结构和/或眼睛周围的组织(诸如眼睑或眉毛)的取向、形状和对称性中的一个或多个。
在一些实施例中，瞳孔、虹膜和/或眼睛或眼球周围组织的成像可用于监测各种自主系统功能，其可用于确定神经响应。例如，瞳孔的节律性扩张和收缩可能与心脏的收缩和舒张相关。因此，瞳孔的节律性扩张和收缩可用于监测和/或检测用户心率的异常。瞳孔的节律性扩张和收缩的时段(例如，瞳孔的两次连续扩张之间的时间间隔)和/或振幅(例如，扩张和收缩之间的间隔)可以与诸如心率的各种自主功能相关联。系统的一些实施例可以被配置为监测和/或检测用户的血压和/或血管的异常。例如，该系统可以被配置为感测和/或测量由于眼睛后面的血压引起的脉动而沿着平行于用户眼睛的光轴的方向发生的微小角膜位移。该系统可以被配置为将测量的微小角膜位移值与指示正常血压或血管功能的微小角膜位移的一个或多个值进行比较。如果测量的微小角膜位移值偏离指示正常血压或血管功能的微小角膜位移的一个或多个值，则可以检测用户的血压和/或用户的血管功能的异常。
在一些实施例中，眼睛的虹膜和/或视网膜的成像可用于用户的安全识别。如本文所讨论的，应当理解，诸如与眼睛相关的数据的用户特定的数据可用于推断用户的行为或情绪状态。例如，可以使用变宽的眼睛来推断休克，或者可以使用蜷缩的眉毛来推断困惑。此外，用户的行为或情绪状态可以进一步与收集的环境和虚拟内容数据进行三角测量，以确定行为或情绪状态、用户特定的数据和环境或虚拟内容数据之间的关系。例如，系统可以被配置为，在无论面部肌肉和组织运动(例如，蜷缩的眉毛)的某些模式是明显的面部行为、表情还是微表情时，通过本身或可能结合其他检测到的生理和/环境数据来识别面部肌肉和组织运动(例如，蜷缩的眉毛)的某些模式，该模式可以被系统识别以推断在系统检测到正在教室中教授新主题的环境下的用户的困惑。这种推断可以有利地用作教学助手以通过示出学生不理解教师或正在教授的概念来改进课程。类似地，系统可以被配置为将变宽的眼睛识别为指示用户的震惊，特别是在环境传感器检测到诸如枪声的大噪声的情况下。
继续参考图10，相机24可以进一步被配置为对相应眼睛的视网膜成像，诸如用于诊断目的和/或基于视网膜特征(诸如眼底的中央凹或特征)的位置的取向跟踪。可以执行虹膜和视网膜成像或扫描以便用户的安全识别，用于例如正确地将用户数据与特定用户相关联和/或向适当的用户呈现私人信息。在一些实施例中，除了相机24之外或作为相机24的替代，一个或多个相机28可以被配置为检测和/或监测用户状态的各种其他方面。例如，一个或多个相机28可以是面向内的并且被配置为监测除了用户的眼睛之外的例如一个或多个面部特征(例如，面部表情、有意运动、非自愿的抽动)的特征或其他特征(诸如作为疲劳或生病的迹象的皮肤苍白)的形状、位置和/或运动。在另一个示例中，一个或多个相机28可以是面向下的并且被配置为监测用户的手臂、手、腿、脚和/或躯干的位置和/或运动。面向下的相机和/或惯性测量单元可能能够检测身体姿态或身体语言、能够检测用户是坐着、站着、躺着还是处于其他位置和/或能够监测在用户步行或跑步时用户的步态以便检测速度、步态异常或其他信息。在另一示例中，显示系统可以被配置为分析由面向下的相机捕捉的用户皮肤的图像，并执行图像的图像分析以确定从皮肤的视觉观察中明显的各种状况。例如，可以放大图像(例如，放大和/或可以增加特定颜色的强度)以允许血流的可视化。这种可视化可以作为增强现实内容提供给用户，或者可以提供给第三方或其他实体。作为另一个例子，面向下的相机可以通过例如进行关于皮肤的光学反射率的确定来监测皮肤的干燥或湿润，其中较高的反射率与增加的湿度相关。在一些方面，本文描述的面向下、面向内和/或面向外的相机可以由用户调整和/或由系统22电子地调整。例如，面向外的相机可以被配置为指向前方以跟踪线用户的视线并且还可以被配置为旋转以例如捕捉与用户的视线正交的图像。
在一些实施例中，如本文所公开的，显示系统2010可以包括空间光调制器，其通过光纤扫描仪(例如，图像注入装置200、202、204、206、208)可变地投射穿过用户的视网膜的光束以形成图像。在一些实施例中，光纤扫描仪可以与相机28或28结合使用或代替相机28或28使用，以例如跟踪用户的眼睛或使用户的眼睛成像。例如，作为被配置为输出光的扫描光纤的替代或补充，健康系统可以具有单独的光接收装置以接收从用户的眼睛反射的光并收集与该反射光相关联的数据。在一些实施例中，光接收装置可以是被配置为收集光的光纤扫描仪。一些配置可包括：第一光纤扫描仪，其被配置为投射光以形成图像；以及第二光纤扫描仪，其被配置为收集光。在其他实施例中，相同的光纤扫描仪可用于提供光以用于形成图像和可用于收集光以用于成像目的。例如，光纤扫描仪可以以时间上多路复用的方式输出光并收集光，其中光的输出和收集在不同时间发生。光纤扫描仪的光纤可以连接到空间光调制器(用于输出光)和光传感器(用于收集用于成像的光)，其中在光纤和空间光调制器以及光传感器之间的光路径分别具有插入的分束器。
继续参考图10，相机24、28和光源26可以安装在框架64上，框架64也可以保持波导堆叠2005、2006。在一些实施例中，显示系统2010的传感器和/或其他电子装置(例如，相机24、28和光源26)可以被配置为通过通信链路76、78与本地处理和数据模块2070通信。
在一些实施例中，除了提供关于用户的数据之外，可以利用相机24和28中的一个或两个来跟踪一只或两只眼睛，作为控制提供给用户的虚拟内容的手段。例如，眼睛跟踪系统22可用于选择虚拟菜单上的项目和/或向显示系统2010提供其他输入。
在一些实施例中，显示系统2010可以包括被配置为监测用户的生理和/或行为方面的其他传感器和/或刺激器2030。例如，这样的传感器和/或刺激器2030可以包括下面提到的传感器和/或诸如用于加热、冷却、引起振动等的换能器或致动器的刺激器中的一个或多个。这样的传感器2030的示例包括被配置为用于眼科测试的传感器，诸如共聚焦显微镜传感器、眼震电图描记(elecrtonystagmography)(ENG)传感器、眼电图(EOG)、视网膜电图(ERG)传感器、激光多普勒流量测定(LDF)传感器、光声成像和压力读数传感器、双光子激发显微镜传感器和/或超声波传感器。传感器2030的其他示例包括被配置为用于其他电诊断技术的传感器，诸如心电图(ECG)传感器、脑电图(EEG)传感器、肌电图(EMG)传感器、电生理测试(EP)传感器、事件相关电位(ERP)传感器、功能近红外光谱(fNIR)传感器、低分辨率脑电磁断层扫描(LORETA)传感器和/或光学相干断层扫描(OCT)传感器。传感器2030的其他示例包括另外的生理传感器，诸如血糖仪、血压计、皮肤电活动传感器、光电容积脉搏波描记设备、用于计算机辅助听诊的传感设备和/或体温传感器。在一些实施例中，显示系统2010可以包括运动传感器32，诸如一个或多个加速度计、陀螺仪、姿势传感器、步态传感器、平衡传感器和/或IMU传感器。传感器2030还可以包括CO2监测传感器、呼吸速率传感器、末端标题(end-title)CO2传感器和/或呼吸分析器。传感器2030可以包括一个或多个向内指向(用户指向)的麦克风，其被配置为检测声音以及那些声音的各种属性，包括检测到的声音的强度和类型、多个信号的存在、信号位置、声音、声音的音调、声音模式、咀嚼、咳嗽、呼吸、脉搏、心音等。在一些方面，传感器2030可以包括一个或多个传感器，其被配置为执行回声定位，例如，针对口腔来分析不同食物的咀嚼或针对心脏以分析心音。
传感器2030被示意性地示出为连接到框架64。应当理解，该连接可以采取物理附到框架64的形式，并且可以是框架64上的任何位置，包括框架64的在用户的耳朵上延伸的腿(temple)的端部。例如，传感器2030可以安装在框架64的腿的端部处、在框架64和用户之间的接触点处。在一些其他实施例中，传感器2030可以远离框架64延伸以接触用户60。在其他实施例中，传感器2030可以不物理地附到框架64；然而，传感器2030可以采用外围传感器120a(图9D)的形式，其可以与框架64间隔开。外围传感器的示例是超声探针，其也可以用于提供触觉反馈。
在一些实施例中，显示系统2010还可包括一个或多个被配置为检测用户周围的世界的对象、刺激、人、动物、位置或其他方面的环境传感器34。例如，环境传感器34可包括一个或多个相机、高度计、气压计，化学传感器、湿度传感器、温度传感器、外部麦克风，热成像传感器、定时装置(例如，时钟或日历)或其任何组合或子组合。在一些实施例中，可以间隔地提供多个(例如，两个)麦克风，以便于声音信号位置确定。例如，反射的声音的发射和随后的检测可以用于位置确定，诸如回声定位。例如，可以基于从用户的位置发出的声音的检测(例如，通过用户拍手和/或通过显示系统2010上的扬声器的发声)结合飞行时间(声音发射和后续反射或回声的接收之间经过的时间)和从外部麦克风(其接收该发出的声音的反射)确定的方向信息来确定对象的尺寸和/或位置。应当理解，对象和用户之间的距离随着经过时间的增加而增加，而对象的尺寸随着回声的幅度或响度而增加。
在一些实施例中，显示系统2010还可以被配置为接收其他环境输入，诸如GPS位置数据、天气数据、日期和时间、或可以从因特网、卫星通信或其他合适的有线或无线数据通信方法接收的其他可用的环境数据。处理模块2070可以被配置为访问表征用户位置的另外的信息，诸如花粉计数、人口统计、空气污染、环境毒物、来自智能恒温器的信息、生活方式统计或其他用户、建筑物或健康保健供应商接近。在一些实施例中，可以使用基于云的数据库或其他远程数据库来访问表征该位置的信息。处理模块2070可以被配置为获得这样的数据和/或进一步分析来自环境传感器中的任何一个或组合的数据。例如，处理模块2070可以被配置为使用来自面向外的相机的信息来识别和分析用户摄入的食物、药物、营养素和毒素。类似地，麦克风可以捕捉指示用户咀嚼的声音，并且处理器可以被配置为确定用户正在咀嚼食物。应当理解，食物的进食可能与生理状态或治疗方案的一部分的各种变化相关联，因此，食物摄入的时间可能是在诊断和/或治疗各种健康状况时要考虑的有用变量。如本文将更详细描述的，来自各种环境传感器的数据和/或其他输入(诸如表征传递给用户的视觉和/或听觉内容的信息)以及基于该数据的进一步分析的数据可以与来自上述生理传感器的数据结合，以用于进行健康分析和/或修改治疗。该数据还可以用于基于环境和用户特定的数据的关系来确定用户的行为和/或情绪状态。
显示系统2010可以被配置为收集和存储通过上述传感器和/或输入中的任何获得的数据持续延长的时间段。在装置处接收的数据可以在本地处理模块2070处和/或远程地(例如，在远程处理模块72处或远程数据储存库74处)处理和/或存储。在一些实施例中，可以在本地处理模块2070处直接接收附加数据，诸如日期和时间、GPS位置或其他全局数据。关于由系统递送给用户的诸如图像、其他可视内容或听觉内容的内容的数据也可以在本地处理模块2070处接收。在一些实施例中，可以分析各个数据点。
如本文所公开的，包含用户和/或环境传感器的显示系统2010可以有利地允许在持续时间内和/或在具有以可以给用户提供健康益处(包括提高健康状况(例如，生理、行为或神经系统)的检测和任何健康评估的准确度和/或修改或调整治疗)的方式交叉引用数据的能力的情况下收集各种数据。另外，长时间段的数据收集可允许使用传感器、成像和/或其他具有较低分辨率或敏锐度的数据收集技术以减少装置的成本、尺寸和/或重量，其中分析收集的数据以过滤误差、伪像、噪声或具有较低分辨率或敏锐度的其他结果。在一些实施例中，可以在长时间段内收集和分析数据，诸如数小时、数天、数周、数月或数年，其中显示系统2010由用户佩戴每天持续3小时或更长、4小时或更长、5小时或更长、6小时或更长或全天的持续时间，无需移除装置大于25％、大于20％、大于15％、大于10％或大于5％的持续时间。数据收集可以是基本上连续的，例如，在整个时间段内以规则的间隔发生。在数据收集的持续时间内，显示系统的用户可以基本连续地一次佩戴系统超过3小时或更长、4小时或更长、5小时或更长、6小时或更长或一整天或更长的持续时间。在这些持续时间内，使用者优选地能够舒适地佩戴系统而不需要拿下装置大于25％、大于20％、大于15％、大于10％或大于5％的相关持续时间。
在一些实施例中，在上述持续时间中的一者的过程中从显示系统2010的一个或多个传感器收集一系列数据点。例如，用户传感器24、28、2030、32和/或环境传感器34中的一个或多个可以被配置为在用户正佩戴包含传感器的显示系统时基本上连续地收集数据。该系统可另外基本上连续地收集关于由显示系统传递给用户的视觉和/或听觉内容的数据。优选地，执行数据收集持续3小时或更长、4小时或更长、5小时或更长、6小时或更长或一整天或更长的持续时间，而无需用户拿下装置大于25％、大于20％、大于15％、大于10％或大于5％的相关持续时间。
在一些实施例中，来自两个或更多个传感器和/或数据输入源的数据可以相关以提高显示系统2010的监测、诊断、治疗和/或健康分析能力。在一些更多实施例中，来自用户传感器24、28、2030、32的数据可以与来自环境传感器34的数据相关，从而允许显示系统2010监测用户与真实和/或增强环境之间的交互的影响。可以分析该相关性以用于行为分析、诊断或监测目的和/或健康分析。例如，诸如心率、血压或其他用户特定的数据的传感器数据可以与来自环境传感器的数据相关。这样的环境数据可以包括时间和/或日期，以便在一天、多天或更长时间段的过程内跟踪这些生理参数的周期或趋势。作为另一个例子，面向外的和/或面向内的相机可以能够识别诸如食物的对象并且能够检测何时消费这些物品。显示系统2010可以同时监测佩戴者吃掉的食物以及诸如血压传感器或血糖监测器的用于用户特定的数据的生理数据源。系统可以在食物消耗之后的一段时间段内分析血压或血糖数据，以便观察饮食和生理参数中的一个或多个的波动之间的相关性。相关性和分析可以触发来自系统的响应，例如，以警告用户、警告另一个用户、运行诊断测试或采取其他响应动作。
在一些实施例中，可以在数分钟、数小时、数天、数月或更长时间段的过程中重复观察如上所述的组合数据点，从而允许分析大量数据点，由此提高显示系统2010识别哪些用户特定的数据与观察到的环境因素实际相关和/或因果关联、以及哪些观察到的用户特定的数据仅与观察到的环境因素符合和/或无关的能力。随着时间推移的数据收集还可以允许历史分析，诸如以通过与先前数据进行比较来识别变化或识别行为趋势。
显示系统2010的一些实施例还可以允许在多个用户和装置之间共享数据。类似于如上所述在延长的时间段内监测单个用户，在多个用户之间共享数据可以提供显著较大的数据组并且允许更准确地确定诊断和/或因果关系。现在将描述通过数据共享增强数据分析的几个示例情况。
在一些实施例中，用户特定的数据可以在位于相同物理附近的用户之间共享，诸如在单个房间、建筑物、车辆或限定的室外空间、区域代码、城市，州等等内。用户中的每一个可以佩戴显示系统2010，该显示系统2010其可以基于位置传感器(例如，GPS)和/或简单地通过检测与其他用户的可用通信信道的存在来检测用户的公共位置。然后，显示系统2010可以收集针对该位置较早收集的生理用户数据(包括行为数据)和/或访问数据。然后可以共享数据，并且显示系统2010可以被配置为进行所收集的用户数据的比较。例如，共享数据可以指示本地区域中的多个用户患有疾病，同时开始显示疾病症状和/或在显示症状之前多个用户在特定位置存在且持续类似的持续时间。然后，在遍及用户群的用户数据中的类似模式可以允许确定在本地环境中存在因果因素，诸如传染、花粉或引起例如粉红眼睛的其他状况。此外，数据共享可以允许本地区域中的所有用户知道仅可由本地区域中的用户和/或系统的子集检测到的环境因素。如果仅用户收集的环境数据可用，则环境数据的共享有利地提供了环境的更完整的描述是可能的。因此，这种更完整的描述可以促进更准确的分析。例如，如果狗在用户系统的任何相机的视野之外，则狗可能会走进用户后面的房间并且可能被用户的系统检测不到。然而，房间中的另一个用户可能面向狗，允许第二用户的系统检测到狗并且警告第一用户的系统存在狗。这些信息可以形成更完整的环境数据库，从中可以绘制相关性。例如，了解到狗的存在可以促进狗过敏患者的环境变量(狗的存在)和过敏的发生的相关性。在另一示例中，可以基于来自其他用户的共享数据来确定单个用户中的异常。例如，热相机可用于确定附近的用户是否发烧。如果系统确定患病用户与另一个发烧的用户交互，则系统可以确定疾病的来源。在又一个示例中，共享数据可以用于分析用户之间的历史交互。例如，可以使用关于某些用户何时以及如何经历交互或处于相似邻近区域的信息，例如，以提醒用户他们如何认识另一个用户、确定用户是否具有跟踪者或任何其他历史交互数据的分析。
在一些实施例中，为了通知的目的，可以与其他人共享所收集的用户数据，特别是在用户数据超出该用户的标准的情况下。例如，如果相同公共空间中的多个装置用户开始记录异常的EEG或血压读数、录制麦克风上的响亮的声音、在面外向的相机上观看高强度闪光或者在相同或相似的时间都快速扩张瞳孔，则诸如警察和/或紧急医疗响应者等机构可能被警告(例如，到达该位置和/或观看该位置的相机馈送。群体中的这种反应可能指示需要紧急响应的紧急情况。在又一个示例中，可以检测到本地驾驶区域中的多个佩戴装置的驾驶员开始表现出异常读数，诸如高血压或增加的EEG活动。然后可以确定存在交通堵塞，并且可以警告接近该区域的其他用户。应当理解，在多个用户之间共享数据并检测用户之间的类似用户特定的数据可以确认存在类似的环境刺激(例如，紧急情况或交通拥堵)。还应当理解，在给定区域内的略微不同的位置处访问不同用户之间的类似类型的数据可以帮助精确定位刺激的特定位置。例如，可以通过比较由用户佩戴的显示装置上的麦克风34检测到的噪声的相对水平来确定诸如枪声的大噪声的位置。在另一个示例中，可以基于承载线(lines of bearing)(LOB)计算来确定这种事件的位置。例如，如果许多分散的用户各自转头观察声音或视觉刺激的来源，则可以计算它们的地理位置、方位角和仰角，从中可以使用承载线来对位置进行三角测量。另外，系统的用户传感器可以用于确定最接近环境刺激的用户是否仍然经历震惊或其他结果影响、逃离事件和/或经历与事件相关的其他感觉。
数据还可以在访问了限定的位置(诸如餐馆或公共活动的场所)的用户之间共享，即使这些用户不是同时在场。例如，如果在不同时间访问餐馆之后许多用户生病并且表现出类似的生理症状，则可以组合他们类似的指示疾病症状的用户特定的数据以确定该餐馆是该疾病的原因。在没有多个用户之间的数据相关性的情况下，这样的确定可能更难或不可能实现，因为低血氧或其他生理症状的单一检测可能归因于除环境因素之外的因素。在另一个示例中，多个用户之间的数据共享可以促进对具有健康问题的用户的医疗响应。本地个人用户可能具有健康问题并因此可能无法将用户突然健康问题的性质和/或其他状况材料传达给医学治疗。可以向附近的另一个用户通知该情况并指示其前进到第一用户的位置。可以通过第二用户的显示系统向第二用户提供共享数据，第二用户然后可以向现场的第一响应者提供共享数据(例如，对药物过敏、需要肾上腺素注射、血糖、血压等)。在没有第一响应者的情况下，二级用户的显示系统可以指示二级用户关于提供帮助的动作。例如，可以指示二级用户呼叫911和/或可以由显示系统指示如何执行CPR。
在一些实施例中，系统600、2010(图12、10)可以被配置为确定除了系统600、2010的主用户和/或佩戴者之外的人的健康状态。在各种实施例中，除了主用户之外的人可以是或可以不是类似系统600、2010的用户。如果另一个人也是类似系统600、2010的用户，则从其他用户佩戴的系统600、2010收集的数据可以与由主用户的系统600、2010收集的数据相关以改进对其他用户的健康状态的跟踪和/或分析，因为例如这些其他系统可以有利地提供用户的不同视图。显示系统还可以被配置为基于人体解剖学、生理学、时间位置相关性或个人共享信息的观察和/或了解来确定另一个人的健康状态。可以使用和/或基于增强现实和/或虚拟现实内容、引导的图像和/或音频、眼睛跟踪、时间、面部识别传感器和算法、身体语言检测和/或一个或多个麦克风将诊断和治疗功能管理给用户的显示系统。
一些实施例可以包括显示系统2010，其被配置为由诸如临床医生的二级用户佩戴，以增强对患者的评估。在一个示例中，临床医生可以观察患者行走以评估患者的步态。由临床医生佩戴的显示系统2010可以利用基于从监测患者获得的数据的附加内容来增强临床医生对患者的视图。例如，内容可以是多个深度平面中的3D内容，其描绘了患者步态的各方面，诸如腿部分离、前束(toe-in)/后束(toe-out)步态、摇摆或其他步态变量。在一些方面，显示系统可以被配置为显示步态变量，该步态变量可以包括头部运动，诸如例如通过头部姿势传感器、加速度计测量、惯性测量单元等测量头部的上下或正弦运动和/或摆动。在一些实施例中，这些变量可以图形方式呈现为附加的增强现实虚拟内容以及患者步态的视图。有利地，显示系统在多个深度平面上显示信息的能力允许向临床医生提供比从用户的简单侧视图(包括用户的步态)可获得的信息更多的信息。在一些实施例中，临床医生佩戴的显示系统2010提供患者的唯一视图。类似地，在另一个示例中，关于用户头部姿势的更多信息可以由临床医生佩戴的显示系统2010提供，该显示系统具有跨多个深度平面显示该信息的能力。在一些实施例中，患者头部姿势的检测可用于向临床医生指示患者是否理解指令。在又一个示例中，显示系统2010可以向临床医生指示对中风患者的运动恢复的评估。该评估可以包括进行矢量计算以确定患者能够执行的运动量。例如，临床医生佩戴的显示系统2010可以获得来自临床医生的显示系统2010的一个或多个相机或其他传感器、来自患者佩戴的另一显示系统2010的一个或多个传感器、或来自多个源的数据的组合的数据，以确定患者的运动范围。另外，显示给临床医生的显示系统2010的任何内容可以附加地或替代地显示给患者佩戴的显示系统2010。
在一些实施例中，显示系统2010可以被配置为向用户提供反馈和/或干预修改。如本文所使用的，生物反馈可以包括基于来自用户传感器(例如，相机24和28、内部传感器2030、运动传感器32)和/或环境传感器34的数据来修改传递给显示系统2010的用户的任何类型的内容和/或刺激。生物反馈可以由在任何相机或传感器处接收的特定原始数据触发或者通过对这些数据的进一步分析的结果(例如，生理参数中的异常趋势、基于来自面向外的相机的图像所检测到的对象、基于用户特定的数据的医疗诊断、不稳定、加速、重复或其他异常的动作、或由用户传感器确定的可能与环境因素相关的行为)触发。可以实时或接近实时地提供生物反馈，或者可以稍后基于先前记录和分析的数据来提供生物反馈。可以递送一些生物反馈以使用户知道生物反馈(例如，通过视觉或通过声音通信提供的指令、显示用户的生理数据的图像，例如，心率或血压)或者可以在没有意识到的情况下递送生物反馈(例如，调整图像的亮度或改变治疗计划)。现在将描述生物反馈的几个例子。
在生物反馈的一个示例中，用户可以佩戴显示系统2010以用于物理治疗。显示系统2010可以每周、每天或每天多次或以另一合适的频率引导用户通过物理治疗例程。在一些实施例中，可以通过增强现实系统中的显示的指令或通过可听指令来提供物理治疗例程的指令。例如，显示系统2010可以是增强现实系统，其被配置为指示物理治疗对象并指示用户完成诸如拾取或移动对象或其他物理治疗相关任务的动作。用户完成指示的任务成功或不能以及任何相关联的生理体征可以由如本文所述的用户传感器和/或相机检测，并且被分析以跟踪用户的物理治疗进展。响应于检测到的强度或其他健康标准的改善，显示系统2010可以通过增加或减少强度、长度、难度或以其他方式改变物理治疗例程来提供生物反馈，以满足用户的变化的需求。例如，如果用户的生理测量(例如，心率和/或血压)低于期望水平，则显示系统2010可以被配置为增加物理治疗例程的强度。相反，如果用户的心脏超过预定阈值，则显示器2010可以被配置为降低物理治疗例程的强度。在一些实施例中，显示系统2010可以检测到用户无法完成物理治疗任务(例如，通过使用面向下的相机28来确定用户不能承担特定姿势或者使用特定的门(gate)移动)并替换不同的(例如，更容易)任务，直到用户的健康得到改善。可以结合治疗或治疗计划来存储和跟踪关于用户进展的数据。
在生物反馈的另一示例中，显示系统2010可以被配置为检测慢性疾病的复发体征或症状，并提供响应性治疗或指令来管理迹象或症状。例如，用户可能已经被诊断患有帕金森病，这可能导致间歇性的非自愿的震颤。用户的显示系统2010可以被配置为检测用户何时正在经历震颤，诸如通过分析从面向下的相机28获得的图像。当检测到震颤时，显示系统2010可以被配置为对该输入与诸如EEG或不稳定的眼睛追踪(erratic eye pursuit)的其他感测数据一起进行三角测量，并可进一步被配置为提供闪光、经由经颅直流电刺激(tDCS)的电刺激、经由经颅磁刺激(TMS)的磁刺激或其他刺激，以尝试至少暂时停止或减少检测到的震颤。
类似地，由于癫痫或任何各种其他状况，用户可能易于发作。在一些实施例中，显示系统2010可以执行诊断功能，诸如向用户闪烁亮光或棋盘图案、通过深度平面操纵内容和/或运动或操纵3D声音，以刺激发作并确定触发刺激。然后，显示系统2010可以识别将来触发刺激的发生，并且可以提供治疗内容以预防、减轻或避免发作(例如，白噪声、白光或可以防止发作的其他内容)。应当理解，可以在一个或多个深度平面上提供该内容，同时提供适当的适应和聚散匹配以允许长期用户观看舒适度。
在一些实施例中，内容可以促进沉思和/或引导图像和/或声音治疗，并且可以用于一般地使用户平静，并且不一定防止发作。例如，显示系统2010可以确定大噪声或强光在患有创伤后应激障碍(PTSD)的患者中引发不期望的反应。该反应可包括眼睛扩张、出汗、尖叫或其他PTSD体征或症状。显示系统2010可以响应于确定的触发刺激提供脱敏治疗，并且可以在延长的时间段内监测患者的症状和对触发刺激的响应，以确定患者在治疗过程中的进展。
现在参考图11，现在将描述将用户数据与用于健康分析的外部环境数据相关的示例方法。可以使用本文其他各处描述的任何可穿戴显示系统来执行图11中所示的方法1110。例如，图10中描绘的显示系统2010可以被配置为执行方法1110。
方法1110可以在框1120开始，其中检测外部刺激(在用户外部)，诸如事件、时间或对象(虚拟或真实的)。在一些实施例中，可以在框1120之前监测环境(例如，位置、温度、速度等)，以便准备好预测外部刺激，以更快和/或更准确地处理外部刺激以进行情景(contextual)学习。可以通过上面参考图10描述的任何环境传感器或数据输入来检测外部刺激。例如，从面外向的相机获得的图像的图像分析可以检测到用户正在吃高钠和/或饱和脂肪的实务，诸如芝士汉堡。如本文所述，在环境传感器处接收的数据的分析可以在本地处理模块处发生或者远程地发生。当已经检测到并识别出外部刺激时，方法1110可以继续到框1130。
在框130处，在检测到的外部刺激之后监测用户特定的数据。在一些实施例中，可以在框130之前监测用户，以便准备好预测用户特定的数据和/或变化以更快和/或更准确地处理用户特定的数据以用于情景学习。在一些实施例中，该方法可以在框1130开始。也就是说，收集的用户特定的数据可以触发方法1110的启动而无需外部刺激。用户特定的数据可以从上面参考图10描述的各种面向内的相机或其他用户传感器中的任何一个获得。在用户被确定已经消耗了不健康膳食的示例过程中，系统可以监测用户的生理参数，例如心率、血压、皮肤苍白或其他参数。在一些实施例中，系统可以在检测到的外部刺激之后的数分钟、数小时或甚至几天内跟踪这些参数。例如，系统可以在进餐后连续数小时跟踪用户的血压，以增加检测与进餐相关的生理参数变化的可能性。然后，方法1110可以继续到框1140。
在框1140处，系统可以检测被监测的一个或多个生理参数的变化。例如，在上述不健康的用餐场景中，系统可以在用户消耗不健康膳食后的数分钟或数小时内检测到血压的升高。该系统还可以检测额外的生理变化，例如心率的增加。如果检测到生理参数的变化，则系统可以记录与观察到的外部刺激相关联的变化。例如，该系统可记录与消耗芝士汉堡相关的血压的升高。
应当理解，关于本文描述的相关联的单个数据点或甚至几个数据点可能不足以建立一种类型的外部刺激与检测到的生理变化之间的相关性。然而，系统可以继续将类似的外部刺激与在延长的时间段(例如，数天、数周、数月甚至数年)内收集的观察到的用户特定的数据相关联。在一些实施例中，系统可以被配置为存储每个数据点并调用先前的数据点以识别模式、趋势等。此外，该过程可以是预测性的。例如，甚至在收集足够的数据以实现统计显著性之前，例如，系统可以基于暗示趋势的数据将可能的趋势识别作为假设。然后，系统可以使用未来的数据点来确认或驳斥假设。数据中的严重异常可能导致直接警报，例如，在心脏病发作或中风的情况下。因此，显示系统2010可以被配置为每当检测到类似的外部刺激时通过方法1110前进。例如，每当系统2010检测到用户正在吃饭时，方法1110可以重复如上所述的块1120、1130和1140。在延长的时间段内，使用者可以吃足够数量的健康和/或不健康的膳食(例如，高钠和/或饱和脂肪的膳食)以提供用于统计分析的有用数据组。一旦记录了足够的数据点，方法1110可以继续到框1150。
在框1150处，方法1110可以识别与相似或相同的外部刺激相关联的一个或多个生理参数的重复变化。例如，用户可能在数周或数月的过程中吃多种不健康的膳食。在完成上述分析之后，可以观察到，在消耗大多数或所有这些不健康的膳食之后，用户表现出升高的血压。在一些实施例中，该方法可以记录不健康膳食消耗的每次重现(recurrence)以及用户的血压在用餐之后是否上升的指示。数据可以与例如血糖、ECG、心率或其他数据的其他感测数据进行三角测量。这些数据可以本地或远程地记录在数据库中(例如，在本地数据处理模块2070、远程处理模块72和/或远程数据储库存74中)以用于之后的分析。当已经记录足够大的数据组以允许可靠的统计分析时，方法1110然后可以继续到框1160。
在框1160，分析相关数据组以确定观察到的外部刺激与观察到的生理变化之间的相关性。应当理解，可以应用各种已知的推论统计分析方法中的任何一种来确定外部刺激和生理变化是否相关和/或因果相关。在一些实施例中，还可以从生理变化和用户传感器确定行为或情绪响应，然后可以确定行为或情绪响应是否与外部刺激和环境因素相关和/或因果相关或不相关。在各种统计分析中，可以使边远数据点打折。例如，如果观察到在每次不健康的膳食之后或者在大多数不健康的膳食之后用户的血压增加，则可以确定不健康的膳食与血压升高相关。在一些情况下，统计分析可能指示外部刺激不是观察到的生理变化的原因。在各种实施例中，两种结果可以提供用于用户的医学诊断、监测和/或治疗的有用信息。例如，在框1170处，可以将相关性分析的结果转发给健康专业人员以进行审查和/或进一步分析，以进行关于健康状况的诊断和/或开发治疗协议以解决不期望的健康状况。在其他示例中，可以通知用户、可以执行自动测试、可以警告另一个用户和/或可以基于所确定的相关性采取其他动作。在一些其他实施例中，显示系统2010可以被配置为进行诊断或提供由显示系统2010找到的特定数据指示的位置健康状况的列表。
在一些实施例中，该方法可以通过向用户提供生物反馈来继续。例如，根据参考图10描述的生物反馈方法，例如，系统可以返回到框1120或框1130以提供各种虚拟外部刺激中的任何一种。
在一些实施例中，可以改变框1120、1130、1140的顺序。例如，框1130可以在框1120之前或与框1120同时进行。此外，在一些实施例中，可以省略框1140和1150中的一个或多个。例如，显示系统2010可以被配置为使用针对用户特定的数据和环境数据中的每一者的单个测量来确定用户特定的数据和环境数据之间的相关性。在一些实施例中，可以省略框1120，并且方法1110可以在框1120开始；也就是说，收集的用户特定的数据可以触发方法1110的启动，而不需要检测到的外部刺激。
在一些实施例中，外部刺激可以仅仅是环境数据的测量。在一些其他实施例中，外部刺激可以是由显示系统2010投射给用户的图像内容。例如，外部刺激可以是被投影的图像以在用户中引起特定响应(例如，可以投射虚拟蜘蛛以引起具有蜘蛛恐惧症的用户的恐惧)。然后，用户传感器可以检测是否发生非自愿的生理响应(例如，指示恐惧的瞳孔扩张或出汗)或也可以被认为是行为响应的自愿的响应(例如，指示恐惧的呐喊或尖叫)和/或用户传感器可以确定偏离预期响应的程度。
继续参考图11，如本文所述，显示系统2010允许对用户的适应和聚散进行单独操纵，这可以用于引起用户的生理/神经变化。如本文所讨论的，在框1120处，显示系统2010可以被配置为向用户显示具有适当的、生理上正确的适应/聚散匹配的图像。在一些其他实施例中，显示系统2010可以被配置为在框1120处提供不匹配的适应和聚散匹配。例如，显示系统2010可以被配置为对特定图像内容切换深度平面，从而在与将提供适当的适应/聚散匹配的深度平面不同的深度平面上显示图像内容。因此，系统可以操纵提供给用户的视觉内容，以便建立更多或更少的适应/聚散不匹配。在一些实施例中，适应-聚散不匹配可以是约0.25屈光度或更高、约0.33屈光度或更高、或约0.5屈光度或更高。无论显示系统是否提供适当或不适当的适应/聚散匹配，在框1130处，显示系统2010可以被配置为收集各种类型的用户数据，包括诸如电活动(例如，由EEG测量)的神经反应和/或诸如血压、呼吸速率、瞳孔扩张/收缩等的生理响应。结果，由于不适当的适应和聚散匹配呈现增强现实内容，因此可以在框1140观察到用户的各种神经和/或生理参数的变化。
显示系统2010可以使用各种方法中的任何一种来实现适当的(匹配的)或不适当的(不匹配的)适应/聚散匹配。例如，适应和聚散匹配可以依赖于用于形成显示给每只眼睛的图像的光的波前发散以及显示给佩戴者的每只眼睛的图像中的虚拟对象的位置。在一些实施例中，显示系统2010可以基于一个或多个数据库、查找表等选择波前发散和图像位置的组合。例如，本地或远程数据库可以包括信息，该信息关于各种深度平面中的每一个指示特定的限定的波前发散的量和与适当的适应/聚散匹配对应的一个或多个图像显示位置和/或与较适当的适应/聚散匹配中的任何数量对应的一个或多个图像显示位置。在一些实施例中，显示系统2010可以被配置为应用一个或多个预定数学关系以确定由显示器提供的图像中的虚拟内容的一个或多个适当位置，例如，以提供或多或少适当的适应/聚散匹配。在各种实施例中，显示系统2010可以被配置为基于用于虚拟内容的预定期望深度平面使用数据库和/或数学关系来确定图像中的虚拟内容的位置和/或确定输出光的波前发散。
类似地，显示系统2010可以允许对用户的前庭系统进行单独操纵。例如，在框1120处，显示系统2010可以被配置为向用户显示具有适当的前庭提示的图像，例如与真实世界视野(horizon)一致的视野。显示系统2010还可以被配置为在框1120处提供不适当的前庭提示，诸如倾斜或垂直移位的视野或其他不一致的视觉内容。在框1130处，显示系统2010是否提供适当或不适当的前庭提示，显示系统2010可以被配置为收集各种类型的用户数据，包括诸如电活动的神经响应和/或诸如血压、呼吸速率、瞳孔扩张/收缩等的生理响应。结果，由于呈现具有不适当的前庭提示的增强现实内容，因此在框1140处可以观察到用户的各种神经和/或生理参数的变化。在各种实施例中，前庭提示的操纵可用于与头晕、眩晕或影响前庭眼系统的其他状况相关的诊断和/或治疗应用。在一些实施例中，可以类似地使用对本体感受提示和/或视听提示(例如，在时间上或空间上操纵的视听提示)的操纵。
在一些实施例中，显示系统2010可以被配置为提供音频(audiostrobe)功能，其中增强现实内容跨多个深度平面显示，同时向用户提供适当的适应和聚散。在一些实施例中，选择增强现实内容以便于用户体验甘兹菲尔德(Ganzfeld)效果。如本文所讨论的，提供适当的适应和聚散匹配的能力允许显示系统2010的长期佩戴。
现在将参考图12，其示意性地示出了被配置用于使用本文公开的显示系统进行诊断和/或治疗的健康系统600。优选地，健康系统能够进行诊断和/或治疗以及纵向和实时监测。通常，远程医疗系统600包括数据收集部分610和数据分析部分630。系统600可用于构建包含性用户和环境因子数据库，以用于历史分析、用于行为趋势、用于健康目的、用于诊断、治疗和/或医治目的和/或用于其他目的。
系统600可以包括被配置为由用户602佩戴的增强现实(AR)装置608。优选地，AR装置608是显示装置2010(图10)，并且包括算法的各种计算机程序可以存储在本地处理和数据模块140、远程处理模块150和远程数据储存库160中的一个或多个中(图9D)。AR装置608的算法和技术612可以被配置为将内容614递送给用户602。内容614可以在视觉上、听觉上或其他方式递送，如本文其他地方所描述的，例如，如参考图11描述的外部刺激。AR装置608的算法和技术612还可以从AR装置608的环境传感器616和/或体传感器和算法618接收数据。环境传感器616可以检测来自用户602周围的环境604的环境数据，例如，以指示如参考图11所述的外部刺激。环境传感器616和/或体传感器和算法618可以分别对应于环境传感器34和用户传感器24、28、2030、32(图10)。体传感器和算法618可以接收由用户602呈现的生理响应620和/或行为响应622的输入，诸如以监测如参考图11所描述的用户特定的数据。应当理解，生理响应620和行为反应622可以是自愿的或非自愿的。算法和技术612还可以接收诊断材料和/或治疗606的输入。例如，诊断材料和治疗606可以包括信息，该信息诸如预定诊断测试、预定或规定的医学治疗计划或程序或者提供给AR装置608的算法和技术612的用于诊断和/或治疗目的任何其他指令或数据。
在一些实施例中，可以分析来自环境传感器616和体传感器和算法618的数据以用于诊断或治疗的目的，如参考图11中的框160所描述的。分析可以在AR装置608处而本地发生，或者，来自传感器616和618的数据可以被传输到例如服务器或其他处理电路(例如，图9D远程处理模块140或的远程数据储存库160)的远程装置以用于分析。传输可以通过例如有线或无线通信系统来完成。环境传感器616以及体传感器和算法618可以将数据传输到数据库632，在数据库632中可以分析和/或存储数据。数据库632可以从医疗记录634的数据库访问关于用户602的附加数据。医疗记录634可以存储在例如用户的健康保健提供者的计算网络中或其他地方。在一些实施例中，医疗记录634和数据库632可以是远程数据储存库160(图9D)的一部分。
在各种实施例中，例如，在通过云636或其他数据共享或传输介质传输到外部处理电路之后，可以在装置608处本地地分析或者可以远程地分析在数据库632处接收和/或存储的数据。传输的数据例如由当地医生638、远程医生641(例如，研究医生或专家)分析以用于诊断、治疗或评估，和/或传输的数据可以例如通过人工智能642或其他计算机化诊断或治疗评估模块进行的图像或材料分析而被自动地分析。应当理解，云636也可以是远程数据储存库160(图9D)的一部分。
在分析来自数据库632的数据之后，可以产生诊断和/或治疗进展决策644并将其传递给用户602。例如，诊断或治疗进展决策644可以包括确定用户602具有已识别的疾病或其他医学状况、确定用户602不具有特定疾病或其他医学状况、确定应该启动医学治疗过程、确定应基于用户602对先前治疗606的响应来修改医学治疗过程、确定应终止医学治疗过程或基于数据库632中的数据分析的任何其他结论。在一些实施例中，这些各种确定可涉及关联收集的数据和/或基于相关性采取动作，如本文分别关于框160和170所讨论的(图11)。在一些实施例中，诊断和/或治疗进展决策644可以被递送到用户602和用户602的医生或其他健康保健提供者中的任何一个或组合(例如，经由显示系统2010显示的通知)，以便能够对诊断和/或治疗进展确定644(例如实施新的或修改的治疗)进行适当的响应。
参考图6、9D、11和12，现在将描述本文公开的系统和方法的诊断、监测和治疗应用的其他示例。如本文所公开的，显示系统可以包括可以有利地应用于检测用户对各种刺激的响应的各种传感器。例如，行为跟踪可以在例如关于图6、9D、10和12描述的系统的可穿戴显示系统中实现。参考图9D，增强或虚拟现实显示系统20中的检测和/或跟踪行为可以包括检测对在显示器70和/或扬声器100处呈现给用户90的引导图像和/或音频的响应或者检测由面向外的环境传感器34(图10)检测到的对真实世界刺激的响应。参考图10，系统2010可以通过面向内的相机24监测用户以进行眼睛跟踪，例如以检测眼睛位置、运动、凝视或瞳孔尺寸。面向内的相机24还可以被配置为监测其他面部指示，例如眼睑位置、面部肌肉嘎吱嘎吱声、斜视或其他面部位置或运动。面向下的相机28还可用于监测相机下方的用户60的身体运动以及可能的面部表情。系统2010可以使用一个或多个麦克风67进一步监测来自用户的可听响应，例如语音。可以实现这些和其他传感器以执行下面的各种诊断、监测和治疗应用。可以通过历史分析进一步比较或以其他方式分析从本文描述的任何传感器获得的数据，其中将数据与在不同的较早时间收集的存储数据进行比较。如本文所述，面向内、面向下和/或面向外的相机可由用户60和/或系统2010调整。
神经分析
神经分析可包括周围神经系统和颅神经的分析。通常，神经分析可用于分析用户的行为和/或神经响应。躯体神经系统控制自愿的身体运动，以及与躯体神经系统相关的分析可能有助于确定行为响应。自主神经系统控制非自愿的反应，以及与自主神经系统相关的分析可能有助于确定行为反应颅神经(CN)是周围神经系统(PNS)的一部分并直接从大脑中出现。存在十二种不同的CN，每种都有不同的功能，但都在身体之间，主要是颈部和头部区域以及大脑之间传递信息。如下所述，可以检测到一个或多个颅神经的缺陷或损伤作为对各种刺激的异常响应。
在一些实施例中，收集的用户数据可用于评估颅神经的功能并检测与用户的颅神经中的一个或多个相关的状况。在一个示例中，健康系统600(图12)或显示系统2010(图10)可以被配置为评估三叉神经或第五颅神经(CN V)的功能。沿第五颅神经的脉冲传输通常可涉及例如嚼(咀嚼)的面部功能和面部皮肤的感觉以及与面部相关的其他运动和感觉功能。咀嚼或其他面部运动功能的检测可以通过麦克风、例如对用户的嘴和/或颌成像的一个或多个面向下的相机和/或例如惯性测量单元、加速度计等的其他传感器来完成。
三叉神经的诊断测试可以包括评估眨眼响应、眼睑刺激、眼睑评估和眼睛的物理刺激。例如，可以通过轻轻地触摸每只眼睛的角膜以引起例如眨眼的生理响应620(图12)来执行角膜反射测试。然后可以使用显示系统2010的面向内的相机24(图10)观察用户602的两只眼睛的角膜反射之间的任何不对称，以及该不对称可以指示三叉神经和面神经(第七颅神经，或CN VII)之间的脑干中的病变。监测三叉神经功能可以包括随时间检测眨眼率，诸如以确定眼睛干燥。
基于在短时间段或延长的时间段内与三叉神经相关联的生理响应620的诊断测试和/或监测，系统600可确定用户具有与检测到的响应相关联的一种或多种神经状况。该确定可以在本地或远程地执行，并且在一些方面可以包括参考数据库或医疗信息的其他储存库、查询数据库或医疗信息的其他储存库或以其他方式与数据库或医疗信息的其他储存库交互。例如，如上所述，系统600(图12)或系统2010(图10)可以被配置为将用户眼睛的角膜反射之间的不对称解释为指示CN V和CN VII之间的脑干中的病变。作为另一个例子，系统600(图12)或系统2010(图10)可以被配置为确定在完整原发性感觉(intact primarysensation)存在下的消退可以指示右顶叶中的病变。在一些实施例中，可以基于系统600、2010(图12、10)观察用户对隔离的刺激的响应以及缺乏对与另一刺激组合的相同刺激的响应，来确定存在消退。在另一个示例中，在一段时间内由低眨眼率指示的神志恍惚(staringspells)可以指示例如癫痫的神经系统紊乱和/或例如路易体痴呆或进行性核上性麻痹的记忆障碍。观察到用户盯着诸如旋转对象或灯光的刺激可以指示发展障碍，例如孤独症谱系障碍。重复性眼睛眨眼可能表示诸如癫痫的神经系统障碍和/或诸如肌张力障碍或妥瑞(Tourette)症的运动障碍。反复的眼睑抽搐可能指示诸如压力相关的状况的行为障碍。眼睑痉挛或非自愿的眼睑闭合可能指示诸如肌张力障碍的运动障碍。检测到的咀嚼困难可能指示诸如肌萎缩侧索硬化的运动障碍和/或诸如额颞叶痴呆的记忆障碍。对于上述分析中的任何一者，应当理解，可以使用显示系统2010的面向内的相机24(图10)获得关于眼睛和眼睑的数据，并且可以使用面向外的环境传感器34(图10)获得关于周围环境的数据。
在另一个示例中，系统600、2010(图12、10)可以被配置为评估舌咽神经或第九颅神经(CN IX)的功能。沿着舌咽神经的脉冲传输通常涉及感觉和运动功能，诸如口腔感觉、味觉和唾液产生。舌咽神经的诊断测试可涉及评估，该评估包括吞咽功能、显示增强现实和/或虚拟现实内容、提供引导的音频和/或图像、头部姿势检测、眼睛的成像和/或眼睛的物理刺激。例如，该系统可以检测吞咽和扩张瞳孔的同时发生，作为与吞咽相关联的疼痛的指示。与跟吞咽相关联的疼痛相关的辅助治疗功能可以包括帮助用户增加食物部分和/或咬合尺寸以便于吞咽(例如，显示系统可以被配置为使食物和/或尺寸看起来比实际上更大，使得用户可以获得较小的部分和/或尺寸)。可以进一步监测语音，例如以检测语音何时不可听见。如果用户不能被可听见地说话，则系统600、2010(图12、10)可以提供辅助治疗功能，例如通过允许用户选择例如眼睛注视激活的键盘的具有交互式内容的单词并且可听见地输出所选单词。在一些实施例中，系统可以用作增强和辅助通信(AAC)装置，以补充或替换具有语音或书写障碍的人的语音或书写。例如，系统可以被配置为补充或替换用于具有ALS和/或瘫痪的用户的语音。有利地，该系统包括多个交互元件，其允许用户以多种方式提供输入，从而允许系统即使在用户的症状改变或疾病进展时也起到补充或替换语音的作用。例如，对于具有ALS的用户，随着ALS的进展和肌肉运动的恶化，可以利用与显示系统的不同交互来提供允许系统将想法转换为动作和单词的输入。随着用户的运动性降低，用户可以从使用手势向系统提供输入(例如，选择虚拟菜单项、在虚拟键盘上键入等)转换到使用他们的声音、使用图腾(totem)、使用头部姿势、使用眼睛运动向系统提供输入。可以理解，该输入可以用于各种目的，包括例如在键盘上选择字母、指导轮椅的移动等。
系统600、2010(图12、10)可以进一步向用户提供语音治疗，其中增强的嘴部运动覆盖用户在镜子中的反射。在一些方面，可以通过在舌头的后三分之一上提供诸如甜味的刺激来评估味道。可以基于物理刺激和/或关于吸气相关问题的询问来评估咽部的触感。
基于在短时间或延长的时间段内与舌咽神经相关联的生理响应620的诊断测试和/或监测，系统600、2010(图12、10)可确定与检测到的响应相关联的一种或多种神经状况。例如，系统600、2010(图12、10)可以被配置为确定与正常的呕吐反射相关的检测到的吞咽障碍或吞咽困难可以指示舌咽神经的运动部分中的病变。在另一个例子中，可以确定与构音障碍或说话困难相关的检测到的吞咽障碍，以指示对舌咽和/或迷走神经的细胞核的损伤。检测到的吞咽困难迹象可能是由以下方面引起的：神经系统障碍，诸如急性播散性脑脊髓炎、癫痫和/或格林-巴利综合征；运动障碍，诸如脑瘫、亨廷顿(Huntington)病、运动神经元疾病、肌萎缩侧索硬化、进行性延髓麻痹、性延髓麻痹、I型脊髓性肌萎缩症和/或肯尼迪氏(Kennedy)病；记忆障碍，诸如额颞痴呆和/或进行性核上性麻痹；和/或中风等损伤。可以确定检测到的构音障碍的迹象以指示以下方面：神经系统疾病，诸如多发性硬化症和/或席尔德(Schilder)病；以及/或者运动障碍，诸如共济失调、脑瘫、亨廷顿病、运动神经元疾病、肌萎缩侧索硬化、原发性侧索硬化、进行性延髓麻痹、假性延髓麻痹和/或肯尼迪病。
在又一个示例中，系统600、2010(图12、10)可以被配置为评估迷走神经或第十颅神经(CN X)的功能。沿着迷走神经传输脉冲通常涉及诸如心脏和消化道的副交感神经控制的功能。此外，迷走神经很大程度上控制心脏、肺和消化道，还可以控制身体和情绪影响。迷走神经的诊断测试可以涉及显示增强现实和/或虚拟现实内容、提供引导的音频和/或图像、检测眼睛位置和/或运动跟踪和/或利用临床医生佩戴的显示装置。例如，系统可以监测语音，诸如以检测语音何时是不可听的。如果用户不能被可听见地说话，则系统600、2010(图12、10)可以提供辅助治疗功能，例如通过允许用户选择例如眼睛注视激活的键盘的具有交互式内容的单词并且可听见地输出所选单词。如上所述，该系统可以被配置为用作增强和辅助通信(AAC)装置，以补充或替换具有语音或书写障碍的人的语音或书写。在另一个诊断示例中，系统可以使用腭(palate)评估来检测患者的腭升高和/或呕吐反射的对称性。也可以监测关节(articulation)，例如通过要求用户重复单词或其他声音来检测构音障碍或其他异常语音状况。
基于在短时间或延长的时间段内与迷走神经相关联的生理响应620的诊断测试和/或监测，系统600、2010(图12、10)可以确定与检测到的响应相关联的一种或多种神经状况。例如，系统600、2010(图12、10)可以被配置为确定嘶哑的声音、吞咽障碍、与饮酒相关联的气哽和/或缺乏的呕吐反射可以指示迷走神经的喉部的病变。在另一个示例中，腭和/或喉麻痹、异常食管运动、胃酸分泌、胆囊排空、心率异常和/或其他自主神经功能障碍可能指示存在其他迷走神经病变。可以确定检测到的弱腭运动和/或减少的呕吐反射的迹象以指示运动障碍，诸如进行性延髓麻痹。检测到的呕吐反射增加的迹象可能指示已确定为运动障碍，例如假性延髓麻痹。锁定综合征的迹象可能指示迷走神经和神经束的细胞核的损伤。可以确定检测到的受损声音的迹象以指示运动障碍，例如痉挛性发声障碍、喉肌张力障碍、运动神经元疾病和/或假性延髓麻痹。可以确定发声抽动以指示运动障碍，例如妥瑞症。可以确定检测到的呼吸短促以指示以下方面：运动障碍，例如运动神经元疾病、肌萎缩侧索硬化，I型或II型脊髓性肌萎缩和/或先天性脊髓性肌萎缩伴关节挛缩；以及/或者行为障碍，例如厌食症或其他进食障碍。检测到言语不清的迹象可能指示以下方面：运动障碍，诸如颌肌张力障碍、肌萎缩侧索硬化和/或原发性侧索硬化症；记忆障碍，诸如进行性核上性麻痹；行为障碍，诸如中毒(例如，成瘾或酗酒)；以及/或者诸如中风、脑动脉瘤和/或创伤性颅脑损伤的损伤。可以确定检测到的低沉语音的迹象以指示运动障碍，例如帕金森病。可以确定检测到的自主神经系统故障的迹象(例如，站立时的血压下降、头晕、跌倒、尿失禁、脉搏(pulse)、出汗、肠道控制问题)以指示记忆障碍，例如路易体痴呆。
精神状态和障碍
由系统600、2010(图12、10)收集的用户数据可用于执行精神状态测试。在一些方面，精神状态测试可以允许系统600、2010(图12、10)区分用户的认知功能和行为功能。在一些实施例中，系统600、2010(图12、10)可以被配置为检测妄想和/或幻觉。用于检测妄想和/或幻觉的诊断测试可以包括本文描述的各种功能，诸如显示增强现实和/或虚拟现实内容、提供引导的音频和/或图像、以及检测用户响应，该用户响应诸如在麦克风处检测到的话音或其他可听见的响应和/或基于眼睛跟踪检测到的响应。例如，系统600、2010(图12、10)AR装置608可以被配置为基于向用户呈现精神病学诊断问题、检测用户对问题的响应、以及将这些响应与环境传感器34(图10)检测到的关于周围环境的数据进行比较来检测妄想思维过程、幻听或幻视的存在。在一些实施例中，装置608可以被配置为通过在不呈现诸如问题等的诊断刺激的情况下检测用户对刺激的响应而来实现如本文所公开的被动监测。装置608可以监测环境以等待用户遇到感兴趣的刺激，并且每当检测到这样的刺激时检测用户的响应。例如，不是通过增强现实或音频内容向用户呈现问题或指令，而是装置608可以检测世界(例如，对象、噪声、迹象、社会交互等)中的预期的状况以产生类似于问题或指令的回答。装置608可以被配置为检测来自观察的环境的数据与从用户身体获得的数据的相关性中的模式的存在。可以通过诸如参考图11的框120-160描述的方法110的各种方法来实现数据的这种相关性以识别趋势。
基于检测到的行为响应622(图12)，系统600、2010(图12、10)可以确定与检测到的响应相关联的一个或多个神经状况。例如，确定用户患有幻觉可以被解释为指示用户患有以下方面：运动障碍，例如帕金森病；记忆障碍，例如克-雅氏(Creutzfekdt-jakob)病、路易体痴呆和/或后皮质萎缩；以及/或者发展障碍，例如精神分裂症。确定用户患有妄想可以被解释为指示用户患有以下方面：运动障碍，例如帕金森病；记忆障碍，例如路易体痴呆；以及/或者发展障碍，例如精神分裂症。
有利地，如果系统600、2010(图12、10)确定用户患有精神分裂症或者被提供该信息，则系统600、2010(图12、10)可以被配置为向用户提供治疗应用，以用于治疗或减轻精神分裂症的影响。这样的治疗可以包括化身治疗，其中显示系统可以将化身作为增强现实内容呈现给用户，以减少从幻觉的声音、人等感知到的威胁或危险。可以理解，一些精神分裂症患者可能有对特定声音和/或人的幻觉。在一些实施例中，系统600、2010可以被配置为允许用户选择具有用户感知到的幻觉的外观和/或声音的增强现实内容形式的化身。系统600、2010还可以被配置为向用户显示化身并允许用户与化身交互。化身的动作和/或单词可以由临床医生或程序控制，并且可以被设计为减少与幻觉相关联的恐惧或忧虑并且鼓励用户对抗幻觉的声音或人。不受理论的限制，据信重复暴露于化身可以允许用户增加他们对抗幻觉的声音或人的信心。在一些实施例中，系统600、2010可以被配置为通过例如利用麦克风来记录用户的语音并且还以化身的形式记录由系统提供的视觉和听觉内容来记录交互。随后可以为用户、临床医生等播放这些记录。
在另一个示例中，系统600、2010(图12、10)可以被配置为评估情绪和/或行为相关的状况，例如抑郁、焦虑和/或躁狂。用于检测重性抑郁的诊断测试可涉及显示增强现实和/或虚拟现实内容、提供引导图像和/或音频、执行眼睛跟踪、在用户的反射中成像、以及利用麦克风来检测可听响应。例如，系统600、2010(图12、10)可以被配置为基于用户声音的音调、面部表情和/或身体姿态来确定用户的情绪。可以基于对用户的扩展监控并检测用户是否表现出缺乏眼睛注视、不良个人卫生和/或低活动水平来检测抑郁。在一些实施例中，如果系统600、2010(图12、10)确定用户遭受重性抑郁或者提供有该信息，则系统600、2010(图12、10)可以被配置为向用户提供用于治疗重性抑郁的治疗应用。这样的处理可以包括AR装置608，其显示刺激用户兴趣的引导内容或向用户呈现与已知对用户舒适的存储器相关联的图像或音频。系统600、2010(图12、10)还可以识别和/或突出展现积极/快乐情绪的其他人，使得用户可以与其他人相关联以改善用户的情绪。系统600、2010可以识别或提供描绘已知或可能带给用户快乐的其他对象的虚拟内容。在某些方面，可通过检测抑郁情绪的迹象、饮食或睡眠模式的变化、能量丧失、缺乏主动性、低自尊、注意力不集中、缺乏之前是愉快活动的享受和/或自我毁灭的想法或行为。可以理解的是，这些迹象中的一些可以由系统600、2010(图12、10)直接检测，并且一些可以由用户和/或例如与用户交互的临床医生的第三方报告给系统600、2010(图12、10)。所有这些可以是框622的检测到的行为响应的一部分。
基于检测到的行为响应622，系统600、2010(图12、10)可以确定与检测到的响应相关联的一个或多个神经状况。例如，可以确定检测到的抑郁迹象以指示以下方面：运动障碍，例如帕金森病；记忆障碍，例如克-雅氏病、路易体痴呆、额颞痴呆和/或血管性痴呆；行为障碍，例如创伤后应激障碍；发展障碍，例如双相情感障碍或唐氏综合征；以及/或者诸如脑肿瘤和/或创伤性脑损伤的损伤。可以确定检测到的冷漠迹象以指示以下方面：记忆障碍，例如克-雅氏病和/或额颞痴呆；学习障碍，例如非语言学习障碍；例如抑郁等的行为障碍；发展障碍，例如双相情感障碍、唐氏综合征和/或精神分裂症；以及/或者例如脑积水等的损伤。可以确定检测到的疲劳迹象以指示以下方面：神经系统疾病，例如多发性硬化、视神经脊髓炎和/或横贯性脊髓炎；运动障碍，例如运动神经元疾病、肌萎缩侧索硬化和/或肯尼迪病等；例如抑郁或压力等的行为障碍；以及/或者诸如脑肿瘤和/或创伤性脑损伤的损伤。
用于检测焦虑的诊断测试可以包括显示增强现实和/或虚拟现实内容、提供引导的图像和/或音频、进行眼睛跟踪和/或通过反射对用户成像。例如，基于缺乏眼睛注视、身体晃动、心率升高、瞳孔放大和/或回避行为，系统600、2010(图12、10)可以检测到用户对令人担忧的想法的关注。应当理解，可以随时间跟踪这些行为以及任何相关触发(例如，可能引起焦虑的情况、人或对象)，并且可以确定这些行为的模式以指示用户的关于该部分的令人担忧的想法。在一些实施例中，与焦障碍有关的治疗应用可以包括AR装置608，该AR装置608提供已知的对用户是放松的增强现实内容，以便减少焦虑或恐慌并减少用户所经历的怀疑或厌恶。在一些方面，治疗内容可以包括白噪声、模糊或对视觉输入的一部分着色(color out)或其他的增强内容以减少用户的感觉输入和刺激。
基于用户检测到的行为响应622，系统600、2010(图12、10)可以确定与例如焦虑响应的检测到的响应相关联的一个或多个神经状况。例如，可以确定一般焦虑以指示以下方面：例如帕金森病的运动障碍；例如克-雅氏病的记忆障碍；例如唐氏综合征的发展障碍；例如创伤性脑损伤的损伤；以及/或者行为障碍，例如进食障碍、厌食症、神经性贪食症、强迫性障碍和/或创伤后应激障碍。可以确定检测到偏执的迹象以指示例如克-雅氏病的记忆障碍和/或例如强迫性障碍的行为障碍。可以确定检测到强迫和/或强制行为的迹象以指示以下方面：记忆障碍，例如克-雅氏病和/或额颞痴呆；以及/或者行为障碍，例如进食障碍、厌食症、神经性贪食症和/或强迫性障碍。检测到的重复行为模式可能指示例如额颞痴呆的记忆障碍、例如强迫性障碍的行为障碍和/或例如孤独症谱系障碍的发展障碍。
在一些实施例中，用于检测与躁狂相关联的障碍的诊断测试可以包括显示增强现实和/或虚拟现实内容、提供引导的图像和/或音频、执行眼睛跟踪和/或利用用户的反射。例如，可以基于用户异常活跃和/或认知紊乱的指示来检测躁狂。在一些实施例中，与躁狂有关的治疗应用可以包括利用显示系统来提供已知对用户为放松的增强现实内容，以便在躁狂行为期间使用户平静。
基于例如躁狂响应的检测到的行为响应，系统600、2010(图12、10)可以确定与检测到的躁狂响应相关联的一个或多个神经状况。例如，检测到的极端反应的迹象可以由系统600、2010解释，以指示人格障碍，例如边缘性人格障碍。检测到情绪不稳定的迹象(例如，不适当的非自愿笑和/或哭泣)可以被解释为表示例如进行性延髓麻痹或假性延髓麻痹的运动障碍、例如进行性核上性麻痹的记忆障碍和/或例如创伤性脑损伤的损伤。检测到的精神病迹象可能指示例如克-雅氏病的记忆障碍和/或例如精神分裂症的发展障碍。检测到情绪波动的迹象可能指示例如克-雅氏病的记忆障碍、例如偏头痛的损伤和/或例如注意力缺陷多动障碍或双相情感障碍的发展障碍。检测到的冲动行为可能指示例如进行性核上性麻痹的记忆障碍、例如边缘型人格障碍的行为障碍、例如创伤性脑损伤的损伤和/或例如注意力缺陷多动障碍、双相情感障碍和/或胎儿酒精谱系障碍的发展障碍。检测到的多动可能指示例如注意力缺陷多动障碍的发展障碍。
在一些实施例中，系统600、2010(图12、10)可以被配置为基于用户的社会交互来执行诊断测试。与用户的社会交互相关联的诊断和治疗功能可以利用增强现实和/或虚拟现实内容、引导的图像和/或音频、眼睛跟踪、时间、面部识别传感器和算法、身体语言检测和/或一个或多个麦克风。在一些方面，从由其他用户(例如，附近的用户和/或与主用户交互的用户)所佩戴的系统600、2010收集的数据可以相关联以改进对用户的社会交互的跟踪和/或分析(例如，二级用户中的表示响应于主用户的陈述或动作的恐惧、惊讶、愤怒或疑惑的用户特定的数据)。显示系统还可以被配置为基于人体解剖学、生理学、时间位置相关性或个人共享信息的观察和/或了解来确定其他系统的用户的精神状况。
在一个示例中，检测到的缺乏与其他人的眼神接触可以被系统解释为指示例如进行性核上性麻痹的记忆障碍、例如品行障碍或社会性焦虑的行为障碍和/或例如孤独症谱系障碍或双相情感障碍的发展障碍。与缺乏眼神接触相关联的状况的治疗内容可以包括(通过图10的系统2010)显示视觉治疗活动以刺激视觉唤醒并改善眼睛接触(例如，基于增加的眼睛接触持续时间的游戏)。在另一个示例中，可以检测过度的直接眼睛注视并且将其解释为指示诸如愤怒障碍、焦虑和/或恐惧症的行为障碍。系统也可以检测短暂的外围扫视(fleeting peripheral glance)并且可以将其解释为指示例如孤独症谱系障碍的发展障碍。
在另一示例中，系统600、2010(图12、10)可以检测解释非语言提示的困难迹象，例如肢体语言、面部表情、理解个人空间或其他非语言指示。这种困难可能指示例如非语言学习障碍的学习障碍和/或例如孤独症谱系障碍的发展障碍。与缺乏交互式社会性技能相关联的状况的治疗内容可以包括利用显示系统来识别社会情境中的响应和情绪状态、识别对话中的重要点以消除注意力分散和/或显示表示社会可接受的动作的内容(例如，使用在多个深度平面上显示的增强现实内容以指示可接受的个人空间)。除了具有社会交互的困难之外，系统600、2010(图12、10)还可以被配置为检测缺乏社会交互或通信，这可以指示诸如焦虑、抑郁、创伤后应激障碍或社会焦虑的行为障碍和/或诸如孤独症谱系障碍或胎儿酒精谱系障碍的发展障碍。系统600、2010(图12、10)可以被配置为检测回避(avoidance)症状，其可以指示诸如焦虑、创伤后应激障碍或社会焦虑的行为障碍。在一些实施例中，系统600、2010(图12、10)还可以被配置为检测觉醒过度的迹象，其可以被解释为指示诸如创伤后应激障碍的行为障碍。与觉醒过度相关联的状况的治疗内容可包括识别触发情况或人并提供暴露治疗以逐渐减轻用户的恐惧。
在一些实施例中，系统600、2010(图12、10)可以被配置为检测并且可能治疗强迫性障碍。系统600、2010(图12、10)可以被配置为检测用户执行例如清洁和/或触摸对象的重复动作、用户某些行为厌恶或痴迷于某些行为和/或用户表现出对普通物质和/或对象的回避或痴迷。这些行为可以由系统600、2010(图12、10)确定以指示强迫性障碍。
可以确定在即时记忆中检测到的强迫倾向(例如，重复动作)以指示病理性执着(obsessiveness)。例如，如果发现用户在例如1分钟、2分钟、5分钟或类似的时间段的短时间内和/或在没有明显的理由的情况下(例如，在没有观察到正常与引起这种行为相关联的特定刺激的情况下)重复特定行为(例如，触摸特定表面或对象、打开或关闭相同的灯开关、在一个人的皮肤处拾取、拉出头发、检查一个人在镜子中的外观等)，可能指示强迫性障碍。如果系统600、2010(图12、10)观察到用户在用户佩戴的显示系统2010(图10)的视野内花费大量时间专注于对象(例如，安排、订购、收集和/或积存物品)，则也可以指示强迫性障碍。在其他方面，可以确定诸如检查关注于用户的身体或外观的行为和/或痴迷的强迫性倾向以指示身体变形障碍。可以确定诸如从拔出体毛或在皮肤上拾取得到的积极感觉以缓解压力的强迫性倾向，以指示聚焦身体的重复行为，该重复行为例如拔毛癖(拉毛发障碍和皮肤拾取)或瘙痒癖(dermotillomania)(撕皮(excoriation)障碍)。
应当理解，可以在延长的时间段(例如，数天、数周、数月或数年)内观察到这些强迫性行为中的一些，并且其对于第三方甚至用户而言可能不是显而易见的。在一些实施例中，系统600、2010(图12、10)可以被配置为对用户行为进行编目并确定行为模式，该行为模式包括涉及类似行为的重复以及执行那些行为的背景的模式。有利地，由于用户定期和一次长时间佩戴显示装置的能力，由显示系统2010的适当聚散-适应匹配所提供的长期佩戴舒适性有助于这些图案确定。
在一些实施例中，可以通过以已经分组或有序的方式呈现诸如几个虚拟对象的信息来测试用户的强迫性安排、排序和/或收集趋势(例如，柜中的食物罐和具有附加罐的虚拟购物篮)。该信息可以例如通过如图2所示的显示器62呈现给用户。可以基于姿势识别或其他用户交互机制来检测用户的响应，诸如连续地重新排列、移动或操纵虚拟对象。可以基于与刺激相互作用的频率、将罐从柜移到购物篮并移回、对象放置的准确度和/或颜色、尺寸或标签的排序等来评估用户的强迫性行为。
在一些实施例中，可以通过要求用户对被感知到为或实际位于用户环境内的不同化学品、过敏原、微生物等作出反应来测试用户对感知到或实际污染物的厌恶。这种测试可以至少部分地由图2、图6、图10和图12中描绘的显示器的组件执行，并且可以利用处理模块140和/或远程处理模块150(图9D)中的电路和编程。在测试中，可以向用户呈现虚拟图片刺激或增强的真实世界对象，例如清洁化学瓶周围的轮廓、投射在表面上的紫外光以突出蛋白质和/或使用放大级、模式识别算法、多光谱分析或专业/专家咨询来执行将呈现给用户的分析的对细菌、病毒和过敏原等潜在污染物的处理分析。然后，系统600，2010(图12、图10)可以通过检测到的行为响应(例如，畏缩、退后(back away)、鬼脸或呕吐)和/或生理响应(例如，出汗、增加心率)检测用户对刺激的反应。可以基于用户对正常对象和状况的响应来评估用户的强迫性行为。
在一些实施例中，系统600、2010(图12、10)可以被配置为提供治疗内容以减少强迫性行为和/或强制性行为。例如，显示系统2010(图10)可以呈现表面的增强呈现或分析，以显示其实际上是干净的还是脏的。在另一个例子中，真实世界对象可以由显示系统修改，以使它们对用户看起来更干净以减少焦虑。行为辅助还可以包括对所识别的重复活动的量化和/或识别。在一些方面，可以突出或记录活动或对象以供回放，并且可以计算“得分”并将其呈现给用户。可以通过避免识别的重复行为来激励用户以保持低分。
感觉功能
例如由显示系统2010(图10)收集的数据的收集到的用户数据可用于执行用户的感觉功能的测试。在一些方面，感觉功能测试可以允许系统600、2010(图12、10)评价用户的精细触摸、疼痛、温度等的功能水平。在一些实施例中，系统600、2010(图12、10)可以被配置为测试用户的原发性感觉和/或被动地监测指示用户的原发性感觉的迹象。原发性感觉的诊断测试可以包括显示增强现实和/或虚拟现实内容、提供引导的图像和/或利用临床医生佩戴的显示装置。在一些实施例中，可以呈现各种感觉刺激，诸如热、电流、振动、音频刺激、视觉刺激等，并且可以测量用户的检测到的响应并将其与预期响应进行比较。在一些实施方式中，临床医生佩戴的装置可以允许临床医生观看用户的响应和增强的正常响应以进行比较。可以在身体的两侧以及在每个肢体上从近端到远端执行感觉测试，以允许检测感觉响应的不对称性。可以通过检测用户对在用户周围的世界中检测到的刺激的响应而不是通过主动提供刺激来实现被动监测。在被动监测的一个示例中，系统600、2010(图12、10)可以被配置为被动地监测用户感测热的能力。该系统可以包括面向外的相机，该相机可以用作热像仪以监测用户视野内的对象的温度。系统600、2010(图12、10)可以使用来自热像仪和一个或多个身体相机的输入来确定用户何时触摸例如炉子的热对象并观察用户对触摸热对象的反应(例如，由于疼痛、尖叫、触摸对象的身体部位的快速缩回等的瞳孔扩张)或者对触摸热对象没有反应。应当理解，缺乏反应可能指示感觉功能不正常。
与原发性感觉相关联的诊断测试可包括轻触和/或针刺测试。可以检测到麻木和/或刺痛的迹象，并且其可以被解释为指示诸如急性播散性脑脊髓炎、格林-巴利综合征、多发性硬化或横向脊髓炎的神经系统病症和/或诸如偏头痛的损伤。对触觉敏感度提高的迹象(例如，诸如跳跃或尖叫的反应)可以被解释为表示诸如横贯性脊髓炎或多发性硬化的神经系统疾病和/或诸如脑积水的损伤。诊断测试可以进一步包括温度测试，例如通过向皮肤施加冷的金属片。可以通过将振动结构(诸如音叉或作为系统600、2010的一部分的振动结构)放置在患者的肢体上并指示患者报告振动何时停止来测试振动感测。在一些方面，系统600、2010的振动结构可以安装到显示装置60(图9D)的框架80的一部分上。原发性感觉的进一步诊断测试可包括关节位置感觉测试和两点辨别测试。
在一些实施例中，系统600、2010(图12、10)可进一步被配置为评估包括消退的患者的皮质感觉以帮助将病变定位于特定神经、神经根和/或脊髓、脑干、丘脑或皮质的区域。诊断技术可以包括皮肤书写感觉(graphesthesia)测试(患者识别被追踪到患者皮肤上的字母或数字的能力)、实体测试(患者基于触觉识别对象的能力)和/或触觉消退(患者识别双重同时触觉刺激的能力)。然后可以将来自原发性感觉测试的数据与皮质感觉测试的结果相关联。检测到的体感缺陷可以被解释为表示脊髓或脑干、丘脑或感觉皮质的外周神经、神经根、后柱或前外侧感觉系统的损伤。伴有皮质感觉中缺陷的完整的原发性感觉可能指示对侧感觉皮质中有病变，而原发性感觉中缺陷可能被解释为指示严重的皮质病变。伴有完整原发性感觉的消退可能指示右顶叶、右额叶(frontal)病变、皮质下病变或左半球病变的病变。
基于检测到的行为响应622，系统600、2010(图12、10)可以确定与检测到的响应相关联的一个或多个神经状况。例如，感觉丧失的迹象可能表示例如视神经脊髓炎的神经系统疾病、例如肯尼迪病运动障碍和/或诸如脑肿瘤的损伤。检测到的对感觉刺激的超敏感性的迹象可以被解释为表示诸如感觉加工障碍的认知障碍、诸如创伤后应激障碍的行为障碍、诸如孤独症谱系障碍的发展障碍和/或诸如偏头痛的损伤。检测到对感觉刺激的弱敏感性的迹象可以被解释为表示诸如感觉加工障碍的认知障碍和/或诸如孤独症谱系障碍的发展障碍。
应当理解，对于本文公开的所有分析，显示系统可以被配置为关于分析结果做出初步结论。该初步结论可以包括确定存在一个或多个可能的状况，并且可以提供用户具有一个或多个可能状况的概率。初步结论和/或任何相关概率可以提供给用户作为增强现实内容、可听通知和/或虚拟图像和/或视频。应当理解，可以将这些结论或内容中的任何一个存储为对患者的历史文件的更新。显示系统还可以被配置为提供用户跟进的建议和/或通过将信息转发给临床医生来自动发起跟进。在一些其他实施例中，显示系统被配置为不进行任何确定并且简单地将图像、音频文件、视频文件等形式的信息发送给临床医生和/或另一计算机系统以进行进一步分析和结论的确定。在其他实施例中，显示系统可以被配置为既做出初步结论又将用户的图像发送给临床医生和/或其他计算机系统以进行进一步分析。
检测环境中的反射和对象的计算机视觉
如上所述，显示系统可以被配置为检测用户周围的环境中的对象或环境的属性。可以使用各种技术来完成检测，包括各种环境传感器(例如，相机、音频传感器、温度传感器等)，如本文所讨论的。
在一些实施例中，可以使用计算机视觉技术来检测环境中存在的对象。例如，如本文所公开的，显示系统的面向前的相机可以被配置为对周围环境成像，并且显示系统可以被配置为对图像执行图像分析以确定周围环境中的对象的存在。显示系统可以分析由面向外的成像系统获取的图像以执行场景重建、事件检测、视频跟踪、对象识别、对象姿势估计、学习、索引、运动估计或图像恢复等。作为其他示例，显示系统可以被配置为执行面部和/或眼睛识别以确定面部和/或人眼在用户的视野中的存在和位置。可以使用一个或多个计算机视觉算法来执行这些任务。计算机视觉算法的非限制性示例包括：标度(scale)不变特征变换(SIFT)、加速稳健(robust)特征(SURF)、定向(orient)FAST和旋转(rotate)BRIEF(ORB)、二进制稳健不变可缩放关键点(BRISK)、快速视网膜关键点(FREAK)、Viola-Jones算法、Eigenfaces方法、Lucas-Kanade算法、Horn-Schunk算法、Mean-shift算法、视觉同步定位和映射(vSLAM)技术、序贯(sequential)贝叶斯估计器(例如，卡尔曼滤波器、扩展卡尔曼滤波器等)、束调整、自适应阈值(和其他阈值技术)、迭代最近点(ICP)、半全局匹配(SGM)、半全局块匹配(SGBM)、特征点直方图、各种机器学习算法(诸如，支持向量机、k-最近邻算法、朴素贝叶斯、神经网络(包括卷积或深度神经网络)、或其他有监督/无监督模型等)等等。
这些计算机视觉技术中的一个或多个也可以与从其他环境传感器(诸如例如麦克风)获取的数据一起使用，以检测和确定由传感器检测到的对象的各种属性。
如本文所讨论的，可以基于一个或多个标准来检测周围环境中的对象。当显示系统使用计算机视觉算法或使用从一个或多个传感器组件(可能是或可能不是显示系统的一部分)接收的数据检测周围环境中是否存在标准时，显示系统然后可以用信号通知(signal)对象的存在。
附加地或可选地，显示系统可以基于用户的行为(或用户的组的行为)学习识别环境中的反射和/或对象的存在。例如，显示系统可以通过将用户或用户的组的某些动作或行为与周围环境中存在的某些对象相关联并使用该关联来预测是否存在对象来学习识别环境中对象的存在。
机器学习
可以使用各种机器学习算法来学习识别周围环境中的对象的存在。一旦经过训练，机器学习算法可以由显示系统存储。机器学习算法的一些示例可以包括监督或非监督机器学习算法，其包括回归算法(例如，普通最小二乘回归)、基于实例的算法(例如，学习矢量量化)、决策树算法(例如，分类和回归树)、贝叶斯算法(例如，朴素贝叶斯)、聚类算法(例如，k均值聚类)、关联规则学习算法(例如，先验(a-priori)算法)、人工神经网络算法(例如，感知器)、深度学习算法(例如，深度玻尔兹曼机或深度神经网络)、维数减少算法(例如，主成分分析)、集成算法(例如，层叠泛化)和/或其他机器学习算法。在一些实施例中，可以针对各个数据组定制各个模型。例如，可穿戴装置可以产生或存储基础模型。基本模型可以用作起点以产生特定于数据类型(例如，特定用户)、数据组(例如，获得的附加图像的组)、条件情况或其他变体的附加模型。在一些实施例中，显示系统可以被配置为利用多种技术来产生用于分析聚合数据的模型。其他技术可包括使用预限定的阈值或数据值。
用于检测对象的标准可以包括一个或多个阈值条件。如果对由环境传感器获取的数据的分析指示通过了阈值条件，则显示系统可以提供指示检测到周围环境中对象的存在的信号。阈值条件可以涉及定量和/或定性测量。例如，阈值条件可以包括与环境中存在的反射和/或对象的可能性相关联的分数或百分比。显示系统可以将根据环境传感器的数据计算的分数与阈值分数进行比较。如果得分高于阈值水平，则显示系统可以检测反射和/或对象的存在。在一些其他实施例中，如果得分低于阈值，则显示系统可以用信号通知环境中对象的存在。在一些实施例中，可以基于用户的情绪状态和/或用户与周围环境的交互来确定阈值条件。
在一些实施例中，阈值条件、机器学习算法或计算机视觉算法可以专用于特定的背景。例如，在诊断背景下，计算机视觉算法可以专用于检测对刺激的某些响应。作为另一示例，显示系统可以执行面部识别算法和/或事件追踪算法以感测用户对刺激的反应，如本文所讨论的。
应当理解，本文描述的和/或附图描绘的过程、方法以及算法中的每一者可体现在以下项中并通过以下项被全部或部分自动化：代码模块，其由一个或多个物理计算系统、硬件计算机处理器、专用电路执行；以及/或者电子硬件，其被配置为执行具体和特定计算机指令。例如，计算系统能包括用具体计算机指令或专用计算机编程的通用计算机(例如服务器)、专用电路等。代码模块可被编译并链接到可执行程序中，安装在动态链接库中，或可用解释性编程语言编写。在一些实施例中，特定操作和方法可由特定于给定功能的电路来执行。
此外，本公开的功能的特定实施例在数学上、计算上或技术上都足够复杂，以至于为了执行所述功能(例如由于所涉及的计算量或复杂性)或为了基本实时地提供结果，专用硬件或者一个或多个物理计算装置(利用适当的专有可执行指令)可以是必需的。例如，视频可包括多个帧，每帧具有数百万个像素，为了处理视频数据以在商业合理的时间量内提供期望的图像处理任务或应用，专用编程计算机硬件是必需的。
代码模块或任何类型的数据可被存储在任何类型的非暂时性计算机可读介质上，诸如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器以及相同和/或相似元件的组合。在一些实施例中，非暂时性计算机可读介质可以是本地处理和数据模块(70)、远程处理模块(72)和远程数据储存库(74)中的一个或多个的一部分。方法和模块(或数据)也可在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)传输，所述传输介质包括基于无线的介质和基于有线/电缆的介质，且可采取多种形式(例如，作为单一或多路复用模拟信号的一部分，或者作为多个离散数字数据包或帧)。所公开的过程或处理步骤的结果可持久地或以其他方式存储在任何类型的非暂时性实体计算机存储器中，或可经由计算机可读传输介质进行传送。
本文所描述和/或附图所描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分，它们包括在过程中实现具体功能(例如逻辑功能或算术功能)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能能够根据本文提供的说明性示例进行组合、重新排列、添加、删除、修改或其他改变。在一些实施例中，额外或不同的计算系统或代码模块可执行本文所述的一些或全部功能。本文所述方法和过程也不限于任何具体的顺序，且与其相关的框、步骤或状态能以适当的其他顺序来执行，例如以串行、并行或某种其他方式。可向所公开的示例实施例添加或从中移除任务或事件。此外，本文所述的实施例中的分离各种系统组件是出于说明的目的，且不应被理解为在所有实施例中都需要这样的分离。应该理解，所描述的程序组件、方法以及系统一般能一起集成在单个计算机产品中或封装到多个计算机产品中。
在前述说明书中，已经参考其特定实施例描述了本发明。然而，显而易见的是，在不脱离本发明的更广泛的精神和范围的情况下，可以对其进行各种变型和改变。因此，说明书和附图应被视为示例性的而非限制性意义的。
实际上，将理解，本公开的系统和方法各自具有若干创新性方面，这些方面中的任一单个方面不单独负责本文所公开的期望待性或不是本文所公开的期望待性所必需的。上述各种特征和过程可彼此独立使用或可以以各种方式组合使用。所有可能的组合和子组合均旨在落入此公开的范围内。
在单独实施例的上下文中在此说明书所述的某些特征也能在单个实施例中组合实现。相反，在单个实施例的上下文中所述的各种特征也能在多个实施例中单独地或以任何合适的子组合实现。此外，尽管上文可将特征描述为以某些组合执行，甚至最初这样要求保护，但在一些情况下，来自所要求保护的组合的一个或多个特征能被从该组合中删除，且所要求保护的组合可涉及子组合或子组合的变体。任何单个特征或特征组对于每个实施例都不是必需或不可或缺的。
将理解，本文中使用的条件语，诸如(除其他项外)“能”、“能够”、“可能”、“可以”、“例如”等一般旨在表达某些实施例包括而其他实施例不包括某些特征、元素和/或步骤，另有具体说明或在上下文中另有理解除外。因此，这样的条件语一般不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在具有或没有程序设计者输入或提示的情况下决定这些特征、元素和/或步骤是否包括在或者是否将在任何具体实施例中执行的逻辑。术语“包括”、“包含”、“具有”等是同义词，且以开放式的方式包含性地使用，且不排除额外的元素、特征、动作、操作等。此外，术语“或”以其包含性含义(而不是其专有性含义)使用，因此，当被用于例如连接元素列表时，术语“或”意味着列表中的一个、一些或全部元素。另外，本申请和所附权利要求书中使用的冠词“一”、“一个”和“所述”应被解释为意味着“一个或多个”或“至少一个”，另有具体说明除外。类似地，虽然操作在附图中可以以特定顺序描绘，但应认识到，这样的操作不需要以所述特定顺序或以相继顺序执行，或执行所有例示的操作以实现期望的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作能并入示意性地示出的示例方法和过程中。例如，能在任何所示操作之前、之后、同时或期间执行一个或多个附加操作。另外，在其他实施例中，操作可被重新排列或重新排序。在某些情况下，多任务和并行处理可具有优势。此外，上述实施例描述的各种系统组件的分离不应被理解为在所有实施例中都需要这种分离，且应该理解，所述程序组件和系统一般能被一起集成在单个软件产品中或封装到多个软件产品中。另外，其他实施例处于以下权利要求的范围内。在一些情况下，权利要求中列举的动作能以不同的顺序执行，且仍实现期望的结果。
因此，权利要求不旨在限于本文所示的实施例，而是符合与本公开、本文公开的原理和新颖特征相一致的最宽范围。

Claims (30)

1.一种显示系统，包括：
显示装置，其被配置为向用户呈现虚拟内容，其中所述显示装置被配置为以可变波前发散输出光；
一个或多个传感器，其附到所述显示装置，所述一个或多个传感器被配置为收集用户特定的数据；
一个或多个处理器；以及
存储指令的一个或多个计算机存储介质，当由所述系统执行所述指令时，使得所述系统执行包括以下操作的操作：
从所述一个或多个传感器收集数据；
将所述数据应用于初始预测模型；
继续从所述一个或多个传感器收集附加数据；以及
基于所述附加数据更新所述初始预测模型以产生修订的预测模型。
2.根据权利要求1所述的显示系统，其中所述显示装置被配置为以小于约0.25屈光度的适应-聚散不匹配输出图像。
3.根据权利要求1所述的显示系统，其中应用所述数据包括确定所述预测模型的结果。
4.根据权利要求1所述的显示系统，其中应用所述数据包括在确定所述预测模型的结果之前确定满足数据的标准或标准的组。
5.根据权利要求1所述的显示系统，其中所述显示装置被配置为在至少一个月的时间段内继续从所述一个或多个传感器收集附加数据。
6.根据权利要求3所述的显示系统，其中所述显示装置被配置为在所述时间段内一天持续约3小时或更长的时间的持续时间从所述一个或多个传感器收集附加数据。
7.根据权利要求1所述的显示系统，其中基于一个或多个统计功效分析确定要收集的所述附加数据的量。
8.根据权利要求1所述的显示系统，其中更新所述初始预测模型包括修改所述数据内的测量变量、要收集的数据点的数量、用于收集所述附加数据的时间段或者一个或多个测量变量的加权中的至少一个。
9.根据权利要求1所述的显示系统，其中更新所述初始预测模型包括使来自所述第一传感器和所述第二传感器的数据相关。
10.根据权利要求8所述的显示系统，其中所述一个或多个传感器至少包括用于收集所述用户特定的数据的第一传感器和用于收集外部数据的第二传感器。
11.根据权利要求1所述的显示系统，还包括：
远程数据储存库，其包括存储所述指令的所述一个或多个计算机存储介质；以及
包括所述一个或多个处理器的远程处理模块，其中所述一个或多个处理器被配置为执行所述操作。
12.一种进行用户健康分析的方法，所述方法包括：
从被配置为以可变波前发散输出光的增强现实显示装置中的一个或多个传感器收集数据；
将所述数据应用于初始预测模型；
继续从所述一个或多个传感器收集附加数据；以及
基于所述附加数据更新所述初始预测模型以产生修订的预测模型。
13.根据权利要求12所述的方法，还包括以小于约0.25屈光度的适应-聚散不匹配在所述显示装置上显示虚拟内容。
14.根据权利要求13所述的方法，其中所述适应-聚散小于约0.33屈光度。
15.根据权利要求12所述的方法，其中继续收集附加数据包括在至少一个月的时间段内从所述一个或多个传感器收集附加数据。
16.根据权利要求15所述的方法，其中继续收集附加数据包括在所述时间段内一天持续约3小时或更长的时间的持续时间从所述一个或多个传感器收集附加数据。
17.根据权利要求12所述的方法，其中基于一个或多个统计功效分析确定要收集的所述附加数据的量。
18.根据权利要求12所述的方法，其中更新所述初始预测模型包括修改所述数据内的测量变量、要收集的数据点的数量、用于收集所述附加数据的时间段或者一个或多个测量变量的加权中的至少一个。
19.根据权利要求12所述的方法，其中更新所述初始预测模型包括使来自所述第一传感器和所述第二传感器的数据相关。
20.根据权利要求19所述的方法，其中所述一个或多个传感器至少包括用于收集所述用户特定的数据的第一传感器和用于收集外部数据的第二传感器。
21.一种显示系统，包括：
显示装置，其被配置为向用户呈现虚拟内容，其中所述显示装置被配置为以可变波前发散输出光；
一个或多个传感器，其附到所述显示装置，所述一个或多个传感器被配置为收集用户特定的数据；
一个或多个处理器；以及
存储指令的一个或多个计算机存储介质，当由所述系统执行所述指令时，使得所述系统执行包括以下操作的操作：
从所述一个或多个传感器收集数据；
将所述数据应用于初始预测模型；
继续从所述一个或多个传感器收集附加数据；以及
基于所述附加数据导致干预发生。
22.根据权利要求21所述的显示系统，其中所述显示装置被配置为以小于约0.25屈光度的适应-聚散不匹配输出图像。
23.根据权利要求21所述的显示系统，其中所述显示装置被配置为在至少一个月的时间段内继续从所述一个或多个传感器收集附加数据。
24.根据权利要求23所述的显示系统，其中所述显示装置被配置为在所述时段内一天持续约3小时或更多的持续时间从所述一个或多个传感器收集附加数据。
25.根据权利要求21所述的显示系统，其中所述干预是对由所述预测模型的结果指示的状况的治疗。
26.一种进行用户健康分析的方法，所述方法包括：
从被配置为以可变波前发散输出光的增强现实显示装置中的一个或多个传感器收集数据；
将所述数据应用于初始预测模型；
继续从所述一个或多个传感器收集附加数据；以及
基于所述附加数据导致干预发生。
27.根据权利要求26所述的方法，还包括以小于约0.25屈光度的适应-聚散不匹配在所述显示装置上显示虚拟内容。
28.根据权利要求26所述的方法，其中继续收集附加数据包括在至少一个月的时间段内从所述一个或多个传感器收集附加数据。
29.根据权利要求28所述的方法，其中继续收集附加数据包括在所述时间段内一天持续约3小时或更长的持续时间从所述一个或多个传感器收集附加数据。
30.根据权利要求26所述的方法，其中所述干预是对由所述预测模型的结果指示的状况的治疗。
CN201780042528.7A 2016-05-09 2017-05-09 用于用户健康分析的增强现实系统和方法 Active CN109414164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210652539.XA CN115177208A (zh) 2016-05-09 2017-05-09 用于用户健康分析的增强现实系统和方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662333734P 2016-05-09 2016-05-09
US62/333,734 2016-05-09
US201662366576P 2016-07-25 2016-07-25
US62/366,576 2016-07-25
US201662440348P 2016-12-29 2016-12-29
US62/440,348 2016-12-29
PCT/US2017/031806 WO2017196879A1 (en) 2016-05-09 2017-05-09 Augmented reality systems and methods for user health analysis

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210652539.XA Division CN115177208A (zh) 2016-05-09 2017-05-09 用于用户健康分析的增强现实系统和方法

Publications (2)

Publication Number Publication Date
CN109414164A true CN109414164A (zh) 2019-03-01
CN109414164B CN109414164B (zh) 2022-06-14

Family

ID=60242994

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780042528.7A Active CN109414164B (zh) 2016-05-09 2017-05-09 用于用户健康分析的增强现实系统和方法
CN202210652539.XA Pending CN115177208A (zh) 2016-05-09 2017-05-09 用于用户健康分析的增强现实系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210652539.XA Pending CN115177208A (zh) 2016-05-09 2017-05-09 用于用户健康分析的增强现实系统和方法

Country Status (9)

Country Link
US (3) US10813619B2 (zh)
EP (1) EP3454720A4 (zh)
JP (2) JP7021110B2 (zh)
KR (2) KR102450362B1 (zh)
CN (2) CN109414164B (zh)
AU (2) AU2017264695B2 (zh)
CA (1) CA3023526A1 (zh)
IL (3) IL289757B1 (zh)
WO (1) WO2017196879A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110152160A (zh) * 2019-04-23 2019-08-23 北京阿叟阿巴科技有限公司 自闭症康复干预系统
CN110222639A (zh) * 2019-06-05 2019-09-10 清华大学 人体应激反应测试方法与系统
CN111091732A (zh) * 2019-12-25 2020-05-01 塔普翊海（上海）智能科技有限公司 一种基于ar技术的心肺复苏指导器及指导方法
CN111839480A (zh) * 2020-07-14 2020-10-30 广州智康云科技有限公司 一种机器人的检测处理系统、方法及机器人
CN114388058A (zh) * 2022-01-13 2022-04-22 西湖大学 基于九轴imu的蛋白任意截面生成方法
CN114748760A (zh) * 2022-03-01 2022-07-15 上海市第一康复医院(上海市杨浦区老年医院) 血压与心理压力调降自我训练系统
US20220404621A1 (en) * 2020-12-22 2022-12-22 Telefonaktiebolaget Lm Ericsson (Publ) Moderating a user?s sensory experience with respect to an extended reality
CN115590482A (zh) * 2022-07-20 2023-01-13 重庆长安汽车股份有限公司（Cn） 一种驾驶员异常行为预测方法、装置、设备及存储介质
TWI793947B (zh) * 2021-12-29 2023-02-21 國立臺灣大學 一種虛擬實境平衡障礙訓練系統、方法及其電腦可讀媒介
TWI800286B (zh) * 2022-03-03 2023-04-21 李信達 血壓與生心理壓力調降自我訓練系統
CN116138733A (zh) * 2022-09-01 2023-05-23 上海市第四人民医院 可视化疼痛等级评分方法及应用
US12007561B2 (en) 2020-12-22 2024-06-11 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices related to extended reality

Families Citing this family (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HK1203120A2 (zh) * 2014-08-26 2015-10-16 高平 步態偵察器與偵察步態的方法
KR102450362B1 (ko) 2016-05-09 2022-10-04 매직 립, 인코포레이티드 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들
US10620437B2 (en) 2016-05-25 2020-04-14 Lenovo (Singapore) Pte. Ltd. Systems and methods for presentation of images from camera concurrently with presentation of virtual reality content
US10335045B2 (en) 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
US11707216B2 (en) * 2016-07-21 2023-07-25 Comcast Cable Communications, Llc Recommendations based on biometric feedback from wearable device
IL298851B2 (en) 2016-07-25 2023-12-01 Magic Leap Inc Change, display and visualization of imaging using augmented and virtual reality glasses
CN206095292U (zh) * 2016-08-29 2017-04-12 京东方科技集团股份有限公司 一种可穿戴设备
US11382547B2 (en) * 2016-09-12 2022-07-12 Embraer S.A. Brain stimulation system to provide a sense of wellbeing
US10067565B2 (en) * 2016-09-29 2018-09-04 Intel Corporation Methods and apparatus for identifying potentially seizure-inducing virtual reality content
CN106773060B (zh) * 2017-02-10 2019-05-10 京东方科技集团股份有限公司 头戴式虚拟现实设备
US11141095B2 (en) * 2017-02-17 2021-10-12 Oculogica Inc. Method and system for detecting concussion
CN117389420A (zh) 2017-04-14 2024-01-12 奇跃公司 多模式眼睛跟踪
US10262446B2 (en) * 2017-07-26 2019-04-16 Lenovo (Singapore) Pte. Ltd. Systems and methods to alter presentation of virtual rendition based on real world object
JP6844468B2 (ja) * 2017-08-09 2021-03-17 富士通株式会社 データ生成プログラム、データ生成方法及びデータ生成装置
US11456064B2 (en) * 2017-08-25 2022-09-27 Behjat Iranpour Mobarakeh System and method for medical platform employing artificial intelligence and wearable devices
US10809796B2 (en) 2017-09-29 2020-10-20 Apple Inc. Monitoring a user of a head-wearable electronic device
US11164088B2 (en) 2017-10-27 2021-11-02 International Business Machines Corporation Interactive feedback and assessment experience
US11062616B2 (en) * 2017-10-27 2021-07-13 International Business Machines Corporation Interactive learning experience
US10842967B2 (en) 2017-12-18 2020-11-24 Ifgcure Holdings, Llc Augmented reality therapy for treating mental health and developmental disorders
CN108260155B (zh) * 2018-01-05 2021-05-07 西安电子科技大学 一种基于时空相似度的无线传感网异常检测方法
WO2019143688A1 (en) * 2018-01-19 2019-07-25 Pcms Holdings, Inc. Multi-focal planes with varying positions
US10275919B1 (en) * 2018-02-06 2019-04-30 International Business Machines Corporation Preventing transition shocks during transitions between realities
US11627877B2 (en) * 2018-03-20 2023-04-18 Aic Innovations Group, Inc. Apparatus and method for user evaluation
WO2019232104A1 (en) * 2018-05-29 2019-12-05 Otsuka America Pharmaceutical Inc. Generating and searching data structures that facilitate measurement-informed treatment recommendations
ES2734740A1 (es) 2018-06-08 2019-12-11 Bart Jan Jaeken Instrumento de realidad virtual para medir la refraccion y aberraciones del ojo de manera automatica
US11903712B2 (en) * 2018-06-08 2024-02-20 International Business Machines Corporation Physiological stress of a user of a virtual reality environment
US11087538B2 (en) 2018-06-26 2021-08-10 Lenovo (Singapore) Pte. Ltd. Presentation of augmented reality images at display locations that do not obstruct user's view
US11106033B2 (en) 2018-07-05 2021-08-31 Magic Leap, Inc. Waveguide-based illumination for head mounted display system
CN112585963B (zh) 2018-07-05 2024-04-09 Pcms控股公司 用于2d显示器上的内容的3d感知的近眼焦平面覆盖层的方法和系统
US20200020096A1 (en) * 2018-07-11 2020-01-16 William Franz Lamberti Generalized Process for Categorizing and Analyzing Image Data
US11272870B2 (en) * 2018-07-30 2022-03-15 Hi Llc Non-invasive systems and methods for detecting mental impairment
US11756691B2 (en) 2018-08-01 2023-09-12 Martin Reimann Brain health comparison system
US11393170B2 (en) 2018-08-21 2022-07-19 Lenovo (Singapore) Pte. Ltd. Presentation of content based on attention center of user
US20200066051A1 (en) * 2018-08-21 2020-02-27 Stayhealthy, Inc. Mindful art for stress relief using an augmented reality mobile application that allows both electronic and printed coloring that then turns into a 3d animated rendering of the colored art
US10991139B2 (en) 2018-08-30 2021-04-27 Lenovo (Singapore) Pte. Ltd. Presentation of graphical object(s) on display to avoid overlay on another item
US20200069181A1 (en) * 2018-09-01 2020-03-05 Philip Jaques Sampson I-Examination
WO2020051511A1 (en) * 2018-09-06 2020-03-12 Ivision Technologies, Llc Autonomous multisensory apparatus for screening and therapy of visual, auditory and cognitive impairment with diagnostic capability and method thereof
US20200107767A1 (en) * 2018-10-09 2020-04-09 Synapstory Production Group Inc. Non-Invasive Portable Device and Method to Assess Mental Conditions
JP7228153B2 (ja) * 2018-10-19 2023-02-24 株式会社NeU 頭部装着装置、脳活動記録システム
US11508127B2 (en) * 2018-11-13 2022-11-22 Disney Enterprises, Inc. Capturing augmented reality on a head mounted display
US11287526B2 (en) * 2018-11-21 2022-03-29 Microsoft Technology Licensing, Llc Locating spatialized sounds nodes for echolocation using unsupervised machine learning
US20200193859A1 (en) * 2018-12-17 2020-06-18 Carnegie Mellon University Tool, system and method for mixed-reality awareness educational environments
JP7283075B2 (ja) * 2018-12-27 2023-05-30 株式会社ニデック 表示装置
JP7539386B2 (ja) * 2018-12-28 2024-08-23 マジック リープ， インコーポレイテッド 左眼および右眼のための共有ディスプレイを伴う拡張および仮想現実ディスプレイシステム
US10943407B1 (en) 2019-01-25 2021-03-09 Wellovate, LLC XR health platform, system and method
DE102019108999B4 (de) 2019-04-05 2020-12-31 Psholix Ag Verfahren zur immersiven Anzeige von stereoskopischen Bildern und Bildfolgen
EP3938019A4 (en) * 2019-04-19 2022-10-12 Hewlett-Packard Development Company, L.P. NOISE ADJUSTMENTS TO COGNITIVE LOAD-BASED CONTENT
CN110236572B (zh) * 2019-05-07 2021-10-26 平安科技（深圳）有限公司 基于体温信息的抑郁症预测系统
WO2020240577A1 (en) * 2019-05-24 2020-12-03 Rajneesh Bhandari Method and system for performing automatic vestibular assessment
CN110292514A (zh) * 2019-06-03 2019-10-01 东莞佰和生物科技有限公司 服务于老年痴呆患者的智能机器人康复训练的方法
US20210008330A1 (en) * 2019-07-09 2021-01-14 Drexel University Methods and systems of virtual reality (vr) behavior modification
US11224339B2 (en) 2019-07-16 2022-01-18 International Business Machines Corporation Dynamic eye condition self-diagnosis
CN110610754A (zh) * 2019-08-16 2019-12-24 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种沉浸式可穿戴诊断与治疗装置
US11923088B2 (en) * 2019-08-30 2024-03-05 AR & NS Investment, LLC Artificial intelligence-based personalized health maintenance system to generate digital therapeutic environment for multi-modal therapy
CN110638455B (zh) * 2019-09-26 2022-06-14 京东方科技集团股份有限公司 用于评估用户康复状态的服务器、系统、设备及介质
US20220344054A1 (en) * 2019-09-27 2022-10-27 Semiconductor Energy Laboratory Co., Ltd. Statistical model creation method, state estimation method, and state estimation system
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
CA3168925A1 (en) * 2020-01-30 2021-08-05 Centre For Addiction And Mental Health Tool for assisting individuals experiencing auditory hallucinations to differentiate between hallucinations and ambient sounds
US11641890B2 (en) 2020-01-31 2023-05-09 Kyndryl, Inc. Wearer physical status indication using an electronically adjustable garment
EP3886461B1 (en) * 2020-03-24 2023-11-08 Sonova AG Hearing device for identifying a sequence of movement features, and method of its operation
CN113520450B (zh) * 2020-04-13 2023-03-14 中国人民解放军海军特色医学中心 一种无线听诊器
US11918382B2 (en) 2020-04-13 2024-03-05 International Business Machines Corporation Continual background monitoring of eye health
US11651855B2 (en) * 2020-04-16 2023-05-16 Aetna Inc. Systems and methods for managing and updating contextual intelligent processes using artificial intelligence algorithms
CN115397308A (zh) * 2020-04-29 2022-11-25 德克斯康公司 使用机器学习对低血糖事件的预测
EP4158583A4 (en) * 2020-05-28 2024-07-03 Mandometer Ab SYSTEMS AND METHODS FOR TRAINING EATING BEHAVIOR IN VIRTUAL REALITY
WO2021248191A1 (en) * 2020-06-09 2021-12-16 HitIQ Limited Improved assessment and management of brain injuries using a combination of instrumented mouthguard devices and human performance testing
US11630508B1 (en) * 2020-06-12 2023-04-18 Wells Fargo Bank, N.A. Apparatuses and methods for securely presenting digital objects
CN111671399B (zh) * 2020-06-18 2021-04-27 清华大学 噪声感知强度的测量方法、装置和电子设备
US11460921B2 (en) 2020-07-09 2022-10-04 Bank Of America Corporation System for wireless communication between a brain activity monitoring system and a resource
US11467663B2 (en) 2020-07-09 2022-10-11 Bank Of America Corporation System for wireless communication between a brain activity monitoring system and a resource distribution hub
US11526876B2 (en) 2020-07-09 2022-12-13 Bank Of America Corporation System for calibration of an EEG device for detection of specific brainwave patterns
CN112617831B (zh) * 2020-09-18 2021-08-31 东北大学 基于虚拟现实与脑-机接口的阿尔兹海默症辅助治疗装置
JPWO2022070821A1 (zh) * 2020-09-29 2022-04-07
FR3117221B1 (fr) * 2020-12-04 2023-01-06 Socialdream dispositif immersif
KR102496561B1 (ko) * 2020-12-31 2023-02-07 광운대학교 산학협력단 뇌파 분석을 기반으로 치매를 예측하는 인공지능 관제시스템, 관제방법, 관제서버 및 노인 맞춤형 서비스 제공방법
US11556951B1 (en) 2021-01-12 2023-01-17 Wells Fargo Bank, N.A. Systems and methods for geolocation-based city and community promoted augmented reality rewards
US11776004B1 (en) 2021-01-12 2023-10-03 Wells Fargo Bank, N.A. Systems and methods for geolocation-based city and community promoted augmented reality rewards
US11289196B1 (en) 2021-01-12 2022-03-29 Emed Labs, Llc Health testing and diagnostics platform
US12009074B2 (en) 2021-01-26 2024-06-11 Unify Patente Gmbh & Co. Kg System and method for augmentating video data
CN115049575A (zh) * 2021-02-26 2022-09-13 北京小米移动软件有限公司 图像分析方法和装置
US11468713B2 (en) 2021-03-02 2022-10-11 Bank Of America Corporation System and method for leveraging a time-series of microexpressions of users in customizing media presentation based on users# sentiments
US20240225443A9 (en) * 2021-03-05 2024-07-11 Aeyedx, Inc. System and method to obtain intraocular pressure measurements and other ocular parameters
KR20220129175A (ko) * 2021-03-16 2022-09-23 현대자동차주식회사 드라이빙 스루 진료 시스템 및 드라이빙 스루 진료 방법
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11373756B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US20220344046A1 (en) * 2021-04-26 2022-10-27 New Pill Technologies, Inc. Methods, systems, apparatuses, and devices for facilitating managing administering of psychedelic drugs to users
US20220346725A1 (en) * 2021-04-30 2022-11-03 Medtronic, Inc. Voice-assisted acute health event monitoring
US20240261532A1 (en) * 2021-06-04 2024-08-08 University Of Kansas Virtual reality-based psychotherapy system with real-time electroencephalogram feedback
GB2623461A (en) 2021-06-22 2024-04-17 Emed Labs Llc Systems, methods, and devices for non-human readable diagnostic tests
AR122808A1 (es) * 2021-06-30 2022-10-05 Fernandez Iglesias Javier Alberto Sistema y procedimiento de entrenamiento físico-mental aplicado a personas con enfermedades neurodegenerativas
KR102379132B1 (ko) * 2021-06-30 2022-03-30 액티브레인바이오(주) 디지털 컨텐츠 기반 치료 정보 제공 장치 및 방법
US11663790B2 (en) 2021-08-18 2023-05-30 Optum, Inc. Dynamic triggering of augmented reality assistance mode functionalities
US12014829B2 (en) 2021-09-01 2024-06-18 Emed Labs, Llc Image processing and presentation techniques for enhanced proctoring sessions
WO2023037714A1 (en) * 2021-09-10 2023-03-16 Sony Group Corporation Information processing system, information processing method and computer program product
US20230104641A1 (en) * 2021-10-05 2023-04-06 Koa Health B.V. Real-time Patient Monitoring for Live Intervention Adaptation
WO2023059722A1 (en) * 2021-10-06 2023-04-13 Innovaccer Inc. Automated health monitoring system and method
US20230154611A1 (en) * 2021-11-18 2023-05-18 V Group Inc. Methods and systems for detecting stroke in a patient
KR102657537B1 (ko) * 2021-11-23 2024-04-17 주식회사 바이오브레인 자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템
CN114366466B (zh) * 2021-12-10 2023-11-24 上海工程技术大学 一种集成健康信息监测与预测的代步护理机器人
US11950021B2 (en) 2021-12-22 2024-04-02 Lenovo (Singapore) Pte. Ltd. Presentation of video feed on one display to appear as though presented on another display
CN118647311A (zh) * 2022-02-23 2024-09-13 田边三菱制药株式会社 信息处理设备、信息处理系统、信息处理方法和程序
US11751819B2 (en) * 2022-04-11 2023-09-12 Foshan Jiepin Toy Industrial Co., Ltd. Alarm system for monitoring physical disorder of user during immersive VR experience
WO2023250096A1 (en) * 2022-06-23 2023-12-28 Universal City Studios Llc Interactive imagery systems and methods
WO2024009841A1 (ja) * 2022-07-05 2024-01-11 株式会社ニデック 被検者情報取得装置および眼科システム
KR20240082627A (ko) * 2022-12-02 2024-06-11 재단법인대구경북과학기술원 인지 재활 훈련의 자동화 방법 및 장치
WO2024132099A1 (en) * 2022-12-19 2024-06-27 Telefonaktiebolaget Lm Ericsson (Publ) Distance determination to physical object
KR102590988B1 (ko) * 2023-01-06 2023-10-23 주식회사 구스랩스 아바타와 함께 운동하는 메타버스 서비스 제공 장치, 방법 및 프로그램
US11751799B1 (en) * 2023-02-08 2023-09-12 Lanny Leo Johnson Methods and systems for diagnosing cognitive conditions

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103491856A (zh) * 2011-02-24 2014-01-01 透明医疗体系公司 在视力矫正手术中使用的波前数据的测量/显示/记录/回放
US20150016777A1 (en) * 2012-06-11 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US20160077547A1 (en) * 2014-09-11 2016-03-17 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
JP2003085289A (ja) 2001-09-13 2003-03-20 Matsushita Electric Ind Co Ltd 食生活改善支援装置
US20050216243A1 (en) * 2004-03-02 2005-09-29 Simon Graham Computer-simulated virtual reality environments for evaluation of neurobehavioral performance
AU2005269256B2 (en) 2004-08-03 2008-08-07 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
EP1784988A1 (en) * 2004-08-06 2007-05-16 University of Washington Variable fixation viewing distance scanned light displays
US9471978B2 (en) * 2004-10-04 2016-10-18 Banner Health Methodologies linking patterns from multi-modality datasets
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
EP4098177A1 (en) * 2007-10-09 2022-12-07 DexCom, Inc. Integrated insulin delivery system with continuous glucose sensor
US7979380B2 (en) 2008-02-22 2011-07-12 Applied Materials, Inc. Dynamically updated predictive model
JP2011033400A (ja) 2009-07-30 2011-02-17 Weather Service Co Ltd 環境情報提供装置、システム、方法およびプログラム
US20110124996A1 (en) 2009-11-20 2011-05-26 Roche Diagnostics Operations, Inc. Diabetes health management systems and methods
US20150309316A1 (en) * 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
WO2012081194A1 (ja) 2010-12-17 2012-06-21 パナソニック株式会社 医療支援装置、医療支援方法および医療支援システム
EP2656135B1 (en) 2010-12-24 2022-05-04 Magic Leap, Inc. Freeform waveguide prism
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CA2835120C (en) 2011-05-06 2019-05-28 Magic Leap, Inc. Massive simultaneous remote digital presence world
EP2761362A4 (en) 2011-09-26 2014-08-06 Microsoft Corp VIDEO DISPLAY CHANGE BASED ON SENSOR INPUT FOR TRANSPARENT EYE DISPLAY
EP2760363A4 (en) 2011-09-29 2015-06-24 Magic Leap Inc TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION
CA3207408A1 (en) 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
JP6250547B2 (ja) 2011-11-23 2017-12-20 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ３次元仮想現実および拡張現実表示システム
US20130216989A1 (en) * 2012-02-22 2013-08-22 Mgoodlife, Corp. Personalization platform for behavioral change
NZ700887A (en) 2012-04-05 2016-11-25 Magic Leap Inc Wide-field of view (fov) imaging devices with active foveation capability
CN115494654A (zh) 2012-06-11 2022-12-20 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
US9044171B2 (en) * 2012-06-22 2015-06-02 Fitbit, Inc. GPS power conservation using environmental data
US9599632B2 (en) * 2012-06-22 2017-03-21 Fitbit, Inc. Fitness monitoring device with altimeter
JP2015534108A (ja) 2012-09-11 2015-11-26 マジック リープ， インコーポレイテッド 人間工学的な頭部搭載型ディスプレイデバイスおよび光学システム
KR102507206B1 (ko) 2013-01-15 2023-03-06 매직 립, 인코포레이티드 초고해상도 스캐닝 섬유 디스플레이
KR20230173231A (ko) 2013-03-11 2023-12-26 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
KR102560629B1 (ko) 2013-03-15 2023-07-26 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US9750433B2 (en) * 2013-05-28 2017-09-05 Lark Technologies, Inc. Using health monitor data to detect macro and micro habits with a behavioral model
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9936916B2 (en) * 2013-10-09 2018-04-10 Nedim T. SAHIN Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a portable data collection device
AU2014337171B2 (en) 2013-10-16 2018-11-15 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
CN107329259B (zh) 2013-11-27 2019-10-11 奇跃公司 虚拟和增强现实系统与方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US9504425B2 (en) 2013-12-16 2016-11-29 Verily Life Sciences Llc Method of location coordination via wireless protocol between multiple devices
US20160171769A1 (en) 2014-01-24 2016-06-16 Osterhout Group, Inc. See-through computer display systems
EP3712680B1 (en) 2014-01-31 2022-07-13 Magic Leap, Inc. Multi-focal display system and method
CN111552079B (zh) 2014-01-31 2022-04-15 奇跃公司 多焦点显示系统和方法
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20150262425A1 (en) * 2014-03-13 2015-09-17 Ryan Hastings Assessing augmented reality usage and productivity
US10620700B2 (en) 2014-05-09 2020-04-14 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
EP3143575A2 (en) 2014-05-15 2017-03-22 Essilor International (Compagnie Générale D'Optique) A monitoring system for monitoring head mounted device wearer
CN106662754B (zh) 2014-05-30 2021-05-25 奇跃公司 用于采用虚拟或增强现实装置生成虚拟内容显示的方法和系统
US9923980B2 (en) * 2014-06-27 2018-03-20 Intel Corporation Apparatus and methods for providing recommendations based on environmental data
KR20160034199A (ko) * 2014-09-19 2016-03-29 삼성전자주식회사 건강 관리 방법 및 장치
US10368744B1 (en) * 2015-02-17 2019-08-06 Halo Wearables, Llc Baselining user profiles from portable device information
WO2016133644A1 (en) * 2015-02-20 2016-08-25 Covidien Lp Operating room and surgical site awareness
NZ773812A (en) 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
WO2017165848A1 (en) 2016-03-25 2017-09-28 Magic Leap, Inc. Virtual and augmented reality systems and methods
KR102450362B1 (ko) 2016-05-09 2022-10-04 매직 립, 인코포레이티드 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들
US20170364661A1 (en) * 2016-06-15 2017-12-21 International Business Machines Corporation Health monitoring

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103491856A (zh) * 2011-02-24 2014-01-01 透明医疗体系公司 在视力矫正手术中使用的波前数据的测量/显示/记录/回放
US20150016777A1 (en) * 2012-06-11 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US20160077547A1 (en) * 2014-09-11 2016-03-17 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110152160A (zh) * 2019-04-23 2019-08-23 北京阿叟阿巴科技有限公司 自闭症康复干预系统
CN110152160B (zh) * 2019-04-23 2021-08-31 北京阿叟阿巴科技有限公司 自闭症康复干预系统
CN110222639A (zh) * 2019-06-05 2019-09-10 清华大学 人体应激反应测试方法与系统
US11751785B2 (en) 2019-06-05 2023-09-12 Tsinghua University Testing method and testing system for human stress reaction, and computer-readable storage medium
CN111091732A (zh) * 2019-12-25 2020-05-01 塔普翊海（上海）智能科技有限公司 一种基于ar技术的心肺复苏指导器及指导方法
CN111091732B (zh) * 2019-12-25 2022-05-27 塔普翊海（上海）智能科技有限公司 一种基于ar技术的心肺复苏指导器及指导方法
CN111839480A (zh) * 2020-07-14 2020-10-30 广州智康云科技有限公司 一种机器人的检测处理系统、方法及机器人
CN111839480B (zh) * 2020-07-14 2024-03-29 广州智康云科技有限公司 一种机器人的检测处理系统、方法及机器人
US20220404621A1 (en) * 2020-12-22 2022-12-22 Telefonaktiebolaget Lm Ericsson (Publ) Moderating a user?s sensory experience with respect to an extended reality
US12007561B2 (en) 2020-12-22 2024-06-11 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices related to extended reality
TWI793947B (zh) * 2021-12-29 2023-02-21 國立臺灣大學 一種虛擬實境平衡障礙訓練系統、方法及其電腦可讀媒介
CN114388058A (zh) * 2022-01-13 2022-04-22 西湖大学 基于九轴imu的蛋白任意截面生成方法
CN114748760A (zh) * 2022-03-01 2022-07-15 上海市第一康复医院(上海市杨浦区老年医院) 血压与心理压力调降自我训练系统
TWI800286B (zh) * 2022-03-03 2023-04-21 李信達 血壓與生心理壓力調降自我訓練系統
CN115590482A (zh) * 2022-07-20 2023-01-13 重庆长安汽车股份有限公司（Cn） 一种驾驶员异常行为预测方法、装置、设备及存储介质
CN116138733A (zh) * 2022-09-01 2023-05-23 上海市第四人民医院 可视化疼痛等级评分方法及应用
CN116138733B (zh) * 2022-09-01 2023-12-26 上海市第四人民医院 可视化疼痛等级评分方法及应用

Also Published As

Publication number Publication date
EP3454720A4 (en) 2019-11-20
WO2017196879A1 (en) 2017-11-16
AU2017264695B2 (en) 2022-03-31
AU2017264695A1 (en) 2018-11-22
US20200405257A1 (en) 2020-12-31
KR102643105B1 (ko) 2024-03-04
KR20220134792A (ko) 2022-10-05
US20170323485A1 (en) 2017-11-09
JP2022068215A (ja) 2022-05-09
KR102450362B1 (ko) 2022-10-04
JP2019517849A (ja) 2019-06-27
US10813619B2 (en) 2020-10-27
CN109414164B (zh) 2022-06-14
CN115177208A (zh) 2022-10-14
IL289757B1 (en) 2024-08-01
IL310060A (en) 2024-03-01
US11071515B2 (en) 2021-07-27
KR20190005219A (ko) 2019-01-15
JP7333432B2 (ja) 2023-08-24
US20220015736A1 (en) 2022-01-20
EP3454720A1 (en) 2019-03-20
US11617559B2 (en) 2023-04-04
IL262753A (en) 2018-12-31
IL289757A (en) 2022-03-01
JP7021110B2 (ja) 2022-02-16
IL262753B (en) 2022-02-01
AU2022204426A1 (en) 2022-07-14
CA3023526A1 (en) 2017-11-16

Similar Documents

Publication Publication Date Title
US11617559B2 (en) Augmented reality systems and methods for user health analysis
US11734896B2 (en) Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
US11244485B2 (en) Augmented reality systems and methods utilizing reflections

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant