CN110431636A - 医疗助理 - Google Patents

医疗助理 Download PDF

Info

Publication number
CN110431636A
CN110431636A CN201880017158.6A CN201880017158A CN110431636A CN 110431636 A CN110431636 A CN 110431636A CN 201880017158 A CN201880017158 A CN 201880017158A CN 110431636 A CN110431636 A CN 110431636A
Authority
CN
China
Prior art keywords
user
patient
wearable device
medical
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880017158.6A
Other languages
English (en)
Inventor
N·U·罗柏纳
N·E·萨梅茨
M·拜伦洛特
C·M·哈利西斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202310215980.6A priority Critical patent/CN116230153A/zh
Publication of CN110431636A publication Critical patent/CN110431636A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/339—Displays specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Business, Economics & Management (AREA)
  • Ophthalmology & Optometry (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Acoustics & Sound (AREA)
  • Cardiology (AREA)
  • Computer Hardware Design (AREA)

Abstract

一种可穿戴设备可以针对医疗保健环境中的许多应用向穿戴者呈现虚拟内容。穿戴者可以是患者或医疗保健提供者(HCP)。这样的应用可以包括但不限于访问、显示和修改患者医疗记录以及在授权的HCP之间共享患者医疗记录。

Description

医疗助理
相关申请的交叉引用
本申请根据35 U.S.C.§119(e)要求2017年1月11日提交的名称为“MEDICALASSISTANT(医疗助理)”的美国临时专利申请No.62/445182，以及2017年1月20日提交的名称为“MEDICAL ASSISTANT(医疗助理)”的美国临时专利申请No.62/448656的优先权的权益，每个申请的公开内容在此通过引用整体并入本文中。
技术领域
本公开涉及医疗保健(healthcare)环境中的虚拟现实和增强现实成像和可视化系统。
背景技术
现代计算和显示技术促进了用于所谓的“虚拟现实”、“增强现实”或“混合现实”体验的系统的开发，其中数字再现的图像或其部分以它们看起来是或者可以被感觉是真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而不对其它实际的真实世界的视觉输入透明；增强现实或“AR”场景通常涉及将数字或虚拟图像信息呈现为对用户周围的现实世界的可视化的增强；混合现实或“MR”涉及将真实世界和虚拟世界合并以产生物理和虚拟对象共存并实时交互的新环境。事实证明，人类视觉感知系统非常复杂，并且产生VR、AR或MR技术具有挑战性，这些技术便于在其它虚拟或真是世界的图像元素中舒适、自然、丰富地呈现虚拟图像元素。在此公开的系统和方法解决了与VR、AR和MR技术有关的各种挑战。
发明内容
可穿戴设备可以针对医疗保健环境中的许多应用向穿戴者呈现虚拟内容。穿戴者可以是患者或医疗保健提供者(HCP)。这些应用可以包括但不限于访问、显示和修改患者医疗记录以及在授权的HCP之间共享患者医疗记录。患者医疗记录可以存储在集中的位置并由患者拥有，而不是由患者可以使用其服务的各种HCP组织(例如，医院、诊所、医生办公室)存储。可穿戴设备可以访问患者的医疗记录的一部分并将其显示给授权的HCP。由于患者的医疗记录被集中存储并且每当对患者进行程序(procedure)或治疗时被修改，因此，医疗记录可以保持基本完整。在医疗程序或治疗期间，可穿戴设备可以向主治HCP显示与患者或患者的医疗记录相关联的虚拟内容。HCP可以使用可穿戴设备来更新患者的医疗记录，以解释程序或治疗的结果。HCP可以使用可穿戴设备而与其他授权的HCP共享患者的部分或全部医疗记录。可穿戴设备的面向外的相机可以对医疗程序期间使用的医疗器械进行成像和跟踪。可穿戴设备可以在程序期间对患者的部位进行成像。如果医疗器械留在患者体内，或者HCP要脱离授权的医疗程序或协议，则可穿戴设备可以向HCP显示警报，以便可以将器械从患者身体取出或者遵循授权的程序或协议。
在附图和以下描述中阐述了本说明书中描述的主题的一种或多种实施方式的细节。通过说明书、附图和权利要求，其它特征、方面和优点将变得显而易见。本发明内容和以下具体实施方式都并非旨在限定或限制本发明主题的范围。
附图说明
图1A描绘了具有由人观看到的某些虚拟现实对象和某些物理对象的混合现实场景的图示。
图1B示出了可穿戴系统的穿戴者的视野和能视域(field of regard)。
图2A示意性地示出了可穿戴系统的示例。
图2B示出了包括环境传感器的可穿戴系统的各种部件的示例的示意图。
图3示意性地示出了使用多个深度平面模拟三维图像的方法的方面。
图4示意性地示出了用于向用户输出图像信息的波导堆叠的示例。
图5示出了可以由波导输出的示例性出射光束。
图6是示出光学系统的示意图，该光学系统包括波导装置、光学耦合器子系统以及控制子系统，其中光学耦合器子系统用于将光光学耦合到波导装置或从波导装置光学耦合光，控制子系统用于产生多焦点体积显示、图像或光场。
图7是可穿戴系统的示例的框图。
图8是呈现与所识别的对象相关的虚拟内容的方法的示例的过程流程图。
图9是可穿戴系统的另一示例的框图。
图10是用于确定可穿戴系统的用户输入的方法的示例的过程流程图。
图11是用于与虚拟用户界面交互的方法的示例的过程流程图。
图12示出了其中多个可穿戴设备和医疗保健提供者系统可以在医疗保健环境中彼此交互以提供医疗记录管理的示例性计算环境。
图13A、13B、13C和13D示出了用于与医疗保健数据库系统交互的示例过程。
图14A示出了基于与虚拟医疗记录相关联的访问权限而访问虚拟医疗记录的示例。
图14B示出了显示用于基于访问权限而访问虚拟医疗记录的示例过程的流程图。
图15示出了记录和处理与患者和医疗保健提供者之间的交互相关联的音频数据的示例。
图16是示出由医疗保健提供者(HCP)记录医疗事件的示例过程的流程图。
图17示意性地示出了显示彼此交互的多个设备的整体系统视图。
图18示出了在多个医疗提供者之间共享医疗信息的示例。
图19示出了将虚拟内容添加到在医疗程序期间拍摄的图像的示例。
图20是示出在多个医疗保健提供者之间共享虚拟内容的示例过程的流程图。
图21、22A、22B和23示出了基于情境(contextual)信息而呈现虚拟内容的示例。
图24是示出基于情境信息访问和呈现虚拟内容的示例过程的流程图。
图25示意性地示出了在具有无菌区的手术室中发生的医疗程序的示例。
图26是示出跟踪无菌区中的医疗对象的示例过程的流程图。
在全部附图中，参考标号可以被重复使用来指示被引用的要素之间的对应关系。提供附图是为了示出本文中描述的示例性实施例，而非旨在限制本公开的范围。
具体实施方式
概述
可向穿戴者呈现虚拟内容的可穿戴设备可以在医疗保健环境中具有多种应用。这些应用可以包括但不限于访问、显示和修改患者医疗记录以及在授权的医疗保健提供者(HCP)之间共享患者医疗记录。患者医疗记录可以存储在集中的位置并由患者，而不是由患者可以使用其服务的各种HCP组织(例如，医院、诊所、医生办公室)拥有。可穿戴设备可以访问患者的医疗记录的一部分并将其显示给授权的人员。由于患者的医疗记录被集中存储并且每当患者进行程序或治疗时被修改，因此，医疗记录可以保持基本完整(与目前常见的碎片情况相比，在碎片情况下，给患者治疗的每个HCP组织存储和修改其自己的与患者相关联的医疗记录)。此外，由于患者的医疗记录在患者每次接受程序或治疗时被基本上实时地存储和更新，因此，医疗记录可以保持基本上无偏差、精确和客观(与目前常见的情况相比，在常见的情况下，每个HCP在给患者进行治疗之后的某个时刻存储和更新患者的记录，并且可能由于不准确的记忆而在医疗记录中包括主观信息)。
在医疗程序或治疗期间，可穿戴设备可以向主治HCP显示与患者或患者的医疗记录相关联的虚拟内容。HCP可以使用可穿戴设备更新患者的医疗记录，以解释程序或治疗的结果。HCP可以使用可穿戴设备而与其他授权的HCP共享患者的部分或全部医疗记录(例如，外科医生可以在对患者进行手术期间与病理学家共享医疗记录)。医疗手术期间患者面临的危险包括外科医生可能在患者体内留下异物(例如，医疗器械，如手术刀)。可穿戴设备的面向外的相机可以对手术期间使用的医疗器械进行成像，并且可穿戴设备可以跟踪医疗器械的位置。如果异物将要留在患者体内，可穿戴设备可以向外科医生显示警报，以便可以在手术完成之前将异物从患者体内取出。
下面将描述可穿戴系统在医疗保健环境中的上述以及其它有利应用。
3D显示示例
可穿戴系统(这里也被称为增强现实(AR)系统)可以被配置为向用户呈现2D或3D虚拟图像。图像可以是静止图像、视频帧或视频、上述项的组合等等。可穿戴系统的至少一部分可以在可穿戴设备上实现，该可穿戴设备能够单独或组合地呈现VR、AR或MR环境以用于用户交互。可穿戴设备可以互换地用作AR设备(ARD)。此外，出于本公开的目的，术语“AR”可与术语“MR”互换地使用。
图1A描绘了具有由人观看到的某些虚拟现实对象以及某些物理对象的混合现实场景的图示。在图1A中，描绘了MR场景100，其中MR技术的用户看到以人、树木、背景中的建筑物以及混凝土平台120为特征的真实世界公园状设置110。除了这些项目之外，MR技术的用户还感知他“看到”站在真实世界平台120上的机器人雕像130，以及看起来像大黄蜂的化身的飞舞的卡通式的化身角色140，尽管这些元素不存在于真实世界中。
为了使3D显示器产生真实的深度感觉，更具体地，模拟的表面深度感觉，期望显示器的视野中的每个点产生与其虚拟深度对应的调节响应(accommodative response)。如果对一显示点的调节响应不对应于该点的虚拟深度(由会聚和立体视觉的双眼深度线索确定)，则人眼可能经历调节冲突，导致成像不稳定、有害的眼部紧张、头痛，并且在没有调节信息的情况下，几乎完全缺乏表面深度。
图1B示出了人的视野(FOV)和能视域(FOR)。FOV包括用户环境的由用户在给定时间感知的部分。当人四处移动，移动他们的头部，或移动他们的眼睛或注视时，该视野可以改变。
FOR包括用户周围的环境的能够被用户经由可穿戴系统感知的部分。因此，对于穿戴着头戴式增强现实设备的用户，能视域可以包括穿戴者周围的基本上全部4π球面度立体角，因为穿戴者可以移动他或她的身体、头部或眼睛以感知空间中的基本上任何方向。在其它情境下，用户的移动范围可能受到更多限制，因此，用户的能视域可能对着较小的立体角。图1B示出了这种包括中心区域和外围区域的视野155。中心视野将向人提供环境视图的中心区域中的对象的对应视图。类似地，外围视野将向人提供环境视图的外围区域中的对象的对应视图。在这种情况下，中心和外围随着人正在观看的方向而变化，因此随他们的视野而变化。视野155可以包括对象121、122。在该示例中，中心视野145包括对象121，而另一对象122在外围视野中。
视野(FOV)155可以包含多个对象(例如，对象121、122)。视野155可以取决于AR系统的尺寸或光学特性，例如，头戴式显示器的透明窗口或透镜(光通过该窗口或透镜从用户面前的真实世界传递到用户的眼睛)的通光孔径尺寸。在一些实施例中，当用户210的姿势(例如，头部姿势、身体姿势和/或眼睛姿势)改变时，视野155可以相应地改变，并且视野155内的对象也可以改变。如本文所述，可穿戴系统可以包括传感器，诸如监视能视域165中的对象以及视野155中的对象或者对这些对象进行成像的相机。在一些这样的实施例中，可穿戴系统可以警告用户在用户的视野155中出现的未被注意的对象或事件和/或在用户的视野之外但在能视域165内出现的未被注意的对象或事件。在一些实施例中，AR系统还可以区分用户210关注或不关注的事物。
FOV或FOR中的对象可以是虚拟对象或物理对象。虚拟对象例如可以包括操作系统对象，例如，用于输入命令的终端、用于访问文件或目录的文件管理器、图标、菜单、用于音频或视频流式传输的应用、来自操作系统的通知等等。虚拟对象还可以包括应用中的对象，例如游戏中的化身、虚拟对象，或者图形或图像等。虚拟对象还可以包括患者的数据(例如生理数据或病史)，以及环境数据，例如手术室的温度，等等。一些虚拟对象既可以是操作系统对象，也可以是应用中的对象。可穿戴系统可以将虚拟元素添加到通过头戴式显示器的透明光学器件观看的存在的物理对象，从而允许用户与物理对象进行交互。例如，可穿戴系统可以添加与房间中的医疗监视器相关联的虚拟菜单，其中虚拟菜单可以向用户提供使用可穿戴设备打开或调整医学成像设备或剂量控制的选项。因此，除了用户环境中的对象之外，可穿戴系统还可以向穿戴者呈现额外的虚拟图像内容。
图1B还示出了能视域(FOR)165，其包括人210周围环境的一部分，例如，人210能够通过转动他们的头或重定向他们的注视而感知到该部分。人210的眼睛的视野155的中心部分可以被称为中心视野145。位于视野155内但在中心视野145之外的区域可以被称为外围视野。在图1B中，能视域165可以包含能够被穿戴着可穿戴系统的用户感知的一组对象(例如，对象121、122、127)。
在一些实施例中，对象129可以在用户的视觉FOR之外，但是仍然可能被可穿戴设备上的传感器(例如，相机)感知(取决于它们的位置和视野)，与对象129相关联的信息被显示给用户210或者由可穿戴设备使用。例如，对象129可以在用户环境中的墙壁后面，使得用户不能在视觉上感知对象129。然而，可穿戴设备可以包括可以与对象129通信的传感器(诸如射频、蓝牙、无线或其它类型的传感器)。
可穿戴系统的示例
VR、AR和MR体验可以通过具有显示器的显示系统来提供，其中与多个深度平面对应的图像被提供给观看者。对于每个深度平面，图像可以是不同的(例如，提供场景或对象的略微不同的呈现)，并且可以由观看者的眼睛单独聚焦，从而有助于基于眼睛的调节(需要这种调节以使位于不同深度平面上的场景的不同图像特征聚焦)，以及/或者基于观察到不同深度平面上的不同图像特征失焦，为用户提供深度线索。如本文其它地方所讨论的，这种深度线索提供了可靠的深度感知。
图2A示出了可被配置为提供AR/VR/MR场景的可穿戴系统200的示例。可穿戴系统200可以是可穿戴设备的一部分(例如，可以单独地或组合地呈现VR、AR或MR环境以实现用户交互)。可穿戴系统200可以包括显示器220，以及支持显示器220的功能的各种机械和电子模块和系统。显示器220可以被耦接到框架230，该框架可由用户、穿戴者或观看者210穿戴。显示器220可以被定位在用户210的眼睛的前方。显示器220可以向用户呈现AR/VR/MR内容。显示器220可以包括穿戴在用户头部上的头戴式显示器(HMD)。在图2A中，扬声器240被耦接到框架230并且被定位在用户的耳道附近(在一些实施例中，另一扬声器(未示出)可以被定位在用户的另一耳道附近以提供立体声/可塑形的声音控制)。
如参考图12至26进一步描述的，可穿戴系统200可以被配置为允许用户与虚拟和物理对象交互。作为示例，医生可以穿戴ARD，ARD可以在医生对患者进行检查或对患者执行程序或手术时向医生呈现虚拟内容，例如患者医疗记录或生理数据(例如，心电图)的虚拟表示。可以基于用户与医生的环境中的物理对象的交互来呈现虚拟内容。例如，当医生对患者进行外科手术时，可穿戴系统可以显示与医生所使用的手术器械有关的虚拟信息，例如以跟踪医生(或手术团队)所使用的手术器械的位置或状态。
可穿戴系统200还可以包括面向外的成像系统464(在图4中示出)，其观察用户周围环境中的世界。可穿戴系统200还可以包括面向内的成像系统462(在图4中示出)，其可以跟踪用户的眼睛运动。面向内的成像系统可以跟踪任一眼睛的运动或全部两只眼睛的运动。面向内的成像系统可以被附接到框架230上，并且可以与处理模块260和/或270进行电连通，处理模块260或270可以处理由面向内的成像系统获取的图形信息以确定例如眼睛的瞳孔直径和/或取向，或者用户210的眼睛姿势。
作为示例，可穿戴系统200可以使用面向外的成像系统464和/或面向内的成像系统462获取用户姿势的图像。图像可以是静止图像、动画、视频帧或视频、它们的组合等等。用户的姿势可以包括头部姿势、眼睛姿势、手部姿势、脚部姿势或其它身体姿势。可以使用一种或多种姿势激活或关闭患者咨询的语音记录。例如，医生可以使用特定的手部姿势指示是否开始听写对患者的诊断。
可穿戴系统200还可以包括音频传感器(例如，麦克风232)。麦克风232可以是环境传感器，如参考图2B进一步描述的。麦克风可以(固定地或可移除地)附接到框架230、显示器220(或可穿戴系统200的其它部件)，可移除地附接到用户210，固定地或可移除地附接到物理对象(诸如医疗器械)或其他人(例如，用户的患者)。麦克风232可用于接收可穿戴系统200的用户的音频数据或用户环境中的声音(例如当用户的患者正在讲话时)。由麦克风232接收的音频数据可用于激活或关闭本文所述的口述特征。例如，可穿戴系统200可以检测可触发可穿戴系统200记录由麦克风232接收的音频的关键字。在一些实施例中，一个或多个其它音频传感器(未示出)可以被定位以提供立体声接收。立体声接收可用于确定声源的位置。可穿戴系统200可以对音频流执行声音或语音识别。
显示器220可以例如通过有线引线或无线连接可操作地耦接250到本地数据处理模块260，本地数据处理模块260可以以各种配置安装，例如固定地附接到框架230，固定地附接到用户戴的头盔或帽子，嵌入在耳机中，或以其它方式可移除地附接到用户210(例如，采取背包式配置，采取腰带耦接式配置)。
本地处理和数据模块260可以包括硬件处理器以及诸如非易失性存储器(例如，闪速存储器)的数字存储器，二者都可用于辅助数据的处理、缓存以及存储。数据可以包括如下数据：a)从环境传感器(其可以例如可操作地耦接到框架230或以其它方式附接到用户210)捕获的数据；和/或b)使用远程处理模块270和/或远程数据储存库280获取和/或处理的数据，可能在这样的处理或检索之后传递给显示器220。本地处理和数据模块260可以通过通信链路262和/或264(诸如经由有线或无线通信链路)可操作地耦接到远程处理模块270和/或远程数据储存库280，使得这些远程模块作为资源可用于本地处理和数据模块260。另外，远程处理模块280和远程数据储存库280可以可操作地相互耦接。
在一些实施例中，远程处理模块270可以包括一个或多个处理器，其被配置为分析和处理数据和/或图像信息。在一些实施例中，远程数据储存库280可以包括数字数据存储设施，其可以通过互联网或其它网络配置以“云”资源配置而可用。在一些实施例中，在本地处理和数据模块260中存储全部数据，并且执行全部计算，从而允许从远程模块完全自主使用。
远程数据储存库280可以被配置为存储各种数据。例如，远程数据储存库280可以存储环境地图(例如，诊所或手术室的地图)。如参考图9和12进一步描述的，可以基于由多个可穿戴系统在一段时间内收集的数据生成地图。环境地图可以从一个可穿戴系统传送到另一可穿戴系统。例如，手术室的地图在手术中可以在外科医生和护士之间共享。远程数据储存库280还可以存储医疗记录。这些医疗记录可以由患者拥有，而不是由对患者进行检查或手术的特定HCP拥有。因此，患者有利地可以控制对患者医疗记录中包含的患者的敏感患者信息的访问。在患者就医期间，患者的医生可以在检查患者时穿戴可穿戴设备。可穿戴设备可以在3D用户界面上呈现医疗记录。可穿戴设备还可以被配置为允许患者的医生在现有医疗记录中进行添加。例如，可穿戴设备可以允许医生给患者拍照，在肿瘤周围放置虚拟标志，使用语音控制输入诊断等等。添加的信息也可以被存储到远程数据储存库280。在一些实施例中，医疗记录或地图的一部分可以被存储在本地处理和数据模块260中。
示例环境传感器
可穿戴系统200可以包括环境传感器，以检测用户周围世界的对象、刺激、人、动物、位置或其它方面。环境传感器可以包括图像捕获设备(例如，相机、面向内的成像系统、面向外的成像系统等)、麦克风、惯性测量单元(IMU)、加速度计、罗盘、全球定位系统(GPS)单元、无线电设备、陀螺仪、高度计、气压计、化学传感器、湿度传感器、温度传感器、外部麦克风、光传感器(例如、光度计)、定时装置(例如，时钟或日历)，或其任何组合或子组合。在一些实施例中，环境传感器还可以包括各种生理传感器。这些传感器可以测量或估计用户的生理参数，例如心率、呼吸率、皮肤电反应、血压、脑电状态等。环境传感器还可以包括发射装置，其被配置为接收诸如激光、可见光、不可见波长光或声音(例如，可听声音、超声波或其它频率)之类的信号。在一些实施例中，一个或多个环境传感器(例如，相机或光传感器)可以被配置为测量环境的环境光(例如，亮度)(例如，以捕获环境的照明条件)。物理接触传感器(例如应变仪、路缘探测器等)也可以被包括作为环境传感器。
图2B示出了包括环境传感器的可穿戴系统的各种部件的示例的示意图。在一些实施例中，显示系统202可以是图2所示的可穿戴系统200的一部分。在一些实施方式中，显示系统202可以是混合现实显示系统。系统202可以包括各种环境传感器，例如传感器24、28、30、32和34。环境传感器可以被配置为检测关于可穿戴系统的用户的数据(也被称为用户传感器)或者是被配置为收集关于用户环境的数据(也被称为外部传感器)。例如，生理传感器可以是用户传感器的实施例，而气压计可以是外部传感器。在一些情况下，传感器可以既是用户传感器也是外部传感器。例如，当用户位于反射表面(例如镜子)前面时，面向外的成像系统可以获取用户环境的图像以及用户的图像。作为另一示例，麦克风可以同时用作用户传感器和外部传感器，因为麦克风可以从用户和环境获取声音。在图2B所示的示例中，传感器24、28、30和32可以是用户传感器，而传感器34可以是外部传感器。
如图所示，显示系统202可以包括各种用户传感器。显示系统202可以包括观看者成像系统22。观看者成像系统22可以是图4中描述的面向内的成像系统462和/或面向外的成像系统464的实施例。观看者成像系统22可以包括与光源26(例如，红外光源)配对的相机24(例如，红外、UV和/或可见光相机)，光源26指向并被配置为监视用户(例如，用户的眼睛201a、201b和/或周围组织)。相机24和光源26可以可操作地耦合到本地处理模块260。这样的相机24可以被配置为监视瞳孔的取向、形状和对称性(包括瞳孔大小)或相应眼睛的虹膜和/或眼睛周围的组织(例如眼睑或眉毛)中的一者或多者，以执行本文公开的各种分析。在一些实施例中，眼睛的虹膜和/或视网膜的成像可用于用户的安全识别。继续参考图2B，相机24可被进一步配置为对相应眼睛的视网膜进行成像，例如用于诊断目的和/或基于视网膜特征(例如中央凹或眼底的特征)的位置进行取向跟踪。可以执行虹膜或视网膜成像或扫描以便进行用户的安全识别，例如正确地将用户数据与特定用户进行关联和/或向适当的用户呈现私人信息。在一些实施例中，作为相机24的补充或替代，一个或多个相机28可以被配置为检测和/或监视用户状态的各种其它方面。例如，一个或多个相机28可以面向内并且被配置为监视用户眼睛以外的特征(例如一个或多个面部特征(例如面部表情、自主运动、非自主抽搐))的形状、位置、运动、颜色和/或其它特性。在另一示例中，一个或多个相机28可以面向下或面向外并且被配置为监视用户、用户FOV中的另一人的臂、手、腿、脚和/或躯干、FOV中的对象等的位置、运动和/或其它特征或特性。相机28可用于对环境进行成像，并且可穿戴设备可以分析这样的图像以确定触发事件是否正在发生，以便可穿戴设备可以使呈现给用户的视觉或听觉内容呈现(或静默)。
在一些实施例中，如本文所公开的，显示系统202可以包括空间光调制器，其通过光纤扫描仪(例如，图4中的图像注入装置——420、422、424、426、428)跨用户的视网膜可变地投射光以形成图像。在一些实施例中，光纤扫描仪可以与相机24或28结合使用或代替相机24或28使用，例如以跟踪用户的眼睛或对其进行成像。例如，作为被配置为输出光的扫描光纤的替代或补充，保健系统可以具有单独的光接收装置以接收从用户的眼睛反射的光，并收集与该反射光相关联的数据。
继续参考图2B，相机24、28和光源26可以安装在框架230上(如图2A所示)，框架230也可以保持波导堆叠205、206。在一些实施例中，显示系统202的传感器和/或其它电子设备(例如，相机24、28和光源26)可以被配置为通过通信链路262、264而与本地处理和数据模块260通信。
在一些实施例中，除了提供关于用户的数据之外，相机24和28中的一者或全部两者也可用于跟踪眼睛以提供用户输入。例如，观看者成像系统22可用于选择虚拟菜单上的项，和/或向显示系统202提供其它输入，例如用于在本文公开的各种测试和分析中提供用户响应。
在一些实施例中，显示系统202可以包括运动传感器32，例如一个或多个加速度计、陀螺仪、手势传感器、步态传感器、平衡传感器和/或IMU传感器。传感器30可以包括一个或多个向内指向(指向用户)的麦克风，其被配置为检测声音和那些声音的各种特性，包括检测到的声音的强度和类型、多个信号的存在和/或信号位置。
传感器30示意性地示出为被连接到框架230。应当理解，该连接可以采取物理附接到框架230的形式，并且可以附接到框架230上的任何位置，包括框架230的从用户耳朵上方延伸的镜腿(temple)的端部。例如，传感器30可以安装在框架230的镜腿的端部处，在框架230和用户之间的接触点处。在一些其它实施例中，传感器30可以远离框架230延伸以接触用户210(如图2A所示)。在另外的实施例中，传感器30可以不物理地附接到框架230；相反，传感器30可以与框架230间隔开。
在一些实施例中，显示系统202还可以包括一个或多个环境传感器34，环境传感器34被配置为检测用户周围的世界的对象、刺激、人、动物、位置或其它方面。例如，环境传感器34可以包括一个或多个相机、高度计、气压计、化学传感器、湿度传感器、温度传感器、外部麦克风、光传感器(例如，光度计)、定时装置(例如，时钟或日历)或任何组合或子组合。在一些实施例中，多个(例如，两个)麦克风可以间隔开，以便于声源定位确定。在包括环境感测相机的各种实施例中，相机例如可以面向外定位，以便捕获与用户的普通视野的至少一部分类似的图像。环境传感器还可以包括发射装置，其被配置为接收诸如激光、可见光、不可见波长光、声音(例如，可听声音、超声波或其它频率)之类的信号。在一些实施例中，一个或多个环境传感器(例如，相机或光传感器)可以被配置为测量环境的环境光(例如，亮度)(例如，以捕获环境的照明条件)。物理接触传感器(例如应变仪、路缘探测器等)也可以被包括作为环境传感器。
在一些实施例中，显示系统202还可以被配置为接收其它环境输入，例如GPS位置数据、天气数据、日期和时间，或可以从因特网接收的其它可用环境数据、卫星通信或其它合适的有线或无线数据通信方法。处理模块260可以被配置为访问表征用户位置的进一步信息，例如花粉量、人口统计、空气污染、环境毒素、来自智能恒温器的信息、生活方式统计或与其他用户、建筑物或医疗保健提供者的接近度。在一些实施例中，可以使用基于云的数据库或其它远程数据库来访问表征该位置的信息。处理模块70可以被配置为获得这样的数据和/或进一步分析来自环境传感器中或任一者或其组合的数据。
显示系统202可以被配置为持续长时间收集和存储通过上述任何传感器和/或输入而获得的数据。在设备处接收的数据可以被处理和/或被存储在本地处理模块260处和/或被远程地存储(例如，如图2A所示，被存储在远程处理模块270或远程数据储存库280处)。在一些实施例中，可以在本地处理模块260处直接接收附加数据，诸如日期和时间、GPS位置或其它全局数据。关于由系统传递给用户的内容的数据(诸如图像、其它视觉内容或听觉内容)也可以在本地处理模块260处被接收。
具有深度平面的3D显示的示例
人类视觉系统复杂，并且提供深度的逼真感知是具挑战性的。不受理论的限制，相信对象的观看者可能由于聚散度和调节的组合而将该对象感知为三维的。两只眼睛相对于彼此的聚散运动(即，瞳孔朝向彼此或远离彼此的滚动运动，以会聚眼睛的视线来注视对象)与眼睛晶状体的聚焦(或“调节”)密切相关。在正常情况下，改变眼睛晶状体的焦点或调节眼睛，以将焦点从一个对象改变到在不同距离处的另一个对象，这将会在被称为“调节-聚散度反射(accommodation-vergence reflex)”的关系下自动地导致到相同的距离的聚散度的匹配改变。同样，在正常情况下，聚散度的改变将引发调节的匹配改变。提供调节和聚散度之间的更好匹配的显示系统可以形成更逼真且舒适的三维图像模拟。
图3示出了使用多个深度平面来模拟三维图像的方法的方面。参考图3，在z轴上距眼睛302和眼睛304的不同距离处的对象由眼睛302和眼睛304调节，以使得这些对象在焦点中。眼睛302和眼睛304采取特定的调节状态，以使沿着z轴的不同距离处的对象进入焦点。因此，可以说特定的调节状态与深度平面306中的特定一个深度平面相关联，该特定深度平面具有相关联的焦距，以使得当眼睛处于特定深度平面的调节状态时，该深度平面中的对象或对象的部分被聚焦。在一些实施例中，可以通过为眼睛302和304中的每一只眼睛提供图像的不同呈现，并且还通过提供与深度平面中每一个深度平面对应的图像的不同呈现，来模拟三维图像。尽管为了清楚说明而被示出为分离的，但应理解的是，例如随着沿z轴的距离增加，眼睛302和眼睛304的视野可能重叠。另外，虽然为了便于说明而被示出为平坦的，但应理解的是，深度平面的轮廓在物理空间中可以是弯曲的，使得深度平面中的所有特征在特定的调节状态下与眼睛对焦。不受理论的限制，据信人类眼睛通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个深度平面对应的图像的不同呈现，可以实现所感知的深度的高度可信的模拟。
波导堆叠组件
图4示出了用于将图像信息输出给用户的波导堆叠的示例。可穿戴系统400包括波导堆叠或堆叠波导组件480，其可用于使用多个波导432b、434b、436b、438b、400b向眼睛/大脑提供三维感知。在一些实施例中，可穿戴系统400可以对应于图2的可穿戴系统200，图4更详细地示意性地示出了该可穿戴系统200的一些部分。例如，在一些实施例中，波导组件480可以被集成到图2的显示器220中。
继续参考图4，波导组件480可以还包括位于波导之间的多个特征458、456、454、452。在一些实施例中，特征458、456、454、452可以是透镜。在其它实施例中，特征458、456、454、452可以不是透镜。相反，它们可以简单地是间隔物(例如，包层和/或用于形成气隙的结构)。
波导432b、434b、436b、438b、440b和/或多个透镜458、456、454、452可以被配置为以各种级别的波前曲率或光线发散度向眼睛发送图像信息。每个波导级别可以与特定深度平面相关联，并且可以被配置为输出对应于该深度平面的图像信息。图像注入装置420、422、424、426、428可用于将图像信息注入到波导440b、438b、436b、434b、432b中，每个波导可以被配置为分配入射光穿过每个相应的波导以便朝着眼睛410输出。光从图像注入装置420、422、424、426、428的输出表面射出，并且被注入到波导440b、438b、436b、434b、432b的相应输入边缘。在一些实施例中，可以将单个光束(例如准直光束)注入到每个波导中，以输出克隆的准直光束的整个场，这些克隆的准直光束以对应于与特定波导相关联的深度平面的特定角度(和发散量)朝向眼睛410定向。
在一些实施例中，图像注入装置420、422、424、426、428是分立的显示器，每个显示器产生用于分别注入到相应波导440b、438b、436b、434b、432b中的图像信息。在一些其它实施例中，图像注入装420、422、424、426、428是单个多路复用显示器的输出端，其可以例如经由一个或多个光导管(例如光纤电缆)将图像信息管道传输到图像注入装置420、422、424、426、428中的每一者。
控制器460控制堆叠波导组件480和图像注入装置420、422、424、426、428的操作。控制器460包括编程(例如，非暂时性计算机可读介质中的指令)，该编程调节到波导440b、438b、436b、434b、432b的图像信息的定时和提供。在一些实施例中，控制器460可以是单个整体设备，或者是通过有线或无线通信信道连接的分布式系统。在一些实施例中，控制器460可以是处理模块260和/或270(如图2所示)的部分。
波导440b、438b、436b、434b、432b可以被配置为通过全内反射(TIR)在每一个相应的波导内传播光。波导440b、438b、436b、434b、432b可以各自是平面的或具有其它形状(例如，弯曲)，具有顶部和底部主表面以及在这些顶部和底部主表面之间延伸的边缘。在所示的配置中，波导440b、438b、436b、434b、432b可以各自包括光提取光学元件440a、438a、436a、434a、432a，这些光提取光学元件被配置为通过将每一个相应波导内传播的光重定向而将光提取到波导外，以向眼睛410输出图像信息。提取的光也可以被称为耦出光，并且光提取光学元件也可以被称为耦出光学元件。提取的光束在波导中传播的光照射光重定向元件的位置处被波导输出。光提取光学元件(440a、438a、436a、434a、432a)可以例如是反射和/或衍射光学特征。虽然为了便于描述和清晰绘图起见而将其图示设置在波导440b、438b、436b、434b、432b的底部主表面处，但是在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以设置在顶部和/或底部主表面处，和/或可以直接设置在波导440b、438b、436b、434b、432b的体积中。在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以形成在被附接到透明基板的材料层中以形成波导440b、438b、436b、434b、432b。在一些其它实施例中，波导440b、438b、436b、434b、432b可以是单片材料，并且光提取光学元件440a、438a、436a、434a、432a可以形成在那片材料的表面上和/或那片材料的内部中。
继续参考图4，如本文所讨论的，每一个波导440b、438b、436b、434b、432b被配置为输出光以形成与特定深度平面对应的图像。例如，最接近眼睛的波导432b可以被配置为将如注入到这种波导432b中的准直光传送到眼睛410。准直光可以代表光学无限远焦平面。下一上行波导434b可以被配置为将传输通过第一透镜452(例如，负透镜)的准直光在其可以到达眼睛410之前发出。第一透镜452可以被配置为产生轻微凸面的波前曲率，使得眼睛/大脑将来自该下一上行波导434b的光解释为来自第一焦平面，该第一焦平面从光学无限远处向内更靠近眼睛410。类似地，第三上行波导436b将输出光在到达眼睛410之前传输通过第一透镜452和第二透镜454。第一透镜452和第二透镜454的组合光焦度(optical power)可被配置为产生波前曲率的另一增量，以使得眼睛/大脑将来自第三波导436b的光解释为来自第二焦平面，该第二焦平面从光学无穷远比来自所述下一上行波导434b的光更向内靠近人。
其它波导层(例如，波导438b、440b)和透镜(例如，透镜456、458)被类似地配置，其中堆叠中的最高波导440b通过它与眼睛之间的全部透镜发送其输出，用于代表最靠近人的焦平面的总(aggregate)焦度。当在堆叠波导组件480的另一侧上观看/解释来自世界470的光时，为了补偿透镜458、456、454、452的堆叠，补偿透镜层430可以被设置在堆叠的顶部处以补偿下面的透镜堆叠458、456、454、452的总焦度。这种配置提供了与可用波导/透镜配对一样多的感知焦平面。波导的光提取光学元件和透镜的聚焦方面可以是静态的(例如，不是动态的或电激活的)。在一些替代实施例中，两者之一或者两者都可以使用电激活特征而为动态的。
继续参考图4，光提取光学元件440a、438a、436a、434a、432a可以被配置为将光重定向出它们各自的波导并且针对与波导相关联的特定深度平面以适当的发散量或准直度输出该光。结果，具有不同相关联深度平面的波导可具有不同的光提取光学元件配置，其取决于相关联的深度平面而输出具有不同发散量的光。在一些实施例中，如本文所讨论的，光提取光学元件440a、438a、436a、434a、432a可以是体积或表面特征，其可以被配置为以特定角度输出光。例如，光提取光学元件440a、438a、436a、434a、432a可以是体积全息图、表面全息图和/或衍射光栅。在2015年6月25日公开的美国专利公开No.2015/0178939中描述了诸如衍射光栅的光提取光学元件，其通过引用全部并入本文中。
在一些实施例中，光提取光学元件440a、438a、436a、434a、432a是形成衍射图案的衍射特征或“衍射光学元件”(本文中也称为“DOE”)。优选地，DOE具有相对较低的衍射效率，以使得仅光束的一部分通过DOE的每一个交点偏转向眼睛410，而其余部分经由全内反射继续移动通过波导。携带图像信息的光因此被分成多个相关的出射光束，这些出射光束在多个位置处离开波导，并且该结果对于在波导内反弹的该特定准直光束是朝向眼睛304的相当均匀图案的出射发射。
在一些实施例中，一个或多个DOE可以在它们活跃地衍射的“开”状态和它们不显著衍射的“关”状态之间可切换。例如，可切换的DOE可以包括聚合物分散液晶层，其中微滴在基体介质中包含衍射图案，并且微滴的折射率可以被切换为基本上匹配基体材料的折射率(在这种情况下，图案不明显地衍射入射光)，或者微滴可以被切换为与基体介质的折射率不匹配的折射率(在这种情况下，该图案活跃地衍射入射光)。
在一些实施例中，深度平面的数量和分布和/或景深可以基于观看者的眼睛的瞳孔大小和/或取向而动态地改变。景深可以与观看者的瞳孔大小成反比地改变。因此，随着观看者眼睛的瞳孔大小减小时，景深增加，使得由于一个平面的位置超出了眼睛的焦点深度而不可辨别的该平面可能变得可辨别，并且随着瞳孔大小的减小表现为更聚焦，而且与景深的增加相称。同样地，用于向观看者呈现不同图像的间隔开的深度平面的数量可以随着瞳孔大小的减小而减小。例如，观看者在不将眼睛的调节从一个深度平面调整到另一个深度平面的情况下，可能不能以一个瞳孔大小清楚地感知第一深度平面和第二深度平面两者的细节。然而，这两个深度平面可以在不改变调节的情况下，对于处于另一瞳孔大小的用户同时充分地聚焦。
在一些实施例中，显示系统可以基于瞳孔大小和/或取向的确定，或在接收到指示特定瞳孔大小和/或取向的电信号时，改变接收图像信息的波导的数量。例如，如果用户的眼睛不能区分与两个波导相关联的两个深度平面，则控制器460可以被配置或编程为停止向这些波导中的一个提供图像信息。有利地，这可以减轻系统的处理负担，从而增加系统的响应性。在其中用于一波导的DOE可在接通和关断状态之间切换的实施例中，当波导确实接收到图像信息时，DOE可以被切换到关断状态。
在一些实施例中，可能期望使出射光束满足直径小于观看者眼睛直径的条件。然而，考虑到观看者的瞳孔大小的可变性，满足这种条件可能是具有挑战性的。在一些实施例中，通过响应于观看者的瞳孔大小的确定而改变出射光束的大小，该条件在宽范围的瞳孔大小上满足。例如，随着瞳孔大小减小，出射光束的大小也可以减小。在一些实施例中，可以使用可变光圈来改变出射光束大小。
可穿戴系统400可包括面向外的成像系统464(例如，数字相机)，其对世界470的一部分进行成像。世界470的该部分可被称为视野(FOV)，并且成像系统464有时被称为FOV相机。可供观看者观看或成像的整个区域可被称为能视域(FOR)。FOR可以包括围绕可穿戴系统400的立体角的4π球面度。在可穿戴系统400的一些实施方式中，因为穿戴者可以移动其头部和眼睛以观看用户周围(用户前方、后方、上方、下方或侧面)的对象，FOR可以包括显示系统400的用户周围的基本上全部立体角。从面向外的成像系统464获得的图像可用于跟踪用户做出的手势(例如手或手指的姿势)，检测用户前方的世界470中的对象等等。
可穿戴系统400还可以包括面向内的成像系统466(例如，数码相机)，其观察用户的运动，诸如眼睛运动和面部运动。面向内的成像系统466可以用于捕获眼睛410的图像以确定眼睛304的瞳孔的大小和/或取向。面向内的成像系统466可以用于获得图像，用于确定用户正在观看的方向(例如，眼睛姿势)或用于用户的生物测定识别(例如，虹膜识别或视网膜扫描等)。在一些实施例中，可以针对每只眼睛使用至少一个相机，以便独立地分别确定每只眼睛的瞳孔大小和/或眼睛姿势，从而允许向每只眼睛呈现图像信息以动态地适合该眼睛。在一些其它实施例中，仅一只眼睛410的瞳孔直径和/或取向(例如，针对每双眼睛仅使用一个相机)被确定并假定对于用户的双眼而言都是类似的。可以分析通过面向内的成像系统466获得的图像以确定用户的眼睛姿势和/或情绪，可穿戴系统400可以使用用户的眼睛姿势和/或情绪来决定应该将哪些音频或视觉内容呈现给用户。可穿戴系统400也可以使用诸如IMU、加速度计、陀螺仪等的传感器确定头部姿势(例如，头部位置或头部取向)。
可穿戴系统400可以包括用户输入设备466，通过该用户输入设备466用户可以向控制器460输入命令以与可穿戴系统400交互。例如，用户输入设备466可以包括触控板、触摸屏、操纵杆、多自由度(DOF)控制器、电容感测设备、游戏控制器、键盘、鼠标、方向垫(D-pad)、魔杖、触觉设备、图腾(例如，用作虚拟用户输入设备)等等。在一些情况下，用户可以使用手指(例如，拇指)在触敏输入设备上按压或轻扫以向可穿戴系统400提供输入(例如，以将用户输入提供给由可穿戴系统400提供的用户界面)。用户输入设备466可以在使用可穿戴系统400期间由用户的手保持。用户输入设备466可以与可穿戴系统400进行有线或无线通信。
图5示出了由波导输出的出射光束的示例。示出了一个波导，但是应该理解的是，波导组件480中的其它波导可以类似地起作用，其中波导组件480包括多个波导。光520在波导432b的输入边缘432c处被注入到波导432b中，并且通过TIR在波导432b内传播。在光520照射在DOE 432a上的点处，一部分光作为出射光束510离开波导。出射光束510被示出为基本上平行，但是取决于与波导432b相关联的深度平面，该出射光束510也可以以一定角度(例如，形成发散的出射光束)被重定向以传播到眼睛410。应该理解的是，基本上平行的出射光束可以指示具有光提取光学元件的波导，其中光提取光学元件将光耦出以形成看起来被设置在距眼睛410较大距离(例如，光学无穷远)处的深度平面上的图像。其它波导或者其它光提取光学元件组可以输出更加发散的出射光束图案，这将需要眼睛410调节到更近距离以将其聚焦在视网膜上并且将被大脑解释为来自比光学无穷远更靠近眼睛410的距离的光。
图6是示出了包括波导装置、将光光学耦合到波导装置或从波导装置光学耦合光的光耦合器子系统、以及控制子系统的光学系统的示意图，该光学系统用于生成多焦点立体显示、图像或光场。该光学系统可以包括波导装置、将光光学耦合到波导装置或从波导装置光学耦合光的光耦合器子系统，以及控制子系统。该光学系统可以用于生成多焦点立体、图像或光场。该光学系统可以包括一个或多个主平面波导632a(在图6中仅示出一个)以及与至少一些主波导632a中的每一个主波导相关联的一个或多个DOE 632b。平面波导632b可以类似于参考图4讨论的波导432b、434b、436b、438b、440b。该光学系统可以使用分布波导装置以沿着第一轴(图6的视图中的垂直轴或Y轴)中继光，并且沿着第一轴(例如，Y轴)扩展光的有效出射光瞳。分布波导装置可以例如包括分布平面波导622b和与分布平面波导622b相关联的至少一个DOE 622a(由双点划线示出)。分布平面波导622b在至少一些方面可以与主平面波导632b相似或相同，但具有与其不同的取向。类似地，至少一个DOE 622a在至少一些方面可以与DOE 632a相似或相同。例如，分布平面波导622b和/或DOE 622a可以分别由与主平面波导632b和/或DOE 632a相同的材料构成。图6中所示的光学显示系统600的实施例可以被集成到图2中所示的可穿戴显示系统200中。
中继的和出射光瞳扩展的光从分布波导装置被光学耦合到一个或多个主平面波导632b中。主平面波导632b沿着优选地与第一轴正交的第二轴(例如，图6的视图中的水平轴或X轴)中继光。值得注意的是，第二轴可以是与第一轴非正交的轴。主平面波导632b沿着该第二轴(例如，X轴)扩展光的有效出射光瞳。例如，分布平面波导622b可以沿着垂直轴或Y轴中继和扩展光，并且将该光传递到沿着水平轴或X轴中继和扩展光的主平面波导632b。
该光学系统可以包括一个或多个彩色光源(例如，红色、绿色和蓝色激光)610，这些彩色光源可以被光学耦合到单模光纤640的近端中。可以通过压电材料的中空管8来穿过或接收光纤640的远端。远端作为非固定柔性悬臂644从管642突出。压电管642可以与四个象限电极(未示出)相关联。例如，电极可以被镀在管642的外侧、外表面或外周或外径上。芯电极(未示出)也位于管642的芯、中心、内周或内径中。
例如经由导线660电耦接的驱动电子器件650驱动相对的电极对以独立地在两个轴上弯曲压电管642。光纤644的突出远端顶端具有机械共振模式。共振的频率可以取决于光纤644的直径、长度和材料特性。通过在光纤悬臂644的第一机械共振模式附近振动压电管8，使得光纤悬臂644振动，并且可以扫过大的偏转。
通过激发两个轴上的共振，光纤悬臂644的顶端在遍及二维(2-D)扫描的区域中双轴扫描。通过与光纤悬臂644的扫描同步地调制一个或多个光源610的强度，从光纤悬臂644出射的光形成图像。美国专利公开No.2014/0003762中提供了对这样的设置的描述，该专利公开通过引用全部并入本文中。
□学耦合器子系统的部件准直从扫描光纤悬臂644出射的光。准直光被镜面648反射到包含至少一个衍射光学元件(DOE)622a的窄分布平面波导622b中。准直光通过全内反射(TIR)沿分布平面波导622b垂直地(相对于图6的视图)传播，并且在这样做时与DOE 622a反复相交。DOE 622a优选具有低衍射效率。这导致一部分(例如，10％)光在与DOE 622a的每个交点处被衍射朝向较大的主平面波导632b的边缘，并且一部分光通过TIR在其原始轨迹上继续沿分布平面波导622b的长度向下。
在与DOE 622a的每个交点处，附加光被衍射向主波导632b的入口。通过将入射光分成多个耦出组，光的出射光瞳在分布平面波导622b中被DOE 4垂直地扩展。从分布平面波导622b耦出的该垂直扩展的光进入主平面波导632b的边缘。
进入主波导632b的光经由TIR沿着主波导632b水平(相对于图6的视图)传播。由于光通过TIR沿着主波导632b的长度的至少一部分水平传播，因此光在多个点处与DOE 632a相交。DOE 632a可以有利地被设计或构造成具有相位轮廓，该相位轮廓是线性衍射图案和径向对称衍射图案的总和，以产生光的偏转和聚焦。DOE 632a可以有利地具有低衍射效率(例如，10％)，使得DOE 632a的每个交点只有一部分光束的光朝着视图的眼睛偏转，而其余的光经由TIR通过波导632b继续传播。
在传播光和DOE 632a之间的每个交点处，一部分光朝着主波导632b的相邻面衍射，从而允许光脱离TIR，并且从主波导632b的面出射。在一些实施例中，DOE 632a的径向对称衍射图案另外向衍射光赋予聚焦水平，既对单独的光束的光波前(例如，赋予曲率)进行整形，也以与设计的聚焦水平相匹配的角度使光束转向。
因此，这些不同的路径可以通过多个DOE 632a以不同的角度、聚焦水平和/或在出射光瞳处产生不同的填充图案来使光耦合出主平面波导632b。出射光瞳处的不同填充图案可以有利地被用于创建具有多个深度平面的光场显示。波导组件中的每一层或堆叠中的一组层(例如3层)可被用于产生相应的颜色(例如，红色、蓝色、绿色)。因此，例如，可以采用第一组的三个相邻层在第一焦深处分别产生红光、蓝光和绿光。可以采用第二组的三个相邻层在第二焦深处分别产生红光、蓝光和绿光。可以采用多个组来产生具有各种焦深的全3D或4D彩色图像光场。
可穿戴系统的其它部件
在许多实施方式中，可穿戴系统可以包括其它部件，作为上述可穿戴系统的部件的补充或替代。可穿戴系统例如可以包括一个或多个触觉设备或部件。触觉设备或部件可以用于向用户提供触觉。例如，触觉设备或部件可以在触摸虚拟内容(例如，虚拟对象、虚拟工具、其它虚拟构造)时提供压力和/或纹理的触觉。触觉可以复制虚拟对象表示的物理对象的感觉，或者可以复制虚拟内容表示的想象的对象或角色(例如，龙)的感觉。在一些实施方式中，触觉设备或部件可由用户穿戴(例如，用户可穿戴的手套)。在一些实施方式中，触觉设备或部件可以由用户保持。
可穿戴系统例如可以包括可由用户操纵的一个或多个物理对象以允许输入或与AR系统进行交互。这些物理对象在本文中可以被称为图腾。一些图腾可采取无生命对象的形式，诸如例如金属或塑料块、墙壁、桌子的表面。在某些实施方式中，图腾可能实际上不具有任何物理输入结构(例如，键、触发器、操纵杆、轨迹球、摇杆开关)。相反，图腾可以简单地提供物理表面，并且AR系统可以呈现用户界面，以便对于用户而言看起来在图腾的一个或多个表面上。例如，AR系统可以使计算机键盘和触控板的图像看起来驻留在图腾的一个或多个表面上。例如，AR系统可以使虚拟计算机键盘和虚拟触控板看起来在作为图腾的铝的薄矩形板的表面上。矩形板本身没有任何物理键或触控板或传感器。然而，AR可以检测用户操纵或交互或触摸该矩形板作为经由虚拟键盘和/或虚拟触控板进行的选择或输入。用户输入设备466(在图4中示出)可以是图腾的实施例，其可以包括触控板、触摸板、触发器、操纵杆、轨迹球、摇杆开关、鼠标、键盘、多自由度控制器或另一物理输入设备。用户可以单独或与姿势结合使用图腾，以与可穿戴系统和/或其它用户进行交互。
在美国专利公开No.2015/0016777中描述了可用于本公开的可穿戴设备、HMD、ARD和显示系统的触觉设备和图腾的示例，该专利公开的全部内容通过引用并入本文中。
可穿戴系统、环境和接口示例
可穿戴系统可以采用各种与地图绘制相关的技术，以便在所呈现的光场中实现高景深。在绘制出虚拟世界时，了解真实世界中的所有特征和点以准确描绘与真实世界相关的虚拟对象是有利的。为此，可以通过包括传达关于真实世界的各种点和特征的信息的新图片，将从可穿戴系统的用户捕获的FOV图像添加到世界模型。例如，可穿戴系统可以收集一组地图点(诸如2D点或3D点)并找到新的地图点(map point)以呈现的世界模型的更精确版本。可以将第一用户的世界模型(例如，通过诸如云网络的网络)传达给第二用户，使得第二用户可以体验围绕第一用户的世界。
图7是MR环境700的示例的框图。MR环境700可以被配置为接收来自一个或多个用户可穿戴系统(例如，可穿戴系统200或显示系统220)或固定房间系统(例如，室内相机等)的输入(例如，来自用户的可穿戴系统的视觉输入702、诸如房间相机的固定输入704、来自各种传感器的传感器输入706、来自用户输入设备466的用户输入、手势、图腾、眼睛跟踪等)。可穿戴系统可以使用各种传感器(例如，加速度计、陀螺仪、温度传感器、移动传感器、深度传感器、GPS传感器、面向内的成像系统、面向外的成像系统等)来确定用户环境的位置和各种其它属性。该信息可以进一步补充有来自房间中的固定相机的信息，该相机可以从不同的视点提供图像或各种线索。由相机(诸如房间相机或面向外的成像系统的相机)获取的图像数据可以被缩减为映射点组。
一个或多个对象识别器708可以爬过(crawl through)接收到的数据(例如，点的集合)并且借助于地图数据库710来识别和/或映射点、标记图像，将语义信息附加到对象。地图数据库710可以包括随时间推移收集的各个点及其相应的对象。各种设备和地图数据库可以通过网络(例如LAN、WAN等)相互连接以访问云。
基于该信息和地图数据库中的点集合，对象识别器708a至708n可以识别环境中的对象。例如，对象识别器可以识别患者、患者的身体部位(例如，四肢、躯干、头部、器官等)、医疗器械(例如，手术工具或医疗设备)，以及房间里的其它对象(例如，窗户、墙壁等)或房间中的其他人(例如，主治医生、护士等)。一个或多个对象识别器可以专用于具有特定特性的对象。例如，对象识别器708a可用于识别面部，而另一对象识别器可用于识别手术刀。在一些实施例中，如果对象识别器708无法辨识一对象，则可以将该对象标记为“未知的”。
可以使用各种计算机视觉技术来执行对象识别。例如，可穿戴系统可以分析由面向外的成像系统464(如图4所示)获取的图像以执行场景重建、事件检测、视频跟踪、对象识别、对象姿势估计、学习、索引、运动估计或图像恢复等。可以使用一种或多种计算机视觉算法来执行这些任务。计算机视觉算法的非限制性示例包括：尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、定向FAST和旋转BRIEF(ORB)、二进制鲁棒不变可扩展关键点(BRISK)、快速视网膜关键点(FREAK)、Viola-Jones算法、特征脸方法、Lucas-Kanade算法、Horn-Schunk算法，均值漂移(Mean-shift)算法、视觉同步定位与地图构建(vSLAM)技术、序列贝叶斯估计器(例如，卡尔曼滤波器、扩展卡尔曼滤波器等)、光束法平差(bundle adjustment)、自适应阈值分割(和其它阈值分割技术)、迭代最近点(ICP)、半全局匹配(SGM)、半全局块匹配(SGBM)、特征点直方图、各种机器学习算法。
对象识别可以附加地或替代地由各种机器学习算法(例如，支持向量机、k最近邻算法、朴素贝叶斯、神经网络(包括卷积或深度神经网络)或其它有监督/无监督模型等)等等执行。一经训练，机器学习算法便可由可穿戴设备存储。机器学习算法的一些示例可以包括有监督或无监督机器学习算法，其中包括回归算法(例如，普通最小二乘回归)、基于实例的算法(例如，学习向量量化)、决策树算法(例如，分类和回归树)、贝叶斯算法(例如，朴素贝叶斯)、聚类算法(例如，k均值聚类)、关联规则学习算法(例如，先验算法)、人工神经网络算法(例如，感知器)、深度学习算法(例如，深度玻尔茨曼机或深度神经网络)、降维算法(例如，主成分分析)、集合算法(例如，堆栈泛化)和/或其它机器学习算法。在一些实施例中，可以针对各个数据集定制各个模型。例如，可穿戴设备可以生成或存储基础模型。基础模型可以用作生成特定于数据类型(例如，远端临场会话中的特定用户)、数据集(例如，在远端临场会话中从用户处获得的附加图像集)、条件情况或其它变化的附加模型的起点。在一些实施例中，可穿戴设备可以被配置为利用多种技术来生成用于分析聚合数据的模型。其它技术可包括使用预定义的阈值或数据值。
一个或多个对象识别器708还可以实现各种文本识别算法以从图像中辨识和提取文本。一些示例性文本识别算法包括：光学字符识别(OCR)算法、深度学习算法(例如深度神经网络)、模式匹配算法、用于预处理的算法等。
可穿戴系统还可以用语义信息补充所识别的对象以赋予对象生命。例如，如果对象识别器将一组点识别为门，则系统可以附加一些语义信息(例如，该门具有铰链并且具有围绕铰链的90度移动)。如果对象识别器将一组点识别为镜子，则系统可以附加这样的语义信息：该镜子具有可以反射房间中对象的图像的反射表面。作为另一示例，对象识别器可以将手术刀识别为属于用于执行特定类型的手术的一组手术工具，例如，通过将所识别的手术刀与在该类型的手术中使用的医疗器械的数据库进行比较来进行上述识别。医疗器械数据库可以本地存储在外科医生的可穿戴设备中的数据储存库260或存储在远程数据储存库264中(例如，在云中，例如参考图12描述的数据存储器(data store)1238)。
随着时间的推移，地图数据库随着系统(其可以驻留在本地或可以通过无线网络访问)累积来自世界的更多数据而增长。一旦识别出对象，就可以将该信息发送到一个或多个可穿戴系统。例如，MR环境700可以包括关于在加利福尼亚发生的场景的信息。环境700可以被发送给纽约的一个或多个用户。基于从FOV相机和其它输入接收的数据，对象识别器和其它软件组件可以映射从各种图像收集的点、识别对象等，使得该场景可以准确地“传递”给可能在世界的不同部分的第二用户。环境700也可以使用拓扑图来实现本地化目的。作为另一示例，MR环境700可以是外科医生对患者进行手术的手术室。MR环境700可以与同一手术室中或手术室外的人实现共享。例如，外科医生可以将其ARD的其FOV中的图像与教室中的医科学生共享。作为另一示例，MR环境700可以与病理学实验室实现共享，使得病理学实验室中的医师可以在由外科医生在患者体内发现的肿瘤周围放置虚拟标记。
图8是呈现与所识别的对象相关的虚拟内容的方法800的示例的过程流程图。方法800描述了如何将虚拟场景呈现给MR系统(例如，可穿戴系统)的用户。用户可能在地理上远离该场景。例如，用户可能在纽约，但可能想要观看当前正在加利福尼亚发生的场景，或者可能想要与居住在加利福尼亚的朋友散步。
在框810处，可穿戴系统可以从用户和其他用户接收关于用户的环境的输入。这可以通过各种输入设备和在地图数据库中已有的知识来实现。在框810处，用户的FOV相机、传感器、GPS、眼睛跟踪等向系统传送信息。在框820处，系统可以基于该信息确定稀疏点。稀疏点可用于确定姿势数据(例如，头部姿势、眼睛姿势、身体姿势和/或手部手势)，这些数据可用于显示和理解用户周围环境中各种对象的取向和位置。在框830处，对象识别器708a、708n可以爬过这些收集的点并使用地图数据库识别一个或多个对象。然后可以在框840处将该信息传送给用户的个人可穿戴系统，并且可以在框850处相应地向用户显示所期望的虚拟场景。例如，可以相对于在纽约的用户的各种对象和其它环境以适当的取向、位置等显示所期望的虚拟场景(例如，位于CA的用户)。
图9是可穿戴系统的另一示例的框图。在该示例中，可穿戴系统900包括地图920，该地图920可以包括世界的地图数据(其可以是地图数据库710的一部分)。该地图可以部分地驻留在可穿戴系统本地，可以部分地驻留在可通过有线或无线网络(例如，在云系统中)访问的网络存储位置。姿势处理910可以在可穿戴计算架构(例如，处理模块260或控制器460)上被执行，并利用来自地图的数据而确定可穿戴计算硬件或用户的位置和取向。可以根据当用户正在体验系统并在世界中操作时即时收集的数据来计算姿势数据。该数据可以包括图像、来自传感器(例如惯性测量设备，其通常包括加速度计和陀螺仪部件)的数据和与真实或虚拟环境中的对象相关的表面信息。
稀疏点表示可以是同时定位与地图构建(SLAM或V-SLAM，是指其中输入只是图像/视觉的配置)过程的输出。该系统可以被配置为不仅找出各种部件在该世界中的位置，而且还找出该世界是由什么构成的。姿势可以是实现许多目标的构建块，包括填充地图和使用来自地图的数据。
在一个实施例中，稀疏点位置本身可能不完全足够，并且可能需要进一步的信息来产生多焦点AR、VR或MR体验。可以使用通常参考深度地图信息的密集表示来至少部分地填充该间隙。这样的信息可以根据被称为立体(Stereo)的处理940来计算，其中使用诸如三角测量或飞行时间感测的技术来确定深度信息。图像信息和有源(active)模式(诸如使用有源(active)投影仪创建的红外模式)可以用作立体处理940的输入。可以将大量深度地图信息融合在一起，并且可以用表面表示来概括其中的一些。例如，数学上可定义的表面是诸如游戏引擎或医疗设备(例如，医学成像设备)之类的其它处理设备的有效(例如，相对于大点云)且可消化的输入。因此，立体处理(例如，深度地图)940的输出在融合处理930中可以被组合。姿势也可以是向该融合处理930的输入，并且融合930的输出变为填充(populate)地图处理920的输入。子表面可以彼此连接(例如在地形图中)以形成更大的表面，并且地图变成点和表面的大混合体。
为了解决混合现实处理960中的各个方面，可以使用各种输入。例如，在图9所示的实施例中，医疗设备的位置和类型可以被跟踪，并被用作输入以确定护士是否已将正确的医疗设备交给了医生。作为另一示例，MR现实处理960可以允许可穿戴系统在医生对患者进行检查或手术的同时呈现患者的医疗记录(诸如病史、过敏情况、治疗建议、图像(例如，X射线、ECG、MRI等)、音频(例如，来自医疗检查等的音频)等)。医疗记录可以被存储在本地或远程存储并且被访问以显示给穿戴者。世界地图可以包括关于物理和虚拟对象相对于彼此的位置的信息。该相对位置信息可以是混合现实的另一有价值的输入。相对于世界的姿势也成为一种输入，并且对几乎任何交互系统起着关键作用。
来自用户的控制或输入是可穿戴系统900的另一输入。如本文所述，用户输入可包括视觉输入、手势、图腾、音频输入、感官输入、头部或眼睛姿势等。为了四处移动或玩游戏，例如，用户可能需要指示可穿戴系统900关于他或她想要做什么。除了在空间中移动自己之外，存在可以利用的多种形式的用户控制。在一个实施例中，图腾、用户输入设备、或诸如玩具枪之类的对象可由用户握持并由系统跟踪。该系统优选地被配置为知道用户正在握住商品并且理解用户与商品进行何种交互(例如，如果图腾或对象是枪，则系统可以被配置为了解位置和取向，以及用户是否正在点击触发器或其它可能配备有传感器的感测按钮或元件，例如IMU，其可以有助于确定正在发生的事情，即使这样的活动不在任何相机的视野内)。
手势跟踪或识别也可以提供输入信息。可穿戴系统900可以被配置为跟踪和解释按钮按压的手势，用于向左或向右打手势、停止、抓取、保持等。例如，在一种配置中，用户可能想要在非游戏环境中翻阅电子邮件或日历，或与其他人或玩家“击拳”。可穿戴系统900可以被配置为利用最小量的手势，该手势可以是动态的，也可以不是动态的。例如，手势可以是简单的静态手势，如张开手表示停止，拇指向上表示好(ok)，拇指向下表示不好；或者左右或上下翻转手来做出方向命令。
眼睛跟踪是另一种输入(例如，跟踪用户正在看哪里以控制显示技术来在特定深度或范围进行呈现)。在一个实施例中，可以使用三角测量来确定眼睛的聚散度，然后使用为该特定人物开发的聚散度/调节模型，可以确定调节。头部跟踪可以是另一输入(例如，跟踪用户头部的方向以确定用户正在观看的虚拟或物理对象)。
关于相机系统，图9所示的示例性可穿戴系统990可以包括三对相机：布置在用户面部的侧面的相对宽的FOV或无源SLAM相机对；位于用户前方以处理立体成像处理940，以及还捕获手势和用户面部前方的图腾/对象跟踪950的另一对相机。三对相机中的相机可以是面向外的成像系统464(在图4中示出)的一部分。可穿戴系统900可以包括眼睛跟踪相机(其可以是图4中所示的面向内的成像系统462的一部分)，眼睛跟踪相机朝向用户的眼睛取向，以便对眼睛向量和其它信息进行三角测量。可穿戴系统900可以还包括一个或多个纹理化光投影仪(例如红外(IR)投影仪)以将纹理注入到场景中。
图10是用于确定可穿戴系统的用户输入的方法1000的示例的过程流程图。在该示例中，用户可以与图腾交互。用户可能有多个图腾。例如，用户可能已经指定了一个图腾用于社交媒体应用，另一图腾用于玩游戏，等等。在框1010处，可穿戴系统可以检测图腾的移动。图腾的移动可以通过用户的FOV相机识别，或者可以通过传感器(例如，触觉手套、图像传感器、手部跟踪设备、眼睛跟踪相机、头部姿势传感器等)来检测。
在框1020处，至少部分地基于检测到的手势、眼睛姿势、头部姿势或通过图腾的输入，可穿戴系统检测图腾(或用户的眼睛或头部或手势)相对于参考系(reference frame)的位置、取向和/或移动。参考系可以是一组地图点，可穿戴系统基于该组地图点将图腾(或用户)的移动转换为动作或命令。在框1030处，映射(map)用户与图腾的交互。在框1040处，基于相对于参考系1020的用户交互的映射，系统确定用户输入。
例如，用户可以前后移动图腾或物理对象以表示翻动虚拟页面并移动到下一页或者从一个用户界面(UI)显示屏移动到另一UI屏。作为另一示例，用户可移动他们的头部或眼睛以观看用户的FOR中的不同真实或虚拟对象。如果用户注视特定真实或虚拟对象的时间长于阈值时间，则可以选择该真实或虚拟对象作为用户输入。在一些实施方式中，可以跟踪用户眼睛的聚散度，并且可以使用调节/聚散度模型来确定用户眼睛的调节状态，其提供关于用户正在关注的深度平面的信息。在一些实施方式中，可穿戴系统可以使用射线投射技术来确定哪些真实或虚拟对象沿着用户的头部姿势或眼睛姿势的方向。在各种实施方式中，射线投射技术可包括投射具有实质上很小的横向宽度的薄铅笔射线或具有大横向宽度的射线(例如，椎体或平截头体)。
用户界面可由本文所述的显示系统(例如图2中的显示器220)投射。它还可以使用各种其它技术显示，例如一个或多个投影仪。投影仪可以将图像投射到诸如画布或地球仪之类的物理对象上。可以使用系统外部的或作为系统一部分的一个或多个相机(例如，使用面向内的成像系统462或面向外的成像系统464)来跟踪与用户界面的交互。
图11是用于与虚拟用户界面交互的方法1100的示例的过程流程图。方法1100可以由本文描述的可穿戴系统执行。
在框1110处，可穿戴系统可识别特定UI。UI的类型可以由用户预先确定。可穿戴系统可以基于用户输入(例如，姿势、视觉数据、音频数据、传感数据、直接命令等)识别需要填充特定UI。在框1120处，可穿戴系统可以生成用于虚拟UI的数据。例如，可以生成与UI的界限(confine)、一般结构、形状等相关联的数据。另外，可穿戴系统可以确定用户的物理位置的地图坐标，使得可穿戴系统可以显示与用户的物理位置有关的UI。例如，如果UI以身体为中心，则可穿戴系统可以确定用户的身体位置(physical stance)的坐标、头部姿势或眼睛姿势，使得可以在用户周围显示环形UI，或者可以在墙壁上或在用户前面显示平面UI。如果UI以手为中心，则可以确定用户的手的地图坐标。这些地图点可以借助通过FOV相机接收的数据、传感输入或任何其它类型的收集数据取得。
在框1130处，可穿戴系统可以从云向显示器发送数据，或者数据可以从本地数据库发送到显示部件。在框1140处，基于发送的数据向用户显示UI。例如，光场显示器可以将虚拟UI投射到用户的一只或两只眼睛中。在框1150处，一旦创建了虚拟UI，可穿戴系统只需等待来自用户的命令以生成在虚拟UI上的更多虚拟内容。例如，UI可以是围绕用户身体的身体中心环。然后，可穿戴系统可以等待命令(手势、头部或眼睛动作、来自用户输入设备的输入等)，并且如果它被识别(框1160)，可以向用户显示与该命令相关联的虚拟内容(框1170)。
AR系统、UI和用户体验(UX)的其它示例在美国专利公开No.2015/0016777中描述，该专利公开的全部内容通过引用并入本文中。
头戴式设备的医疗应用示例
本文描述的可穿戴设备可以被配置为执行各种医疗应用。如参考图2A所述，可穿戴设备可以包括HMD，其被配置为向HMD的穿戴者呈现AR/MR/VR内容。可穿戴设备可以基于可穿戴设备的用户提供定制的医疗相关应用。例如，可穿戴设备的用户可以是患者，并且可穿戴设备可以提供由患者或授权的HCP使用的医疗记录管理系统。
图12示出了示例计算环境，其中多个可穿戴设备和医疗记录管理系统可以在医疗保健环境中彼此交互以提供医疗记录管理。可穿戴系统可以包括医疗记录管理系统，该医疗记录管理系统包括数据安全管理系统1212和记录更新系统1214(如图12所示)。如参考图12、14A和14B进一步描述的，医疗记录管理系统可以允许用户(例如，授权的HCP)管理他的医疗记录，例如添加/编辑他的医疗记录，输入他的病史和他的家族病史，设置与其医疗记录相关联的访问权限(也被称为许可)，等等。在一些实施例中，医疗记录也被称为虚拟医疗记录。
医疗记录管理系统还可以允许患者查看他的医疗记录。在一些实施例中，医疗记录管理系统可以允许患者管理其医疗记录的一些部分，例如添加/编辑他的病史和他的家族病史，设置与他的医疗记录相关联的访问权限等等。医疗记录管理系统还可以为了保持医疗记录的完整性和准确性而禁止患者管理他的医疗记录的某些部分，例如添加/编辑医生的批注、医生的诊断、测试结果等等。因此，在一些实施例中，系统将不同的访问权限与医疗记录的不同部分进行关联。例如，访问权限可以包括对医疗记录的某些部分的只读访问以及对其它部分的编辑访问。不同的用户可以具有对医疗记录的相同部分的不同访问权限。例如，如上所述，患者可以具有对其医疗或家族病史的编辑权限，但是对针对诊断、测试结果等具有只读权限，而HCP可以具有对患者家族病史的只读权限，但是对HCP自己的批注或诊断具有编辑权限(而不具有对其他HCP批注或诊断的编辑权限)。
可穿戴设备的用户可以是医疗保健提供者(HCP)，其例如访问患者的医疗记录或向患者提供治疗或诊断。HCP可以包括各种实体。例如，HCP可以是医师或与医师相关的其他授权方。术语“医师”可以包括内科医生(MD)、骨科医学(DO)医生、医师助理(PA)、护士、验光师(OD)、足科医生(DPM)、牙科医生(DDS或DDM)、兽医(DVM)、高级执业医疗护士(APRN)、临床药剂师、医疗或护理执业者、医学心理学家，或被授权或许可开处方药、执行医疗程序，诊断医疗状况、分析医疗记录的任何其他人等等。HCP可以包括访问、复查或输入患者医疗保健记录中的信息的医疗接待员或助理。附加地或替代地，取决于情境，HCP可以指与人类HCP相关联的实体或组织，例如医疗诊所、医院、保险提供者、药房或提供医疗相关服务的其它实体。
在可穿戴设备的用户是HCP的情况下，可穿戴设备可以包括医疗保健提供者系统1230(如图12所示)以允许用户访问患者的医疗记录，使用医疗记录来执行医疗检查或手术，基于与患者的交互来更新患者的医疗记录，确定HCP是否提供正确的护理(例如，在手术期间对正确的肢体执行手术)等。可穿戴设备可以单独地或与患者的医疗记录结合地使用其它医疗信息，例如，在特定类型的手术中应该使用哪种手术工具，以提高护理质量并降低医疗事故的可能性。例如，可穿戴设备可以跟踪进入无菌区的手术工具，以确保使用正确的手术工具，或者确保不会意外地将异物(例如，医疗器械，例如手术工具)留在患者体内。
他们各自的可穿戴设备的用户可以共享医疗记录并使用可穿戴设备进行合作。例如，基于对患者的医疗记录的不同部分的访问权限，患者可以使用其可穿戴设备在医疗保健数据库中编辑他的医疗记录的一些部分，同时能够读取(但不能编辑)他的医疗记录的其它部分。当患者前往诊所就诊时，诊所医生的可穿戴设备可以检索患者的病史并在2D或3D用户界面中呈现该病史的相关部分以便于医生的诊断、分析和与患者的交互。医生的可穿戴设备还可以(在视觉上或听觉上)记录医生与患者的交互，提取患者的相关信息，并基于相关信息更新患者的医疗记录。作为另一示例，外科医生的可穿戴设备可以在外科医生对患者进行手术时捕获来自手术室中的医疗设备和患者身上的手术部位的静止或视频图像、音频或输入。外科医生的可穿戴设备可以将手术室和患者的信息传递给一组医科学生的可穿戴设备，这允许医科学生在手术进行时或手术结束后观察手术。
用于医疗环境中可穿戴设备用户之间交互的计算环境示例
图12示出了示例性计算环境1200，其中多个可穿戴设备可以在医疗保健环境中彼此交互。图12中的示例性计算环境1200包括医疗保健提供者系统(例如，医疗保健提供者系统A1230a至医疗保健提供者系统N1230n)、患者系统(例如，患者系统A1210a至患者系统N1210n)、以及医疗保健数据库系统1220。HCP系统、患者系统和医疗保健数据库系统1220可以使用网络1290彼此通信。网络1290可以是LAN、WAN、对等网络、射频、蓝牙、Wi-Fi、基于云的网络或任何其它类型的通信网络。在某些实施方式中，计算环境1200可以为可穿戴设备的用户提供集中式医疗保健数据库。计算环境1200可以允许可穿戴设备的用户输入、编辑、组织和访问集中式医疗保健数据库中的数据。
为了简化讨论而不限制本公开，图12仅详细示出了一个HCP系统和一个患者系统。其它HCP系统可以包括与HCP系统A1230a类似的功能。其它患者系统也可以包括与患者系统A1210a类似的功能。
医疗保健提供者系统的示例
HCP系统1230a的至少一部分可以是可穿戴设备的一部分。HCP1230a包括一个或多个对象识别器708、环境传感器1232、数据管理系统1234、数据处理系统1236和数据存储器1238。如所描述的，HCP系统1210a可以包括更少或更多的系统和部件。例如，在一些实施例中，HCP系统1230a可以不具有数据处理系统1236。相反，数据处理系统1236可以是医疗保健数据库系统1220的一部分。在其它实施例中，HCP系统1230a可以包括便于患者医疗护理的更多系统或功能。HCP系统A1230a的一个或多个系统可以组合或者是另一系统的一部分。例如，对象识别器708可以是数据处理系统1236的一部分。
对象识别器
对象识别器708可用于识别用户环境中的对象。如参考图7所述，对象识别器708可以应用计算机视觉算法(作为机器学习算法的补充或替代)以识别用户环境中的医疗器械、文档、面部等。可穿戴设备还可以将语义信息附加到对象。如参考图25进一步描述的，可穿戴设备可以使用对象识别器来检测或跟踪可穿戴设备或可穿戴设备的用户的FOV中的手术器械或医疗设备。另外，可穿戴设备可以辨识医疗设备(例如，超声探头)并经由有线或无线网络连接到该设备。例如，可穿戴设备可以扫描由其附近的网络启用的(network-enabled)医疗设备所广播的消息，并无线连接到这样的设备。可穿戴设备可以从医疗设备接收数据并将与接收到的数据相关的信息呈现给设备的穿戴者(例如，来自成像设备的图像、来自探头(例如，温度计)的传感器数据等)。在一些实施例中，可穿戴设备可以提供允许穿戴者(例如，外科医生)访问或控制医疗设备的用户界面(UI)。附加地或替代地，可穿戴设备可以包括近场通信(NFC)接口，NFC接口被配置为在短距离(例如，大约10cm)内与NFC启用的(NFC-enabled)医疗设备通信以交换信息，辨识彼此，引导(bootstrap)至具有更高带宽的无线连接等。NFC接口和NFC启用的医疗设备可以在被动或主动模式下操作。
手术器械可以与语义信息相关联。例如，语义信息可以包括这样的指示：该手术器械是用于截肢的器械组的一部分。语义信息还可以包括手术器械的功能，例如，阻止血液喷射、缝合开放伤口等。
环境传感器
环境传感器1232可以包括参考图2A、图2B和图4描述的各种传感器。例如，环境传感器1232可以包括图2B中描述的用户传感器24、28、30、32、外部传感器34；图2A中的麦克风232；图4中的面向外的成像系统464中的传感器和面向内的成像系统462中的传感器。环境传感器1232可以被配置为获取用户环境的数据和用户的数据。例如，麦克风232可以获取与HCP或患者所说的短语相关联的音频数据。作为另一示例，面向外的成像系统464可以对患者或用户的环境进行成像。由一个或多个环境传感器1232获取的数据可以被传送到另一系统(或传感器)，例如用于辨识用户环境中的物理对象的对象识别器708或数据处理系统1236以用于提取相关的医疗信息。
数据处理系统
HCP系统A1230a还可以包括数据处理系统1236。数据处理系统1236可以被配置为从以下数据中提取相关信息：由环境传感器1232获取的数据、从患者系统1210接收的数据、或者从医疗保健数据库系统1220或数据存储器1238访问的数据。数据处理系统1236可以处理音频数据(例如，从麦克风232获取的音频数据)。例如，数据处理系统1236可以通过应用各种语音(speech)识别算法，例如隐马尔可夫模型、基于动态时间规整(DTW)的语音识别、神经网络、深度学习算法(例如深度前馈和循环神经网络)、端到端自动语音识别、机器学习算法(如参考图7所述)，或使用声学建模或语言建模的其它算法等，来解析音频数据以辨识语音的内容。数据处理系统1236还可以应用话音(voice)识别算法，话音识别算法可以辨识讲话者的身份，例如讲话者是某个患者还是患者的医生。数据处理系统1236可以使用参考图7描述的各种机器学习算法来执行话音识别。
数据处理系统1236还可以被配置为处理图像。例如，数据处理系统1236可以应用参考对象识别器708描述的一种或多种计算机视觉算法来辨识图像中的对象或人。在一些实施例中，对象识别器708可以是数据处理系统1236的一部分。
数据处理系统1236还可以执行文本识别。例如，图像可以包括患者病史的扫描副本。数据处理系统1236可以使用一种或多种文本识别算法，例如字符识别算法、深度学习算法(例如深度神经网络)、模式匹配算法、用于预处理的算法等，来提取图像中的文本。
在一些实施例中，数据处理系统1236可以从由环境传感器获取的数据中提取相关信息。例如，由数据处理系统1236获取的图像可以包括护士的面部和患者的面部。数据处理系统1236可以使用面部识别技术来检测图像中的面部。数据处理系统1236还可以例如基于患者的先前图像来辨识患者的面部。作为另一示例，数据处理系统1236可以使用机器学习算法来检测用户说出的关键字并辨识包括该关键字的句子。
由可穿戴设备获得或处理的音频、视觉、所提取的文本或其它信息中的一些或全部可以存储在患者的医疗记录中。例如，医生对患者的检查的视听记录可以存储在医疗记录中。作为另一示例，患者可以描述他正在经历的医疗问题，医生的可穿戴设备可以记录和处理患者的音频数据，并将与医疗问题相关的信息存储在患者的医疗记录中或者将信息显示给医生(请参见例如图15)。作为又一示例，HCP的可穿戴设备可以在检查期间检测并记录迹象(例如，眼睛运动、患者皮肤上的症状等)。
尽管示例性计算环境1200示出了数据管理系统1234是HCP系统A1230a的一部分，但是在一些实施例中，数据处理系统1236的至少一部分是医疗保健数据库系统1220的一部分。
数据管理系统
数据管理系统1234可以被配置为更新和管理患者的医疗记录。在某些实施方式中，数据管理系统1234可以包括2D或3D用户界面。如参考图10和图11描述的，可穿戴设备的用户可以使用2D或3D用户界面来查看患者的医疗记录。用户还可以使用姿势或用户输入设备466，例如头部姿势、手势、话音输入、图腾等，来编辑医疗记录。
数据管理系统1234可以从数据处理系统1236、对象识别器708或环境传感器1232接收数据。数据管理系统134可以与医疗保健数据库系统1220通信以基于所接收的数据更新患者的虚拟医疗记录。例如，数据管理系统1234可以从医生接收对患者的诊断。数据管理系统1234可以将指令传送到数据库管理系统1220以将诊断添加到患者的医疗记录。
数据管理系统1234还可以管理与另一系统(例如患者系统或另一医疗保健提供者系统)的数据共享。例如，HCP系统A1230a可以与在手术室中进行手术的外科医生相关联。数据处理系统1236可以使用面部识别技术辨识手术室中的人(例如护士或其他医师)。数据管理系统1234可以从数据处理系统1236接收手术室中的人的身份。数据管理系统1234可以自动地与所识别的人共享外科医生的可穿戴设备的2D或3D用户界面上的一个或多个虚拟项目(例如，患者的生理数据)。数据管理系统1234还可以与手术室中所识别的人的可穿戴设备共享由外科医生的可穿戴设备的面向外的成像系统464获取的图像或由外科医生的可穿戴设备收集的其它信息(例如，音频)。
尽管图12中的数据管理系统1234被示出为HCP系统A1230a的一部分，但是在一些实施例中，数据管理系统1234的至少一部分是医疗保健数据库系统1220的一部分。
数据存储器
数据存储器1238可以被配置为存储各种算法(例如，由计算机可执行代码实现)，诸如计算机视觉算法、语音识别算法、话音识别算法、文本识别算法、机器学习算法等。如参考数据处理系统1236描述的，这些算法可以由数据处理系统1236应用以处理由环境传感器1232获取的数据。在某些实施例中，数据存储器1238可以包括患者的虚拟医疗记录的转录本。例如，由于文件大小较大，HCP系统A1230a可以在患者访问HCP的预定时间之前在数据存储器1238中预加载患者的先前医学图像的一部分。当患者访问HCP时，HCP可以查看预加载到数据存储器1238的虚拟医疗记录，以避免从远程位置(例如医疗数据存储器1222)检索图像的延迟。
数据存储器1238还可以存储由HCP提供者系统A1230a的其它系统获取或生成的数据。例如，数据存储器1238可以在患者与HCP交互的同时存储由环境传感器1232获取的数据。数据存储器1238还可以存储与数据处理系统1236相关联的数据。例如，数据处理系统1236可以生成患者和HCP之间的对话的转录本，并且传送该转录本以便由数据存储器1238进行存储。数据存储器1238还可以存储由患者的可穿戴设备获取的患者数据。可以使用各种机器学习算法来分析患者数据，以确定患者的习惯、步态、诸如心率、血压等的生理信息。患者数据还可用于执行眼睛跟踪或头部姿势跟踪，如参考图2A、图2B和图4所述。
由数据存储器1238存储的数据的一部分可以被传送到医疗保健数据库系统1220。例如，患者和HCP之间的对话的转录本可以被添加到在医疗保健数据库系统1220的医疗数据存储器1222中存储的患者的虚拟医疗记录中。作为另一示例，患者数据(例如，由患者的可穿戴设备获取)可以自动填充到患者数据管理系统(其可以是医疗保健数据库系统1220或医疗服务提供者系统1230的一部分)以供患者或HCP进行后续分析或检查。如本文所述，可以定制对患者数据的访问权限，使得患者拥有对他或她自己的所有的个人数据的访问权限，并且可以选择与谁共享这些数据以及共享的程度。
患者系统的示例
患者系统A1210a包括数据安全管理系统1212和记录更新系统1214。患者系统A1210a可以包括更少或更多的所描述的系统和部件。例如，患者系统A1210a可以包括本地数据存储器或远程数据存储器(例如，基于云的数据存储器)，用于存储由患者系统A1210a获取或生成的数据。在其它实施例中，患者系统A1210a可以包括更多便于患者的医疗护理的系统和/或功能。患者系统A1210a的一个或多个系统可以组合或者是另一系统的一部分。例如，记录更新系统1214的一部分可以是医疗保健数据库系统1220的一部分。
患者系统A1210a可以是与患者相关联的可穿戴设备的一部分。尽管未在图12中示出，但是患者系统A1210a还可以包括用于获取患者和患者环境的信息的环境传感器。患者系统A1210a还可以包括3D用户界面，3D用户界面被配置为允许用户经由用户输入设备466或姿势而与物理对象或虚拟对象进行交互。
数据安全管理系统
患者医疗记录信息对于特定患者而言是高度个人的和私密的。患者可能希望仅与某些HCP共享这样的信息的一部分。例如，患者可能希望允许医生办公室的接待员仅访问患者姓名、地址和预约信息以安排来办公室就诊，而患者可能希望允许治疗的医师仅访问与医师的专业相关的信息(例如，心脏病专家将被允许访问与患者的心脏和身体功能相关的记录，但不被允许访问与患者前往心理学家处就诊相关的信息)。本文描述的数据安全管理系统的实施例可用于保护患者医疗记录的私密性(例如，按照诸如HIPAA之类的州或联邦许可法律的要求)并且允许仅访问需要获知的医疗记录部分。
数据安全管理系统1212可以被配置为允许患者管理与其医疗记录相关联的访问权限。患者可以通过3D用户界面指定访问权限。访问权限可以用于确定虚拟医疗记录(或虚拟医疗记录的一部分)是否可以由用户的帐户查看、编辑、添加或删除。用户可以是实体，例如HCP、医疗保险提供者、患者的家庭成员、患者等。例如，患者可以添加、删除或编辑患者想要赋予其访问患者的虚拟医疗记录的权限的医疗保健提供者。
访问权限还可以涉及帐户是否具有管理另一设备或帐户的访问权限的授权(本文中也被称为委托访问)。例如，患者可以给予他的初级保健医师查看患者的完整医疗记录的权限。医师反过来可以允许他的护士查看患者的医疗记录的一部分(例如患者的地址和医疗保险信息)。访问权限可以与时间限制相关联，该时间限制指示用户有权访问患者的医疗记录多长时间。患者可以编辑时间限制。当用户的访问权限即将到期时，患者可以接收到通知。患者可以决定是延长时间限制还是更新该用户的访问权限。例如，患者的初级保健医师可能持续五年的期限有权访问患者的医疗记录。患者可以接收到询问患者是否想要在五年期限结束时延长该医师的访问权限的通知。如果患者停止看该医师，则患者可以选择不延长该医师的五年访问权限，并且该医师无法再访问患者的医疗记录。作为另一示例，患者可以给予骨科医生治疗他的踝骨折的访问权限。该访问权限可以从第一次预约持续到最终预约。在最终预约时，如果骨科医生告知患者他需要更多时间来治疗患者的踝骨折，则患者可以将与该骨科医生的访问权限相关联的时间限制延长另一时间期限。否则，时间限制将结束，该骨科医生对患者的医疗档案的访问权限将到期。因此，访问权限可以包括时间限制或动作限制(例如，医疗程序的成功完成)。
在一些实施例中，当实体委托对另一实体的访问时，患者可以接收到通知。例如，患者的初级HCP可以将患者指引到可能是专家的二级HCP。初级HCP可以将其对患者医疗记录的访问权限委托给二级HCP。数据安全管理系统1212可以从初级HCP或从医疗保健数据库系统1220接收指示二级HCP现在可以访问患者记录的通知。患者可以覆写初级HCP的委托。例如，初级HCP可以最初允许二级HCP访问患者的完整医疗记录。但是患者可以通过指定二级HCP仅可访问其虚拟医疗记录的一部分来编辑该委托。作为另一示例，除非二级HCP满足特定标准，否则患者可以撤销二级HCP的访问权限。在某些实施方式中，如果HCP想要将访问委托给某个实体，则患者可以指定HCP需要寻求患者的批准。例如，如果医院将访问委托给医药代表，则患者可以要求医院通知患者或获得患者的批准。
各种级别的访问权限可以被附加到虚拟医疗记录。例如，访问权限级别可以包括一级访问权限和二级访问权限。一级访问权限可以包括查看、编辑、添加和删除患者的整个医疗记录的权限，但是一级访问权限可以不包括委托访问的权限。二级访问权限可以包括查看患者的整个医疗记录的权限。
不同的实体可以具有不同级别的访问权限。(患者或HCP的)可穿戴设备或医疗保健数据库系统1220可以存储访问权限的层次结构。作为示例，医生的访问权限级别可以高于护士的访问权限级别，而护士的访问权限级别又高于安排办公室就诊的接待员的访问权限。因此，与护士相比，医生能够查看更多的患者虚拟医疗记录信息。作为示例，医生可能能够查看通过患者的MRI检查获得的图像以及MRI检查的日期。但护士可能只能查看MRI检查的日期，因为MRI检查的日期具有足够的信息让护士安排患者的下次就诊。接待员可能只能查看患者的姓名、联系信息和办公室就诊安排。
访问权限级别可以与一个或多个访问标准相关联。访问标准可以基于虚拟医疗记录的特征。虚拟医疗记录的特征可以包括类型、内容、日期、创建医疗记录的实体等。例如，患者可以仅允许实体在过去12个月中编辑他的医疗记录。作为另一示例，患者可以仅允许他的保险提供者查看与患者在某个医院进行的手术相关的记录。作为又一示例，如果医疗记录的一部分包括某些单词，则患者可以将该部分设置为私密(例如，仅患者自己可以访问)。在某些实施方式中，如果虚拟医疗记录的特征满足特定访问标准，则可以自动附加访问权限。例如，在患者允许HCP访问在过去12个月内创建的其医疗记录的情况下，与患者今天的检查相关联的新医学图像可以自动变为HCP可访问。
附加地或替代地，访问标准还可以基于实体的特征，例如，实体的类型(例如，医院还是医药销售代表)、实体的位置(例如，实体位于特定地理区域之内还是之外)等等。例如，一旦患者授予HCP访问患者医疗记录的权限，HCP便可又允许另一实体查看由该HCP自己创建的医疗记录。在一些实施例中，授权用户的可穿戴设备可以监视用户的活动以确定是否继续显示虚拟医疗记录。例如，在可穿戴设备检测到用户不再穿戴可穿戴设备之后，可穿戴设备可以自动保存医疗记录并停止显示记录。这有利地可以防止未经授权的人穿戴可穿戴设备并查看患者的医疗记录。例如，可穿戴设备可以使用眼睛跟踪相机对穿戴者的一只眼睛(或两只眼睛)进行成像，并将虹膜或视网膜扫描与可穿戴设备的授权用户的数据库进行比较，以确定患者(而非第三方)正在穿戴着可穿戴设备。如果第三方正在穿戴着可穿戴设备，则可穿戴设备可以停止显示医疗记录，防止访问医疗记录，传达有关可能具有对医疗记录的未授权访问尝试的警报等。
尽管在示例中，虚拟医疗记录的访问权限与用户相关联，但是访问权限还可以与计算设备相关联。例如，检查室中的计算机可能具有与医生办公室中的计算机不同的访问权限级别。检查室中的计算机可能只能访问患者以前的检查信息，而医生办公室中的计算机可以访问患者的家族病史以及患者以前的检查。
记录更新系统
患者可以使用记录更新系统1214来与他的医疗记录交互。记录更新系统1214可以被配置为包括与数据处理系统1236和数据管理系统1234类似地执行的功能。例如，记录更新系统1214可以转录用户与其医生的对话并传送转录的对话，以便由医疗数据存储器1222进行存储。作为另一示例，患者可以通过其可穿戴设备的3D用户界面输入他的病史。记录更新系统1214可以将输入的病史添加到在医疗保健数据库系统1220中存储的患者的虚拟医疗记录。在一些实施例中，在将患者的医疗记录提交给保险公司进行偿付之前，医疗记录可以由HCP复查或批准。HCP可以使用HCP系统1230查看、更新或批准医疗记录。
医疗保健数据库系统的示例
医疗保健数据库系统1220可以被配置为存储和管理医疗相关数据，例如患者的虚拟医疗记录以及与医疗检查/程序(例如，执行特定医疗检查的过程、医疗检查或手术所需的医疗器械/仪器等)相关的信息。医疗保健数据库系统1220可以被实现为一个或多个服务器的一部分。在一些实施例中，医疗保健数据库系统1220包括用于可穿戴设备的用户的集中式医疗保健数据库。例如，医疗保健数据库系统1220可以包括用于存储患者的虚拟医疗记录的医疗数据存储器1222。有利地，在一些实施例中，虚拟医疗记录由患者(而不是HCP)拥有。因此，患者可以控制谁访问或修改其医疗记录并且可以确保其医疗记录是完整的，因为HCP进行的任何更新将指向患者的医疗记录而不是单独的HCP拥有的记录。如参考图14A和14B进一步描述的，患者可以管理与其虚拟医疗记录相关联的访问权限级别。
医疗保健数据库系统1220可以包括用于添加、编辑、访问或组织虚拟医疗记录的控制指令。例如，数据库系统1220可以从可穿戴设备的用户接收输入。用户可以是HCP或患者。输入可以包括对虚拟记录的更新(例如，通过添加、删除、编辑)。响应于输入，医疗保健数据库系统1220可以辨识需要更新的虚拟记录并相应地实施更新。作为另一示例，医疗保健数据库系统1220可以从患者系统1210接收访问权限设置。医疗保健数据库系统1220可以自动将访问权限设置附加到患者的医疗记录。作为又一示例，医疗保健数据库系统1220可以从HCP系统1230接收检索虚拟医疗记录的请求。医疗保健数据库系统1220可以基于该请求而辨识虚拟医疗记录并将虚拟医疗记录返回到HCP系统1230。在一些实施例中，医疗保健数据库系统1220检查HCP系统1230是否满足与虚拟医疗记录相关联的所要求的访问权限级别。如果HCP系统1230满足所要求的访问权限级别，则医疗保健数据库系统1220可以返回虚拟医疗记录。在某些实施方式中，如果HCP系统1230不满足所要求的访问权限级别，则医疗保健数据库系统1220可以仅返回该HCP系统1230可访问的虚拟医疗记录部分。例如，HCP系统1230可以请求与患者的检查相关的所有信息。然而，可以仅允许该HCP系统1230查看检查日期和位置，但是不允许查看检查图像。因此，医疗保健数据库系统1220可以仅将检查的日期和位置返回到HCP系统1230，而不向HCP系统1230提供检查的图像。
疗保健数据库系统1220还可以组织存储在医疗数据存储器1222，或者与HCP系统1230或患者系统1210相关联的数据存储器中的数据。可以以各种方式组织数据。例如，可以单独或组合地基于患者、HCP、医疗设置、程序类型、用户访问权限/隐私设置、位置、与数据相关联的动作项等而组织数据。
作为基于患者或HCP而组织数据的示例，可以将同一患者或同一HCP的虚拟医疗记录分组在一起。作为基于医疗设置而组织数据的示例，与放射学相关联的数据可以被存储在一起，而与手术相关联的数据可以一起被编译。作为基于手术类型而组织数据的示例，可以将具有心血管手术的患者的医疗记录组织在一起。
医疗保健数据库系统1220还可以基于用户访问权限/隐私设置而管理数据。例如，被患者标记为私密的数据可以与其余数据分开。医疗保健数据库系统120还可以实现额外的安全特征(例如，额外的密码认证层，或者要求通过生物特征信息(例如，虹膜或视网膜安全特征)进行认证)以便访问被标记为私密的数据。
附加地或替代地，医疗保健数据库系统1220可以基于时间或位置(例如，基于由可穿戴设备中的GPS传感器获得的位置信息)而管理数据。该位置可以是获取数据的位置、患者的位置等。例如，医疗保健数据库系统1220可以包括分布式数据存储，并且医疗保健数据库系统1220可以存储靠近获取数据的地理位置的数据。例如，患者可以在加利福尼亚州南部的一家医院接收X射线。医疗保健数据库1220可以将与该X射线相关联的信息存储在加利福尼亚州的数据存储器中，即使患者可能住在加利福尼亚州以外。医疗保健数据库系统1220还可以基于患者的位置而组织数据。在X射线示例中，假设患者住在纽约，医疗保健数据库系统1220可以将与X射线相关联的数据存储在靠近纽约的数据存储器处而不是存储在加利福尼亚州中的数据存储器处。
与数据相关联的动作项可以包括是否需要任何随访(follow-up)，将在何处执行以及由谁执行随访，需要何种类型的随访等。与数据相关联的动作项可以附加地或替代地包括有关随访向用户提供的通知(例如，警报、提醒等)。例如，在患者访问其初级保健医师期间，初级保健医师可以指引患者去看专家。因此，患者的虚拟医疗记录的动作项可以包括向位于特定医院的专家预约检查。医疗保健数据库系统1220可以基于动作项对数据进行分组。例如，需要在特定医院做成像检查的所有患者的信息可以由医疗保健数据库系统1220一起编译。
在一些实施例中，医疗保健数据库系统1220可以包括数据处理系统1236、数据管理系统1234、数据安全管理系统1212或记录更新系统1214等的至少一部分。例如，HCP的可穿戴设备可以记录HCP与患者之间的对话。可穿戴设备可以将记录的对话传送到医疗保健数据库系统1220。医疗保健数据库系统1220可以使用其数据处理系统来分析所记录的对话。
与医疗保健数据库交互的示例过程
图13A、13B、13C和13D示出了与医疗保健数据库系统交互的示例过程。图13A至13D中的示例过程可以由图12所示的医疗保健数据库系统1220或由可穿戴设备执行。
在图13A中的示例过程1300的框1310处，医疗保健数据库系统或可穿戴设备可以管理医疗相关数据，例如控制一个或多个数据存储器中的医疗相关数据的存储。
在框1320处，可穿戴设备的用户可能想要访问数据并向医疗保健数据库系统发送访问数据的请求。医疗保健数据库系统可以从可穿戴设备接收访问数据的请求。医疗保健数据库系统可以解析可穿戴设备的请求并确定该请求是否满足与该数据相关联的所需访问权限。访问权限可以确定可穿戴设备的用户是否可以编辑、添加或查看数据。
在框1330处，可穿戴设备可以显示虚拟内容。可穿戴设备可以从医疗保健数据库系统接收请求。可穿戴设备可以将所请求的数据显示为可穿戴设备的3D用户界面中的虚拟内容。在一些实施例中，可穿戴设备可以具有仅查看数据的一部分的权限。因此，可穿戴设备可以仅在3D用户界面上呈现其具有权限的数据部分。
在框1340处，可穿戴设备的用户可以编辑医疗保健数据库系统中的数据或将数据添加到医疗保健数据库系统。在一些实施例中，可穿戴设备可以在允许用户执行框1340的操作之前与医疗保健数据库系统通信以验证用户是否具有所需访问权限。在一些实施方式中，如果用户对数据不具有编辑访问权限，则框1340和1350是可选的，并且该方法可以跳过这些框。
在框1350处，医疗保健数据库系统可以自动更新其数据。例如，可穿戴设备可以发送从用户接收的输入。输入可以包括新的虚拟医疗记录或对现有虚拟医疗记录的更新。医疗保健数据库系统可以从可穿戴设备接收输入。医疗保健数据库可以自动启动新虚拟医疗记录的存储或更新现有虚拟医疗记录。可选地，在框1330、1340或1350处，医疗保健数据库系统可返回到框1320以确定用户是否仍被授权访问数据。如果被授权，则该方法如上所述继续后续的框，但是如果未被授权，则该方法可以终止(例如，该方法可以停止向用户显示虚拟内容)。
图13B示出了图13A中的框1320的示例子过程。在框1322处，用户请求访问医疗档案。医疗档案可以存储在医疗保健数据库系统的医疗数据存储器中。用户的可穿戴设备可以向用户的医疗保健数据库系统发送访问医疗档案的请求。
在框1324处，医疗保健数据库系统或用户的可穿戴设备可以通过参考图14A描述的技术来验证用户的身份。如参考图14A和14B进一步描述的，可以基于用户输入(例如，用户名和密码)或用户的生物信息来验证用户的身份。在一些实施例中，医疗保健数据库系统或可穿戴设备可以确定与所请求的医疗档案相关联的所有者或患者身份(ID)。医疗保健数据库系统或可穿戴设备可以使用所有者或患者ID来检索与医疗档案相关联的访问权限。例如，患者可以将他的医疗记录设置为所有医院都可以查看。作为另一示例，患者可以将他的医疗记录设置为在紧急情况下可以由任何HCP查看。因此，如果可穿戴设备的用户是医院中的医生，则可穿戴设备可以授权该医生访问。
在框1326处，如果医疗档案的所有者尚未给予用户访问权限，则医疗保健数据库系统可以拒绝用户的访问。医疗档案的所有者可以是与医疗档案相关联的患者。在框1328处，如果所有者已经授予了用户权限，则医疗保健数据库系统可以授予对医疗档案的相关部分的访问权限。例如，虽然诊所的护士可以访问患者的所有医疗记录，但护士的可穿戴设备可以仅显示患者的姓名、地址和社保号码以供护士安排患者的下一次预约，因为护士安排预约时不需要其它信息，例如以前的医疗检查的图像。
图13C示出了图13A中的框1330的示例子过程。在框1332处，可穿戴设备可以通过访问验证而确定用户ID和所有者/患者ID(如参考图13B中的子过程1320描述)。
在框1334处，系统可以确定时间或位置。例如，可穿戴设备可以使用来自其环境传感器的数据来确定用户的当前位置。作为框1332的补充或替代，可以执行框1334。
在框1336处，出现默认显示屏幕。默认显示屏幕可以呈现与用户相关联的信息(例如，用户的排定预约)或与用户的患者相关联的信息(例如，患者的医疗记录)。如参考图21至24进一步描述的，可穿戴设备可以基于情境(contextual)信息呈现显示屏幕。例如，可穿戴设备可以基于所请求的医疗档案或基于用户的位置而呈现显示屏幕。作为示例，可穿戴设备可以在图2A中描述的显示系统的不同深度平面中显示医学图像。最近的图像可以在看起来最接近用户的深度平面处呈现，而较早的图像可以在远离用户的深度平面处呈现。
在框1338处，用户可以根据需要修改显示。例如，用户可以使用姿势或用户输入设备466将较早的图像移动到较近的深度平面。
图13D示出了图13A中的框1340的示例子过程1340a和1340b。可穿戴设备可以使用一个或多个环境传感器来监视其环境。例如，可穿戴设备的麦克风可以在用户穿戴着可穿戴设备时连续地获取环境中的音频数据。
在子过程1340a的框1342a处，可穿戴设备可识别数据捕获触发者。如参考图15中的启动条件进一步描述的，数据捕获触发者可以是关键字、手势、对象或来自用户输入设备的输入。触发者可以使可穿戴设备开始使用一个或多个环境传感器捕获数据。
在框1344a处，可穿戴设备可以连续捕获数据，直到满足捕获要求。参考图16中的终止条件描述了示例性捕获要求。
作为图13A中的框1340的子过程的另一示例，在框1342b处，医疗保健服务提供者可以通过说出例如“拍摄照片1”来激活数据捕获触发者。在该示例中，医疗保健提供者是可穿戴设备的用户，并且触发者包括关键字“拍摄照片1”。
在框1344b处，可穿戴系统(例如，医疗保健提供者的可穿戴设备)可以基于触发者获取第一照片。由于触发者涉及照片编号1，因此可穿戴设备可以将可穿戴设备拍摄的照片标记为数字1。此外，因为照片包括患者的肿瘤，所以可穿戴设备可以分析该照片(例如使用对象识别器708)并辨识照片中的肿瘤。因此，可穿戴设备可以自动向医疗保健数据库系统发送指令以将该照片放置在患者档案的肿瘤切除部分中。可穿戴设备还可以向医疗保健数据库系统发送其它信息(例如，拍摄照片的时间、拍摄照片的位置、拍摄照片的用户等)。数据捕获可以在拍摄单个图像时完成。
基于访问权限访问虚拟医疗记录的示例
虚拟医疗记录可以与访问权限相关联。如参考图12所述，患者可以使用数据安全管理系统1232为他的医疗相关数据设置访问权限。患者和具有来自用户的许可的指定人员可以访问并授权其他人访问患者虚拟医疗记录的全部或部分。
图14A示出了基于与虚拟医疗记录相关联的访问权限而访问虚拟医疗记录的示例。在图14A中，外科医生1402在手术室中对患者的心脏1406进行手术。在对患者的心脏进行手术时，外科医生1402可以查看由环境传感器获取的患者的生理数据。外科医生1402可以穿戴可穿戴设备并且可以查看由外科医生的可穿戴设备的显示器上示出的由虚拟元件1404总结的患者的生理数据。
该外科医生可以有两名医科学生：学生1412和学生1414。然而，学生1412和1414没有查看患者生理数据的权限。当学生尝试从用户设备(参见例如图17中的用户设备1730，其可以包括本文描述的可穿戴设备)访问患者的生理数据时，用户设备会接收到无法查看生理数据的指示。因此，用户设备可以提供指示这些学生不具有访问生理数据的权限的通知1420。通知1420可以存储在患者的医疗记录中。外科医生的可穿戴设备还可以向外科医生提供有关学生请求访问患者生理数据的另一通知。在一些实施例中，外科医生或学生的可穿戴设备可以在该通知1420附近提供焦点指示符。焦点指示符可以包括光晕、颜色、感知大小或深度变化(例如，使虚拟对象在被选择时看起来更近和/或更大)、用户界面元素的变化(例如，将光标的形状从圆形改变为升级标记(escalation mark))、消息(带有文本或图形)或其它可听的、可触知的、或者引起用户注意的视觉效果。
请求患者的医疗相关数据的用户的可穿戴设备可以使用各种技术来验证用户的身份并确定用户对虚拟医疗记录的访问权限。可穿戴设备还可以要求其用户提供某些用于验证用户身份的输入。输入可以包括密码、安全问题的答案等。可穿戴设备可以基于输入是否正确而对用户进行验证。可穿戴设备还可以基于用户的生物信息而验证用户的身份。例如，可穿戴设备可以使用面部识别、指纹、虹膜代码、眼睛颜色、视网膜图案等来辨识用户。生物信息还可以用作与用户帐户相关联的密码。有利地，在一些实施例中，生物信息为数据访问提供更强形式的认证和更高级别的安全性(而不是字母数字串形式的密码)，因为某些生物特征(例如，指纹、虹膜图案、视网膜图案)是每个人独有的。
一旦验证了用户的身份，可穿戴设备就可以基于与用户相关联的信息确定用户是否有权访问虚拟医疗记录。例如，用户可以与帐户标识符(ID)相关联。可穿戴设备可以与医疗保健数据库系统1220通信以确定帐户ID是否在与患者数据相关联的经批准的帐户ID的列表内。作为另一示例，可穿戴设备可以使用帐户ID来访问用户的特征并确定用户的特征是否满足由患者设置的访问标准。在一些实施例中，患者可以与患者ID(也被称为所有者ID)相关联。用户的可穿戴设备可以通过使用患者ID查询医疗保健数据库系统1220来检索访问标准或经批准的帐户ID的列表。
作为基于用户的访问权限而呈现虚拟医疗记录的示例，用户的可穿戴设备(例如，可穿戴设备的光学传感器)可以将光照射到用户的眼睛内以执行视网膜识别(本文中也被称为视网膜扫描)。可穿戴设备可以辨识与用户的视网膜相关联的独特图案。该独特图案可用于确定用户的身份。例如，视网膜图案可以用作密码。可穿戴设备可以确定所辨识的视网膜图案是否与寻求访问虚拟医疗记录的用户帐户ID相关联的视网膜图案匹配。在某些实施方式中，可穿戴设备可以与医疗保健数据库系统1220一起验证用户的ID(如图12所示)。例如，可穿戴设备可以拍摄用户眼睛的图像。医疗保健数据库系统1220可以执行视网膜扫描，并基于从视网膜扫描辨识的视网膜图案来验证用户的身份。在一些实施例中，当验证用户的身份时，用户可以与另一用户共享虚拟医疗记录或者接收由另一用户共享的虚拟医疗记录。
当可穿戴设备确定用户的视网膜图案与寻求访问虚拟医疗记录的用户帐户ID匹配时，可穿戴设备可以确定用户是否有权访问虚拟医疗记录、用户有权访问的虚拟医疗记录部分、以及用户是否可以编辑虚拟医疗记录。此外，可穿戴设备可以确定用户对其它医疗保健相关虚拟内容的访问权限，例如医院的预约排定系统、当前手术的状态、与医疗器械相关的信息(例如，器械是否在使用中)等。可穿戴设备可以仅向用户呈现用户有权访问的虚拟内容。有利地，在一些实施例中，可以通过基于用户的访问权限级别使用可穿戴设备呈现虚拟内容来实现增强的数据隐私。例如，诸如医疗销售代表之类的访问者可以在诊所或医院接触到私密的患者信息，因为该私密信息可能被显示在计算机监视器上或者纸上。可穿戴设备可以通过在头戴式显示器上呈现私密信息来减少在计算机监视器上或在纸上显示信息的需要。除非访问者具有所要求的访问权限级别，否则访问者可能无法访问以前在纸上或计算机监视器上的私密患者信息。可穿戴设备的一些实施例可以分析穿戴者的虹膜的图像以确定虹膜代码(例如，美国专利No.5,291,560中描述的Daugman虹膜代码)，并且作为视网膜扫描的补充或替代，使用虹膜代码执行帐户授权和对患者医疗记录的访问。
在一些实施例中，如果用户无权访问虚拟医疗记录，则用户可以请求另一实体授予权限。另一实体可以是虚拟医疗记录的所有者。例如，用户的可穿戴设备可以自动向拥有虚拟医疗记录的患者的可穿戴设备发送请求，要求患者授予访问权限。另一实体还可以包括可以委托访问的用户。
与实体相关联的访问权限级别可以基于患者与实体的交互而改变。例如，医生办公室的前台接待员可以负责安排患者。当新患者去医生办公室时，前台接待员可能最初有权访问新患者的基本信息，例如姓名和出生日期。在新患者第一次咨询医生之后，该医生可以增加接待员的访问权限，以允许接待员查看有关患者的更多信息，例如，患者的诊断、治疗、程序信息等。医生可以使用医生的可穿戴设备更新接待员的访问权限。例如，医生可以使用用户输入设备466或姿势将与接待员可穿戴设备相关联的帐户ID添加到与更高级别的访问权限相关联的帐户ID列表中。由于访问权限级别的增加，接待员可以获得患者的更多信息以适当地安排患者的下次就诊。例如，接待员可以基于医生的诊断而确定下一次预约的持续时间和类型。接待员可以相应地预留适当的检查室并预订下一次预约的正确时间段。尽管参考用户的可穿戴设备描述了验证用户身份和确定用户访问权限的示例，但是在一些实施例中，医疗保健数据库系统1220可以作为对可穿戴设备的补充或替代，单独地或与另一用户设备的组合地执行验证并确定访问权限级别。
基于访问权限访问虚拟医疗记录的示例过程
图14B示出了显示基于访问权限访问虚拟医疗记录的示例过程1480的流程图。过程1480可以由医疗保健数据库系统1220(如图12所示)执行。
在框1482处，医疗保健数据库管理系统从HCP系统接收访问虚拟医疗记录的请求。虚拟医疗记录可以由与虚拟医疗记录相关联的患者拥有。虚拟医疗记录可以存储在医疗数据存储器1222中。
在框1484处，医疗保健数据库管理系统确定与虚拟医疗记录相关联的访问权限。例如，医疗保健数据库管理系统可以访问医疗数据存储器1222以辨识访问权限。在一些实施例中，医疗保健数据库管理系统1222可以辨识虚拟医疗记录的特征，并基于由用户提供的访问标准(如图12所述)确定应该将哪个级别的访问权限附加到虚拟医疗记录。
在框1490处，医疗保健数据库系统可以确定HCP系统是否被授权访问虚拟医疗记录。例如，医疗保健数据库系统可以验证HCP的身份并确定HCP是否具有检索虚拟医疗记录所需的访问权限。
如果HCP系统被授权访问虚拟医疗记录，则在框1492处，医疗保健数据库系统将虚拟医疗记录传送到与HCP相关联的可穿戴设备以供呈现。在一些实施例中，HCP被授权仅访问虚拟医疗记录的一部分，医疗保健数据库系统可以返回HCP系统有权访问的虚拟医疗记录部分。
如果HCP系统未被授权访问虚拟医疗记录，则医疗保健数据库系统可以提供指示该HCP系统未被授权访问虚拟医疗记录的通知(例如，图14A所示的通知1420)。在一些实施例中，尽管HCP系统可以查看虚拟医疗记录，但是HCP系统可能无法编辑虚拟医疗记录。因此，如果HCP系统试图修改虚拟医疗记录，则医疗保健数据库系统还可以向HCP系统提供指示该HCP系统未被授权修改虚拟医疗记录的通知。在一些实施例中，医疗保健数据库系统可以在医疗记录中做出这样的注释：HCP系统已查看或更新虚拟医疗记录。该注释还可以包括关于HCP系统已经在哪里、何时、持续多长时间查看过虚拟医疗记录的信息。该注释还可以包括HCP系统在虚拟医疗记录中已经查看或更新的部分。这样的注释可以存储在医疗记录中的访问日志中或另一数据库中。访问日志可能具有有限的编辑访问权限，因此未经授权的用户无法编辑患者医疗记录，因此无法编辑访问日志以删除任何未授权访问的痕迹来覆盖他的踪迹。
记录患者与医疗保健提供者之间的交互的示例
患者在HCP的就诊中经常涉及多个实体。例如，在患者在诊所就诊期间，患者可以首先填写登记表(intake form)。护士可以基于登记表将患者信息输入到计算机系统中并检索与患者相关的附加信息，例如患者的过敏情况、患者先前的诊所就诊信息、其它医疗信息等。医生可以看到患者并基于对话和对患者进行的检查做注释。然而，由HCP获得的信息可能不完整。例如，医生的注释可能会遗漏与患者的一部分对话。此外，在患者在诊所就诊的时间与更新患者的医疗记录以反映患者就诊期间获得的信息的时间之间，经常存在延迟。该延迟可能是因为医疗记录需要由多个实体更新，并且一些实体可能仅周期性地传送更新。
为了解决这些问题，可穿戴设备可以被配置为记录患者与HCP之间的交互，处理在交互期间获取的信息，并且在患者与HCP交互时基本上实时地自动更新患者的医疗记录。患者和HCP之间的交互可以包括患者和HCP之间的对话，对患者进行的检查或手术，由患者向HCP提供的信息(例如，病史)，由HCP向患者提供的信息(例如，诊断)等，上述内容的组合等等。可穿戴设备可以基于在患者和HCP之间的交互期间获得的信息更新患者的虚拟医疗记录。例如，可穿戴设备可以将检查中的医学图像、患者的症状(基于患者和医生之间的对话提取)、或医生的注释和诊断等添加到患者的医疗记录中。
记录和处理患者和HCP之间的交互的示例
可穿戴设备可以使用一个或多个环境传感器(如参考图2A和2B所述)来记录患者和HCP之间的交互的数据。交互的数据可以包括音频和视觉数据。
可穿戴设备可以处理所记录的数据(例如，使用本地处理模块260、远程处理模块270、数据处理系统1236)来提取相关信息。可穿戴设备可以使用听写程序(其可以实现参考图12描述的各种语音识别技术)来辨识由患者或HCP在所记录的对话中说出的单词。可穿戴设备还可以使用一个或多个对象识别器708来辨识交互中涉及的对象或人。例如，可穿戴设备可以使用面部识别算法自动检测患者的面部。作为另一示例，可穿戴设备可使用计算机视觉算法来检测用户身体的一部分(诸如患者遇到问题的肢体)。作为又一示例，可穿戴设备可以使用文本识别技术来提取由面向外的成像系统464获取的图像中的文本。
可穿戴设备可以将记录数据的一部分辨识为相关部分。例如，所记录的数据可以包括患者就诊期间患者和医生之间的整个对话。然而，对话的开始可能涉及相互问候，这与诊断患者的疾病无关。可穿戴设备可以被配置为辨识对话中与症状的描述或医疗信息无关的部分。可穿戴设备可以使用各种机器学习算法来确定哪个部分是相关的(或不相关的)。例如，可穿戴设备可以应用机器学习模型，该机器学习模型通过训练来辨识音频数据或单词描述中的特定关键字。作为另一示例，可穿戴设备可以应用计算机视觉算法来辨识包括相关对象(诸如患者身体中具有肿块的部分)的图像的一部分。可穿戴设备还可以使用各种机器学习算法来辨识患者的症状(例如，通过患者的语音或形成由可穿戴设备的面向外的成像系统464捕获的患者/环境的图像)。可穿戴设备可以向用户提供关于所辨识的症状的通知。例如，如果在检查期间当用户对患者的左腿进行身体检查时用户未注意到患者因疼痛而畏缩(例如，用户和患者之间的对话未提到患者左腿疼痛)，则可穿戴设备可以在医疗档案中作笔记或者提供患者左腿可能有压痛的通知(例如，可视警报)。
在某些实施方式中，可穿戴设备可以被配置为不处理不相关部分。例如，可穿戴设备可以辨识出涉及天气讨论的音频数据部分。可穿戴设备可以选择不将语音识别应用于该部分音频数据。作为另一示例，在可穿戴设备已经转录音频数据之后，可穿戴设备可以将涉及患者症状的描述部分标记为相关部分。基于转录，可穿戴设备可以将机器学习模型应用于相关部分以辨识患者症状描述中的关键点。然而，可穿戴设备可以被配置为不将机器学习模型应用于天气讨论。
图15示出了记录和处理与患者1502和HCP之间的交互相关联的音频数据的示例。HCP可以是医生，该医生可以穿戴着可穿戴设备。可穿戴设备可以在后台执行听写程序。听写程序可以是图12中描述的数据处理系统1236的实施例。听写程序可以从可穿戴设备的麦克风232接收音频数据。在一些实施方式中，听写程序可以监视音频数据的内容，但是仅记录患者和HCP之间的对话的一部分。在其它实施例中，听写程序记录整个对话。可穿戴设备可以记录(例如，单独经由面向外的成像系统464或经由面向外的成像系统464与麦克风232的组合)患者和HCP之间的交互的一部分。可穿戴设备可以使用各种技术来确定应该记录交互中的哪个部分。例如，可穿戴设备可以响应于确定存在启动条件而开始记录，并且在存在终止条件时停止记录。附加地或替代地，可穿戴设备可以处理在该程序期间拍摄的患者的图像(例如，通过面向外的成像系统)。图像(或图像的分析)可以存储在患者医疗记录中，这可以提供内容更丰富和更准确的程序记录。例如，可穿戴设备可以分析显示患者的断肢的图像(例如，以确定断裂的角度)或患者皮肤的颜色(例如，以确定皮疹或过热的存在)。
启动条件和终止条件的示例
启动条件和终止条件可以包括关键字、来自用户输入设备466的输入、或姿势(例如，头部姿势、手势或其它身体姿势)。在一些实施例中，关键字或姿势可以被称为激活命令。作为示例，关键字可以包括：“生病”、“疼痛”、“受伤”、“糖尿病”、“癌症”、“停止”、“开始”等。关键字可以单独地或组合地包括预编程到可穿戴设备中的默认关键字、由可穿戴设备的用户指定的单词、使用机器学习算法辨识的单词。
可穿戴设备可以检测关键字并应用话音或语音识别技术来辨识启动条件的存在。HCP可以将启动条件指定为特定用户所说的某些关键字。例如，医生可以将医生自己说的短语“开始记录”指定为启动条件。因此，如果可穿戴设备检测到医生(而不是护士)说“开始记录”，则医生的可穿戴设备可以开始记录在麦克风上接收的音频数据(可选地伴随由面向外的相机获得的可视记录)。同样，当可穿戴设备检测到诸如“停止记录”之类的短语时，医生的可穿戴设备可以停止记录音频(或视觉内容)。
在一些实施例中，可穿戴设备可以提供与检测到的关键字相关联的情境(context)。例如，可穿戴设备的本地处理和数据模块260可以包括缓冲器。当可穿戴设备监视用户的环境时，交互的音频/可视数据可以临时存储在缓冲器中。一旦可穿戴设备检测到存在启动/终止条件，则可穿戴设备可以在激活命令之前/之后检索(例如，从缓冲器)并分析音频/视觉数据以提供关键字的情境。作为另一示例，当可穿戴设备检测到激活命令的存在时，可穿戴设备可以在激活命令之前和之后启动一部分音频/视觉数据的存储。例如，可穿戴设备可以在激活命令之前2分钟或激活命令之后5分钟记录(或启动存储)对话。可以处理和存储所记录的对话以供HCP稍后查看。有利地，在一些实施例中，通过在启动命令之前和之后记录音频/视觉数据，可穿戴设备可以提供关键字的情境。如果需要，HCP可以稍后编辑文本，但是情境可以帮助HCP记住患者所说的内容。另外，为了节省硬件存储空间，可穿戴设备可以稍后擦除或覆写在激活命令之前的多于2分钟或在激活命令之后的多于5分钟获取的音频/视觉数据。
附加地或替代地，医生的可穿戴设备可以在可穿戴设备的存储器中记录医生和患者之间的整个对话。一旦可穿戴设备检测到启动条件或终止条件，可穿戴设备可以检索并向医生呈现情境，该情境包括在启动条件或终止条件之前和之后的一些对话。医生可以回顾或编辑情境，并确定是否应该由可穿戴设备记录该情境。
作为对关键字的补充或替代，还可以基于来自用户输入设备(例如，请参见用户输入设备466)的输入而检测启动条件或终止条件的存在。HCP可以使用各种方式致动用户输入设备，例如，点击鼠标，轻敲触摸板，在触摸屏上轻扫，悬停在或触摸电容按钮，按下键盘或者游戏控制器(例如，5向d-pad)上的键，将操纵杆、魔杖或图腾指向对象，按下遥控器上的按钮，或者与用户输入设备的其它交互等。作为示例，HCP可以使用图腾打开或关闭听写程序。当可穿戴设备检测到HCP按下了图腾上的特定按钮时，可穿戴设备可以开始执行听写程序。当可穿戴设备稍后检测到再次按下相同的按钮时，可穿戴设备可以停止听写程序。
可穿戴设备还可以检测HCP的姿势以确定是否存在启动条件或终止条件。可穿戴设备可以使用由其环境传感器获取的数据来检测HCP的姿势。例如，可穿戴设备可以使用IMU来确定用户的头部姿势是否已经改变。可穿戴设备还可以将计算机视觉算法应用于由面向外的成像系统获取的图像以检测用户的手势。可穿戴设备可以将检测到的手势与启动/终止条件的关联手势进行匹配。启动/终止条件的关联手势可以由HCP设置。例如，医疗保健提供者可以将“在左手上敲击手指”指定为记录音频数据的启动条件，以及将“在右手上敲击手指”指定为记录音频数据的终止条件。当患者对HCP说话时，HCP的可穿戴设备可以在后台运行听写程序。可穿戴设备可以基于由面向外的成像系统获取的图像来检测HCP已经在他的左手上敲击了他的右手食指。因为该手势与启动条件相关联，所以可穿戴设备可以在患者和HCP对话时使用听写程序开始记录音频数据。当可穿戴设备检测到HCP在他的右手上轻击左手的一个手指时，可穿戴设备可以停止记录音频数据，但是听写程序仍然可以在后台运行。
当某人记录患者的对话或明显地对患者进行成像时，一些患者可能会感到不舒服。有利地，在一些实施例中，启动条件和终止条件可以是不显眼的，使得患者不会注意到他正被记录或成像。例如，用于启动条件的关键词可以是短语“有疼痛”而不是短语“开始录音”。作为另一示例，启动条件的关联手势可以是在桌子上敲击手指两次而不是在HCP的可穿戴设备前面挥动HCP的手臂。
记录和处理音频数据的示例
如图15所示，患者ABC 1502将其病情描述给HCP(图15中未示出)。病情可能包括患者的症状、患者症状的持续时间、个人病史、家族病史等。在该示例中，患者的症状包括已持续一周的左臀疼痛。此外，患者告诉HCP他的妈妈患有关节炎。听写程序可以在患者说话时转录患者的描述。HCP的可穿戴设备可以生成总结患者描述的相关部分的虚拟项1520。在一些实施例中，可穿戴设备可以使用一个或多个环境传感器，或者可以与另一计算系统通信以获取患者描述未提供的附加信息。例如，可穿戴设备可以应用面部识别算法来检测由面向外的成像系统获取的图像中的患者的面部，以确定患者的身份。可穿戴设备可以使用检测到的面部来查询医疗保健数据库系统1220。如果患者的信息在医疗保健数据库系统1220中，则医疗保健数据库系统1220可以将患者的姓名或其它信息返回到可穿戴设备。在该示例中，患者的姓名为ABC。可穿戴设备可以将从医疗保健数据库系统1220检索到的信息合并到虚拟项1520中。在该示例中，将患者的姓名添加到虚拟项1520。在一些情况下，患者可以在检查期间穿戴着可穿戴设备，并且可以将患者的可穿戴设备上的用户传感器所获取的患者信息传送到HCP的可穿戴设备或存储在患者医疗记录中。例如，眼睛跟踪相机可以确定关于用户眼睛的信息，并且可穿戴设备上的生理传感器可以确定关于例如患者的心率、呼吸率、血压等的信息。
虚拟项1520可以由HCP的可穿戴设备显示。在一些情况下，患者1502也穿戴着可穿戴设备。虚拟项1520还可以由患者的可穿戴设备显示。
可以将所记录或处理的数据添加到患者的医疗记录中。在将数据添加到患者的医疗记录中之前，可穿戴设备可以使用参考图12至图14B描述的各种身份验证技术来验证患者的身份。
尽管HCP的可穿戴设备记录了患者和HCP之间的交互，但是患者的可穿戴设备也可以单独记录交互或者与HCP的可穿戴设备组合地记录交互。例如，患者可以使用其可穿戴设备上的听写程序来听写其病情。
另外，尽管该示例使用听写程序，但是也可以使用用于记录交互的其它输入技术。例如，HCP可以通过使用可穿戴设备的虚拟或物理键盘键入患者的描述来记录交互。HCP也可以通过使用HCP的可穿戴设备的面向外的成像系统对交互进行成像来记录交互。
记录和处理成像数据的示例
HCP的可穿戴设备可以使用一个或多个环境传感器获得患者的图像。例如，可穿戴设备可以使用面向外的成像系统464拍摄患者的照片或录像。有利地，在一些实施例中，可穿戴设备可以提供无需用手的记录方式，从而使无菌问题最小化。例如，可穿戴设备可以使用由一个或多个环境传感器获取的数据来确定可穿戴设备的用户是否已进入手术室。可穿戴设备可以使用对象识别器708进行确定，以辨识通常位于手术室中的物品或辨识表示“手术室”的标志。响应于确定用户在手术室中，可穿戴设备可以记录在手术室中发生的过程的音频/视觉数据。附加地或替代地，可穿戴设备可以每隔几秒拍摄用户周围环境的照片或录像，直到检测到终止条件。
作为另一示例，HCP的可穿戴设备可以响应于HCP做出的手势或说出的关键字而开始记录患者的图像或对患者进行的医疗程序。例如，可穿戴设备可以在检测到短语“开始记录”时开始记录程序的一部分，并在检测到医生说出的短语“停止记录”时停止记录。医生还可以在可穿戴设备前面挥动他的右手三次作为拍摄患者图像的激活命令。
通过使用姿势、话音命令或对象识别器，可穿戴设备可以帮助HCP避免在医疗程序/检查中接触未消毒设备(例如，个人设备、相机或智能电话)。此外，可穿戴设备可以基于所记录的音频/视觉数据而自动更新患者的虚拟医疗记录(例如，患者的病历(chart))，从而减少了传统技术中从个人设备或数字显微镜等上传数据的需要。
使用所记录的数据自动更新虚拟医疗记录的示例
当前，患者的医学图像由医院的图片存档和通信系统(PACS)管理和存储。为了添加患者的新医学图像，HCP需要通过电子邮件将新图像发送到医院的PACS系统。然而，这种更新患者记录的技术不可靠，因为图像可能被意外地附在错误的人上或者可能在电子邮件中丢失。
本文描述的可穿戴设备可以提供更快和更准确的方式来更新患者的医疗记录(例如，患者的病历)。可穿戴设备可以识别需要更新的患者档案。例如，可穿戴设备可以接收HCP(例如，医生)对患者档案的选择。可穿戴设备还可以使用面部识别、话音识别或患者的其它生物信息来辨识患者。有利地，通过使用本文描述的各种身份验证技术，可穿戴设备可以降低患者的数据被意外地附到另一患者的档案上的可能性。
一旦可穿戴设备辨识出患者，可穿戴设备就可以打开患者的档案进行更新。因此，当患者与HCP交互时，患者的档案变得可由HCP访问。当HCP捕获与患者相关联的音频/视觉数据时，这些数据可以近乎实时地被附到患者的档案上。HCP的可穿戴设备可以与医疗保健数据库管理系统通信以保存患者档案的更新。有利地，在一些实施例中，通过在患者与HCP交互时自动更新患者的档案，HCP不必通过电子邮件与PACS(或另一HCP)之间来回发送图像；从而降低了图像丢失的可能性。此外，患者的档案更新可以在患者的就诊/交互期间进行，这可以减少更新患者记录的延迟。
在某些实施方式中，当打开患者的医疗记录以进行查看或编辑时，可穿戴设备的多个用户可以共同查看和更新虚拟医疗记录。如参考图17至20进一步描述的，可穿戴设备的第一用户可以更新医疗记录，而可穿戴设备的第二用户可以在第一用户正在更新医疗记录时查看更新的虚拟医疗记录。可穿戴设备可以提供和存储每个用户与虚拟医疗记录的交互以及谁正在访问虚拟医疗记录(例如，上述访问日志)的指示。例如，可穿戴设备可以在虚拟医疗记录中的一组图像附近显示第一用户的虚拟化身和单词“编辑”。可穿戴设备还可以在该组图像附近显示第二用户的名字和单词“查看”。
记录患者和医疗保健提供者之间的交互的示例过程
图16是示出用于通过可穿戴设备记录医疗事件的示例过程1600的流程图。医疗事件可以包括HCP和患者之间的交互、对患者进行的检查或程序，或者交互/检查/程序的一部分等。过程1600可以由可穿戴设备执行。可穿戴设备的用户可以是HCP或患者。
在框1610处，可穿戴设备监视用户的环境。可穿戴设备可以使用本文描述的一个或多个环境传感器来监视用户的环境。例如，可穿戴设备可以使用麦克风获取用户环境的声音，并且可以获取用户环境面向外的成像系统的图像。由环境传感器获取的数据可以包括与用户或用户的物理环境相关联的数据。
在框1620处，可穿戴设备分析与用户环境相关联的数据以检测启动条件。与用户环境相关联的数据可以包括由一个或多个环境传感器获取的数据、存储在可穿戴设备上的数据、从远程数据储存库280检索的数据等。例如，可穿戴设备可以使用语音识别算法来检测音频数据中获取的单词。可穿戴设备还可以从医疗保健数据库系统1220访问与启动条件相关联的关键字。可穿戴设备可以确定音频数据是否包括与启动条件相关联的关键字。
在框1630处，可穿戴设备可以基于框1620处的数据分析来确定是否存在启动条件。如果不存在启动条件，则过程1600返回到框1610，其中可穿戴设备继续监视环境。
如果检测到启动条件，则在框1640处，可穿戴设备可以使用一个或多个环境传感器来记录医疗事件。例如，可穿戴设备可以使用麦克风232来记录患者和HCP之间的对话。可穿戴设备还可以使用面向外的成像系统464来拍摄患者的照片。可穿戴设备可以处理音频和视觉数据以辨识相关信息。
在框1650处，可穿戴设备可以确定是否存在终止条件。可穿戴设备可以基于与用户环境相关联的数据来检测终止条件。如果不存在终止条件，则可穿戴设备可以连续地记录医疗事件，如框1640所示。如果存在终止条件，则在框1660处，可穿戴设备可以终止医疗事件的记录。例如，可穿戴设备可以停止处理由一个或多个环境传感器获取的数据，关闭环境传感器，指示环境传感器进入睡眠模式等。
可选地，在框1670处，可穿戴设备可以生成用于使用与医疗事件相关联的信息来更新数据存储的指令。与医疗事件相关联的信息可以包括记录医疗事件的一部分或整个医疗事件的音频或视觉数据。该指令可以使医疗保健数据库系统将与医疗事件相关联的信息添加到患者的虚拟医疗记录中。在一些实施例中，可穿戴设备可在可穿戴设备记录医疗事件的同时更新数据存储。附加地或替代地，可穿戴设备可在可穿戴设备完成记录医疗事件之后更新数据存储。
在医疗保健提供者之间共享医疗信息的示例
图17示意性地示出了描绘多个设备彼此交互的整体系统视图。计算环境1700包括用户设备1730和可穿戴设备210a和210b。用户设备可以单独地或组合地为可穿戴设备(诸如可穿戴设备)、计算机、移动设备或任何其它设备。
用户设备1730和可穿戴设备210a、210b可以通过网络1290彼此通信(如图12所示)。在一些实施例中，用户设备1730和可穿戴设备210a、210b还可以与经由有线或无线网络与可穿戴设备连接的另一设备(例如，诸如超声探头之类的医疗设备)通信。例如，对象识别器708可以分析由可穿戴设备捕获的图像并确定存在医疗设备(例如，超声探头)。可穿戴设备可以尝试连接到该医疗设备(例如，通过监听由医疗设备广播的广告事件)以模仿该设备和可穿戴设备之间的通信链路。计算环境1700还可以包括一个或多个远程计算系统1720。远程计算系统1720可以包括集群的以及位于不同地理位置的服务器计算机系统。在一些实施方式中，远程计算系统1720可以包括图12所示的医疗保健数据库系统1220的实施例。计算设备1730和可穿戴设备210a、210b可以经由网络1290与远程计算系统1720通信。
远程计算系统1720可以包括远程数据储存库280(也在图2中示出)，其可以维护关于物理和/或虚拟世界的信息。远程计算系统270还可以包括远程处理模块270(也在图2中示出)。远程处理模块270可以包括与用户设备1730、可穿戴设备210a和210b以及远程数据储存库1280通信的一个或多个处理器。在一些实施方式中，处理或存储的至少一部分可以由本地处理和数据模块260(如图2所示)提供。
可穿戴设备210a、210b和用户设备1730的用户可以经由网络共享环境的信息并与环境中的虚拟和物理对象交互。例如，医生可以穿戴可穿戴设备210a并对手术室中的患者进行手术。可穿戴设备210a可以生成并向医生显示虚拟内容屏幕。虚拟内容屏幕可以包括仅医生可以查看的虚拟内容的第一部分。虚拟内容屏幕还可以包括房间中的其他用户可以查看的虚拟内容的第二部分。医生可以与其他用户共享虚拟内容的第一部分的一些部分或整个第一部分。可穿戴设备210a可以使用面向外的成像系统对患者和医生的周围环境进行成像。由医师获取的图像可以被传送给手术室外穿戴着可穿戴设备210b的医科学生。在一些实施例中，医科学生的可穿戴设备210b可以接收与手术室相关联的世界地图920。世界地图920可以包括手术室中的虚拟和物理对象。例如，医科学生可以通过210b感知患者的虚拟医疗记录和手术室中的医疗设备。在一些情况下，可穿戴设备210b的用户和可穿戴设备210a的用户可以与世界地图920中的虚拟或物理对象交互。例如，医生和医科学生(尽管在不同的位置)都可以在患者去诊所就诊期间同时对患者进行检查。此外，由医生进行的检查可记录在患者的医疗记录中。用户或其他授权用户稍后可以回顾该检查的记录(例如，作为医学教育的案例研究)。
世界地图920的信息可以随时间发展，并且可以基于由不同用户设备收集的信息。在一些实施例中，世界地图在本文中也可被称为世界模型。虚拟世界的模型也可以随时间发展并且基于不同用户的输入。如参考图7和9所述，由用户设备获取的信息可用于构建世界地图920。各种对象识别器(例如，708a、708b、708c......708n)可用于识别对象和标记图像，以及将语义信息附加到对象。另外，可穿戴设备210a、210b可以辨识经由有线或无线网络与可穿戴设备210a、210b连接的医疗设备(例如，超声探头)并与之通信。这些对象识别器可以包括图17所示的对象识别器708a和708n。
可穿戴设备和远程计算系统1720可以使用从一个或多个可穿戴设备获得的信息来构建、更新和构造图像、点和其它信息的集合。例如，可穿戴设备可以处理所获取的原始信息，并将处理后的信息发送到远程计算系统1720以进行进一步处理。可穿戴设备还可以将原始信息发送到远程计算系统1720以进行处理。可穿戴设备可以从远程计算系统1720接收处理后的信息，并在投射给用户之前提供最终处理。可穿戴设备还可以处理所获得的信息并将处理后的信息传送到其它可穿戴设备。用户设备可以在处理所获取的信息的同时与远程数据储存库1280通信。多个可穿戴设备和/或多个服务器计算机系统可以参与所获取的图像的构建和/或处理。
关于物理世界的信息可以随时间发展，并且可以基于由不同用户设备收集的信息。虚拟世界的模型也可以随时间发展并且基于不同用户的输入。这些信息和模型有时在本文中被称为世界地图或世界模型。如参考图7和9所述，由用户设备获取的信息可用于构建世界地图920。各种对象识别器可用于识别对象和标记图像，以及将语义信息附加到对象。这些对象识别器可以包括对象识别器708a和708n(也在图7中描述)。
远程数据储存库280可用于存储数据并且便于构建世界地图920。可穿戴设备可以不断更新关于用户环境的信息并且接收关于世界地图920的信息。世界地图920可以由可穿戴设备创建或由可穿戴设备与另一计算设备组合地创建。远程可穿戴设备210a、210b、用户设备1730和计算系统1720可以单独地或组合地构建和/或更新世界地图920。例如，可穿戴设备可以与远程处理模块270和远程数据储存库280通信。可穿戴设备可以获取和/或处理关于用户和用户环境的信息。远程处理模块270可以与远程数据储存库280通信以处理关于用户和用户环境的信息。远程计算系统1720可以修改由可穿戴设备210a获取的信息，例如将访问权限附加到虚拟对象，放大由可穿戴设备获取的图像的一部分，从可穿戴设备210a的图像中提取相关医疗信息等。远程计算系统1720可以将处理后的信息发送到可穿戴设备210a或另一计算设备。
访问权限
如参考图14A至17所述，为了在用户之间共享与患者相关联的医疗信息，用户可以具有访问患者的医疗记录的访问权限，或至少访问第一用户与第二用户共享的医疗信息的访问权限。如参考图12所述，第一可穿戴设备可以使用数据共享系统1238向第二可穿戴设备发送查看医疗信息的请求。在第二可穿戴设备接收到来自第一可穿戴设备的请求之后，第二可穿戴设备可以尝试访问患者的医疗记录以访问数据存储器1220中的医疗信息。患者系统还可以从第一或第二可穿戴设备获得第二用户正在尝试访问医疗信息的请求。然后，患者系统可以确定第二用户是否具有对医疗信息的访问权限，如参考图14A至14B所述。如上所述，访问权限可以特定于患者医疗记录的不同部分或不同用户。例如，患者可以具有对完整医疗记录的阅读访问权，但是仅对患者和家族病史部分具有编辑访问权。HCP可以具有对完整医疗记录的阅读访问权，并且对与HCP的专业相关的部分具有编辑访问权，但是对于特定于其它HCP专业的部分不具有编辑访问权(例如，心脏病专家可以对医疗记录的心脏相关部分具有编辑访问权，但对于患者的牙科记录不具有编辑访问权)。
共享的医疗信息
在用户之间共享的医疗信息可以是例如参考图15至16描述的与患者的任何交互。医疗信息可以包括在对患者进行测试期间用户收集的测试结果或先前存储的患者数据或分析(例如，患者健康状况的趋势)。在一些实施例中，第一用户可以定义他想要与第二用户共享什么医疗信息。例如，在第一用户正在看病人的情况下，第一用户可以配置第二用户的访问权限，使得第二用户仅能访问关于患者左臂或患者的其它部位的图像。第一用户的可穿戴设备可以将第一用户的观察结果(例如，通过面向外的成像系统捕获的图像)实时共享给第二用户的可穿戴设备。
在第一用户的第一可穿戴设备向第二可穿戴设备共享医疗信息之前，第一可穿戴设备可以向第一用户发出通知，询问第一用户是否想要编辑被发送的医疗信息。第一可穿戴设备可以向第一用户呈现显示要共享的医疗信息。第一可穿戴设备可以为第一用户提供选项以例如经由姿势或用户输入设备466修改医疗信息。第一用户还可以向第一用户想要与其共享修改的医疗信息的一个或多个其他用户提供指示。基于从第一用户的可穿戴设备接收的指示，其他用户可以接受第一用户的“邀请”以在第一用户的环境中共享医疗信息。
在某些实施方式中，第一用户可以将访问权限附加到医疗信息上。第一用户可以将一些医疗信息设置为私密，以便不与其他用户共享该医疗信息。作为一个示例，第一可穿戴设备可以观察(例如，通过面向外的成像系统)患者的腹部和患者的面部。第一可穿戴设备可以将与患者腹部相关的图像的部分共享给另一医师，以便于诊断疾病。然而，第一可穿戴设备可以被配置为不共享具有患者面部的图像的部分以保护患者的隐私。与共享医疗信息相关联的访问权限可以基于查看者。例如，在外科手术程序期间，外科医生视野中的内容(虚拟或物理内容)可以与同一手术室中的每个人共享。但是，只有内容的子集可以与手术室外的另一用户共享。例如，物理内容(例如，由面向外的成像系统观察到的物理内容)与病理学实验室中的学生或医师共享，而外科医生看到的虚拟内容不与病理学实验室中的学生或医师共享。
共享医疗信息的触发事件示例
本文描述的可穿戴设备可以便于在多个用户之间共享医疗信息。在医疗保健环境中使用可穿戴设备可以允许多个用户同时访问和查看医疗程序的信息。通过实时生成和向用户显示虚拟内容，可穿戴设备不需要用户在医疗保健环境中四处走动并查看许多件设备(例如监视器、显示器等)上的信息。可穿戴设备可以将所有设备信息收集到集中的位置并允许每个用户查看相同信息或相同信息的修改版本。例如，用户可以通过显示器220查看关于患者心脏的信息(例如心率或其他统计数据)，而不是从医疗设备中查找这样的数据。可穿戴设备可以进一步允许每个用户根据需要操纵或编辑信息。更新的信息可以在共享会话期间自动发送给其他用户。
如参考图15所述，如果多个用户具有权限，则他们可以查看和更新患者的医疗记录。当用户正在查看患者的医疗记录时，用户可以看到正在查看相同患者记录的其他用户。用户还可以看到关于患者的医疗记录的其它信息(例如，档案历史)。例如，用户可以看到谁在患者的医疗记录中进行了更新。因此，用户可以获得关于谁还在患者记录“中”的信息。
用户可以配置虚拟内容屏幕的共享，该虚拟内容屏幕可以基于患者的记录中的信息而被创建。可穿戴设备可以在用户的视野内显示虚拟内容屏幕。然后，用户可以编辑或选择他希望在虚拟内容屏幕内查看的信息。用户还可以配置虚拟内容的哪些部分与其他用户共享。附加地或替代地，用户还可以选择将他的视野复制给其他用户。因此，其他用户可以单独地或与用户视野中的其他虚拟内容组合地感知虚拟内容屏幕。
第一可穿戴设备可以接收用户指令以与第二可穿戴设备共享医疗信息。指令可以在检测到关键字时提供，或者可以通过图腾或手势提供。例如，第一用户可以将短语“共享医疗信息”定义为触发者，以使其可穿戴设备将虚拟内容屏幕(由显示器220呈现)共享给另一用户的可穿戴设备。作为另一示例，触发者可以是按钮的致动或手势。当第一用户按下与第一可穿戴设备相关联的图腾上的按钮或者他在其左手上轻击其右拇指时，可穿戴设备可以将由第一可穿戴设备呈现的虚拟内容屏幕共享给其他用户的可穿戴设备。
第二用户的可穿戴设备可以生成通知，询问第二用户是否想要接受第一用户的共享医疗信息的请求或者第二用户是否想要参与共享会话(其中第二用户可以和第一用户经由各自的可穿戴设备共享虚拟体验)。第二用户的可穿戴设备可以响应于从第二用户接收到参与共享会话的指示而呈现由第一用户共享的信息。
在一些实施例中，有利地，可穿戴设备可以分析环境传感器已经收集的数据，并且可以基于对从环境传感器收集的数据的分析来确定共享会话的触发。例如，可穿戴设备可以确定附近是否存在其它设备(例如，通过使用计算机视觉技术来分析所获取的图像或通过与附近的设备通信)。如果发现了附近的设备，则用户的可穿戴设备可以向用户提供通知，询问用户是否想要与其它设备共享一些医疗信息。
用于共享信息的触发者还可以基于与用户相关联的交互。例如，可穿戴设备可以分析可穿戴设备的用户和患者之间的交互。如果可穿戴设备确定交互需要另一用户的参与，则可穿戴设备可以检测共享会话的触发者的存在。例如，如果可穿戴设备确定用户正在对患者的肝脏进行手术并且用户做出关于肝脏上的疾病可能癌变的注释或评论，则可穿戴设备可以生成向用户显示的警告，询问他是否想要将肝脏的图像共享给将分析肿瘤的另一用户(例如，病理学实验室的医师)(下面参考图19描述)。作为另一示例，可穿戴设备可以分析在先前交互中收集的数据以确定是否存在用于共享信息的触发者。例如，医师的可穿戴设备可以分析与患者过去的就诊相关的数据，并且找到被推荐为诊断该患者的疾病的专家。因此，可穿戴设备可以在患者就诊之后与专家共享患者的一些医疗信息。医师的可穿戴设备还可以在患者的下次就诊期间共享与患者相关的信息(例如，医师所感知的信息)，使得医师和专家都可以诊断患者的疾病。
在一些实施例中，要在多个用户之间共享的虚拟内容可以包括患者参数，诸如患者的血压、大脑活动(例如，患者是醒着的)、温度等。参数可以由医疗设备或用户的可穿戴设备收集。医疗设备可以经由有线或无线网络而与可穿戴设备通信，使得可穿戴设备可以从医疗设备接收患者参数。用户的可穿戴设备可以通过因特网、蓝牙、无线共享功能而从附近的多个外部设备(例如，心脏监视器、麻醉监视器等)收集数据和分析。然后，可穿戴设备可以将来自所有设备的参数向用户呈现并显示到集中的平台上。可穿戴设备可以充当集中的平台，以显示来自与患者连接(物理地或无线地连接)的所有外部设备的参数。在一些实施例中，如稍后参考图23描述的，可穿戴设备可以确定用户的位置(例如，通过分析来自GPS传感器的位置数据)。在分析环境传感器收集的数据之后，可穿戴设备可以向用户提供通知，询问他是否想要与一个或多个其他用户共享医疗信息。例如，如果可穿戴设备确定用户在手术室中并且在手术室中有其他用户，则可穿戴设备可以向用户提供与同一手术室中的其他用户共享他感知的医疗信息的选项。如果用户允许手术室中的所有其他用户查看其视野，则其他用户的可穿戴设备可以呈现包括用户视野的虚拟内容屏幕以用于共享体验。
共享医疗信息的时机
用户之间的医疗信息的共享可以在共享请求之后不久发生，或者可以延迟到稍后的时间。例如，用户的可穿戴设备可以接收与其他用户实时共享他在其视野中看到的内容的请求。在另一示例中，可穿戴设备可以接收用户将过去一段时间(例如，五分钟前)在其视野中看到的内容共享给其他用户的请求。用户可以使用其可穿戴设备来定义特定持续时间或开始/结束时间。在一些实施例中，如果多个用户同时访问患者的医疗记录，则其中一个或多个用户的可穿戴设备可以生成指示存在正在主动查看患者医疗记录的另一用户的通知。可穿戴系统可以在医疗记录上提供访问锁，以防止两个(或更多个)用户同时编辑记录，从而提供医疗记录完整性。在其它情况下，可穿戴系统可以允许多个用户同时编辑医疗记录，并且可穿戴系统可以同步由不同用户完成的编辑以保持一致性。
共享医疗信息的方法
用户的可穿戴设备还可以配置将如何与其他用户共享医疗信息。例如，用户(其可以是HCP或患者)可以确定他想要在特定时间(例如，2017年1月6日星期五上午12点)将患者的医疗记录的特定部分通过电子邮件发送给第二用户。可穿戴设备在2017年1月6日星期五上午12点可以向其他用户发送包含患者医疗记录的特定部分的电子邮件。该电子邮件可以包括用户想要与其他用户共享的任何信息，包括交互、注释或评论、测试结果等的任何文档。该电子邮件可以包括用于记录哪一方发起交换、时间戳等的元数据。
在一些实施例中，可穿戴设备可以生成并向用户显示共享的虚拟内容(例如，经由显示器220)；并且用户可以编辑或修改虚拟内容中的信息。例如，第二用户的可穿戴设备可以向第二用户呈现虚拟内容，该虚拟内容包含与第一用户感知的虚拟内容相同的信息。如果第一用户的可穿戴设备接收到第一用户对虚拟内容的修改，则相同的修改可以被传送到第二用户的可穿戴设备并且可以由第二用户的可穿戴设备反映。在该示例中，第一用户和第二用户的可穿戴设备可以提供这样的指示：存在主动位于同一患者档案“中”的另一用户。
可穿戴设备可以被配置为仅共享由用户感知的内容的部分。例如，第一用户的可穿戴设备可以辨识第二用户以共享由第一用户感知的信息。第一用户的可穿戴设备可以从第二用户的可穿戴设备接收共享内容的请求。可穿戴设备可以确定第二用户的访问权限，并且仅共享第一用户的FOV中的第二用户有权访问的信息的部分。因此，第二用户的可穿戴设备可以向第二用户呈现第一用户的FOV中的信息的子集。
可穿戴设备还可以共享和记录从医疗设备接收的数据。在一些实施例中，在从医疗设备接收数据时，可穿戴设备可以(例如，经由显示器220)向用户呈现与从外部医疗设备检索的数据相关联的医疗信息。例如，当可穿戴设备接收到来自附接到患者的相应监视设备的数据时，可穿戴设备可呈现患者的心电图(ECG)。可以使用本文描述的技术与其他用户共享数据(或数据的子集)。用户还可以在与其他用户共享之前编辑医疗信息。
图18示出了在多个用户之间共享医疗信息的示例，其可以在参考图17描述的计算环境1700下执行。在图18的示例中，外科医生1802对患者的心脏1804进行手术。外科医生1802可以由两名护士1820和1822辅助。手术室还可以包括监视心脏1804的实时状况或患者的其它生理参数的一个或多个医疗设备(例如，ECG/EKG机器)。医疗设备可以将患者的心脏状况输出到物理显示器1824。
在该示例中，外科医生1802和两名护士1820、1822可以穿戴其各自的可穿戴设备。外科医生1802可以通过可穿戴设备看到患者的心脏1804，而两名护士1820和1822可以通过可穿戴设备感知物理显示器1824。然而，外科医生1802可能在物理显示器1824不在其视野中时无法感知物理显示器1824，并且两名护士1820、1822可能无法感知位于两名护士1820、1822的视野之外的心脏1804。
有利地，如图18所示，外科医生1802和两名护士1820、1822可以经由可穿戴设备彼此共享其各自的视野。例如，外科医生1802和两名护士1820、1822可以参与共享会话。外科医生1802可以感知虚拟屏幕1810，虚拟屏幕1810包括由物理屏幕1824显示的信息，物理屏幕1824在两名护士的视野内但在外科医生1802的视野之外。可以基于由护士1820或1822穿戴的可穿戴设备的面向外的成像系统所捕获的图像来呈现虚拟屏幕1810上的信息。在一些情况下，医疗设备还可以通过有线或无线通信信道而与可穿戴设备通信，并且可穿戴设备可以经由虚拟屏幕1810实时地呈现患者的状况。
外科医生1802还可以与护士1820、1822共享其视野的至少一部分。例如，外科医生1802的可穿戴设备可以将面向外的成像系统观察到的心脏1804的图像传送到护士1820、1822的可穿戴设备。
在一些实施方式中，护士或外科医生可以向可穿戴设备提供指示以发起与房间中的其他人的共享会话。例如，在从护士1802或1804接收到指示时(或在检测到上述任何其它触发事件时)，护士的可穿戴设备可以向外科医生的可穿戴设备发送用于将护士在外科手术监视器上看到的内容共享给外科医生的可穿戴设备的请求。在接收到来自护士的可穿戴设备的请求时，外科医生的可穿戴设备可以在外科医生1802对患者进行手术时向外科医生呈现虚拟内容屏幕1810(例如，以显示护士在物理显示器1824上感知的信息)。虚拟内容屏幕1810可以包含与医疗设备实时收集的数据相关联的信息。因此，外科医生的可穿戴设备可以向外科医生1802提供关于患者心脏状况的实时医疗信息(如ECG监视器中所示)，即使这样的ECG监视器实际上不在外科医生1802的视野中。
如果外科医生的可穿戴设备基于环境信息(例如，从手术室中的医疗设备接收的信息)确定患者的心脏存在异常，则外科医生的可穿戴设备在手术期间可以向外科医生发出警报。在一些实施例中，如果ECG监视器显示患者心脏的状况正常，则外科医生的可穿戴设备可以不生成和显示虚拟屏幕1810(该虚拟屏幕1810示出关于患者心脏状况的实时医疗信息)。当基于手术监视器上的信息发现患者的心脏存在异常时，外科医生的可穿戴设备可以仅生成虚拟内容屏幕并向外科医生1804显示该虚拟内容屏幕。外科医生1802或护士1820、1822可以配置用于在其各自的可穿戴设备上查看视野外的信息的设置。例如，外科医生1802或护士1802、1822可以配置设置，使得当患者的心脏数据存在异常时，护士的可穿戴设备仅与外科医生1802共享物理显示屏1824上的信息。在一些情况下，护士的可穿戴设备可以单独地或与远程计算系统1720组合地分析从一个或多个医疗设备收集的数据并确定是否存在异常。
作为另一示例，外科医生可以基于触发事件的存在而与护士1820和1824共享患者心脏1804的图像。外科医生的可穿戴设备可以向护士的可穿戴设备发送共享心脏图像的请求。护士的可穿戴设备在接收到来自外科医生的可穿戴设备的请求时，可以呈现虚拟内容屏幕1826，虚拟内容屏幕1826显示外科医生看到的患者心脏1804的图像。
尽管图18中的示例参考ECG/EKG数据进行了描述，但是可穿戴设备还可以在虚拟屏幕上呈现其它类型的医疗信息。例如，虚拟屏幕1810还可以包括由其它设备收集的患者的其它参数(例如患者的血压、大脑活动、温度等)的医疗信息。图18的示例中的护士1820和1822还可以是任何其它类型的用户，例如其他外科医生、医学实习医师、居民、学生、患者等。外科医生的可穿戴设备(或另一用户的可穿戴设备)也可以记录手术以供授权用户(例如，外科医生本人、患者、患者的初级医疗保健提供者等)稍后回顾。在图18所示的示例中，外科医生1802正在进行心脏手术。在其它示例中，第一医疗保健提供者可以进行任何类型的医疗程序(或与患者进行任何类型的交互，如图15所示)。此外，护士1820和1822不需要位于外科医生正在做手术的手术室中。例如，护士可以位于相邻的房间内。在另一示例中，外科医生可以与咨询医师或病理学家共享关于心脏的信息，该咨询医生或病理学家中的每一者可以远离手术室(例如，位于医院中的其它地方或完全分离的地理位置)。
医疗信息的管理
如参考图15和18所示，第一用户可以在其设备记录与患者的交互时做出注释或评论。第一用户也可以与第二用户通过他们的设备共享注释或评论。第一用户还可以指示其可穿戴设备保持注释或评论的私密性。在一些实施例中，第一用户可以在他做注释或评论的同时与第二用户通过他们的设备共享注释或评论。如参考图15所述，在与患者交互时，可穿戴设备可以拍摄患者的图像。用户可以具有向可穿戴设备发送放大图像或编辑图像的请求的选择。在编辑图像时，用户可以虚拟地分离图像的各部分，标记图像的不同位置，移除图像的若干部分等。
图19示出了将虚拟内容添加到在医疗程序期间拍摄的图像的示例。有利地，在一些实施例中，可穿戴设备可以通过允许用户在医疗程序正在进行时或在医疗程序之后向其他用户发送医疗信息(例如，图像信息、相机取向、图像或程序的位置、时间等)来提高医疗程序的效率。例如，可穿戴设备可以将肿瘤切除程序中的肿瘤取向发送到病理学实验室。可穿戴设备还可以将信息发送到不同的位置、组或实验室以进行附加的评估或分析。医疗信息可以包括特定器官的图像、症状等。在一些实施方式中，可穿戴设备可以允许接受者或发送者在虚拟环境中标记医疗信息，从而不需要物理标记。例如，在远离病理学实验室的医院中进行手术期间，病理学实验室中的医生可以标记肿瘤的图像(例如，2D或3D图像)，而不是在肿瘤的物理样本上进行标记。
可穿戴设备还可以便于使用有效且非侵入性的方法来分析医疗信息。例如，在肿瘤切除期间，医师通常在肿瘤中放置物理标志(flag)以指示向上的方向。有利地，可穿戴系统可以被配置为使得用户可以向肿瘤添加虚拟标志(单独地或与文本或其它可视标志组合地)。然后，可穿戴设备可以使用因特网、蓝牙、无线共享功能将虚拟内容(例如，具有虚拟标记的肿瘤图像)发送到患者的病历或另一用户，例如病理学实验室，这提供了更快的传输信息的方式(例如，与将样本邮寄给放射科医师相比)和标记物理样本的非侵入性方式(例如，不需要戳刺肿瘤)。
为了将第一用户可感知的内容共享给第二用户，可穿戴设备可以将第一用户感知的虚拟屏幕共享给第二用户的可穿戴设备。虚拟屏幕可以包括由第一用户输入的信息(例如，文本、绘图、评论、物理或虚拟对象的注释)。例如，做手术的外科医生可以在他观察患者的肿瘤的同时与放射科医师共享其虚拟屏幕。外科医生可以在虚拟屏幕上标记肿瘤区域并将这些标记传送给放射科医师。可穿戴设备还可以在患者的医疗记录中保存具有虚拟标记的虚拟内容，并向另一位置的用户发送需要其注意的通知。例如，可穿戴设备可以在虚拟肿瘤图像上放置虚拟标志以指示哪个方向在基准方向上(例如，向上)、捕获图像的相机的取向、情境信息(例如，来自外科医生的关于图像、身体部位(诸如肿瘤)等的注释或评论)。可穿戴设备可以通过共享虚拟内容直接向病理学实验室中的用户发送具有虚拟标志的虚拟肿瘤图像。可穿戴设备还可以在患者的医疗记录中更新具有虚拟标志的虚拟肿瘤图像，并向病理学实验室中的用户发送通知。在从外科医生接收到信息时，病理学实验室中的用户还可以使用他们各自的可穿戴设备将附加注释标记为虚拟内容。这样的附加注释也可以被传送到外科医生的可穿戴设备。
在图19的示例中，外科医生1902正在对患者的器官1904执行医疗程序。外科医生1902可以确定器官1904包含一些异常。外科医生1902的可穿戴设备可以拍摄器官1904的图像。在拍摄图像之后，可穿戴设备生成并显示包含器官图像的第一虚拟内容屏幕1910。外科医生可以确定器官1904包含两个部分：正常部分和需要移除的异常部分。外科医生可以在第一虚拟内容屏幕1910中标记部分A(正常部分)和部分B(异常部分)。为了确认切除的位置，外科医生1902可以指示(通过关键词、图腾或手势激活)其可穿戴设备虚拟地分离图像1910的部分A和部分B。在接收到虚拟地分离部分A和部分B的请求时，外科医生的可穿戴设备可以处理和分析图像中的数据。然后，外科医生的可穿戴设备可以生成并向外科医生1902显示第二虚拟内容屏幕1920，其中外科医生的可穿戴设备显示出部分A和部分B是分离的，这可以有助于异常部分的检查或切除。
可穿戴设备还可以允许用户操纵肿瘤的图像。例如，外科医生1902可以指示其可穿戴设备(例如，使用手势或话音命令)放大异常部分B的图像。在接收到这样的指令时，外科医生的可穿戴设备可以生成并显示异常部分B的图像，如虚拟屏幕1930所示。基于该放大的图像，外科医生可以更好地确定他应该从器官1904移除部分B的位置。外科医生还可以输入与肿瘤相关的评论或标记。例如，外科医生可以在肿瘤图像上放置两个标志(标志1和标志2)，如虚拟屏幕1930所示。标志1和标志2可以指示例如肿瘤的方向或取向、切除位置、异常位置、部分B相对于身体的方向(例如，相对于标志2，标志1位于前部位置)等。
在一些实施方式中，外科医生还可以与可穿戴设备的另一用户共享肿瘤的图像。为了确认标志1和标志2的位置，外科医生可以将第一、第二或第三虚拟屏幕中的信息共享给第二用户。第二用户可以是将分析异常部分B的病理学家。外科医生可以将这三个虚拟内容屏幕保存在患者的医疗记录中，然后第二用户可以在患者的医疗报告中查看虚拟内容屏幕。外科医生还可以与第二用户共享这三个虚拟内容屏幕，如上面参考图18所示。当外科医生在做手术时，外科医生还可以具有实时地将这三个虚拟内容屏幕发送给第二用户的选择。在一些实施例中，有利地，当外科医生1902已做出特定附注(例如，放置标志1和标志2)时，外科医生的可穿戴设备可以向外科医生1902发送通知，询问外科医生是否想要将虚拟屏幕或注释发送给另一用户。
作为另一示例，外科医生1902的可穿戴设备可以生成并显示外科医生正在处理的区域的虚拟内容。虚拟内容屏幕1910、1920和1930可以示出在手术期间的不同时间点被动手术的区域。例如，第一虚拟屏幕1910可以显示移除异常之前的器官1904。第二虚拟屏幕1920可以示出在外科医生移除异常部分之后的器官1904：其包括部分A(正常部分)和部分B(移除的异常部分)。然后，外科医生可以在第三虚拟屏幕上放大异常部分B，并虚拟地标记外科医生想要进行更多测试的部分。例如，标志1和标志2可以指示外科医生想要进行病理学测试的部分。作为另一示例，标志1和2可以指示肿瘤的方位(例如，通过指示与肿瘤相关的向上方向)。外科医生可以与第二用户(例如，病理学家)共享第一、第二或第三虚拟内容屏幕。通过共享这些屏幕中的一者或多者，第二用户可以在进行病理学测试时获得关于异常部分B来自器官的哪个位置，器官或异常如何在患者体内定位，是否或在何处可能需要进行器官的额外切除等的情境。此外，虚拟标志的使用可以有助于在分析之前保持异常部分的完整性，因为未在异常部分B中放置实际的物理标志。
即使在图19的示例中，也只有外科医生编辑或标记虚拟图像，在一些实施例中，当共享第一、第二或第三虚拟内容屏幕时，多个用户可以编辑或标记图像。可以将不同用户的各种编辑和标记记录在患者的医疗记录中，并且其他用户可以自动获得更新后的图像。例如，标志1或标志2可以由接收由外科医生提供的肿瘤图像的另一医师放置。
图20是示出在多个用户之间共享虚拟内容的示例过程2000的流程图。示例过程2000可以由本文描述的可穿戴系统200执行。例如，示例过程2000可以由一个或多个可穿戴设备的本地处理和数据模块260单独执行或者与远程处理模块270组合地执行。
在框2010处，过程2000通过第一用户的第一可穿戴设备呈现虚拟内容。第一用户的可穿戴设备可以向第一用户呈现虚拟内容。可以通过一个或多个虚拟屏幕呈现虚拟内容。
在框2020处，过程2000检测用于经由第二可穿戴设备与第二用户共享虚拟内容的触发事件。触发事件可以是第一用户发出的与另一用户共享虚拟内容的请求，或者可以是第二用户发出的查看第一用户可感知的信息的请求。该请求可以是关键词、图腾上的输入、或手势。触发事件还可以基于第一或第二用户环境中的条件。例如，可以响应于检测到患者的紧急情况(例如，例如突然出血或心率异常)来触发内容共享。
在框2030处，过程2000验证与第二用户相关联的访问权限。访问权限的验证可以由图12所示的数据安全管理系统1212进行。可以由医疗保健数据库系统1220验证访问权限，医疗保健数据库系统1220可以基于与医疗记录相关联的第二用户的简档(profile)来验证第二用户的访问权限。在某些实施方式中，患者可以控制谁有权访问其医疗记录。患者可以在医疗保健数据库系统1220处设置访问规则以进行验证。患者系统本身也可以验证第二可穿戴设备的访问权限。
在框2040处，过程2000可以确定第二可穿戴设备是否具有用于访问虚拟内容的足够访问权限。例如，第一或第二可穿戴设备可以从医疗保健数据库系统1220接收关于第二用户是否具有对虚拟内容的访问权限的指示。如果第二用户具有对虚拟内容的访问权限，则过程2000移动到框2050，在框2050处，与第二用户的可穿戴设备共享由第一可穿戴设备感知的虚拟内容。在一些情况下，第一用户可以指示他想要与第二用户的可穿戴设备共享虚拟内容的什么部分(例如，虚拟内容的特定部分或整个虚拟内容)。第二用户的可穿戴设备可以生成并显示第二虚拟内容屏幕，该第二虚拟内容屏幕示出从第一可穿戴设备接收的虚拟内容。
在可选的框2060处，第二可穿戴设备可以接收对虚拟内容的修改。第二用户可以修改第二虚拟内容屏幕中的虚拟内容，并且第二用户的可穿戴设备可以记录这种修改。可以将这种修改传送到第一可穿戴设备。
在可选的框2070处，第一可穿戴设备可以将修改后的虚拟内容呈现给第一用户。第二用户的可穿戴设备可以在患者的医疗记录中更新修改后的虚拟内容，并向第一用户发送关于该修改的通知。然后，第一用户的可穿戴设备可以更新第一虚拟内容屏幕以向第一用户显示修改后的虚拟内容。
如果在框2040处确定第二用户没有对虚拟内容的访问权限，则过程2000可以向第一用户的可穿戴设备提供如下指示：第二用户不具有对虚拟内容的访问权限。过程2000还可以向医疗记录的患者发送第二用户正试图访问虚拟内容的指示。向患者系统的指示可以包括用户的姓名、与虚拟内容相关联的信息。过程2000可以将该拒绝访问事件存储在患者的医疗报告中。
尽管图18至20中的一些示例描述了使用虚拟内容屏幕共享虚拟内容或显示虚拟内容，但是可穿戴设备可以使用任何类型的技术在3D空间中显示和共享虚拟内容。虚拟内容不必需在虚拟内容屏幕上呈现。虚拟内容可以显示为不同类型的虚拟对象，或者具有其它图形外观，这些其它图形外观看起来不是虚拟内容屏幕的一部分。
基于情境信息访问和呈现虚拟内容的示例
可穿戴设备可以基于情境信息呈现虚拟内容。情境信息可以包括与可穿戴设备的用户相关联的信息，例如，用户的位置、用户的姿势、用户的情绪状态、访问权限的级别等。情境信息也可以包括与用户环境相关联的信息，例如用户环境中的物理对象、虚拟对象、人等。
可穿戴设备可以基于由一个或多个环境传感器获取的数据、从远程数据储存库280或医疗保健数据库系统1220访问的数据、或它们的组合等确定情境信息。例如，可穿戴设备可以使用一个或多个对象识别器分析由面向外的成像系统464获取的数据，以识别用户环境中的物理对象或人。一个或多个对象识别器可以应用各种计算机视觉算法(包括例如面部识别算法或对象识别算法)来辨识物理对象。作为另一示例，可穿戴设备可使用IMU确定用户的姿势，并使用从GPS获取的数据来确定用户的位置。
可穿戴设备可以访问虚拟内容并基于情境信息在3D显示器上呈现虚拟内容。虚拟内容可以包括来自患者的虚拟医疗记录的信息，或者特定于位置的虚拟信息。虚拟内容还可以包括警报。警报可以单独地或组合地包括视觉焦点指示符、消息、声音等。焦点指示符可以位于触发警报的物理或虚拟内容附近。警报消息可以包括解释触发警报的事件的简要描述。基于情境信息呈现虚拟内容的示例参考图21至24进一步进行描述。
与用户的环境相关联的情境信息
HCP的可穿戴设备可以基于由一个或多个环境传感器获取的数据而识别周围环境中的人。例如，可穿戴设备可以使用参考图12和图14A描述的技术(例如，面部识别、话音识别等)来识别人(例如，患者)。可穿戴设备可以在3D显示器上呈现患者的信息。例如，可穿戴设备可以呈现患者特定信息，例如患者的姓名、程序、诊断、正在手术的解剖部位、药物等。有利地，在一些实施例中，可穿戴设备可通过使用面部识别技术识别患者的身份来提高效率并提高患者护理质量，并相应地呈现患者特定信息。例如，医师经常不得不在他们的办公室处理许多患者病历。通过面部识别，医师可以查看患者并自动感知患者的信息，而无需与患者交互。在一些实施例中，面部识别与从面向外的成像系统获取的数据结合使用。例如，可穿戴设备可以基于由面向外的成像系统获取的图像来辨识患者病历，并且确定在患者病历中辨识的患者是用面部识别技术识别的同一患者。作为另一示例，可穿戴设备可以比对手术室的排定信息来检查通过面部识别确定的患者身份，以确保可穿戴设备的HCP将(或正在)对正确的患者进行手术。
图21示出了基于与用户环境相关联的情境信息呈现虚拟内容的示例。在该示例中，外科医生2102可以穿戴可穿戴设备。可穿戴设备可以基于面部识别技术来辨识患者。可穿戴设备可以检索与患者相关联的虚拟医疗记录。可穿戴设备可以在3D用户界面上呈现虚拟医疗记录的相关部分，如虚拟对象2106、2108和2110所示。
可穿戴设备可以基于患者的虚拟医疗记录或与手术室相关联的信息确定手术的类型。在该示例中，可穿戴设备可以基于手术室的排定信息确定外科医生2102正在执行微创心脏手术。因此，可穿戴设备可以在3D空间中呈现患者心脏的模型2104，以帮助外科医生2102辨识外科医生应该进行手术的相关区域。可穿戴设备还可以呈现患者的生理数据，例如虚拟对象2108上的呼吸率和虚拟对象2110上的ECG数据，以及呈现虚拟对象2106上的患者的个人信息，例如他的年龄、病史、过敏情况等。
附加地或替代地，HCP的可穿戴设备可以基于从面向外的成像系统获取的数据而识别用户身体的一部分，例如肢体或器官。可穿戴设备可以访问虚拟医疗记录以确定HCP是否在对用户身体的正确部分做手术。如果HCP即将做手术或正在对用户身体的错误部分做手术，则可穿戴设备可以呈现警报。
图22A和22B示出了基于与用户环境相关联的情境信息呈现警报的示例。在图22A的示例中，外科医生2202在手术室中。外科医生2202可以通过可穿戴设备感知虚拟对象2210，虚拟对象2210包括患者腿部2214r、2214l的图像。如参考图21所述，基于情境信息，外科医生的可穿戴设备可以确定与外科医生将要对患者进行的手术类型相关的信息。例如，可穿戴设备可以访问手术室的排定信息并确定为患者安排的手术涉及对患者右腿2204r的程序。可穿戴设备可以访问患者的医疗记录以确认应该对右腿2204r进行手术。可穿戴设备可向外科医生呈现焦点指示符(在虚拟对象2210中)，该焦点指示符指示要做手术的正确腿是右腿2204r。例如，在图22A中，可穿戴设备显示指向患者右腿图像2214r的箭头2216a，这向外科医生2202提供有关要做手术的正确腿的可视指示。
可穿戴设备可以监视外科医生与患者的交互。基于由面向外的成像系统464获取的数据，可穿戴设备可以检测到外科医生2202正拿着手术刀2204。在图22A的示例中，手术刀正在对右腿2204r进行手术，右腿2204r是正确的腿。
与图22A中所示的示例相反，在图22B所示的示例中，患者的左腿2204l是做手术的正确腿(如箭头2216b所示，其指向虚拟对象2210中的左腿2214l)。在该示例中，可穿戴设备确定手术刀正在给右腿2204r做手术或者手术刀正朝向患者的右腿2204r移动。例如，可穿戴设备的面向外的成像系统可以对患者的下肢进行成像并使用计算机视觉技术来识别患者的肢体、外科医生的手的位置、手术刀在外科医生的手中的存在和位置等。可穿戴设备可以确定外科医生将要对患者的右腿2204r进行手术(或正在进行手术)，右腿2204r对于图22B中的手术来说不是正确的腿。可穿戴设备可以呈现这样的可视警报2218：外科医生2202不应该对右腿2204r进行手术。警报可以包括通知外科医生2202他将要在错误的腿上做手术的消息。警报2218可以被呈现在患者的左腿2204l附近，以强调左腿2204l是正确的腿。在其它实施例中，警报2218可以显示在患者的右腿2204r上方，从而至少部分地遮挡外科医生对不正确的腿的观察，这向外科医生提供了额外的可视指示：可能发生了问题。在一些实施例中，警报还包括用于校正外科医生的错误的推荐措施(例如，外科医生应该对左腿2204l做手术的提醒)。附加地或替代地，警报可以包括焦点指示符。例如，箭头2216b可以改变颜色(例如，从绿色变为红色)或者开始闪烁，这可以强调左腿2204l是正确的腿。警报2218可以伴随有可听警报，例如，可穿戴设备的扬声器系统可以播放图22所示的消息，以帮助确保外科医生不会继续尝试对患者的错误腿进行手术。尽管该示例描述对患者腿部的手术，但这仅用于示例而非旨在限制本文所述的警报的范围。此外，警报的使用不限于手术，也可以在其他HCP使用的可穿戴设备中提供(例如，以在患者实际抱怨左臀部疼痛时提醒检查医师他正试图检查患者的皮疹(请参见例如图15))。
与用户相关联的情境信息
情境信息可以包括特定于可穿戴设备的用户的信息。因为多个用户可以使用同一可穿戴设备，所以可穿戴设备可能需要验证用户的身份以便确定特定于用户的情境信息。可穿戴设备可以使用参考图14A和14B描述的各种技术来确定并验证用户的身份。作为示例，可穿戴设备可以创建用户简档并将其存储在医疗数据存储器1222中。当可穿戴设备由用户致动时，可穿戴设备可以获得用户的生物信息或者要求用户提供用于验证用户身份的特定输入。基于生物信息或用户输入，可穿戴设备可以访问适当的简档以确定用户的访问权限。该简档可以包括关于用户的信息，例如，他的姓名、出生日期、毕业学校名称、毕业年份、专业、医院信息、访问权限等。
有利地，在一些实施例中，简档包括用户的语音特征或用户的眼睛特征(例如，虹膜或视网膜图案)。可穿戴设备可以基于由面向内的成像系统462(例如，眼睛跟踪相机)获取的数据而收集和分析人的眼睛特征。例如，可以对人眼的图像进行分割以识别虹膜，然后可以生成唯一地识别该人的虹膜代码。可穿戴设备可以将由可穿戴设备收集的眼睛特征与简档中的眼睛特征进行匹配。如果可穿戴设备确定存在匹配，则可穿戴设备可以确定已经验证了用户的身份。如果可穿戴设备未找到匹配，则可穿戴设备可以生成指示用户未被授权使用可穿戴设备的警报。然后，用户可以尝试不同的辨识方法。在一些实施例中，可穿戴设备可以向被授权使用可穿戴设备的一个或多个用户发送通知。通知可以包括未授权访问的数据、时间或位置。可穿戴设备还可以存储关于患者的医疗记录中的未授权访问的通知。
作为基于用户信息而呈现虚拟内容的示例，在心脏直视手术期间，HCP的可穿戴设备可以分析HCP的姿势(例如，注视的方向)以确定HCP当前与之交互的对象。例如，如果HCP长时间(例如，5分钟、10分钟等)盯着手术室的窗口而不是心脏，则可穿戴设备可以确定用户分心。结果，可穿戴设备可以生成警报以将HCP的关注点带回手术。在一些实施例中，可穿戴设备在手术期间编译所有警报并生成报告。
作为基于用户的信息而呈现虚拟内容的另一示例，可穿戴设备可以确定用户是其工作职责涉及安排预约的接待员。因此，可穿戴设备可以在3D用户界面上自动呈现预约安排工具。然而，当医生使用同一可穿戴设备时，可穿戴设备可以呈现该医生的每周时间表而不是用于安排预约的工具。
图23示出了基于用户的位置呈现虚拟内容的示例。可以基于可穿戴设备的一个或多个环境传感器确定用户的位置。例如，可穿戴设备可以基于由GPS获取的数据确定用户的位置。可穿戴设备还可以基于由面向外的成像系统获取的图像而确定用户的位置。例如，可穿戴设备可以使用计算机视觉算法来检测建筑物。可穿戴设备可以进一步确定建筑物是医院，因为图像包括具有单词“医院”的标志或其它特征地标。
图23示出了两个场景2310和2330。场景2310的位置是医院2312，而场景2330的位置是诊所2314。用户2302在两个场景中都穿戴着可穿戴设备。
作为示例，用户2302可以是患者。在场景2310中，可穿戴设备的位置传感器(例如，GPS)可以获取患者的位置数据。可穿戴设备可以处理位置数据并确定用户在医院2312。可穿戴设备可以访问患者的虚拟医疗记录，例如通过与医疗保健数据库系统1220进行通信。可穿戴设备可以分析患者的虚拟医疗记录，并确定患者在医院2312安排了手术。因此，可穿戴设备可以呈现医院2312的建筑地图，其包括到手术室的路线。当医生在建筑物内移动时，可穿戴设备可以分析由可穿戴设备的面向外的成像系统464(或GPS数据)获取的数据，以确定医生在医院内的位置并相应地更新路线信息。可穿戴设备还可以在3D显示器上呈现手术室的信息2320。例如，可穿戴设备可以在3D显示器上呈现关于程序(procedure)的信息，例如，程序的风险。
在场景2330中，可穿戴设备可以基于用户的位置信息而确定患者在诊所2314。因此，可穿戴设备可以显示患者在诊所2314的排定信息，例如，预约时间和患者将在诊所2314看的医师。
作为另一示例，用户2302可以是在医院2312和诊所2314工作的医生。当医生在医院2312时，可穿戴设备可以确定医生将在手术室A进行手术。因此，可穿戴设备可以呈现手术室A的信息(例如，手术室中的医疗器械)。可穿戴设备还可以呈现从医生的当前位置到手术室A的地图或路线信息。可穿戴设备还可以通知医生将对其进行手术的患者。患者信息可以存储在医院的网络(例如，医院的服务器)上、档案柜中或医疗保健数据库系统1220中。可穿戴设备可以自动辨识患者档案的存储位置并从该存储位置访问档案。在一些实施例中，在患者档案被存储在档案柜中的情况下，可穿戴设备可以提供患者档案的位置的指示以帮助医生找到患者档案。
当医生在诊所2314打开其可穿戴设备时，可穿戴设备可以检测到医生的当前位置是诊所2314(而不是医院2312)。可穿戴设备可以与诊所的数据库通信以检索医生案例的相关信息，例如，医生将看到的患者、医生将在诊所中执行的程序、检查室、工作时间之外诊所接收到的语音邮件消息等等。可穿戴设备可以通过使用蓝牙或无线技术而与诊所的云网络通信来获得相关信息。医生案例的信息可以由助理前一天上传到云网络。
作为基于位置信息呈现虚拟内容的另一示例，可穿戴设备可以监视用户的环境以及用户已经进入医院中的特定手术室中。可穿戴设备可以访问与该特定手术室相关联的世界地图920(例如，内部手术单元地图)以确定与手术室相关联的对象。该手术室的世界地图可以由多个用户创建和更新。关于世界地图的更新和构建的细节参考图9和图17进行了描述。可穿戴设备还可以显示该特定手术室的默认参数，例如，下一程序的时间和患者等等。可穿戴设备可以访问上传到医院网络的护士时间表以确定该特定手术室的默认参数。
基于情境信息访问和呈现虚拟内容的示例过程
图24是示出基于情境信息访问和呈现虚拟内容的示例过程2400的流程图。过程2400可以由可穿戴设备执行。
在框2410处，可穿戴设备访问由可穿戴设备的一个或多个环境传感器获取的数据。所获取的数据可以包括与用户或用户的环境相关联的数据。
在框2420处，可穿戴设备至少基于对由一个或多个环境传感器获取的数据的分析而确定情境信息。情境信息可以包括与HCP、患者、虚拟医疗记录、检查或手术室、检查或手术室中的对象、可穿戴设备的用户的位置、用户和患者之间的交互等相关联的信息。在一些实施例中，可穿戴设备还可以访问远程数据储存库280或医疗保健数据库系统1220中的数据，并基于所访问的数据确定情境信息。
在框2430处，可穿戴设备至少部分地基于情境信息辨识与可穿戴设备的用户的FOR相关联的虚拟对象。虚拟对象可以包括在用户之间共享的虚拟内容、患者的医疗记录中的过去测试结果、用户和患者之间的交互的文档、用户的时间表信息等。例如，可穿戴设备可以确定用户的当前位置并辨识与当前位置关联的虚拟对象。
在框2440处，可穿戴设备可以在用户的FOV中呈现一个或多个虚拟对象。例如，当医生在医院时，与医生的FOR相关联的虚拟对象可以包括医院的地图(或到一位置的路线)和医生的当天时间表。然而，可穿戴设备可能仅在FOV中呈现医生的当天时间表。如果医生想要查看医院的地图，则医生可以致动用户输入设备466或使用姿势。
可选地，可穿戴设备可以在框2450处基于情境信息确定是否满足用于生成警报的阈值条件。阈值条件可以包括医疗程序中的错误。例如，可穿戴设备可以确定对患者执行的手术的标准步骤。标准步骤可以包括过程A、过程B和过程C。可穿戴设备可以监视外科医生的动作并检测到外科医生已经跳过过程B。响应于检测到过程B缺失，可穿戴设备可以确定满足阈值条件。作为另一示例，在手术应该是对患者的右腿2204r进行的情况下，当外科医生的手术刀小于到患者左腿2204l的阈值距离时，可穿戴设备可以确定满足阈值条件。
如果满足阈值条件，则在可选的框2460处，可穿戴设备可以向可穿戴设备的用户呈现警报。警报可以包括焦点指示符或警报消息，其指示错误、阈值条件或错误校正措施等。
如果不满足阈值条件，则过程2400返回到框2410。
跟踪医疗器械的示例
HCP可能需要跟踪医疗程序或检查中涉及的医疗器械。器械跟踪可以包括对手术/检查中涉及的医疗器械进行计数，或者了解异物(例如，医疗器械)是否进入或离开患者的无菌区。了解是否已使用正确的医疗器械或医疗器械是否处于正确的位置，这对于避免医疗过失和提高医疗护理质量非常重要。例如，外科医生可能会要求特定器械，但护士将不同的器械递给他。结果，外科医生可能在患者身上使用错误的器械，这可能导致医疗事故。作为另一示例，如果器械计数错误，则患者可能被缝合而带有来自其手术的异物(例如，纱布、医用破布、手机等)。
为了改善这些问题，当前的技术包括(例如，由护士)对进入手术室的所有器械进行计数并确保器械(及其位置/功能)在手术结束时被正确地计数。然而，医疗程序中的器械跟踪对于护士来说是一项繁琐的工作。另外，当前技术易于出错，因为手术中可能涉及多个HCP(例如，多名外科医生、护士等)。可能难以考虑每个人的动作和医疗器械的使用。此外，对于HCP而言，手术室的环境压力大、时间敏感，并且耗费精力。因此，HCP可能会意外地将一些医疗器械遗忘在手术室中。
为了避免这些问题并改进现有技术，可穿戴设备可以使用一个或多个环境传感器来辨识用户环境中的医疗器械并确定医疗器械是否处于正确位置(而不是例如在手术后位于患者的腹内)。可穿戴设备还可以基于由一个或多个传感器获取的数据而确定正确的医疗器械是否已进入无菌区。
辨识和跟踪医疗器械的示例
可穿戴设备可以单独使用由一个或多个环境传感器获取的数据或组合地使用由一个或多个环境传感器获取的数据和存储在远程数据储存库280中的数据，以辨识异物(例如，医疗器械)并确定与异物相关联的语义信息。例如，可穿戴设备可以使用面向外的成像系统464来获得用户环境的图像。对象识别器708可以检测图像中的医疗器械。可穿戴设备还可以与远程数据储存库280通信(或使用本地处理数据模块260)来确定与检测到的医疗器械相关联的语义信息，例如，器械的名称、类型、用途、功能、器械是否在一套器械内等等。
可穿戴设备还可以使用一个或多个光学传感器来辨识医疗器械。例如，医疗器械可以包括光学标签，例如快速响应代码(QR)或条形码。光学标签可以放置在医疗器械的外表面上。光学标签可以对医疗器械的标识(例如，与医疗器械相关联的标识符)进行编码。光学标签还可以对与医疗器械相关联的语义信息进行编码。可穿戴设备的一个或多个光学传感器可以扫描光学标签。可穿戴设备可以解析在光学标签中编码的信息。在一些实施例中，可穿戴设备可以与远程数据储存库280通信以获得光学标签的附加信息。例如，可穿戴设备可以提取医疗器械的标识符并与远程数据储存库通信以获得医疗器械的语义信息。可穿戴设备还可以包含或利用电磁跟踪传感器来跟踪环境中对象的位置。
作为光学标签的补充或替代，医疗器械还可以具有电磁标签，例如RFID标签。电磁标签可以发出可由可穿戴设备检测到的信号。例如，可穿戴设备可以被配置为能够检测具有特定频率的信号。在一些实施方式中，可穿戴设备可以向医疗器械发送信号。基于从医疗器械接收的反馈，可穿戴设备可以识别医疗器械。可穿戴设备可以经由有线或无线网络而与医疗器械通信。
在一些实施例中，当可穿戴设备识别医疗器械时，可穿戴设备可在医疗器械附近提供焦点指示符。例如，可穿戴设备可以识别医师旁边的纱布并在纱布周围显示绿色晕圈。可穿戴设备可以基于医疗器械的语义信息而分配焦点指示符。例如，可穿戴设备可以在纱布周围分配绿色晕圈，而在手术刀周围分配蓝色晕圈。
可穿戴设备可以基于由一个或多个环境传感器获取的数据而跟踪医疗器械的位置。例如，可穿戴设备可以基于由面向外的成像系统464获取的数据而确定医疗器械随时间的位置。作为示例，可穿戴设备可以在时间1识别托盘中的手术刀并在稍后的时间识别同一手术刀在外科医生的手中。有利地，在一些实施例中，可以基于从多个可穿戴设备收集的数据来实现器械跟踪，这是因为每个可穿戴设备可能具有有限的FOV并且不能观察整个手术室。例如，基于护士的可穿戴设备获取的图像，手术刀可能在时间1出现在托盘中。手术刀的位置可以稍后基于由外科医生的可穿戴设备获取的图像而更新为外科医生的手，即使护士的可穿戴设备可能没有察觉到外科医生已经拿起手术刀。
尽管参考辨识和跟踪医疗器械描述了示例，但是类似的技术也可以应用于其它物理对象，例如手机、笔等。
辨识无菌区中的对象的示例
图25示意性地示出了在具有无菌区2510的手术室中发生的医疗程序的示例。在该示例中，两名外科医生2504和2506参与该程序。两名外科医生可以在进行手术时穿戴他们各自的可穿戴设备。
无菌区(也被称为无菌域)2510可以是物理环境中或用户的FOR中的用户定义区域。无菌区2510可以与在手术之前消毒的患者(或手术室)的区域相关联。例如，无菌区2510可以是在手术中将被切开或被切开的区域。
可穿戴设备可以向HCP(例如，外科医生2504、2506、护士或另一HCP)呈现手术室的世界地图920。HCP可以在世界地图920上标记手术室中的哪个区域是无菌区2510。在一些实施例中，可穿戴设备可以自动访问患者的虚拟医疗记录或与手术相关的信息以确定无菌区。无菌区2510的一部分可以与外科医生2504的FOV的一部分或外科医生2506的FOV的一部分重叠。
外科医生2504可以感知虚拟对象2520、2512、2514、2518以及他的FOR中的医疗器械2530。在该示例中，医疗器械2530也在无菌区2510中，无菌区2510可以是外科医生2504的FOR的一部分。虚拟对象2512、2514、2518可以与患者的虚拟医疗记录、患者的生理数据(诸如心率、呼吸率等)、手术的关联信息(例如，手术的步骤、被做手术的器官的放大视图等)等相关联。虚拟对象2520包括无菌区2510中的医疗器械2530的列表。医疗器械2530可以包括2个器械A、1个器械B、1个器械C、1个器械D和2个海绵。
外科医生2504可以在其FOV中感知其FOR中的虚拟和物理对象的至少一个子集。例如，当外科医生2504对患者进行手术时，外科医生2504可以通过其可穿戴设备的3D用户界面感知虚拟对象2514和两个海绵。可穿戴设备可以监视FOV中的物理对象。例如，外科医生2504的可穿戴设备可以不断地扫描在外科医生2504的FOV中的识别对象。可穿戴设备还可以扫描进入FOV的新对象。例如，在该程序期间，外科医生可以将手术刀带入FOV内。可穿戴设备可以检测到手术刀已进入其FOV中。如果该手术刀先前未被可穿戴设备识别到，则可穿戴设备可以使用计算机视觉技术或扫描与手术刀相关联的光学/电磁标签来识别新对象已进入FOV。
确认使用正确医疗器械的示例
可穿戴设备可以确认进入无菌区(或HCP的FOV)中的医疗器械是否是正确的医疗器械。可穿戴设备可以基于由一个或多个环境传感器获取的数据二执行这种确认。例如，可穿戴设备可以使用麦克风232收集音频数据。HCP的可穿戴设备可以分析音频数据以识别音频数据中提到的医疗器械。可穿戴设备还可以监视进入HCP的FOV中的对象并确定进入FOV中的医疗器械是否与在音频数据中识别的医疗器械匹配。如果进入FOV中的医疗器械与在音频数据中识别的医疗器械不匹配，则可穿戴设备可以向HCP提供警报。警报可以是焦点指示符。焦点指示符可以被显示在进入FOV中的非匹配医疗器械的周围。警报还可以是警报消息，其可以包括解释非匹配医疗器械已进入FOV中的简要描述。例如，警报可以包括非匹配的医疗器械的名称和所请求的正确的医疗器械，以及错误的医疗器械已进入FOV中的陈述。警报可以呈现在可穿戴设备的3D虚拟用户界面上，或者可以通过可穿戴设备的扬声器240呈现。
作为示例，外科医生2504可以要求护士在手术中将手术刀递给他。然而，护士递过来一把剪刀。可穿戴设备可以使用语音识别来识别单词“手术刀”并确定医生已经请求了手术刀。可穿戴设备还可以使用计算机视觉技术检测护士递送出来的那把剪刀。因为这把剪刀不是外科医生要求的手术刀，所以可穿戴设备可以在这把剪刀周围提供红色晕圈，表明这把剪刀不是正确的医疗器械。
可穿戴设备还可以基于从环境传感器获取的数据和从远程数据储存库280访问的数据(或来自本地处理和数据模块260的数据)来确认正确的医疗器械是否已进入FOV或无菌区中。远程数据储存库280可以包括关于在特定类型的手术中使用的一组手术器械的信息。关于该组手术器械的信息可以包括在此类手术中使用的手术器械的类型、名称、数量、位置、功能等。还可以将关于器械的信息上传到患者病历(例如，使用哪个支架，插入哪个植入物以及部件号和制造商信息等)。这些信息可以被添加到患者医疗记录中的程序档案中。
可穿戴设备可以基于患者的虚拟医疗记录而确定将要或正在对患者执行的手术类型。可穿戴设备可以基于存储在远程数据储存库280中的数据而识别与手术类型相关联的手术器械组。可穿戴设备还可以基于所获取的图像而识别无菌区中的手术器械并确定无菌区是否包括不属于所识别的手术器械组的手术器械。在手术期间，可穿戴设备可以持续监视进入(或离开)无菌区或各外科医生2504、2506的FOV的对象，更新虚拟对象2520上的手术器械的列表，并在错误的手术器械已进入无菌区(或FOV)中的情况下警告外科医生2504、2506。
作为示例，用于阑尾切除术的一组外科手术器械可以包括各种剪刀、镊子、牵开器、药罐、弯盘、巾钳等。图25中所示的无菌区2510中的医疗器械2530可以包括2把剪刀、1个镊子、1个牵开器和1个骨刮匙。可穿戴设备可以呈现无菌区2510中的手术器械列表，如虚拟对象2520所示。然而，骨刮匙不在用于阑尾切除术的外科手术工具组中。因此，可穿戴设备可以向外科医生2504提供警报，指示骨刮匙已经进入无菌区2510。例如，可穿戴设备可以在虚拟对象2520上以不同颜色显示短语“骨刮匙”。响应于警报消息，外科医生可以从无菌区2510移除骨刮匙。一旦可穿戴设备观察到骨刮匙已经移到无菌区之外，可穿戴设备便可从虚拟对象2520中移除短语“骨刮匙”。
对无菌区中的医疗器械进行跟踪并计数的示例
可穿戴设备可以使用一个或多个环境传感器以及本地处理和数据模块260来跟踪进入和离开无菌区2510的对象。在一些实施例中，可穿戴设备还可以与远程处理模块270和远程数据储存库280通信以对医疗器械进行跟踪并计数。
例如，可穿戴设备可以保持无菌区2510中的医疗器械的列表。如果可穿戴设备检测到一医疗器械进入无菌区，则可穿戴设备可以将该医疗器械添加到列表中。如果一医疗器械被从无菌区移除，则可穿戴设备可从列表中减去移除的医疗器械。可穿戴设备可以使用图25所示的虚拟对象2520来呈现无菌区中的器械的当前列表。在一些实施方式中，可穿戴设备可以显示一个或多个焦点指示符，其示出用户当前正在使用的医疗器械在无菌区中(或离开无菌区)。
可以分析与跟踪医疗器械相关联的数据，以确定是否已经正确地计数了进入无菌区的所有器械。例如，可穿戴设备可以确定无菌区中的所有医疗器械是否已离开无菌区。对于没有离开无菌区的医疗器械，可穿戴设备可以确定它们是否应该留在无菌区内。作为示例，基于跟踪数据，可穿戴设备可以识别在手术结束时一块纱布和手术缝合线仍在无菌区中。可穿戴设备可以进一步确定该手术缝合线的位置是合适的，因为手术缝合线用于在手术后将身体组织保持在一起。然而，这块纱布的位置是不合适的，因为在外科医生缝合患者之后它不应留在患者体内。因此，可穿戴设备可以向外科医生2504提供警报，指示该片纱布仍在无菌区中。
可以使用多个可穿戴设备以共同维持哪些医疗器械已进入或离开无菌区2510的准确度。例如，远程计算系统1720(如图17所示)可以维持无菌域中的器械的列表(如虚拟对象2520所示)。远程计算系统1720可以基于由外科医生2504的可穿戴设备和外科医生2506的可穿戴设备获取的数据而更新器械列表。基于来自多个可穿戴设备的数据的器械跟踪是有益的，因为多个用户可以将医疗器械带入或带离无菌区。另外，用户的可穿戴设备的FOV可以仅覆盖无菌区2510的一部分并且可能无法跟踪无菌区2510中的每个对象。此外，当用户把目光从无菌区2510移开或离开手术室时，与无菌区2510交互的其他用户可以继续跟踪进入或离开无菌区2510的医疗器械。
尽管参考医疗器械描述了示例，但是类似的技术也可以用于辨识、跟踪和确认其它物理对象。例如，可穿戴设备可以辨识手机并跟踪手机的位置，以确保手机不会意外地留在患者体内。此外，尽管使用无菌区描述了示例，但是类似的技术也可以用于监视和跟踪其它区域(例如手术室或HCP的FOV)的对象。
跟踪医疗器械的示例过程
图26是示出跟踪无菌区中的医疗对象的示例过程2600的流程图。示例过程2600可以由可穿戴设备210单独执行或者由可穿戴设备210与远程计算系统1720组合地执行。可穿戴设备210可以是可穿戴设备。
在框2610处，可穿戴设备识别与可穿戴设备相关联的FOR中的无菌区。可以基于从外部数据库(例如，数据库系统1220或远程数据储存库280)获得的数据而确定无菌区。例如，可以基于与手术室相关联的医院协议、对患者执行的手术类型、患者的身体等而确定无菌区。无菌区也可以由HCP标记。
在框2620处，可穿戴设备可识别进入无菌区的对象。可穿戴设备可以使用从一个或多个环境传感器获取的数据来识别对象。例如，可穿戴设备可以使用计算机视觉算法来检测对象或扫描与对象相关联的光学标签。
在框2630处，可穿戴设备可以访问与对象相关联的信息。可穿戴设备可以与远程数据储存库280或医疗保健数据库管理系统1220通信，以确定与对象相关联的语义信息。例如，与对象相关联的信息可以包括对象的名称、对象的类型、对象的位置等。
在框2640处，可穿戴设备可以跟踪对象在无菌区中的位置。例如，可穿戴设备可以使用计算机视觉算法来检测手术刀已经从托盘移动到外科医生的手中。
可穿戴设备可以保持进入无菌区和离开无菌区的所有对象的记录。例如，可穿戴设备可以维持当前处于无菌区中的对象的列表。在框2650处，可穿戴设备可以检测与无菌区中的对象相关联的异常。可穿戴设备可以基于与对象相关联的信息或与医疗程序相关联的信息(诸如手术的类型、手术所需的手术器械等)进行检测。例如，可穿戴设备可以确定无菌区是否包括与由可穿戴设备的用户正执行的手术无关的医疗器械。可穿戴设备还可以确定可穿戴设备的用户是否已经接收到未被请求的手术器械。
附加地或替代地，在框2660处，可穿戴设备可以检测到对象已离开无菌区。例如，可穿戴设备可以在无菌区的第一图像中检测到器械A、B和C。然而，在无菌区的第二图像中，可穿戴设备仅检测到器械B和C。因此，可穿戴设备可确定器械A已离开无菌区并从当前位于无菌区中的对象的列表中移除器械A。
可选地，在框2670处，可穿戴设备可以继续跟踪可穿戴设备的FOR中的对象的位置，即使对象已离开无菌区。例如，可穿戴设备可以通过跟踪针的位置来确定针是否已被适当地处置。
其它方面
在第1方面，一种可穿戴设备，其被配置为向穿戴者呈现虚拟医疗保健内容，所述可穿戴设备包括：显示器，其被配置为向所述穿戴者呈现虚拟内容，所述显示器的至少一部分是透明的并且在所述穿戴者穿戴着所述可穿戴设备时被布置在所述穿戴者的眼睛前方的位置，使得所述透明部分将来自所述穿戴者的前方环境的一部分的光透射到所述穿戴者的眼睛，以提供所述穿戴者的前方环境的所述一部分的视图；以及硬件处理器，其与所述显示器通信，所述硬件处理器被编程为：接收与患者的患者医疗记录的至少一部分相关联的访问权限；至少部分地基于所述访问权限访问所述患者医疗记录的至少一部分；以及指示所述显示器向所述穿戴者呈现与所述患者医疗记录的所述至少一部分相关的虚拟内容。
在第2方面，根据第1方面所述的可穿戴设备，其中所述可穿戴设备包括面向内的成像系统，所述面向内的成像系统被配置为捕获所述穿戴者的眼睛的眼睛图像，并且所述处理器被编程为：分析所述眼睛图像以确定生物识别元素；以及接收所述生物识别元素与所述穿戴者的授权生物识别元素匹配的确认。
在第3方面，根据第2方面所述的可穿戴设备，其中所述生物识别元素包括虹膜扫描或视网膜扫描。
在第4方面，根据第1至第3方面中任一项所述的可穿戴设备，其中所述可穿戴设备进一步包括用于确定所述穿戴者的位置的传感器，并且所述访问权限至少部分地基于所述穿戴者的位置。
在第5方面，根据第1至第4方面中任一项所述的可穿戴设备，其中所述可穿戴设备进一步包括环境传感器，并且所述硬件处理器被编程为：从所述环境传感器获得环境数据；从所获得的环境数据中识别数据捕获触发者；以及从布置在所述可穿戴设备上的至少一个数据捕获元件启动数据捕获。
在第6方面，根据第5方面所述的可穿戴设备，其中所述环境传感器包括麦克风，所述环境数据包括音频记录，并且所述数据捕获触发者包括口头启动命令。
在第7方面，根据第5或第6方面所述的可穿戴设备，其中所述环境传感器包括面向外的成像系统，所述环境数据包括所述环境的图像，并且所述数据捕获触发者包括由所述穿戴者做出的手势。
在第8方面，根据第5至第7方面中任一项所述的可穿戴设备，其中所述硬件处理器被编程为从所获得的环境数据中识别数据终止触发者，并且终止从所述至少一个数据捕获元件的数据捕获。
在第9方面，根据第5至第8方面中任一项所述的可穿戴设备，其中所述数据捕获元件包括麦克风或面向外的成像系统。
在第10方面，根据第1至第9方面中任一项所述的可穿戴设备，其中所述硬件处理器被编程为：向所述穿戴者显示虚拟用户界面，所述虚拟用户界面包括的功能允许所述穿戴者：将数据输入到所述患者医疗记录的至少一部分；更新所述患者医疗记录的至少一部分；组织所述患者医疗记录的至少一部分；或保存对所述患者医疗记录的至少一部分的改变。
在第11方面，根据第1至第10方面中任一项所述的可穿戴设备，其中所述硬件处理器被编程为将所述患者医疗记录的至少一部分传送到数据存储器。
在第12方面，根据第11方面所述的可穿戴设备，其中所述数据存储器在所述可穿戴设备外部，并且所述通信通过无线网络。
在第13方面，一种医疗保健计算环境，包括：根据第1至第12方面中任一项所述的可穿戴设备；医疗保健数据库系统，其包括：网络接口，所述网络接口被配置为与所述可穿戴设备通信；非暂时性数据存储器，所述非暂时性数据存储被配置为存储所述患者医疗记录。
在第14方面，根据第13方面所述的医疗保健计算环境，其中所述可穿戴设备被配置为由所述患者穿戴，所述环境进一步包括：医疗保健提供者(HCP)可穿戴设备，其包括：第二显示器，其被配置为向所述HCP呈现虚拟内容，所述显示器的至少一部分是透明的并且在所述HCP穿戴着所述HCP可穿戴设备时被布置在所述HCP的眼睛前方的位置，使得所述透明部分将来自所述HCP的前方环境的一部分的光透射到所述HCP的眼睛，以提供所述HCP的前方环境的所述一部分的视图；环境传感器；以及第二硬件处理器，其与所述第二显示器通信，所述第二硬件处理器被编程为包括：对象识别器，其被配置为分析来自所述环境传感器的数据；以及数据管理系统，其被配置为允许所述HCP访问所述患者医疗记录的至少一部分。
在第15方面，根据第1至第14方面中任一项所述的可穿戴设备，其中所述访问权限包括读取权限或编辑权限。
在第16方面，根据第1至第15方面中任一项所述的可穿戴设备，其中所述硬件处理器被编程为在访问日志中存储访问所述患者医疗记录的至少一部分的尝试。
在第17方面，根据第1至第16方面中任一项所述的可穿戴设备，其中所述硬件处理器被编程为验证所述穿戴者的身份。
在第18方面，根据第17方面所述的可穿戴设备，其中为了验证所述穿戴者的身份，所述硬件处理器被编程为利用虹膜代码或视网膜扫描。
在第19方面，根据第17或第18方面中任一项所述的可穿戴设备，其中响应于所述穿戴者的身份未获得验证，所述硬件处理器被编程为拒绝对所述患者医疗记录的至少一部分的访问。
在第20方面，根据第17至第19方面中任一项所述的可穿戴设备，其中响应于所述穿戴者的身份未获得验证，所述硬件处理器被编程为停止显示所述患者医疗记录的所述部分。
在第21方面，一种在医疗保健环境中监视用户环境的方法，所述方法包括：在可穿戴设备的控制下执行以下操作，所述可穿戴设备包括显示器、环境传感器以及硬件处理器，所述显示器被配置为向所述可穿戴设备的用户呈现虚拟内容，所述硬件处理器与所述显示器和所述环境传感器通信：分析由所述环境传感器获取的数据以检测启动条件；确定所述启动条件存在；使用所述环境传感器记录医疗保健事件以提供医疗保健文档；分析由所述环境传感器获取的数据以检测终止条件；确定所述终止条件存在；以及停止使用所述环境传感器记录所述医疗保健事件。
在第22方面，根据第21方面所述的方法，其中所述环境传感器包括麦克风或面向外的成像系统。
在第23方面，根据权利要求21或22所述的方法，其中所述环境传感器包括第一环境传感器和不同于所述第一环境传感器的第二环境传感器，并且分析由所述环境传感器获取的数据以检测启动条件包括分析由所述第一环境传感器获取的数据；使用所述环境传感器记录所述医疗保健事件包括使用所述第二环境传感器记录所述医疗保健事件。
在第24方面，根据第21至第23方面中任一项所述的方法，其中所述环境传感器包括面向外的成像系统，并且记录所述医疗保健事件包括捕获所述医疗保健事件的视频记录。
在第25方面，根据第21至第24方面中任一项所述的方法，其中所述环境传感器包括麦克风，并且记录所述医疗保健事件包括捕获所述医疗保健事件的音频记录。
在第26方面，根据第25方面所述的方法，其中记录所述医疗保健事件包括：分析所述音频记录以确定患者所说的关于患者状况的信息。
在第27方面，根据第21至第26方面中任一项所述的方法，进一步包括将所述医疗保健文档的至少一部分传送到数据存储器。
在第28方面，根据第21至第27方面中任一项所述的方法，进一步包括更新患者医疗记录以包括所述医疗保健文档的至少一部分。
在第29方面，一种可穿戴设备，其被配置为向穿戴者呈现虚拟医疗保健内容，所述可穿戴设备包括：显示器，其被配置为向所述穿戴者呈现虚拟内容，所述显示器的至少一部分是透明的并且在所述穿戴者穿戴着所述可穿戴设备时布置在所述穿戴者的眼睛前方的位置，使得所述透明部分将来自所述穿戴者的前方环境的一部分的光透射到所述穿戴者的眼睛，以提供所述穿戴者的前方环境的一部分的视图；以及硬件处理器，其与所述显示器通信，所述硬件处理器被编程为：检测用于与第二可穿戴设备共享虚拟医疗保健内容的触发事件；验证所述第二可穿戴设备是否具有足以呈现所述虚拟医疗保健内容的访问权限；如果所述第二可穿戴设备具有足够的访问权限，则与所述第二可穿戴设备共享所述虚拟医疗保健内容；以及如果所述第二可穿戴设备的访问权限不足，则向所述穿戴者呈现所述第二可穿戴设备的访问权限不足的指示。
在第30方面，根据第29方面所述的可穿戴设备，其中所述硬件处理器被编程为：接收由所述第二可穿戴设备做出的对所述虚拟医疗保健内容的修改；以及将修改后的虚拟医疗保健内容呈现给所述可穿戴设备的穿戴者。
在第31方面，根据第29或第30方面所述的可穿戴设备，其中所述虚拟医疗保健内容包括患者医疗记录。
在第32方面，根据第29至第31方面中任一项所述的可穿戴设备，其中所述虚拟医疗保健内容包括从医疗设备获得的信息。
在第33方面，根据第29至第32方面中任一项所述的可穿戴设备，其中所述虚拟医疗保健内容包括患者的一部分的图像。
在第34方面，根据第29至第33方面中任一项所述的可穿戴设备，其中所述硬件处理器被编程为接受穿戴者输入以修改所述虚拟医疗保健内容。
在第35方面，一种可穿戴设备，其被配置为向穿戴者呈现虚拟医疗保健内容，所述可穿戴设备包括：显示器，其被配置为向所述穿戴者呈现虚拟内容，所述显示器的至少一部分是透明的并且在所述穿戴者穿戴着所述可穿戴设备时布置在所述穿戴者的眼睛前方的位置，使得所述透明部分将来自所述穿戴者的前方环境的一部分的光透射到所述穿戴者的眼睛，以提供所述穿戴者的前方环境的一部分的视图；环境传感器，其被配置为获得关于所述穿戴者的环境的环境数据；以及硬件处理器，其与所述显示器和所述环境传感器通信，所述硬件处理器被编程为：访问由所述环境传感器获得的环境数据；至少部分地基于所述环境数据确定情境信息；至少部分地基于所述情境信息识别与所述可穿戴设备的穿戴者的视野(FOV)相关联的虚拟对象；以及呈现与所述可穿戴设备的穿戴者的FOV中的虚拟对象相关的虚拟内容。
在第36方面，根据第35方面所述的可穿戴设备，其中所述环境传感器包括麦克风、面向外的成像系统、面向内的眼睛跟踪系统、条形码读取器或GPS传感器。
在第37方面，根据第35或第36方面所述的可穿戴设备，其中所述情境信息包括所述穿戴者的位置、所述穿戴者的姿势、所述穿戴者的情绪状态、访问权限级别、所述穿戴者的FOV中的患者的症状或状况、或所述穿戴者的FOV中的患者的身份。
在第38方面，根据第35至第37方面中任一项所述的可穿戴设备，其中所述情境信息包括与所述穿戴者的环境中的物理对象或呈现给所述穿戴者的虚拟对象相关联的信息。
在第39方面，根据第35至第38方面中任一项所述的可穿戴设备，其中所述环境传感器包括成像系统，并且为了确定所述情境信息，所述硬件处理器被编程为使用计算机视觉算法、面部识别算法或神经网络来分析由所述成像系统捕获的图像。
在第40方面，根据第35至第39方面中任一项所述的可穿戴设备，其中所述虚拟内容包括患者医疗记录的一部分、警报、焦点指示符或消息。
在第41方面，根据第35至第40方面中任一项所述的可穿戴设备，其中所述硬件处理器被编程为：确定所述情境信息是否超过阈值条件；如果超过所述阈值条件，则将更新后的虚拟内容显示给所述可穿戴设备的穿戴者。
在第42方面，根据第35至第41方面中任一项所述的可穿戴设备，其中：所述情境信息包括关于在对患者的医疗程序期间使用的医疗器械的信息，并且所述虚拟内容包括与所述医疗器械的位置相关的信息。
在第43方面，根据第42方面所述的可穿戴设备，其中所述虚拟内容进一步包括指示医疗器械被留在所述患者的体内的警报。
在第44方面，根据第42或第43方面所述的可穿戴设备，其中所述虚拟内容包括如下的警报：所述穿戴者的FOV中的医疗器械不适合所述医疗程序或未被请求用于所述医疗程序。
在第45方面，根据第35至第44方面中任一项所述的可穿戴设备，其中所述情境信息包括关于患者身体部位的信息。
在第46方面，根据第45方面所述的可穿戴设备，其中所述虚拟内容包括与所述患者身体部位相关联的虚拟标志。
在第47方面，根据第35至第46方面中任一项所述的可穿戴设备，其中所述硬件处理器被进一步编程为将所述虚拟内容传送到数据储存库。
在第48方面，根据第35至第47方面中任一项所述的可穿戴设备，其中所述硬件处理器被进一步编程为用所述虚拟内容更新患者医疗记录。
在第49方面，一种可穿戴设备，其被配置为向穿戴者呈现虚拟医疗保健内容，所述可穿戴设备包括：显示器，其被配置为向所述穿戴者呈现虚拟内容，所述显示器的至少一部分是透明的并且在所述穿戴者穿戴着所述可穿戴设备时布置在所述穿戴者的眼睛前方的位置，使得所述透明部分将来自所述穿戴者的前方环境的一部分的光透射到所述穿戴者的眼睛，以提供所述穿戴者的前方环境的一部分的视图；环境传感器，其被配置为获得关于所述穿戴者的环境的环境数据；以及硬件处理器，其与所述显示器和所述环境传感器通信，所述硬件处理器被编程为：识别所述可穿戴设备的能视域(FOR)中的无菌区；识别进入所述无菌区的对象；访问与所述对象相关联的信息；以及跟踪所述对象在所述无菌区中的位置。
在第50方面，根据第49方面所述的可穿戴设备，其中所述硬件处理器被进一步编程为至少部分地基于与所述对象相关联的信息而检测与所述无菌区中的对象相关联的异常。
在第51方面，根据第50方面所述的可穿戴设备，其中所述硬件处理器被编程为至少部分地基于所述异常的检测向所述穿戴者呈现警报。
在第52方面，根据第49至第51方面中任一项所述的可穿戴设备，其中所述硬件处理器被编程为检测所述对象已离开所述无菌区。
在第53方面，根据第49至第52方面中任一项所述的可穿戴设备，其中所述硬件处理器被编程为向所述穿戴者呈现与所述对象相关联的虚拟内容。
在第54方面，根据第53方面所述的可穿戴设备，其中所述虚拟内容包括在所述无菌区中存在的对象的列表。
在第55方面，根据第54方面所述的可穿戴设备，其中所述列表进一步包括所述对象的位置。
在第56方面，根据第49至第55方面中任一项所述的可穿戴设备，其中所述环境传感器包括麦克风、面向外的成像系统、条形码读取器或电磁跟踪系统。
在第57方面，一种用于管理医疗信息的可穿戴系统，所述可穿戴系统包括：头戴式显示器(HMD)，其包括被配置为向用户呈现虚拟内容的显示器；一个或多个环境传感器，其被配置为获得与所述用户的环境相关联的数据；硬件处理器，其与所述显示器和所述一个或多个环境传感器通信，并且被编程为：通过所述一个或多个环境传感器监视所述用户的环境；至少部分地基于由所述一个或多个环境传感器获取的第一数据而检测启动条件；响应于检测到所述启动条件，通过环境传感器记录与患者的交互的至少一部分，其中所述交互的所述一部分包括由该环境传感器获取的第二数据；分析所述第二数据，以基于情境信息提取关于与所述患者的交互的相关医疗信息；以及启动所述相关医疗信息向医疗保健数据库系统的存储。
在第58方面，根据第57方面所述的可穿戴系统，其中所述一个或多个环境传感器至少包括面向外的相机或麦克风。
在第59方面，根据第57或第58方面所述的可穿戴系统，其中为了分析所述第二数据以提取相关医疗信息，所述硬件处理器被编程为：确定由所述患者或所述可穿戴系统的用户说出的音频流；将所述音频流转换为文本；以及解析所述文本以识别描述所述患者的医疗状况或病史的短语。
在第60方面，根据第57至第59方面中任一项所述的可穿戴系统，其中为了启动所述相关医疗信息的存储，所述硬件处理器被编程为：至少部分地基于由所述一个或多个环境传感器获取的数据而验证所述患者的身份；以及使用从所述患者和所述用户之间的交互捕获的所述相关医疗信息更新存储在所述医疗保健数据库中的医疗记录。
在第61方面，根据第57至第60方面中任一项所述的可穿戴系统，其中所述硬件处理器被进一步编程为：检测用于与第二可穿戴系统共享医疗保健信息的触发事件；确定与所述第二可穿戴系统相关联的访问权限；以及响应于确定所述第二可穿戴系统具有所述访问权限而使得所述医疗保健信息的至少一部分被传送到所述第二可穿戴系统。
在第62方面，根据第61方面所述的可穿戴系统，其中所述硬件处理器被编程为响应于确定所述第二可穿戴系统的访问权限不足而向所述第二可穿戴系统提供指示。
在第63方面，根据第61或62方面所述的可穿戴系统，其中与所述第二可穿戴系统相关联的访问权限由所述患者配置。
在第64方面，根据第61至第63方面中任一项所述的可穿戴系统，其中所述医疗保健信息包括由所述面向外的相机捕获的所述用户的视野(FOV)的至少一部分。
在第65方面，根据第61至第64方面中任一项所述的可穿戴系统，其中所述硬件处理器被编程为与所述第二可穿戴系统共享所述医疗保健信息和与所述医疗保健信息相关联的注释。
在第66方面，根据第57至第65方面中任一项所述的可穿戴系统，其中所述情境信息包括所述用户的位置、所述用户的姿势、所述用户的访问权限级别、所述用户的FOV中的所述患者的症状或状况、所述用户的FOV中的所述患者的身份中的至少一者。
在第67方面，根据第57至第66方面中任一项所述的可穿戴系统，其中所述硬件处理器被进一步编程为使得所述头戴式显示器向所述用户呈现关于与所述患者的交互的虚拟内容。
在第68方面，根据第67方面所述的可穿戴系统，其中所述虚拟内容包括患者医疗记录的一部分或关于从医疗设备接收的所述患者的生理参数的信息中的至少一者。
在第69方面，根据第67或第68方面所述的可穿戴系统，其中所述情境信息包括关于在对患者的医疗程序期间使用的医疗器械的信息，并且所述虚拟内容包括与所述医疗器械的位置相关的信息。
在第70方面，根据第69方面所述的可穿戴系统，其中所述虚拟内容包括这样的警报：所述用户的FOV中的医疗器械不适合医疗程序或未被请求用于医疗程序。
在第71方面，一种用于管理医疗信息的方法，所述方法包括：在硬件处理器的控制下：基于由包括环境传感器的可穿戴设备获取的数据而监视用户的环境；至少部分地基于由所述可穿戴设备获取的第一数据而检测启动条件；响应于检测到所述启动条件，通过所述可穿戴设备的所述环境传感器记录患者和医疗保健提供者(HCP)之间的交互，其中所述交互包括由所述环境传感器获取的第二数据；分析所述第二数据，以基于情境信息提取关于与所述患者的交互的相关医疗信息；以及启动所述相关医疗信息向医疗保健数据库系统的存储。
在第72方面，根据第71方面所述的方法，其中所述环境传感器包括麦克风，并且分析所述第二数据以提取相关医疗信息包括：通过所述麦克风获取由所述患者或所述HCP说出的音频流；将所述音频流转换为文本；以及解析所述文本以识别描述所述患者的医疗状况或病史的短语。
在第73方面，根据第71或第72方面所述的方法，其中启动所述相关医疗信息的存储包括：至少部分地基于由所述可穿戴设备获取的数据而验证所述患者的身份；以及使用从所述患者和所述HCP之间的交互中捕获的所述相关医疗信息更新存储在所述医疗保健数据库中的医疗记录。
在第74方面，根据第71至第73方面中任一项所述的方法，进一步包括：检测用于与第二可穿戴设备共享医疗保健信息的触发事件；确定与所述第二可穿戴设备相关联的访问权限；以及响应于确定所述第二可穿戴设备具有所述访问权限而使得所述医疗保健信息的至少一部分被传送到所述第二可穿戴设备。
在第75方面，根据第74方面所述的方法，其中与所述第二可穿戴设备相关联的访问权限由所述患者配置。
在第76方面，根据第74或第75方面所述的方法，其中所述医疗保健信息包括由面向外的成像系统捕获的所述用户的视野(FOV)的至少一部分。
在第77方面，根据第76方面所述的方法，进一步包括与所述第二可穿戴系统共享所述医疗保健信息和与所述医疗保健信息相关联的注释。
在第78方面，根据第71至第77方面中任一项所述的方法，其中所述情境信息包括所述用户的位置、所述用户的姿势、所述用户的访问权限级别、所述用户的FOV中的所述患者的症状或状况、所述用户的FOV中的所述患者的身份中的至少一者。
在第79方面，根据第71至第78方面中任一项所述的方法，进一步包括使得所述可穿戴设备通过头戴式显示器显示虚拟内容，所述虚拟内容包括患者医疗记录的一部分或关于从医疗设备接收的所述患者的生理参数的信息中的至少一者。
在第80方面，根据第79方面所述的方法，其中所述虚拟内容包括这样的警报：所述用户的FOV中的医疗器械不适合医疗程序或未被请求用于医疗程序。
在第81方面，一种用于管理医疗信息的第一可穿戴设备，所述第一可穿戴设备包括：面向外的成像系统，其被配置为对用户的环境进行成像；头戴式显示器，其被配置为向所述用户呈现虚拟内容；以及硬件处理器，其被编程为：通过从所述面向外的成像系统接收的数据而监视用户环境中的对象；确定通过所述头戴式显示器感知的所述用户的视野中的对象；检测用于与第二可穿戴设备共享会话的触发事件，其中所述共享会话包括与第二可穿戴设备共享与所述用户的视野中的第一物理对象相关联的至少第一信息，其中所述第一信息在所述第二可穿戴设备的视野之外；将所述第一信息传送到所述第二可穿戴设备；接收来自所述第二可穿戴设备的虚拟内容，其中所述虚拟内容包括与位于所述用户的视野之外的第二物理对象相关联的第二信息；以及通过所述头戴式显示器向所述用户呈现从所述第二可穿戴设备接收的虚拟内容。
在第82方面，根据第81方面所述的第一可穿戴设备，其中所述硬件处理器被进一步编程为：通过所述第一可穿戴设备接收与位于所述用户的视野中的第一物理对象相关联的注释，并且其中为了将所述第一信息传送到所述第二可穿戴设备，所述硬件处理器被编程为将所述注释和所述第一对象的图像传送到所述第二可穿戴设备。
在第83方面，根据第82方面所述的第一可穿戴设备，其中所述注释包括放置在患者身体部位的一部分上的一个或多个虚拟标志，其中所述一个或多个虚拟标志指示所述患者身体部位的所述一部分的取向。
在第84方面，根据第81至第83方面中任一项所述的第一可穿戴设备，其中所述共享会话是所述用户和患者之间的交互的一部分，并且所述硬件处理器被进一步编程为：使用所述面向外的成像系统或麦克风中的至少一者记录所述用户和所述患者之间的交互的至少一部分；从所述交互中识别相关医疗信息；以及使用所述相关医疗信息更新所述患者的医疗记录。
在第85方面，一种用于管理医疗信息的方法，所述方法包括：在包括面向外的成像系统、硬件处理器和头戴式显示器的第一可穿戴设备的控制下：通过所述面向外的成像系统监视用户环境中的对象；确定通过所述头戴式显示器感知的所述用户的视野中的对象；检测用于与第二可穿戴设备共享会话的触发事件，其中所述共享会话包括与第二可穿戴设备共享与所述用户的视野中的第一物理对象相关联的至少第一信息，其中所述第一信息位于所述第二可穿戴设备的视野之外；将所述第一信息传送到所述第二可穿戴设备；接收来自所述第二可穿戴设备的虚拟内容，其中所述虚拟内容包括与位于所述用户的视野之外的第二物理对象相关联的第二信息；以及通过所述头戴式显示器向所述用户呈现从所述第二可穿戴设备接收的虚拟内容。
在第86方面，根据第85方面所述的方法，进一步包括：通过所述第一可穿戴设备接收与所述用户的视野中的所述第一物理对象相关联的注释，并且其中将所述第一信息传送到所述第二可穿戴设备包括将所述注释和所述第一对象的图像传送到所述第二可穿戴设备。
在第87方面，根据第86方面所述的方法，其中所述注释包括放置在患者身体部位的一部分上的一个或多个虚拟标志，其中所述一个或多个虚拟标志指示所述患者身体部位的所述一部分的取向、捕获所述图像的相机的取向，或与所述图像或所述患者身体部位的所述一部分相关联的情境信息。
在第88方面，根据第85至第87方面中任一项所述的方法，其中所述共享会话是所述用户和患者之间的交互的一部分，并且所述方法进一步包括：使用所述面向外的成像系统或麦克风中的至少一者记录所述用户和所述患者之间的交互；从所述交互中识别相关医疗信息；以及使用所述相关医疗信息更新所述患者的医疗记录。
在第89方面，根据第85至第88方面中任一项所述的方法，进一步包括：验证所述第二可穿戴设备的访问权限；以及共享所述第二可穿戴设备对其的访问权限是足够的所述第一信息的至少一部分。
在第90方面，根据第89方面所述的方法，其中所述访问权限由其医疗信息在所述第一可穿戴设备和所述第二可穿戴设备之间共享的患者管理。
在第91方面，一种可穿戴设备，包括：面向外的相机，其被配置为对用户的能视域(FOR)进行成像，所述FOR包括能够被所述用户通过所述可穿戴设备感知的所述用户周围的环境的一部分；头戴式显示器，其被配置为向所述用户呈现虚拟内容，其中所述显示器的至少一部分是透明的，使得所述透明部分将来自所述穿戴者的前方环境的一部分的光透射到所述穿戴者的眼睛，以提供所述穿戴者的前方环境的一部分的视图；硬件处理器，其与所述显示器和所述环境传感器通信，所述硬件处理器被编程为：确定所述FOR中的无菌区，其中所述无菌区包括在医疗程序之前被消毒的区域；分析由所述面向外的相机获取的数据以识别进入所述无菌区的物理对象；访问与所述物理对象相关联的信息；通过由所述面向外的相机获取的数据跟踪所述物理对象在所述无菌区中的位置；以及使所述头戴式显示器呈现与所述医疗程序相关联的虚拟内容。
在第92方面，根据第91方面所述的可穿戴设备，其中所述无菌区包括所述患者的身体的至少一部分。
在第93方面，根据第91或第92方面所述的可穿戴设备，其中所述无菌区的边界由所述可穿戴设备的用户通过手势限定(delineate)。
在第94方面，根据第91至第93方面中任一项所述的可穿戴设备，其中与所述物理对象相关联的信息包括所述物理对象的功能或所述医疗程序的类型中的至少一者。
在第95方面，根据第91至第94方面中任一项所述的可穿戴设备，其中所述硬件处理器被进一步编程为至少部分地基于与所述物理对象相关联的信息而检测与所述无菌区中的所述物理对象相关联的异常。
在第96方面，根据第95方面所述的可穿戴设备，其中所检测到的异常包括确定所述物理对象未被请求用于所述医疗程序或不适合所述医疗程序，并且其中所述硬件处理器被编程为至少部分地基于所检测到的异常而向所述穿戴者呈现警报。
在第97方面，根据第91至第96方面中任一项所述的可穿戴设备，其中所述硬件处理器被进一步编程为确定所述物理对象是否已离开所述无菌区。
在第98方面，根据第91至第97方面中任一项所述的可穿戴设备，其中与所述医疗程序相关联的虚拟内容包括用于所述医疗程序的医疗指令的列表。
在第99方面，根据第91至第98方面中任一项所述的可穿戴设备，其中所述虚拟内容进一步包括焦点指示符，所述焦点指示符至少部分地基于对所述物理对象的跟踪而指示处于所述无菌区中的一个或多个医疗指令。
在第100方面，一种方法，包括：在硬件处理器的控制下：确定可穿戴设备的用户的能视域(FOR)中的无菌区，其中所述FOR包括能够被所述用户通过所述可穿戴设备感知的所述用户周围的环境的一部分；分析由所述可穿戴设备的面向外的相机获取的数据以识别进入所述无菌区的物理对象；访问与所述物理对象相关联的信息；基于由所述面向外的相机获取的数据而跟踪所述物理对象在所述无菌区中的位置；以及使得所述可穿戴设备的头戴式显示器提供可视指示，其中所述可视指示与所述物理对象的位置相关联。
在第101方面，根据第100方面所述的方法，其中所述无菌区包括所述患者的身体的至少一部分。
在第102方面，根据第100或第101方面所述的方法，其中与所述物理对象相关联的信息包括所述物理对象的功能或所述医疗程序的类型中的至少一者。
在第103方面，根据第100至第102方面中任一项所述的方法，进一步包括至少部分地基于与所述物理对象相关联的信息而检测与所述无菌区中的所述物理对象相关联的异常。
在第104方面，根据第100至第103方面中任一项所述的方法，其中所检测到的异常包括确定所述物理对象未被请求用于所述医疗程序或不适合所述医疗程序，并且所述方法进一步包括至少部分地基于所检测到的异常向所述穿戴者呈现警报。
在第105方面，根据第100至第104方面中任一项所述的方法，进一步包括：确定所述物理对象是否已离开无菌区；并且响应于确定所述物理对象已离开所述无菌区，减少与所述物理对象相关联的计数，其中所述计数表示处于所述无菌区中的物理对象的数量。
在第106方面，根据第100至第105方面中任一项所述的方法，其中所述虚拟指示包括所述无菌区中的物理对象的列表。
其它考虑事项
本文描述和/或附图中描绘的过程、方法和算法中的每一者可以体现在由一个或多个物理计算系统、硬件计算机处理器、应用专用电路和/或被配置为执行特定和特殊的计算机指令的电子硬件所执行的代码模块中并且完全或部分地由该代码模块自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如，服务器)或专用计算机、专用电路等等。代码模块可以被编译并链接到可执行程序中，安装在动态链接库中，或者可以用解释的编程语言编写。在一些实施方式中，特定操作和方法可以由专用于给定功能的电路来执行。
此外，本公开的功能的某些实施方式在数学上、计算上或技术上是足够复杂的，使得应用专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)对于执行功能可能是必需的，例如由于所涉及的计算的数量或复杂性或为了基本上实时提供结果。例如，视频可以包括许多帧，每帧具有数百万个像素，并且具体地编程的计算机硬件对于处理视频数据是必需的以在商业上合理的时间量内提供期望的图像处理任务或应用。
代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，诸如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器、其组合和/或类似物。方法和模块(或数据)也可以在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)传输，所述传输介质包括基于无线的和有线/基于线缆的介质，并且可以采取多种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字分组或帧)。所公开的方法或方法步骤的结果可以持久地或以其他方式存储在任何类型的非暂时性有形计算机存储器中，或者可以经由计算机可读传输介质来通信。
在此描述的和/或在附图中描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分，代码包括一个或多个可执行指令以实现特定功能(例如，逻辑或算术)或方法中的步骤。各种方法、框、状态、步骤或功能可以与本文提供的说明性示例相组合，重新排列，添加，删除，修改或以其他方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行本文描述的功能中的一些或全部。本文描述的方法和过程也不限于任何特定的序列，并且与其相关的块、步骤或状态可以以适当的其他序列来执行，例如串行、并行或以某种其他方式。可以向所公开的示例性实施例添加任务或事件或者从中移除任务或事件。此外，本文描述的实现中的各种系统组件的分离是出于说明的目的，并且不应该被理解为在所有实施方式中都需要这种分离。应该理解，所描述的程序组件、方法和系统通常可以一起集成在单个计算机产品中或者封装到多个计算机产品中。许多实施方式变化是可能的。
过程、方法和系统可以在网络(或分布式)计算环境中实施。网络环境包括企业范围的计算机网络、内联网、局域网(LAN)、广域网(WAN)、个人区域网络(PAN)、云计算网络、众包计算网络、因特网和万维网。网络可以是有线或无线网络或任何其他类型的通信网络。
本公开的系统和方法各自具有若干创新性方面，其中没有单独一个对于本文公开的期望属性完全负责或需要。上述各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合均旨在落入本公开的范围内。对于本公开中所描述的实施方式的各种修改对于本领域技术人员来说可能是显而易见的，并且在不脱离本公开的精神或范围的情况下，可将本文中定义的一般原理应用于其他实施方式。因此，权利要求不旨在限于本文所示的实施方式，而是应被赋予与本公开一致的最宽范围、本文公开的原理和新颖特征。
在本说明书中在分开的实施方式的上下文中描述的某些特征也可以在单个实施方式中组合实施。相反，在单个实施方式的上下文中描述的各种特征也可以分开或者以任何合适的子组合在多个实施方式中实施。此外，尽管上文可以将特征描述为以某些组合起作用并且甚至最初如此要求，但是来自所要求保护的组合的一个或多个特征可以在一些情况下从组合中删除，并且所要求保护的组合可以针对子组合或变体的子组合。没有单个特征或特征组对于每个实施例是必要或是必不可少的。
除非另有明确说明，否则本文中使用的条件语言，诸如“能够”、“可能”“应该”、“可以”、“例如”等等，或者在上下文中以其他方式理解的，为一般地意在表达某些实施例包括，而其他实施例不包括某些特征、元件和/或步骤。因此，这样的条件语言通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或者没有作者输入或提示的情况下决定是否这些特征、元件和/或步骤包括在任何特定实施例中或将在任何特定实施例中执行。术语“包括”、“包含”、“具有”等是同义词，并且以开放式的方式包含性地使用，并且不排除附加的元件、特征、动作、操作等等。此外，术语“或”以其包含性含义(而不是其专有含义)使用，因此当用于例如连接元素列表时，术语“或”表示一个、一些或全部列表中的元素。另外，除非另有说明，否则本申请和所附权利要求中使用的冠词“一”、“一个”和“所述”应被解释为表示“一个或多个”或“至少一个”。
如本文所使用的，提及项目列表中的“至少一个”的短语是指这些项目的任何组合，包括单个成员。举例来说，“A、B或C中的至少一个”旨在覆盖：A、B、C，、A和B、A和C、B和C以及A、B和C。连接语言例如短语“X、Y和Z中的至少一个”，除非另有特别说明，否则在通常用于表达项目，术语等可以是X、Y或Z中的至少一个。因此，这样的连接语言通常并不意味着某些实施方案需要X中的至少一个，Y中的至少一个和Z中的至少一个存在。
类似地，尽管可以在特定顺序中在附图中描绘操作，但应认识到，这些操作不需要以所示出的特定顺序或按顺序执行，或者所有所示操作都要执行，以实现理想的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作可以并入示意性说明的示例性方法和过程中。例如，可以在任何所示操作之前、之后、同时或之间执行一个或多个附加操作。另外，在其他实施中，操作可以重新安排或重新排序。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施方式中的各种系统组件的分离不应该被理解为在所有实施方式中都需要这种分离，并且应该理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品。另外，其他实施方式在以下权利要求的范围内。在一些情况下，权利要求中列举的动作可以以不同的顺序执行并且仍然实现期望的结果。

Claims (20)

1.一种用于管理医疗信息的可穿戴系统，所述可穿戴系统包括：
头戴式显示器(HMD)，其包括被配置为向用户呈现虚拟内容的显示器；
一个或多个环境传感器，其被配置为获得与所述用户的环境相关联的数据；
硬件处理器，其与所述显示器和所述一个或多个环境传感器通信，并且被编程为：
通过所述一个或多个环境传感器监视所述用户的环境；
至少部分地基于由所述一个或多个环境传感器获取的第一数据而检测启动条件；
响应于检测到所述启动条件，通过环境传感器记录与患者的交互的至少一部分，其中所述交互的所述部分包括由所述环境传感器获取的第二数据；
分析所述第二数据，以基于情境信息提取关于与所述患者的交互的相关医疗信息；以及
启动所述相关医疗信息向医疗保健数据库系统的存储。
2.根据权利要求1所述的可穿戴系统，其中所述一个或多个环境传感器至少包括面向外的相机或麦克风。
3.根据权利要求1所述的可穿戴系统，其中为了分析所述第二数据以提取相关医疗信息，所述硬件处理器被编程为：
确定由所述患者或所述可穿戴系统的所述用户说出的音频流；
将所述音频流转换为文本；以及
解析所述文本以识别描述所述患者的医疗状况或病史的短语。
4.根据权利要求1所述的可穿戴系统，其中为了启动所述相关医疗信息的存储，所述硬件处理器被编程为：
至少部分地基于由所述一个或多个环境传感器获取的数据而验证所述患者的身份；以及
使用从所述患者和所述用户之间的交互中捕获的所述相关医疗信息更新存储在所述医疗保健数据库中的医疗记录。
5.根据权利要求1所述的可穿戴系统，其中所述硬件处理器被进一步编程为：
检测用于与第二可穿戴系统共享医疗保健信息的触发事件；
确定与所述第二可穿戴系统相关联的访问权限；以及
响应于确定所述第二可穿戴系统具有所述访问权限而使得所述医疗保健信息的至少一部分被传送到所述第二可穿戴系统。
6.根据权利要求5所述的可穿戴系统，其中所述硬件处理器被编程为响应于确定所述第二可穿戴系统的访问权限不足而向所述第二可穿戴系统提供指示。
7.根据权利要求5所述的可穿戴系统，其中与所述第二可穿戴系统相关联的访问权限由所述患者配置。
8.根据权利要求5所述的可穿戴系统，其中所述医疗保健信息包括由面向外的相机捕获的所述用户的视野(FOV)的至少一部分。
9.根据权利要求5所述的可穿戴系统，其中所述硬件处理器被编程为与所述第二可穿戴系统共享所述医疗保健信息和与所述医疗保健信息相关联的注释。
10.根据权利要求1所述的可穿戴系统，其中所述情境信息包括所述用户的位置、所述用户的姿势、所述用户的访问权限级别、所述用户的FOV中的所述患者的症状或状况、或所述用户的FOV中的所述患者的身份中的至少一者。
11.根据权利要求1所述的可穿戴系统，其中所述硬件处理器被进一步编程为使得所述头戴式显示器向所述用户呈现关于与所述患者的交互的虚拟内容。
12.根据权利要求11所述的可穿戴系统，其中所述虚拟内容包括患者医疗记录的一部分或关于从医疗设备接收的所述患者的生理参数的信息中的至少一者。
13.根据权利要求11所述的可穿戴系统，其中所述情境信息包括关于在对患者的医疗程序期间使用的医疗器械的信息，并且所述虚拟内容包括关于所述医疗器械的位置的信息。
14.根据权利要求13所述的可穿戴系统，其中所述虚拟内容包括这样的警报：所述用户的FOV中的医疗器械不适合医疗程序或未被请求用于医疗程序。
15.一种用于管理医疗信息的方法，所述方法包括：
在包括面向外的成像系统、硬件处理器和头戴式显示器的第一可穿戴设备的控制下：
通过所述面向外的成像系统监视用户环境中的对象；
确定通过所述头戴式显示器感知的所述用户的视野中的对象；
检测用于与第二可穿戴设备共享会话的触发事件，其中所述共享会话包括与第二可穿戴设备共享与所述用户的视野中的第一物理对象相关联的至少第一信息，其中所述第一信息位于所述第二可穿戴设备的视野之外；
将所述第一信息传送到所述第二可穿戴设备；
接收来自所述第二可穿戴设备的虚拟内容，其中所述虚拟内容包括与位于所述用户的视野之外的第二物理对象相关联的第二信息；以及
通过所述头戴式显示器向所述用户呈现从所述第二可穿戴设备接收的虚拟内容。
16.根据权利要求15所述的方法，进一步包括：通过所述第一可穿戴设备接收与所述用户的视野中的所述第一物理对象相关联的注释，并且其中将所述第一信息传送到所述第二可穿戴设备包括将所述注释和所述第一对象的图像传送到所述第二可穿戴设备。
17.根据权利要求16所述的方法，其中所述注释包括放置在患者身体部位的一部分上的一个或多个虚拟标志，其中所述一个或多个虚拟标志指示所述患者身体部位的所述一部分的取向、捕获所述图像的相机的取向，或与所述图像或所述患者身体部位的所述一部分相关联的情境信息。
18.根据权利要求15所述的方法，其中所述共享会话是所述用户和患者之间的交互的一部分，并且所述方法进一步包括：
使用所述面向外的成像系统或麦克风中的至少一者记录所述用户和所述患者之间的交互；
从所述交互中识别相关医疗信息；以及
使用所述相关医疗信息更新所述患者的医疗记录。
19.根据权利要求15所述的方法，进一步包括：
验证所述第二可穿戴设备的访问权限；以及
共享所述第二可穿戴设备对其的访问权限是足够的所述第一信息的至少一部分。
20.根据权利要求19所述的方法，其中所述访问权限由其医疗信息在所述第一可穿戴设备和所述第二可穿戴设备之间共享的患者管理。
CN201880017158.6A 2017-01-11 2018-01-08 医疗助理 Pending CN110431636A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310215980.6A CN116230153A (zh) 2017-01-11 2018-01-08 医疗助理

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762445182P 2017-01-11 2017-01-11
US62/445,182 2017-01-11
US201762448656P 2017-01-20 2017-01-20
US62/448,656 2017-01-20
PCT/US2018/012816 WO2018132336A1 (en) 2017-01-11 2018-01-08 Medical assistant

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310215980.6A Division CN116230153A (zh) 2017-01-11 2018-01-08 医疗助理

Publications (1)

Publication Number Publication Date
CN110431636A true CN110431636A (zh) 2019-11-08

Family

ID=62783590

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880017158.6A Pending CN110431636A (zh) 2017-01-11 2018-01-08 医疗助理
CN202310215980.6A Pending CN116230153A (zh) 2017-01-11 2018-01-08 医疗助理

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310215980.6A Pending CN116230153A (zh) 2017-01-11 2018-01-08 医疗助理

Country Status (9)

Country Link
US (2) US20180197624A1 (zh)
EP (1) EP3568783A4 (zh)
JP (2) JP7224288B2 (zh)
KR (2) KR20240059645A (zh)
CN (2) CN110431636A (zh)
AU (1) AU2018207068A1 (zh)
CA (1) CA3049431A1 (zh)
IL (1) IL267995A (zh)
WO (1) WO2018132336A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI763546B (zh) * 2021-06-21 2022-05-01 義大醫療財團法人義大醫院 智能急救車及應用此智能急救車之藥品管理方法
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras
US11806081B2 (en) 2021-04-02 2023-11-07 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200334945A1 (en) * 2010-09-30 2020-10-22 Jesus Perea-Ochoa Method and System of Operating Multi-Task Interactive Electronic Devices and Ultraviolet Light System
US9500865B2 (en) * 2013-03-04 2016-11-22 Alex C. Chen Method and apparatus for recognizing behavior and providing information
US9848061B1 (en) * 2016-10-28 2017-12-19 Vignet Incorporated System and method for rules engine that dynamically adapts application behavior
US9928230B1 (en) 2016-09-29 2018-03-27 Vignet Incorporated Variable and dynamic adjustments to electronic forms
US11250947B2 (en) * 2017-02-24 2022-02-15 General Electric Company Providing auxiliary information regarding healthcare procedure and system performance using augmented reality
US10599877B2 (en) 2017-04-13 2020-03-24 At&T Intellectual Property I, L.P. Protecting content on a display device from a field-of-view of a person or device
WO2018209515A1 (zh) * 2017-05-15 2018-11-22 上海联影医疗科技有限公司 显示系统及方法
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US10726301B2 (en) * 2017-06-29 2020-07-28 The Procter & Gamble Company Method for treating a surface
US11303631B1 (en) * 2017-06-30 2022-04-12 Wells Fargo Bank, N.A. Authentication as a service
CN107330344A (zh) * 2017-07-01 2017-11-07 成都牵牛草信息技术有限公司 一种表单的关联信息授权方法
CN107330307A (zh) * 2017-07-16 2017-11-07 成都牵牛草信息技术有限公司 一种表单数据操作权限授权方法
US10546655B2 (en) 2017-08-10 2020-01-28 Nuance Communications, Inc. Automated clinical documentation system and method
US11316865B2 (en) 2017-08-10 2022-04-26 Nuance Communications, Inc. Ambient cooperative intelligence system and method
JP7088198B2 (ja) * 2017-09-11 2022-06-21 株式会社ニコン 眼科機器、管理装置、及び眼科機器の管理方法
EP3682451A1 (en) * 2017-09-13 2020-07-22 Koninklijke Philips N.V. System and method for displaying electronic health records
US11153156B2 (en) 2017-11-03 2021-10-19 Vignet Incorporated Achieving personalized outcomes with digital therapeutic applications
TWI647631B (zh) * 2017-11-28 2019-01-11 承潔投資有限公司 工地管理系統及其穿戴裝置
KR20190068133A (ko) * 2017-12-08 2019-06-18 삼성전자주식회사 오디오 데이터에 포함된 음소 정보를 이용하여 어플리케이션을 실행하기 위한 전자 장치 및 그의 동작 방법
US20190180883A1 (en) * 2017-12-11 2019-06-13 Teletracking Technologies, Inc. Milestone detection sensing
CN107977586B (zh) * 2017-12-22 2021-04-13 联想(北京)有限公司 显示内容处理方法、第一电子设备以及第二电子设备
US11244508B2 (en) * 2018-02-03 2022-02-08 The Johns Hopkins University Augmented reality display for surgical procedures
EP3762921A4 (en) 2018-03-05 2022-05-04 Nuance Communications, Inc. AUTOMATED CLINICAL DOCUMENTATION SYSTEM AND PROCESS
US11250382B2 (en) 2018-03-05 2022-02-15 Nuance Communications, Inc. Automated clinical documentation system and method
DE112018007543T5 (de) * 2018-05-01 2021-01-28 Eizo Corporation Mullerkennungssystem und verfahren zur mullerkennung
US10743140B2 (en) * 2018-05-16 2020-08-11 International Business Machines Corporation Smart location alert system
US11651555B2 (en) * 2018-05-31 2023-05-16 Microsoft Technology Licensing, Llc Re-creation of virtual environment through a video call
US11583360B2 (en) * 2018-08-06 2023-02-21 The Board Of Trustees Of The Leland Stanford Junior University Method for monitoring object flow within a surgical space during a surgery
US10775974B2 (en) 2018-08-10 2020-09-15 Vignet Incorporated User responsive dynamic architecture
US11116587B2 (en) 2018-08-13 2021-09-14 Theator inc. Timeline overlay on surgical video
US20210213973A1 (en) * 2018-08-29 2021-07-15 Movidius Ltd. Computer vision system
US20200069181A1 (en) * 2018-09-01 2020-03-05 Philip Jaques Sampson I-Examination
US20200090816A1 (en) * 2018-09-17 2020-03-19 Vet24seven Inc. Veterinary Professional Animal Tracking and Support System
GB2612245B (en) * 2018-10-03 2023-08-30 Cmr Surgical Ltd Automatic endoscope video augmentation
US11158423B2 (en) 2018-10-26 2021-10-26 Vignet Incorporated Adapted digital therapeutic plans based on biomarkers
US11682474B2 (en) * 2018-12-12 2023-06-20 International Business Machines Corporation Enhanced user screening for sensitive services
US10963757B2 (en) 2018-12-14 2021-03-30 Industrial Technology Research Institute Neural network model fusion method and electronic device using the same
US10645092B1 (en) * 2019-01-03 2020-05-05 Truly Social Games Llc Control and/or verification of interactions of an augmented reality deployment
US20200234827A1 (en) * 2019-01-22 2020-07-23 Mira Therapeutics, Inc. Methods and systems for diagnosing and treating disorders
WO2020157693A1 (en) * 2019-01-31 2020-08-06 Herzog Samuel Patient-centric health care system
US10762990B1 (en) 2019-02-01 2020-09-01 Vignet Incorporated Systems and methods for identifying markers using a reconfigurable system
CA3126444A1 (en) 2019-02-21 2020-08-27 Theator inc. Systems and methods for analysis of surgical videos
US20200273560A1 (en) 2019-02-21 2020-08-27 Theator inc. Surgical image analysis to determine insurance reimbursement
EP3942495A1 (en) * 2019-03-21 2022-01-26 Kepler Vision Technologies B.V. A medical device for transcription of appearances in an image to text with machine learning
US10970858B2 (en) * 2019-05-15 2021-04-06 International Business Machines Corporation Augmented reality for monitoring objects to decrease cross contamination between different regions
US11531807B2 (en) 2019-06-28 2022-12-20 Nuance Communications, Inc. System and method for customized text macros
US11545271B2 (en) * 2019-08-20 2023-01-03 GE Precision Healthcare LLC Systems and methods for public and private communication threads
US11670408B2 (en) 2019-09-30 2023-06-06 Nuance Communications, Inc. System and method for review of automated clinical documentation
US11449189B1 (en) * 2019-10-02 2022-09-20 Facebook Technologies, Llc Virtual reality-based augmented reality development system
CN110794966B (zh) * 2019-10-28 2024-04-12 京东方科技集团股份有限公司 Ar显示系统及方法
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
EP3835803B1 (en) * 2019-12-13 2024-03-27 Siemens Healthineers AG System and method for estimating a relative substance composition of a portion of a body of a patient
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
EP3889970A1 (en) 2020-04-03 2021-10-06 Koninklijke Philips N.V. Diagnosis support system
US20210312949A1 (en) 2020-04-05 2021-10-07 Theator inc. Systems and methods for intraoperative video review
US11574435B1 (en) * 2020-04-07 2023-02-07 Robert Edwin Douglas Multi-user extended reality viewing technique
US11641460B1 (en) * 2020-04-27 2023-05-02 Apple Inc. Generating a volumetric representation of a capture region
US11556720B2 (en) * 2020-05-05 2023-01-17 International Business Machines Corporation Context information reformation and transfer mechanism at inflection point
US11998305B2 (en) 2020-05-11 2024-06-04 BraveHeart Wireless Inc. Systems and methods for using a wearable health monitor
US11087557B1 (en) 2020-06-03 2021-08-10 Tovy Kamine Methods and systems for remote augmented reality communication for guided surgery
KR102223621B1 (ko) 2020-07-01 2021-03-05 부경대학교 산학협력단 비가시광선 가시화 자동정합형 증강현실 글래스
US11127506B1 (en) 2020-08-05 2021-09-21 Vignet Incorporated Digital health tools to predict and prevent disease transmission
JP6807621B1 (ja) * 2020-08-05 2021-01-06 株式会社インタラクティブソリューションズ 音声に基づいて画像を変更するためのシステム
US11456080B1 (en) 2020-08-05 2022-09-27 Vignet Incorporated Adjusting disease data collection to provide high-quality health data to meet needs of different communities
US11504011B1 (en) 2020-08-05 2022-11-22 Vignet Incorporated Early detection and prevention of infectious disease transmission using location data and geofencing
US11056242B1 (en) 2020-08-05 2021-07-06 Vignet Incorporated Predictive analysis and interventions to limit disease exposure
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US20220104694A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Control of a display outside the sterile field from a device within the sterile field
US11877897B2 (en) * 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US11992372B2 (en) 2020-10-02 2024-05-28 Cilag Gmbh International Cooperative surgical displays
US20220104910A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Monitoring of user visual gaze to control which display system displays the primary information
US11883022B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information
US12016566B2 (en) 2020-10-02 2024-06-25 Cilag Gmbh International Surgical instrument with adaptive function controls
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US11763919B1 (en) 2020-10-13 2023-09-19 Vignet Incorporated Platform to increase patient engagement in clinical trials through surveys presented on mobile devices
US20220139514A1 (en) * 2020-11-03 2022-05-05 Nuance Communications, Inc. Communication System and Method
CN112397192A (zh) * 2020-11-09 2021-02-23 何奔 一种用于心血管科室的医疗智能远程查房识别系统
KR102494464B1 (ko) * 2020-12-02 2023-02-06 강길남 안구인식 데이터를 이용한 뇌신경계 질환 모니터링용 스마트 글래스
WO2022154847A1 (en) 2021-01-12 2022-07-21 Emed Labs, Llc Health testing and diagnostics platform
US11789837B1 (en) 2021-02-03 2023-10-17 Vignet Incorporated Adaptive data collection in clinical trials to increase the likelihood of on-time completion of a trial
US11281553B1 (en) 2021-04-16 2022-03-22 Vignet Incorporated Digital systems for enrolling participants in health research and decentralized clinical trials
US11586524B1 (en) 2021-04-16 2023-02-21 Vignet Incorporated Assisting researchers to identify opportunities for new sub-studies in digital health research and decentralized clinical trials
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
US20220262078A1 (en) * 2021-02-14 2022-08-18 Broadstone Technologies, Llc Remote device provisioning and remote support using augmented reality
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11373756B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US20220354440A1 (en) * 2021-05-04 2022-11-10 Willis Dennis Grajales Worldwide vision screening and visual field screening booth, kiosk, or exam room using artificial intelligence, screen sharing technology, and telemedicine video conferencing system to interconnect patient with eye doctor anywhere around the world via the internet using ethernet, 4G, 5G, 6G or Wifi for teleconsultation and to review results
US20220392629A1 (en) * 2021-06-02 2022-12-08 Sandeep REDDY Portable healthcare system installed at a remote location having limited internet connectivity
WO2022271668A1 (en) 2021-06-22 2022-12-29 Emed Labs, Llc Systems, methods, and devices for non-human readable diagnostic tests
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US12014829B2 (en) 2021-09-01 2024-06-18 Emed Labs, Llc Image processing and presentation techniques for enhanced proctoring sessions
CN113723100B (zh) * 2021-09-09 2023-10-13 国网数字科技控股有限公司 一种基于指纹特征的开源组件识别方法及装置
US20230267933A1 (en) * 2021-09-27 2023-08-24 International Business Machines Corporation Selective inclusion of speech content in documents
US11705230B1 (en) 2021-11-30 2023-07-18 Vignet Incorporated Assessing health risks using genetic, epigenetic, and phenotypic data sources
US11901083B1 (en) 2021-11-30 2024-02-13 Vignet Incorporated Using genetic and phenotypic data sets for drug discovery clinical trials
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
WO2023159236A1 (en) * 2022-02-18 2023-08-24 Curelator, Inc. Personal medical avatar
US20230266872A1 (en) * 2022-02-18 2023-08-24 SoftAcuity, Inc. Intelligent surgical display system and method
KR102458495B1 (ko) * 2022-03-17 2022-10-25 주식회사 메디씽큐 원격협진지원을 위한 3차원 포인팅시스템 및 그 제어방법
WO2023244267A1 (en) * 2022-06-13 2023-12-21 Magic Leap, Inc. Systems and methods for human gait analysis, real-time feedback and rehabilitation using an extended-reality device
WO2024049435A1 (en) * 2022-09-01 2024-03-07 Exo Imaging, Inc. Apparatus, system and method to control an ultrasonic image on a display based on sensor input at an ultrasonic imaging device
WO2024097431A1 (en) * 2022-11-06 2024-05-10 Hajeebu Sreehita System and method of wound assessment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150088546A1 (en) * 2013-09-22 2015-03-26 Ricoh Company, Ltd. Mobile Information Gateway for Use by Medical Personnel
US20160148052A1 (en) * 2013-07-16 2016-05-26 Seiko Epson Corporation Information processing apparatus, information processing method, and information processing system
CN105919547A (zh) * 2011-05-13 2016-09-07 直观外科手术操作公司 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统
US9538962B1 (en) * 2014-12-31 2017-01-10 Verily Life Sciences Llc Heads-up displays for augmented reality network in a medical environment

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140685A (ja) * 2000-11-01 2002-05-17 Fuji Photo Film Co Ltd 画像管理システム及び画像管理方法
WO2003040864A2 (en) * 2001-11-08 2003-05-15 Amos Grushka Portable personal health information package
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7501995B2 (en) * 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
JP2007094943A (ja) * 2005-09-30 2007-04-12 Vitas:Kk 特定疾患医療情報管理システム
US7518619B2 (en) 2005-11-07 2009-04-14 General Electric Company Method and apparatus for integrating three-dimensional and two-dimensional monitors with medical diagnostic imaging workstations
CA2636030A1 (en) * 2006-01-17 2007-07-26 Qualcomm Incorporated Method and apparatus for setting the boundaries of virtual operations
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
CA2648706A1 (en) * 2006-04-20 2007-11-01 Iq Life, Inc. Monitoring system
EP2140412B1 (en) * 2007-04-23 2018-12-12 Samsung Electronics Co., Ltd. Remote medical-diagnosis system and method
JP2009279193A (ja) * 2008-05-22 2009-12-03 Fujifilm Corp 医療機器管理システム
KR100961380B1 (ko) * 2008-06-25 2010-06-07 재단법인 첨단산업개발원 음성 인식이 가능한 디지털셋탑박스를 이용한 원격진료시스템
US20100049664A1 (en) * 2008-08-21 2010-02-25 Yi-Hsuan Kuo Method and system for user-defined alerting of securities information
US20150120321A1 (en) * 2009-02-26 2015-04-30 I.M.D. Soft Ltd. Wearable Data Reader for Medical Documentation and Clinical Decision Support
US20110029320A1 (en) * 2009-08-03 2011-02-03 Mehrnaz Nicole Jamali System and method for managing a medical procedure site with a tracking device
US20150099458A1 (en) * 2011-01-14 2015-04-09 Covidien Lp Network-Capable Medical Device for Remote Monitoring Systems
KR101447931B1 (ko) * 2011-04-12 2014-10-13 (주)미래컴퍼니 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법
US9275079B2 (en) * 2011-06-02 2016-03-01 Google Inc. Method and apparatus for semantic association of images with augmentation data
WO2013028813A1 (en) * 2011-08-23 2013-02-28 Microsoft Corporation Implicit sharing and privacy control through physical behaviors using sensor-rich devices
US9147111B2 (en) * 2012-02-10 2015-09-29 Microsoft Technology Licensing, Llc Display with blocking image generation
AU2013274359B2 (en) * 2012-06-11 2017-05-25 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
CA2883498C (en) 2012-08-30 2022-05-31 Truevision Systems, Inc. Imaging system and methods displaying a fused multidimensional reconstructed image
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
JP6007712B2 (ja) * 2012-09-28 2016-10-12 ブラザー工業株式会社 ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
US20140222462A1 (en) * 2013-02-07 2014-08-07 Ian Shakil System and Method for Augmenting Healthcare Provider Performance
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US9874749B2 (en) * 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9305551B1 (en) * 2013-08-06 2016-04-05 Timothy A. Johns Scribe system for transmitting an audio recording from a recording device to a server
US20150088547A1 (en) * 2013-09-22 2015-03-26 Ricoh Company, Ltd. Mobile Information Gateway for Home Healthcare
US9996221B2 (en) * 2013-12-01 2018-06-12 Upskill, Inc. Systems and methods for look-initiated communication
JP6407526B2 (ja) * 2013-12-17 2018-10-17 キヤノンメディカルシステムズ株式会社 医用情報処理システム、医用情報処理方法及び情報処理システム
US11103122B2 (en) * 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
EP3524294B1 (en) * 2014-01-29 2023-12-06 Becton, Dickinson and Company System and method for assuring patient medication and fluid delivery at the clinical point of use
US10803538B2 (en) * 2014-04-14 2020-10-13 Optum, Inc. System and method for automated data entry and workflow management
WO2015161307A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10592857B2 (en) * 2014-08-15 2020-03-17 Synaptive Medical (Barbados) Inc. System and method for managing equipment in a medical procedure
JP2018503416A (ja) 2014-11-18 2018-02-08 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ユーザガイダンスシステム及び方法、拡張現実デバイスの使用
KR20150090991A (ko) * 2014-12-01 2015-08-07 을지대학교 산학협력단 의료단말 허브장치
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
EP3258876B1 (en) * 2015-02-20 2023-10-18 Covidien LP Operating room and surgical site awareness
BR112017018874A2 (pt) 2015-03-01 2018-04-17 Aris Md Inc método de facilitamento de um procedimento em relação a um domínio morfológico, sistema, e, meio legível por máquina não transitório
US9807045B2 (en) * 2015-06-10 2017-10-31 Google Inc. Contextually driven messaging system
US10799792B2 (en) * 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
US10105187B2 (en) * 2015-08-27 2018-10-23 Medtronic, Inc. Systems, apparatus, methods and computer-readable storage media facilitating surgical procedures utilizing augmented reality
US10045825B2 (en) * 2015-09-25 2018-08-14 Karl Storz Imaging, Inc. Partial facial recognition and gaze detection for a medical system
US20180082476A1 (en) * 2016-09-22 2018-03-22 International Business Machines Corporation Collaborative search for out of field of view augmented reality objects
US20180092698A1 (en) * 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105919547A (zh) * 2011-05-13 2016-09-07 直观外科手术操作公司 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统
US20160148052A1 (en) * 2013-07-16 2016-05-26 Seiko Epson Corporation Information processing apparatus, information processing method, and information processing system
US20150088546A1 (en) * 2013-09-22 2015-03-26 Ricoh Company, Ltd. Mobile Information Gateway for Use by Medical Personnel
US9538962B1 (en) * 2014-12-31 2017-01-10 Verily Life Sciences Llc Heads-up displays for augmented reality network in a medical environment

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US11806081B2 (en) 2021-04-02 2023-11-07 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
US11871997B2 (en) 2021-04-02 2024-01-16 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
TWI763546B (zh) * 2021-06-21 2022-05-01 義大醫療財團法人義大醫院 智能急救車及應用此智能急救車之藥品管理方法
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras
US11610378B1 (en) 2021-10-04 2023-03-21 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras

Also Published As

Publication number Publication date
US20230075466A1 (en) 2023-03-09
JP2023001290A (ja) 2023-01-04
KR102662173B1 (ko) 2024-04-30
IL267995A (en) 2019-09-26
JP7478795B2 (ja) 2024-05-07
EP3568783A1 (en) 2019-11-20
KR20240059645A (ko) 2024-05-07
KR20190102060A (ko) 2019-09-02
JP2020505675A (ja) 2020-02-20
AU2018207068A1 (en) 2019-07-25
EP3568783A4 (en) 2020-11-11
JP7224288B2 (ja) 2023-02-17
CA3049431A1 (en) 2018-07-19
US20180197624A1 (en) 2018-07-12
WO2018132336A1 (en) 2018-07-19
CN116230153A (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
US20230075466A1 (en) Medical assistant
JP7091531B2 (ja) 身体上ジェスチャ・インターフェース及び投影表示のための方法
US11244485B2 (en) Augmented reality systems and methods utilizing reflections
CN109496331B (zh) 用户界面菜单的情景感知
US10430985B2 (en) Augmented reality systems and methods utilizing reflections
CA2827523C (en) System and method for performing an automatic and self-guided medical examination
US20190059728A1 (en) System and method for performing an automatic and remote trained personnel guided medical examination
CN110301012A (zh) 使用增强现实提供关于医疗保健程序和系统性能的辅助信息
Ružický et al. Processing and visualization of medical data in a multiuser environment using artificial intelligence
JP2024096186A (ja) 医療アシスタント
Khaksar A Framework for Gamification of Human Joint Remote Rehabilitation, Incorporating Non-Invasive Sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191108

WD01 Invention patent application deemed withdrawn after publication