CN110494921A - 利用三维数据增强患者的实时视图 - Google Patents

利用三维数据增强患者的实时视图 Download PDF

Info

Publication number
CN110494921A
CN110494921A CN201880023524.9A CN201880023524A CN110494921A CN 110494921 A CN110494921 A CN 110494921A CN 201880023524 A CN201880023524 A CN 201880023524A CN 110494921 A CN110494921 A CN 110494921A
Authority
CN
China
Prior art keywords
patient
data
head
mounted machine
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880023524.9A
Other languages
English (en)
Other versions
CN110494921B (zh
Inventor
史蒂文·切特科
温德尔·阿伦·吉比
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Novard
Original Assignee
Novard
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=61147999&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN110494921(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Novard filed Critical Novard
Publication of CN110494921A publication Critical patent/CN110494921A/zh
Application granted granted Critical
Publication of CN110494921B publication Critical patent/CN110494921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0223—Magnetic field sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008—Cut plane or projection plane definition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Architecture (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

利用三维(3D)数据增加患者的实时视图。在一个实施例中，一种方法可以包括识别患者的3D数据，其中3D数据包括外层和多个内层，确定3D数据中的外层的虚拟形态测定测量，记录患者外层在3D空间中的实时位置，确定患者外层的实时形态测定测量，使用虚拟形态测定测量及使用实时形态测定测量，自动记录3D数据中的外层的位置，使其与所记录的患者外层在3D空间中的实时位置对准，在增强现实头戴机(AR)中显示被投影到患者外层的实时视图上的3D数据中的一个内层。

Description

利用三维数据增强患者的实时视图
相关申请的交叉引用
本申请是2018年2月12日提交的美国专利申请No.15/894,595的PCT申请，美国专利申请No.15/894,595是2017年3月30日提交的美国专利申请No.15/474,702的继续申请，美国专利申请No.15/474,702现在是美国专利No.9,892,564，两者都通过引用的方式整体并入本文。
背景技术
增强现实(AR)系统通常采用用户对现实世界环境的实时视图，并利用计算机生成的虚拟元素(例如视频、声音或图形)来增强该视图。结果，AR系统起到增强用户当前对现实的感知的作用。
AR系统面临的一个常见问题是准确地将虚拟元素的位置与现实世界环境的实时视图对准。该对准过程通常手动完成或仅在手动放置非解剖基准(non-anatomicalfiducials)后自动完成。在任何一种情况下，手动过程都是耗时、麻烦和不准确的。
AR系统面临的另一个常见问题是正确放置虚拟控件以管理虚拟元素。虚拟控件虽然旨在帮助用户与虚拟元素交互，但在实时视图中通常放置的位置使得它们更多地成为障碍而不是对用户的帮助。
本文要求保护的主题不限于解决诸如上述的任何缺点或仅在诸如上述环境中操作的实施例。而是，提供该背景仅用于说明可以实践本文描述的一些实施例的一个示例性技术领域。
发明内容
在一个实施例中，一种利用三维(3D)数据来增强患者的实时视图的方法可以包括各种操作。例如，该方法可以包括识别患者的3D数据，其中3D数据包括患者的外层和患者的多个内层。该方法还可以包括确定3D数据中的患者外层的虚拟形态测定测量。该方法还可以包括记录(registering)患者外层在3D空间中的实时位置。该方法还可以包括确定患者外层的实时形态测定测量。该方法还可以包括使用虚拟形态测定测量及使用实时形态测定测量，自动记录3D数据中的患者外层的位置，使其与所记录的患者外层在3D空间中的实时位置对准。该方法还可以包括在增强现实头戴机中显示被投影到患者外层的实时视图上的3D数据中的患者内层中的一个内层。
在另一个实施例中，一种利用3D数据来增强患者的实时视图的方法可以包括各种操作。例如，该方法可以包括识别患者的3D数据，其中3D数据包括患者的外层和患者的多个内层。该方法还可以包括在增强现实头戴机中显示被投影到患者外层的实时视图上的3D数据中的患者内层的一个内层。该方法还可以包括在增强现实头戴机中生成虚拟用户界面，该虚拟用户界面包括用于改变3D数据中的患者的投影内层的显示的选项。该方法还可以包括由于增强现实头戴机的焦点方向未被聚焦在患者身上，而在增强现实头戴机中显示被投影到实时视图上的虚拟用户界面。该方法还可以包括由于增强现实头戴机的焦点方向聚焦在患者身上，而在增强现实头戴机中隐藏虚拟用户界面。
应理解，前述发明内容和以下具体实施方式都是解释性的，并不是对要求保护的本发明的限制。
附图说明
将通过使用附图以附加的特征和细节来描述和解释实施例，在附图中：
图1示出了示例性增强现实(AR)环境，其中可以利用三维(3D)数据来增强患者的实时视图；
图2A-2F是具有第一位患者的图1的AR环境的照片；
图3是具有第二位患者的图1的AR环境的照片；
图4A-4B是具有第三位患者的图1的AR环境的照片；
图5示出了可利用3D数据增强患者的实时视图的示例性计算机系统；
图6A-6E是利用3D数据增强患者的实时视图的示例性方法的流程图。
具体实施方式
可以采用医学成像来创建患者内部的视觉表示。具体而言，可以采用医学成像来揭示由患者的外层(例如皮肤)隐藏的内部结构，用于例如培训、研究、诊断和治疗的各种目的。
传统的医学成像系统可以为患者创建三维(3D)数据，然后将3D数据作为一个或多个图像显示在计算机显示器上。尽管在与实际患者分离的计算机显示器上查看患者的图像在培训、研究、诊断和治疗、查看中可能是有用的，但这种分离的查看也可能导致一些问题。
例如，在外科医生需要从患者的大脑移除肿瘤的情况下，外科医生可以在计算机显示器上查看患者大脑的图像。在计算机显示器上查看肿瘤的位置之后，外科医生可以将他的视线从计算机显示器移动到手术台上的实际患者，并尝试在实际患者上识别患者脑内肿瘤的大致位置。这种识别肿瘤的大致位置的方法可能是困难的并且容易出错。例如，外科医生可能会意外地将图像中的大脑左侧识别为患有肿瘤，而实际上肿瘤位于大脑的右侧。这种错误可能导致外科医生错误地在患者头骨的左侧进行不必要的切开。
在另一示例中，在医生需要对患者进行膝盖手术的情况下，医生可以在计算机显示器上查看患者膝盖的图像。在计算机显示器上查看膝盖的有问题区域之后，医生可以将他的视线从计算机显示器移动到手术台上的实际患者，并尝试在实际患者上识别膝盖的有问题区域以进行手术。这种识别膝盖的有问题区域的方法可能是困难的并且容易出错。例如，医生可能意外地将错误患者的图像拉到计算机显示器上，而没有意识到手术台上的患者与计算机显示器上的图像不匹配。由于不同患者之间的膝盖的有问题区域的自然变化，该错误可能导致外科医生错误地在不正确位置进行切开。
本文公开的实施例可以提供优于传统医学成像系统的各种益处。特别地，本文公开的实施例可以例如利用3D数据增强患者的实时视图。在一些实施例中，患者的3D数据可以与实际患者的实时视图自动对准或自动记录患者的3D数据，然后可以将从3D数据导出的图像投影到患者的实时视图上。因此，这些实施例可以使医疗专业人员能够在观看实际患者的同时查看患者的虚拟内部，而无需任何耗时、麻烦且不准确的手动对准和/或无需任何耗时、麻烦且不准确的非解剖基准的手动放置。当用于培训、研究、诊断或治疗时，这些实施例可以使医疗专业人员能够更容易且更准确地定位患者体内的目标位置。
例如，当在上面讨论的脑外科示例中使用时，这些实施例可以避免外科医生在大脑右侧和左侧之间混淆肿瘤位置，并且因此可以避免外科医生在去除肿瘤的手术期间对错误的头骨一侧进行不必要的切开。类似地，当在上面讨论的膝盖手术示例中使用时，这些实施例可以避免医生因为自动对准可能失败或者可能指示自动对准正确的低置信度而使用错误患者的3D数据，从而向医生警告患者数据可能不是用于当前在手术台上的患者。
此外，在一些实施例中，利用3D数据增强患者的实时视图可以包括虚拟用户界面和其他虚拟控件的显示，该虚拟用户界面和其他虚拟控件用于改变投影到患者的实时视图上的图像。可以投影该虚拟用户界面和这些其他虚拟控件以避免妨碍医疗专业人员在查看患者时的视野，为医疗专业人员维持相对恒定的焦距，和/或维持虚拟用户界面面对医疗专业人士的方向。以这种方式，这些实施例可以允许医疗专业人员快速且容易地改变投影到患者的实时视图上的图像。
转到附图，图1示出了示例性增强现实(AR)环境100。在一些实施例中，环境100可以包括3D空间102、用户104、患者106和AR头戴机108，AR头戴机108可以通过网络110与服务器112通信。在一些实施例中，环境100还可以包括虚拟用户界面114、虚拟空间差异框116、对象118的虚拟插入部分118a和虚拟光标122，全部以虚线示出，以指示这些虚拟元素由AR头戴机108生成并且仅可由用户104通过AR头戴机108观看。
在一些实施例中，3D空间102可以是任何3D空间，包括但不限于具有手术台103(如图1所示)的手术室、办公室、教室或实验室。在一些实施例中，3D空间102可以是用户104在佩戴AR头戴机108时可以查看患者106的空间。
在一些实施例中，用户104可以是AR头戴机108的任何用户，包括但不限于医疗专业人员(如图1所示)、教师、研究人员、患者或患者的护理人员。例如，医疗专业人员可以使用AR头戴机108以便对患者106执行医疗处理。类似地，研究人员或教师可以在进行医学研究或指导医学生时使用AR头戴机108。此外，当医疗专业人员试图向患者106解释所建议的医疗程序时，患者106的护理人员或患者106自己可以使用AR头戴机108。
在一些实施例中，患者106可以是任何动物，有意识或无意识的，活的或死的，完整或缺少一个或多个身体部位的。例如，患者106可以是活的成年人(如图1所示)，该成年人已失去意识以便由用户104进行医疗处理。在另一示例中，患者106可以是为研究或培训目的而进行解剖的成年人的尸体。在另一示例中，患者106可以是由兽医评估的有意识的动物，以便诊断医学病症。在另一示例中，患者106可以是死者的单个肢体或器官。
在一些实施例中，AR头戴机108可以是AR头戴机形式的任何计算机系统，其能够利用3D数据增强患者106的实时视图。例如，用户104可以使用AR头戴机108以便利用患者106的一个或多个内层来增强患者106的实时视图，所述内层包括但不限于骨头106b(如图1所示)、肌肉、器官或体液。在一些实施例中，AR头戴机108可以执行这种对患者106的实时视图的增强，而不管用户104在3D空间102中的当前位置。例如，用户104可以在手术台103周围走动，并且在3D空间102内从任何角度查看患者106，AR头戴机108可以始终用患者106的一个或多个内层持续地增强患者106的实时视图，以便用户104可以在3D空间102内从任何角度查看患者和患者106的3D数据。AR头戴机108可以根据本文结合图6A-6E公开的方法600利用3D数据执行对患者106的实时视图的这种增强。在一些实施例中，AR头戴机108可以是Microsoft HoloLens的修改版本。
在一些实施例中，网络110可以被配置为通信地耦合AR头戴机108和服务器112或其他计算机系统。在一些实施例中，网络110可以是任何有线或无线网络，或多个网络的组合，被配置为在系统和设备之间发送和接收通信。在一些实施例中，网络110可以包括诸如蓝牙网络的个人区域网络(PAN)、诸如WiFi网络的局域网(LAN)、城域网(MAN)、广域网(WAN)或存储区域网络(SAN)。在一些实施例中，网络110还可以耦合到或可以包括电信网络的多个部分，用于以各种不同的通信协议(例如蜂窝网络)发送数据。
在一些实施例中，服务器112可以是能够结合AR头戴机108一起运行的任何计算机系统。在一些实施例中，服务器112可以被配置为与AR头戴机108实时通信以便向AR头戴机108传送3D数据或从AR头戴机108接收数据。另外，服务器112可用于卸载AR头戴机108所需的一些或全部数据存储或处理程序。
在一些实施例中，虚拟用户界面114可以是由AR头戴机108生成的任何虚拟用户界面，其包括用于改变患者106的3D数据之中的患者106的投影内层的显示的选项。例如，虚拟用户界面114中包括的选项可以包括但不限于使AR头戴机108做出如下动作的选项：
(1)退出查看患者106的增强视图，
(2)显示AR头戴机108的功能演示，
(3)调整投影到患者106上的3D数据的特性，例如投影的3D数据的亮度和颜色，
(4)调整3D数据与患者106的对准，
(5)显示虚拟空间差异框116，
(6)显示3D数据的切片(slice)而不是立体3D数据，
(7)例如在重新定位3D数据的切片时，在用户104的方向上拖动3D数据，
(8)显示3D数据的不同切片，包括但不限于轴向切片、冠状切片、矢状切片和倾斜切片，及
(9)执行AR头戴机108的其他高级特征。
虚拟用户界面114还可以包括对用户104有用的其他信息。例如，虚拟用户界面114可以包括患者106的实时生命体征，例如心率、血压和呼吸率。在另一示例中，虚拟用户界面114可以包括秒表，其显示患者106已经失去意识的时间量。
在一些实施例中，AR头戴机108可以被配置为在距用户104的舒适距离处和/或在用户104的舒适方向上显示虚拟用户界面114。例如，AR头戴机108可以被配置为在AR头戴机108的焦距D2处显示虚拟用户界面114，该焦距D2大约等于患者106与AR头戴机108的实时距离D1。该距离对于用户来说可能是舒适的，因为即使用户在3D空间102周围移动时，并且即使用户移近和远离患者106时，它也可以避免用户104在患者106和虚拟用户界面114之间移动他的视点时必须重新聚焦他的眼睛。在另一示例中，AR头戴机108可以被配置为以垂直于AR头戴机108的焦点方向120而定向的焦点方向显示虚拟用户界面114。该方向对于用户来说可以是舒适的，因为即使用户在3D空间102周围移动时，并且即使用户通常面对患者106或背对患者106时，它也可以使得虚拟用户界面114始终面向用户104正面，而不管AR头戴机108的当前焦点方向120如何。
在一些实施例中，可以由AR头戴机108生成虚拟空间差异框116，以将3D数据中的患者106的投影内层限制在立体的虚拟空间差异框116内。例如，患者106的投影骨骼106b可以被限制在图1中的虚拟空间差异框116内。在一些实施例中，虚拟空间差异框116还可以在导航投影的3D数据时通过为用户104提供参考系来帮助用户。例如，当在虚拟空间差异框116内移动3D数据的轴向切片、冠状切片、矢状切片或倾斜切片时，该参考系可以帮助用户。切片可以是二维(2D)切片和/或3D切片。3D切片可以包括弯曲切片，例如遵循解剖特征的自然曲线的弯曲切片，或具有深度以及高度和宽度的切片。用户104可以使用手势来移动这些切片，这需要用户104大致在虚拟空间差异框116的线的方向上移动他的手，因此虚拟空间差异框116的显示可以使这些手部移动对于用户104更容易。
在一些实施例中，对象118的虚拟插入部分118a可以对应于用户104希望穿过患者106的外层插入患者106体内的对象118的任何部分。例如，对象118可以包括但不限于手术刀(如图1所示)、内窥镜、钻头、探针、其他医疗器械、或者甚至是用户104的手。类似于记录患者106的外层的实时位置，也可以记录对象118的外层的位置。然而，与可以在环境100中保持相对静止的患者106不同，可以在环境100中频繁地移动对象118，因此可以在3D空间102中自动跟踪对象118的相对于所记录的患者106外层位置的实时位置。此时，在用户104将对象118的一些部分插入患者106的外层的情况下，AR头戴机108可以显示被投影到3D数据中的患者106的投影内层中的对象118的虚拟插入部分118a。以这种方式，即使当对象118的实际插入部分在用户104的实时视图中被隐藏时，也可以将对象118的虚拟插入部分118a投影到用户104的实时视图上。
在一些实施例中，对象118可以被专门设计为能够由AR头戴机108更准确跟踪的对象118。例如，在对象118是相对小的医疗器械的情况下，例如具有针的注射器，可以增强对象118以便更易于由AR头戴机108的传感器感测。例如，可以使这些医疗器械的尺寸更大以便更易于感测(例如通过视觉传感器)，可以给予这些医疗器械特定形状以便更易于感测(例如通过将针附接的注射器的尖端形成为球体)，可以使这些医疗器械可见性更高以更易于感测(例如通过添加反射条或光条)，或者这些医疗器械可以由更易于感测的材料制成(例如由金属制成，以便易于由金属探测传感器感测)。
此外，在一些实施例中，可以将附件添加到对象118，例如添加到对象118的手柄，以使AR头戴机108能够更准确地跟踪对象118。例如，附件可以包括任何上述使AR头戴机108的传感器能够更易于感测到附件的增强功能，因此通过将附件附着在对象118上，AR头戴机108的传感器更易于感测对象118。此外，附件可以设计为附着到对象118的将要插入患者106的部分上，例如对象118的尖端，使得AR头戴机108的传感器实际上可以感测到患者106内部的附件。例如，小的磁场发射附件可以附着到对象118的尖端，于是AR头戴机108的磁传感器能够感测附件在患者106内的确切位置，从而有助于提高向用户104显示的虚拟插入部分118a的准确性。
在一些实施例中，虚拟光标122可以是由AR头戴机108在虚拟用户界面114上、在另一虚拟控件上或在3D空间102中的任何其他位置生成的虚拟光标。在一些实施例中，虚拟光标122的位置可以对应于AR头戴机108的焦点方向120，其可以对应于用户104的头部的方向。用户104可以使用虚拟光标122来选择虚拟用户界面114的一个或多个选项，虚拟光标有时与用户104的一个或多个其他动作相结合，例如用户眼睛的眨眼，或用户104的一个或多个手势，如在AR头戴机108的视场中一起敲击两个手指。
在不脱离本公开内容的范围的情况下，可以对环境100进行修改、添加或省略。例如，在一些实施例中，各自佩戴AR头戴机108的多个用户可以同时存在于3D空间102中，以便同时查看利用患者106的3D数据增强的患者106。在另一示例中，多个患者可以同时存在于3D空间102中以便允许佩戴AR头戴机108的用户104同时查看利用患者的3D数据增强的多个患者。在另一示例中，各自佩戴AR头戴机108的多个用户和多个患者可以同时存在于3D空间中。在另一示例中，AR头戴机108所查看的视频可以由AR头戴机108捕获，然后被发送到远程位置，诸如通过网络110发送到服务器112或者发送到远程AR头戴机或虚拟现实(VR)头戴机以供另一用户查看。该示例可以使远程用户能够指导本地用户104完成对患者106的医疗处理。此外，尽管环境100通常被公开为在用户104查看患者106的背景下，但是应当理解，环境100可以更广泛地定义为用户希望查看任何对象(例如树、岩石、油田或行星)的一个或多个内层的任何环境。
在另一示例中，AR头戴机108可以另外或替代地由用户104使用语音命令来控制。例如，用户104可以采用语音命令，因为他的手由于对患者106的手术或其他医疗处理而被占用，因此不方便使用手势控制AR头戴机108。在该示例中，可以采用语音命令来控制虚拟用户界面114(例如，选择虚拟用户界面114上的选项)、虚拟空间差异框116(例如，在显示和隐藏虚拟空间差异框116之间切换或重新定位在虚拟空间差异框116中显示的3D数据的切片)、或虚拟光标122(例如，在显示和隐藏投影到患者106上的虚拟光标122之间切换)、或其某种组合。此外，在该示例中，语音命令可以与任何其他虚拟控件分开使用。例如，可以采用语音命令来在显示和隐藏投影到患者106上的3D数据之间切换，或者调整投影到患者106上的3D数据的透明度，这在用户104对患者106进行手术时可能是有用的，并且可以允许用户104仅在需要时查看投影的3D数据，在3D数据分散注意力时避免查看投影的3D数据或者使3D数据更透明。在另一示例中，AR头戴机108的控件(诸如虚拟用户界面114)可以至少部分地以可听的方式向用户104呈现选项。选项的可听呈现可以允许用户104在实际说出语音命令之前首先听到语音选项(例如，可能的语音命令)。选项的可听呈现还可以允许用户104将AR头戴机108的焦点方向120和/或用户104的视点保持在患者106上，同时仍然能够与当前不在他的视场中和/或当前由AR头戴机108隐藏的虚拟控件交互。
图2A-2F是具有第一位患者的图1的AR环境100的照片。如图2A中所公开的，用户可佩戴AR头戴机，其利用第一位患者的3D数据来增强第一位患者的实时视图。此外在图2A中公开了，用户可以采用手势以便操纵AR头戴机的虚拟控件。图2B-2F公开了从佩戴AR头戴机的用户的角度的实际视图。如图2B中所公开的，用户可以采用手势以使得表示患者大脑的CT图像的3D数据的轴向切片投影到第一位患者的实时视图上。如图2C中所公开的，用户可以采用虚拟空间差异框来查看表示第一位患者大脑的CT图像的3D数据的同一轴向切片。如图2D中所公开的，当佩戴AR头戴机的用户围绕第一位患者逆时针方向行走时，可以在3D空间中从不同角度查看表示第一位患者大脑的CT图像的3D数据的同一轴向切片。如图2E和2F中所公开的，用户可以操纵虚拟用户界面的一个或多个选项以分别从查看轴向切片变为查看矢状切片，然后从查看矢状切片变为查看冠状切片。
图3是与第二位患者一起使用的图1的AR环境的照片。特别地，图3公开了从佩戴AR头戴机的用户的角度的实际视图。如图3中所公开的，AR头戴机可以实时更新虚拟用户界面的显示，以使虚拟用户界面持续定位在大约等于第二位患者与AR头戴机的实时距离的AR头戴机的焦距处。此外，AR头戴机可以实时更新虚拟用户界面的显示，以使虚拟用户界面垂直于AR头戴机的焦点方向而持续定向。
图4A-4B是具有第三位患者的图1的AR环境的照片。特别地，图4A-4B公开了从佩戴AR头戴机的用户的角度的实际视图。如图4A和4B的比较所公开的，AR头戴机可以被配置为在AR头戴机的焦点方向不聚焦于第三位患者时显示投影到实时视图上的虚拟用户界面(如图4B中所公开的)，但是之后，当AR头戴机的焦点方向聚焦于第三位患者时隐藏虚拟用户界面。以这种方式，AR头戴机可以避免虚拟用户界面遮挡对第三位患者的查看。在一些实施例中，由于第三位患者通常位于水平视线下方，因此当AR头戴机的焦点方向高于水平面时显示虚拟用户界面，并当AR头戴机的焦点方向处于或低于水平面时隐藏虚拟用户界面，AR头戴机可以避免虚拟用户界面遮挡对第三位患者的查看。在这些实施例中，用户只需在佩戴AR头戴机时随时向上看即可查看虚拟用户界面。
如图2A-4B的照片中所公开的，三位患者的3D数据的投影内层可以使用表示组织特性的颜色渐变来着色，并且从标准颜色渐变发生改变，以便当投影到三位患者外层的实时视图上时可见。例如，在3D数据包括CT扫描图像和X射线图像中的一个或多个的一些实施例中，由颜色渐变表示的组织特性可以包括从最软组织到最硬组织的组织硬度。在其他实施例中，由颜色渐变表示的组织特性可以包括但不限于松弛性、回声性、增强量、增强速度、密度、放射性和含水量中的一种或多种。为了使佩戴AR头戴机的用户易于看到颜色渐变，可以改变颜色渐变以使颜色比计算机显示器上使用的标准颜色渐变更亮，因为当投影到患者身上时，较暗的颜色渐变可能会混合到患者的视图中。
图5示出了可以利用3D数据来增强患者的视图的示例性计算机系统500。在一些实施例中，计算机系统500可以是本公开内容中描述的任何系统或设备的一部分。例如，计算机系统500可以是图1的AR头戴机108或服务器112中的任何一个的一部分。
计算机系统500可以包括处理器502、存储器504、文件系统506、通信单元508、操作系统510、用户接口512和AR模块514，它们都可以通信地耦合。在一些实施例中，计算机系统500可以是例如台式计算机、客户端计算机、服务器计算机、移动电话、笔记本电脑、智能电话、智能手表、平板电脑、便携式音乐播放器、嵌入式计算机、AR头戴机、VR头戴机或任何其他计算机系统。
通常，处理器502可以包括任何合适的专用或通用计算机、计算实体或包括各种计算机硬件或软件模块的处理设备，并且可以被配置为执行存储在任何适用的计算机可读存储介质上的指令。例如，处理器502可以包括微处理器、微控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或配置为解释和/或执行程序指令和/或处理数据的任何其他数字或模拟电路，或其任何组合。在一些实施例中，处理器502可以解释和/或执行存储在存储器504和/或文件系统506中的程序指令和/或处理数据。在一些实施例中，处理器502可以从文件系统506获取程序指令并且将程序指令加载到存储器504中。在将程序指令加载到存储器504中之后，处理器502可以执行程序指令。在一些实施例中，指令可以包括处理器502执行图6A-6E的方法600的一个或多个框。
存储器504和文件系统506可以包括用于携带或其上存储有计算机可执行指令或数据结构的计算机可读存储介质。这样的计算机可读存储介质可以是可由通用或专用计算机(例如处理器502)访问的任何可用的非暂时性介质。作为示例而非限制，这种计算机可读存储介质可包括非暂时性计算机可读存储介质，包括只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)或其他光盘存储器，磁盘存储器或其他磁存储设备、闪存设备(例如，固态存储设备)，或可用于以计算机可执行指令或数据结构的形式携带或存储所需程序代码且可由通用或专用计算机访问的任何其他存储介质。以上的组合也可以包括在计算机可读存储介质的范围内。计算机可执行指令可以包括例如被配置为使处理器502执行特定操作或操作组(例如图6A-6E的方法600的一个或多个框)的指令和数据。这些计算机可执行指令可以包括在例如操作系统510中，一个或多个应用程序中，例如AR模块514中，或者其某种组合中。
通信单元508可以包括被配置为通过网络(例如图1的网络110)传送或接收信息的任何部件、设备、系统或其组合。在一些实施例中，通信单元508可以与其他位置、相同位置处的其他设备，或甚至同一系统内的其他部件通信。例如，通信单元508可以包括调制解调器、网卡(无线或有线)、红外通信设备、无线通信设备(诸如天线)和/或芯片组(诸如蓝牙设备、802.6设备(例如，城域网(MAN))、WiFi设备、WiMax设备、蜂窝通信设备等)等。通信单元508可以允许与网络和/或任何其他设备或系统(例如本公开内容中描述的)交换数据。
操作系统510可以被配置为管理计算机系统500的硬件和软件资源，并且可以被配置为给计算机系统500提供常用服务。
用户接口512可以包括被配置为允许用户与计算机系统500交互的任何设备。例如，用户接口512可以包括显示器，例如LCD、LED或其他显示器，例如AR镜头，被配置为按照处理器502的指示呈现视频、文本、应用程序用户界面和其他数据。用户接口512还可以包括鼠标、跟踪板、键盘、触摸屏、音量控制、其他按钮、扬声器、麦克风、相机、任何外围设备或其他输入或输出设备。用户接口512可以从用户接收输入并将输入提供给处理器502。类似地，用户接口512可以向用户呈现输出。
AR模块514可以是存储在一个或多个非暂时性计算机可读介质(例如存储器504或文件系统506)上的一个或多个计算机可读指令，当由处理器502执行时，计算机可读指令被配置为执行一或多个方法，例如图6A-6E的方法600的一个或多个框。在一些实施例中，AR模块514可以是操作系统510的一部分，或者可以是计算机系统500的应用程序的一部分，或者可以是其某种组合。
在不脱离本公开内容的范围的情况下，可以对计算机系统500进行修改、添加或省略。例如，尽管在图5中各自示出为单个部件，但计算机系统500的任何部件502-514可以包括多个类似的部件，这些部件共同起作用并且通信地耦合。此外，尽管示出为单个计算机系统，但是应当理解，计算机系统500可以包括联网在一起的多个物理或虚拟计算机系统，例如在云计算环境、多租户环境或虚拟化环境中。
图6A-6E是利用3D数据增强患者的视图的示例性方法600的流程图。在一些实施例中，方法600可以由设备或系统执行，例如由在图1的AR头戴机108和/或服务器112上运行的图5的AR模块514执行。在这些和其他实施例中，方法600可以由一个或多个处理器基于存储在一个或多个非暂时性计算机可读介质上的一个或多个计算机可读指令来执行。现在将结合图1、2A-2F、3、4A-4B、5和6A-6E来描述方法600。尽管以下将方法600描述为由AR头戴机执行，但是应当理解，方法600可替代地由另一计算机系统或计算机系统的组合来执行。
在框602处，AR头戴机可以识别患者的3D数据。例如，在框602处，图1的AR头戴机108可以识别患者106的3D数据。
在一些实施例中，可以使用一或多种方法捕获或生成用于图1的患者106的3D数据，可以在患者106处于环境100中时实时地捕获或生成3D数据，和/或在患者106进入环境100之前捕获或生成3D数据。例如，在患者106进入环境100之前可以获得一些3D数据，然后可以利用在患者106处于环境100中时实时获得的附加3D数据来增强3D数据。例如，患者106的3D数据可以包括，但不限于，MRI图像、计算机断层摄影(CT)扫描图像、X射线图像、正电子发射断层摄影(PET)图像、超声图像、荧光图像、红外热成像(IRT)图像或单光子发射计算断层摄影(SPECT)扫描图像或其某种组合。这些图像中的任何一个可以是静止图像或视频图像的形式。例如，方法600可以采用患者106的骨骼系统的静止X射线图像(如图1所示)。在另一示例中，方法600可以采用患者106的跳动心脏的超声视频图像。在另一示例中，方法600可以在心脏的静止图像和心脏跳动的实时视频之间切换。
尽管使用各种不同方法获得，但在一些实施例中，患者的3D数据可包括患者的外层和患者的多个内层。例如，图1的患者106的外层可以包括患者106的皮肤106a和/或由患者106穿戴的衣服107。在另一个示例中，尸体的外层可以是除皮肤之外的组织层，例如肌肉或脂肪层，其中皮肤已从尸体移除。患者106的内层可包括但不限于患者106的内部骨骼106b(如图1所示)、肌肉、器官或体液。3D数据可包括2D图像，例如X射线图像，因为在将2D图像投影到3D空间时，2D图像具有3D意义。例如，患者106的3D数据可以包括可以投影到患者106的皮肤106a或衣服107上的2D X射线图像。3D数据还可以包括时间元素，其有时被称为四维(4D)数据。例如，3D数据可以不仅包括3D图像，还包括随时间变化的3D图像的视频。多个内层可以是一直穿过患者106的多层，或者可以是仅进入患者106的某个部分深度的多层。例如，某些形式的3D数据，例如来自毫米波扫描仪的3D数据，可以仅被配置为揭示存储在患者的外衣和皮肤之间的物品。3D数据可以另外或替代地是仅普遍对应于患者106的数据，而不是特定对应于患者106的数据，诸如从预设的解剖图谱导出的3D数据。3D数据还可以是各种类型的3D数据的组合。
在一些实施例中，必须注意，将图1的患者106按照与捕获3D数据时患者106所在之处相同的相对位置和/或方向定位在手术台103上。可替换地，在将患者106定位在手术台103上的与捕获或生成3D数据时患者106所处的不同的位置和/或方向中时，AR头戴机108可使3D数据变形以匹配患者106的不同位置和/或方向。
在框604处，AR头戴机可以确定3D数据中的患者外层的虚拟形态测定测量。例如，在框604处，图1的AR头戴机108可以确定3D数据中的患者106的外层的虚拟形态测定测量。确定这些虚拟形态测定测量可以涉及AR头戴机108分析3D数据以便确定3D数据中的患者外层的尺寸和形状。在一些实施例中，外层的虚拟形态测定测量可以涉及生成表示外层的尺寸和形状的外层的点云。例如，在外层由三角形或其他多边形形状表示的情况下，点云可以包括多边形形状的一些或全部顶点。
在框606处，AR头戴机可以记录患者外层在3D空间中的实时位置。例如，在框606处，图1的AR头戴机108可以记录患者106的皮肤106a和衣服107在3D空间102中的实时位置。在一些实施例中，AR头戴机108可以包括一个或多个传感器，其被配置为映射3D空间102，并且将患者106的外层的实时位置映射到3D空间102内。这些传感器可以包括但不限于红外传感器、声音传感器、摄影传感器、荧光透视传感器、加速度计、陀螺仪或磁力计。
在框608处，AR头戴机可以确定患者外层的实时形态测定测量。例如，在框608，图1的AR头戴机108可以确定患者106的皮肤106a和衣服107的实时形态测定测量。在一些实施例中，在框606处的记录中采用的传感器也可以用于确定患者106的皮肤106a和衣服107的实时尺寸和形状。在一些实施例中，这可以涉及生成表示皮肤106a和衣服107的尺寸和形状的患者106的皮肤106a和衣服107的点云。
在框610处，AR头戴机可以自动记录3D数据中的患者外层的位置，使其与所记录的患者外层在3D空间中的实时位置对准。例如，在框610处，图1的AR头戴机108可以自动记录3D数据中的患者106的外层的位置，使其与所记录的患者106的皮肤106a和衣服107在3D空间102中的实时位置对准。在一些实施例中，该自动记录可以包括使用点集记录(point setregistration)，将在框604处生成的点云与在框608处生成的点云自动对准。与将3D数据中的患者外层与患者的实时外层对准的手动方法相比，框610处的自动记录可以耗时更少，不太麻烦并且更不易出错。此外，在一些实施例中，可以在不使用任何非解剖基准的情况下执行框610，这可以避免非解剖基准的耗时、麻烦和不准确的放置。
在框612处，AR头戴机可以显示被投影到患者外层的实时视图上的3D数据中的患者的一个内层。例如，在框612处，图1的AR头戴机108可以显示被投影到患者106的皮肤106a和衣服107的实时视图上的3D数据中的患者106的骨骼106b。在另一示例中，患者大脑的CT扫描图像被投影到图2B和2C中的患者头部的顶部，或者被投影到图2E中的患者头部的侧面上。
在框614处，AR头戴机可以生成自动记录正确的置信度分数，并且在框616处，AR头戴机可以向用户呈现置信度分数。例如，在框614处，图1的AR头戴机108可以生成在框612处执行的自动记录正确的置信度分数，并且在视觉上、听觉上或以某种其他呈现格式向用户104呈现置信度分数。在一些实施例中，AR头戴机108可以生成该置信度分数作为在框612处执行的点集记录的一部分。例如，置信度分数可以是0％和100％之间的分数，指示3D数据的外层与患者106的外层相匹配的置信度水平。如果置信度分数相对较高，则用户104可以在确信被投影到患者106上的3D数据实际上确实对应于患者106的情况下，使用AR头戴机108继续针对患者106进行培训、研究、诊断或治疗。另一方面，在置信度分数相对较低的情况下，用户104可以停止使用AR头戴机108针对患者106进行任何培训、研究、诊断或治疗，因为可能存在关于被投影到患者106上的3D数据是否实际上确实对应于患者106的合理怀疑。
在框618处，AR头戴机可以在将对象穿过患者的外层插入患者体内之前确定对象的实时形态测定测量。例如，在框618处，图1的AR头戴机108可以在将对象118穿过患者106的外层插入患者106体内之前确定对象118的实时形态测定测量。在一些实施例中，框618处的确定可以以类似于框608处的确定的方式执行。在其他实施例中，特别是对于标准对象，例如标准医疗器械，可以通过访问在标准对象的设计文档中找到的标准对象的形态测定测量来执行框618处的确定。
在框622处，AR头戴机可以相对于3D空间中患者外层的记录位置以及相对于3D数据中的患者外层的记录位置而跟踪对象在3D空间中的实时位置。例如，在框622处，图1的AR头戴机108可以相对于3D空间102中患者106的皮肤106a和衣服107的记录位置以及相对于3D数据中的患者106的外层的记录位置而自动跟踪对象118在3D空间102中的实时位置。
在框624处，当将对象的一部分穿过患者外层插入患者体内时，AR头戴机可以显示被投影到3D数据中的患者的投影内层中的对象的虚拟部分。例如，当穿过患者106的衣服107将图1的对象118的一部分插入患者106体内时，AR头戴机108可以显示被投影到3D数据中的患者106的投影骨骼106b中的对象118的虚拟插入部分118b。
在框626处，AR头戴机可以显示被投影到患者的实时视图上的虚拟空间差异框。例如，在框626处，图1的AR头戴机108可以显示被投影到患者106的实时视图上的虚拟空间差异框116。在一些实施例中，虚拟空间差异框116可以将3D数据中的患者106的投影内层(例如图1的投影骨骼106b)限制在立体的虚拟空间差异框116内。
在框628处，AR头戴机可以生成虚拟用户界面，该虚拟用户界面包括用于改变3D数据中的患者的投影内层的显示的选项。例如，在框628处，图1的AR头戴机108可以生成虚拟用户界面114，虚拟用户界面114包括用于改变3D数据中的患者106的投影骨骼106b的显示的选项。
在框630处，AR头戴机可以在AR头戴机的焦点方向未被聚焦在患者身上时，显示被投影到实时视图上的虚拟用户界面。例如，在框630处，图1的AR头戴机108可以在AR头戴机108的焦点方向120未被聚焦在患者106身上时，显示被投影到实时视图上的虚拟用户界面114。
在框632处，AR头戴机可以在AR头戴机的焦点方向被聚焦在患者身上时，隐藏虚拟用户界面。例如，在框632处，图1的AR头戴机108可以在AR头戴机108的焦点方向120被聚焦在患者106身上时，隐藏虚拟用户界面114。在一些实施例中，框630和632可以避免虚拟用户界面114遮挡患者106的任何视图。
在框634处，AR头戴机可以确定患者与AR头戴机的实时距离。例如，在框634处，图1的AR头戴机108可以确定患者106与AR头戴机108的实时距离D1。该实时距离D1可以是例如到患者106的中心、到患者106的焦点区域的中心、到当前正在患者106上查看的3D数据的切片、或到患者106上的某个其他点或一般区域的实时距离。
在框636处，AR头戴机可以实时更新虚拟用户界面的显示，以使虚拟用户界面持续地定位在大约等于患者与AR头戴机的实时距离的AR头戴机焦距处。例如，在框636处，图1的AR头戴机108可以实时更新虚拟用户界面114的显示，以使虚拟用户界面114持续地定位在大约等于患者106与AR头戴机108的实时距离D1的AR头戴机108的焦距D2处。该焦距D2对于用户104可以是舒适的，因为它可以避免用户104在患者106和虚拟用户界面114之间移动他的视点时必须改变他的眼睛的焦点。
在框638处，AR头戴机可以实时更新虚拟用户界面的显示，以使虚拟用户界面垂直于AR头戴机的焦点方向而持续定向。例如，在框638处，图1的AR头戴机108可以实时更新虚拟用户界面114的显示，以使虚拟用户界面114垂直于AR头戴机108的焦点方向120而持续定向。在虚拟用户界面114位于AR头戴机108上方的情况下，如图1中所公开的，垂直于AR头戴机108定向虚拟用户界面114可以使虚拟用户界面114的顶部朝向AR头戴机108略微向下倾斜，如图1中所公开的。这种定向对于用户104来说可能是舒适的，因为它可以使得虚拟用户界面114始终面向用户104正面，而不管AR头戴机108的当前焦点方向120如何并且不管用户104站在3D空间102中何处。
在框640处，AR头戴机可以在AR头戴机的焦点方向未被聚焦在患者身上时显示被投影到实时视图上和/或虚拟用户界面上的虚拟光标。例如，在框640处，图1的AR头戴机108可以在AR头戴机108的焦点方向120未被聚焦在患者106身上时显示被投影到实时视图上和/或虚拟用户界面114上的虚拟光标122。
在框642处，AR头戴机可以在AR头戴机的焦点方向聚焦在患者身上时隐藏虚拟光标。例如，在框642处，图1的AR头戴机108可以在AR头戴机108的焦点方向120聚焦在患者106身上时隐藏虚拟光标122。在一些实施例中，框640和642可以避免虚拟光标122遮挡患者106的任何视图。在一些实施例中，在框642处，图1的AR头戴机108可以在AR头戴机108的焦点方向120聚焦在患者106身上时仅选择性地隐藏虚拟光标122。在这些实施例中，可能存在这样的情况，用户104可能希望在AR头戴机108的焦点方向120聚焦在患者106身上时使用虚拟光标122，例如，当用户104正在使用注释工具来注释患者106的视图和/或注释投影的3D数据时(例如，即使在其他3D数据被隐藏时也可以保留被投影在患者106身上的十字准线注释，例如，用于帮助在手术期间保持对于感兴趣的位置的跟踪)，或者当用户104正在使用测量工具来测量患者106的视图和/或测量投影的3D数据时。
在一些实施例中，方法600可以完成患者的3D数据与实际患者之间的自动对准。此外，这种自动对准可以在无需手动对准和/或无需手动放置非解剖基准的情况下完成，因此实现了比传统形式的手动对准更容易和更准确的自动对准。
尽管方法600的框在图6A-6E中示出为离散框，但可以将各种框划分为额外的框，组合成更少的框，重新排序，扩展或去除，这取决于期望的实施方式。例如，在一些实施例中，可以在不执行框614-642中的任何框的情况下执行框602-612。此外，在一些实施例中，可以仅执行框602和612，而不执行框604-610，例如，在手动而非与框614-616、618-624、626或628-642中的任何框相结合地自动执行患者和3D数据之间的记录和对准的情况下。此外，在一些实施例中，可以在不执行框634-642的情况下执行框628-632。而且，在一些实施例中，可以在不执行框638-642的情况下执行框628-636，可以在不执行框634-636和640-642的情况下执行框628-632和638，或者可以在不执行框634-638的情况下执行框628-632和640-642。此外，在一些实施例中，可以并行执行框614-642中的任何框。
在另一示例中，方法600还可以包括在将患者覆盖在手术盖布中之前或之后处理自动记录的问题。例如，可以在将患者覆盖在手术盖布中之前执行框610，然后可以在框612处将3D数据投影到手术盖布上。然而，如果在将患者覆盖在手术盖布中之后执行框610，则可以修改方法600以处理使手术盖布遮挡患者的合适外层的问题。对方法600的这种修改可以包括采用足够透明的手术盖布，使得AR头戴机可以穿透手术盖布并找到患者的更合适的外层。另一种修改可以包括将视觉标记放置在患者上的外层上，在手术覆盖之后将保持可见并且在框612期间可以注意到的位置处(例如以特定图案)。此时，即使患者的大部分覆盖在相对不透明的手术盖布中，只要视觉标记仍然可见，就可以使用视觉标记作为参考点执行自动重新记录。另一种这样的修改包括将附加视觉标记放置在患者外层上，或者可能在患者体内，在手术覆盖后不会保持可见但是在框612期间可以注意到的位置处(例如以特定图案)，因为附加视觉标记在框612期间是可见的，或者因为附加视觉标记在框612期间被传感器感测到。这些附加视觉标记可以由AR头戴机中的传感器可以在手术盖布下方检测到的材料制成，即使附加视觉标记对于AR头戴机不可见。例如，金属检测传感器可以检测到金属附加视觉标记(例如插入皮肤下或体腔内的金属网状标记或金属标记)，红外传感器可以检测到红外检测的附加视觉标记，磁性检测传感器可以检测到发射磁场的附加视觉标记，或者射频检测器可以检测到发射射频的附加视觉标记。此时，即使当患者的大部分覆盖在相对不透明的手术盖布中时，只要AR头戴机中的传感器能够检测到手术盖布下方的附加视觉标记的位置，就可以使用附加视觉标记作为参考点执行自动重新记录。
此外，应当理解，方法600可以改善AR系统自身的功能并且可以改善AR的领域。例如，使用虚拟形态测定测量并使用实时形态测定测量，并且在一些情况下，不使用任何非解剖基准，通过自动记录3D数据中的患者106的外层的虚拟位置，使其与所记录的患者106的外层(例如，皮肤106a和衣服107)在3D空间102中的实时位置对准，可以借助方法600改善图1的AR头戴机108自身的功能。与采用手动记录或使用手动放置非解剖基准的记录的传统AR系统相比，可以更容易和更准确地执行这种自动记录。
如上所述，本文描述的实施例可以包括使用包括各种计算机硬件或软件模块的专用或通用计算机(例如，图5的处理器502)，如下面更详细地讨论的。此外，如上所述，本文描述的实施例可以使用携带或具有存储在其上的计算机可执行指令或数据结构的计算机可读介质(例如，图5的存储器504或文件系统506)来实现。
在一些实施例中，本文描述的不同部件和模块可以实现为在计算系统上执行的对象或进程(例如，作为单独的线程)。虽然本文描述的一些方法通常被描述为以软件实现(存储在通用硬件上和/或由通用硬件执行)，但是特定硬件实施方式或软件和特定硬件实施方式的组合也是可能的并且是可预期的。
根据惯例，附图中示出的各种特征可能未按比例绘制。本公开内容中呈现的图示并不意味着是任何特定装置(例如，设备、系统等)或方法的实际视图，而仅仅是用于描述本公开内容的各种实施例的示例表示。因此，为了清楚起见，可以任意地扩大或减小各种特征的尺寸。另外，为了清楚起见，可以简化一些附图。因此，附图可能未示出给定装置(例如，设备)的所有部件或特定方法的所有操作。
本文使用的术语，尤其是所附权利要求中的术语(例如，所附权利要求的主体)通常旨在作为“开放式”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应被解释为“至少具有”，术语“包含”应解释为“包含但不限于”，等)。
另外，如果意图将特定数量引入权利要求的表述，则在权利要求中将明确地表述这样的意图，并且在没有这样的表述的情况下，不存在这样的意图。例如，为了帮助理解，以下所附权利要求可以包含使用引导短语“至少一个”和“一个或多个”以引入权利要求表述。然而，这些短语的使用不应被解释为暗示由不定冠词“一”或“一者”引入的权利要求表述将包含这种引入的权利要求表述的任何特定权利要求限制于仅包含一个这样的表述的实施例，即使当相同的权利要求包括引入短语“一个或多个”或“至少一个”以及诸如“一”或“一者”的不定冠词(例如，“一”和/或“一者”应该被解释为表示“至少一个”或“一个或多个”)时；对于使用引入权利要求表述的定冠词也是如此。
另外，即使明确地表述了将特定数量引入权利要求的表述，也应该理解，这种表述应该被解释为表示至少所述的数字(例如，“两个表述”的简单表述，而没有其他修饰语，表示至少两个表述，或两个或多个表述)。此外，在使用类似于“A、B和C等中的至少一个”或“A、B和C等中的一个或多个”的惯用语的那些情况下，通常这样的结构是意图包括单独的A，单独的B，单独的C，A和B一起，A和C一起，B和C一起，或A、B和C一起等。例如，术语“和/或”的使用意图以这种方式解释。
此外，无论是在发明内容、具体实施方式、权利要求或附图中，呈现两个或多个替代项目的任何转折词或短语应被理解为考虑包括项目之一、项目中的任意一个或两个项目的可能性。例如，短语“A或B”应理解为包括“A”或“B”或“A和B”的可能性。
另外，术语“第一”、“第二”、“第三”等的使用在此不一定用于表示特定顺序或数量的元素。一般来说，术语“第一”、“第二”、“第三”等用于作为通用标识符来区分不同元素。如果没有表明术语“第一”、“第二”、“第三”等暗示特定顺序，则这些术语不应理解为暗示特定顺序。此外，如果没有表明术语“第一”、“第二”、“第三”等暗示特定数量的元素，则这些术语不应理解为暗示特定数量的元素。例如，第一部件可以被描述为具有第一侧，并且第二部件可以被描述为具有第二侧。关于第二部件使用术语“第二侧”可以是将第二部件的这一侧与第一部件的“第一侧”区分开，而不是暗示第二部件具有两侧。
出于解释的目的，已经参考具体实施例描述了前述说明。然而，上面的说明性讨论并非旨在穷举或将本发明限制为所公开的精确形式。鉴于上述教导，许多修改和变化都是可能的。选择和描述实施例以解释实际应用，从而使得本领域其他技术人员能够利用所要求保护的本发明和具有可以适合于预期的特定用途的各种修改的各种实施例。

Claims (27)

1.一种利用三维(3D)数据来增强患者的实时非图像实际视图的方法，所述方法包括：
实时捕获患者的实时3D视频数据，所述实时3D视频数据包括患者的外层和患者的多个内层；及
在增强现实(AR)头戴机中实时显示被投影到患者外层的实时非图像实际视图上的实时3D视频数据中的患者的一个内层。
2.根据权利要求1所述的方法，其中所述实时3D视频数据的投影内层描绘了所述患者的内部器官在所述患者的外层内运动。
3.一个或多个存储一个或多个程序的非暂时性计算机可读介质，所述程序被配置为在被执行时使得一个或多个处理器执行权利要求1所述的方法。
4.一种利用三维(3D)数据来增强患者的实时非图像实际视图的方法，所述方法包括：
识别患者的3D数据，所述3D数据包括患者的外层和患者的多个内层；
将患者定位在与捕获患者的3D数据时患者所处的不同位置；
使3D数据变形以匹配患者的不同位置；及
在增强现实(AR)头戴机中显示被投影到患者外层的实时非图像实际视图上的变形的3D数据中的患者的一个内层。
5.根据权利要求4所述的方法，其中：
所述定位包括将患者定位在与捕获患者的3D数据时患者所处的不同方向上；
所述变形包括使3D数据变形以匹配患者的不同方向。
6.一个或多个存储一个或多个程序的非暂时性计算机可读介质，所述程序被配置为在被执行时使得一个或多个处理器执行权利要求4所述的方法。
7.一种利用三维(3D)数据来增强患者的实时非图像实际视图的方法，所述方法包括：
识别患者的3D数据，所述3D数据包括患者的外层和患者的多个内层，所述患者的多个内层具有原始颜色渐变；
将多个内层的颜色渐变改变为比原始颜色渐变更亮，以便在投影到患者外层的实时非图像实际视图上时可见性更好；及
在增强现实(AR)头戴机中显示被投影到患者外层的实时非图像实际视图上的3D数据中的患者的一个内层，所述3D数据中的患者的投影内层具有改变的颜色渐变。
8.根据权利要求7所述的方法，其中所述改变的颜色渐变表示患者的多个内层的组织特性，所述组织特性包括组织硬度、松弛性、回声性、增强量、增强速度、密度、放射性和含水量中的一个或多个。
9.一个或多个存储一个或多个程序的非暂时性计算机可读介质，所述程序被配置为在被执行时使得一个或多个处理器执行权利要求7所述的方法。
10.一种利用三维(3D)数据来增强患者的实时非图像实际视图的方法，所述方法包括：
识别患者的3D数据，所述3D数据包括患者的外层和患者的多个内层；及
在增强现实(AR)头戴机中显示被投影到患者外层的实时非图像实际视图上的3D数据中的患者的一个内层，所述3D数据中的患者的投影内层被限制在立体的虚拟空间差异框内。
11.根据权利要求10所述的方法，其中所述虚拟空间差异框包括顶侧、底侧、左侧、右侧、前侧和后侧。
12.一个或多个存储一个或多个程序的非暂时性计算机可读介质，所述程序被配置为在被执行时使得一个或多个处理器执行权利要求10所述的方法。
13.一种利用三维(3D)数据来增强患者的实时非图像实际视图的方法，所述方法包括：
识别患者的3D数据，所述3D数据包括患者的外层和患者的多个内层；
自动记录3D数据中的患者外层的虚拟位置，使其与患者外层的实时位置对准；
在增强现实(AR)头戴机中显示被投影到患者外层的实时非图像实际视图上的3D数据中的患者的一个内层；
生成自动记录正确的数值置信度分数；及
在AR头戴机中向用户显示所述数值置信度分数。
14.根据权利要求13所述的方法，其中所述数值置信度分数是1和100之间的数字，其指示所述3D数据的外层与所述患者的外层匹配的置信度水平。
15.一个或多个存储一个或多个程序的非暂时性计算机可读介质，所述程序被配置为在被执行时使得一个或多个处理器执行权利要求13所述的方法。
16.一种利用三维(3D)数据来增强患者的实时非图像实际视图的方法，所述方法包括：
识别患者的3D数据，所述3D数据包括患者的外层和患者的多个内层；
在增强现实(AR)头戴机中显示被投影到患者外层的实时非图像实际视图上的3D数据中的患者的一个内层；
自动跟踪对象相对于所述患者的外层实时位置的实时位置；及
当一部分对象穿过患者的外层插入患者体内时，在AR头戴机中显示被投影到患者的投影内层中的对象的虚拟部分。
17.根据权利要求16所述的方法，其中：
所述对象由AR头戴机的传感器即使在所述对象已经穿过患者的外层插入患者体内之后也能够感测到的材料形成；
所述自动跟踪包括AR头戴机的传感器自动跟踪所述对象相对于患者的外层实时位置的实时位置。
18.一个或多个存储一个或多个程序的非暂时性计算机可读介质，所述程序被配置为在被执行时使得一个或多个处理器执行权利要求16所述的方法。
19.一种利用三维(3D)数据来增强患者的实时非图像实际视图的方法，所述方法包括：
识别患者的3D数据，所述3D数据包括患者的外层和患者的多个内层；
在增强现实(AR)头戴机中显示被投影到患者外层的实时非图像实际视图上的3D数据中的患者的一个内层；
在AR头戴机中生成虚拟光标和/或虚拟用户界面，所述虚拟用户界面包括用于改变所述3D数据中的患者的投影内层的显示的选项；
当确定AR头戴机的焦点方向聚焦在除患者之外的其他位置时，在AR头戴机中显示被投影到实时非图像实际视图上的所述虚拟光标和/或所述虚拟用户界面；及
当确定AR头戴机的焦点方向聚焦在患者身上时，在AR头戴机中隐藏所述虚拟光标和/或所述虚拟用户界面。
20.根据权利要求19所述的方法，其中：
当AR头戴机高于水平面时，确定AR头戴机的焦点方向聚焦在除患者之外的其他位置；及
当AR头戴机低于水平面时，确定AR头戴机的焦点方向聚焦在患者身上。
21.一个或多个存储一个或多个程序的非暂时性计算机可读介质，所述程序被配置为在被执行时使得一个或多个处理器执行权利要求19所述的方法。
22.一种利用三维(3D)数据来增强患者的实时非图像实际视图的方法，所述方法包括：
识别患者的3D数据，所述3D数据包括患者的外层和患者的多个内层；
在增强现实(AR)头戴机中显示被投影到患者外层的实时非图像实际视图上的3D数据中的患者的一个内层；
在AR头戴机中生成虚拟用户界面，所述虚拟用户界面包括用于改变3D数据中的患者的投影内层的显示的选项；
在AR头戴机中显示被投影到实时非图像实际视图上的所述虚拟用户界面；
实时确定患者与AR头戴机的距离；及
实时更新AR头戴机中所述虚拟用户界面的显示，以使所述虚拟用户界面持续地定位在大约等于患者与AR头戴机的实时距离的AR头戴机的焦距处。
23.根据权利要求22所述的方法，其中患者与AR头戴机的实时距离是到患者的中心、到患者的焦点区域的中心、或者到目前正在患者身上查看的3D数据的切片的实时距离。
24.一个或多个存储一个或多个程序的非暂时性计算机可读介质，所述程序被配置为在被执行时使得一个或多个处理器执行权利要求22所述的方法。
25.一种利用三维(3D)数据来增强患者的实时非图像实际视图的方法，所述方法包括：
识别患者的3D数据，所述3D数据包括患者的外层和患者的多个内层；
在增强现实(AR)头戴机中显示被投影到患者外层的实时非图像实际视图上的3D数据中的患者的一个内层；
在AR头戴机中生成虚拟用户界面，所述虚拟用户界面包括用于改变3D数据中的患者的投影内层的显示的选项；
在AR头戴机中显示被投影到实时非图像实际视图上的所述虚拟用户界面；及
实时更新AR头戴机中所述虚拟用户界面的显示，以使所述虚拟用户界面垂直于AR头戴机的焦点方向而持续定向。
26.根据权利要求25所述的方法，其中：
所述虚拟用户界面与AR头戴机的焦点方向的垂直定向使得所述虚拟用户界面始终面对佩戴AR头戴机的用户正面，无论AR头戴机的当前焦点方向如何，无论用户面对患者或背对患者。
27.一个或多个存储一个或多个程序的非暂时性计算机可读介质，所述程序被配置为在被执行时使得一个或多个处理器执行权利要求25所述的方法。
CN201880023524.9A 2017-03-30 2018-03-16 利用三维数据增强患者的实时视图 Active CN110494921B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US15/474,702 2017-03-30
US15/474,702 US9892564B1 (en) 2017-03-30 2017-03-30 Augmenting real-time views of a patient with three-dimensional data
US15/894,595 US10475244B2 (en) 2017-03-30 2018-02-12 Augmenting real-time views of a patient with three-dimensional data
US15/894,595 2018-02-12
PCT/US2018/022921 WO2018183001A1 (en) 2017-03-30 2018-03-16 Augmenting real-time views of a patent with three-dimensional data

Publications (2)

Publication Number Publication Date
CN110494921A true CN110494921A (zh) 2019-11-22
CN110494921B CN110494921B (zh) 2023-11-28

Family

ID=61147999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880023524.9A Active CN110494921B (zh) 2017-03-30 2018-03-16 利用三维数据增强患者的实时视图

Country Status (6)

Country Link
US (5) US9892564B1 (zh)
EP (1) EP3602180A4 (zh)
JP (1) JP2020516003A (zh)
KR (1) KR102327527B1 (zh)
CN (1) CN110494921B (zh)
WO (1) WO2018183001A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112076400A (zh) * 2020-10-15 2020-12-15 上海市肺科医院 一种重复定位方法及系统
CN112635073A (zh) * 2020-12-18 2021-04-09 四川省疾病预防控制中心 一种密切接触者排查方法、装置、计算机设备及存储介质

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US20180082480A1 (en) * 2016-09-16 2018-03-22 John R. White Augmented reality surgical technique guidance
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
US10412377B2 (en) * 2017-01-11 2019-09-10 Koninklijke Philips N.V. Augmented display device for use in a medical imaging laboratory
US11024064B2 (en) * 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
EP4278956A3 (en) 2017-03-10 2024-02-21 Biomet Manufacturing, LLC Augmented reality supported knee surgery
US10575905B2 (en) 2017-03-13 2020-03-03 Zimmer, Inc. Augmented reality diagnosis guidance
US9892564B1 (en) 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
EP3622529A1 (en) 2017-05-08 2020-03-18 Masimo Corporation System for pairing a medical system to a network controller by use of a dongle
WO2018206086A1 (en) * 2017-05-09 2018-11-15 Brainlab Ag Generation of augmented reality image of a medical device
JP7267209B2 (ja) * 2017-06-08 2023-05-01 メドス・インターナショナル・エスエイアールエル 滅菌野及び他の作業環境のためのユーザインターフェースシステム
US11432877B2 (en) 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
JP2021500690A (ja) * 2017-10-23 2021-01-07 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 自己展開型拡張現実ベースのサービス命令ライブラリ
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US10825563B2 (en) 2018-05-14 2020-11-03 Novarad Corporation Aligning image data of a patient with actual views of the patient using an optical code affixed to the patient
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
EP3829445B1 (en) * 2018-07-31 2024-04-03 Brainlab AG Medical imaging apparatus providing ar-support
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
US11350978B2 (en) 2018-09-07 2022-06-07 Cilag Gmbh International Flexible neutral electrode
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
US11696789B2 (en) 2018-09-07 2023-07-11 Cilag Gmbh International Consolidated user interface for modular energy system
US11191609B2 (en) * 2018-10-08 2021-12-07 The University Of Wyoming Augmented reality based real-time ultrasonography image rendering for surgical assistance
EP3870021B1 (en) 2018-10-26 2022-05-25 Intuitive Surgical Operations, Inc. Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11139071B2 (en) 2018-12-31 2021-10-05 Cerner Innovation, Inc. Virtual augmentation of clinical care environments
US11532132B2 (en) * 2019-03-08 2022-12-20 Mubayiwa Cornelious MUSARA Adaptive interactive medical training program with virtual patients
US11743665B2 (en) 2019-03-29 2023-08-29 Cilag Gmbh International Modular surgical energy system with module positional awareness sensing with time counter
WO2020210972A1 (zh) * 2019-04-16 2020-10-22 孙永年 手术用穿戴式影像显示装置及手术资讯即时呈现系统
EP3726834A1 (en) * 2019-04-17 2020-10-21 Medneo GmbH Telepresence system and method
DE102020001882A1 (de) * 2019-04-26 2020-11-12 Mitutoyo Corporation Visualisierungsvorrichtung und Programm
US11638613B2 (en) 2019-05-29 2023-05-02 Stephen B. Murphy Systems and methods for augmented reality based surgical navigation
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
USD939545S1 (en) 2019-09-05 2021-12-28 Cilag Gmbh International Display panel or portion thereof with graphical user interface for energy module
PL3789965T3 (pl) * 2019-09-09 2022-03-28 apoQlar GmbH Sposób sterowania wyświetlaczem, program komputerowy oraz urządzenie wyświetlające rzeczywistość mieszaną
US11013477B2 (en) * 2019-10-24 2021-05-25 Jonathan Ross Vanhooser Positioning guidance system for x-ray exams
JP2023504261A (ja) * 2019-12-03 2023-02-02 メディビュー エックスアール、インコーポレイテッド 経皮的外科処置のための挿入のためのホログラフィック拡張現実超音波ニードル・ガイド
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11564767B2 (en) 2020-04-22 2023-01-31 Warsaw Orthopedic, Inc. Clinical diagnosis and treatment planning system and methods of use
US11832883B2 (en) 2020-04-23 2023-12-05 Johnson & Johnson Surgical Vision, Inc. Using real-time images for augmented-reality visualization of an ophthalmology surgical tool
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US20230172674A1 (en) * 2020-05-29 2023-06-08 Covidien Lp System and method for integrated control of 3d visualization through a surgical robotic system
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
WO2022154847A1 (en) 2021-01-12 2022-07-21 Emed Labs, Llc Health testing and diagnostics platform
CN113057604A (zh) * 2021-02-04 2021-07-02 应急管理部上海消防研究所 一种埋压人员救援平台
US11164391B1 (en) 2021-02-12 2021-11-02 Optum Technology, Inc. Mixed reality object detection
US11210793B1 (en) 2021-02-12 2021-12-28 Optum Technology, Inc. Mixed reality object detection
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11373756B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11968776B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for mechanical packaging for modular energy system
US12004824B2 (en) 2021-03-30 2024-06-11 Cilag Gmbh International Architecture for modular energy system
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems
US11978554B2 (en) 2021-03-30 2024-05-07 Cilag Gmbh International Radio frequency identification token for wireless surgical instruments
US11980411B2 (en) 2021-03-30 2024-05-14 Cilag Gmbh International Header for modular energy system
US11963727B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US20220331008A1 (en) 2021-04-02 2022-10-20 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
US20220331013A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Mixing directly visualized with rendered elements to display blended elements and actions happening on-screen and off-screen
WO2022225132A1 (ko) * 2021-04-22 2022-10-27 서울대학교병원 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법
GB2623461A (en) 2021-06-22 2024-04-17 Emed Labs Llc Systems, methods, and devices for non-human readable diagnostic tests
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
WO2023021450A1 (en) * 2021-08-18 2023-02-23 Augmedics Ltd. Stereoscopic display and digital loupe for augmented-reality near-eye display
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras

Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010055748A1 (en) * 2000-05-15 2001-12-27 Bailey Bradford E. System for training persons to perform minimally invasive surgical procedures
US20020082498A1 (en) * 2000-10-05 2002-06-27 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US20020113756A1 (en) * 2000-09-25 2002-08-22 Mihran Tuceryan System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
US20040254456A1 (en) * 2003-04-03 2004-12-16 Dieter Ritter Method and apparatus for realistic two-dimensional imaging
US20050285844A1 (en) * 2004-06-29 2005-12-29 Ge Medical Systems Information Technologies, Inc. 3D display system and method
US20050289472A1 (en) * 2004-06-29 2005-12-29 Ge Medical Systems Information Technologies, Inc. 3D display system and method
CN1957373A (zh) * 2004-03-12 2007-05-02 布拉科成像S.P.A.公司 基于视频的扩增实境增强型外科手术导航系统的精度评估
CN101170961A (zh) * 2005-03-11 2008-04-30 布拉科成像S.P.A.公司 利用显微镜的用于外科手术导航及可视化的方法及设备
CN101657845A (zh) * 2007-04-18 2010-02-24 皇家飞利浦电子股份有限公司 为医疗患者呈现个人经历的装置和方法
US20110107270A1 (en) * 2009-10-30 2011-05-05 Bai Wang Treatment planning in a virtual environment
US8384771B1 (en) * 2006-12-28 2013-02-26 David Byron Douglas Method and apparatus for three dimensional viewing of images
CN103445863A (zh) * 2012-06-02 2013-12-18 复旦大学 基于平板电脑的手术导航和增强现实系统
US20140243614A1 (en) * 2013-02-26 2014-08-28 Butterfly Network, Inc. Transmissive imaging and related apparatus and methods
US20140307067A1 (en) * 2006-12-28 2014-10-16 David Byron Douglas Method and apparatus for three dimensional viewing of images
US20140357984A1 (en) * 2013-05-30 2014-12-04 Translucent Medical, Inc. System and method for displaying anatomy and devices on a movable display
CN104298344A (zh) * 2013-07-16 2015-01-21 精工爱普生株式会社 信息处理装置、信息处理方法以及信息处理系统
US20150077528A1 (en) * 2013-09-18 2015-03-19 Nanophthalmos, Llc Surgical navigation system and method
US20150209113A1 (en) * 2014-01-29 2015-07-30 Becton, Dickinson And Company Wearable Electronic Device for Enhancing Visualization During Insertion of an Invasive Device
US20160078669A1 (en) * 2010-04-15 2016-03-17 Roger Lin Orientating an oblique plane in a 3d representation
CN105788390A (zh) * 2016-04-29 2016-07-20 吉林医药学院 基于增强现实的医学解剖辅助教学系统
US20160225192A1 (en) * 2015-02-03 2016-08-04 Thales USA, Inc. Surgeon head-mounted display apparatuses
WO2016133644A1 (en) * 2015-02-20 2016-08-25 Covidien Lp Operating room and surgical site awareness
WO2016162789A2 (en) * 2015-04-07 2016-10-13 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
US9538962B1 (en) * 2014-12-31 2017-01-10 Verily Life Sciences Llc Heads-up displays for augmented reality network in a medical environment
US9606584B1 (en) * 2014-07-01 2017-03-28 D.R. Systems, Inc. Systems and user interfaces for dynamic interaction with two- and three-dimensional medical image data using hand gestures

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2486520A1 (en) * 2001-06-13 2002-12-19 Volume Interactions Pte. Ltd. Guide systems for interacting with a subject, and methods therefor
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
FR2852226B1 (fr) * 2003-03-10 2005-07-15 Univ Grenoble 1 Instrument medical localise a ecran orientable
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
EP2755051A3 (de) * 2007-05-24 2014-08-27 SurgicEye GmbH Bilderzeugungsapparat und -methode zur Nuklearbildgebung
WO2009094646A2 (en) * 2008-01-24 2009-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for image guided ablation
CN102036616B (zh) * 2008-03-21 2015-05-13 高桥淳 三维数字放大镜手术支持系统
EP2153794B1 (en) * 2008-08-15 2016-11-09 Stryker European Holdings I, LLC System for and method of visualizing an interior of a body
EP2455038B1 (de) * 2008-10-21 2015-04-01 Brainlab AG Integration von chirurgischem Instrument und Anzeigevorrichtung zur Unterstützung der bildgeführten Chirurgie
US8641621B2 (en) * 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
WO2011010644A1 (ja) * 2009-07-24 2011-01-27 株式会社 日立メディコ 医用画像表示装置及び医用画像表示方法
WO2011134083A1 (en) * 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
CN103118600B (zh) * 2010-09-21 2015-04-22 株式会社日立医疗器械 超声波诊断装置以及超声波图像的显示方法
US8657809B2 (en) 2010-09-29 2014-02-25 Stryker Leibinger Gmbh & Co., Kg Surgical navigation system
EP2452649A1 (en) * 2010-11-12 2012-05-16 Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts Visualization of anatomical data by augmented reality
JP5984235B2 (ja) * 2011-07-19 2016-09-06 東芝メディカルシステムズ株式会社 画像処理システム、装置、方法及び医用画像診断装置
US8670816B2 (en) * 2012-01-30 2014-03-11 Inneroptic Technology, Inc. Multiple medical device guidance
JP6239529B2 (ja) * 2012-12-06 2017-11-29 株式会社日立製作所 超音波診断装置及び超音波画像表示方法
DE102012025374A1 (de) 2012-12-27 2014-07-17 Mehran Mahvash Mohammadi Augmented-Reality-System (Erweiterte Realität) durch direkte Bildprojektion für computergestützte und bildgeführte Neurochirurgie
US20140222462A1 (en) * 2013-02-07 2014-08-07 Ian Shakil System and Method for Augmenting Healthcare Provider Performance
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US20140276001A1 (en) * 2013-03-15 2014-09-18 Queen's University At Kingston Device and Method for Image-Guided Surgery
US8922589B2 (en) * 2013-04-07 2014-12-30 Laor Consulting Llc Augmented reality apparatus
JP6252004B2 (ja) * 2013-07-16 2017-12-27 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
CN110946651A (zh) * 2013-08-13 2020-04-03 波士顿科学国际有限公司 解剖项的计算机可视化
KR20150074348A (ko) * 2013-12-24 2015-07-02 삼성전자주식회사 디스플레이 장치 및 이를 이용한 영상표시방법
CN111481292A (zh) * 2014-01-06 2020-08-04 博迪维仁医疗有限公司 手术装置及其使用方法
FR3027711B1 (fr) * 2014-10-27 2018-06-15 Dental Monitoring Procede de controle de la dentition
GB201501157D0 (en) * 2015-01-23 2015-03-11 Scopis Gmbh Instrument guidance system for sinus surgery
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US10111658B2 (en) * 2015-02-12 2018-10-30 Covidien Lp Display screens for medical devices
WO2016133847A1 (en) * 2015-02-16 2016-08-25 Dimensions And Shapes, Llc Systems and methods for medical visualization
US9436993B1 (en) * 2015-04-17 2016-09-06 Clear Guide Medical, Inc System and method for fused image based navigation with late marker placement
US10052170B2 (en) * 2015-12-18 2018-08-21 MediLux Capitol Holdings, S.A.R.L. Mixed reality imaging system, apparatus and surgical suite
US9675319B1 (en) * 2016-02-17 2017-06-13 Inneroptic Technology, Inc. Loupe display
CN111329554B (zh) 2016-03-12 2021-01-05 P·K·朗 用于手术的装置与方法
CA3034314C (en) * 2016-08-17 2021-04-20 Synaptive Medical (Barbados) Inc. Methods and systems for registration of virtual space with real space in an augmented reality system
US10010379B1 (en) 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
US9892564B1 (en) 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
US11287874B2 (en) 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
US20200186786A1 (en) 2018-12-06 2020-06-11 Novarad Corporation Calibration for Augmented Reality
CN110393921B (zh) 2019-08-08 2022-08-26 腾讯科技（深圳）有限公司 云游戏的处理方法、装置、终端、服务器及存储介质
EP4013030A4 (en) * 2019-08-27 2022-08-31 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE PROCESSING METHOD AND DEVICE, AND ELECTRONIC DEVICE AND COMPUTER READABLE STORAGE MEDIUM

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010055748A1 (en) * 2000-05-15 2001-12-27 Bailey Bradford E. System for training persons to perform minimally invasive surgical procedures
US20020113756A1 (en) * 2000-09-25 2002-08-22 Mihran Tuceryan System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
US20020082498A1 (en) * 2000-10-05 2002-06-27 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US20040254456A1 (en) * 2003-04-03 2004-12-16 Dieter Ritter Method and apparatus for realistic two-dimensional imaging
CN1957373A (zh) * 2004-03-12 2007-05-02 布拉科成像S.P.A.公司 基于视频的扩增实境增强型外科手术导航系统的精度评估
US20050289472A1 (en) * 2004-06-29 2005-12-29 Ge Medical Systems Information Technologies, Inc. 3D display system and method
US20050285844A1 (en) * 2004-06-29 2005-12-29 Ge Medical Systems Information Technologies, Inc. 3D display system and method
CN101170961A (zh) * 2005-03-11 2008-04-30 布拉科成像S.P.A.公司 利用显微镜的用于外科手术导航及可视化的方法及设备
US8384771B1 (en) * 2006-12-28 2013-02-26 David Byron Douglas Method and apparatus for three dimensional viewing of images
US20140307067A1 (en) * 2006-12-28 2014-10-16 David Byron Douglas Method and apparatus for three dimensional viewing of images
CN101657845A (zh) * 2007-04-18 2010-02-24 皇家飞利浦电子股份有限公司 为医疗患者呈现个人经历的装置和方法
US20110107270A1 (en) * 2009-10-30 2011-05-05 Bai Wang Treatment planning in a virtual environment
US20160078669A1 (en) * 2010-04-15 2016-03-17 Roger Lin Orientating an oblique plane in a 3d representation
CN103445863A (zh) * 2012-06-02 2013-12-18 复旦大学 基于平板电脑的手术导航和增强现实系统
US20140243614A1 (en) * 2013-02-26 2014-08-28 Butterfly Network, Inc. Transmissive imaging and related apparatus and methods
US20140357984A1 (en) * 2013-05-30 2014-12-04 Translucent Medical, Inc. System and method for displaying anatomy and devices on a movable display
CN104298344A (zh) * 2013-07-16 2015-01-21 精工爱普生株式会社 信息处理装置、信息处理方法以及信息处理系统
WO2015008470A2 (en) * 2013-07-16 2015-01-22 Seiko Epson Corporation Information processing apparatus, information processing method, and information processing system
US20150077528A1 (en) * 2013-09-18 2015-03-19 Nanophthalmos, Llc Surgical navigation system and method
US20150209113A1 (en) * 2014-01-29 2015-07-30 Becton, Dickinson And Company Wearable Electronic Device for Enhancing Visualization During Insertion of an Invasive Device
US9606584B1 (en) * 2014-07-01 2017-03-28 D.R. Systems, Inc. Systems and user interfaces for dynamic interaction with two- and three-dimensional medical image data using hand gestures
US9538962B1 (en) * 2014-12-31 2017-01-10 Verily Life Sciences Llc Heads-up displays for augmented reality network in a medical environment
US20160225192A1 (en) * 2015-02-03 2016-08-04 Thales USA, Inc. Surgeon head-mounted display apparatuses
WO2016133644A1 (en) * 2015-02-20 2016-08-25 Covidien Lp Operating room and surgical site awareness
WO2016162789A2 (en) * 2015-04-07 2016-10-13 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
CN105788390A (zh) * 2016-04-29 2016-07-20 吉林医药学院 基于增强现实的医学解剖辅助教学系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112076400A (zh) * 2020-10-15 2020-12-15 上海市肺科医院 一种重复定位方法及系统
WO2022077828A1 (zh) * 2020-10-15 2022-04-21 上海市肺科医院 一种重复定位方法及系统
CN112635073A (zh) * 2020-12-18 2021-04-09 四川省疾病预防控制中心 一种密切接触者排查方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
EP3602180A1 (en) 2020-02-05
CN110494921B (zh) 2023-11-28
US20210264680A1 (en) 2021-08-26
US9892564B1 (en) 2018-02-13
US11004271B2 (en) 2021-05-11
EP3602180A4 (en) 2021-04-14
US11481987B2 (en) 2022-10-25
US20230038130A1 (en) 2023-02-09
KR102327527B1 (ko) 2021-11-17
US20200013224A1 (en) 2020-01-09
WO2018183001A1 (en) 2018-10-04
US10475244B2 (en) 2019-11-12
KR20190138799A (ko) 2019-12-16
JP2020516003A (ja) 2020-05-28
US20180286132A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
CN110494921A (zh) 利用三维数据增强患者的实时视图
JP7190145B2 (ja) 患者に貼付される光学コードを用いた患者の画像データと患者の実景との位置合わせ
JP6334821B2 (ja) 医用イメージングのために患者をポジショニングするためのガイドシステム
US20220405935A1 (en) Augmented reality patient positioning using an atlas
KR20210104715A (ko) 광학 코드를 이용한 증강 현실 디스플레이
JP6548110B2 (ja) 医用観察支援システム及び臓器の３次元模型
US11869216B2 (en) Registration of an anatomical body part by detecting a finger pose
US11918294B2 (en) Virtual trajectory planning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant