CN114846518A - 用于医疗成像的增强现实头戴设备 - Google Patents

用于医疗成像的增强现实头戴设备 Download PDF

Info

Publication number
CN114846518A
CN114846518A CN202080089669.6A CN202080089669A CN114846518A CN 114846518 A CN114846518 A CN 114846518A CN 202080089669 A CN202080089669 A CN 202080089669A CN 114846518 A CN114846518 A CN 114846518A
Authority
CN
China
Prior art keywords
target
wearer
image
eye
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080089669.6A
Other languages
English (en)
Inventor
塞德里克·斯帕斯
里卡多·波拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alspetra Co ltd
Original Assignee
Alspetra Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alspetra Co ltd filed Critical Alspetra Co ltd
Publication of CN114846518A publication Critical patent/CN114846518A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/061—Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/3941—Photoluminescent markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/395—Visible markers with marking agent for marking skin or other tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0257—Proximity sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/507—Head Mounted Displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Architecture (AREA)
  • Robotics (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种用于医疗过程的增强现实AR系统(100)。AR系统(100)包括AR头戴设备(2)和处理器(12)。AR头戴设备(2)包括相机(6a、6b)、近眼显示器(4a、4b)和距离传感器(10a、10b)。处理器(12)配置为基于距离传感器(10a，10b)测量的距离的变化，在整个医疗过程中调整由相机(6a，6b)获得的图像在显示器(4a，4b)上的位置。

Description

用于医疗成像的增强现实头戴设备
技术领域
本发明涉及用于医疗过程的增强现实系统。
背景技术
基于荧光的术中手术引导正在成为广泛使用的过程。这一增长特别关注于以能在近红外光谱(near-infrared,NIR)中检测到的吲哚菁绿(Indocyanine Green,ICG)作为荧光标记的临床方法。
一些医疗成像设备已经商业化，以允许在手术中进行基于ICG的引导。该方法用于血流评定、血管通畅性、灌注评估(尤其是在重建手术和旁路手术中)、淋巴成像和作为前哨淋巴结识别和标测的外科手术。进一步的研究工作针对的是成像分子示踪剂在反映组织的新血管特征、结构特征、代谢特征、免疫特征或遗传特征方面的潜力。ICG在医疗过程中的应用率在迅速增长，应用范围正在迅速扩大。
这个过程包括在外科手术之前注射荧光团。然后，近红外光照射到目标区域，激发分子配体，作为响应，分子配体发射特定波长的光。然后，使用对该光的光谱范围敏感的相机来检测该光，以形成清晰指示目标组织的图像。
这种方法允许显著提高对各种癌症类型的原发性肿瘤结节以及前哨淋巴结慢性转移的检测和清除(例如肺癌手术)。其他用途包括在乳腺癌手术中使用肿块切除术或乳房切除术以及计划的辅助前哨淋巴结活检手术。
当前的系统基于获取发射光的移动相机单元，在手术台旁边的外部屏幕上显示检测到的图像。在手术过程中，外科医生不得不将焦点从正在手术的患者身上移开，并主观地将从不同角度获取的显示数据与真实世界视野中真实的患者身体进行比较。这种持续的比较操作使荧光成像变得繁琐，特别是限制了其准确映射荧光标记组织的能力，所述荧光标记的组织显示有外科医生所能看到的内容。在后一个主观步骤中，即使外科医生经过了出色的专业培训，但仍会损失大量的准确性、完整性、专注度和时间效率。
最好有一种方式，通过荧光成像检测到的目标组织视图可以更容易、更准确地与外科医生对患者的真实世界视图(view)相关联。这有可能使该过程更快，更不容易出现人为错误。
发明内容
根据一个方面，提供了一种用于医疗过程的增强现实(augmented reality,AR)系统。AR系统包括：AR头戴设备和处理器。AR头戴设备包括：相机，该相机配置为检测来自目标的光；近眼显示器(near-eye display)，该近眼显示器位于佩戴者的眼睛和目标之间，该近眼显示器配置为基于相机检测到的光显示目标的图像，以便图像覆盖佩戴者的目标视图；以及距离传感器，该距离传感器配置为在整个医疗过程中确定AR头戴设备和目标之间的距离。处理器配置为：基于距离传感器测量到的距离值和佩戴者眼睛的位置，确定从相机获得的目标的图像与佩戴者的目标视图之间的不匹配；调整图像在显示器上的位置，以便基于确定的不匹配进行校正，从而使图像与佩戴者的目标视图相匹配；以及在整个医疗过程中重复不匹配的确定和图像位置的调整，以考虑到在整个医疗过程中由距离传感器测量到的距离的变化。
该系统通过在增强现实设备的显示器中显示目标图像，为执行医疗过程的佩戴者提供了在他们直接视线内通过来自目标的光生成的图像。这就不需要佩戴者调整他们的目光以在观看外部显示器上的图像和患者的真实世界视图之间切换。
佩戴者眼睛位置与目标距离之间的差异能够调整视图之间的差异。这是因为相机的视野与佩戴者对目标的视野不同。在整个过程中，距离传感器通过测量头戴设备与目标之间距离，执行此校正。这允许动态更新增强图像在显示器上的位置，以便显示的图像位于正确的位置，从而与佩戴者对目标的真实世界视图重叠。这确保显示器中的增强图像与佩戴者视野中发射目标的准确位置相匹配。
这可以为佩戴头戴设备的专业医疗人员提供增强生成图像与实际患者之间的精确映射。这可以在对患者进行外科手术时实现更高的精确度。
优选地，处理器进一步配置为通过以下步骤，确定从相机获得的目标图像与佩戴者的目标视图之间的不匹配：在空间中指定一个位置作为固定参考点；基于相机检测到的光生成目标的三维(three-dimensional,3D)模型；基于距离传感器测量到的距离确定目标相对于固定参考点的位置和取向；确定佩戴者眼睛相对于固定参考点的位置；确定头戴设备相对于固定参考点的位置和取向。
通过确定头戴设备的位置和取向，以及佩戴者眼睛相对于固定参考点的目标和位置，将其位置和取向转换为相对于彼此的固定参考坐标系。这允许通过佩戴者的眼睛和头戴设备之间相对于目标的几何关系，通过不断更新的目标距离测量，调整显示器上目标图像的相对位置。除了佩戴者眼睛的位置外，还可以确定佩戴者眼睛的取向。
固定参考点可位于头戴设备上。例如，固定参考点可位于佩戴者眼睛的位置之间。或者，可以将固定参考点设置为相机、距离传感器或显示器位于头戴设备上的点。固定参考点不必位于头戴设备上，也可以是头戴设备外部的点。固定参考点可以是以3D坐标表示的3D空间中的位置。佩戴者眼睛、目标和头戴设备的位置和取向可以转换为3D坐标。
头戴设备相对于固定参考点的位置和取向可为显示器、距离传感器和相机中至少一个的位置和取向。显示器、相机和/或距离传感器相对于彼此的位置是已知的。这允许在调整图像位置时，可以考虑显示器、相机和/或距离传感器中每一个之间的位移。由于它们相对于彼此的位置是静态的，因此它们的位置是已知的。处理器可接收这些位置值。例如，这些位置值可储存在存储器中。当固定参考点是头戴设备上的位置时，通过了解头戴设备的几何结构，可得到显示器、距离传感器和相机相对于固定参考点之间的距离。
替代地，如果还不知道这些位置和取向的值，可以通过一个或更多个传感器对这些位置和取向进行测量。
优选的，处理器进一步配置为通过以下步骤，调整图像在显示器上的位置，从而基于所确定的不匹配进行校正：设置目标3D模型相对于固定参考点的位置；基于确定的目标和头戴设备的位置和取向以及佩戴者眼睛的位置，渲染目标的3D模型以形成调整后的图像；并在显示器上显示调整后的图像。
这样，生成的目标3D模型与头戴设备和佩戴者的眼睛处于同一参考坐标系内。这使得对目标3D模型进行渲染，以便显示器上显示的图像考虑到头戴设备、目标和佩戴者眼睛的位置。
优选地，处理器进一步配置为确定佩戴者眼睛的视差。视差或双眼视差是佩戴者双眼中图像投影点之间的差异。视差可基于所确定的到目标的距离来确定。视差也可以基于佩戴者眼睛的位置来确定。佩戴者眼睛的位置可基于瞳孔间距(interpupilarydistance,IPD)和/或头戴设备与佩戴者眼睛之间的距离确定。优选地，处理器进一步配置为根据确定的距离和佩戴者眼睛的位置，确定佩戴者眼睛的视差，从而确定从相机获得的目标图像与佩戴者的目标视图之间的不匹配。
到目标的距离与视差成反比。通过获得到目标的距离和佩戴者眼睛的位置，可以确定每只眼睛的视差。这使得能够更新显示器中生成的图像的对齐方式，从而使佩戴者的目标视图与佩戴者的每只眼睛的目标视图相匹配。对于佩戴者的每只眼睛，显示器中图像的调整可以是不同的。
在某些方面，AR头戴设备还可包括眼睛跟踪传感器，眼睛跟踪传感器配置为在整个医疗过程中持续确定佩戴者眼睛的位置，这样，在整个医疗过程中重复确定不匹配和调整图像位置时，会考虑到整个医疗过程中佩戴者眼睛位置的变化。
这样，可以跟踪整个医疗过程中佩戴者眼睛的位置，并用于更新显示器中生成图像的位置。在整个医疗过程中，佩戴者眼睛的位置不会固定，他们的视图和目光在整个过程中都会发生变化。通过连续确定佩戴者眼睛的位置及其相对于目标和头戴设备的位置，可以提高所生成图像在佩戴者视野上的定位精度。眼睛跟踪传感器也可配置为在整个医疗过程中确定佩戴者眼睛的取向。
眼睛跟踪传感器还可确定佩戴者眼睛的焦点，即他们在任何特定时间聚焦的位置。通过这种方式，可使生成的图像始终显示在佩戴者目标视图中的焦点位置。
眼睛跟踪传感器的数量可为多个。例如，可以是单个传感器跟踪每只眼睛。或者，单个跟踪传感器可以跟踪两只眼睛的位置。
眼睛跟踪传感器可以是红外线(Infrared,IR)光源，该红外线光源扫描每只眼睛的位置以确定其位置。红外线光源可以是发光二极管(light-emitting diode,LED)或激光器的形式。或者，眼睛跟踪传感器可以是电势眼睛跟踪传感器。电势眼跟踪传感器使用放置在眼睛周围的电极来测量眼睛的运动。
处理器可以接收佩戴者眼睛的位置。优选地，处理器进一步配置为通过获取佩戴者眼睛的瞳孔间距来获取佩戴者眼睛的位置。
瞳孔间距是佩戴者眼睛中每只眼睛的瞳孔之间的距离。每个用户都有他们独有的瞳孔间距。通过获取瞳孔间距，可以用于确定佩戴者眼睛相对于头戴设备和/或固定参考点的相对位置。瞳孔间距还可以用于确定佩戴者眼睛的视差。这有助于将生成的图像定位在显示器上的正确位置，使佩戴者眼睛中的每只眼睛覆盖在每只眼睛的目标视图上。
处理器可自动获得瞳孔间距。这可以通过使用眼睛跟踪传感器来实现。或者，佩戴者可以手动向处理器提供瞳孔间距。例如，佩戴者或其他人可能已经手动测量了瞳孔间距。
替代地，佩戴者眼睛的位置可以通过除使用瞳孔间距以外的方法确定。
如上所述，佩戴者眼睛的位置可以使用眼睛跟踪传感器确定。佩戴者眼睛的位置可以是佩戴者眼睛相对于诸如头戴设备上的点之类的固定参考点的位置。或者，可通过校准过程确定佩戴者眼睛相对于固定参考点的位置。可以在医疗过程之前，或者如果在医疗过程期间确定需要进一步校准时，执行校准过程。此校准可能涉及佩戴者查看外部标记。然后可以进行调整，直到标记的图像位置与佩戴者的标记视图相匹配。这可能涉及佩戴者手动调整图像生成参数，使标记的图像移动以覆盖其标记的视图。标记可以是任何类型的标记，包括点、或线或具有已知形状的参考图案。该校准使处理器能够确定佩戴者眼睛相对于固定参考点的位置和/或取向。
优选地，相机可以包括距离传感器。或者，相机和距离传感器可以是单独的传感器。
距离传感器可以是飞行时间距离传感器和/或传感器可以是深度传感器。或者，距离传感器可以是即时定位与地图构建(Simultaneous Localization and Mapping,SLAM)传感器、视觉SLAM(Visual Simultaneous Localization and Mapping,vSLAM)传感器、点标记图案传感器(dot-marker pattern sensor)或使用与Kinect设备同一原理的传感器。距离传感器可以是仅用于确定距离的传感器。或者，距离传感器可以是配置为执行距离传感器角色的相机。例如，相机和距离传感器可能相同。通过这种方式，相机同时充当相机和距离传感器。或者，可以是多个相机充当距离传感器。
优选地，AR系统还包括光源，该光源配置为发射光，使得光入射到目标上并随后在相机处检测到。
光源可配置为向目标发射光，使得当随后被相机检测到时，光形成代表目标或部分目标的图像。光源可为荧光光源。或者，光源可以通过来自目标的光的反射形成图像。
AR头戴设备可包括光源。将光源放在头戴设备上可以使相机和光源聚焦在同一目标区域。这确保佩戴者可以控制目标上光的照明。或者，光源可能是不位于头戴设备上的外部光源。
优选地，光是近红外(near infra-red,NIR)光。医疗过程可为基于荧光的引导过程。近红外光可用于基于荧光的引导过程。光源可配置为在这些频带内发射光。NIR光的波长可以是780nm量级。这是ICG的激发范围。然而，根据所使用的分子标记，可以使用NIR的其他波长。
替代地，光可以是可见光或红外光。
相机可配置为检测NIR光。相机可配置为在所使用的分子标记传输的波长范围内进行检测。在分子标记为ICG的情况下，波长可为810nm至860nm，取决于组织的类型。相机可配置为检测与光源同一波段的光。
相机可以在整个医疗过程中连续检测光。在其他布置中，相机可布置成在整个医疗过程中间隔的时间段获取光。这样，可以通过该过程更新AR显示器中生成的图像。
在其他实施例中，可以在医疗过程中捕捉一次由相机检测到的图像。在整个过程中，可以不更新此图像，只更新其在近眼显示器上的位置，以反映头戴设备的位置的变化。这种情况下，相机获取的目标图像预期不会发生变化。
处理器可以进一步配置为将相机检测到的光转换为用户可见的图像。当目标发出的光处于IR或NIR波段时，佩戴者的眼睛通常无法看到该光。当光是通过来自目标的荧光激发时会出现这种情况。通过转换该光并在近眼显示器上显示图像，可以让佩戴者看到目标反射的光。该图像增强了佩戴者的视野，提供了他们以前在视线中无法看到的信息。
AR头戴设备可包括处理器。这样外部处理器和头戴设备之间就不需要依靠导线或物理连接。
替代地，处理器可不位于头戴设备上。这样可以减轻头戴设备的重量。例如，处理器可以位于头戴设备外部的服务器或计算系统上。处理器可通过有线连接，连接至头戴设备。或者，处理器可以通过无线连接(例如无线保真(Wireless Fidelity,WiFi)、蓝牙连接或其他类型的射频连接)，连接至头戴设备。
在一些方面中，头戴设备可包括多个相机，所述相机配置为检测激发的光。具有多个相机以检测激发的光能够从两个不同的视点检测图像。这可以改进生成的目标模型。此外，它可以提供头戴设备相对于目标的位置的更精准的估计。
近眼显示器可以是单个显示器。或者，近眼显示器可为两个显示器，一个显示器显示一只眼睛的图像。近眼显示器可以是波导。或者，显示器可以是分束器显示器或激光反射显示器。显示器可以利用反射镜将图像投影到佩戴者的视野中。显示器可以由玻璃和/或塑料制成。这样一来，显示器是透明的。近眼显示器还可以是透镜。或者，近眼显示器可以是将图像投影到佩戴者眼睛中的光束，使图像显示在视网膜上。这样，近眼显示器可为虚拟视网膜显示器。
显示器和/或相机可包括一个或更多个滤波器。所述滤波器可配置为改进对来自目标的特定波长的光的检测，同时移除不需要的波长的其他信号。或者，或者另外，滤波器可以位于光源之前。
根据另一方面，提供了一种用于医疗过程的增强现实AR系统中调整图像位置的方法，该AR系统包括AR头戴设备和处理器，该方法包括：检测从目标激发的光；确定整个医疗过程中头戴设备和目标之间的距离；在位于佩戴者眼睛和目标之间的近眼显示器上显示基于检测到的光的目标图像，使该图像通过以下步骤覆盖头戴设备佩戴者的目标视图：基于确定的距离值确定从相机获得的目标图像与佩戴者的目标视图之间的不匹配，以及佩戴者眼睛的位置；以及调整图像在显示器上的位置，使得基于所确定的不匹配对该位置进行校正。
根据另一方面，提供了一种非暂时性计算机可读介质，当在处理器上执行时，该介质被配置为执行上述方法。
附图说明
图1示出了根据本发明的示例性增强现实(AR)系统；
图2示出了根据本发明的示例性AR系统的自顶向下示意图；
图3示出了根据本发明的另一示例性AR系统的自顶向下示意图；
图4示出了使用如图2或图3所示的示例性AR头戴设备显示目标3D图像的步骤的流程图；
图5示出了根据本发明的另一示例性AR系统的自顶向下示意图；
图6示出了使用如图5所示的示例性AR头戴设备显示目标3D图像的步骤的流程图；
图7示出了根据本发明的另一示例性AR系统的自顶向下示意图；
图8示出了使用如图7所示的示例性AR头戴设备显示目标3D图像的步骤的流程图；
图9示出了用于使用示例性AR头戴设备显示目标3D图像的校准过程的参考；
图10示出了根据本发明的头戴设备和用于计算差异的目标之间的几何关系；以及
图11示出了使用如图2、图3或图5所示的示例性AR头戴设备显示目标的3D图像的进一步步骤的流程图。
具体实施方式
图1示出了根据本发明实施例的增强现实(AR)系统100。AR系统100包括AR头戴设备2和处理器12。
增强现实头戴设备2有两个显示器：第一显示器4a和第二显示器4b，第一显示器4a用于向头戴设备的佩戴者的右眼显示图像，第二显示器4b用于向头戴设备2的佩戴者的左眼显示图像。显示器4a和4b连接在头戴设备2的外壳16上。
两个相机6a、6b位于头戴设备的壳体16上。相机6a位于第一显示器4a上方，相机6b位于第二显示器4b上方。相机6a、6b能够检测近红外(NIR)光。
光源8也位于壳体16上。光源8是配置为发射NIR光的NIR光源。光源8位于相机6a和6b之间，但光源8可以位于AR头戴设备2上的任何位置。或者，光源8可以位于AR头戴设备2的外部。
两个距离传感器10a和10b位于头戴设备2的壳体16上。距离传感器是飞行时间传感器，该飞行时间传感器配置为确定从头戴设备2到物体的距离。
头戴设备2还包括眼睛跟踪传感器18。眼睛跟踪传感器位于头戴设备中面向佩戴者头部的一侧。眼睛跟踪传感器配置为确定头戴设备2的佩戴者的眼睛的位置。
处理器12位于AR头戴设备2的外部。处理器可以是计算机或其他数据处理装置的处理器。AR头戴设备2通过电缆14连接至处理器12。电缆14用于在头戴设备和处理器12之间发送信号。例如，从相机6a、6b、眼睛跟踪传感器18和距离传感器10a、10b获得的数据可以通过电缆14发送到处理器12。电缆14还用于在处理器12和头戴设备2之间传送通信信号，以控制相机6a、6b、距离传感器10a、10b、光源8和眼睛跟踪传感器18来执行它们的功能。
图2、图3、图5和图7显示了根据本发明的AR头戴设备2的自顶向下示意图，每个图显示了彼此具有不同传感器布置的头戴设备2。头戴设备2显示为用于基于荧光的引导过程。
图2、图3、图5和图7中所示的AR头戴设备2的特征用与图1中所示的特征相同的附图标记进行了说明。还显示了目标20(在这种情况下为患者)中用于检测荧光图像的部分。
图2显示了具有两个相机6a和6b的AR头戴设备。图2中所示的头戴设备没有单独的距离传感器。除了检测来自目标20的光以形成图像之外，两个相机6a和6b起到距离传感器的作用。
图2示出了为空间关系，该空间关系被确定并被用于调整在显示器4a、4b中生成的图像的位置，以使该位置与佩戴者对目标20的视图相匹配。
目标20和每个相机6a、6b之间的距离22由相机6a、6b测量。
由于AR头戴设备2没有眼睛跟踪传感器，因此佩戴者眼睛中的每只眼睛和显示器4a、4b中的每一个之间的距离26由校准过程确定。校准过程还涉及确定相机6a和6b中的每个与佩戴者眼睛30a和30b中的每只眼睛之间的距离28。瞳孔间距(IPD)也可通过校准过程确定24。替代地，佩戴者可以获知IPD并将其输入AR系统。
从头戴设备2的几何结构可知，两个显示器4a和4b之间的距离32以及两个相机6a、6b之间的距离34。这允许确定目标20与显示器之间的距离40以及目标与佩戴者眼睛30a、30b之间的距离38。
通过确定这些距离中的每一个，可以将它们与头戴设备2上的固定参考点36进行比较。这使得处理器12能够调整图像在显示器上的位置，使得对每只眼睛而言图像在显示器上的位置与佩戴者的目标视图相匹配。
在整个过程中，佩戴者可以相对于患者20移动他们的头部。通过在整个过程中持续测量距离22，可以持续进行上述计算，以在整个过程中调整图像在显示器上的位置，使图像位置与佩戴者对目标的实际真实视图相匹配。
图3显示了AR头戴设备，该头戴设备具有两个相机6a和6b以及两个距离传感器10a和10b。在这种情况下，相机6a、6b起到捕获从目标20发射的光以在显示器4a、4b中形成图像的作用。距离传感器10a、10b具有确定患者20与头戴设备2之间距离的作用。距离传感器10a、10b获取的距离如图3中的42所示。目标20和相机6a、6b之间的距离22可以根据确定的距离值42和已知的空间关系来计算。图3所示的其他空间关系与图2所示的空间关系具有相似的附图标记，以与关于图2描述的同一方式确定图3所示的其他空间关系。
图2和图3的AR系统100在显示目标图像时执行的步骤如图4所示。
在步骤101，通过校准过程获得佩戴者眼睛的瞳孔间距。在步骤103，计算并保存佩戴者眼睛相对于头戴设备或虚拟3D空间中任何其他点的位置和取向。
在步骤105，使用头戴设备的已知几何结构，确定头戴设备和相机、距离传感器、眼睛跟踪传感器和AR/混合现实(Mixed Reality,MR)显示器相对于彼此的位置和取向。这基于图2和图3所示的已知几何结构。这使得在步骤107能够确定头戴设备及其所有组件和传感器相对于彼此或虚拟3D空间中任何其他点的位置和取向。
一旦佩戴者将AR头戴设备放在他们的头上，医疗过程开始时就执行步骤101至107。可以认为，这些确定的值和空间关系在整个医疗过程中不会改变，因此无需在整个过程中进一步计算这些值。
步骤109涉及通过距离传感器(如图3所示)和/或相机传感器(如图2所示)获得的测量值，获取头戴设备相对于目标的位置和取向。距离传感器可使用飞行时间或用于确定距离的任何已知的测量类型。相机6a、6b可以使用vSLAM或任何已知的方法来通过图像传感器确定距离。在步骤111，计算并保存目标相对于头戴设备的原点或虚拟3D空间中任何其他点的位置和取向。
步骤113涉及通过相机获取来自目标的光，以记录手术伤口的图像，从而通过荧光来检测不同波长的生物标记。在步骤115，可以基于相机接收到的光相对于局部坐标来构建和保存目标区域的3D模型的几何结构。局部坐标可以是头戴设备上的同一点，也可以是虚拟空间中确定其他位置和方向的同一点。
可以使用摄影测量法(photogrammetry)根据相机获得的图像创建3D模型。这涉及到使用计算机视觉和计算几何算法从二维(two-dimensional,2D)捕获中复原3D主体。
在步骤117，确定虚拟3D空间的原点。如图2和图3所示，这是头戴设备上位于两个显示器4a和4b之间的点36。该虚拟3D空间可以是与步骤103、107、111、115中确定头戴设备、佩戴者眼睛和3D模型的位置和取向相同的点。这造成在步骤119中，佩戴者眼睛的位置和取向以及目标相对于虚拟3D空间的原点被转换为虚拟3D空间。
然后，在步骤121，渲染虚拟3D空间中的目标的3D模型。
在步骤123，渲染的3D模型随后显示在AR头戴设备2的显示器4a、4b中。这使得为佩戴者的每只眼睛以透视图的方式自动显示目标的3D模型。
在整个医疗过程中执行步骤109、111。这可以是连续的，也可以是固定的时间点。这是因为佩戴者的头部和AR头戴设备2可能会在整个过程中移动。这将导致步骤109中确定的值在整个过程中发生变化。
步骤113和115也可以在整个医疗过程中执行。这可以是连续的，也可以是固定的时间点。这是因为，随着医疗过程的进行，相机检测到的光可能会在整个过程中发生变化。步骤109、111、113和115可以在整个医疗过程中并行运行。
因此，还可以在整个医疗过程中执行步骤119、121和123，以考虑到从步骤109到115获得的更新数据。
图5所示为AR头戴设备2，与图3相同，但该AR头戴设备2也有两个眼睛跟踪传感器18a和18b。与图3所示相同的空间关系示出在图5中。然而，眼睛跟踪传感器18a、18b和佩戴者眼睛30a、30b之间的距离44是使用眼睛跟踪传感器18a、18b测量的。这使得能够在整个医疗过程中确定佩戴者眼睛的准确位置和取向。还确定了眼睛跟踪传感器和显示器之间的距离46。这可以使用眼睛跟踪传感器18a、18b来确定，或者可以是基于头戴设备的几何结构的已知的空间关系。
距离44的确定以及佩戴者眼睛的跟踪可以在整个医疗过程中执行。这使得显示器中的目标图像能够根据佩戴者眼睛的运动而进行更新。这可以提供从佩戴者对目标的视图与AR显示器上显示的图像的更精确匹配，因为在整个过程中佩戴者眼睛的位置是已知的。眼睛跟踪传感器可以在整个医疗过程中或以固定的时间间隔连续确定佩戴者眼睛的位置。眼睛跟踪传感器可以在测量到目标的距离的同时确定佩戴者眼睛的位置。这可以是每0.5s一次。替代地，它可以比每0.5s一次更频繁。也可以是每1s一次。使用眼睛跟踪传感器可以提供比不使用眼睛跟踪传感器更高的精度，由于考虑到了佩戴者眼睛运动的变化，因此眼睛跟踪传感器可以允许亚厘米精度。这与图2和图3中可以获得厘米级精度的头戴设备形成对比。此外，如果头戴设备的位置在佩戴者的头部移动，眼睛跟踪传感器可以通过执行重新校准来纠正此移动。这样，拥有眼睛跟踪传感器就无需进行例如在过程开始时使用校准基准所执行的初始校准。
眼睛跟踪传感器可以是使用近红外技术以及相机(或其他类型的光学传感器)来跟踪佩戴者眼睛的目光。这可以涉及到使用瞳孔中心角膜反射(Pupil Center CornealReflection,PCCR)。替代地，眼睛跟踪传感器可以利用眼电描记(electro-oculography)技术。这涉及到测量眼睛周围皮肤电势的干电极。微型电子设备解释电信号以计算眼睛运动。采样率可能约为每秒256个样本，但这取决于相机的类型。替代地，可以使用已知的任何类型的眼睛跟踪技术。
图5的AR系统100在显示目标图像时所述执行的步骤如图6所示。图6中与图4中的步骤相同的每个步骤都由相同的附图标记表示。
图6中的步骤201和203与图4中的步骤101和103不同。步骤201涉及从眼睛跟踪传感器进行的测量中获取佩戴者眼睛的IPD以及佩戴者眼睛的位置和取向。然后，步骤203涉及计算并保存佩戴者眼睛相对于头戴设备或虚拟3D空间中任何其他点的焦点、位置和取向。这基于眼睛跟踪传感器18a、18b进行的测量。
如上所述，在整个医疗过程中执行步骤201和203。然后将其反馈到步骤119中，以在步骤121和123中渲染和显示校正后的图像。
图7显示了不带距离传感器或眼睛跟踪传感器的AR头戴设备2。图7中的AR头戴设备2是仅具有单个相机6的AR头戴设备2。使用这种AR头戴设备需要在最初进行额外的计算，以获得目标的3D表示和位置。这要求佩戴者在医疗过程开始时从多个视角相对于目标移动，以便相机可以获得目标的多个图像，从而重构目标的3D模型。由于单个相机6是唯一的传感器，因此以上过程无法在整个医疗过程中实时完成。
从图7可以看出，目标到显示器40和用户眼睛38的距离是通过校准确定的，与图2不同的是，相机和固定参考点36之间的距离34也是通过校准确定的。这是除IPD 24、相机和佩戴者眼睛之间的距离28以及佩戴者眼睛和显示器之间的距离26之外的其他数据，如图2所示。显示器和固定参考点36之间的距离32可以从头戴设备的几何结构中得知。
图7的AR系统100在显示目标图像时执行的步骤如图8所示。图8中与图4中的步骤相同的每个步骤都由相同的附图标记表示。
如图4所示，在步骤107中，相对于头戴设备或3D空间中的位置确定头戴设备和头戴设备组件的位置和取向。在步骤103中还确定佩戴者眼睛的位置和取向。
在步骤315，基于相机6接收的光生成目标区域的3D模型。由于只有一个相机，因此通过测光算法从多个不同角度获取图像以形成3D模型。因此，使用图7的具有单个相机的AR头戴设备，不可能实时生成3D模型，必须通过使用测光算法的初始过程来扫描目标并生成3D模型。通过手动校准309设置3D模型相对于头戴设备的位置和取向。佩戴者看到扫描表面的目标。这使得能够相对于头戴设备或其虚拟3D空间311中的任何其他点来设置目标的3D生成模型的位置和取向。然后，如图4所述，在显示器中变换119、渲染121和显示123该3D模型的图像。
如上所述，当AR头戴设备2没有用于确定佩戴者眼睛的位置的眼睛跟踪传感器(如图2、图3和图7所示的头戴设备)时，有必要执行校准过程。这可涉及到佩戴者查看外部校准参考46，如图9所示。图9中的校准参考是参考图案48。参考图案48的实际位置如图9所示。并且，基参考图案的未校正图像用50示出。然后进行调整，直到参考图案50的图像位置与佩戴者对参考图案48的视图相匹配。这可能涉及佩戴者手动调整图像生成的参数，以便移动参考图案50的图像以覆盖佩戴者对参考图案48的视图。此校准使处理器能够确定佩戴者眼睛相对于固定参考点(例如头戴设备上的点)的位置。
现在将描述关于如何校正显示器上的图像对齐的进一步细节。这涉及如何实现该校正以及如何应用的替代算法和方法的示例。
为了基于佩戴者的透视图校正显示器上的图像，需要确定相机的参数，参数包括位置和取向及相机的光学特性。为了校正图像，还要确定目标的3D信息以及为每只眼睛显示的图像之间的差异。基于步骤109和111确定相机的位置和取向。基于步骤113和115确定目标的3D信息。基于步骤101、103、201、203、105、107、109和111详细说明为每只眼睛显示的图像之间的差异。
相机的参数基于表示相机的光学特性的内部参数和表示相机的位置和取向的外部参数确定。
内部参数表示光学特性，可以使用针孔相机模型对内部参数进行估计。内部参数包括相机的焦距、相机视图所投影的平面(即显示器)的纵横比，以及光轴截断图像平面的图像中心(其主点)的位置。
针孔相机模型的内部特性定义了从显示器的3D空间到2D坐标空间的投影变换：
Figure BDA0003709139350000131
式中，f是从相机中心出发的并且垂直于显示器的焦距，cu,v是显示器平面的中心的坐标。
相机的位置和取向是通过计算相机的姿态来确定的。这可以使用相机上的传感器(例如距离传感器)进行计算。姿态表示为：
Figure BDA0003709139350000141
其中，R是表示相机取向的3x3旋转矩阵，T是表示相机平移的平移向量。
基于针孔相机模型的内部参数和外部参数，可以将3D点映射到2D图像坐标。下面的矩阵变换Tcam显示了这一点：
Tcam＝K*Tpose
这是相机姿态(即外部参数)和投影矩阵(即内部参数)的乘积。
在物理实现中，针孔相机模型并不总是精确的，因为在运行时，用户眼睛相对于显示器的可能位置不同。因此，需要进行以下初始校准。假设我们知道眼睛相对于显示器的位置的平移向量teye＝[x，y，z]t，我们可以为每只眼睛定义如下的内部矩阵：
Figure BDA0003709139350000142
向量teye取决于用户眼睛相对于显示器的当前位置，因此当头戴设备重新定位在用户头部或当其他用户佩戴头戴设备并需要重新校准时，内部矩阵的参数将发生变化。如果是这种情况，基于旧眼睛位置t0＝[x0，y0，z0]t的旧矩阵K0可以更新为新的内部矩阵K1。
Figure BDA0003709139350000143
在校准运行时，应估计特定头戴设备和用户配置的初始内部和外部矩阵。存在不同的校准过程，其使用手动交互，以通过手动将世界参考点与屏幕上显示的2D点对齐来收集3D和2D对应关系。例如，Tuceryan和Navad(Tuceryan，Mihran&Navab，Nassir.(2000).Single point active alignment method(SPAAM)for optical see-through HMDcalibration for AR.149-158.10.1109/ISAR.2000.880938.(图塞良·米赫兰和纳瓦布·纳西尔(2000)的“用于增强现实光学透明头戴式显示器校准的单点主动对准方法”，第149-158页，10.1109/ISAR.2000.880938))介绍了SPAAM(单点主动对准法(Single PointActiveAlignment Method))。他们建议以一次一个的方式收集各个2D-3D点对应，然后同时求解所有投影参数。为此，用户必须将2D符号(圆或十字)与3D对象对齐。对头戴设备和3D对象进行空间跟踪。一旦我们有了至少6个对应，它们就被用来创建和求解线性方程组，作为矩阵K的参数的初始估计。为了跟踪眼睛位置，这些值可以在运行时自动计算。
现在，我们将描述如何计算佩戴者眼睛中的每只眼睛的差异。然后，这用于调整图像在显示器中的位置。差异的计算如图10所示，图10中的下列术语定义如下：
Ol＝左眼位置
Ol＝右眼位置
P＝目标位置
f＝眼睛和显示器之间的距离
pl和pr＝左眼的主点和右眼的主点
cl和cr＝左眼显示器中心和右眼显示器中心
T＝IPD
xl和xr＝每只眼睛的p和c位置之间的差异
Z＝到目标的距离
从图10可以看出，差异d＝xl-xr:
Figure BDA0003709139350000151
因此，差异与到目标的距离成反比。通过了解整个医疗过程中与目标的距离以及佩戴者眼睛的位置，可以更新所生成的目标的3D模型(图像)的对齐方式，从而使其与佩戴者的双眼处于正确对齐状态。这进一步基于如上所述的估计的相机参数。
图11显示了调整图2、图3或图5的头戴设备的显示器中图像位置的方法的进一步流程图。
在步骤501，确定3D虚拟空间中的原点。这被设置为确定空间关系的位置。
在步骤503，确定佩戴者的IPD。这可以手动输入，例如由佩戴者输入。替代地，如果头戴设备具有眼睛跟踪传感器，则可以通过眼睛跟踪传感器来确定。
在步骤505，确定头戴设备相对于目标的位置和取向。这可以通过相机接收来自目标的光并如上所述分析该光来实现。
在步骤507，基于IPD和头戴设备的位置确定佩戴者眼睛的位置。这可以在医疗过程之前使用校准过程确定。替代地，也可以通过使用眼睛跟踪传感器来确定佩戴者的眼睛与头戴设备之间的距离。
在步骤509，基于到目标的距离和IPD来确定双眼之间的差异。到目标的距离通过距离传感器和/或相机确定。
在步骤511，基于在相机处接收到的光构建目标的3D模型的几何结构。在执行步骤503至509的同时，可以并行执行步骤511。
步骤513涉及渲染目标的3D模型。这基于步骤511中构建的3D模型，并基于步骤509中计算的差异以及步骤505中头戴设备相对于目标区域的位置进行渲染。
在步骤515，确定头戴设备的位置是否已经改变。如果改变，则重复步骤503至513。如果没改变，则基于以前的计算值渲染同一3D模型。
在步骤517，确定目标是否已改变。如果改变，则执行步骤519以使用在步骤513中渲染的更新后3D模型更新目标的3D模型。
在详细描述了本公开的各个方面之后，显而易见的是，在不脱离所附权利要求中定义的本公开的各个方面的范围的情况下，可以进行修改和变化。由于可以在不脱离本公开各个方面的范围的情况下对上述构造、产品和方法进行各种更改，因此，上述描述中包含的以及附图中所示的所有事项都应被解释为说明性的，而不是限制性的。
尽管图2、图3、图5和图7显示了确定的、计算的或已知的空间关系，但可以根据本发明确定任何其他类型的空间关系。所需的只是可以确定头戴设备、佩戴者和目标之间的关系，以便可以基于佩戴者眼睛中的每只眼睛的视图校正显示器中图像上的位置。
如上所述，可以使用摄影测量法根据相机获得的图像创建3D模型。替代地，可以使用三角测量法。这可以包括激光三角测量。这涉及激光束投影到目标表面。激光射线变形的测量提供了目标几何结构的详细信息。替代地，它可涉及使用激光束的飞行时间。激光束投影到目标表面，然后由传感器收集。激光从发射到接收之间的传播时间给出了表面的几何信息。这些方法可涉及头戴设备，所述头戴设备具有一个或更多个可用于执行这些技术的激光源。图中所示的任何AR头戴设备都可以有这样的激光源。
尽管示出了眼睛跟踪传感器与距离传感器和相机结合使用，但眼睛跟踪传感器可应用于所述的任何AR头戴设备。例如，眼睛跟踪传感器可应用于仅具有单个相机且没有距离传感器的AR头戴设备。替代地，眼睛跟踪传感器可应用于具有多个相机且没有距离传感器的AR头戴设备。
图像的检测和相关动作被描述为由相机执行。然而，可以使用任何类型的图像传感器/图像传感装置。相机可配置为检测静止图像或视频。
AR头戴设备在图中显示为具有两个显示器，两个显示器通过两个臂(支架)附接至壳体上。然而，应当理解，本发明的AR头戴设备不限于这种布置，并且可以设想将头戴式显示器(head mounted display,HMD)附接到佩戴者的任何常规方式。这可能包括使用绕过和/或越过头部的带子以将头戴设备固定到位。替代地，可以使用将设备附接在整个头部顶部的附件，例如帽子。
讨论了该装置在基于荧光的医疗引导过程中的使用情况。然而，该装置可以用于任何类型的医疗过程，其目的是检测来自患者身体或组织的辐射以生成图像。也可在医疗过程之外使用该装置。例如，该装置可以在其他行业中得到应用，这些行业需要校正AR图像在显示器上的位置，使得AR图像与佩戴者的视图相匹配。这样的行业可能是建筑业或结构行业。
处理器可以是用于在数据处理装置中执行指令的处理器。例如，指令可以储存在存储器中。处理器可以包括一个或更多个用于执行指令的处理单元(例如，在多核配置中)。这些指令可以在数据处理装置上的诸如UNIX、LINUX、Microsoft
Figure BDA0003709139350000181
之类的各种不同操作系统中执行。更具体地说，这些指令可能会对储存在存储器中的数据进行各种数据操作(例如，创建、读取、更新和删除过程)。还应当理解，在计算机实现的方法启动时，可以在初始化期间执行各种指令。为了执行本文所述的一个或更多个方法，可能需要一些操作，而其他操作可能更通用和/或特定于特定编程语言(例如，C、C++、Java或其他合适的编程语言等)。

Claims (15)

1.一种用于医疗过程的增强现实AR系统，包括：
AR头戴设备，所述AR头戴设备包括：
相机，所述相机配置为检测来自目标的光；
近眼显示器，所述近眼显示器位于佩戴者的眼睛和所述目标之间，所述显示器配置为基于所述相机检测到的光显示所述目标的图像，以便所述图像覆盖所述佩戴者的目标视图；和
距离传感器，所述距离传感器配置为在整个医疗过程中确定所述头戴设备和所述目标之间的距离；以及
处理器，所述处理器配置为：
基于所述距离传感器测量的距离值和所述佩戴者的眼睛的位置，确定从所述相机获得的所述目标的图像与所述佩戴者的目标视图之间的不匹配；
调整所述图像在所述显示器上的位置，以便基于所确定的不匹配对所述位置进行校正，从而使所述图像与所述佩戴者的目标视图相匹配；以及
在整个所述医疗过程中重复所述不匹配的确定和所述图像的位置的调整，以考虑整个所述医疗过程中由所述距离传感器测量的距离的变化。
2.根据权利要求1所述的AR系统，其中，所述处理器进一步配置为通过以下配置来确定从所述相机获得的所述目标的图像与所述佩戴者的目标视图之间的不匹配：
在空间中指定位置作为固定参考点；
基于所述相机检测到的光生成所述目标的3D模型；
基于所述距离传感器测量的距离，确定所述目标相对于所述固定参考点的位置和取向；
确定所述佩戴者的眼睛相对于所述固定参考点的位置；
确定所述头戴设备相对于所述固定参考点的位置和取向。
3.根据权利要求2所述的AR系统，其中，所述头戴设备相对于所述固定参考点的位置和取向是所述显示器、所述距离传感器和所述相机中至少一个的位置和取向。
4.根据权利要求2或3所述的AR系统，其中，所述处理器进一步配置为通过以下配置来调整所述图像在所述显示器上的位置，以便基于所确定的不匹配对所述图像进行校正：
设置所述目标的3D模型相对于所述固定参考点的位置；
基于所确定的目标的位置和取向，以及头戴设备和所述佩戴者的眼睛的位置，渲染所述目标的3D模型以形成调整后的图像；以及
在所述显示器上显示所述调整后的图像。
5.根据任何前述权利要求所述的AR系统，其中，所述AR头戴设备还包括眼睛跟踪传感器，所述眼睛跟踪传感器配置为在整个所述医疗过程中持续确定所述佩戴者的眼睛的位置，使得在整个所述医疗过程中重复确定所述不匹配和调整所述图像的位置时，会考虑到整个所述医疗过程中所述佩戴者的眼睛的位置的变化。
6.根据任何前述权利要求所述的AR系统，其中，所述处理器进一步配置为通过以下配置来确定从所述相机获得的所述目标的图像与所述佩戴者的目标视图之间的不匹配：
根据确定的距离和所述佩戴者的眼睛的位置，确定所述佩戴者的眼睛的差异。
7.根据任何前述权利要求所述的AR系统，其中，所述距离传感器是飞行时间距离传感器、或即时定位与地图构建SLAM传感器或视觉SLAM传感器。
8.根据任何前述权利要求所述的AR系统，还包括：光源，所述光源被配置为发射光，使所述光入射到所述目标上，然后在所述相机上检测到所述光。
9.根据权利要求8所述的AR系统，其中，所述AR头戴设备包括光源。
10.根据前述权利要求所述的AR系统，其中，所述光为近红外光。
11.根据任何前述权利要求所述的AR系统，其中，所述AR头戴设备包括所述处理器。
12.根据任何前述权利要求所述的AR系统，其中，所述头戴设备包括多个相机，所述多个相机被配置为检测所激发的光。
13.根据任何前述权利要求所述的AR系统，其中，所述相机包括所述距离传感器。
14.一种在医疗过程中调整增强现实AR系统中图像位置的方法，所述AR系统包括AR头戴设备和处理器，所述方法包括：
检测从目标激发的光；
在整个医疗过程中确定所述头戴设备和所述目标之间的距离；
在位于佩戴者的眼睛和所述目标之间的近眼显示器上显示基于检测到的光的所述目标的图像，以便所述图像通过以下步骤覆盖所述佩戴者对所述目标的头戴设备视图：
基于确定的距离的值和所述佩戴者的眼睛的位置，确定从所述相机获得的所述目标的图像与所述佩戴者对所述目标的视图之间的不匹配；以及
调整所述图像在所述显示器上的位置，以便基于确定的不匹配对所述图像进行校正。
15.一种非暂时性计算机可读介质，当在处理器上执行时，所述介质配置为执行权利要求14中的步骤。
CN202080089669.6A 2019-11-05 2020-10-30 用于医疗成像的增强现实头戴设备 Pending CN114846518A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1916068.8A GB2588774B (en) 2019-11-05 2019-11-05 Augmented reality headset for medical imaging
GB1916068.8 2019-11-05
PCT/EP2020/080578 WO2021089440A1 (en) 2019-11-05 2020-10-30 Augmented reality headset for medical imaging

Publications (1)

Publication Number Publication Date
CN114846518A true CN114846518A (zh) 2022-08-02

Family

ID=69058973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080089669.6A Pending CN114846518A (zh) 2019-11-05 2020-10-30 用于医疗成像的增强现实头戴设备

Country Status (11)

Country Link
US (2) US20220387130A1 (zh)
EP (1) EP3942521A1 (zh)
JP (1) JP2023500376A (zh)
CN (1) CN114846518A (zh)
BR (1) BR112022008620A2 (zh)
GB (1) GB2588774B (zh)
IL (1) IL292797A (zh)
LU (1) LU500127B1 (zh)
MX (1) MX2022005334A (zh)
TW (1) TW202128074A (zh)
WO (1) WO2021089440A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2588774B (en) * 2019-11-05 2024-05-15 Arspectra Sarl Augmented reality headset for medical imaging
WO2022234156A1 (en) * 2021-05-05 2022-11-10 Arspectra Sàrl Enhanced augmented reality headset for medical imaging
TWI777791B (zh) * 2021-09-29 2022-09-11 財團法人車輛研究測試中心 人機介面之動態虛像顯示距離驗證方法及其系統
CN114189668B (zh) * 2021-11-26 2024-03-15 长沙海润生物技术有限公司 一种穿戴式创面成像设备及成像方法
TWI796222B (zh) * 2022-05-12 2023-03-11 國立臺灣大學 以沉浸式虛擬實境設備評估具視覺空間特異性之反應時間評估系統與方法
LU503212B1 (en) 2022-12-19 2024-06-19 Arspectra S A R L Head mounted display device and system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020113756A1 (en) * 2000-09-25 2002-08-22 Mihran Tuceryan System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
US20150199847A1 (en) * 2014-01-14 2015-07-16 Caterpillar Inc. Head Mountable Display System
US20180249151A1 (en) * 2015-03-17 2018-08-30 Raytrx, Llc Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing
WO2018200717A1 (en) * 2017-04-25 2018-11-01 Raytrx, Llc Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing
KR20180136219A (ko) * 2017-06-14 2018-12-24 고려대학교 산학협력단 영상유도 수술용 고글 시스템
US20190289284A1 (en) * 2016-11-24 2019-09-19 University Of Washington Light field capture and rendering for head-mounted displays

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013156333A1 (en) * 2012-04-19 2013-10-24 Thomson Licensing Method and device for correcting distortion errors due to accommodation effect in stereoscopic display
JP2017524281A (ja) * 2014-05-20 2017-08-24 ユニヴァーシティ オブ ワシントン 媒介現実の外科用視覚化のためのシステム及び方法
WO2016048911A1 (en) * 2014-09-22 2016-03-31 Invuity, Inc. Hyperspectral imager
US10702353B2 (en) * 2014-12-05 2020-07-07 Camplex, Inc. Surgical visualizations systems and displays
JP6698824B2 (ja) * 2016-04-11 2020-05-27 富士フイルム株式会社 画像表示制御装置および方法並びにプログラム
CN108259883B (zh) * 2018-04-04 2020-11-20 联想(北京)有限公司 图像处理方法、头戴式显示器以及可读存储介质
WO2020023672A1 (en) * 2018-07-24 2020-01-30 Magic Leap, Inc. Display systems and methods for determining vertical alignment between left and right displays and a user's eyes
TWI683136B (zh) * 2019-01-03 2020-01-21 宏碁股份有限公司 視訊穿透式頭戴顯示器及其控制方法
GB2588774B (en) * 2019-11-05 2024-05-15 Arspectra Sarl Augmented reality headset for medical imaging

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020113756A1 (en) * 2000-09-25 2002-08-22 Mihran Tuceryan System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
US20150199847A1 (en) * 2014-01-14 2015-07-16 Caterpillar Inc. Head Mountable Display System
US20180249151A1 (en) * 2015-03-17 2018-08-30 Raytrx, Llc Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing
US20190289284A1 (en) * 2016-11-24 2019-09-19 University Of Washington Light field capture and rendering for head-mounted displays
WO2018200717A1 (en) * 2017-04-25 2018-11-01 Raytrx, Llc Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing
KR20180136219A (ko) * 2017-06-14 2018-12-24 고려대학교 산학협력단 영상유도 수술용 고글 시스템

Also Published As

Publication number Publication date
GB2588774B (en) 2024-05-15
LU500127B1 (en) 2022-02-03
BR112022008620A2 (pt) 2022-07-19
EP3942521A1 (en) 2022-01-26
WO2021089440A1 (en) 2021-05-14
US20220387130A1 (en) 2022-12-08
GB201916068D0 (en) 2019-12-18
IL292797A (en) 2022-07-01
JP2023500376A (ja) 2023-01-05
TW202128074A (zh) 2021-08-01
US20220354582A1 (en) 2022-11-10
GB2588774A (en) 2021-05-12
LU500127A1 (en) 2021-11-05
MX2022005334A (es) 2022-08-22

Similar Documents

Publication Publication Date Title
CN114846518A (zh) 用于医疗成像的增强现实头戴设备
US20240000295A1 (en) Light field capture and rendering for head-mounted displays
AU2016290620B2 (en) System and method for scanning anatomical structures and for displaying a scanning result
RU2621488C2 (ru) Укрепляемый на голове дисплей и способ управления для укрепляемого на голове дисплея
EP3076892B1 (en) A medical optical tracking system
US8885177B2 (en) Medical wide field of view optical tracking system
JP4517049B2 (ja) 視線検出方法および視線検出装置
US20160247322A1 (en) Electronic apparatus, method and storage medium
KR102009558B1 (ko) 영상유도 수술용 고글 시스템
US20230410445A1 (en) Augmented-reality surgical system using depth sensing
KR102097390B1 (ko) 시선 검출 기반의 스마트 안경 표시 장치
KR101667152B1 (ko) 수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법
CN113367638B (zh) 获取高精度三维荧光图像的方法、装置、存储介质和终端
US11822089B2 (en) Head wearable virtual image module for superimposing virtual image on real-time image
CN113197666A (zh) 用于手术导航的装置及系统
CN113138664A (zh) 基于光场感知的眼球追踪系统、方法
US20240225776A1 (en) Augmented reality headset and probe for medical imaging
KR20210042784A (ko) 시선 검출 기반의 스마트 안경 표시 장치
WO2022234156A1 (en) Enhanced augmented reality headset for medical imaging
JP6795744B2 (ja) 医療支援方法および医療支援装置
WO2022233961A1 (en) Augmented reality headset and probe for medical imaging
KR20230147088A (ko) 확대된 치과 치료 부위를 시각화하기 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination