CN113646808A - 空间跟踪系统与增强现实显示器的配准 - Google Patents

空间跟踪系统与增强现实显示器的配准 Download PDF

Info

Publication number
CN113646808A
CN113646808A CN202080020976.9A CN202080020976A CN113646808A CN 113646808 A CN113646808 A CN 113646808A CN 202080020976 A CN202080020976 A CN 202080020976A CN 113646808 A CN113646808 A CN 113646808A
Authority
CN
China
Prior art keywords
coordinate system
tracking
augmented reality
dimensional
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080020976.9A
Other languages
English (en)
Inventor
M·霍勒迪
V·戈尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centreline Biomedical Co ltd
Centerline Biomedical Inc
Original Assignee
Centreline Biomedical Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centreline Biomedical Co ltd filed Critical Centreline Biomedical Co ltd
Publication of CN113646808A publication Critical patent/CN113646808A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

示例方法包括从相机获取图像，每个相机相对于增强现实(AR)设备的空间坐标系具有已知位置和朝向。所获取的图像包括多模式标记设备的部分，该多模式标记设备包括至少一个跟踪传感器，该跟踪传感器具有在跟踪系统的坐标系中可检测的三维位置。基于相应获取的图像中的每一个以及相机相对于AR设备的已知位置和朝向，估计多模式标记设备的部分相对于AR设备的空间坐标系的三维位置。该方法包括计算仿射变换，该仿射变换被配置为将跟踪系统的坐标系与位于AR设备的空间坐标系中的显示器的视觉空间配准。

Description

空间跟踪系统与增强现实显示器的配准
对相关申请的交叉引用
本申请要求于2019年4月24日提交的标题为“REGISTRATION OF SPATIALTRACKING SYSTEM WITH AUGMENTED REALITY DISPLAY”的美国临时申请No.62/838,027号和于2019年4月4日提交的标题为“SPATIAL REGISTRATION OF TRACKING SYSTEM WITH ANIMAGE USING TWO-DIMENSIONAL IMAGE PROJECTIONS”的美国临时申请No.62/829,394号的优先权，其中每一个都通过引用整体并入本文。
技术领域
本公开涉及用于将跟踪系统与增强现实系统配准的系统和方法。
背景技术
增强(或混合)现实是现实世界环境的交互体验，其中驻留在现实世界中的对象被计算机生成的感知信息“增强”，诸如通过覆盖建设性感官信息或破坏性感官信息。建设性感官信息示例的一个示例是使用增强现实头戴式耳机将计算机生成的图形覆盖在环境的真实物理视图上，使得将其感知为真实环境的沉浸式方面。但是，由于头戴式耳机是固定在用户身上的，因此计算机生成的图形需要即时正确地配准到环境的真实物理视图。当正在配准的配准图形不表示环境中可见的对象时，这变得更加复杂。
发明内容
本公开涉及用于将跟踪系统与增强现实系统配准的系统和方法。
作为示例，一种方法包括从相机获取图像，每个相机相对于增强现实设备的空间坐标系具有已知位置和朝向。所获取的图像可以包括多模式标记设备的预定部分，其相对于多模式标记设备的至少一个跟踪传感器具有固定的已知空间位置。至少一个跟踪传感器具有在跟踪系统的坐标系中可检测的三维位置。该方法还包括基于相应获取的图像中的每一个以及相机相对于增强现实设备的空间坐标系的已知位置和朝向来估计多模式标记设备的预定部分相对于增强现实设备的空间坐标系的三维位置。该方法还包括计算仿射变换，该仿射变换被配置为基于多模式标记设备的相应预定部分的估计的三维位置和多模式标记设备的预定部分相对于至少一个跟踪传感器的已知空间位置将跟踪系统的坐标系与位于增强现实设备的空间坐标系中的显示器的视觉空间配准。
作为另一个示例，一种系统包括增强现实设备，该增强现实设备包括用于获取相应视场的图像的相机。一个或多个非暂态计算机可读介质被配置为存储数据和可由处理器执行的指令。数据包括用于由相机获取的图像的增强现实图像数据，每个相机相对于增强现实设备的空间坐标系具有已知位置和朝向。增强现实图像数据可以包括多模式标记设备的预定部分，其相对于多模式标记设备的至少一个跟踪传感器具有固定的已知空间位置，并且至少一个跟踪传感器具有在跟踪系统的坐标系中可检测的三维位置。指令包括基于获取的增强现实图像数据和相机相对于增强现实设备的空间坐标系的已知位置和朝向来生成多模式标记设备的预定部分相对于增强现实设备的空间坐标系的三维位置的代码。指令还包括计算仿射变换的代码，该仿射变换用于基于多模式标记设备的相应预定部分的三维位置和多模式标记设备的预定部分相对于至少一个跟踪传感器的已知空间位置和朝向来将跟踪系统的坐标系与位于增强现实设备的空间坐标系中的显示器的视觉空间配准。
附图说明
图1是描绘将跟踪系统的传感器配准到增强现实显示器的空间坐标系中的方法的示例的流程图。
图2描绘了标记设备的示例。
图3A和图3B描绘了多模式标记设备的示例。
图4描绘了增强现实设备的示例，该设备包括用于获取可视化空间的二维图像的相机。
图5描绘了用于生成仿射变换的系统的示例。
图6描绘了用于控制对一个或多个仿射变换的使用或校正的配准管理器的示例。
图7和图8是来自增强现实设备的相应相机的图像，该增强现实设备包括与解剖结构的共同配准的模型相邻的多模式标记。
图9描绘了基于根据图1的方法执行的配准而生成的增强现实可视化的示例。
具体实施方式
本公开一般而言涉及用于将跟踪系统和一个或多个模型的集合与在增强现实(AR)显示设备(诸如头戴式显示器)上渲染的AR视场配准的方法和系统。该方法利用包括可由多于一种模态检测的基准标记的标记设备(例如，多模式标记)。例如，标记设备包括第一基准标记以提供在由相对于可视化空间(例如，AR视场)具有固定位置的相机集合生成的图像中可见的图案，以及可由三维空间跟踪系统检测的一个或多个标记的另一个集合。
作为示例，两个或更多个相机(例如，数字灰度相机)的布置被安装为沿着AR设备的框架彼此间隔开的前向相机。因此，相机被配置用于为重叠的视场提供二维图像。以这种方式，相机的视场包括AR设备的视场并且可以包括多模式标记设备的一个或多个基准标记。除了对相机的光谱可见的一个或多个基准标记(其可能对人眼不可见)之外，标记设备还包括可由三维空间跟踪系统检测的一个或多个第二基准标记(例如，一个或多个跟踪传感器)。每个第二基准标记被布置在相对于第一基准标记的预定空间位置和朝向，第一基准标记在由相机获取的相应图像(例如，实时图像)中是可辨别的。
作为进一步的示例，每个相机获取包括视场的图像，该视场包括与标记设备的第一基准标记对应的标记图案。处理每个图像以定位和识别每个相应图像中的图案的预定部分(例如，矩形印刷标记的拐角)。使用每个相机相对于AR设备的已知位置(例如，固定位置)，将标记图案的识别出的部分(例如，点或区域)转换成AR系统的三维空间坐标系(即，AR视场)中的对应三维位置。
一个或多个跟踪传感器相对于(一个或多个)基准标记的位置和朝向还作为跟踪位置数据存储在存储器中。此外，可以预先计算用于将(一个或多个)跟踪传感器与坐标系对准的一个或多个仿射变换，该变换也存储在存储器中(例如，作为跟踪到模型系统的变换)。在示例中，预先计算的变换是一个或多个仿射变换的集合，其被预先计算以将跟踪坐标系与先前的三维(3D)图像扫描(例如，规程前扫描)配准。先前3D图像扫描可以是高分辨率成像技术，诸如计算机断层扫描(CT)、磁共振成像(MRI)，其可以在规程前数小时、数天甚至数周执行。一个或多个模型(诸如管状解剖结构的中心线模型和/或网格模型)可以从先前3D图像扫描导出，并且因此在先前3D图像的坐标系中空间配准。如本文所公开的，可以计算用于将每个跟踪传感器的位置和朝向与先前3D图像在公共坐标系中配准的(一个或多个)预先计算的仿射变换。
计算另一个仿射变换(本文也称为AR对准变换或零变换矩阵)以将跟踪系统的坐标系与AR坐标系对准。例如，基于跟踪位置数据、AR图像数据和跟踪传感器变换来确定AR对准变换。跟踪传感器变换可以限定跟踪传感器和一个或多个基准之间的预定空间关系，这些基准被集成到多模式标记设备中并具有固定的空间偏移量，并且使得能够确定标记在跟踪系统的坐标空间中的预定空间位置部分。因此，AR对准变换使得系统和方法能够配准每个跟踪传感器的位置和朝向信息(如跟踪系统所提供的)与AR系统模态的坐标系。本文公开的附加变换还可以被用于从其它空间域变换到AR坐标系以并发地在AR显示器中渲染。如本文所公开的，AR显示设备和跟踪传感器可以相对于患者的身体移动，并且系统可以基于随时间变化的这种AR图像数据和跟踪传感器数据连续地(例如，实时地)重新计算变换。
图1是描绘用于将三维坐标系与AR设备的AR视觉显示器的坐标系配准的方法100的示例的流程图。在示例中，方法100是机器可读指令的集合，其可由处理器设备执行以基于存储在存储器101中的数据来执行方法。作为背景，方法100被用于将在另一个坐标系中具有已知的空间位置和朝向的一个或多个对象(物理和/或虚拟对象)与AR显示器的坐标系对准。对象可以包括在AR设备的视场内不可见的对象(例如，表示内部解剖结构的传感器和/或模型)。例如，一个或多个传感器具有可由三维跟踪系统检测的位置和朝向。传感器可以隐藏在视线之外，包括位于患者体内以及作为标记设备的一部分(例如，嵌入在标记中)。AR显示器还可以包括在AR设备的视场内可见的对象。
可以预先计算用于将(一个或多个)跟踪传感器与模型坐标系对准的一个或多个变换114并将其存储(例如，作为传感器到模型空间变换)在存储器101中，如114处所示。例如，变换114可以是传感器到模型空间仿射变换，该变换被编程为将公共坐标系中的跟踪坐标系与先前3D医学图像(例如，术前CT扫描)的三维空间坐标系配准。可以根据术前医学图像生成感兴趣区域的一个或多个解剖模型，并因此在先前3D图像的公共坐标系内配准。如本文所公开的，模型可以包括用于脉管系统以及其它感兴趣的解剖结构的中心线模型和表面模型。
作为进一步的示例，执行术前CT扫描以生成患者的感兴趣区域(例如，患者的躯干)的三维图像数据。图像数据可以作为DICOM图像或其它已知格式存储在存储器中。可以处理(例如，分割和提取)图像数据以提供分割的图像体积，该图像体积包括可以为其生成一个或多个模型(诸如本文公开的模型)的(一个或多个)感兴趣区域。例如，可以通过三维医学成像模态在术前针对给定患者获取先前三维图像。作为示例，术前图像数据可以与患者的感兴趣区域的术前动脉CT扫描对应，诸如可以在对应手术之前数周或数月获得。其它成像模态可以被用于提供三维图像数据(诸如MRI、超声检查、正电子发射断层扫描等)。此类扫描是外科手术工作流程中术前计划的常见部分，以帮助确定假体尺寸并计划外科手术或其它干预措施。
在一些示例中，可以将术前图像数据中捕获的一个或多个解剖结构转换成术前图像坐标系中的相应三维模型。作为示例，该模型是数学上描述管状解剖结构(例如，患者的血管)的隐式模型，诸如包括管状结构的中心线和表面。隐式模型可以包括参数的小集合，诸如与细长解剖结构的放样b样条(基础样条)函数对应。作为一个示例，解剖模型生成器可以被编程为根据标题为“Automated Centerline Extraction Method and Generation ofCorresponding Analytical Expression and Use Thereof”的美国专利公开No.2011/0026793的公开内容来计算隐式模型数据，该公开通过引用并入本文。为管状解剖结构生成隐式模型的另一个示例在“Analytical centerline extract and surface fit using CTscans for aortic aneurysm repair”，Goel，Vikash R，Master's Thesis，CornellUniversity(2005)中公开，其通过引用并入本文。也可以利用其它类型的几何表示来提供隐式模型。例如，可以生成表示放样椭圆或三角形网格的参数，以提供在三维坐标系中表示患者感兴趣的解剖结构的解剖模型数据。生成的三维网格(基于由术前医学成像模态获取的三维先前图像数据)可以存储在存储器101中，作为由术前图像模态获取的三维图像的补充或替代。网格可以是静态(例如，固定)网格或者可以随时间变化(例如，随着受试者的心跳或呼吸而变化)。例如，将网格模型生成为四维模型(在模型空间中)以具有随时间变化的三维配置，诸如门控生物功能，诸如呼吸或心率(例如，在EKG中检测到的)。
基于获取的术中图像数据执行术中配准阶段。术中数据可以在规程之前或规程期间获取，并且可以包括3D图像数据或2D图像数据，诸如来自术中锥形束CT(CBCT)扫描或另一个术中放射线扫描(例如，上面并入的美国申请No.62/829394中公开的非CBCT配准方法)。术中配准(例如，CBCT配准或非CBCT配准)在标记设备(例如，跟踪板)附接到患者身上时执行，诸如恰在规程之前或在规程期间。例如，标记设备包括相对于一个或多个跟踪传感器具有已知位置和朝向的跟踪板中的一个或多个不透射线对象，其可以被用于确定配准空间中的跟踪传感器位置。即，标记设备使得能够确定用于将跟踪系统的空间与术中配准空间在空间上对准的变换(例如，跟踪系统到术中变换——在本文中也称为第一变换矩阵)。术中配准空间是患者在规程期间所处的坐标系，并且被用于在规程期间分别由AR设备和跟踪系统并发地获取AR和跟踪数据。
确定另一个变换(例如，术中到术前的变换——本文也称为第二变换矩阵)以将术中图像的坐标系与术前CT扫描在空间上对准。例如，执行手动配准以将CBCT扫描中的骨骼与术前CT扫描中的骨骼对准。可替代地，可以执行自动或半自动配准过程。因此，术中到术前变换使得能够在术中图像空间和术前CT坐标空间之间进行空间映射。术中到术前变换可以与跟踪系统到术中变换(例如，通过矩阵乘法)组合以提供实现从跟踪系统坐标系到术前图像坐标系的空间配准的跟踪系统到术前变换114。例如，跟踪系统空间中任何传感器的位置和朝向(例如，来自跟踪系统的跟踪传感器数据120)可以首先从跟踪系统空间映射到术中空间(例如，使用跟踪系统到术中变换)，然后从术中空间映射到术前空间(使用术中到术前变换)。如上面所提到的，跟踪系统到术中变换和术中到术前变换可以组合以提供跟踪系统到术前变换114。
如本文所公开的，多模式标记设备包括一个或多个可见基准标记(参见例如图2)和集成到公共固定结构中的一个或多个跟踪传感器(参见例如图3A和图3B)。标记设备的固定结构为(一个或多个)基准标记和(一个或多个)跟踪传感器提供了在三维空间中相对于彼此已知的空间关系和朝向(例如，固定的空间偏移量)，该关系可以存储在存储器中，作为在112处演示的跟踪传感器数据。多模式标记上的基准标记包括一个或多个标记图案(参见例如图2)，其在由相对于AR设备具有固定位置的相应相机(参见例如图4)捕获的图像中可见。图像可以在可见光谱或可见光谱之外的另一个光谱(例如，红外线)中，其可以在102处由相机获取的图像中捕获。每个相机相对于AR设备的坐标的位置和朝向可以存储在存储器101中，作为在108处演示的相机位置数据。作为示例，相机可以被实现为安装在AR设备的显示器的框架的相应固定位置处(例如，在沿着头戴式显示器的前部间隔开的位置处)的前向相机的集合。
作为又一个示例，标记设备包括一个或多个传感器，该一个或多个传感器被配置为指示跟踪系统的坐标系中的三维位置。例如，跟踪系统是生成电磁场的电磁跟踪系统。每个传感器提供基于电磁场的传感器信号，该信号被转换成每个相应传感器的位置和朝向信息。示例电磁场跟踪系统可从加拿大安大略省的Northern Digital公司商购。跟踪系统可以以足以实现基本上传感器位置的实时确定(例如，提供描述传感器位置和朝向的向量)的输出采样率(例如，每秒六十个样本)为每个传感器提供跟踪数据。跟踪系统因此可以处理跟踪数据的每一帧，使得跟踪数据同样可以表示由跟踪系统获取的实时跟踪数据，其可以被配准到成像系统的坐标系中，如本文所公开的。在一些示例中，每个传感器可以可由跟踪系统检测以使得能够在五个或六个自由度上跟踪传感器。在其它示例中可以使用其它类型的传感器和跟踪系统。
在这个示例背景下，在102处，该方法包括从安装到AR设备(例如，AR头戴式耳机308)的每个相机获取图像。每个相机可以被配置为针对彼此重叠的视场获取相应的图像。例如，在AR设备包括两个相机的情况下，获取第一和第二图像。可以以可以与相机的原生采样率或其倍数对应的成像采样率获取图像并且随着时间的推移不断更新图像。出于这个示例的目的，假设在102处获取的图像包括多模式标记的至少一个基准标记，而这种标记被放置在患者身体附近或附接到患者身体。
在104处，执行图像处理(例如，通过标记识别功能444)以识别在102处获取的每个图像中的(一个或多个)基准标记。对于每个采样时间可以有多个总图像——每个相机一个。作为一个示例，可见基准标记以ArUco标记的形式在标记设备的表面上提供(参见例如Open Source Computer Vision Library：http://opencv.org)。图2、图3A和图4中示出了此类基准标记的示例。以这种方式，在104处可以实现图像处理算法(例如，OpenCV库的detectMarkers()函数)来检测和识别每个这样的基准标记。在具有不同类型标记的示例中，可以使用其它图像处理技术来定位标记。104处的标记识别可以是完全自动化的和/或响应于识别标记的用户输入而是用户交互式的。识别出的标记(例如，相应图像中的像素位置)可以存储在存储器101中以用于进一步处理。
在106处，针对基准标记的相应预定部分相对于AR设备的坐标系估计三维位置(例如，通过标记点生成器446)。三维位置是基于相应图像(在104处确定的)中的每一个中的这种预定部分的位置并且基于AR相机位置数据108来确定的。在102处从相机获取的图像中表示的(一个或多个)基准标记可以包括具有矩形形状(或其它可识别形状)的标记边界的图案，该边界在其边缘相交处具有相应拐角。对于包括相机可见的ArUco类型标记的组合标记的示例，可以为每个标记的每个拐角生成空间坐标，即，围绕每个跟踪传感器的四个点的集合的坐标。此外，可以确定来自包括ArUco类型基准标记的表示的每个图像的相应拐角的位置，诸如本文公开的(参见例如与图4相关的描述)。图4和对应的描述展示了如何可以在AR空间的三维坐标中定位这种基准标记的相应拐角的示例。
在110处，计算(例如，通过零变换计算器462)用于将跟踪系统的坐标系与AR坐标系对准的仿射变换。在110处计算的变换可以存储在存储器101中(例如，与零变换矩阵410对应)。因此，在110处生成的仿射变换可以直接应用于将来自跟踪系统空间的跟踪数据配准到AR坐标空间和/或将来自AR坐标空间的AR数据配准到跟踪系统空间。在110处确定的仿射变换可以基于在106处确定的(一个或多个)标记的预定部分的估计位置和跟踪传感器数据112而导出。如上面所提到的，跟踪传感器数据112可以表示(一个或多个)标记的预定部分和标记设备的(一个或多个)跟踪传感器的已知的、固定的三维空间关系。作为示例，(一个或多个)标记的预定部分与传感器的固定关系可以在制造期间确定并印刷在标记上。作为另一个示例，该关系可以被测量并录入到被编程为在110处确定变换的计算机中(例如，经由用户界面)。
在116处，在110处确定的仿射变换以及一个或多个其它变换114被应用于一个或多个模型(例如，3D网格结构)和跟踪位置数据(对于一个或多个传感器)以在AR显示器的坐标系中放置此类模型和传感器。例如，当从高分辨率术前CT扫描生成模型时，AR设备要使用的每个模型(例如，中心线模型、表面网格模型)都自然地在术前坐标空间中表达。为了将此类模型放置在适当的位置，以便它们与AR显示器中的真实世界对象重叠，在110处确定的仿射变换与一个或多个其它变换114组合以映射到AR设备当前被使用的AR坐标系中。其它变换114可以包括被编程为在术中图像坐标系与跟踪系统坐标空间之间配准的第一变换(例如，第一变换矩阵412)。附加地或可替代地，其它变换114可以包括第二变换(例如，第二变换矩阵414)，其被编程为在术中图像坐标系与先前3D图像的坐标系(例如，术前图像空间)之间配准。方法100在116处应用变换110和114(或其逆)中的每一个的特定方式取决于最终的可视化空间和在这种可视化空间中共同配置的数据的域。域可以被自动识别，诸如基于描述域的数据或元数据的类型，和/或它可以由用户响应于用户输入来指定。在下面的示例中，假设可视化空间是AR坐标系。
在118处，AR视场被显示在AR显示器上，其可以包括在通过对模型和其它输入数据应用方法100确定的3D空间位置处重叠(例如，以图形方式叠加)真实世界对象的位置处的计算机生成的模型。从118，该方法返回到102并且基于在102处获取的图像的改变而重复以更新110处的仿射变换。以这种方式，AR视场(例如，全息图)被持续地实时更新，以便AR显示器上生成的全息图在空间和时间上与患者身体的内部解剖结构对准，即使这些结构实际上不可见。例如，如本文所公开的，方法100操作以在AR显示器的空间坐标系中将内部解剖结构(在现实世界中不可见)与患者的身体对准，AR显示器可以相对于患者的身体移动。有利地，通过实现方法100，在110处计算出的变换响应于在102处获取的图像中变化的信息而改变；但是，其它变换(包括变换114)可以保持不变，使得可以更高效地实时执行相关联的计算。
举例来说，当在AR空间域中渲染118处的输出可视化时，用于骨骼和脉管系统的模型(例如，从先前的3D图像空间中生成)可以通过应用多个变换(例如，inv(T0)*inv(T1)*inv(T2))在AR显示器中渲染，并且将对EM空间中跟踪的任何东西(导管、导丝等)应用单个变换(例如，inv(T0))。在示例中，当在先前的3D图像空间中渲染可视化时，不要求对用于骨骼和脉管系统的模型(在术前CT图像空间中)应用变换，而将对在跟踪系统空间中跟踪的任何东西(例如，具有一个或多个跟踪传感器的对象，诸如导管、导丝等)应用两个变换(例如，T1*T2)。例如，如本文所公开的，可以通过矩阵乘法来应用变换以将数据从一个空间域映射到另一个空间域。
作为进一步的示例，AR设备(例如，AR设备308)可以被实现为AR头戴式耳机(例如，来自微软的Hololens或Hololens2或其它智能眼镜)。在此类AR头戴式耳机中，AR设备会不断完善其周围环境的地图。因此，在AR视场中生成的全息图具有从其原始位置“漂移”的趋势。当需要精确对准时(诸如对于医疗应用)，“漂移”会出现问题。因而，基于在102处获取的作为来自AR头戴式耳机的前置相机的图像流提供的图像，方法100在110处持续地更新变换。此外，通过使用两个非平行相机，可以通过计算效率高的三角测量(减少CPU负载)以及不断更新来准确估计标记的拐角的位置。这使得无需重新配准即可校正“漂移”。
图2描绘了基准标记200的示例。如这个示例中所示，标记包括黑色和白色(例如，二值化)并且包括沿着其整个外围边缘(例如，具有厚度“t”，诸如一个或多个像素厚)的每一侧的厚黑色矩形(例如，正方形)边界202。标记200的内部包括白色符号204和206，它们可以被用于限定朝向和/或其它可以与标记相关联的识别特征，诸如根据ArUco库。
图3A和图3B描绘了多模式标记设备250的示例。在第一和第二图像的获取期间(例如，在102处)，多模式标记设备250可以放置在患者附近(例如，患者旁边或身上)。例如，多模式标记设备250可以在规程期间放置在明显无障碍的表面中(例如，病床上)或附接到患者的身体。图3A示出了标记250的一个侧表面252，其包括位于白色边界256内的基准标记(例如，图2的标记)254以提供白色边界和基准标记的厚黑色边界258(例如，在点线和白色边界256之间延伸)之间的对比。符号260和262在与黑色边界258间隔开的基准标记上。
图3B的示例是来自同一标记250的视图，示出了另一个侧表面268。在图3B中，一个或多个跟踪传感器(例如，电磁传感器)270在相对于基准标记254的拐角264的已知位置和朝向处附接到标记设备250。在一个示例中，一个或多个传感器270可以分别在空间上感测多个自由度(DOF)。例如，一个或多个传感器270可以被配置为感测六(6)个DOF。在一个示例中，传感器270可以使用电磁跟踪系统来定位，例如本文公开的。跟踪系统允许基于传感器信号确定每个传感器270的位置和朝向，诸如响应于电磁场而从传感器向跟踪系统提供的。
图4描绘了可以被用于从多个非平行视角获取基准标记302的二维图像的相机系统300的示意性示例。例如，相机系统300包括集成到AR头戴式耳机308的前面板的一对前置相机304和306。例如，相机304和306可以被实现为数字灰度相机以获取光谱的可见部分中的对象的图像。在其它示例中，相机304和306可以获取可见光谱之外的图像，并且基准标记302可以对用户的眼睛不可见。因为相机304和306附接到头戴式耳机或其它便携式设备308，所以由每个相机获取的图像可以基于用户的移动而随时间变化。例如，当用户在戴着AR头戴式耳机308时头部移动时，视角也会相应地移动，从而改变每个图像中基准标记的位置。
举例来说，通过将相机304和306中的每一个建模为理想的针孔相机(例如，假设没有失真)来执行配准，其中通过使用诸如以下的透视变换将3D点投影到图像平面中来形成产生的图像中的每个像素：
Figure BDA0003260514450000131
其中：
X、Y和Z是公共坐标系中的3D点的坐标；
u和v是相机图像中投影点的坐标，以像素为单位；
fx和fy是焦距，以像素为单位；
cx和cy是图像中心，以像素为单位；以及
r##和t#分别限定相机在公共坐标系中的位置和朝向。
为了创建向量v1或v2，基准标记302(例如，ArUco类型标记)的拐角位于图像中作为u和v。可以基于已知空间位置填充方程的其余值，并在焦距(例如，相机与相应拐角位置之间的距离)处针对X和Y求解方程。然后通过从这个新位置减去相机的位置(p1或p2)来计算向量。例如，点p1和p2是基于头戴式耳机308的位置限定的。在设备校准期间测量相机的焦距。
然后可以通过找到两个向量v1和v2的交集(或最近接近)来计算标记302的拐角的3D位置。ArUco标记在公共坐标系中的位置和朝向是通过对每个相应图像中针对基准标记识别出的所有四个拐角位置重复这个过程来计算的。举例来说，可以根据以下伪代码计算两个向量的交集(或最近接近)：
Figure BDA0003260514450000141
因此，标记的拐角的估计位置(例如，在106处确定的)和相应的变换(例如，在110处确定的)可以被用于使得能够在AR视场中渲染一个或多个可视化。
作为一个示例，如本文所公开的生成的变换可以由配准引擎(例如，配准管理器494)实现，以将来自一个或多个跟踪传感器的跟踪数据配准到AR视觉坐标系中以提供配准的跟踪数据。在AR设备或AR设备链接到的计算机上执行的输出生成器(例如，输出生成器512)可以利用配准的跟踪数据和模型数据来提供对应的输出可视化，该可视化以图形方式在显示器(例如，显示器510)上渲染，其中模型被可视化为位于患者身体上方的AR视觉空间中的全息覆盖。
图5描绘了用于生成仿射变换的系统400的示例。在这个示例中，仿射变换被示为变换矩阵410、412和414，用于配准跟踪数据、模型和图像数据，如本文所公开的。在数据和指令的背景下描述系统400，并且处理器可以访问数据并执行指令以执行本文公开的功能。应该理解的是，实现系统可以不需要所有功能。例如，可以分开生成不同的变换矩阵中的每一个，这在成像模态改变或在另一个实施方式中被替换时提供优势，因为不需要修改整个系统。
在图5的示例中，系统400被配置为执行程序代码以生成零变换矩阵(T0)410。变换矩阵T0可以被配置为从跟踪系统424的跟踪系统坐标系变换到AR设备的AR坐标系和/或从AR坐标系变换到跟踪坐标系。如本文所公开的，AR设备包括两个或更多个AR相机440。作为示例，AR设备可以被实现为AR头戴式耳机、智能电话、平板计算机或其它移动设备。相机440可以集成到或以其它方式耦合到相对于AR设备的已知位置。每个相机440为相应的视场443提供AR图像数据，诸如可以是多模式标记设备(例如，标记设备250)的至少一个AR标记436。跟踪系统424被配置为提供跟踪数据426以表示一个或多个标记跟踪传感器434和/或对象跟踪传感器438的位置和朝向。
例如，组合标记系统432(例如，包括图3A、图3B或图4的一个或多个多模式标记设备)可以附接到患者的身体430或放置在患者的身体附近。在图5的示例中，组合标记系统432可以包括一个或多个标记跟踪传感器434，其提供表示每个标记设备在跟踪系统424的坐标系内的位置和朝向的标记跟踪数据。在示例中，一个或多个对象传感器438可以相对于在患者身体430内可移动的对象固定，用于识别这种传感器在跟踪系统的坐标系中的位置。例如，每个标记跟踪传感器434响应于由跟踪系统424的场生成器生成的电磁场而提供信号(例如，感应电流)。每个这样的对象传感器438可以固定到可在患者身体430内移动的对象(例如，导丝、导管等)。因此，对象跟踪传感器438还可以向跟踪系统424提供信号，基于该信号，跟踪系统424可以计算表示这种传感器(以及它所附接到的对象)在跟踪系统坐标系中的位置和朝向的对应跟踪数据。如上面所提到的，因此跟踪数据426表示多模式标记系统432的每个相应的对象跟踪传感器438以及标记跟踪传感器434的位置和朝向。
举例来说，跟踪系统424可以包括在428处展示的提供非电离场的发送器(例如，电磁场生成器)，非电离场由每个传感器434和438检测以向跟踪系统提供对应的传感器信号。示例跟踪系统424是可从加拿大安大略省的Northern Digital公司商购的AURORA空间测量系统。跟踪系统424可以针对每个传感器以足以实现传感器位置的基本实时确定(例如，提供描述传感器位置和朝向的向量)的输出采样率(例如，每秒六十个样本)提供跟踪数据426。因此系统424的跟踪处理子系统可以处理跟踪数据的每一帧，使得跟踪数据同样可以表示由跟踪系统获取的实时跟踪数据以使得能够在给定的空间域中生成图形表示，其中该跟踪系统可以通过应用一个或多个生成的变换410、412和/或414而配准到另一个坐标系中，如本文所公开的。跟踪系统424可以以能够实现传感器所附接的对象以及组合标记系统的实时定位和可视化的计算的输出采样率提供跟踪数据426。
零传感器变换460被配置为将跟踪数据426转换成AR标记436的位置，该AR标记436在每个相应的标记设备上实现，诸如本文所公开的。变换460提供每个位置作为跟踪系统坐标空间中的3D空间坐标，并且如果标记设备不在跟踪空间中移动则可以保持固定，或者如果标记设备在跟踪空间中移动则可以随时间变化。例如，在跟踪坐标系中，给定标记设备的每个AR标记与作为标记系统432的给定标记设备的一部分的标记跟踪传感器434的位置处于固定、已知的偏移量(例如，3D向量)处。如上面所提到的，标记系统可以包括多个多模式标记设备，诸如ArUco类型(例如，设备250)，或如本文公开的其它标记配置。
作为示例，传感器变换460因此被配置为基于跟踪数据426和每个跟踪传感器相对于预定标记位置的已知偏移量来计算跟踪系统空间中的点(例如，标记位置的3D坐标)。对于ArUco类型多模式标记设备的示例，标记位置可以是标记的拐角处的四个点的集合(例如，emPoint_1，emPoint_2，emPoint_3，emPoint_4)，诸如本文所公开的。例如，可以通过乘以传感器变换(TS)来针对给定标记设备计算具有提供跟踪数据426的传感器的ArUco类型标记设备的标记位置的集合在跟踪系统空间中的点，该传感器变换包括跟踪传感器3D坐标和相应的偏移量，如下：
emPoint_1＝mult(TS，offset_1)，
emPoint_2＝mult(TS，offset_2)，
emPoint_3＝mult(TS，offset_3)，以及
emPoint_4＝mult(TS，offset_4)
由传感器变换460针对AR标记436确定的点可以被布置在每个相应标记设备(如果多于一个标记设备)的点的集合中或作为包含所有点的单个集合。
如上面所提到的，每个AR相机440为AR视场443提供AR相机数据442。例如，AR视场443可以包括一个或多个AR标记436，诸如在还包括一个或多个标记跟踪传感器434的多模式标记设备的暴露表面上。因此，传感器变换460为在由AR相机数据442表示的图像中可见的同一AR标记上的点提供跟踪坐标系中的3D空间坐标。
作为进一步的示例，系统400包括标记识别功能444(例如，可执行指令，诸如与104处的识别对应)，其被配置为在AR图像数据442中提供的每个图像帧中定位每个标记(例如，ArUco标记或其它类型的标记)。对于包括ArUco类型标记的组合标记的示例，功能444可以调用ArUco检测功能以定位每个相应的标记。对于包括除ArUco类型标记以外的标记的示例组合标记，这种标记的外围或其它特征因此可以通过图像阈值化以及应用于AR图像442中的图像像素的其它图像处理技术(例如，特征提取)来定位。标记识别功能444可以是完全自动化的。识别出的标记(例如，相应图像中的像素位置)可以存储在存储器中以供进一步处理。
标记点生成器446被编程以生成在由图像数据442提供的(例如，两个或更多个)图像中识别出的每个标记的部分的空间坐标。对于包括ArUco类型标记的标记设备的示例，可以针对每个标记的拐角生成空间坐标，即，四个点的集合的坐标(例如，围绕跟踪传感器或以其它方式具有与跟踪传感器的已知相对位置)。作为示例，标记点生成器例如被编程为执行最近点函数(例如，ClosestPoint()函数)，诸如本文所公开的，以定位标记设备的每个相应跟踪传感器周围的点的集合。给定AR标记436的点的每个集合可以与相应的标记跟踪传感器434链接和关联以促进生成变换矩阵410。
零变换计算器462被编程为基于在AR空间域中由标记点生成器446提供的点(空间坐标)和由跟踪空间域中的零传感器变换函数460提供的点(空间坐标)来计算零变换矩阵410。因此，这些点表示不同坐标系中AR标记的相同部分。例如，变换计算器462被编程为对准(例如，共同配准)已经在每个空间坐标系中测得的点的集合。由变换计算器462实现以共同配准相应域(例如，跟踪系统坐标系和AR坐标系)中的点的这种配准算法的示例可以包括误差最小化函数或基变换函数。
作为一个示例，变换计算器462被编程为实现误差最小化函数。给定点的有序集合，变换计算器478将确定使投影的AR位置与测得的位置之间的距离最小化的未知变换T0。例如，对于T1，变换计算器462被编程为找到使点之间的距离最小化的变换，诸如如下：
sum(n＝1..i,distance(mult(T1,imPoint_n),emPoint_n)^2)
其中：
n表示i个点中给定的一个(i是给定多模式标记的点数)；
arPoint_n是点n在AR图像空间中的空间坐标；以及
emPoint_n是点n在跟踪空间中的空间坐标。
在示例中，误差最小化可以通过单值分解或多种误差最小化算法来解决。
作为另一个示例，变换计算器462被编程为实现基变换函数以导出零变换矩阵410。在AR标记是ArUco标记的示例中，AR标记的拐角以使得能够生成基向量(限定坐标空间的x、y和z单位向量)的集合的方式布置。例如，代替于最小化误差，将变换计算器462编程为在两个坐标系中找到基向量并将它们应用到公共点。这在计算上比上面提到的误差最小化方法更高效，但要求特定的点布置。
举例来说，为了明确地限定基向量，所需的布置是形成90度角的3个点，具有足够的附加信息以允许我们识别哪个点是哪个(例如，让由3个点创建的三角形的腿长度不同)。图2、图3A和图4中所示的ArUco类型标记具有足以使得能够使用这种基变换函数的点布置。
在每个坐标系中，变换计算器462从3个点构建基向量。例如，给定point_1、point_2和point_3(例如，直角三角形的顶点)，提供两个线段，一个从point_2到point_1，另一个从point_2到point_3，这些线段是直角三角形的腿。这些点和线段提供以下基向量：
basis_z＝normalize(point_1-point_2)
basis_x＝normalize(point_3-point_2)
basis_y＝cross(basis_x,basis_z)
根据基向量，变换计算器162被编程为创建限定point_2的位置和朝向的矩阵(例如，4*4矩阵)，如下：
矩阵(point_2)＝[basis_x.x,basis_y.x,basis_z.x,point_2.x,basis_x.y,basis_y.y,basis_z.y,point_2.y,basis_x.z,basis_y.z,basis_z.z,point_2.z,0,0,0,1]
利用在每个坐标系中限定的矩阵，变换计算器462可以计算两个坐标系之间的变换矩阵410。例如，对于变换矩阵T0：
ar_Matrix是根据AR坐标系中的基向量限定的矩阵；以及
em_Matrix是根据跟踪坐标系中的基向量限定的矩阵。
由上可知，变换计算器462可以通过将基向量跟踪矩阵(em_Matrix)与基向量AR矩阵的逆矩阵(inv(ar_Matrix))相乘来确定变换矩阵(T0)410，诸如如下：
T0＝mult(em_Matrix,inv(im_Matrix))
变换矩阵410可以存储在存储器中并用于从跟踪系统空间到AR显示空间的变换。例如，可以通过将变换T0应用于跟踪数据的位置和朝向信息而将对象传感器438在患者身体内的位置(如由跟踪数据426所表示的)配准到AR空间中。如上面所提到的，变换T0可以实时地持续更新，诸如从而补偿AR相机的视场相对于AR标记的移动和/或如果多模式标记被移动(例如，相对于患者的身体或AR相机)。在一些示例中，系统400可以被配置为生成附加的变换矩阵412和/或414以实现附加数据的共同配准和AR显示器的坐标系中以及其它坐标系中的可视化。在其它示例中，可以预先计算或不生成其它变换矩阵412和/或414。
在图5的示例中，系统还被配置用于生成第一变换矩阵(T1)412。变换矩阵T1可以被配置为从跟踪系统424的跟踪系统坐标系变换到医学成像模态456(例如，诸如荧光检查或x射线之类的2D成像系统)的坐标系和/或从医学成像模态的坐标系变换到跟踪坐标系。在示例中，标记系统432包括一个或多个标记设备，包括标记跟踪传感器434，其可以附接到患者的身体430，使得跟踪系统424计算这种跟踪传感器的跟踪数据426以适应患者身体430在跟踪系统424的坐标系中的移动。
在一些示例中，诸如为了生成变换矩阵410和/或变换矩阵412的目的，可以忽略(或省略)(一个或多个)对象跟踪传感器438和对应的跟踪数据426。在其它示例中，对象跟踪传感器438可以被放置在相对于患者身体430的已知位置处(例如，患者身体内部或外部的已知解剖界标)以在跟踪系统空间域(例如，由跟踪数据426提供)和一个或多个成像模态的空间域(例如，在术中图像数据472中)提供附加的数据点，只要放置它的位置在由生成此类数据的模态提供的生成的图像中可见即可。在示例中，术中医学成像模态(例如，荧光检查或其它X射线)提供可以被用于促进生成变换矩阵(T1)412的图像数据472(例如，包括对象跟踪传感器438的已知位置)。
第一传感器变换470被配置为将跟踪数据426转换成在每个相应标记设备上实现的不透射线对象的位置，诸如本文所公开的。每个位置都是跟踪系统坐标空间中的3D空间坐标，并且如果标记设备不在跟踪空间中移动则可以保持固定，或者如果标记设备在跟踪空间中移动则可以随时间变化。例如，在跟踪坐标系中，给定标记设备的每个不透射线标记与跟踪传感器434的位置处于固定、已知的偏移量(例如，3D向量)处，其中跟踪传感器434是标记系统432的给定标记设备的一部分。如上面所提到的，标记系统可以包括多个多模式标记设备，诸如ArUco类型(例如，设备250)，或如本文公开的其它标记配置(例如，AR设备308)。多模式标记设备因此可以包括在图像数据472中可见的不透射线元件、在AR图像数据442中可见的AR元件以及可由跟踪系统检测的(一个或多个)跟踪传感器。不透射线元件可以是不透射线ArUco类型标记的形式和/或作为不透射线球体272，诸如图3B中所示的。
传感器变换470因此被配置为基于跟踪数据426和每个跟踪传感器相对于预定标记位置的已知偏移量来计算跟踪系统空间中的点(例如，标记位置的3D坐标)。对于ArUco类型多模式标记设备，标记位置可以是在标记的拐角处的四个点的集合(例如，emPoint_1，emPoint_2，emPoint_3，emPoint_4)，诸如本文关于传感器变换460所公开的。
对于包括球形不透射线标记的布置的标记设备(例如，对于图3B的标记设备250)的示例，存在分布在每个跟踪传感器270周围的已知偏移量处的3个球形标记。因而，传感器变换470将针对标记系统432中的每个标记设备生成三个点。例如，变换470可以基于将相应变换与跟踪传感器位置(例如，3D点)和相应不透射线对象之间的已知偏移量(例如，3D偏移向量)相乘来确定位于每个球形标记的中心处的点(例如，emPoint_1，emPoint_2，emPoint_3)处的标记位置，诸如以下：
emPoint_1＝mult(Ts,offset_1),
emPoint_2＝mult(Ts,offset_2),以及
emPoint_3＝mult(Ts,offset_3).
在其它示例中可以使用具有与不透射线标记相关联的固定偏移量的其它确定性位置。在一些示例中，可以将点布置在每个标记设备的点的集合中或者布置为包含所有点的单个集合。
图像数据472可以被生成为表示成像模态的视场475内的对象的2D或3D数据。例如，成像模态可以包括锥形束CT、荧光透视扫描仪或其它医学成像模态。在一个示例中，图像数据472是在相对于患者身体430的不同视角处获取的少量(例如，至少两个、三个或四个)2D投影图像的2D图像数据。在一些示例中，患者身体的区域可以是对象传感器438将在其中移动的感兴趣区域，诸如外科手术规程的部分。
标记识别功能474可以被配置为定位图像数据472中的每个不透射线标记(例如，ArUco标记和/或其它对象标记)。由于不透射线标记相对于由成像模式456发射的电离辐射不透明，因此不透射线标记将在图像中可见。对于包括ArUco类型标记的组合标记的示例，标记识别功能474可以调用ArUco检测功能来定位每个相应的标记。对于包括除ArUco类型标记以外的不透射线对象的示例组合标记，每个这样的标记的外围因此可以通过图像阈值化以及应用于图像像素值的其它图像处理技术来定位。标记识别功能474可以是完全自动化的和/或响应于识别标记的用户输入而是用户交互式的。识别出的标记(例如，相应图像中的像素位置)可以存储在存储器中以供进一步处理。
标记点生成器476被编程为生成标记识别功能474已经在图像数据472中识别出的每个标记的空间坐标。对于包括不透射线的ArUco类型标记的组合标记的示例，可以针对每个标记的每个拐角生成空间坐标，即，围绕每个跟踪传感器的四个点的集合的坐标。对于球形形状的不透射线标记，对于由视场475相对于标记系统432提供的视角，每个标记的空间坐标被提供为每个2D图像中圆形投影(例如，由标记识别功能474识别出的外围)的中心的2D坐标。在三个球形标记围绕给定标记设备的每个跟踪传感器的示例中，标记点生成器476被编程为提供给定标记设备的三个点的集合的坐标。无论不透射线标记的类型和配置如何，标记点生成器476例如被编程为执行最近点函数(诸如本文所公开的)，以定位标记设备的每个相应跟踪传感器周围的点的集合。以这种方式，点的每个集合可以链接在一起并且与跟踪传感器中的相应一个相关联以促进生成第一变换矩阵412。
第一变换计算器478被编程为基于由标记点生成器476提供的点和由传感器变换函数470提供的点来计算第一变换矩阵412。例如，变换计算器478被应用于对准已经在空间坐标系中测得的点的集合。用于共同配准相应域(例如，跟踪系统坐标系和医学成像坐标系)中的点的这种共同配准算法的示例可以包括误差最小化函数或基变换函数，诸如本文所公开的。
作为一个示例，变换计算器478被编程为实现误差最小化函数。给定点的有序集合，变换计算器478将确定最小化投影位置与测得的位置之间的距离的未知变换T1。例如，对于T1，我们希望找到最小化点之间的距离的变换，诸如以下：
sum(n＝1..i,distance(mult(T1,imPoint_n),emPoint_n)^2)
其中：
n表示i个点中给定的一个(i是给定多模式标记的点数)；
arPoint_n是点n在图像空间中的空间坐标；以及
emPoint_n是点n在跟踪空间中的空间坐标。
在示例中，误差最小化可以通过单值分解或多种误差最小化算法来解决。
作为另一个示例，变换计算器478被编程为实现基变换函数，诸如本文关于变换计算器462所公开的。如上面所提到的，在适用的情况下，变换计算器478被编程为实现基变换函数，这在计算上比上面提到的误差最小化方法更高效。图3A和图3B的ArUco类型标记都具有足以使得能够使用这种基变换函数的点布置，但需要注意的是，对于图3B的不透射线标记设备，每个标记设备的每个3个点的集合要分开处理。利用在每个坐标系中限定的矩阵，变换计算器478可以计算两个坐标系之间的变换412。例如，对于变换矩阵T1：
im_Matrix是根据医学成像(例如，术中)坐标系中的基向量限定的矩阵；以及
em_Matrix是根据跟踪坐标系中的基向量限定的矩阵。
由上可知，变换计算器478可以通过将基向量跟踪矩阵(em_Matrix)与基向量成像矩阵的逆矩阵(inv(im_Matrix))相乘来确定变换矩阵(T1)412，诸如以下：
T1＝mult(em_Matrix,inv(im_Matrix))
变换矩阵可以存储在存储器中并且用于从跟踪系统空间到医学成像空间的变换。例如，可以通过将变换T1应用于跟踪数据的位置和朝向信息而将对象传感器438在患者身体内的位置(如跟踪数据426所表示的)配准到医学成像空间中。
如上面所提到的，系统400还被配置为生成第二变换(T2)414以用于在术中图像数据472的医学成像坐标系与先前3D图像数据480的坐标系之间的变换。例如，先前3D图像数据480可以存储在存储器中(例如，作为DICOM图像集)，并且包括来自在医学成像模态456生成其图像数据472(例如，在术中，诸如与在102和104获取的图像对应)之前的时间执行的患者身体430的术前扫描(例如，CT扫描)的3D图像。
在一些示例中，诸如术中图像数据被提供为少量2D图像投影的示例，系统包括投影计算器482。投影计算器482被编程为从3D图像数据480针对2D图像数据472中提供的每个图像(例如，两个图像)生成相应的投影。投影计算器482实现将来自3D图像空间的点映射到二维平面上的功能。例如，投影计算器导出与2D图像数据472中的图像的视角对准的前向投影。对每个3D投影的投影角度的配准可以通过手动对准来实现和/或被自动化。在示例中，对准可以是自动化的，诸如基于描述每个2D图像的角度的图像数据472中的图像元数据(论证为包括在从2D图像数据472到投影计算器482的箭头中)。例如，元数据包括指定投影角度的数据，诸如AP、LAO、RAO，诸如可以从C臂的角度获知和/或当成像模态456获取图像数据472时响应于用户输入而提供。
在一些示例中，如本文所公开的，3D图像数据可以包括一个或多个解剖结构的模型，诸如以与血管表面对应的3D网格的形式。3D投影矩阵(例如，透视或平行投影矩阵)可以被应用于根据术前图像480生成的网格，诸如本文所公开的。如果每个术中图像的C臂角度已知，那么执行网格的一个3D投影以匹配每个术中图像的角度。如果C臂的角度未知，那么可以沿着不同角度生成多个3D投影，并且可以手动或自动选择相应3D投影与相应二维图像之间的“最佳拟合”匹配。
点生成器484被编程为在2D图像(由图像数据472提供)和3D图像的对应投影(由投影计算器482提供)中的每一个中生成空间点。代替于用标记的球体或拐角来工作，选择点作为在2D图像数据472和3D图像数据480中都可见的特征。在其它示例中，术中图像数据472可以作为3D数据获取，诸如通过锥束CT或其它术中3D成像模态获取。在这种示例中，可以省略投影计算器以使点生成器484能够识别并生成由图像数据集472和480两者提供的3D空间中的相应点集合。
作为进一步的示例，特征包括诸如脊柱上的骨界标、在两种类型的图像中都可见的钙化位或者血管上的点(在两种图像中使用造影剂时的示例中)之类的结构。在其它示例中可以使用其它特征或基准点。在一些示例中，可以在自动化方法(例如，特征提取)中定位公共特征集合。附加地或可替代地，可以响应于通过用户界面486提供的用户输入来选择一个或多个这样的特征，诸如与提供给点生成器的相应图像和投影交互的图形用户界面。例如，用户可以看到不同视图之间的公共可见结构，并在每个视图中选择/标记它(例如，通过鼠标、键盘、手势或其它输入)。因此，点生成器484针对每个预定特征和/或用户选择的特征生成点。因此点生成器与标记点生成器476类似地操作，只是使用不同的界标集合。由于图像数据480是3D的，因此在一些示例中，用户可以使用图像数据480的3D图像的正交视图(例如，轴向视图、冠状视图和矢状视图)的集合来识别选择的点(通过用户界面486)以直接测量图像数据480在3D坐标系中的x、y和z位置。在术中图像数据在2D空间中的示例中，这些位置中的每一个都可以被转换成二维坐标并且在由投影计算器482提供的前向投影中如此提供。点生成器484被编程为诸如通过使用应用于2D图像的向量交叉函数(诸如本文公开的最近点函数)来定位2D图像数据中的相同点。在术中图像数据在3D空间中的其它示例中，点生成器484可以在两个图像集的3D坐标中定位点，诸如自动定位或通过用户界面486由用户输入辅助定位。
相应图像中的产生的点被提供给第二变换计算器488以用于生成变换矩阵414。变换计算器488被编程为计算变换矩阵以基于由点生成器484提供的公共点将图像数据472的图像与3D图像数据480对准。例如，变换计算器488通过实现关于公共点集的误差最小化函数来构造变换矩阵(T2)414，诸如关于第一变换计算器478描述的单值分解。在其它示例中可以使用其它误差最小化函数。
在一些示例中，系统400包括变换校正功能490，该变换校正功能490被编程为基于经由校正用户界面492提供的指令对一个或多个变换矩阵实现手动校正。即使已经对T1或T2变换进行了估计，也可以应用手动校正。例如，如果图像数据480和/或472没有明确限定的测量点的集合(例如，在脊柱或其它解剖结构上)来就此工作以执行配准，那么系统可以对变换T2(或者在一些示例中，对任意T2变换(例如，“识别”矩阵))限定初始估计，并且允许用户通过校正功能490进行校正以生成最终的T2变换414。
作为进一步的示例，配准管理器494被编程为选择和控制相应变换矩阵410、412和414的应用。例如，用于一个或多个输出可视化空间的空间域可以被自动设置或响应于用户输入而设置。对于每个输出可视化空间，配准管理器可以限定一个或多个变换的集合来应用以使图像和模型能够在每个相应的输出空间中被正确渲染。例如，输出空间可以包括AR显示器、移动设备或计算机的显示器。每个显示器还可以包括多个窗口(例如，屏幕分区)，每个窗口可以显示不同的可视化，包括跟踪系统、术中图像数据、AR显示器或先前3D图像中的任何一个的空间域。因此，配准管理器494可以限定变换矩阵的集合并且应用它们以在期望的空间域中渲染正确的输出图像。
作为进一步的示例，参考图6，配准管理器494可以被用于控制变换410、412和414中的一个或多个的应用以及控制对这样的变换中的一个或多个的用户校正。配准管理器494可以被实现为图5的系统400的一部分，如图所示，或者实现为分开的功能。因而，为了一致性，图5中引入的功能和数据在图6中使用相同的附图标记进行描述。关于此类功能和数据的进一步信息，可以参考图5和对应的描述。
配准管理器494包括变换校正功能490并且分别包括第一和第二变换矩阵412和414。在这个示例中，假设变换矩阵412和414中的一个或两者可能需要校正。可以通过应用变换来配准两个或更多个域并在显示器510上提供所产生的可视化来向用户表明对校正的需要。例如，输出生成器512被配置为在所选择的域中呈现可视化，诸如可以是AR设备440的坐标系、跟踪系统424的坐标系、术中图像数据472的坐标系或先前3D图像数据480的坐标系。
在示例中，管理器494包括域选择器514，该域选择器514被编程为基于经由用户界面520接收的用户输入指令来选择正在渲染输出可视化的域。此外，基于所选择的域，配准管理器相应地应用变换T0、T1或T2中的一个或多个。作为示例，下表提供对图像数据472、480或跟踪数据426应用了哪些一个或多个变换的描述，以及可能已在相应坐标系中针对每个所选择的域生成的模型的描述，其中针对每个所选择的域由输出生成器512渲染了输出可视化。配准管理器494还可以被用于控制相应变换的应用以提供所选择的域中的可视化，诸如通过经由矩阵乘法应用一个或多个变换或此类变换的逆，诸如表中阐述的。
AR 跟踪 医学成像 先前3D
到AR： [识别] inv(T0) inv(T0)*inv(T1) inv(T0)*inv(T1)*inv(T2)
到跟踪： T0 [识别] inv(T1) inv(T1)*inv(T2)
到医学成像： T1*T0 T1 [识别] inv(T2)
到先前3D： T2*T1*T0 T2*T1 T2 [识别]
作为进一步的示例，可以通过将相应的变换矩阵T0、T1或T2乘以校正矩阵来提供对变换412或414的手动校正，诸如以下：
correctedT0＝mult(correctionMatrix,T0),
correctedT1＝mult(correctionMatrix,T1)或者
correctedT2＝mult(correctionMatrix,T2)
在示例中，所支持的校正类型包括平移、旋转和缩放，诸如可以以矩阵的形式应用，如下：
translationMatrix＝[1,0,0,translation.x,0,1,0,translation.y,0,0,1,translation.z,0,0,0,1]
scalingMatrix＝[scale,0,0,0,0,scale,0,0,0,0,scale,0,0,0,0,1]
rotationMatrix＝(取决于旋转轴)
作为进一步的示例，用户通过用户界面516使用鼠标向下/拖动/鼠标向上动作或其它动作来发起校正。可以基于用于在显示器510上显示视口的投影矩阵来设置校正矩阵中使用的值。例如，从AP视图发起的平移将导致X和Y鼠标移动被用于设置translation.x和translation.z值(translation.y将为0)。因此，此类平移允许用户改变单个图像的视图或多个图像的对准。
作为进一步的示例，诸如当实现对变换T2的校正时，域配准管理器494将变换T2应用于图像数据472并且输出生成器512基于变换T2提供在3D图像中配准的2D图像的可视化。如果界标正确对准，如显示器510上所示，那么可能不需要校正。但是，如果2D图像中界标的位置与其在3D图像中的相应位置不一致，那么可能需要对T2进行校正。因此用户可以通过用户界面516调整2D图像相对于3D图像(或其前向投影)的对准。如上面所提到的，调整可以包括响应于使用输入设备(例如，鼠标或键盘)通过用户界面录入的指令而在二维中的平移、旋转和/或缩放。输出生成器512可以响应于每次调整(例如，实时地)而更新显示器中所示的可视化以示出图像配准。一旦期望的对准被可视化，用户就可以采用用户界面516来应用和存储对变换T2的校正，并且更新后的T2可以存储在存储器中以用于后续应用。可以关于第一变换矩阵412进行类似类型的调整。
图7和图8描绘了从AR头戴式耳机的相应前置相机获取的图像600和602的示例。在这个示例中，多模式标记(例如，对应的标记250、302)604被定位在与包含模拟器官610的患者身体608的物理模型相邻的桌子606上。在真人中，应该理解的是，身体内的器官将是不可见的，但被示出以帮助证明基于本文公开的系统和方法生成的变换的准确性。在图8中，图像602来自稍微不同的视角并且包括AR标记604和用户(例如，使用AR设备的个人)的手612。
如图像600和602中所示，标记604包括在AR显示器的坐标系中被识别(例如，通过功能444和446)的部分(例如，拐角)。基于由标记跟踪传感器(例如，传感器434)生成的传感器数据，标记604的相同点位于跟踪坐标系中以使得能够生成时变的变换矩阵(例如，矩阵410)，如本文所公开的。其它变换矩阵(例如，矩阵412和414)还可以如本文所公开的那样生成以对准其它坐标系以及可能已经在此类其它坐标系中生成的图像和/或模型。
图9描绘了类似于图7和图8的AR图像650，包括叠加在模拟器官610上的网格模型652的全息覆盖。图7和图8中使用的相同附图标记也用在图9中以示出相似的部分。基于将变换的集合应用于网格模型652(例如，根据图1的方法100和系统400)，覆盖与AR显示图像650中的患者的解剖结构(器官610)对准。例如，在网格模型652在3D先前图像的坐标系中生成的情况下，可以通过将变换T0、T1和T2中的每一个的逆应用于网格模型来将模型共同配准到AR坐标系中(例如，inv(T0)*inv(T1)*inv(T2)，诸如本文表格中所示的)。
在一些示例中，注解654在输出可视化中示出以向用户提供附加信息，诸如从对象(例如，对象跟踪传感器438所附接到的对象)到目标部位的距离和投影角度。可以响应于用户输入(例如，在用户输入设备上，语音命令或手势命令)进一步修改(例如，增强)视图。例如，在AR显示器上生成全息可视化的输出引擎可以在真实视场中缩放或放大覆盖在患者身体上的当前视图。附加地或可替代地，用户可以录入改变视角的命令。在一些示例中，诸如当被启用时，可以在输出可视化中照亮或以其它方式区分标记604(或其其它部分)的拐角，以确认标记的此类部分被正确配准。其它图像增强也是可能的。
鉴于上述结构和功能描述，本领域技术人员将认识到的是，本文公开的系统和方法的部分可以被实施为方法、数据处理系统或计算机程序产品，诸如非暂态计算机可读介质。因而，本文公开的方法的这些部分可以采用完全硬件实施例、完全软件实施例(例如，在一个或多个非暂态机器可读介质中)或结合软件和硬件的实施例的形式。此外，本文公开的系统和方法的部分可以是在计算机可用存储介质上的计算机程序产品，该介质上具有计算机可读程序代码。可以使用任何合适的计算机可读介质，包括但不限于静态和动态存储设备、硬盘、光存储设备和磁存储设备。
本文还参考方法、系统和计算机程序产品的框图描述了某些实施例。将理解的是，图示的方框以及图示中的方框的组合可以通过计算机可执行指令来实现。这些计算机可执行指令可以提供给通用计算机、专用计算机或其它可编程数据处理设备(或设备和电路的组合)的一个或多个处理器以产生机器，使得经由处理器执行的指令实现一个或多个方框中指定的功能。
这些计算机可执行指令也可以存储在计算机可读存储器中，其可以指导计算机或其它可编程数据处理装置以特定方式运行，使得存储在计算机可读存储器中的指令导致制品包括实现一个或多个流程图方框中指定的功能的指令。计算机程序指令也可以加载到计算机或其它可编程数据处理装置上，以使得在计算机或其它可编程装置上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机或其它可编程装置上执行的指令提供用于实现一个或多个流程图方框中指定的功能的步骤。
以上描述的是示例。当然，不可能描述组件或方法的每一种可构想的组合，但是本领域的普通技术人员将认识到许多进一步的组合和置换是可能的。因而，本发明旨在包括落入本申请范围内的所有此类更改、修改和变化，包括所附权利要求。如本文所使用的，术语“包括”意味着包括但不限于，术语“包括有”意味着包括但不限于。术语“基于”意味着至少部分地基于。此外，当本公开或权利要求记载“一”、“一个”、“第一”或“另一个”元素或其等效元素时，应当解释为包括一个或多于一个这样的元素，既不要求也不排除两个或更多个此类元素。

Claims (27)

1.一种方法，包括：
从相机获取图像，每个相机相对于增强现实设备的空间坐标系具有已知位置和朝向，所获取的图像包括多模式标记设备的预定部分，其相对于多模式标记设备的至少一个跟踪传感器具有固定的已知空间位置，所述至少一个跟踪传感器具有在跟踪系统的坐标系中能够检测的三维位置；
基于相应获取的图像中的每一个以及相机相对于增强现实设备的空间坐标系的已知位置和朝向来估计多模式标记设备的预定部分相对于增强现实设备的空间坐标系的三维位置；以及
计算仿射变换，该仿射变换被配置为基于多模式标记设备的相应预定部分的估计的三维位置和多模式标记设备的预定部分相对于所述至少一个跟踪传感器的已知空间位置将跟踪系统的坐标系与位于增强现实设备的空间坐标系中的显示器的视觉空间配准。
2.如权利要求1所述的方法，其中仿射变换是给定的仿射变换，该方法还包括确定至少一个其它仿射变换，用于将模型空间的三维坐标系与跟踪系统的坐标系配准。
3.如权利要求2所述的方法，其中解剖模型数据被存储在存储器中以表示模型空间中的用于内部解剖结构的患者解剖结构的至少一个三维模型，该方法还包括：
将给定的仿射变换和其它仿射变换应用于解剖模型数据，以将用于内部解剖结构的患者解剖结构的所述至少一个三维模型映射到显示器的视觉空间中，该视觉空间位于增强现实设备的空间坐标系中。
4.如权利要求3所述的方法，其中用于内部解剖结构的患者解剖结构的所述至少一个三维模型包括基于通过术前医学成像模态获取的三维先前图像数据在模型空间中导出的网格结构。
5.如权利要求1或2所述的方法，还包括将仿射变换应用于由跟踪系统针对所述至少一个跟踪传感器获取的跟踪数据，以将所述至少一个跟踪传感器的位置和朝向映射到位于增强现实设备的空间坐标系中的显示器的视觉空间中。
6.如前述权利要求中的任一项所述的方法，其中多模式标记设备的每个预定部分的坐标是基于相应获取的图像中的每一个图像中的预定部分中的像素的位置来确定的。
7.如权利要求6所述的方法，其中多模式标记设备包括在由相机获取的至少一些图像中可见的基准标记，其中在由相机获取的图像中识别基准标记并且针对每个识别出的基准标记确定多模式标记设备的预定部分的坐标。
8.如权利要求7所述的方法，其中基准标记包括矩形形状的边界，该边界在其边缘相交处具有相应拐角，其中标记的预定部分与边界的相应拐角对应。
9.如前述权利要求中的任一项所述的方法，其中相机相对于增强现实设备的显示器处于已知位置并且被配置为获取图像以包括具有重叠视场的非平行图像。
10.如权利要求9所述的方法，其中增强现实设备包括头戴式耳机，该头戴式耳机包括相机及其显示器，显示器是被配置为将全息图像覆盖在用户视场内的显示器上的头戴式显示器。
11.如权利要求9所述的方法，其中增强现实设备包括智能电话或平板计算机。
12.如前述权利要求中的任一项所述的方法，其中对由相机获取的图像帧重复执行计算仿射变换以更新仿射变换，从而适应相机相对于多模式标记设备的预定部分的移动。
13.如权利要求2、4、5、6、7、8、9、10或11中的任一项所述的方法，其中模型空间包括先前三维术前医学成像模态的三维空间坐标系，并且其中确定其它仿射变换还包括：
计算用于将术中医学成像模态的坐标系与限定模型空间的三维医学成像模态的坐标系配准的第一变换；以及
基于多模式标记设备的相应预定部分的估计位置以及所述至少一个跟踪传感器与多模式标记设备的相应预定部分之间的已知关系来计算用于将跟踪系统的三维坐标系与术中医学成像模态的三维坐标系配准的第二仿射变换。
14.一个或多个非暂态计算机可读介质，其被编程以执行任何前述权利要求所述的方法。
15.一种系统，包括：
增强现实设备，包括用于获取相应视场的图像的相机；
一个或多个非暂态计算机可读介质，用于存储数据和能够由处理器执行的指令，该数据包括：
用于由相机获取的图像的增强现实图像数据，每个相机相对于增强现实设备的空间坐标系具有已知位置和朝向，增强现实图像数据包括多模式标记设备的预定部分，其相对于多模式标记设备的至少一个跟踪传感器具有固定的已知空间位置，所述至少一个跟踪传感器具有在跟踪系统的坐标系中能够检测的三维位置；
指令包括：
基于获取的增强现实图像数据和相机相对于增强现实设备的空间坐标系的已知位置和朝向来生成多模式标记设备的预定部分相对于增强现实设备的空间坐标系的三维位置的代码；以及
计算仿射变换的代码，该仿射变换用于基于多模式标记设备的相应预定部分的三维位置以及多模式标记设备的预定部分相对于所述至少一个跟踪传感器的已知空间位置和朝向来将跟踪系统的坐标系与位于增强现实设备的空间坐标系中的显示器的视觉空间配准。
16.如权利要求15所述的系统，其中仿射变换是给定的仿射变换，指令还包括计算至少一个其它仿射变换以用于将模型空间的三维坐标系与跟踪系统的坐标系配准的代码。
17.如权利要求16中的任一项所述的系统，其中数据还包括被存储以表示模型空间中用于内部解剖结构的患者解剖结构的至少一个三维模型的解剖模型数据，指令还包括：
将给定的仿射变换和所述其它仿射变换应用于解剖模型数据以将用于内部解剖结构的患者解剖结构的所述至少一个三维模型共同配准到显示器的视觉空间中的代码，该视觉空间位于增强现实设备的空间坐标系中。
18.如权利要求17所述的系统，其中用于内部解剖结构的患者解剖结构的所述至少一个三维模型包括基于通过术前医学成像模态获取的三维先前图像数据在模型空间中导出的网格结构。
19.如权利要求16、17或18中的任一项所述的系统，其中计算所述其它仿射变换的代码还包括：
计算用于将术中医学成像模态的坐标系与限定模型空间的三维医学成像模态的坐标系配准的第一变换的代码；以及
基于用于多模式标记设备的相应预定部分的估计位置以及所述至少一个跟踪传感器与多模式标记设备的相应预定部分之间的已知关系来计算用于将跟踪系统的三维坐标系与医学成像模态的三维坐标系配准的第二仿射变换的代码。
20.如权利要求15所述的系统，还包括被配置为提供指示所述至少一个跟踪传感器的位置和朝向的传感器跟踪数据的跟踪系统，其中指令还包括用于将仿射变换应用于传感器跟踪数据以将所述至少一个跟踪传感器的位置和朝向映射到位于增强现实设备的空间坐标系中的显示器的视觉空间中的代码。
21.如权利要求15、16、17、18、19或20中的任一项所述的系统，其中用于生成多模式标记设备的每个预定部分的三维位置的代码还被编程为基于由相机获取的相应获取的图像中的每一个图像中的预定部分中的像素的位置来确定多模式标记设备的每个预定部分的三维位置。
22.如权利要求21所述的系统，其中多模式标记设备包括在由相机获取的图像中的至少一些图像中可见的基准标记，其中指令还包括用于识别由相机获取的图像中的基准标记的代码，以及针对每个识别出的基准标记确定多模式标记设备的预定部分的位置。
23.如权利要求22所述的系统，其中基准标记包括矩形形状边界，该边界在其边缘相交处具有相应拐角，其中标记的预定部分与边界的相应拐角对应。
24.如权利要求15、16、17、18、19、20、21、22或23中的任一项所述的系统，其中相机相对于增强现实设备的显示器位于已知位置处并且被配置为获取图像作为具有重叠视场的非平行图像。
25.如权利要求24所述的系统，其中增强现实设备包括头戴式耳机，该头戴式耳机包括相机及其显示器，显示器是被配置为将全息图像覆盖在用户视场内的显示器上的头戴式显示器。
26.如权利要求24所述的系统，其中增强现实设备包括智能电话或平板计算机。
27.如权利要求15、16、17、18、19、20、21、22、23、24、25或26中的任一项所述的系统，其中计算仿射变换的代码被编程为重复计算由相机获取的图像帧的仿射变换以更新仿射变换，从而适应相机相对于多模式标记设备的预定部分的移动。
CN202080020976.9A 2019-04-04 2020-04-06 空间跟踪系统与增强现实显示器的配准 Pending CN113646808A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962829394P 2019-04-04 2019-04-04
US62/829,394 2019-04-04
US201962838027P 2019-04-24 2019-04-24
US62/838,027 2019-04-24
PCT/US2020/026868 WO2020206423A1 (en) 2019-04-04 2020-04-06 Registration of spatial tracking system with augmented reality display

Publications (1)

Publication Number Publication Date
CN113646808A true CN113646808A (zh) 2021-11-12

Family

ID=72661945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080020976.9A Pending CN113646808A (zh) 2019-04-04 2020-04-06 空间跟踪系统与增强现实显示器的配准

Country Status (6)

Country Link
US (2) US11538574B2 (zh)
EP (1) EP3948800A4 (zh)
JP (2) JP2022527360A (zh)
CN (1) CN113646808A (zh)
CA (1) CA3130160A1 (zh)
WO (1) WO2020206423A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11941814B2 (en) 2020-11-04 2024-03-26 Globus Medical Inc. Auto segmentation using 2-D images taken during 3-D imaging spin

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
KR102567007B1 (ko) 2017-02-24 2023-08-16 마시모 코오퍼레이션 의료 모니터링 데이터 표시 시스템
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
EP3682424B1 (en) * 2018-11-23 2021-02-17 Brainlab AG Relative pose determination of non-overlapping cameras
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
KR102208708B1 (ko) * 2019-08-14 2021-01-28 한국과학기술연구원 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치
CA3210881A1 (en) * 2019-09-26 2021-03-26 Ascension Technology Corporation Reconfigurable transmitter array for electromagnetic tracking systems
US11382712B2 (en) * 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US20210196404A1 (en) * 2019-12-30 2021-07-01 Taiwan Main Orthopaedic Biotechnology Co., Ltd. Implementation method for operating a surgical instrument using smart surgical glasses
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US20220028081A1 (en) * 2020-07-24 2022-01-27 Covidien Lp Systems and methods for estimating the movement of a target using a universal deformation model for anatomic tissue
FR3120146B1 (fr) * 2021-02-22 2023-01-13 Total Se Procédé de détermination de caractéristiques d’affichage d’un élément de réalité augmentée
CN113012232B (zh) * 2021-03-01 2023-10-27 重庆工程职业技术学院 一种用于矿井内的定位系统及方法
US11645819B2 (en) * 2021-03-11 2023-05-09 Quintar, Inc. Augmented reality system for viewing an event with mode based on crowd sourced images
US11527047B2 (en) 2021-03-11 2022-12-13 Quintar, Inc. Augmented reality system for viewing an event with distributed computing
US11657578B2 (en) 2021-03-11 2023-05-23 Quintar, Inc. Registration for augmented reality system for viewing an event
CN115289982A (zh) * 2022-09-28 2022-11-04 天津大学建筑设计规划研究总院有限公司 一种基于ArUco码的结构平面位移视觉监测方法
CN116459009A (zh) * 2023-05-15 2023-07-21 德智鸿(上海)机器人有限责任公司 一种增强现实导航系统半自动配准方法和装置
CN116942317B (zh) * 2023-09-21 2023-12-26 中南大学 一种手术导航定位系统
CN117115401B (zh) * 2023-10-16 2024-02-06 深圳卡尔文科技有限公司 一种ar导航数据处理方法、系统和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102646275A (zh) * 2012-02-22 2012-08-22 西安华旅电子科技有限公司 通过跟踪和定位算法实现虚拟三维叠加的方法
JP2013171522A (ja) * 2012-02-22 2013-09-02 Micronet Co Ltd Ａｒ技術を用いたコンピュータ・グラフィックス画像処理システム及び方法
US20130245461A1 (en) * 2010-11-12 2013-09-19 Deutsches Krebsforschungszentrum Stiftung Des Offentlichen Rechts Visualization of Anatomical Data by Augmented Reality
CN103793936A (zh) * 2012-10-31 2014-05-14 波音公司 用于增强现实的自动化参考框架校准
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
JP2017153827A (ja) * 2016-03-03 2017-09-07 株式会社菊池製作所 合成画像提示システム
CN107610109A (zh) * 2017-09-06 2018-01-19 艾瑞迈迪医疗科技（北京）有限公司 内窥镜微创手术导航的图像显示方法、装置及系统
US20180303377A1 (en) * 2017-04-20 2018-10-25 The Cleveland Clinic Foundation System and method for holographic image-guided percutaneous endovascular percutaneous procedures
US20190053855A1 (en) * 2017-08-15 2019-02-21 Holo Surgical Inc. Graphical user interface for a surgical navigation system and method for providing an augmented reality image during operation

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH371456A (de) 1958-04-30 1963-08-31 Ciba Geigy Verfahren zur Herstellung neuer Hydroxamsäureester
US6533455B2 (en) 2000-08-31 2003-03-18 Siemens Aktiengesellschaft Method for determining a coordinate transformation for use in navigating an object
US7840393B1 (en) 2000-10-04 2010-11-23 Trivascular, Inc. Virtual prototyping and testing for medical device development
US20030011624A1 (en) 2001-07-13 2003-01-16 Randy Ellis Deformable transformations for interventional guidance
DE10202091B4 (de) 2002-01-21 2005-09-08 Siemens Ag Vorrichtung zur Ermittlung einer Koordinatentransformation
US7599730B2 (en) 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US7697972B2 (en) 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
EP1774454A2 (en) 2004-06-02 2007-04-18 M2S, Inc. Anatomical visualization and measurement system
WO2006020792A2 (en) 2004-08-10 2006-02-23 The General Hospital Corporation Methods and apparatus for simulation of endovascular and endoluminal procedures
WO2007025081A2 (en) 2005-08-24 2007-03-01 Traxtal Inc. System, method and devices for navigated flexible endoscopy
JP4491420B2 (ja) 2006-01-12 2010-06-30 株式会社日立メディコ 手術支援装置及び手術支援撮像装置
JP4836122B2 (ja) 2006-02-09 2011-12-14 国立大学法人浜松医科大学 手術支援装置、方法及びプログラム
US7556428B2 (en) 2006-04-14 2009-07-07 Xoran Technologies, Inc. Surgical navigation system including patient tracker with removable registration appendage
JP2008061858A (ja) 2006-09-08 2008-03-21 Toshiba Corp 穿刺治療ナビゲーション装置
US7824328B2 (en) 2006-09-18 2010-11-02 Stryker Corporation Method and apparatus for tracking a surgical instrument during surgery
US8248413B2 (en) 2006-09-18 2012-08-21 Stryker Corporation Visual navigation system for endoscopic surgery
WO2008035271A2 (en) 2006-09-20 2008-03-27 Koninklijke Philips Electronics N.V. Device for registering a 3d model
US7996060B2 (en) 2006-10-09 2011-08-09 Biosense Webster, Inc. Apparatus, method, and computer software product for registration of images of an organ using anatomical features outside the organ
US7671887B2 (en) 2006-11-20 2010-03-02 General Electric Company System and method of navigating a medical instrument
IL188569A (en) 2007-01-17 2014-05-28 Mediguide Ltd Method and system for coordinating a 3D image coordinate system with a medical position coordinate system and a 2D image coordinate system
US8301226B2 (en) 2007-04-24 2012-10-30 Medtronic, Inc. Method and apparatus for performing a navigated procedure
US8213693B1 (en) 2007-05-16 2012-07-03 General Electric Company System and method to track and navigate a tool through an imaged subject
EP2431943B1 (en) 2007-05-30 2015-04-01 The Cleveland Clinic Foundation Automated centerline extraction method and generation of corresponding analytical expression and use
JP2009072317A (ja) 2007-09-19 2009-04-09 Toshiba Medical System Co Ltd 医療用チューブ操作支援システム
US10398393B2 (en) 2007-10-02 2019-09-03 Stryker European Holdings I, Llc Dynamic reference method and system for interventional procedures
US8219179B2 (en) 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
ES2573945T3 (es) 2008-09-16 2016-06-13 Novartis Ag Cuantificación reproducible de expresión de biomarcadores
US8175681B2 (en) 2008-12-16 2012-05-08 Medtronic Navigation Inc. Combination of electromagnetic and electropotential localization
WO2010086374A1 (en) 2009-01-29 2010-08-05 Imactis Method and device for navigation of a surgical tool
EP2440129A4 (en) 2009-06-08 2015-06-03 Mri Interventions Inc MRI-CONTROLLED SURGICAL SYSTEMS WITH PRESET SCAN SURFACES
US8315355B2 (en) 2009-10-28 2012-11-20 Siemens Aktiengesellschaft Method for operating C-arm systems during repeated angiographic medical procedures
JP5674814B2 (ja) 2010-01-06 2015-02-25 シブコ メディカル インストルメンツ カンパニー インコーポレイテッドＣｉｖｃｏ Ｍｅｄｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ Ｃｏ．，Ｉｎｃ． マーカ装置、取り付け部材、フレームアセンブリ
CA2797302C (en) * 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
JP2012147858A (ja) 2011-01-17 2012-08-09 Tokyo Univ Of Agriculture & Technology 画像処理装置、画像処理方法及び画像処理プログラム
WO2012127353A1 (en) 2011-03-18 2012-09-27 Koninklijke Philips Electronics N.V. Multi-leg geometry reference tracker for multi-modality data fusion
DE102011007796B4 (de) 2011-04-20 2019-07-04 Siemens Healthcare Gmbh Verfahren zur Ermittlung einer Zielposition für eine medizinische Maßnahme
CN108095761B (zh) * 2012-03-07 2021-10-15 齐特奥股份有限公司 空间对准设备、空间对准系统及用于指导医疗过程的方法
GB201208886D0 (en) 2012-05-18 2012-07-04 King S College London Virtual fiducial markers
EP2996607B1 (en) 2013-03-15 2021-06-16 The Cleveland Clinic Foundation System to facilitate intraoperative positioning and guidance
GB201313810D0 (en) 2013-08-01 2013-09-18 King S College London Method and system for tomosynthesis imaging
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
GB201502877D0 (en) 2015-02-20 2015-04-08 Cydar Ltd Digital image remapping
US20160324580A1 (en) * 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
KR102522539B1 (ko) 2015-08-17 2023-04-18 삼성전자주식회사 의료영상 표시장치 및 의료영상 처리방법
US10201320B2 (en) 2015-12-18 2019-02-12 OrthoGrid Systems, Inc Deformed grid based intra-operative system and method of use
US20170367766A1 (en) * 2016-03-14 2017-12-28 Mohamed R. Mahfouz Ultra-wideband positioning for wireless ultrasound tracking and communication
US11801114B2 (en) * 2017-09-11 2023-10-31 Philipp K. Lang Augmented reality display for vascular and other interventions, compensation for cardiac and respiratory motion
US20200275988A1 (en) * 2017-10-02 2020-09-03 The Johns Hopkins University Image to world registration for medical augmented reality applications using a world spatial map
GB201805299D0 (en) 2018-03-29 2018-05-16 Cydar Ltd Deformation correction

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130245461A1 (en) * 2010-11-12 2013-09-19 Deutsches Krebsforschungszentrum Stiftung Des Offentlichen Rechts Visualization of Anatomical Data by Augmented Reality
CN102646275A (zh) * 2012-02-22 2012-08-22 西安华旅电子科技有限公司 通过跟踪和定位算法实现虚拟三维叠加的方法
JP2013171522A (ja) * 2012-02-22 2013-09-02 Micronet Co Ltd Ａｒ技術を用いたコンピュータ・グラフィックス画像処理システム及び方法
CN103793936A (zh) * 2012-10-31 2014-05-14 波音公司 用于增强现实的自动化参考框架校准
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
JP2017153827A (ja) * 2016-03-03 2017-09-07 株式会社菊池製作所 合成画像提示システム
US20180303377A1 (en) * 2017-04-20 2018-10-25 The Cleveland Clinic Foundation System and method for holographic image-guided percutaneous endovascular percutaneous procedures
US20190053855A1 (en) * 2017-08-15 2019-02-21 Holo Surgical Inc. Graphical user interface for a surgical navigation system and method for providing an augmented reality image during operation
CN107610109A (zh) * 2017-09-06 2018-01-19 艾瑞迈迪医疗科技（北京）有限公司 内窥镜微创手术导航的图像显示方法、装置及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11941814B2 (en) 2020-11-04 2024-03-26 Globus Medical Inc. Auto segmentation using 2-D images taken during 3-D imaging spin

Also Published As

Publication number Publication date
WO2020206423A1 (en) 2020-10-08
US11538574B2 (en) 2022-12-27
CA3130160A1 (en) 2020-10-08
US20230092145A1 (en) 2023-03-23
EP3948800A1 (en) 2022-02-09
JP2022527360A (ja) 2022-06-01
US20200321099A1 (en) 2020-10-08
EP3948800A4 (en) 2023-05-10
JP2023175709A (ja) 2023-12-12

Similar Documents

Publication Publication Date Title
US11538574B2 (en) Registration of spatial tracking system with augmented reality display
JP7440534B2 (ja) ２次元画像投影を用いた、トラッキングシステムと画像との空間レジストレーション
Wang et al. Video see‐through augmented reality for oral and maxillofacial surgery
Wang et al. A practical marker-less image registration method for augmented reality oral and maxillofacial surgery
US9990744B2 (en) Image registration device, image registration method, and image registration program
US20230072188A1 (en) Calibration for Augmented Reality
US10799145B2 (en) Method and system to facilitate intraoperative positioning and guidance
US20180158201A1 (en) Apparatus and method for registering pre-operative image data with intra-operative laparoscopic ultrasound images
Gsaxner et al. Markerless image-to-face registration for untethered augmented reality in head and neck surgery
AU2015238800B2 (en) Real-time simulation of fluoroscopic images
Song et al. Locally rigid, vessel-based registration for laparoscopic liver surgery
Fabian et al. Target registration error minimization for minimally invasive interventions involving deformable organs
US20240054745A1 (en) Systems and methods for registering a 3d representation of a patient with a medical device for patient alignment
Hosseinian et al. C-arm pose estimation and navigation in surgeries for augmented reality application
Wang et al. 3D surgical overlay with markerless image registration using a single camera
EP4128145B1 (en) Combining angiographic information with fluoroscopic images
Fuertes et al. Augmented reality system for keyhole surgery-performance and accuracy validation
EP4287120A1 (en) Guidance during medical procedures
Wang et al. Augmented Reality for Digital Orthopedic Applications
WO2024064111A1 (en) Systems and methods of aligning a patient with a medical device leveraging outside-in tracking
WO2023232492A1 (en) Guidance during medical procedures
CN117677358A (zh) 用于手术期间现场x射线荧光透视和c形臂计算机断层扫描成像的立体投影和交叉参考的增强现实系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40057713

Country of ref document: HK