CN115551431A - 利用增强现实对解剖结构进行动态配准 - Google Patents

Abstract

本公开涉及一种系统(100)，其可包括增强现实系统(102)、成像系统(104)、测量系统(106)和计算机系统(108)。增强现实系统(102)可配置为显示增强表示(110)。成像系统(104)可配置为对解剖特征(112)进行成像并可生成解剖成像数据(142)。测量系统(106)可配置为测量解剖运动并可生成解剖运动数据(144)。计算机系统(108)可配置为：接收解剖成像数据(142)和解剖运动数据(144)，基于解剖成像数据(142)生成增强表示(110)，使增强表示(110)与解剖运动数据(144)关联，在增强现实系统(102)上渲染增强表示(110)，并基于解剖运动数据(144)来选择性更新增强表示(110)。

Description

利用增强现实对解剖结构进行动态配准

优先权文件

本申请主张申请日为2020年5月15日的美国临时申请序列号63/025,436及申请日为2020年5月15日的美国临时申请序列号63/025,604的权益。上述申请的完整公开内容皆通过引用归并本文。

技术领域

本公开涉及增强现实应用，更具体地涉及采用增强现实的医疗应用。

背景技术

本部分提供了本公开相关的背景技术信息，但未必为现有技术。

影像引导手术成为了许多不同医疗程序的标准做法。影像引导手术可在视觉上将术中数据与术前数据相关来辅助医师。经证实，使用影像引导手术能够提高这些医疗程序的安全性和成功率。通过利用增强现实(AugmentedReality-AR)技术，可进一步增强影像引导手术。AR是一种现实世界环境的交互式体验，其中通过计算机生成的感知信息使现实世界中存在的一个或多个特征得到增强，有时会跨越多种感官模式。在医疗环境下，这些AR技术可用来增强患者护理环境下的真实环境。例如，在执行医疗程序时，医师无需变换视线即可在患者的同一视野中查看内容特定信息。

然而，即便是目前的影像引导手术，在医疗程序中也会出现许多困难。例如，患者解剖结构未必呈静态。呼吸或心脏跳动等各种体内运动可能导致患者内部解剖结构的节律性变化。这些体内运动可能不理想地致使手术位置移位，这会有碍于手术期间利用增强现实。这个问题会因此类体内运动的非线性而进一步加剧。例如，吸气和呼气作为呼吸周期中的特定阶段，可能导致肺变形和气流量的显著变化。

更重要的是，当今建立三维(3D)医学图像的标准方法之一是利用计算机断层扫描(ComputedTomography-CT)，这样产生的图像系列可称为DICOM数据集。DICOM数据集可使用软件来进一步处理，以分割出身体结构，并建立这些结构的3D图像，可用于进一步研究或增强现实用途。这些DICOM数据集必须逐次逐个地仔细查看，然后通过软件分割方法来进行处理，其中必须概括识别每个单独扫描切片内的每个感兴趣结构。

换言之，CT扫描会产生不同厚度的2D(二维)图像切片。于是，必须将各个2D分段DICOM切片重新组合成3D模型，进行渲染，然后做平滑处理。处理来自CT扫描的2D图像切片会包括许多图像传输和处理步骤，才能产生适合在增强现实中查看的解剖体。由于此过程中的步骤繁多，获取和操作CT扫描的成本不菲，这种扫描方法对大众而言可能缺乏可行性。由于CT扫描的成本可能很高，可用CT扫描的次数也会受到限制，而且并非所有亟需的患者都能轻松获得CT扫描。此外，在CT扫描期间，患者必然会受到一定剂量的辐射。这种辐射暴露可能对人体组织造成伤害，使患者和护理人员处于危险之中。这种辐射暴露也可能导致长期的负面影响。

有鉴于此，仍需一种利用增强现实对解剖结构进行动态配准的系统及方法。理想上，上述系统及方法可针对各种身体运动来进行调整。

发明内容

根据本公开，出人意料地揭示了一种利用增强现实对解剖结构进行动态配准并且可针对体内运动进行调整的系统及方法。

上述系统及方法可包括增强现实环境，该环境可与解剖数据融合并表示为至少一种增强表示。理想上，医师可利用增强现实环境来确认解剖结构的位置门控准确和/或调整主动配准的增强表示。计算机系统可基于对主动配准增强表示的期望细化来提供平移、旋转和/或变形工具。此外，上述系统及方法可采用闭环反馈来提醒临床医生提供治疗的最佳时间、针对解剖特征执行外科手术步骤或者基于增强反馈来中继脉冲或时间分段门控治疗递送。肺活量数据的滚动平均值也可用来完善增强现实环境动画。

这种技术能够解决利用增强现实或其他数字渲染可视化方法对人体或动物解剖结构进行动态配准的需求。在手术、机器人手术和/或微创手术期间，由于呼吸周期、心动周期和/或正常运动和生理过程，患者解剖结构可能会发生移动。上述系统及方法可应用于测量患者身体运动并以可视化反馈和/或动画的形式对该运动进行门控。

某些实施例中，利用增强现实对解剖结构进行动态配准的系统可包括增强现实系统、成像系统、测量系统和计算机系统。增强现实系统可配置为显示增强现实环境中的增强表示。成像系统可配置为对患者解剖特征进行成像并且可生成解剖成像数据。测量系统可配置为测量患者解剖运动并且可生成解剖运动数据。计算机系统可与成像系统、测量系统和增强现实系统通信。计算机系统可配置为接收来自成像系统的解剖成像和位置数据以及来自测量系统的解剖运动数据。计算机系统也可配置为基于解剖成像数据来生成增强表示。此外，计算机系统可配置为使增强表示与解剖运动数据关联。另外，计算机系统可配置为使增强表示与解剖运动数据相关。计算机系统也可配置为在增强现实系统上渲染增强现实环境中的增强表示。计算机系统还可配置为基于解剖运动数据来选择性更新增强表示。

某些实施例中，利用增强现实对解剖结构进行动态配准的方法可包括如下步骤：提供用于利用增强现实对解剖结构进行动态配准的系统。上述系统可包括成像系统、测量系统和计算机系统。成像系统可对患者解剖特征进行成像。成像系统可通过对患者解剖特征进行成像来生成解剖成像数据。测量系统可测量患者解剖运动。测量系统可通过测量患者解剖运动来生成解剖运动数据。计算机系统可接收解剖成像数据和解剖运动数据。计算机系统可基于解剖成像数据来生成增强表示。计算机系统可使增强表示与患者解剖特征关联。计算机系统可使增强表示与患者解剖运动数据相关。计算机系统可在增强现实系统上渲染增强现实环境中的增强表示。计算机系统可基于解剖运动数据来选择性更新增强表示。

上述系统及方法能够带来如下临床优势：(i)降低对高成本CT扫描设备的需求，进而改进采用外科混合现实引导与导航；(ii)减少许多图像传输和处理步骤来产生在增强现实中查看的解剖体，进而缩短手术时间；(iii)降低对患者和护理人员有害辐射的需求；(iv)提高对非静态解剖结构的成像能力。

应当理解，本公开虽主要是针对增强现实(AR)技术和相关应用，但本公开又可应用于虚拟现实(VirtualReality-VR)技术和相关应用，包括混合现实(MixedReality-MR)应用。

根据本文提供的描述，跟多适用领域将显而易见。应当理解，发明内容和具体实例仅出于说明目的，而非旨在限定本公开的保护范围。

附图说明

这里描述附图的目的仅在于说明所选实施方案，并非所有可能实现的技术方案，并不是要限定本公开范围。

图1为根据某些实施例的系统的示意图，示出了增强现实系统、成像系统、测量系统和计算机系统；

图2示意性描绘了根据某些实施例的操作中的系统，进一步示出了获得2D图像的过程，可通过在患者解剖特征上移动超声探头并以设定的暂停间隔暂停预定时间而将这些2D图像并入成像和位置数据以及解剖运动数据中的至少一个；

图3示意性描绘了根据某些实施例的解剖特征的增强表示，其可由计算机系统使用成像和位置数据生成并且具有可能得自生成过程的锯齿状边缘；

图4示意性描绘了图3所示的增强表示，其中使用后处理对锯齿状边缘进行了平滑处理，进一步示出了标明增强表示可扩张到的边界的虚线轮廓，这会反映出解剖特征如何基于解剖运动而进行扩张；

图5图形式描绘了根据某些实施例的具有多个参考点的肺活量数据，该数据可并入解剖运动数据并且可供计算机系统用来确定如何更新增强表示；

图6示意性描绘了根据某些实施例的操作中的系统，示出了具有在患者一部分上呈现的增强表示的增强现实环境，进一步示出了增强表示的位置变更，反映了解剖特征如何基于解剖运动来进行移动；

图7示意性描绘了根据某些实施例的操作中的系统，示出了使用闪光显示法所显示的增强现实环境，进一步示出了基于解剖运动的增强表示迁移位置；

图8示意性描绘了根据某些实施例的操作中的系统，示出了使用闪光显示法所显示的增强现实环境，进一步示出了增强表示包括表示解剖特征中血液流向超声探头的区域(显示为条纹图案)以及描绘解剖特征中血液流出超声探头的区域(显示为方块图案)；

图9示意性描绘了根据某些实施例的增强表示，进一步示出了具有指定段的ECG波形，可用于根据解剖特征在患者心动周期中如何移动来确定增强表示的最小和最大移动范围；

图10a和图10b为示出根据某些实施例的使用上述系统的方法的流程图；

图11a和图11b为示出根据某些实施例的使用上述系统的方法的流程图，进一步示出了将后处理应用于增强表示的步骤。

具体实施方式

下文的技术描述本质上仅为一项或多项发明的主题、制造和用途的示例，而非旨在限制本申请或可能要求本申请优先权的此类其他申请或由此授予的专利中要求保护的任何特定发明的范围、应用或用途。关于本公开方法，所呈现的步骤顺序本质上仅作示例，因此步骤顺序在各实施例中可能有所不同，包括可同时执行某些步骤的情况。如本文所用，“a”和“an”表示存在“至少一项”；若情况允许，则可能存在若干此类项。本说明书中的所有数字量均应理解为由“约”一词修饰，所有几何和空间描述符应理解为在描述本公开技术的最广泛范围时由“基本上”一词修饰，除非另作明确注明。“约”应用于数值时表示计算或测量允许值些微不精确(通过某种方法达成值的准确性；近似或合理逼近该值；近乎)。若出于某种原因，“约”和/或“基本上”提供的不精确性在本领域中未以这种普通含义理解，本文所用的“约”和/或“基本上”则至少指明测量或使用这些参数的普通方法可能产生的变化。

本文中虽用开放式术语“包括”作为非限制性术语(如包括、包含或具有)的同义词来描述和要求保护本公开技术的实施例，但可替代地使用更多限制性术语(如“由……组成”或“基本上由……组成”)来描述实施例。因此，对于列举材料、组件或工艺步骤的任何给定实施例，本公开技术还具体包括这样一些实施例，它们由这些材料、组件或工艺步骤组成或基本上由这些材料、组件或工艺步骤组成，不包括额外的材料、组件或工艺(针对“由……组成”)，也不包括影响实施例重要特性的额外材料、组件或工艺(针对“基本上由……组成”)，即使是本申请中未明确记载这些额外材料、组件或工艺。例如，叙述列举元素A、B和C的组合物或方法具体设想了这样一些实施例，它们由A、B和C组成和基本上由A、B和C组成，不包括本领域中可能列举的元素D，即使是本文中未明确描述为排除元素D。

如本文所指，公开范围包括端点并且包括整个范围内的所有不同值和进一步划分的范围，除非另作注明。因此，例如，“从A到B”或“从约A到约B”的范围包括A和B。公开特定参数(如数量、重量百分比等)的取值和取值范围不排除本文有用的其他取值和取值范围。本公开设想，给定参数的两个或更多个具体例示值可以定义可为该参数要求保护的取值范围的端点。例如，如果本文中将参数X例示为具有值A又例示为具有值Z，则设想参数X可具有从约A到约Z的取值范围。类似地，本公开设想参数的两个或更多个取值范围(无论这些范围是嵌套、重叠还是不同的范围)归并使用公开范围的端点可能要求保护的取值的所有可能范围组合。例如，如果本文中将参数X例示为具有1-10或2-9或3-8范围内的值，则还设想参数X可能具有其他取值范围，包括1-9、1-8、1-3、1-2、2-10、2-8、2-3、3-10、3-9等等。

当某一元素或层次称为“处于”、“接合”、“连接”或“耦合”到另一元素或层次时，该元素或层次可直接处于、接合、连接或耦合到另一元素或层次，或者可能存在居间的元素或层次。反之，当某一元素称为“直接处于”、“直接附接”、“直接连接”或“直接耦接”到另一元素时，则不存在居间的元素。用于描述元素间关系的其他词语应采取类似解释(例如“二者之间”与“直接之间”、“相邻”与“紧邻”等)。如本文所用，术语“和/或”包括一个或多个相关列项的任何和全部组合。

本文虽可使用术语第一、第二、第三等来描述各种元素、组件、区域、层次和/或区段，但这些元素、组件、区域、层次和/或区段不应局限于这些术语。这些术语可仅用于区分某一元素、组件、区域、层次或区段与另一区域、层次或区段。“第一”、“第二”等术语和其他数字术语在本文中使用时并不暗示顺序或次序，除非上下文明确注明。因此，在不背离示例性实施例教导的前提下，下文论述的第一元素、组件、区域、层次或区段可称为第二元素、组件、区域、层次或区段。

本文中便于描述起见，“内”、“外”、“下”、“下方”、“之下”、“上”、“上方”等空间相关术语可用于描述某一元素或特征与另一元素或特征的关系，如图所示。空间相对术语可旨在除了图中描绘的定向外还涵盖设备使用或操作中的不同定向。例如，若设备在图中翻转，则一些元素或特征描述为处于其他元素或特征“下方”或“之下”应定向为处于其他元素或特征“上方”。因此，示例术语“下方”可涵盖上方和下方的方向。设备可采取其他定向(旋转90度或其他定向)并应相应解释本文所用的空间相对描述符。

本具体实施方式部分中引用的所有文件(包括专利、专利申请和科学文献)均通过引用归并本文，除非另作明确注明。通过引用归并的文件与本具体实施方式部分之间可能存在任何冲突或歧义的情况下，以本具体实施方式部分为准。

如本文所用，术语“头戴式设备”(“Head-MountedDevice”或“Headset”或“HMD”)是指配置为戴在头上的显示设备，其在一只或多只眼睛前面具有一个或多个显示光学器件(包括透镜)。此类术语甚至可通过术语“增强现实系统”来更广义地引用。适用头戴式设备的示例为Microsoft

图1示出了利用增强现实100对解剖结构进行动态配准的系统。系统100可具有增强现实系统102、成像系统104、测量系统106和计算机系统108。增强现实系统102可配置为显示如图3至图4和图6至图9所示的增强表示110。增强表示110可以是当前医疗程序相关信息的二维(2D)或三维(3D)描绘。相关信息的非限制性示例可包括术前和/或术中数据，诸如患者114的解剖特征112的三维描绘。解剖特征112可以是作为当前程序焦点的患者114的有机物和/或区域。解剖特征112的其他非限制性示例可包括器官、器官部分、组织、关节、骨骼、肿瘤、植入物等。增强表示110可具有许多应用和用途，诸如程序前规划、程序指导和训练。应当理解，本领域技术人员可选择其他信息来描绘增强表示110。还应理解，解剖特征112可包括患者114的任何解剖结构部分。

虽仍参照图3至图4和图6至图9，但增强现实系统102可配置为在增强现实环境116中显示增强表示110。增强现实环境116可包括虚拟窗口和/或不同模式，诸如图3至图4、图6和图9所示的“平视显示器”或“HUD”模式以及图7至图8所示的“闪光”模式，如参阅Black等人的美国专利申请US17/110,991，其全部公开内容(包括定义)通过引用归并本文。理想上，这会允许医师在患者114的相同视野中查看增强表示110。现参照图6，增强现实系统102可配置为在增强现实环境116中显示患者114的一部分118上的增强表示110。在某些示例中，患者114的一部分118可以是患者114的解剖特征112。有利地，这会允许在解剖特征112上直接描绘增强表示110，以在解剖特征112的位置的上下文内提供相关反馈。例如，增强表示110可以是解剖特征112的术中扫描，其可覆盖在解剖特征112上给予医师。在其他情况下，患者114的一部分118可毗邻患者114的解剖特征112。理想上，这会允许医师观察增强表示110，同时还能够在相同视野内观察解剖特征112；例如，混合现实视图。

在某些示例中，利用增强现实显示的增强表示110可显示在患者114的解剖特征112的近似位置上。例如，计算机系统108可采用算法、机器学习、人工智能和/或组合来根据医学认可公差估计患者114的解剖特征112的位置。但应理解，增强表示110也可视需要显示在其他表面和/或增强表示上。

增强现实系统102可以是用户可佩戴的头戴式显示器。增强现实系统102的非限制性示例可以是Microsoft

增强现实系统102和操作方法(包括显示增强表示110的方法)可参阅：West等人的美国专利US10,478,255；West等人的美国专利US10,895,906；Yanof等人的美国专利US10,869,727；West等人的美国专利公布US2021/0081035；Martin等人的美国专利申请US17/117,841；Black等人的美国专利申请US17/213,636；Black等人的美国专利申请US17/163,975；Black等人的美国专利申请US17/110,991，它们的全部公开内容(包括定义)通过引用归并本文。但应理解，在本公开范围内，本领域技术人员可为增强现实系统102采用其他AR设备和操作方法。

应当理解，在某些实施例中，增强现实系统102还可包括一个或多个位置传感器138。增强现实系统102的位置传感器138可配置为确定并生成增强现实系统102的位置数据140，诸如增强现实系统102的三维(3D)空间近似位置、取向、角速度和加速度。例如，应该理解，这会允许操作中在医师的视野内准确地显示全息图像。位置传感器138的非限制性示例包括加速度计、陀螺仪、电磁传感器和/或光学跟踪传感器。还应理解，本领域技术人员可采用不同类型和数目的增强现实系统102的位置传感器138，例如视利用增强现实系统102的过程或情况需要而定。

成像系统104可配置为对患者114的解剖特征112进行成像并生成解剖成像数据142。解剖成像数据142可包括与解剖特征112相对于患者114的结构、旋转和/或位置相关联的信息和/或媒体。应当理解，本领域技术人员可选择待包括在解剖成像数据142中的数据类型。理想上，成像系统104可用来在手术之前、手术期间和/或组合阶段对患者114的解剖特征112进行成像并生成解剖成像数据142。

如下将进一步详述，解剖成像数据142可供计算机系统108用来生成增强表示110。换言之，成像系统104可用于执行扫描和/或其他成像过程来生成解剖成像数据142，以用于生成增强表示110。例如，成像系统104可包括具有至少一个超声探头120的超声系统。医师可在患者114的解剖特征112上方移动超声探头120以捕捉可包括2D图像124的解剖成像数据142。图2示出了作为成像系统104的具有超声探头120的超声系统。超声探头120可沿着患者114的路径122移动以生成2D图像124。然后，可由计算机系统108将2D图像124转换成增强表示110。成像系统104的其他非限制性示例可包括计算机断层扫描(CT)系统、电磁系统、锥形束计算机断层扫描(或CBCT)系统、血气交换系统、机械控制通气系统、肺活量测定系统、心电图(ECG)系统、磁共振成像(MRI)系统、机电波传播系统、经食道超声心动图(TEE)系统以及上述组合。但应理解，在本公开范围内，本领域技术人员可采用其他成像程序和系统作为成像系统104。

测量系统106可配置为测量患者114的解剖运动并生成解剖运动数据144。解剖运动可包括患者114身体的一个或多个部分中可能基于患者114的部分或完整运动周期而发生的一项或多项运动。运动周期的非限制性示例可包括外力或内力，诸如基于呼吸周期、心动周期的运动、包括关节运动范围的关节运动、内部解剖结构迁移和/或生理过程。在本公开范围内，还可测量会影响到患者解剖特征的其他运动周期。此外，解剖运动可包括多个运动周期。解剖运动会影响到可在解剖运动数据中捕获的解剖特征112的几个方面，如结构、位置、旋转等。

解剖运动数据144可包括与解剖运动以及解剖运动对解剖特征112的影响相关联的信息和/或媒体。在某些示例中，解剖运动数据144可包括位移和应变测量，可用于划定和视觉显示病变或硬化组织的区域，以便实现最佳植入物和植入物修复程序。应当理解，本领域技术人员可视需要选择待包括在解剖运动数据中的其他数据和信息。

如下将进一步详述，解剖运动数据144可供计算机系统108用来基于解剖运动数据更新增强表示110，这会允许增强表示110的多方面基于内部移动选择性更新。理想上，增强表示110会保持可用，而不管患者114身体的体内运动如何。测量系统106可用来在手术之前、手术期间和/或组合阶段测量患者114的解剖运动并生成解剖运动数据144。测量系统106可配置为允许门控患者114的解剖运动并生成解剖运动数据。参照图5，测量系统106可包括肺活量测定系统，用于测量与呼吸相关的解剖运动并产生解剖运动数据。测量系统106的其他非限制性示例可包括计算机断层扫描(CT)系统、电磁系统、锥形束计算机断层扫描(或CBCT)系统、血气交换系统、机械控制通气系统、肺活量测定系统、心电图(ECG)系统、磁共振成像(MRI)系统、机电波传播系统、经食道超声心动图(TEE)系统以及上述组合。应当理解，本领域技术人员可视需要为测量系统106采用其他系统。

应当理解，在本公开范围内，本领域技术人员可将成像系统104和测量系统106组合成单个系统和/或添加一个或多个附加系统。同样，可视需要将解剖成像数据142和解剖运动数据144组合成单个数据条目和/或附加数据条目。此外，下面将详述成像系统104和测量系统106的更多示例以及操作方法。

现参照图1，计算机系统108可与增强现实系统102、成像系统104和/或测量系统106通信。这可经由无线连接、有线连接或通过网络152来实现。应当理解，系统100的网络152可包括各种无线和有线通信网络，作为非限制性示例，包括LTE或5G等无线电接入网络、局域网(LAN)、因特网等广域网(WAN)或无线LAN(WLAN)。应当理解，此类网络示例并非旨在作出限制，本公开范围包括系统100的一个或多个计算平台可通过一些其他通信耦合(包括无线和有线通信网络)可操作地链接的实施方式。系统100的一个或多个组件和子组件可配置为经由无线或有线连接与联网环境通信。在某些实施例中，一个或多个计算平台可配置为经由无线或有线连接彼此直接通信。各种计算平台和联网设备的示例包括但不限于智能电话、可穿戴设备、平板型计算机、膝上型计算机、桌面型计算机、物联网(IoT)设备或其他移动或固定设备，诸如独立服务器、联网服务器或服务器阵列。

计算机系统108可具有处理器146和存储器148。存储器148可包括非瞬态处理器可执行指令150以执行若干不同操作。例如，计算机系统108可配置为接收来自成像系统104的解剖成像数据142和来自测量系统106的解剖运动数据144。此外，如前所述，成像系统104和测量系统106可以是单个系统和/或附加或分立系统。因此，计算机系统108可接收来自单个系统和/或多个系统的解剖成像数据142和解剖运动数据144。

计算机系统108也可配置为基于解剖成像数据142来生成增强表示110。这可通过来自用户的输入、算法、机器学习、人工智能和/或上述组合来实现。在某些示例中，计算机系统108可基于West等人的美国专利US10,478,255和/或West等人的美国专利US10,895,906中描述的系统及方法来生成增强表示110。

参照图3至图4，计算机系统108可配置为应用后处理效果来加强增强表示110。例如，计算机可对增强表示110应用抗锯齿以将锯齿状边缘126平滑成平滑边缘128(可在生成过程期间形成)。这可使用多种不同的抗锯齿技术来完成。非限制性示例可包括超采样抗锯齿(SupersampleAnti-Aliasing-SSAA)、多采样抗锯齿(Multi-SamplingAnti-Aliasing-MSAA)、快速近似抗锯齿(Fast ApproximateAnti-Aliasing-FXAA)、时域抗锯齿(TemporalAnti-Aliasing-TXAA)等。平滑也可包括平均估计测量点之间数据那样的简单操作；例如，平滑数据集之间的噪声和/或估计填充数据点之间的间隙。计算机系统108也可单独地或组合地采用算法、机器学习、人工智能来应用抗锯齿。有利地，这会允许增强表示110在医师看来更为清楚，为增强表示110的位置、大小、定位、定向和/或动画提供优化。应当理解，本领域技术人员可采用其他过程和方法将锯齿状边缘126平滑成增强表示110的平滑边缘128。

计算机系统108也可配置为使增强表示110与患者114的解剖特征112关联。在某些示例中，这可通过将增强表示110整合到相对于患者114的全息配准中来实现，如参阅West等人的美国专利US10,478,255和/或West等人的美国专利US10,895,906。理想上，使增强表示110与患者114的解剖特征112关联允许将解剖成像和位置数据放入到增强现实系统102所用的公共全息坐标系中，以向增强现实环境116提供增强表示110。但应理解，本领域技术人员可视需要采用不同的方法来使增强表示110与患者114的解剖特征112关联。

计算机系统108可进一步配置为使增强表示110与解剖运动数据相关。换言之，计算机系统108可确定增强表示110与解剖运动数据之间的关系，这会确定是否需要根据患者114的解剖运动来更新增强表示110。这又可使用各种算法、机器学习和人工智能来完成。此外，下面将论述某些应用来进一步解释增强表示110与解剖运动数据144之间可能发生相关性的方式。

参照图3至图4和图6至图9，计算机系统108还可配置为在增强现实系统102上渲染增强现实环境116中的增强表示110。在某些示例中，计算机系统108可配置为在增强现实系统102上渲染增强现实环境116中患者114一部分118上的增强表示110，如图6所示。如前所述，这会允许医师在患者114的相同视野内查看增强现实环境116中的增强表示110。在某些示例中，增强表示110可与植入物、器械和/或工具关联以便进行最佳部署和/或利用，如图7至图8所示。

现参照图4、图6和图7，计算机系统108可进一步配置为基于解剖运动数据144来选择性更新增强表示110。在某些示例中，更新增强表示110可包括根据解剖运动数据144来更新增强表示110在增强现实环境116中的位置。作为非限制性示例，图6和图7示出了增强表示110正更新为使增强表示110的位置根据解剖运动数据144而变化(原始位置130显示为实线，更新位置132显示为虚线)。理想上，增强表示110的更新位置132可反映解剖特征112的位置如何因患者114的解剖运动而变化。例如，患者114的肝脏癌变可能经历基于患者114呼吸周期的位置变化。因此，计算机系统108可补偿解剖特征112因患者114解剖运动而产生的位置变化。有利地，这样即使解剖特征112的位置因解剖运动而变化，也能允许增强表示110保持有用。

参照图4，更新增强表示110可包括基于解剖运动数据144对增强表示110进行动画处理，从而显示增强表示110的结构变化。例如，可根据解剖运动数据144对增强表示110的结构进行动画处理以进行扩张、收缩、变形或重组。作为非限制性示例，图4描绘了增强表示110根据解剖运动数据144更新为进行扩张(原始状态134显示为实线，特征将会扩张到的边界136显示为虚线)。理想上，这会允许医师在视觉上看到增强表示110扩张到边界136，这反映了解剖特征112如何因解剖运动而变化。据信，这会有助于将基于解剖运动的解剖特征112的当前状态与医师相关的过程。

在其他示例中，更新增强表示110可包括根据解剖运动数据144来更新增强表示110的位置和/或结构，而不显示过渡动画。理想上，这会在无需显示过渡的情况下节省处理能力。

计算机系统108可配置为以设定的更新间隔基于解剖运动数据144来选择性更新增强表示110。更新间隔可根据当前医疗程序的要求来进行缩放。例如，如果该程序需要更高的准确性，则可缩短更新间隔，以允许提高更新发生频率。如果该程序无需太高的准确性，则可延长更新间隔，以降低更新发生频率。在某些示例中，可基于解剖运动数据144近乎连续地更新增强表示110。但应理解，本领域技术人员可根据程序的要求来缩放更新间隔。

应当理解，计算机系统108可自动基于解剖运动数据144来选择性更新增强表示110。但在某些示例中，计算机系统108可配置为允许医师决定何时更新增强表示110。例如，可由医师或另一个人向系统提供输入，以便视需要实现手动更新增强表示110。

此外，计算机系统108可通过使用滚动平均值来预测特定置信区间内的运动来适应各种计算能力水平，从而减轻临床上可接受的性能水平所需的计算机处理负担。应当理解，在某些情况下，计算机系统108可处于增强现实系统102之外。但在某些情况下，计算机系统108可包含在增强现实系统102之内。

系统100可以进一步包括可用于辅助成像解剖成像数据142和测量解剖运动数据144的跟踪传感器。例如，跟踪传感器可包括电磁系统，用于跟踪超声探头120等仪器并生成跟踪数据，该跟踪数据可并入解剖图像和位置数据以及解剖运动数据144。跟踪数据还可包括3D空间中的近似位置、被跟踪仪器的取向、角速度和加速度。跟踪传感器的非限制性示例可包括加速度计、陀螺仪、电磁传感器和光学跟踪传感器。但应理解，在本公开范围内，本领域技术人员可采用不同的装置和仪器作为跟踪传感器。

呼吸(Respiration)应用：

如图5至图6所示，测量系统106可配置为测量因呼吸而发生的解剖运动并生成解剖运动数据144。例如，测量系统106可包括肺活量测定系统、血气交换系统和/或机械控制通气系统，以测量与呼吸有关的解剖运动并生成解剖运动数据144。也可采用CT系统、MRI系统、超声系统和ECG系统等其他技术来捕捉解剖运动并生成和/或补充解剖运动数据144。

典型呼吸平均约为5-7mg/kg体重，但肺部的吸气和呼气并非呈线性。吸气和呼气作为呼吸周期中的特定阶段，可能令肺变形和气流量产生显著变化。成像系统104可包括执行肺活量测定，这可包括对七(7)次呼吸平均值的空气量采取测量。

测量系统106可使用无线肺活量测定或机械通气来捕捉有关手术介入目标区域的实时肺活量数据。一个手术介入的示例包括肝脏癌变。癌变可能根据呼吸周期而发生位置变化。这种位置变化可被测量系统106捕捉并生成到解剖运动数据144中。然后，计算机系统108可通过向医师显示动画或视觉反馈来选择性更新增强表示110。可由测量系统106关于呼吸周期中演示时间点(呼吸周期)的已知阶段捕捉癌变位置。计算机系统108可使癌变位置与时间点所关联的患者114肺部中的已知空气量相关。然后，测量系统106可通过使用实时2D、3D、4D超声来捕捉解剖特征112(诸如癌变)的位置以捕获和/或细化解剖运动数据144。在本公开范围内，本领域技术人员也可采用其他系统及方法。

计算机系统108可将解剖运动数据144应用到不同时间点的X、Y、Z坐标，演示解剖特征112的门控和变形。测量系统106可包括超声系统、MRI系统或CT系统，它们可生成解剖运动数据144，诸如解剖特征112的弹性成像特征。计算机系统108可使用解剖运动数据144来提供增强表示110的动态变形，这反映了运动如何影响解剖特征112。

在某些示例中，测量系统106可测量患者114在患者吸气和/或呼气时可能发生的解剖运动。基于这些测量，测量系统106可包括肺活量数据，该肺活量数据可并入解剖运动数据144中。测量系统106可包括肺活量计和/或波纹管型器件，用于完成测量和生成肺活量数据。但应理解，本领域技术人员可采用不同的系统及方法来收集用于测量系统106的肺活量数据。肺活量数据可包括流量循环，用于创建患者114呼吸周期中的参考点。特别地，图6示出了肺活量数据表，其中具有第一次测量值(M1)、第二次测量值(M2)、第三次测量值(M3)、第四次测量值(M4)、第五次测量值(M5)和第六次测量值(M6)。这些测量值M1、M2、M3、M4、M5和/或M6可用于使增强表示110的位置与特定时间点所关联的患者114肺部中的已知空气量相关。然后，计算机系统108可根据肺活量数据来更新增强表示110。例如，计算机系统108可更新增强表示110的位置，以反映解剖特征112的位置如何因吸气和/或呼气以及完整呼吸周期或多个周期而移动。这可能特别适用于解剖特征112，包括肿瘤、囊肿、血管、心脏结构、肌肉、骨骼和/或神经。

心动周期(CardiacCycle)应用：

在结构性心脏修复或置换程序和电生理消融程序期间，可使用有关心动周期或心脏起搏的诊断成像来应用本公开方法。使用CT系统、MRI系统、TEE系统、ECG系统和/或机电波传播系统等诊断成像能够实现类似的解决方案。但应理解，本领域技术人员可视需要采用其他不同类型的诊断测量系统作为成像系统104和测量系统106。在心动周期中，使用测量系统106可包括已知的心输出量(Q)或起搏特性，可使用门控技术来可视化心脏运动量。

在某些示例中，测量系统106可包括ECG系统。ECG系统可生成ECG数据，包括ECG电气周期，并使ECG数据与心脏机械周期相关，该心脏机械周期可并入解剖运动数据144中。ECG电气周期可具有三个主要分量：P波，代表心房除极；QRS波群，代表心室除极；T波，代表心室复极。参照图9，计算机系统108可通过将时间点分配给ECG电气周期而根据并入解剖运动数据144中的ECG数据来更新增强表示110。例如，第一时间点(T1)可与ECG电气周期的P波和心房除极相关。第二时间点(T2)可与ECG电气周期的QRS波群中的Q波和心室间隔的正常左向右除极相关。第三时间点(T3)可与ECG电气周期的QRS波群中的R波和早期心室除极相关。第四时间点(T4)可与ECG电气周期的QRS波群中的S波和浦肯野(Purkinje)纤维除极相关。如图9所示，计算机系统可通过使每个时间点与增强表示110的某个片段相关来更新3D特征。然后，可根据这种关系对增强表示110进行动画处理，这会直观地演示心动周期中的最小和最大运动范围。理想上，这会直观地显示出关键结构(诸如心尖、心腔、瓣膜、血管、节结、小叶、腱索和连合方位)、经间隔穿刺的间隔取向以及其他结构的关系和运动范围。应当理解，其他解剖特征也可能得益于该项应用。对此类具有动态和/或可变形特征的结构的视觉表示能够提供临床上重要的信息，以协助置换或修复产品就位。

脊椎手术和矫形正畸(SpinalProceduresandOrthopedicDeformity)应用：

测量系统106还可配置为测量和生成有关矫形正畸和脊椎手术期间软组织生物机械应力的解剖运动数据144。测量系统106可配置为测量经应变测量的力和术前产生的力以及这些力如何影响关节方位、长骨畸形和脊椎取向。在某些示例中，这可利用含超声系统的测量系统106来执行。关节或骨骼的已知位置可关于应变测量和整体肌腱或肌肉长度来进行测量和参考。然后，可基于常见的矫形、正畸和脊椎手术来执行预测建模和术中计算。

超声(Ultrasound)应用：

如前所述，成像系统104可包括具有至少一个超声探头120的超声系统，如图2所示。医师可在患者114的解剖特征112上方移动超声探头120以捕捉可包括2D图像124的解剖成像数据142。图2示出了作为成像系统104的具有超声探头120的超声系统。超声探头120可沿着患者114的路径122移动以生成2D图像124。然后，可由计算机系统108将2D图像124转换成增强表示110。

在某些示例中，测量系统106可包括超声系统。医师在将超声探头120在患者114的解剖特征112上进行移动的同时，可按设定的暂停间隔暂停预定时间，以表明患者114呼吸的开始和结束状态。通过按设定的暂停间隔暂停预定时间，可在多个位置捕捉呼吸中的多个阶段并将其并入解剖运动数据144中。因此，系统100可通过根据解剖运动数据144更新增强表示110来表明解剖变形和平移。例如，参照图4，增强表示110可更新为在患者114呼吸的两个阶段之间动态呈现动画。但应理解，本领域技术人员可根据解剖运动数据144来更新增强表示110的其他方面。

超声系统也可包括多个传感器。多个传感器可放置在患者114身体周围来表明解剖运动，这可包括动作和呼吸。多个传感器可选择性定位为充当所生成超声图像的参考点。此外，可由多个传感器生成解剖运动数据144，可包括平移和旋转数据，以通过根据解剖运动数据144更新增强表示110来加强增强现实配准、覆盖和定向。

超声彩色多普勒(UltrasoundColorDoppler)应用：

参照图7至图8，测量系统106可包括超声彩色多普勒系统。超声彩色多普勒系统可配置为通过将高频声波(超声波)从循环的红细胞中弹回而估计流经血管等解剖特征112的血流，从而生成解剖运动数据144。特别地，超声彩色多普勒可进一步配置为估计血流流经解剖特征112的流向和流速，并可将其并入解剖运动数据144中。这可包括采用颜色编码来标明流向。例如，蓝色可用于标明血液正流出超声探头120(图8中显示为方块图案)。红色可用于表明血液正流向超声探头120(图7至图8中显示为条纹图案)。

在某些示例中，计算机系统108可根据作为解剖运动数据144并入的血液流向和流速来更新增强表示110，以使解剖特征112中血流的流向和/或流速可视化。这一过程在解剖特征112包括无回声或难想象的血管壁时尤为有用。理想上，超声彩色多普勒系统可用来在心动周期中动态配准心脏解剖结构，以便用于最佳植入物或修复植入物部署。

操作中，超声彩色多普勒系统作为测量系统106可测量流经解剖特征112的血流的流向和/或流速。然后，测量系统106可确定和生成相关数据作为解剖运动数据144，包括如何基于血流经过解剖特征112的流向和/或流速而产生解剖特征112移动或心动周期变化。计算机系统108可使增强表示110与解剖运动数据144相关。然后，计算机系统108可通过根据解剖运动数据144调整增强表示110的位置来更新增强表示110，以反映解剖特征112的位置随心动周期的变化。

系统100的用法：

另如图10a和图10b所示，方法200包括步骤202，提供系统100。步骤204，成像系统104可对患者114的解剖特征112进行成像。步骤206，成像系统104可根据成像患者114的解剖特征112来生成解剖成像数据142。步骤208，测量系统106可测量患者114的解剖运动。步骤210，测量系统106可根据测量患者114的解剖运动来生成解剖运动数据144。步骤212，计算机系统108可接收解剖成像数据142和解剖运动数据144。步骤214，计算机系统108可基于解剖成像数据142来生成增强表示110。步骤216，计算机系统108可使增强表示110与患者114的解剖特征112相关。步骤218，计算机系统108可使增强表示110与患者114的解剖运动数据144相关。步骤220，计算机系统108可在增强现实系统102上渲染增强现实环境116中的增强表示110。如上所述，计算机系统108可在增强现实系统102上渲染增强现实环境116中患者114一部分118上的增强表示110。步骤222，计算机系统108可基于解剖运动数据144来选择性渲染增强表示110。

现参照图11a和图11b，方法200'可包括步骤224'，将对增强表示110应用后处理。例如，如图3至图4所示，计算机可对增强表示110应用抗锯齿以将生成过程中可能形成的锯齿状边缘126平滑成平滑边缘128。

有利地，上述系统100和方法能够实现利用增强现实来动态配准解剖结构。这种方法能够降低总体程序成本，提供实时程序数据，因在程序之前或期间不必进行CT扫描来生成成像而减少和/或消除辐射暴露。理想上，本公开可以是这样一种解决方案，即在增强现实环境116中表示的解剖结构的配准、校正和动态动作中考虑到诸如患者114呼吸等动态身体运动。

本文提供了示例实施例以便透彻理解本公开，并向本领域技术人员充分传达本公开的范围。本文阐述了许多具体细节，如具体组件、设备和方法的示例，以便透彻理解本公开实施例。对于本领域技术人员而言清楚的是，不必采用具体细节，示例实施例可以体现为许多不同形式，皆不应解释为限制本公开范围。某些示例实施例中并未详述公知工艺、公知设备结构和公知技术。在本公开技术的保护范围内，可以对某些实施例、材料、组合物和方法进行等效的更改、修改和变更，可获得基本相似的结果。

Claims (20)

1.一种利用增强现实对患者解剖结构进行动态配准的系统，包括：

增强现实系统，配置为显示增强现实环境中患者解剖特征的增强表示；

成像系统，配置为对患者解剖特征进行成像并生成解剖成像数据；

测量系统，配置为测量患者解剖运动并生成解剖运动数据；以及

计算机系统，与所述增强现实系统、所述成像系统和所述测量系统通信，所述计算机系统配置为：

接收来自所述成像系统的解剖成像数据和来自所述测量系统的解剖运动数据，

基于所述解剖成像数据来生成所述增强表示，

使所述增强表示与所述患者解剖特征关联，

使所述增强表示与所述解剖运动数据相关，

基于所述解剖运动数据来选择性更新所述增强表示，以及

在所述增强现实系统上渲染增强现实环境中的增强表示。

2.根据权利要求1所述的系统，其中，所述增强现实系统配置为显示增强现实环境中患者一部分上的增强表示。

3.根据权利要求1所述的系统，其中，所述成像系统包括选自下组的成员：超声系统、计算机断层扫描(CT)系统、电磁系统、锥形束计算机断层扫描(CBCT)系统、血气交换系统、机械控制通气系统、肺活量测定系统、心电图(ECG)系统、磁共振成像(MRI)系统、机电波传播系统、经食道超声心动图(TEE)系统以及上述组合。

4.根据权利要求1所述的系统，其中，所述成像系统配置为在对患者执行外科手术之前对所述患者解剖特征进行成像并生成所述解剖成像数据。

5.根据权利要求1所述的系统，其中，所述成像系统配置为在对患者执行外科手术期间对所述患者解剖特征进行成像并生成所述解剖成像数据。

6.根据权利要求1所述的系统，其中，所述测量系统包括选自下组的成员：超声系统、计算机断层扫描(CT)系统、电磁系统、锥形束计算机断层扫描(CBCT)系统、血气交换系统、机械控制通气系统、肺活量测定系统、心电图(ECG)系统、磁共振成像(MRI)系统、机电波传播系统、经食道超声心动图(TEE)系统以及上述组合。

7.根据权利要求1所述的系统，其中，所述测量系统配置为在对患者执行外科手术之前测量所述患者解剖运动并生成所述解剖运动数据。

8.根据权利要求1所述的系统，其中，所述测量系统配置为在对患者进行外科手术期间测量所述解剖运动并生成所述解剖运动数据。

9.根据权利要求1所述的系统，其中，所述解剖运动数据包括在患者解剖结构的运动周期内所收集的解剖运动数据。

10.根据权利要求1所述的系统，其中，所述计算机系统还配置为平滑所述增强表示，从而平滑所述增强表示的锯齿状边缘。

11.根据权利要求1所述的系统，其中，所述计算机系统配置为通过更新所述患者解剖特征的位置来更新所述增强表示，从而根据所述解剖运动数据来补偿所述解剖特征的运动。

12.根据权利要求1所述的系统，其中，所述计算机系统配置为通过更新所述增强表示的结构来更新所述增强表示，从而根据所述解剖运动数据来显示所述增强表示的结构变化。

13.根据权利要求1所述的系统，其中，所述计算机系统配置为通过对所述增强表示的原始状态与所述增强表示的更新状态之间的转换进行动画处理来更新所述解剖特征的位置和所述增强表示的结构中的至少一个，由此更新所述增强表示。

14.根据权利要求1所述的系统，其中，所述计算机系统配置为以预定间隔基于所述解剖运动数据来选择性更新所述增强表示。

15.根据权利要求1所述的系统，其中，所述计算机系统配置为响应于输入来选择性更新所述增强表示。

16.一种利用增强现实对患者解剖结构进行动态配准的方法，所述方法包括如下步骤：

提供用于利用增强现实对解剖结构进行动态配准的系统，其具有增强现实系统、成像系统、测量系统和计算机系统；

由所述成像系统对患者解剖特征进行成像；

由所述成像系统根据对所述患者解剖特征进行成像而生成解剖成像数据；

由所述测量系统测量患者解剖运动；

由所述测量系统根据测量所述患者解剖运动而生成解剖运动数据；

由所述计算机系统接收所述解剖成像数据和所述解剖运动数据；

由所述计算机系统生成基于解剖成像和位置数据来生成增强表示；

由所述计算机系统使所述增强表示与所述患者解剖特征关联；

由所述计算机系统使所述增强表示与所述患者解剖运动数据相关；

由所述计算机系统基于所述解剖运动数据来选择性更新所述增强表示；以及

由所述计算机系统在所述增强现实系统上渲染增强现实环境中的增强表示。

17.根据权利要求16所述的方法，其中，所述测量系统包括具有超声探头的超声系统，由此通过在所述患者解剖特征上移动所述超声探头并以设定的暂停间隔暂停预定时间来捕捉2D图像。

18.根据权利要求16所述的方法，其中，所述测量系统包括肺活量测定系统，其中，所述解剖运动数据包括具有多个参考点的流量环，所述参考点使所述增强表示的位置与患者肺部中的已知空气量相关。

19.根据权利要求16所述的方法，其中，所述测量系统包括心电图(ECG)系统，其中，所述解剖运动数据包括具有多个分量的ECG电气周期，每一个所述分量与所述增强表示的片段相关。

20.根据权利要求16所述的方法，还包括如下步骤：对所述增强表示应用后处理以平滑所述增强表示，从而平滑所述增强表示的锯齿状边缘。

Images