CN117651536A - 用于医学成像的增强现实头戴式视图器和探头 - Google Patents

Abstract

提供一种用于在医疗程序期间从患者获得测量值并显示测量值的增强现实(AR)系统和方法。系统包括：AR头戴式视图器，该AR头戴式视图器包括近眼显示器，近眼显示器用于相对于测量值被收集的患者在一位置处显示叠加在外科医生对患者组织的视野中的测量值；至少一个传感器，用于跟踪患者的位置；存储器，用于存储测量值以及与该测量值相关联的位置；其中系统被配置成在医疗程序期间执行以下步骤：(a)接收从患者组织收集的测量值，其中测量值由邻近患者组织的不同区域定位的探头收集；(b)在探头收集测量值的同时跟踪探头的位置，以确定收集测量值的位置；(c)同时执行步骤(a)和(b)：使用至少一个传感器跟踪生物标志在患者上的位置，使得可以确定生物标志的位置与收集测量值的位置之间的关系；(d)通过以下方式在近眼显示器上在一位置处显示测量值，使得在整个医疗程序中，测量值相对于测量值被收集的患者在外科医生对患者组织的视野中在该位置处对齐：在整个医疗过程中连续地跟踪生物标志的位置以获得生物标志的当前位置；基于生物标志的当前位置更新测量值在显示器上的位置。

Description

用于医学成像的增强现实头戴式视图器和探头

技术领域

本发明涉及一种用于医疗程序的增强现实系统。

背景技术

癌症外科手术由去除肿瘤组成。为了确保完全去除，外科医生切除肿瘤周围的健康组织的一部分。完全去除是防止肿瘤复发的关键，肿瘤复发与增加的外科手术成本和发病率与死亡率相关。为了确保完全去除，需要正确地识别并准确映射肿瘤。

用于肿瘤识别和映射的当前技术包括：

·活检，即，使用针获得组织样品以用于该组织样品在实验室中的后病理分析；

·患者扫描，即，在患者的医学图像上评估肿瘤边缘；

·热成像，即，使用红外热成像进行癌症检测；

·拉曼光谱法，即，允许分析生物组织的化学成分并且是在过去的十年中已经广泛用于癌症筛选、诊断以及术中外科手术指导的技术。

用于肿瘤识别和映射的拉曼光谱法是一种强大的技术，因为其允许外科医生在外科手术期间区分健康组织和癌组织，同时比活组织检查具有更少的侵入性。然而，已知的拉曼技术存在关键限制，因为外科医生需要使用探头进行数次测量以获得癌组织的完整映射，因为一次分析的组织面积非常小(约1mm)。这意味着外科医生必须在外科手术期间回忆由探头测量确定的癌组织的多个位置，或使用物理标志物(诸如标签)标记癌组织的检测区域。第一种方法导致准确性降低，而后者由于外科医生必须停止并将物理标记物放置在正确位置而导致较长的外科手术时间。

该问题的进一步的解决方案是在外科手术室中的监测器上显示的患者身体的图像上观察癌组织的位置。然而，外科医生必须在他们之前将此信息与实际患者的身体匹配。这可导致外科手术准确度降低，因为该匹配依赖于外科医生将监视器上所示的位置应用于患者的能力而容易出现人为错误。此外，这会导致外科手术时间长，因为外科医生必须不断地离开患者看向监测器。

本发明旨在解决与当前程序相关联的上述问题。

发明内容

根据第一方面，提供了一种用于在医疗程序期间从患者获得测量值(measurement，测量结果)并显示该测量值的增强现实(AR)系统，该系统包括：AR头戴式视图器(headset)、至少一个传感器、存储器以及处理器，AR头戴式视图器包括近眼显示器，近眼显示器用于相对于测量值被收集的患者在一位置处显示叠加在外科医生对患者组织的视野中的测量值；至少一个传感器用于跟踪患者的位置；存储器用于存储测量值以及与该测量值相关联的位置；其中系统被配置成在医疗程序期间执行以下步骤：(a)接收从患者组织收集的测量值，其中测量值由邻近患者组织的不同区域定位的探头收集；(b)在探头收集测量值的同时跟踪探头的位置，以确定收集测量值的位置；(c)同时执行步骤(a)和(b)：使用至少一个传感器跟踪生物标志在患者上的位置，使得可以确定生物标志的位置与收集测量值的位置之间的关系；(d)通过以下方式在近眼显示器上在一位置处显示测量值，使得在整个医疗程序中，测量值相对于测量值被收集的患者在外科医生对患者组织的视野中在该位置处对齐：在整个医疗过程中连续地跟踪生物标志的位置以获得生物标志的当前位置；基于生物标志的当前位置更新测量值在显示器上的位置。

以这种方式，由于生物标志的位置在获得探头测量值的同时是已知的，所以可以确定其相对位置之间的关系。因此，通过连续地跟踪生物标志的位置，当在较晚时间点显示在显示器上时，测量值可在相对于其从患者身体获得的正确位置处叠加在显示器上。

作为用于跟踪的生物标志，不需要在患者上或患者周围放置物理标记，从而产生无物理标记的程序。这是有利的，因为生物标志不会像物理附着的标记那样从患者掉落。此外，外科医生不需要停下并将标记附接至患者，由此潜在地减少外科手术的持续时间或对患者造成的伤害和风险。

当实时跟踪患者身体时，外科医生可以在他们的视线中直接看到增强现实显示器上的测量值。换言之，这些测量值在其所对应的位置处叠加在患者的真实世界视图上。这意味着外科医生不必不断地离开患者的身体观看外部监测器。这还减少了与外科医生主观地将其在监视器上看到的内容转换到患者的实际身体相关联的误差。

基于生物标志的当前位置更新测量值在显示器上的位置的步骤涉及使用生物标志的位置与收集测量值的位置之间的关系。

收集测量值的位置是每个测量值被收集的患者的位置。换言之，其是患者身上探头已经由此进行测量的点。该关系可以是生物标志的位置与通过跟踪进行每个测量的位置确定的进行每个测量的位置之间的关系。取决于探头的性质和待进行的测量，术语邻近患者组织可以被解释为意指紧邻患者组织、在患者组织上或在患者组织中。

优选地，生物标志是生物标志的一个或多个特征。以这种方式，跟踪的是生物标志的一个或多个特征。例如，这可以涉及使用至少一个传感器跟踪患者上的生物标志的一个或多个特征的位置，使得生物标志的一个或多个特征的位置与收集测量值的位置之间的关系可以确定。可还包括在整个医疗程序中连续地跟踪生物标志的一个或多个特征的位置以获得其当前位置；以及基于生物标志的一个或多个特征的当前位置来更新测量值在显示器上的位置。

生物标志的一个或多个特征可以包括生物标志的边缘或交叉点。这些边缘或交叉点可以是生物标志的可以识别的元素。有利地，这些交叉点或边缘可提供生物标志上容易识别的参考点。这些特征可以从由传感器获得的原始数据提取。

传感器可以跟踪患者的位置(即，位置和取向)。当前位置是当前时刻生物标志的位置，由于患者的位置可能因为患者的运动和AR头戴式视图器相对于彼此的运动而在整个程序中改变。

方法可还包括创建测量值的虚拟映射，其中，在近眼显示器上显示测量值包括显示虚拟映射。虚拟映射可以向外科医生提供关于患者组织的癌变区域的视觉引导。虚拟映射可以是为外科医生提供直观且易于解释的视图的测量值的空间映射。

虚拟映射可以是具有由不同颜色表示的不同测量值的区域的颜色编码数据图。例如，癌组织可以以与非癌组织的区域不同的颜色表示。可替代地或另外地，癌组织的量可以由虚拟映射的颜色表示。具有较高百分比的癌组织的区域可以具有与具有较低百分比的癌组织的区域不同的颜色。

优选地，跟踪患者身上的生物标志的位置可还包括：使用特定波长的光照射患者的区域，并且由传感器检测由生物标志响应于该照射而发射的荧光信号。在外科手术之前，可以用荧光染料对患者进行注射，注射到他们的静脉系统中。染料然后可以积累在关注的生物标志中。例如，这可以是患者的血管。有利地，通过使用荧光染料，可以跟踪位于患者身体内的患者内部区域。这是有利的，因为其允许跟踪点尽可能接近关注点。此外，其不需要在检测位置附近插入物理标记物的外科手术侵入性程序。由于患者身体不固定在位并且在整个程序中(例如当呼吸时)将运动，通过跟踪生物标志，标记将随患者身体运动，从而改善跟踪，并由此在显示器上叠加测量值。

荧光标记可以是任何已知的荧光染料或造影剂。例如，其可以是吲哚菁绿(ICG)。照射患者可涉及使用近红外(NIR)光源。光源激发生物标志中的分子配体，其响应地发出具有特定波长的光。对光谱的该范围敏感的相机可以用于检测光。所检测的光可以是原始数据的形式，该原始数据可以用于形成清楚地表示生物标志的图像。NIR的波长可取决于所使用的染料而选择。荧光信号用于位置跟踪目的，而不是本身表示特定的医疗测量值。NIR相机和NIR光源可位于AR头戴式视图器上。在其他布置中，NIR相机和/或NIR光源可与AR头戴式视图器分离地定位。可替代地，可以使用任何其他类型的荧光标记，诸如亚甲基蓝、丙氨酸蓝以及可以对可见光谱中的光敏感的其他荧光标记。可基于在可见光、NIR或IR波长中使用的造影剂的类型来选择相机和光源。

AR系统可还包括探头。优选地，探头是拉曼探头。有利地，拉曼光谱法提供了用于识别和映射癌组织的非侵入性程序。通过在近眼显示器上呈现这些测量值，外科医生可以在其直接视线中在相对于患者的正确位置处观察测量值。探头可以是手持式探头。例如，其可以是用于从患者收集测量值的手持工具。拉曼探头可以包括用于激发组织的二极管激光器和用于检测来自组织的拉曼散射测量值的传感器。然而，可以使用拉曼探头的其他布置。

可替代地，探头可以是能够从患者获取温度测量值的温度探头。温度测量值可以作为虚拟映射显示在显示器上，这些测量值在外科医生的视图中相对于其被收集的位置的正确位置处。在其他布置中，探头可以是电磁探头。例如，电磁探头可以是电磁脉动探头。电磁脉动探头可以用于在侵入性程序中从患者的大脑进行测量或向患者的大脑给予脉冲。可替代地，可以使用任何其他类型的探头，诸如PH探头。

当AR系统包括探头时，AR系统可还包括使用探头执行收集测量的步骤。然而，还应当理解，探头可以替代地被视为独立于AR系统。

医疗程序可以是外科手术程序。具体地，医疗程序可以是癌症外科手术。这可以是从患者去除癌组织(诸如肿瘤)的外科手术。本发明允许在外科手术程序期间收集测量值，同时使得外科医生能够在整个所述程序中使测量值可视化。可替代地，在其他布置中，可以在外科手术之前收集测量值，以便稍后在外科手术程序期间进行显示。测量可以在整个外科手术中用作外科医生的指导。

优选地，至少一个传感器可以包括RGB相机。例如，RGB相机可在整个程序中获得生物标志的图像。在一些布置中，可提供单个RGB相机。在其他布置中，可存在多个RGB相机。在其他布置中，相机可为一个或多个近红外(NIR)或红外(IR)相机。或者，可组合多个相机，或可使用多光谱和高光谱传感器。相机性质的选择将取决于正被跟踪的生物标志的性质。具有单个相机使得能够产生2D图像(除非移动以配准和创建3D体积)，而多个相机使得将要产生的3D图像/模型能够产生。

此外，头戴式视图器可以包括深度传感器。例如，这可以是飞行时间传感器。可替代地，这可以是立体相机、激光雷达(LIDAR)、雷达(RADAR)、高光谱相机或传感器的组合或者能够测量距离和比例的任何其他已知类型的传感器。深度传感器能够测量从头戴式视图器到患者的距离。以这种方式，可以在整个程序中确定头戴式视图器相对于患者的位置，从而改进在显示器上定位虚拟映射的准确性。例如，深度传感器可以在整个程序中估计待确定的头戴式视图器相对于患者的位置和/或取向(姿势)。这可以通过生成外科手术部位的点云或深度图像来实现。这可以有助于提供患者坐标与头戴式视图器坐标之间的变换。深度传感器可以生成生物标志的深度映射或点云。因为探头测量的位置可以是3D数据，为了确定与生物标志的位置的关系(例如，特征)，生物标志的3D位置(例如，特征)需要被确定。这可以通过获得深度映射或点云来实现。

在整个医疗程序中连续地跟踪生物标志的位置以获得其当前位置可还包括：通过传感器捕获患者的图像；从生物标志的图像中提取一个或多个特征；确定图像的连续帧上的一个或多个特征之间的对应关系；使用变换矩阵来估计图像的连续帧上的一个或多个特征的运动。变换矩阵优选地已经被计算并且基于传感器的校准参数。提取一个或多个特征可以是通过应用算法来提取所述特征。这可以来自原始图像数据。

患者的图像可以是原始数据，诸如来自荧光发光。随着时间的连续图像可形成一系列图像帧。取决于所获得的原始图像数据的性质，特征可以是2D或3D特征。稳健算法可以用于识别2D/3D特征。例如，这种识别可以基于生物标志的尺寸、形状和颜色强度。图像的连续帧上的特征之间的对应关系可用于跟踪特征。

在整个程序中执行变换的连续计算，以允许在外科手术期间的实时跟踪。

方法可还包括：在计算变换矩阵之前，应用优化程序来去除噪声或不完整的数据。这可以涉及使用全局优化。替换地或附加地，可以使用异常值剔除算法或优化滤波器。例如，优化随机样本一致性(RANSAC)或迭代最近点算法。有利地，这些技术可以有助于去除噪声和斑点，从而减少可能由因为噪声数据所导致的跟踪偏差而引起的错误匹配。例如，由于环境的照射。

通过使用变换矩阵来估计图像的连续帧上的特征的运动可还包括：应用刚性或非刚性配准。由于患者的身体是动态对象(例如，由于呼吸运动或软组织的变形)，可能发生2D/3D特征在若干帧上的位移。通过计算并且然后使用变换矩阵，可以在连续帧上估计2D/3D特征的运动。非刚性配准和弹性变形校正可以用于实时估计2D/3D特征的位置。当进行非刚体估计时，关注区域可收缩或扩张，从而产生动态原始数据。为此，可能需要弹性变形校正。这可以允许图像帧之间的精确匹配，即使患者身体的改变和运动。

由于系统的动态性质，特征的形状还可以随帧改变，这可能导致图像中的非均匀性。在一些布置中，对3D数据的图像梯度操作可以用于在帧之间确定特征的定位之间的位移。为此，可以定义接受标准以及与其相关联的阈值。一旦达到阈值，探头的坐标系统就与患者的坐标系统配准。

如上所述，生物标志的一个或多个特征可以包括生物标志的边缘或交叉点。有利地，这些交叉点或边缘可提供容易识别生物标志上的参考点。这可改善对帧之间的标志的跟踪的准确性。可替代地，可以跟踪生物标志的整个结构，而不是所使用的生物标志的特征。例如，如果其是皮肤标记(诸如出生标记)，则这些特征可以是生物标志的形状。

优选地，生物标志可以包括患者的血管。由于患者血管遍布患者身体定位，因此它们能够在遍布患者身体的任何位置处执行跟踪。可通过NIR光照射血管以实现其子表面检测。可替代地，生物标志可以是患者的淋巴结、患者的神经系统、患者的器官表面中的至少一个。

可替代地，可以使用其他生物标志。例如，皮肤标记、痣、胎记、关节、肌肉、器官或患者组织的任何其他区域。可替代地，生物标志可以包括解剖学标志，诸如眼角或胸骨上缺口。

在一些布置中，多个生物标志可以用于跟踪。例如，可以使用多个血管并且跟踪血管特征中的每一个。在其他布置中，可以使用多种不同类型的生物标志。例如，血管和皮肤标记。增加所使用的生物标志的数目可增加患者跟踪的准确性。

跟踪探头的位置的步骤可以包括经由传感器检测探头上的标记并且计算代表收集测量值的位置的探头的尖端的位置。以这种方式，探头本身可以用表示进行测量的位置的探头尖端的位置来跟踪。因此，可以高精度地确定进行测量的位置。根据已知的探头几何形状计算探头尖端的位置与标记物之间的关系。可以存在单个标记或多个标记。

探头标记可以是可见参考，诸如探头上的几何形状。或者，探头标记可以是主动发出电磁辐射的标记。

探头标记可以由头戴式视图器上的跟踪系统来检测。例如，一个或多个传感器可跟踪探头标记。例如，这可以是电磁传感器。传感器可以是用于检测标记的图像的红外相机或RGB相机。传感器可以检测探头人工标记的图像，使得执行图像图案识别以识别标记的位置。这可以使用例如使用Aruco，April tag，或使用已知的图案。在其他布置中，机器学习算法可用于跟踪探头的位置。机器学习算法(例如AI)可以被训练为跟踪探头的位置。

可替代地，跟踪系统可以位于头戴式视图器外部，由此执行外部跟踪。在这种布置中，除了探头位置之外，还将跟踪头戴式视图器的位置。

在其他布置中，探头的几何形状可以通过使用立体配置中的多个相机来跟踪。这可以通过比较来自每个相机的探头的图像并且通过知道探头几何形状来使得能够跟踪探头的位置。在进一步的布置中，位于探头上的传感器可以负责跟踪探头位置。例如，这可以通过使用测程法来估计。例如，位于探头上的传感器可以是惯性测量单元(IMU)。有利地，使用IMU可以改善跟踪的准确性并且还可以将虚拟映射锚定在相对于现实世界的固定位置中。

可替代地，可以通过使用放置在患者下面的桌子上的电磁发生装置(例如，垫(mat))来跟踪探头。在这种布置中，探头和头戴式视图器包括置于其上的磁性标记，并且AR系统包括被配置为生成电磁场的装置。以这种方式，由所述设备产生的磁场检测电磁场中这些小磁性单元的运动，从而跟踪它们的运动以获得它们的空间定位。在这种布置中，可能不需要用来跟踪探头的RGB相机。优选地，跟踪探头的位置的步骤可以包括检测由探头上的磁性标记物的运动引起的磁场变化，其中通过磁场变化识别探头的位置。

测量值可以用于表示指示癌组织的区域。每个测量值可以包括强度，其中探头的位置在获取与其相关联的测量值的点处。强度可以表示获取测量的组织是癌性的。强度可以在虚拟映射中显示以指示癌组织的区域。

生物标志的位置(例如，一个或多个特征)与收集测量值的位置之间的关系可以通过在同一坐标系中的变换两个位置来确定。具体地，将生物标志的特征的位置和收集测量值的位置变换到公共坐标系中。通过在进行测量时的示例处将测量值的坐标系与生物标志的坐标系配准，生物标志与测量值之间的相对位置可容易地在同一参考系中确定，由此实现关系的确定。以这种方式，特征或测量值所在的每个点由坐标向量表示。有利地，通过该配准，测量值(或虚拟映射)在外科医生观看时与患者的身体正确地对准。这种配准在整个外科手术中持续进行。这可以涉及将坐标系变换到公共坐标系中以确保虚拟映射和生物标志的图像可以彼此比较并由此基于所确定的关系在显示器上正确地对准。这可以通过将测量值在头戴式视图器参考系中的坐标变换成生物标志参考系的坐标，使得可以确定相对位置。

优选地，在近眼显示器上在一位置处显示测量值，使得在整个医疗程序中，测量值相对于测量值被收集的患者在外科医生对患者组织的视野中在该位置处对齐，可还包括：跟踪外科医生的眼睛的位置并且基于外科医生的眼睛的当前位置调整测量值在近眼显示器上的位置。有利地，这意味着通过考虑外科医生的眼睛的位置，虚拟映射在显示器上的定位可以更精确。可以在整个医疗程序中跟踪位置以确保实时调整。

在整个医疗程序中，佩戴者的眼睛的位置将不会固定，其中他们的视野和凝视在整个程序中变化。通过连续确定佩戴者的眼睛的位置和它们相对于头戴式视图器的位置，可以提高所生成的图像在佩戴者的视野上的定位的准确度。眼睛跟踪传感器还可以确定佩戴者的眼睛的焦点，即在任何特定时间它们聚焦的位置。以这种方式，虚拟映射可被显示成使得其在佩戴者的患者视野中一直被聚焦地显示。

眼睛跟踪传感器可以是多个眼睛跟踪传感器。例如，可能存在跟踪每只眼睛的单个传感器。可替代地，单个跟踪传感器可以跟踪双眼的位置。眼睛跟踪传感器可以包括IR光源和扫描每只眼睛的位置以确定其位置的检测器。光源可以是LED或激光器的形式。替换地或附加地，眼睛跟踪传感器可以是电势眼睛跟踪传感器。电势眼睛跟踪传感器使用围绕眼睛放置的电极来测量眼睛的运动。

处理器可以接收佩戴者眼睛的位置。优选地，处理器被进一步配置成通过获得佩戴者眼睛的瞳孔间距来获得佩戴者眼睛的位置。

近眼显示器可以是单个显示器。可替代地，近眼显示器可以是两个显示器，一个显示器用于显示一只眼睛的图像。近眼显示器可以是波导。可替代地，显示器可以是分束器显示器或激光反射显示器。显示器可以利用镜子将图像投影到佩戴者的视野中。显示器可由玻璃和/或塑料制成。以这种方式，其是透明的。可替代地，近眼显示器可以是透镜。或者，近眼显示器可以是将图像投射到佩戴者的眼睛中使得图像显示在视网膜上的光束。以这种方式，近眼显示器可以是虚拟视网膜显示器。

装置可进一步被配置成执行校准过程以校准AR头戴式视图器。校准程序可以涉及获得传感器在头戴式视图器上的彼此相对位置。可以基于所述校准来更新显示步骤。处理器可以确定传感器和显示器相对于彼此的相对位置。还可以确定传感器的参数。例如，可以确定算法所使用的针孔相机模型的参数，或者校正传感器前方的光学器件所引入的失真的参数。还进行进一步的校准以确定外科医生的瞳孔间距(IPD)(即他们的眼睛之间的距离)。这可通过使用眼睛跟踪传感器进行测量以确定IPD来获得。可替代地，这可以由外科医生手动地输入到软件中。还可以确定外科医生的眼睛相对于显示器的位置。这种校准确保了探头测量值与从中收集探头测量值的患者正确位置的准确重叠。变换矩阵可以包括所获得的校准参数的细节。

根据另一方面，提供了一种在医疗程序期间使用增强现实(AR)系统从患者获得测量值并将测量值显示给外科医生的方法，该方法包括以下步骤：(a)接收从患者组织收集的测量值，其中测量值由邻近患者组织的不同区域定位的探头收集；(b)在探头收集测量值的同时跟踪探头的位置，以确定收集测量值的位置；(c)同时执行步骤(a)和(b)：使用至少一个传感器跟踪生物标志在患者上的位置，使得可以确定生物标志的位置与收集测量值的位置之间的关系；(d)通过以下方式在由外科医生佩戴的AR头戴式视图器的近眼显示器上在一位置处显示测量值，使得在整个医疗程序中，测量值相对于测量值被收集的患者在外科医生对患者组织的视野中在该位置处对齐：在整个医疗过程中连续地跟踪生物标志的位置以获得生物标志的当前位置；基于生物标志的当前位置更新测量值在近眼显示器上的位置。

该方面的增强现实系统可以是上述方面的增强现实系统。

根据另一方面，提供了一种计算机程序产品，该计算机程序产品包括指令，当程序由计算机执行时，指令使计算机执行以下步骤：(a)接收从患者组织收集的测量值，其中测量值由邻近患者组织的不同区域定位的探头收集；(b)在探头收集测量值的同时跟踪探头的位置，以确定收集测量值的位置；(c)同时执行步骤(a)和(b)：使用至少一个传感器跟踪生物标志在患者上的位置，使得可以确定生物标志的位置与收集测量值的位置之间的关系；(d)通过以下方式在由外科医生佩戴的AR头戴式视图器的近眼显示器上在一位置处显示测量值，使得在整个医疗程序中，测量值相对于测量值被收集的患者在外科医生对患者组织的视野中在该位置对齐，通过以下方式实现：在整个医疗过程中连续地跟踪生物标志的位置以获得生物标志的当前位置；基于生物标志的当前位置更新测量值在近眼显示器上的位置。

根据另一方面，提供了一种非暂时性计算机可读介质，该非暂时性计算机可读介质当在处理器上被执行时被配置成执行以上方法。

附图说明

图1示出了用于分析生物组织的化学成分的现有拉曼系统的示意图；

图2示出了根据本发明实施例的示例增强现实(AR)头戴式视图器的示意图；

图3示出了用于获得和可视化测量值的根据本发明的实施例的示例增强现实(AR)系统的示意图；

图4示出了用于使用图3中所示的示例AR系统从患者获得测量值并在用户的视野中准确地显示测量值所执行的步骤的流程图；以及

图5示出了如使用图3的AR系统获得的在图2的AR头戴式视图器中显示的示例虚拟映射。

具体实施方式

图1示出了用于分析生物组织的化学成分(诸如检测和映射肿瘤)的先前的拉曼系统200。系统200包括经由光纤电缆206附接至拉曼探头202的二极管激光器204。拉曼探头202还通过光纤电缆212附接到光谱仪216。光谱仪216可具有耦合到CCD相机220的体相位技术(VPT)光栅。CCD相机220与计算机处理单元222通信。

在拉曼光谱法程序期间，探头202放置成与患者208的待分析的组织210相邻，使得来自激光器204的低功率激光束入射在待分析的组织210的区域上，如在图1中可见。入射在组织上的该光通过拉曼散射引起组织发光，该光然后被探头202检测并且发送到光谱仪216(即，根据其波长检测并分析入射光并记录所得光谱的仪器)。

光谱仪216的输出数据由CCD相机220和计算机处理单元222处理。当癌组织在某一光谱内发光时，与癌组织相容的那些值可以变换成图形表示(即虚拟映射)。该虚拟映射与患者组织208的图像对准，从而突显癌组织的区域。然后，将图像与虚拟映射融合显示在设置在外科手术室中的监视器上。外科医生使用该可视化作为在外科手术期间定位癌组织区域的指导。

然而，在远离外科手术室中的患者的监视器上显示图像具有缺点。外科医生必须在他们之前将在监视器上显示的此信息与实际患者的身体匹配。这可导致外科手术准确度降低，因为该匹配依赖于外科医生将监视器上所示的位置应用于患者的能力而容易出现人为错误。此外，这会导致外科手术时间长，因为外科医生必须不断地离开患者看向监测器。

图2示出了根据本发明的实施例的增强现实(AR)系统100。AR系统100包括AR头戴式视图器2和处理器12。

增强现实头戴式视图器2具有两个显示器：第一显示器4a和第二显示器4b，第一显示器4a用于向头戴式视图器的佩戴者的右眼显示图像，而第二显示器4b用于向头戴式视图器2的佩戴者的左眼显示图像。显示器4a、4b附接至头戴式视图器2的壳体16。

两个相机6a、6b位于头戴式视图器的壳体16上。相机6a位于第一显示器4a上方，而相机6b位于第二显示器4b上方。相机6a、6b能够检测近红外(NIR)光和RGB光(即多光谱相机)。这些被示出为两个相机，然而，可以使用任何数量的相机。另外，单独的相机可以检测可见光和NIR光。

光源8也位于壳体16上。光源8为配置为发射NIR光的NIR光源。光源8位于相机6a和相机6b之间，尽管光源可以位于AR头戴式视图器2上的任何位置。可替代地，光源8可以位于AR头戴式视图器2的外部(或者对于某些类型的设置，其可能根本不需要)。

两个深度传感器10a、10b位于头戴式视图器2的壳体16上。深度传感器是被配置为确定从头戴式视图器2到对象的深度的飞行时间传感器，但是可以使用任何类型的深度传感器。

头戴式视图器2还包括眼睛跟踪传感器18。眼睛跟踪传感器位于头戴式视图器的面向佩戴者头部的一侧上。眼睛跟踪传感器被配置成确定头戴式视图器2的佩戴者的眼睛的位置。眼睛跟踪传感器18还可以确定佩戴者的眼睛正在看向哪个方向。

处理器12位于AR头戴式视图器2的外部。处理器可以是计算机或其他数据处理装置的处理器。AR头戴式视图器2通过电缆14连接到处理器12。电缆14用于在头戴式视图器和处理器12之间发送信号。例如，从相机6a、6b、眼睛跟踪传感器18和深度传感器10a、10b获得的数据可以通过电缆14发送到处理器12。电缆14还用于发送处理器12和头戴式视图器2之间的通信信号以控制相机6a、6b、深度传感器10a、10b、光源8和眼睛跟踪传感器18执行其功能。

AR系统100可以在外科手术程序(诸如去除癌组织的程序)期间与拉曼探头(未示出)组合使用。AR系统可以用于获得患者组织的癌区域的测量值并且在显示器4a、4b上将测量值在外科医生的视线内显示给外科医生，从而在外科医生的外科手术期间提供指导。

图3示出了根据本发明的实施例的另一示例增强现实(AR)系统101。图3的AR系统101具有AR头戴式视图器3。AR头戴式视图器3具有与图2的AR头戴式视图器2相同的特征，具有带有多个相机6、光源8和多个距离传感器10的传感器套件20(尽管图3中未明确示出多个相机和距离传感器)。

AR系统101还包括拉曼探头22。拉曼探头22具有如以上关于图1所描述的结构，并且通过光谱仪(未示出)连接到处理器。探头由测量尖端26构成，测量尖端是探头的收集测量值的区域。探头22还包括可以用于跟踪其相对于患者和AR头戴式视图器3的位置的标记24。

尽管图3中未示出处理器12，AR系统101具有与AR头戴式视图器3和探头22通信的处理器，以用于执行处理步骤。

图3中示出了邻近患者组织28的区域的探头22。患者组织28是将由探头22由此收集测量值的区域，例如疑似癌部位。生物标志30位于患者组织28上，其用于提取用于跟踪患者位置的特征，如下文将详细描述的。

现在将描述使用图3的AR系统的一个具体示例方法。该示例程序涉及从大脑皮层获得测量值，其中生物标志30是已聚集荧光标记的大脑表面上的血管。然而，应当理解，该方法可以适用于患者身体的任何部位。在该示例程序中，患者最初注射荧光染料，诸如注射到患者的静脉系统中。染料积累在患者的血管或组织中，并且可以通过经由荧光发光而用作生物标志30，如图3所示。

在外科手术程序期间，外科医生佩戴AR头戴式视图器3并且将拉曼探头22放置在待分析的患者组织28附近。当探头22在RGB相机6的视线中时，RGB相机6检测探头标记24。处理器接着实施模式辨识算法来估计标记24的姿态(即其位置和定向)。然后，这可以用于估计探头尖端26的位置，即收集拉曼测量值的位置。因为处理器知道探头22的几何形状，所以考虑探头的几何形状的变换可用于根据跟踪探头标记的位置来估计探头尖端26的位置。然后设置头戴式视图器坐标系。探头的尖端的与癌组织的区域的位置匹配的指定位置在头戴式视图器坐标系内。

外科医生将拉曼探头22放置在患者旁边，以便从患者组织获取测量值。分析收集的测量值，并且可以存储那些表示癌组织的测量值。经由标记24通过跟踪将测量值与探头22的对应位置一起存储。这些存储的测量值可以具有与它们相关联的强度值和存储为(x，y，z)的位置坐标。这允许生成3D虚拟映射。

与上述同时，NIR光源10对患者组织进行照明，使得已注射到患者中的荧光染料通过荧光发光。可以选择注射位置，使得染料积累在患者的特定区域中，诸如靠近关注探头测量的区域的特定血管。这些血管可用作用于提取用于跟踪患者的特征的生物标志30。NIR相机6检测从血管发出的荧光作为一系列图像。生物标志的2D或3D特征从这些原始数据图像提取。设置患者坐标系统并且将2D/3D特征保存在其中。

可以计算特征与探头测量位置之间的相对位置以确定其位置之间的关系，该关系可以在整个程序中使用以通过跟踪特征的位置来更新显示器上的测量值结果的虚拟映射的位置。这可以通过患者与头戴式视图器坐标系之间的变换来实现。

在跟踪过程期间估计连续帧上的特征(生物标志的)位置(即特征的运动)(如下面将进一步详细描述的)。

如以上概述的，从探头测量值中生成虚拟映射。虚拟映射表示组织的癌变区域。然后执行配准，使得患者坐标系映射到头戴式视图器坐标系。以这种方式，可在AR头戴式视图器显示器上在相对于患者的正确位置处显示虚拟映射。这使得外科医生能够利用(例如)与患者清晰对准的表示癌组织的虚拟映射来执行操作程序，从而用作在正确位置处叠加在外科医生对患者视野上的引导。这在整个程序中通过连续地跟踪特征的位置、通过连续地检测来自生物标志(例如血管)的NIR荧光信号来实现，从而形成一系列图像帧。

此外，眼睛跟踪还可以用于进一步将显示器上的虚拟映射定向在外科医生的正确视野处。一个或多个眼睛跟踪传感器可以跟踪患者眼睛的坐标。通过将外科医生的眼睛的坐标变换成头戴式视图器坐标系，可以在每个显示器上更新虚拟映射的位置。

图5示出了如以上讨论的示例的虚拟映射500，该虚拟映射显示在使用图3的AR系统获得的AR头戴式视图器上。该虚拟映射可以在相对于外科医生在进行测量的位置处的患者视野的正确位置处叠加在显示器6a、6b上。图5所示的虚拟映射500具有三个区域，这三个区域具有由映射的区域的颜色或阴影指示的不同强度。强度表示所记录的测量的强度。例如，在本文所述的示例中，较高强度(即，较暗区域)可以表示癌组织的较高浓度。区域501具有最低强度并且表示没有癌组织的区域。位于区域501内的区域503具有比区域501更高的强度并且表示少量的癌组织。位于区域503内的区域505具有比区域503和区域501更高的强度并且表示大量的癌组织。例如，区域505可以表示肿瘤部位。

图5中所示的虚拟映射被图示为2D映射，这是在显示器4a、4b上显示时外科医生将查看虚拟映射的方式。然而，虚拟映射可以实际上包括从组织部位获得的测量值的3D映射，其中来自该3D映射的2D投影显示在显示器上。显示在每个显示器4a、4b上的虚拟映射可以是该3D映射的不同投影。这考虑了外科医生的眼睛的不同位置。

图4示出了上述方法400的流程图，该方法被执行用于从患者获得测量值并在如图3所示的AR系统的用户的视野中准确地显示测量值。

在步骤401，执行校准程序以校准AR头戴式视图器。这可以包括对头戴式视图器上的传感器进行校准，以将传感器彼此的关系考虑在内。处理器确定传感器6、8、10和显示器4相对于彼此的相对位置。还可以确定传感器的参数。例如，可以确定算法所使用的针孔相机模型的参数，或者校正传感器前方的光学器件所引入的失真的参数。还进行进一步的校准以确定外科医生的瞳孔间距(IPD)(即外科医生的眼睛之间的距离)。这可通过使用眼睛跟踪传感器进行测量以确定IPD来获得。可替代地，这可以由外科医生手动地输入到软件中。还可以确定外科医生的眼睛相对于显示器的位置。这种校准确保了探头测量值与收集的患者的正确位置的准确叠加。眼睛跟踪相关校准可以在整个装置的使用中连续地进行。

在步骤403，执行可选的探头校准。这可以使得能够确定探头的几何形状，使得可以相对于探头标记24的位置确定探头26的尖端的位置。

在步骤405，将拉曼探头放置成邻近患者组织并且获取测量值。探头可以从关注的组织区域确定测量值，诸如检测癌组织的区域。测量值可以由外科医生简单地将探头放置在患者组织附近来连续地进行，或者由外科医生在指向关注区域的同时按压探头上的按钮来激活测量值的获取而进行。

在步骤407，跟踪探头的位置以便确定进行测量的位置。如在步骤403中所概述的，探头尖端或测量部件26的位置可以是相对于探头标记24已知的。头戴式视图器3上的RGB相机6可以捕获探头标记24的图像。坐标可以被分配给坐标系统(头戴式视图器坐标系统)内的探头尖端26。这可通过检测算法(诸如图像模式识别)来实现。将坐标发送到创建突显癌组织的区域的虚拟映射的处理器。

在步骤409，跟踪一个或多个生物标志以确定生物标志在外科手术程序期间在每个时间点的位置。生物标志的使用提供了一种在整个外科手术中跟踪患者而不需要使用物理标记的方法。

跟踪步骤409可以涉及多个子步骤。如上文概述的，可以通过在外科手术程序期间或之前由造影剂注射之后发出荧光信号的生物标志来跟踪生物标志(诸如血管)。头戴式视图器3上的NIR光源8以已知引起荧光的一个或多个波长照明所关注的患者组织的区域。NIR相机6俘获来自患者所发出的荧光。随后可对信号进行滤波以移除不想要的噪声。使用在校准步骤401期间获得的校准参数来校正或改正由所捕获的NIR光形成的原始数据图像。

然后检测(即识别)生物标志的特征，使得生物标志的特征可以提供容易识别的参考点以用于通过图像帧进行跟踪。例如，特征可包括血管的边缘或交叉点。稳健算法用于基于例如生物标志的大小、形状和颜色强度来识别这些特征。特征可以被识别为2D或3D特征。例如，如果使用多个NIR相机，则这可以使得能够确定每一帧的3D模型。然而，如果仅使用单个相机(并且没有深度传感器)，则可以替代地使用2D图像。提取来自每个帧的特征。特征的位置设定在坐标系2(CS2)内。

可计算生物标志的特征与探头测量位置之间的相对位置以确定其位置之间的关系，该关系可在整个程序中使用以通过跟踪生物标志的特征的位置来更新显示器上的虚拟映射的位置。这可以通过患者坐标系和头戴式视图器坐标系(CS1)之间进行变换，其中，可以容易地确定患者和头戴式视图器坐标系之间的相对位置。

然后在连续帧之间跟踪特征以估计运动。这是通过在连续时间点拍摄的连续帧上找到2D/3D特征之间的对应关系。

为了估计连续帧上的生物标志的特征的运动，计算变换矩阵。取决于所跟踪的特征是2D还是3D，这可以是2D或3D变换。可计算单独的变换以估计每个连续帧之间的运动，从而提供帧到帧变换。由于患者的身体是动态的、具有由于呼吸运动和软组织的变形引起的恒定运动的事实，生物标志特征可以在连续帧上移位。为了对此进行校正，可以使用非刚性配准和弹性变形校正来实时估计生物特征的位置(在2D或3D中)。(这些在与刚体配准比较时是优选的，因为对于动态对象，刚体配准呈现与灵敏度、可重复性、稳健性或多个视图相关联的问题。)可产生弹性可变形模型以有助于使配准的精度最大化。此外，由于此患者运动，特征的形状还可在帧上改变，这在比较特征时可导致非均匀性。特征的位移值可通过对3D数据的图像梯度操作来确认。为此，基于接受标准来分配阈值水平。一旦达到该阈值，则如下所述地在区段411中记录虚拟映射。例如，这可以是当存在大约80％至90％的特征匹配时。在整个外科手术程序中，可以连续地估计变换矩阵，以提供对生物标志的持续跟踪。

在计算变换矩阵之前，可以应用优化程序来去除噪声或不完整的数据。这可以涉及使用全局优化。替代地或附加地，可使用异常值剔除算法或优化滤波器。例如，优化随机样本一致性(RANSAC)或迭代最近点算法。有利地，这些技术可以有助于去除噪声和斑点，从而减少可能由源自噪声数据的跟踪偏差而引起的错误匹配。

步骤405与步骤407同时进行，因此将用探头进行的测量与所收集的数据坐标相关联。步骤405和步骤407也与步骤409同时进行，使得当进行测量时以及在整个外科手术程序的剩余部分中，可以相对于生物标志的特征来跟踪探头测量的位置。

在步骤411，执行配准，使得探头测量的坐标可以映射到生物标志的特征的坐标。这确保了当在显示器上观看时，虚拟映射可以与患者身体的区域正确地对准。

在步骤412，跟踪外科医生的眼睛的位置以确定它们相对于显示器的注视。头戴式视图器3可以具有位于其上的能够跟踪外科医生眼睛的位置的一个或多个眼睛跟踪传感器。这可以通过眼睛跟踪传感器跟踪外科医生的视网膜上的点来实现。用户的IPD(瞳间距离)还可与外科医生的眼睛的位置结合使用，以确保测量值在显示器上的准确放置。

一个或多个传感器可以用于跟踪外科医生的双眼。可替代地，单独的跟踪传感器可以跟踪每只眼睛的位置。眼睛跟踪传感器可以包括IR光源和扫描每只眼睛的位置以确定其位置的检测器。光源可以是LED或激光器的形式。替换地或附加地，眼睛跟踪传感器可以是电势眼睛跟踪传感器。电势眼睛跟踪传感器使用围绕眼睛放置的电极来测量眼睛的运动。

在步骤414，探头测量值显示在显示器上，相对于患者被捕获的位置重叠。处理器在显示器4a、4b上显示虚拟映射。每个显示器4a、4b将显示相对于其相关联的外科医生的眼睛及其患者视野正确定位的虚拟映射。基于AR头戴式视图器3的相对于被连续跟踪的患者的位置，实时动态地调整虚拟映射的位置、定向和缩放。佩戴AR头戴式视图器的外科医生将虚拟映射感知为叠加在患者的身体上，使得其在外科手术期间可以用作视觉引导。

通过该程序重复地执行步骤409、411、412以及414，以考虑在整个程序中患者的运动，从而确保测量值在正确位置处叠加在显示器上。

步骤405、407还可以任选地重复执行以在整个程序中获得另外的测量值。

为了确保以正确的位置定向和实时按比例显示虚拟映射，在程序期间必须连续跟踪头戴式视图器相对于目标的位置。如上文概述的，这可以通过在整个程序中跟踪患者的生物标志的位置。然而，跟踪头戴式视图器与患者之间的距离也可以在整个外科手术程序中进行。这可以通过位于头戴式视图器上的一个或多个深度传感器(诸如飞行时间传感器)实现。例如，深度传感器可以使得能够在整个程序中确定头戴式视图器相对于患者的位置和/或取向(姿势)。这可以通过生成外科手术部位的点云或深度图像来实现。这允许显示器上的图像的比例被相应地调整以考虑距患者的距离。这可以帮助提供患者坐标与头戴式视图器坐标之间的变换。例如，深度传感器可以使得能够在整个程序中确定头戴式视图器相对于患者的位置和/或取向(姿势)。这可以通过知晓生物标志与头戴式视图器之间的距离来向生物标志跟踪添加附加参数。由于探头数据可作为3D数据来获得，所以点云或深度图像的使用可以使得能够获得生物标志特征的3D数据，使得它们可被比较以确定这两个位置之间的关系。

处理器可以是用于在数据处理装置中执行指令的处理器。例如，指令可以存储在存储器中。处理器可以包括用于执行指令的一个或多个处理单元(例如，在多核配置中)。指令可以在数据处理装置上的各种不同操作系统内执行，诸如UNIX、LINUX、Microsoft等。更具体地，指令可以引起对存储在存储器中的数据的不同数据操纵(例如，创建、读取、更新和删除程序)。还应当理解，在计算机实现的方法启动时，可以在初始化期间执行不同指令。可能需要一些操作以便执行本文描述的一个或多个方法，而其他操作可能更通用和/或特定于特定编程语言(例如，C、C#、C++、Java、Python或其他合适的编程语言等)。

已经详细描述了本公开的多个方面，显然，在不背离如在所附权利要求中限定的本公开的多个方面的范围的情况下，修改和变化是可能的。由于在不背离本公开的各方面的范围的情况下可以对以上构造、产品和方法做出各种改变，因此，上述描述中包含的和附图中所示的所有内容应被解释为说明性的，而不是限制性的。

除了以上所描述在步骤407中使用在头戴式视图器上的RGB相机10和在探头上的可见标记的程序之外，替代方法可以用于跟踪探头的位置。例如，红外相机(或NIR)可代替地用于跟踪。这可以通过探头标记发射由探头检测的红外信号实现。或者，可使用任何类型的电磁发射器(发射机)和传感器来跟踪探头位置。替换地或附加地，可以使用基于机器学习的定制训练模型。

以上所描述的探头跟踪被描述为由头戴式视图器上的传感器执行。可替换地，传感器6、10(例如，相机)可以与头戴式视图器3分开定位。在该布置中，头戴式视图器3上的标记也被跟踪以确保头戴式视图器3相对于外部跟踪系统的位置也是已知的。在其他布置中，探头22还可以或替代地包括一个或多个传感器，该一个或多个传感器使探头能够跟踪其自身的位置并且将其传达至处理器。例如，探头22可包括使得能够跟踪其位置和/或定向的细节的惯性测量单元(IMU)。

可替代地，可以通过使用在患者和操作场景之下或附近产生的电磁场来跟踪探头。在这种布置中，探头和头戴式视图器包括置于其上的磁性标记。以这种方式，由该垫产生的磁场检测电磁场中这些小磁性单元的运动，从而跟踪它们的运动以获得它们的空间定位。在这种布置中，可能不需要用来跟踪探头的RGB相机。

跟踪生物标志的传感器也可以以如上所述的相同方式位于头戴式视图器3的外部。照射生物标志以执行荧光的光源8可以远离AR头戴式视图器3定位，而不是具体地定位在该头戴式视图器3上。

在一些布置中，处理器及其相关联的存储器可以位于AR头戴式视图器上。在其他布置中，处理器和存储器可以远离AR头戴式视图器定位。当位于头戴式视图器上时，处理器可定位佩戴者的头部的后部处。在其他布置中，处理器可定位在头戴式视图器的壳体中(即，在佩戴者头部的前部的部分)。然而，处理器的任何其他定位也是可能的。

虽然以上描述集中于拉曼光谱法，但是以上系统和方法还可以用于其他目的。例如，探头不必限于拉曼探头。可替代地，探头可以是能够从患者获取温度测量值的温度探头。温度测量值可以作为虚拟映射显示在显示器上，该虚拟映射位于外科医生的视野中相对于温度测量值被获取的位置的正确位置处。探头22可用于从患者身体的任何区域取得测量值。例如，这可以是大脑的皮层，其中生物学标志是大脑表面上的血管图案。可替代地，可以观察患者的肝脏，其中生物标志是肝脏附近的血管图案。上述外科手术程序用于癌症外科手术，即用于去除癌组织。虚拟映射有助于在该外科手术期间引导外科医生。然而，应当理解，上述系统可以用于任何类型的外科手术。在其他布置中，探头可以是电磁探头。例如，电磁探头可以是电磁脉动探头。电磁脉动探头可以用于在侵入性程序中对患者的大脑功能进行测量或评估。可替代地，可以使用任何其他类型的探头，诸如PH探头。在其他布置中，探头可以用于将虚拟标记放置在用户面部上以创建可以稍后在外科手术期间使用的虚拟映射。

术语外科医生在本文中用于表示佩戴AR头戴式视图器3的人。然而，如将理解的，该人不必是外科医生并且可以是使用该装置的任何人。术语外科医生、佩戴者和用户在本文中可以互换地使用。在此使用的术语坐标系可以被理解为意指坐标系。

图像的检测和相关联的动作描述为由相机执行。然而，可以使用任何类型的图像传感器/图像感测装置。相机可被配置为检测静止图像或视频。

AR头戴式视图器在附图中被示出为具有两个显示器，该两个显示器附接至具有两个臂(镜腿)的壳体。然而，将理解的是，本发明的AR头戴式视图器不限于这种布置，并且可设想将头戴式显示器(HMD)附接至佩戴者的任何常规器件。这可包括使用在头部周围和/或上方经过的条带来将头戴式视图器保持在位。可替代地，可以使用将装置附接在头部的整个顶部上的附接器件，诸如帽子。此外，所示的壳体的特定布置仅仅是示例，并且可以使用任何类型的壳体。在其他布置中，AR系统可包括可放置在患者之上的一个或多个玻璃显示器，而不是AR头戴式视图器。上述方法由此用于在如以上实施例中所描述的在该显示器上显示测量值。

如本文所描述的使用眼睛跟踪的步骤提供了在显示器上对准虚拟映射的增加的准确度。然而，这是可选步骤，并且可以在不使用眼睛跟踪的情况下实现适当的对准。此外，眼睛跟踪传感器不一定需要位于AR头戴式视图器3上，并且可以位于与头戴式视图器3分离的外部感测系统内。

虽然本文已经描述了用于执行基于荧光的程序的NIR相机和NIR源，但其不必限于此类波长段。可以使用其他波长的光。例如，可以使用任何范围的红外波长。在其他布置中，可使用可见光。例如，IR光可用于看见血管而无需注射荧光染料。

将理解的是，如以上描述的相机和传感器的类型和数量不是限制性的。可使用单个或多个相机和/或距离传感器。立体相机系统和具有飞行时间的运动跟踪器可以是提供准确定位的一个此类示例。

在以上描述的方法中，当确定探头22相对于生物标志30的位置时，生物标志30的特征可以用作主要参考。然而，应当理解，可选地，探头位置而不是生物标志30的特征可以用作主要参考点。

在其他布置中，可以使用外科手术台上的人工标记而不是使用生物标志。除了生物标志之外，这也可以用于提高跟踪的准确度。

在本文的方法中，生物标志被描述为被跟踪。可以理解的是，这种跟踪还可以是对目标组织的跟踪(即，而不是血管和其他描述的示例)。

关于图2和3所描述的传感器仅是可以利用的传感器的类型和数量的示例。在许多布置中，可使用多个传感器来使探头和患者跟踪的准确性最大化。

如以上示例中所示，可以有两个显示器4a、4b。然而，在其他布置中，可使用用于双眼的单个显示器。或者，AR头戴式视图器可包括单个眼睛上方的单个近眼显示器，即仅具有4a和/或4b，而不是两者。

尽管以上示出了数据可以通过一个或多个电缆在不同部件之间进行通信，但应当理解，连接不必是有线的。例如，可以使用任何类型的无线通信器件例如从探头、头戴式视图器和处理器传输信号。这可以包括例如USB、WiFi或蓝牙。

在一些布置中，之前已经获取的医学图像也可以包括在虚拟映射上。例如，这可以是来自患者扫描(诸如CT或MRI扫描)的数据。此外，除了虚拟映射之外，还可以显示视野中的附加信息。例如，患者特定信息。这可以是来自患者档案的信息。AR头戴式视图器还可被配置为实现其他特征，诸如具有能够向外科医生提供音频或视频信号的通信器件，使得他们能够执行远程指导处理。

在其他替代性的布置中，可以预见另外的应用并且将允许将虚拟映射与患者特定的数字数据(即，癌组织的区域周围的高风险解剖结构的患者特定3D模型)配准。这可以通过以下方式来实现：

■使用集成在AR头戴式视图器中的检测生物标志的传感器。由传感器收集的数据用于基于生物标志创建该结构的患者特异性3D模型(例如，生物标记可以标示除虚拟映射以外待显示的高风险解剖结构)。系统将3D模型坐标系与患者坐标系匹配，以用于如上所描述的程序中，即显示形成3D模型的测量值和探头测量值两者。

■将物理标记附接至患者身体并扫描患者。然后，从医学扫描获得患者特定的3D模型，并且将它们相对于标记的位置输入到系统中。3D模型坐标系与患者坐标系匹配。以这种方式，除探头测量值之外，还可显示患者扫描(诸如MRI CT、超声)和/或相机测量值。

Claims (15)

1.一种用于在医疗程序期间从患者获得测量值并显示所述测量值的增强现实(AR)系统，所述系统包括：

AR头戴式视图器，所述AR头戴式视图器包括近眼显示器，所述近眼显示器用于相对于所述测量值被收集的所述患者在一位置处显示叠加在外科医生对患者组织的视野中的所述测量值；

至少一个传感器，至少一个传感器用于跟踪所述患者的位置；

存储器，所述存储器用于存储所述测量值以及与所述测量值相关联的位置；以及

处理器；

其中所述系统被配置成在所述医疗程序期间执行以下步骤：

(a)接收从所述患者组织收集的测量值，其中所述测量值由邻近所述患者组织的不同区域定位的探头收集；

(b)在所述探头收集所述测量值的同时跟踪所述探头的位置，以确定收集所述测量值的位置；

(c)同时执行步骤(a)和(b)：使用所述至少一个传感器跟踪生物标志在所述患者上的位置，使得能够确定所述生物标志的位置与收集所述测量值的位置之间的关系；

(d)通过以下方式在所述近眼显示器上在一位置处显示所述测量值，使得在整个医疗程序中，所述测量值相对于所述测量值被收集的所述患者在所述外科医生对所述患者组织的视野中在所述位置处对齐：

在整个医疗过程中连续地跟踪所述生物标志的位置以获得所述生物标志的当前位置；

基于所述生物标志的当前位置更新所述测量值在所述显示器上的位置。

2.根据权利要求1所述的AR系统，还包括创建所述测量值的虚拟映射，其中，在所述近眼显示器上显示所述测量值包括显示所述虚拟映射。

3.根据权利要求1或2所述的AR系统，其中，跟踪所述生物标志在所述患者上的位置还包括：使用特定波长的光照射所述患者的区域，以及由所述传感器检测由所述生物标志响应于所述照射而发射的荧光信号。

4.根据任一项前述权利要求所述的AR系统，还包括探头。

5.根据权利要求4所述的AR系统，其中，所述探头是拉曼探头。

6.根据任一项前述权利要求所述的AR系统，其中，所述生物标志是所述生物标志的一个或多个特征。

7.根据权利要求6所述的AR系统，其中，在整个所述医疗程序中连续地跟踪所述特征的位置以获得所述特征的当前位置还包括：

由所述传感器捕获所述患者的图像；

从所述图像提取所述生物标志的所述一个或多个特征；

确定所述图像的连续帧上的所述一个或多个特征之间的对应关系；

通过使用变换矩阵来估计所述图像的连续帧上的所述一个或多个特征的运动。

8.根据权利要求7所述的AR系统，其中，通过使用所述变换矩阵来估计所述图像的连续帧上的所述一个或多个特征的运动还包括：应用刚性或非刚性配准。

9.根据权利要求6、7或8所述的AR系统，其中，所述生物标志的所述一个或多个特征包括所述生物标志的边缘或交叉点。

10.根据任一项前述权利要求所述的AR系统，其中，所述生物标志包括所述患者的血管、所述患者的淋巴结、所述患者的神经系统、所述患者的器官表面中的至少一个。

11.根据任一项前述权利要求所述的AR系统，其中，跟踪所述探头的位置的步骤包括：

经由所述传感器检测所述探头上的标记并且计算所述探头的尖端的位置，所述探头的尖端的位置表示收集所述测量值的位置；或者

检测由所述探头上的磁性标记的运动引起的磁场变化，其中，所述磁场变化识别所述探头的位置。

12.根据任一项前述权利要求所述的AR系统，其中，通过将所述生物标志的位置与收集所述测量值的位置变换到公共坐标系中来确定所述生物标志的位置与收集所述测量值的位置之间的关系。

13.根据任一项前述权利要求所述的AR系统，其中，在所述近眼显示器上在一位置处显示所述测量值，使得在整个医疗程序中，所述测量值相对于所述测量值被收集的所述患者在所述外科医生对所述患者组织的视野中在所述位置处对齐，还包括：

跟踪所述外科医生的眼睛的位置并且基于所述外科医生的眼睛的当前位置调整所述测量值在所述近眼显示器上的位置。

14.一种在医疗程序期间使用增强现实(AR)系统从患者获得测量值并将所述测量值显示给外科医生的方法，包括以下步骤：

(a)接收从患者组织收集的测量值，其中所述测量值由邻近所述患者组织的不同区域定位的探头收集；

(b)在所述探头收集所述测量值的同时跟踪所述探头的位置，以确定收集所述测量值的位置；

(c)同时执行步骤(a)和(b)：使用所述至少一个传感器跟踪生物标志在所述患者上的位置，使得能够确定所述生物标志的位置与收集所述测量值的位置之间的关系；

(d)通过以下方式在由所述外科医生佩戴的AR头戴式视图器的近眼显示器上在一位置处显示所述测量值，使得在整个医疗程序中，所述测量值相对于所述测量值被收集的所述患者在所述外科医生对所述患者组织的视野中在所述位置处对齐：

在整个医疗过程中连续地跟踪所述生物标志的位置以获得所述生物标志的当前位置；

基于所述生物标志的当前位置更新所述测量值在所述近眼显示器上的位置。

15.一种计算机程序产品，包括指令，当所述程序由计算机执行时，所述指令使所述计算机执行以下步骤：

(a)接收从患者组织收集的测量值，其中所述测量值由邻近所述患者组织的不同区域定位的探头收集；

(b)在所述探头收集所述测量值的同时跟踪所述探头的位置，以确定收集所述测量值的位置；

(c)同时执行步骤(a)和(b)：使用所述至少一个传感器跟踪生物标志在所述患者上的位置，使得能够确定所述生物标志的位置与收集所述测量值的位置之间的关系；

(d)通过以下方式在由外科医生佩戴的AR头戴式视图器的近眼显示器上在一位置处显示所述测量值，使得在整个医疗程序中，所述测量值相对于所述测量值被收集的所述患者在所述外科医生对所述患者组织的视野中在所述位置处对齐：

在整个医疗过程中连续地跟踪所述生物标志的位置以获得所述生物标志的当前位置；

基于所述生物标志的当前位置的位置更新所述测量值在所述近眼显示器上的位置。