CN107016717B - 用于患者的透视视图的系统和方法 - Google Patents

Abstract

本发明涉及用于患者的透视视图的系统和方法。一种用于提供患者的透视可视化的计算机实现的方法包括接收表示使用医学图像扫描仪获取的患者的解剖特征的图像数据集以及使用RGB‑D传感器获取患者的身体表面模型。身体表面模型在标准/公共坐标系中与图像数据集对准以得出对准的身体表面模型。确定移动设备关于RGB‑D传感器的相对姿态并且通过以对应于移动设备的相对姿态的视点而再现图像数据集来创建患者的姿态相关可视化。然后，患者的姿态相关可视化可以呈现在移动设备上。

Description

用于患者的透视视图的系统和方法

技术领域

本发明一般涉及用于提供患者的透视（see-through）视图的方法、系统和装置。在此公开的技术可以用于使用移动设备和RGB-D数据流执行诸如计算的断层摄影术（CT）、磁共振成像（MRI）、正电子发射断层摄影术（PET）和超声波之类的个人模态的可视化/再现（render）。

背景技术

诸如计算的断层摄影术（CT）、磁共振成像（MRI）、正电子发射断层摄影术（PET）和超声波之类的医学图像模态能够提供患者解剖体（anatomy）的3D视图。然而，通过这样的模态获取的数据仅提供患者的静态视图。尽管所获取的数据可以以各种方式显示和/或操纵（例如通过旋转），但是该操纵一般是有限的并且临床医生不能总是得到他们将期望的全部视图以做出对患者的透彻检查。而且，一旦被获取，数据从真实世界分离并且要求临床医生在内心将所显示的图像映射到患者的物理解剖体的位置。

移动设备的定位能力在过去若干年已迅速地演进。即将到来的移动设备包括传感器技术，所述传感器技术提供以六个自由度的精确位置测量（位置和相机视图）。该信息将支持许多应用，因为其使得能够容易地实现3D空间中的导航和交互。

因此，所期望的是创建用于使用移动设备来执行3D医学图像模态的可视化和再现的技术。

发明内容

本发明的实施例通过提供与使得能够使用各种扫描仪模态实现患者的交互式内部视图的技术有关的方法、系统和装置来解决和克服以上缺点和缺陷中的一个或多个。RGB-D相机在3D空间中获取被观察人员的身体表面。检测器识别RGB-D线索与扫描仪模态之间的突出对应界标（landmark）。所检测到的界标支持与扫描仪模态的自动化配准。配备有定位能力的设备用于交互地追踪实况患者表面。姿态用于更新显示，在定位设备上，或分离地，利用将与实况视图融合的扫描仪模态的再现以实现透视效果。透视技术使得能够以各种细节水平实现身体外部和内部身体结构的联合连续可视化。

根据一些实施例，用于提供患者的透视可视化的计算机实现的方法包括接收表示使用医学图像扫描仪获取的患者的解剖特征的图像数据集以及使用RGB-D传感器获取患者的身体表面模型。身体表面模型在标准/公共坐标系中与图像数据集对准以得出对准的身体表面模型。确定移动设备关于RGB-D传感器的相对姿态并且通过以对应于移动设备的相对姿态的视点而再现图像数据集来创建患者的姿态相关可视化。然后，患者的姿态相关可视化可以呈现在移动设备上。

在不同实施例中，前述方法的各种特征可以被精炼、补充或以其它方式修改。例如，在一些实施例中，RGB-D传感器在移动设备内部。在一些实施例中，确定移动设备的新相对姿态并且通过以对应于移动设备的新相对姿态的新视点而再现图像数据集来创建患者的新姿态相关可视化。患者的该新姿态相关可视化然后可以呈现在移动设备上。在一些实施例中，接收新图像模态的用户选择。作为响应，检索在标准/公共坐标系中与身体表面模型对准的第二图像数据集。确定移动设备的新相对姿态并且通过以对应于移动设备的新相对姿态的新视点而再现第二图像数据集来创建患者的新姿态相关可视化。然后，可以在移动设备上呈现患者的新姿态相关可视化。

用于将身体表面模型与图像数据集对准的技术可以在其中应用前述方法的本发明的不同实施例中变化。例如，在一些实施例中，对准通过确定图像数据集中的第一界标并且确定身体表面模型中的第二界标来执行，其中第二界标中的每一个对应于第一界标中的一个。第一界标与第二界标之间的对应性然后可以用于对准身体表面模型与图像数据集。在一些实施例中，在被包括在图像数据集中的骨骼表面上标注（annotate）第一界标并且在对准身体表面模型与图像数据集之前将第一界标投影到患者的皮肤表面。对准可以使用例如仿射、刚性、或非刚性变换来执行。在一些实施例中，第一界标与第二界标之间的对应性用于在将姿态相关可视化呈现在移动设备上之前使图像数据集向身体表面模型变形。

在前述方法的一些实施例中，确定针对移动设备的原点位置并且基于原点位置与当在移动设备上呈现姿态相关可视化时移动设备的当前姿态之间的定位改变来确定相对姿态。在一些实施例中，显示在预确定的物理位置处的校准图像被获取和用于确定针对移动设备的原点位置。在一些实施例中，针对移动设备的原点位置是基于移动设备在预确定位置处的支持物中的存放（storage）。

根据本发明的其它实施例，一种用于提供患者的透视可视化的制品包括持有计算机可执行指令的非暂时性、有形计算机可读介质，所述指令用于在具有或没有以上讨论的附加特征的情况下执行前述方法。

根据本发明的另一方面，一种用于提供患者的透视可视化的系统包括被配置成获取患者的身体表面模型的RGB-D传感器、存储表示使用医学图像扫描仪获取的患者的解剖特征的图像数据集的计算机可读介质，以及包括至少一个处理器的移动设备。移动设备的处理器被配置成在标准/公共坐标系中将身体表面模型与图像数据集对准以得出对准的身体表面模型并且确定移动设备关于RGB-D传感器的相对姿态。处理器还被配置成通过以对应于移动设备的相对姿态的视点而再现图像数据集来创建患者的姿态相关可视化，并且呈现患者的姿态相关可视化。在一些实施例中，移动设备包括被配置成提供用于确定相对姿态的取向信息的内部取向传感器单元。在一些实施例中，RGB-D传感器在移动设备内部。

将从参照附图进行的说明性实施例的以下详细描述来使本发明的附加特征和优点是明显的。

附图说明

当结合附图阅读时，从以下详细描述最好地理解本发明的前述内容和其它方面。出于说明本发明的目的，在附图中示出目前优选的实施例，然而要理解的是，本发明不限于所公开的具体手段。包括在附图中的是以下各图：

图1提供根据一些实施例的可以应用在临床环境（setting）中的可视化系统的概览；

图2A提供如实现在一些实施例中的可视化过程的校准和配准阶段的图示；

图2B提供根据一些实施例的其中患者的内部结构在移动设备上可视化的处理的第三阶段的图示；以及

图3提供用于使用以上关于图2A和2B描述的系统和技术来提供患者的透视可视化的过程的概览。

具体实施方式

以下公开内容根据针对与提供患者的透视视图的医学可视化技术有关的方法、系统和装置的若干实施例来描述本发明。更具体地，本文所描述的技术使用各种扫描仪模态来提供患者身体的交互式内部视图。RGB-D传感器在3D空间中获取被观察人员的身体表面。检测器识别RGB-D线索与扫描仪模态之间的突出对应界标。所检测到的界标支持与扫描仪模态的自动化配准。移动设备用于根据设备的当前姿态（身体表面与移动设备之间的相对姿态）交互式地再现身体的视图/部分视图。在一些实施例中，魔术镜头（magic lens）技术使得能够以各种细节水平实现身体外部和内部身体结构的联合连续可视化。本文所公开的技术可以用于使用移动设备和RGB-D数据流来执行诸如计算的断层摄影术（CT）、磁共振成像（MRI）、正电子发射断层摄影术（PET）和超声波之类的个人模态的可视化/再现。

关于身体表面所获取的扫描仪模态的个人可视化由于高效的实时处理和用于不同模态的融合的改进的技术而是可行的。所提出的技术聚焦于与所收集的身体表面结合的所获取的扫描仪模态的移动可视化。移动设备使得能够取决于移动设备关于所获取的扫描仪模态的世界坐标系的当前定位而以各种细节水平实现身体结构的交互式可视化/再现。

图1提供根据一些实施例的可以应用在临床环境中的可视化系统100的概览。可视化系统包括被配置成捕获包括RGB颜色信息与深度信息的数据的RGB-D传感器105。在本领域中一般已知的各种类型的RGB-D传感器可以在实现本文所描述的可视化技术中被利用，包括例如Microsoft Kinect和Google Tango或提供深度信息的常规立体或多相机装备。在图1的示例中，RGB-D传感器105在其中定位患者130的患者台110上投影红外图案（infraredpattern）125。红外图案125的反射由RGB-D传感器105中的红外相机捕获。然后将所捕获到的数据与存储在RGB-D传感器105中的参考图案比较以估计像素深度。该深度数据与RGB-D传感器105中的RGB相机相互关联以得出具有深度信息的RGB图像（即“RGB-D”数据）。该捕获和处理的最终结果是具有表示患者130的身体表面模型的RGB-D流。

在图1的示例中，将RGB-D传感器105装配到其中安装成像设备的房间的天花板。在图1的示例中，该成像设备是CT成像设备，包括患者台110和台架（gantry）120。CT是使用经计算机处理的X射线束来产生被扫描患者的特定区域的断层摄影术图像的成像技术。患者躺在患者台110上并且在检查期间沿系统轴（还称为z轴）移动到台架120中生成的测量场中。在台架120内部，患者沐浴有（showered with）X射线束。每一个X射线束包括成束的能量（或“光子”），其取决于被成像材料的结构，可以穿过结构、被结构吸收或被结构重定向（即散射）。在成像期间X射线束被对象降低的程度被称为衰减。基于该衰减，生成患者的内部解剖体的3D图像。

配备有6个自由度（DoF）中的定位能力的移动设备135根据设备的当前姿态（身体表面与移动设备之间的相对姿态）交互式地再现身体的视图/部分视图。显示在移动设备上的数据包括经由成像扫描收集的图像和所获取的患者130的任何其它图像。因此，各种成像模态可以组合以提供患者130的不同视图。例如，在一些实施例中，魔术镜头技术使得能够以各种细节水平实现身体外部和内部身体结构的联合连续可视化。各种类型的移动设备可以使用在可视化系统100的上下文中，包括例如智能电话、平板设备和其它手持计算设备。这些设备的配置和操作在本领域中一般是已知的，并且因而仅在本文中简要地描述。

应当指出的是，图1中图示的可视化系统100可以根据本发明的不同实施例进行修改。例如，来自成像设备的医学个人图像数据可以预先收集并且（连同来自其它图像模态的数据一起）存储在移动设备135上或对移动设备135可访问的远程存储介质上。因此，可视化可以在不必与图像获取协同定位的站点处应用。此外，尽管RGB-D传感器105被描述为与移动设备135分离，但是在其它实施例中RGB-D传感器105和移动设备135可以组合。例如，RGB-D传感器105可以在移动设备135内部（例如，如由Google Tango所提供的），或者其可以连接到移动设备135（例如经由移动设备135上的通信端口）。

图2A和2B图示了根据一些实施例的可以如何处理数据以提供患者的透视视图。在概念上，这些图将处理分隔成三个阶段：校准、配准和运行模式/扫描仪模态的可视化。以下详细讨论这些阶段中的每一个。

图2A提供了如实现在一些实施例中的可视化过程的校准和配准阶段的图示。作为初始问题，指出的是，图2A不包括医学图像扫描仪（与图1相对照）。假定已经预先获取了全部医学图像并且将其存储在移动设备220上或对移动设备220可访问的远程存储介质上。

在处理的第一阶段期间，将与移动设备220相关联的坐标系与从使用图像扫描仪获取的数据中得到的患者215的世界坐标系配准。由于移动设备220提供度量相对姿态信息，因此移动设备220可以被设置到预定义的原点，例如通过使相机中心指向装配在患者台225上的唯一图案或者通过使用安装在预确定位置处的支持物（在图2A中未示出）。在该校准步骤期间，可以从RGB-D传感器205收集RGB-D数据流以用于与来自图像扫描仪的数据的随后对准。所获取的RGB-D流表示患者215的被观察身体的表面。通过使用外部RGB-D，必须提前估计外在校准参数。例如，这可以基于当设备在支持物中或指向患者台225上的图案时在RGB-D传感器205中心与移动设备220相机中心姿态之间的相对姿态来确定。在其中移动设备220具有内部RGB-D传感器的实施例中，可以省略在先的外在校准步骤。在2015年9月25日提交并且题为“Calibrating RGB-D Sensors to Medical Image Scanners”的代理人案卷号: 2015P11675US（其全部内容通过引用并入本文）中一般地描述用于将RGB-D传感器校准到图像扫描仪的附加技术。

在处理的第二阶段期间，将所捕获到的身体3D表面模型与图像数据的扫描仪模态对准。根据一些实施例，基于在RGB-D流和对应扫描仪模态中识别到的经学习的界标来使用交叉模态对应性估计技术。一旦对象扫描被加载到系统，RGB-D流中的所检测到的界标可以关联到扫描仪模态上的对应界标。可以最初在骨骼表面上标注扫描仪模态界标以用于更好的准确性，并且要求从骨骼表面到皮肤表面的投影以匹配RGB-D观察。然后，可以例如通过在两个界标集合之间的相对对应性之间计算的仿射变换（或另一刚性或非刚性变换）来对准两个图像系统。为了更好地补偿来自不准确的界标检测结果的配准误差，可以应用参数化的可变形网格（PDM）模型以校正界标位置。相比于利用局部特征训练的界标检测器，PDM利用全局形状信息并且生成紧密拟合于对象的皮肤表面的最优化身（avatar）网格。因此，可以显著降低由于有噪声的输入数据（衣物、传感器噪声以及等等）所致的界标误差。

图2B提供了根据一些实施例的其中在移动设备220上可视化患者的内部结构的处理的第三阶段的图示。为了提供融合的实况视图可视化，所检测到的界标集合之间的经计算的一般仿射变换可以用于设置用于再现扫描模态数据以提供具有正确取向、缩放和投影的对准视图的虚拟相机。定位感测移动设备的原点与当前姿态之间的相对姿态用于更新所再现的场景的视点。由于扫描仪模态在世界坐标系内与身体表面模型对准，因此移动设备220可以可视化扫描仪模态以及使用RGB-D传感器205生成的表面模型。

再现可以在移动设备220上本地执行，或者可替换地，再现可以利用使用客户端-服务器架构的串流技术远程执行。服务器途径可以允许在其中移动设备220不能满足用于高效处理来自图像扫描仪的数据的计算要求的实例中的来自模态的3D图像容积的较高质量再现。在服务器情况下，移动设备220可以对已经在服务器处再现和编码的经压缩图像流进行解码。在传输带宽的节约中经常需要压缩。

在一些实施例中，来自RGB-D传感器205的实况RGB-D数据用于构造色点云或（多个）表面对象。实况颜色信息可以被映射到具有变化的不透明度的点云/表面。在扩充步骤中（多个）实况构造的对象可以与扫描模态数据一起被添加到再现场景。这样的再现场景产生具有围封扫描模态数据的实况对象包壳（hull）的效果的3D视图。可以将模态数据再现为直接图像/容积，或再现为具有或没有从模态图像采样的纹理值的经提取的表面结构。

在一些实施例中，经再现的视图可以扩充到实况图像上以产生移动设备220上的最终透视效果，如图2B中所示。可选地，实况对象包壳的对应界标可以用作锚定点以使扫描模态图像的纹理坐标变形。结果是将模态数据内插到实况形状的弯曲扫描模态数据对象。在更简单的途径中，包壳的构造可以被跳过并且将扫描模态叠覆到根据所检测到的姿态直接再现的实况图像上。移动设备220可以包括图形用户接口（GUI），所述图形用户接口允许用户与所显示的图像交互，例如通过改变所显示的图像类型（例如切换成像模态）或通过患者215上的特定区的放大或缩小。

图3提供了用于使用以上关于图2A和2B描述的系统和技术提供患者的透视可视化的过程300的概览。在步骤305处开始，接收表示患者的解剖特征的图像数据集。该图像数据集包括使用一个或多个医学图像扫描仪获取的3D图像数据。在一些实施例中，直接从图像扫描仪自身获取数据集，而在其它实施例中，经由存储之前获取的图像数据的服务器获取数据集。

继续参照图3，在步骤310处，RGB-D传感器用于根据以上关于图1、2A和2B描述的技术获取患者的身体表面模型。在步骤315处，身体表面模型在标准/公共坐标系中与图像数据集对准以得出经对准的身体表面模型。在一些实施例中，界标集合被检测和用于将RGB-D数据与来自医学图像扫描仪的图像数据集对准。界标集合包括在所涉及的模态中可识别的突出关键点（点、轮廓、几何基元、标记、唯一图案）。界标可以包括例如患者身体上的解剖界标和/或外部场景标记。

在步骤320处，确定移动设备关于RGB-D传感器的相对姿态。该相对姿态可以使用通过使用移动设备中的惯性传感器确定的六自由度（DoF）姿态估计来被确定。接着，在步骤325处，通过以对应于移动设备的相对姿态的视点而再现图像数据集来创建患者的姿态相关可视化。然后，在步骤330处，在移动设备上呈现患者的该姿态相关可视化。移动/导航移动设备使得能够实现从不同视点和细节水平的图像数据的可视化。移动设备还可以为用户提供与可视化交互的能力，例如使用触摸或其它手势。此外，在一些实施例中，移动设备为用户提供在实况视图（用于交互式可视化）或医学扫描仪数据的标准离线可视化（以使用触摸和/或其它手势进行交互）之间切换的能力。当切换到实况视图时设备自动重校准自身。

本文所描述的可视化技术可以在各种场景中利用。例如，医生可以指向关键结构并且在随后的过程（例如附加成像）期间得出精确的定位。可视化系统可以在干预过程期间使用以交互式地可视化和浏览术前扫描。在线配准可以通过追踪界标和更新患者身体姿态来近实时地实现。此外，可视化系统可以用于关于患者的扫描的交互式可视化和讨论。

可视化技术对于教学目的以及训练技术人员也将是有用的。例如，之前获取的医学扫描可以通过配准到处于台上的幻影（phantom）来被浏览和可视化，并且工具基本上提供与医学数据交互的直观方式。所提出的概念对于医学取证（forensic）而言可以是高度相关的。死尸或尸体的医学扫描（从各种模态）可以高效且有效地被浏览。

本公开的实施例可以利用硬件和软件的任何组合实现。此外，本公开的实施例可以被包括在具有例如计算机可读、非暂时性介质的制品（例如一个或多个计算机程序产品）中。介质已经在其中体现了例如用于提供和促进本公开的实施例的机制的计算机可读程序代码。制品可以作为计算机系统的部分而被包括或者分开销售。

虽然本文已经公开了各种方面和实施例，但是其它方面和实施例对本领域技术人员将是明显的。本文所公开的各种方面和实施例是出于说明的目的而不意图是限制性的，其中真实范围和精神由随附权利要求指示。

可执行应用可以用于实现本文所描述的技术中的一个或多个，例如在以上参照图1-3讨论的移动设备上。这样的应用包括用于将处理器配置成响应于用户命令或输入而实现诸如例如操作系统、上下文数据获取系统或其它信息处理系统的那些之类的预确定功能的代码或机器可读指令。可执行过程是代码或机器可读指令的片段、子例程或用于执行一个或多个特定过程的可执行应用的部分或代码的其它不同区段。这些过程可以包括接收输入数据和/或参数、对所接收到的输入数据执行操作和/或响应于所接收到的输入参数而执行功能，以及提供结果得到的输出数据和/或参数。

图形用户接口（GUI），如本文所使用的，包括由显示处理器生成并且使得能够实现与处理器或其它设备的用户交互以及相关联的数据获取和处理功能的一个或多个显示图像。GUI还包括可执行过程或可执行应用。可执行过程或可执行应用调节显示处理器以生成表示GUI显示图像的信号。这些信号被供应到显示设备，所述显示设备显示图像以供用户查看。处理器，在可执行过程或可执行应用的控制下，响应于从输入设备接收到的信号而操纵GUI显示图像。以此方式，用户可以使用输入设备与显示图像交互，使得能够实现与处理器或其它设备的用户交互。

本文中的功能和过程步骤可以自动执行或完全或部分地响应于用户命令。自动执行的活动（包括步骤）在没有用户对活动的直接发起的情况下响应于一个或多个可执行指令或设备操作而执行。

附图的系统和过程不是排他性的。其它系统、过程和菜单可以依照本发明的原理而得出以完成相同目的。尽管已经参照特定实施例描述了本发明，但是要理解的是，本文所示出和描述的实施例和变型仅仅出于说明目的。对当前设计的修改可以由本领域技术人员实现，而不脱离本发明的范围。如本文所描述的，各种系统、子系统、代理、管理器和过程可以使用硬件组件、软件组件和/或其组合实现。

Claims (22)

1.一种用于提供患者的透视可视化的计算机实现的方法，方法包括：

接收表示使用医学图像扫描仪获取的患者的解剖特征的图像数据集；

使用RGB-D传感器获取患者的身体表面模型；

将身体表面模型在标准/公共坐标系中与图像数据集对准以得出对准的身体表面模型；

确定移动设备关于RGB-D传感器的相对姿态；

通过以对应于移动设备的相对姿态的视点而再现图像数据集来创建患者的姿态相关可视化；以及

在移动设备上呈现患者的姿态相关可视化。

2.根据权利要求1所述的方法，其中RGB-D传感器在移动设备内部。

3.根据权利要求1所述的方法，其中将身体表面模型与图像数据集对准以得出对准的身体表面模型包括：

确定图像数据集中的多个第一界标；

确定身体表面模型中的多个第二界标，所述多个第二界标中的每一个对应于所述多个第一界标中的不同一个；以及

使用所述多个第一界标与所述多个第二界标之间的对应性来对准身体表面模型与图像数据集。

4.根据权利要求3所述的方法，还包括：

在被包括在图像数据集中的骨骼表面上标注所述多个第一界标；以及

在对准身体表面模型与图像数据集之前将所述多个第一界标投影到患者的皮肤表面。

5.根据权利要求3所述的方法，其中将身体表面模型与图像数据集对准包括用于对准身体表面模型与图像数据集的仿射变换。

6.根据权利要求3所述的方法，其中将身体表面模型与图像数据集对准包括用于对准身体表面模型与图像数据集的刚性变换。

7.根据权利要求3所述的方法，其中将身体表面模型与图像数据集对准包括用于对准身体表面模型与图像数据集的非刚性变换。

8.根据权利要求3所述的方法，还包括：

在将姿态相关可视化呈现在移动设备上之前，使用所述多个第一界标与所述多个第二界标之间的对应性来使图像数据集向身体表面模型变形。

9.根据权利要求1所述的方法，还包括：

确定针对移动设备的原点位置，

其中基于原点位置与当在移动设备上呈现姿态相关可视化时移动设备的当前姿态之间的定位改变来确定相对姿态。

10.根据权利要求9所述的方法，还包括：

获取显示在预确定的物理位置处的校准图像；以及

基于校准图像的获取而确定针对移动设备的原点位置。

11.根据权利要求9所述的方法，还包括：

检测移动设备在预确定物理位置处的支持物中的存放；以及

基于移动设备在支持物中的存放而确定针对移动设备的原点位置。

12.根据权利要求1所述的方法，还包括：

确定移动设备的新相对姿态；

通过以对应于移动设备的新相对姿态的新视点而再现图像数据集来创建患者的新姿态相关可视化；

在移动设备上呈现患者的新姿态相关可视化。

13.根据权利要求1所述的方法，还包括：

响应于接收到新图像模态的用户选择，检索在标准/公共坐标系中与身体表面模型对准的第二图像数据集；

确定移动设备的新相对姿态；

通过以对应于移动设备的新相对姿态的新视点而再现第二图像数据集来创建患者的新姿态相关可视化；

在移动设备上呈现患者的新姿态相关可视化。

14.一种用于提供患者的透视可视化的非暂时性、有形计算机可读介质，非暂时性、有形计算机可读介质持有计算机可执行指令，所述指令用于执行包括以下各项的方法：

接收表示使用医学图像扫描仪获取的患者的解剖特征的图像数据集；

使用RGB-D传感器获取患者的身体表面模型；

将身体表面模型在标准/公共坐标系中与图像数据集对准以得出对准的身体表面模型；

确定移动设备关于RGB-D传感器的相对姿态；

通过以对应于移动设备的相对姿态的视点而再现图像数据集来创建患者的姿态相关可视化；以及

在移动设备上呈现患者的姿态相关可视化。

15.根据权利要求14所述的计算机可读介质，其中将身体表面模型与图像数据集对准以得出对准的身体表面模型包括：

确定图像数据集中的多个第一界标；

确定身体表面模型中的多个第二界标，所述多个第二界标中的每一个对应于所述多个第一界标中的不同一个；以及

使用所述多个第一界标与所述多个第二界标之间的对应性来对准身体表面模型与图像数据集。

16.根据权利要求15所述的计算机可读介质，其中所述方法还包括：

在被包括在图像数据集中的骨骼表面上标注所述多个第一界标；以及

在对准身体表面模型与图像数据集之前将所述多个第一界标投影到患者的皮肤表面。

17.根据权利要求15所述的计算机可读介质，其中将身体表面模型与图像数据集对准包括用于对准身体表面模型与图像数据集的仿射变换。

18.根据权利要求15所述的计算机可读介质，其中所述方法还包括：

在将姿态相关可视化呈现在移动设备上之前，使用所述多个第一界标与所述多个第二界标之间的对应性来使图像数据集向身体表面模型变形。

19.根据权利要求14所述的计算机可读介质，其中所述方法还包括：

确定针对移动设备的原点位置，

其中基于原点位置与当在移动设备上呈现姿态相关可视化时移动设备的当前姿态之间的定位改变来确定相对姿态。

20.一种用于提供患者的透视可视化的系统，所述系统包括：

被配置成获取患者的身体表面模型的RGB-D传感器；

存储表示使用医学图像扫描仪获取的患者的解剖特征的图像数据集的计算机可读介质；

包括至少一个处理器的移动设备，所述至少一个处理器被配置成：

在标准/公共坐标系中将身体表面模型与图像数据集对准以得出对准的身体表面模型，

确定移动设备关于RGB-D传感器的相对姿态，

通过以对应于移动设备的相对姿态的视点而再现图像数据集来创建患者的姿态相关可视化，并且

呈现患者的姿态相关可视化。

21.根据权利要求20所述的系统，其中移动设备包括被配置成提供用于确定相对姿态的取向信息的内部取向传感器单元。

22.根据权利要求20所述的系统，其中RGB-D传感器在移动设备内部。

Images