CN110088806B - 用于在解剖结构的图像中定位标记物的方法和装置 - Google Patents

Abstract

提供了一种用于在解剖结构的图像中定位标记物的方法和装置。第一标记物被定位在第一图像中的解剖结构的特征上，并且第二标记物被定位在第二图像中的解剖结构的相同特征上(202)。第一图像在第一标记物下被平移，以将第一标记物相对于第一图像中的解剖结构的特征的位置调整为与第二标记物相对于第二图像中的解剖结构的特征的位置相对应(204)。

Description

用于在解剖结构的图像中定位标记物的方法和装置

技术领域

本发明涉及医学成像领域，并且更具体地涉及用于在解剖结构的图像中定位标记物的方法和装置。

背景技术

医学成像是用于在图像中提供解剖结构(例如，器官)的视觉表示的有用工具。存在许多不同类型的医学成像技术，包括计算机断层扫描(CT)、磁共振(MR)、超声(US)、X射线等。处理和分析从医学成像获得的图像以对受试者进行临床发现并确定是否需要医学干预。

对于许多图像处理和图像分析算法，要求基础事实来准确评估图像和临床验证，以及用于对算法进行优化、调整和分析。在多个图像的情况下，通常需要使图像对应(或对齐)以用于临床分析。对于任何类型的对齐、配准、融合、匹配、运动估计或运动补偿框架，启用基础事实的最常见方式是使用标记物来指示图像中的解剖结构的特征(或界标)。通过使用标记物，可以在两个或更多个图像中标记相同的解剖位置，从而可以直接比较图像。此外，标记物可以用于验证计算出的位移矢量以识别目标配准误差。

为了准确地使图像对应(或对齐)以用于临床分析，需要将标记物以高精度定位在图像中，而这很难实现。注释工具允许对标记物进行定位，典型地通过在三维图像的情况下选择体素上的位置或体素之间的位置。然而，即使在标记物被定位在体素之间的情况下，对于用户来说，在他们的头脑中组合来自两个不同图像的信息以便以高精度定义对应的标记物是挑战。由于病理学、不同的采集方式或协议、伪影或不同的噪声水平，其复杂度进一步增加。

通常，直径等于或小于体素尺寸的解剖结构的特征(例如，诸如血管分叉的细丝结构或靠近胸膜的肺血管)在第一图像中由单个明亮的体素显示，但是在第二图像中由两个不太明亮的体素显示(由于部分体积效应，例如，该特征可以在第二图像中分散在两个体素上)。通过在第一图像中对在体素中心中的位置进行注释并且在第二图像中对移位半个体素的位置进行注释，可以相对容易地补偿单个空间维度中的不匹配。然而，补偿多于一个维度中的不匹配典型地是挑战性的，并且对于用户而言可能是耗时且容易出错的任务。因此，即使使用现有工具来帮助将标记物定位在图像中的解剖结构的特征上(这允许将标记物放置在体素之间)，对于用户而言准确地标记对应特征在两个或更多个图像中的位置也是挑战性的(甚至是不可能的)。

WO 2005/048844公开了一种用于估计解剖结构的两个特征的位置的方法。具体地，基于像素强度在图像中估计前连合(AC)界标和后连合(PC)界标的位置。在所公开的方法中，从图像生成两个子图像作为分别围绕AC界标和PC界标的估计位置的感兴趣区域(ROI)，并且分析子图像以改进估计位置。然而，虽然该方法可以用于更准确地在单个图像中的特征上定位标记物，但是仍然不可能确保另一图像中的相同特征上的标记物的位置是一致的以帮助用户进行临床分析。

因此需要一种用于在解剖结构的图像中定位标记物的改进的方法和装置。

发明内容

如上面指出的，现有方法的限制是不可能在两个或更多个图像中准确地标记对应特征的位置。因此，具有能够以克服这些现有问题的方式将标记物定位在解剖结构的图像中的方法和装置是有价值的。

因此，根据本发明的第一方面，提供了一种用于在解剖结构的图像中定位标记物的方法。该方法包括：将第一标记物定位在第一图像中的解剖结构的特征上，并且将第二标记物定位在第二图像中的解剖结构的相同特征上，以及在第一标记物下平移第一图像，以将第一标记物相对于第一图像中的解剖结构的特征的位置调整为与第二标记物相对于第二图像中的解剖结构的特征的位置相对应。

在一些实施例中，平移第一图像可以包括对第一图像的插值。在一些实施例中，平移第一图像可以包括以下中的任何一个或多个：在左右方向上平移第一图像，在前后方向上平移第一图像，以及在上下方向上平移第一图像。在一些实施例中，第一图像可以是包括多个像素的二维图像，并且平移第一图像可以包括将第一图像平移像素的一部分，或者第一图像可以是包括多个体素的三维图像，并且平移第一图像可以包括将第一图像平移体素的一部分。在一些实施例中，第一图像可以在第一标记物下连续地被平移。

在一些实施例中，第一图像可以在第一标记物下以多个步骤被平移。在一些实施例中，在第一标记物下平移第一图像可以包括：将第一图像在第一标记物下以多个步骤平移，以获取多个平移后的第一图像，针对多个平移后的第一图像中的每一个平移后的第一图像，将第一标记物相对于平移后的第一图像中的解剖结构的特征的位置与第二标记物相对于第二图像中的解剖结构的特征的位置进行比较，以及从多个平移后的第一图像中选择对其而言第一标记物相对于解剖结构的特征的位置最接近地与第二标记物相对于第二图像中的解剖结构的特征的位置相对应的平移后的第一图像。

在一些实施例中，对第一标记物的定位和第一图像在标记物下的平移中的一个或多个可以至少部分地基于接收到的用户输入。

在一些实施例中，该方法还可以包括在第二标记物下平移第二图像，以将第二标记物相对于第二图像中的解剖结构的特征的位置调整为与第一标记物相对于第一图像中的解剖结构的特征的位置相对应。

在一些实施例中，该方法还可以包括将第一图像在第一标记物下旋转，以将第一图像中的解剖结构的取向更改为与第二图像中的解剖结构的取向相对应。

在一些实施例中，第一图像和第二图像中的每一个图像可以包括解剖结构的多个视图，并且可以针对解剖结构的多个视图中的一个或多个视图执行本文所公开的方法。在一些实施例中，解剖结构的多个视图可以包括以下中的任何一个或多个：解剖结构的轴向视图、解剖结构的冠状视图和解剖结构的矢状视图。

根据本发明的第二方面，提供了一种包括计算机可读介质的计算机程序产品，该计算机可读介质中体现有计算机可读代码，该计算机可读代码被配置为使得在由合适的计算机或处理器执行时，使计算机或处理器执行上面描述的方法或多个方法。

根据本发明的第三方面，提供了一种用于在解剖结构的图像中定位标记物的装置。该装置包括处理器，该处理器被配置为：将第一标记物定位在第一图像中的解剖结构的特征上，并且将第二标记物定位在第二图像中的解剖结构的相同特征上，以及在第一标记物下平移第一图像，以将第一标记物相对于第一图像中的解剖结构的特征的位置调整为与第二标记物相对于第二图像中的解剖结构的特征的位置相对应。

在一些实施例中，处理器可以被配置为控制用户接口对具有第一标记物的平移后的第一图像和具有第二标记物的第二图像进行渲染，和/或控制存储器对具有第一标记物的平移后的第一图像和具有第二标记物的第二图像进行存储。

根据上面描述的方面和实施例，解决了现有技术的局限性。特别地，根据上面描述的方面和实施例，可以在两个或更多个图像中准确地标记对应特征的位置。承担对图像进行临床分析任务的用户不再被要求在他们的头脑中组合或覆盖来自两个或更多个图像的信息。以这种方式，上面描述的方面和实施例允许标记物以高精度定位在不同图像中的对应特征上。

因此，提供了一种用于在解剖结构的图像中定位标记物(或对解剖结构的图像进行注释)的改进的方法和装置，其克服了现有的问题。

附图说明

为了更好地理解本发明，并且为了更清楚地示出如何可以实现本发明，现在仅通过示例的方式参考附图，其中：

图1是根据实施例的装置的框图；

图2是示出根据实施例的方法的流程图；

图3是根据实施例的解剖结构的图像中的标记物的图示；

图4是示出根据实施例的方法的流程图；以及

图5是根据实施例的解剖结构的图像中的标记物的图示。

具体实施方式

如上面指出的，本发明提供了一种用于在解剖结构的图像中定位标记物(或对解剖结构的图像进行注释)的改进的方法和装置，其克服了现有的问题。

图1示出了根据实施例的装置100的框图，该装置100可以用于在解剖结构的图像中定位标记物。

例如，解剖结构的图像可以是医学图像。示例包括但不限于计算机断层扫描(CT)图像、磁共振(MR)图像、超声(US)图像、X射线图像、荧光透视图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层扫描(SPECT)图像、核医学图像或任何其他医学图像。

在一些实施例中，解剖结构的图像可以是包括多个像素的二维图像。在一些实施例中，解剖结构的图像可以是多个二维图像，每个二维图像包括多个像素，其中时间是第三维度(即，解剖结构的图像可以是2D+t图像)。在一些实施例中，解剖结构的图像可以是包括多个体素的三维图像。在一些实施例中，解剖结构的图像可以是包括多个(例如，一系列，例如时间系列)三维图像的四维图像，每个三维图像包括多个体素。图像中的解剖结构可以是诸如心脏、肺、肠、肾、肝之类的器官或任何其他解剖结构。图像中的解剖结构可以包括一个或多个解剖部位。例如，心脏的图像可以包括心室、心房、主动脉和/或心脏的任何其他部位。

尽管已经针对图像类型和图像中的解剖结构(以及解剖结构的部位)提供了示例，但是应理解，本发明还可以用于在任何其他类型的图像中定位标记物，并且解剖结构可以是任何其他解剖结构。

装置100包括处理器102，其控制装置100的操作并且可以实现本文描述的方法。处理器102可以包括一个或多个处理器、处理单元、多核处理器或模块，其被配置或编程为以本文描述的方式控制装置100。在特定实现方式中，处理器102可以包括多个软件和/或硬件模块，每个软件和/或硬件模块被配置为执行或者用于执行根据本发明的实施例的方法的单个步骤或多个步骤。

简而言之，处理器102被配置为将第一标记物定位在第一图像中的解剖结构的特征上，并且将第二标记物定位在第二图像中的解剖结构的相同特征上，并且在第一标记物下平移第一图像，以将第一标记物相对于第一图像中的解剖结构的特征的位置调整为与第二标记物相对于第二图像中的解剖结构的特征的位置相对应。

在一些实施例中，装置100还可以包括至少一个用户接口104。可替代地或另外地，至少一个用户接口104可以在装置100的外部(即，与装置100分开或远离)。例如，至少一个用户接口104可以是另一设备的一部分。

用户接口104可以用于向装置100的用户(例如，保健提供者、保健专家、护理人员、受试者或任何其他用户)提供由根据本发明的方法产生的信息。处理器102可以被配置为控制一个或多个用户接口104提供由根据本发明的方法产生的信息。例如，处理器102可以被配置为控制一个或多个用户接口104对具有第一标记物的平移后的第一图像和具有第二标记物的第二图像进行渲染(或者输出或显示)。可替代地或另外地，用户接口104可以被配置为接收用户输入。换言之，用户接口104可以允许装置100的用户手动输入指令、数据或信息。处理器102可以被配置为从一个或多个用户接口104获取用户输入。

用户接口104可以是能够向装置100的用户渲染(或者输出或显示)信息、数据或信号的任何用户接口。可替代地或另外地，用户接口104可以是使装置100的用户能够提供用户输入、与装置100交互和/或控制装置100的任何用户接口。例如，用户接口104可以包括一个或多个开关、一个或多个按钮、小键盘、键盘、触摸屏或应用(例如，在平板电脑或智能手机上)、显示屏、图形用户接口(GUI)或其他视觉渲染组件、一个或多个扬声器、一个或多个麦克风或任何其他音频组件、一个或多个灯、用于提供触觉反馈(例如，振动功能)的组件或任何其他用户接口，或用户接口的组合。

在一些实施例中，装置100还可以包括存储器106，存储器106被配置为存储程序代码，该程序代码可以由处理器102执行以执行本文描述的方法。可替代地或另外地，一个或多个存储器106可以在装置100的外部(即，与装置100分开或远离)。例如，一个或多个存储器106可以是另一设备的一部分。存储器106可以用于存储由装置100的处理器102或从在装置100外部的任何接口、存储器或设备获取或产生的图像、信息、数据、信号和度量。例如，存储器106可以用于存储具有第一标记物的平移后的第一图像和具有第二标记物的第二图像。处理器102可以被配置为控制存储器106对具有第一标记物的平移后的第一图像和具有第二标记物的第二图像进行存储。

在一些实施例中，装置100还可以包括通信接口(或电路)108，用于使装置100能够与在装置100内部或外部的任何接口、存储器和设备进行通信。通信接口108可以与任何接口、存储器和设备无线地或经由有线连接进行通信。例如，在一个或多个用户接口104在装置100外部的实施例中，通信接口108可以无线地或经由有线连接与一个或多个外部用户接口104通信。类似地，在一个或多个存储器106在装置100外部的实施例中，通信接口108可以无线地或经由有线连接与一个或多个外部存储器106通信。

应认识到，图1仅示出了说明本发明的这个方面所要求的组件，并且在实际实现方式中，装置100可以包括相对于所示出的那些组件的附加组件。例如，装置100可以包括用于为装置100供电的电池或其他电源，或用于将装置100连接到主电源的单元。

图2示出了根据实施例的用于在解剖结构的图像中定位标记物的方法200。所示方法200通常可以由装置100的处理器102执行或在其控制下执行。

尽管未在图2中示出，但是在一些实施例中，解剖结构的第一图像和第二图像可以显示在用户接口104上。第一图像可以是解剖结构的基线(或初始)图像。第二图像可以是解剖结构的后继(或后续)图像，其可以在第一图像稍后的时间点拍摄。如较早提到的，在一些实施例中，第一图像和第二图像可以是包括多个像素的二维图像。在其他实施例中，第一图像和第二图像可以是多个二维图像，每个二维图像包括多个像素，其中时间是第三维度(即，第一图像和第二图像可以是2D+t图像)。在其他实施例中，第一图像和第二图像可以是包括多个体素的三维图像。在其他实施例中，第一图像和第二图像可以是包括多个(例如，一系列，例如时间系列)三维图像的四维图像，每个三维图像包括多个体素。

在一些实施例中，第一图像和第二图像中的每一个可以包括解剖结构的多个视图。例如，解剖结构的多个视图可以包括解剖结构的轴向视图、解剖结构的冠状视图、解剖结构的矢状视图或解剖结构的任何其他视图中的任何一个或多个，或者解剖结构的视图的任何组合。在一些实施例中，解剖结构的第一图像和第二图像可以以正交视图方式显示在用户接口104上。在第一图像和第二图像包括解剖结构的多个视图的实施例中，第一图像和第二图像可以在多个视图中显示在用户接口104上(例如，在包括每个图像的轴向视图、冠状视图和矢状视图的六个正交视图中)。

参考图2，在框202处，将第一标记物(或注释)定位在第一图像中的解剖结构的特征上，并且将第二标记物定位在第二图像中的解剖结构的相同特征上。该步骤用作初始化步骤。在其上放置第一标记物和第二标记物的特征可以包括解剖结构的任何特征(或界标)。例如，该特征可以包括血管结构(例如，血管分叉)、裂隙、在病变或肿瘤中或在其上的位置、骨结构，或通常解剖结构中的任何不同结构(其可以是器官或任何其他解剖结构)或解剖结构的边界，或解剖结构的任何其他特征。

在一些实施例中，对第一标记物和第二标记物的定位(在图2的框202处)可以由装置100的处理器102自动执行。为此目的，可以使用任何合适的已知算法。例如，该算法可以是计算机辅助检测方案(例如，基于Hessian的分析方案、径向梯度采样方案、特征值分析方案)或任何其他合适的算法。在一些实施例中，对第一标记物和第二标记物的定位可以至少部分地基于接收到的用户输入。可以经由一个或多个用户接口104接收用户输入，用户接口104可以是装置100的一个或多个用户接口、在装置100外部的一个或多个用户接口或两者的组合。例如，在一些实施例中，处理器102可以被配置为控制一个或多个用户接口104向用户显示第一图像和第二图像，并且从一个或多个用户接口104获取用户输入，以定位一个或多个标记物或者调整一个或多个标记物的位置。在一些实施例中，用户输入可以包括用户在二维图像的情况下点击像素，或者在三维图像(或者包括多个三维图像的四维图像)的情况下点击体素，以将标记物放置在第一图像和第二图像两者中的解剖结构的特征上。然后，装置100的处理器102可以被配置为根据用户输入来确定这些标记物的对应像素或体素位置。

在图2的框204处，在第一标记物下平移(例如，移位或变换)第一图像，以将第一标记物相对于第一图像中的解剖结构的特征的位置调整为与第二标记物相对于第二图像中的解剖结构的特征的位置相对应。以这种方式，通过平移修改基础第一图像，而不是第一标记物本身的位置。第一标记物保持固定。可以以任何合适的方式平移第一图像。例如，第一图像可以在第一标记物下连续地平移，在第一标记物下以多个步骤平移，或者在第一标记物下连续地和以多个步骤两者的组合。在第一标记物下对第一图像进行平移以调整第一标记物相对于特征的位置可以确保第一标记物被放置在图像上的与第二图像中的第二标记物相对应的(或等效的)位置。

在一些实施例中，平移第一图像可以包括将第一图像重新采样为一组新坐标。例如，将第一图像中的每个图像分量的值重新采样为一组新图像分量坐标(其中在图像是二维图像的情况下图像分量是像素，或者在第一图像是三维图像的情况下图像分量是体素)。

在一些实施例中，平移第一图像可以包括对第一图像插值(例如，可以通过将第一图像的图像分量的值插值到一组新图像分量坐标上来重新采样第一图像)。对第一图像插值以在第一标记物下平移第一图像可以包括任何合适的插值技术。可以使用的插值技术的示例包括但不限于线性插值、多项式插值(例如，三次插值、基于B样条的插值或任何其他多项式插值)、三线性插值或任何其他插值技术。在第一图像在第一标记物下以多个步骤平移的实施例中，可以在对第一图像进行每次平移之后执行对第一图像的插值。

第一图像的平移可以在任何方向上。例如，平移第一图像可以包括以下中的任何一个或多个：在左右方向上平移第一图像，在前后方向上平移第一图像，在上下方向上平移第一图像，或在任何其他方向上平移第一图像，或在方向的任何组合上。

在第一图像是包括多个像素的二维图像的实施例中，平移第一图像可以包括将第一图像平移像素的一部分。换言之，可以在子像素级别上平移第一图像。类似地，在第一图像是包括多个体素的三维图像(或包括多个三维图像的四维图像)的实施例中，平移第一图像可以包括将第一图像平移体素的一部分。换言之，可以在子体素级别上平移第一图像。在第一图像在第一标记物下以多个步骤平移的实施例中，在二维图像的情况下步长可以是分数个像素，或者在三维图像(或包括多个三维图像的四维图像)的情况下步长可以是分数个体素。

在示例实施例中，可以将第一图像平移0.2个体素。然而，尽管已经提供了示例，但是应理解，其他示例也是可能的，并且可以将第一图像平移任何其他分数个体素(例如，0.1个体素、0.3个体素、0.4个体素、0.5个体素、0.6个体素，或任何其他分数个体素)。以这种方式，即时是在三维图像(或包括多个三维图像的四维图像)的情况下直径等于或小于体素或者在二维图像的情况下直径等于或者小于像素的特征也可以被精确地标记，以实现高精度对齐。

在一些实施例中，第一图像在第一标记物下的平移(在图2的框204处)可以由装置100的处理器102自动执行。例如，可以采用自动图像配准算法。在一些实施例中，例如，自动图像配准算法可以应用于第一图像和第二图像(或者应用于这些图像的一个或多个子图像，其中子图像显示标记物的位置周围的局部环境)。然后可以通过比较第一图像和第二图像(或通过将图像中的一个图像映射到另一图像)来确定最佳平移。最佳平移是这样的平移：当应用于图像中的一个图像时，使平移后的图像和该另一图像最相似。例如，最佳平移可以产生平移后的(例如，重新采样的)图像，由此平移后的图像中的解剖特征与该另一图像的解剖特征对齐，例如，在子像素/子体素级别。所确定的最佳平移可以用于更新第一图像中的第一标记物或第二图像中的第二标记物，使得第一标记物和第二标记物在第一图像和第二图像中对应。在一些实施例中，出于平移的目的，可以针对平移优化自动图像配准算法的变换。可以以这种方式使用任何已知的配准算法。

在一些实施例中，第一图像在标记物下的平移(在图2的框204处)可以至少部分地基于接收到的用户输入。可以经由一个或多个用户接口104接收用户输入，用户接口104可以是装置100的一个或多个用户接口、在装置100外部的一个或多个用户接口或两者的组合。用户输入可以例如涉及用户按压按钮(或按键)或在一个或多个用户接口104上执行手势(例如，拖动或滑动)，以在第一标记物下平移第一图像。

尽管未在图2中示出，但是该方法还可以包括在第二标记物下平移第二图像，以将第二标记物相对于第二图像中的解剖结构的特征的位置调整为与第一标记物相对于第一图像中的解剖结构的特征的位置相对应。以这种方式，通过平移修改基础第二图像，而不是第二标记物本身的位置。第二标记物保持固定。因此，在一些实施例中，可以平移图像中的单个图像，并且在其他实施例中，可以平移图像中的多于一个图像(例如，第一图像和第二图像两者)。

第二图像的平移可以与第一图像的平移同时执行，在第一图像的平移之前执行，或者在第一图像的平移之后执行(在图2的框204处)。应理解，较早对第一图像的平移的描述也适用于第二图像，因此这里不再重复。换言之，可以以较早关于第一图像描述的方式中的任何方式在第二标记物下平移第二图像。在第二图像中的解剖结构被擦模糊的情况下，第二图像在第二标记物下的平移可能是有用的。例如，在三维图像的情况下，具有体素宽度的解剖结构可以定位在单个体素中(具有体素强度x)，或者该解剖结构可以跨两个相邻体素定位(体素强度为x/2)，在这种情况下，该解剖结构在用户看来是被擦模糊的。因此，可以在第二标记物下平移第二图像，以改进第二图像的清晰度。

尽管在图2中同样未示出，但是该方法还可以包括将第一图像在第一标记物下旋转，以将第一图像中的解剖结构的取向更改为与第二图像中的解剖结构的取向相对应。因此，通过旋转修改基础第一图像，而不是第一标记物本身的位置。第一标记物保持固定。如较早关于第一图像的平移所描述的，第一图像可以在第一标记物下连续地旋转，在第一标记物下以多个步骤旋转，或者在第一标记物下连续地和以多个步骤的组合。第一图像的旋转可以在任何平面中。例如，旋转第一图像可以包括以下中的任何一个或多个：在轴向平面中旋转第一图像，在冠状平面中旋转第一图像，在矢状平面中旋转第一图像，或在任何其他平面中旋转第一图像，或在平面的任何组合中。

在一些实施例中，第一图像在第一标记物下的旋转可以由装置100的处理器102自动执行。例如，可以采用自动图像配准算法。在一些实施例中，例如，自动图像配准算法可以应用于第一图像和第二图像(或这些图像的一个或多个子图像，其中子图像显示标记物的位置周围的局部环境)。然后可以通过比较第一图像和第二图像(或通过将图像中的一个图像映射到另一图像)来确定最佳旋转。最佳旋转是这样的旋转：当应用于图像中的一个图像时，使旋转后的图像和该另一图像最相似。所确定的最佳旋转可以用于更新第一图像中的第一标记物或第二图像中的第二标记物，使得第一标记物和第二标记物在第一图像和第二图像中对应。在一些实施例中，出于旋转的目的，可以针对旋转优化自动图像配准算法的变换。可以以这种方式使用任何已知的配准算法。

在一些实施例中，第一图像在第一标记物下的旋转可以至少部分地基于接收到的用户输入。可以经由一个或多个用户接口104接收用户输入，用户接口104可以是装置100的一个或多个用户接口、在装置100外部的一个或多个用户接口或两者的组合。

在一些实施例中，旋转第一图像可以包括对第一图像插值。对第一图像插值以将第一图像在第一标记物下旋转可以包括任何合适的插值技术，例如，较早关于对第一图像平移所提到的那些技术。在其中在第一标记物下以多个步骤旋转第一图像的实施例中，可以在对第一图像进行每次旋转之后执行对第一图像的插值。

以与上面针对第一图像描述的相同的方式(这里将不再重复但应被理解为适用)，第二图像可以可替代地或另外地在第二标记物下旋转，以将第二图像中的解剖结构的取向更改为与第一图像中的解剖结构的取向相对应。例如，基础图像中的解剖结构可以相对于彼此旋转。

第二图像的旋转可以与第一图像的旋转同时执行，在第一图像的旋转之前执行，或者在第一图像的旋转之后执行。类似地，第一图像和第二图像中的任何一个或多个的旋转可以与第一图像和第二图像中的任何一个或多个的平移同时执行，在第一图像和第二图像中的任何一个或多个的平移之前执行，或者在第一图像和第二图像中的任何一个或多个的平移之后执行(在图2的框204处)。

具体地，在一些实施例中，第一图像可以首先在第一标记物下旋转，然后可以随后在第一标记物下平移第一图像，反之亦然。可替代地，在一些实施例中，第二图像可以首先在第二标记物下旋转，然后可以随后在第二标记物下平移第二图像，反之亦然。

可替代地，在一些实施例中，第一图像可以首先在第一标记物下旋转(或者可替代地，第二图像可以首先在第二图像下旋转)，然后第一图像和第二图像可以随后在其相应标记物下平移(例如，第一图像和第二图像可以在其相应标记物下同时平移，或者可以在第一标记物下平移第一图像接着在第二标记物下平移第二图像，反之亦然)。可替代地，在一些实施例中，可以首先在第一标记物下平移第一图像(或者可替代地，可以首先在第二图像下平移第二图像)，然后第一图像和第二图像可以随后在其相应标记物下旋转(例如，第一图像和第二图像可以在其相应标记物下同时旋转，或者第一图像可以在第一标记物下旋转接着第二图像在第二标记物下旋转，反之亦然)。

可替代地，在一些实施例中，第一图像和第二图像可以首先在其相应标记物下平移(例如，第一图像和第二图像可以首先在其相应标记物下同时平移，或者可以在第一标记物下平移第一图像接着在第二标记物下平移第二图像，反之亦然)，然后第一图像随后可以在第一标记物下旋转(或者可替代地，第二图像可以随后在第二标记物下旋转)。可替代地，在一些实施例中，第一图像和第二图像可以首先在其相应标记物下旋转(例如，第一图像和第二图像可以首先在其相应标记物下同时旋转，或者第一图像可以在第一标记物下旋转接着第二图像在第二标记物下旋转，反之亦然)，然后可以随后在第一标记物下平移第一图像(或者可替代地，可以随后在第二标记物下平移第二图像)。

可替代地，在一些实施例中，第一图像和第二图像可以首先在其相应标记物下平移(例如，第一图像和第二图像可以首先在其相应标记物下同时平移，或者可以在第一标记物下平移第一图像接着在第二标记物下平移第二图像，反之亦然)，然后第一图像和第二图像可以随后在其相应标记物下旋转(例如，第一图像和第二图像可以首先在其相应标记物下同时旋转，或者第一图像可以在第一标记物下旋转接着第二图像在第二标记物下旋转，反之亦然)。可替代地，在一些实施例中，第一图像和第二图像可以首先在其相应标记物下旋转(例如，第一图像和第二图像可以首先在其相应标记物下同时旋转，或者第一图像可以在第一标记物下旋转接着第二图像在第二标记物下旋转，反之亦然)，然后第一图像和第二图像可以随后在其相应标记物下平移(例如，第一图像和第二图像可以首先在其相应标记物下同时平移，或者可以在第一标记物下平移第一图像接着在第二标记物下平移第二图像，反之亦然)。

在一些实施例中，第二图像在标记物下的旋转可以由装置100的处理器102自动执行，如较早关于第一图像所描述的。在一些实施例中，第二图像在第二标记物下的旋转可以至少部分地基于接收到的用户输入。可以经由一个或多个用户接口104接收用户输入，用户接口104可以是装置100的一个或多个用户接口、在装置100外部的一个或多个用户接口或两者的组合。

在第一图像和第二图像包括解剖结构的多个视图(例如，较早描述的视图)的实施例中，可以针对多个视图中的一个或多个执行本文公开的方法。在本文描述的实施例中的任何实施例中，可以针对图像中的一个或多个图像重复较早描述的平移步骤和可选的旋转步骤，直到图像中的标记物相对于解剖结构的特征看起来尽可能相似。在以多个步骤执行平移的实施例中，可以针对平移以减小的步长来重复平移。类似地，在以多个步骤执行旋转的实施例中，可以针对旋转以减小的步长来重复旋转。

尽管未在图2中示出，但是该方法还包括对具有第一标记物的平移后的(并且可选地旋转后的)第一图像和具有第二标记物的第二图像进行存储。可替代地或另外地，尽管同样未在图2中示出，但是该方法还包括对具有第一标记物的平移后的(以及可选地旋转后的)第一图像和具有第二标记物的平移后的(以及可选地旋转后的)第二图像进行渲染(或者输出或显示)。在第一图像和第二图像包括多个视图的实施例中，可以更新关于其执行平移(以及可选地旋转)的视图，以渲染(或者输出或显示)针对该视图的平移后的(以及可选地旋转后的)图像。

在一些实施例中，一旦第一标记物相对于第一图像中的特征的位置与第二标记物相对于第二图像中的特征的位置相对应(这可以通过一次或多次平移)，就可以确定第一图像的整体平移。在这些实施例中，可以在第一标记物在第一图像中的位置处渲染(或者输出或显示)所确定的整体平移。类似地，在平移第二图像的实施例中，可以确定第二图像的整体平移。在这些实施例中，可以在第二标记物在第二图像中的位置处渲染(或者输出或显示)所确定的整体平移。在图像还被旋转的实施例中，可以在标记物在图像中的位置处确定并渲染(或者输出或显示)该图像的整体旋转。

以这种方式，通过将标记物定位在图像上并以上面描述的方式在标记物下平移(或移位)图像，可以在图像上生成高精度的标记物对。应理解，尽管本文关于将标记物定位在两个图像中的对应特征上来描述该方法，但是该方法也可以以相同方式关于多于两个图像来执行。

图3是根据这样的实施例的解剖结构的图像300、302中的标记物304、306的图示，其中图像300、302包括解剖结构的多个视图300a、300b、300c、302a、302b、302c。

在该示出的示例中，第一图像300包括解剖结构的轴向视图300a、解剖结构的冠状视图300b和解剖结构的矢状视图300c。类似地，在该示出的示例中，第二图像302包括解剖结构的轴向视图302a、解剖结构的冠状视图302b和解剖结构的矢状视图302c。如图3所示，用户接口106以六个正交视图显示两个图像300、302，其中第一图像300的轴向视图300a、冠状视图300b和矢状视图300c在上边一排中，并且第二图像302的对应的轴向视图302a、冠状视图302b和矢状视图302c在下边一排中。在一些实施例中，用户可以滚动通过针对每个图像300、302的数据集，直到在视图300a、300b、300c、302a、302b、302c中的每一个图像中显示感兴趣的解剖结构。在图3所示的示例中，感兴趣的解剖结构是血管分叉。然而，应理解，所描述的方法可以适用于任何其他解剖结构。

如较早参考图2的框202所描述的，第一标记物304定位在第一图像300中的解剖结构的特征上，并且第二标记物306定位在第二图像302中的解剖结构的相同特征上。在该示出的示例中，第一标记物304定位在第一图像300中的解剖结构的轴向视图300a、解剖结构的冠状视图300b和解剖结构的矢状视图300c中的每一个视图中的解剖结构的特征上。类似地，在该示出的示例中，第二标记物306定位在第二图像302中的解剖结构的轴向视图302a、解剖结构的冠状视图302b和解剖结构的矢状视图302c中的每一个视图中的解剖结构的相同特征上。

如图3所示，轴向视图300a、302a和矢状视图300c、302c指示第一图像300中的第一标记物304不是相对于解剖结构的特征定位在与第二图像300中的第二标记物306完全相同的位置的。因此，如较早参考图2的框204所描述的，在第一标记物304下平移第一图像300，以将第一标记物304相对于第一图像300中的解剖结构的特征的位置调整为与第二标记物306相对于第二图像302中的解剖结构的特征的位置相对应。在该示出的示例中，可以关于以下中的任何一个或多个来执行平移：解剖结构的轴向视图300a、302a，解剖结构的冠状视图300b、302b以及解剖结构的矢状视图300c、302c。

应理解，第一图像300和第二图像302中的任何一个或多个可以以较早描述的方式中的任何方式平移(并且可选地旋转)，这里将不再重复，但应理解为适用。

图4示出了根据另一实施例的用于在解剖结构的图像中定位标记物的方法400。所示出的方法400通常可以由装置100的处理器102执行或在其控制下执行。尽管这里没有完全重复，但是应理解关于较早关于图2提供的对图像的平移和旋转的描述关于图4同样适用。

参考图4，在框402处(如上面关于图2的框202描述的)，第一标记物定位在第一图像中的解剖结构的特征上，并且第二标记物定位在第二图像中的解剖结构的相同特征上。

在图4的框404处(如上面关于图2的框204描述的)，在第一标记物下平移第一图像，以将第一标记物相对于第一图像中的解剖结构的特征的位置调整为与第二标记物相对于第二图像中的解剖结构的特征的位置相对应。具体地，在图4所示的实施例中，第一图像在第一标记物下以多个步骤平移，以获取多个平移后的第一图像。

然后，在图4的框406处，针对多个平移后的第一图像中的每一个，将第一标记物相对于平移后的第一图像中的解剖结构的特征的位置与第二标记物相对于第二图像中的解剖结构的特征的位置进行比较。例如，该比较可以包括在二维图像的情况下在像素网格上或者在三维图像的情况下在体素网格上迭代地检查标记物相对于图像中的解剖结构的特征的位置之间的相似性。

在一些实施例中，比较可以由装置100的处理器102自动执行。例如，在一些实施例中，可以使用相似性度量来执行比较。具体地，可以使用相似性度量将第一图像和第二图像(或第一图像的至少一部分和第二图像的对应部分)彼此进行比较。相似性度量可以例如包括平方差之和、互相关(例如，局部互相关)、互信息或任何其他相似性度量。可以使用已知技术中的任一种来执行使用相似性度量的比较。在一些实施例中，比较可以包括经由用户接口104向用户显示多个平移后的第一图像，以及从用户接口104获取与比较相关的用户输入。可以经由一个或多个用户接口104接收用户输入，用户接口104可以是装置100的一个或多个用户接口、在装置100外部的一个或多个用户接口，或两者的组合。

在图4的框408处，从多个平移后的第一图像中选择对其而言第一标记物相对于解剖结构的特征的位置最接近地与第二标记物相对于第二图像中的解剖结构的特征的位置相对应(或与其最类似)的平移后的第一图像。在由装置100的处理器102自动执行比较的实施例中，对平移后的第一图像的选择也可以由装置100的处理器102自动执行。例如，可以基于从较早描述的相似性度量获取的值来确定最佳相似度值，并且可以基于最佳相似度值来选择最适合的平移后的第一图像。在比较包括向用户显示多个平移后的第一图像的实施例中，从用户接口104获取的用户输入可以提供对平移后的第一图像的选择。所选择的平移后的第一图像可以是与多个平移后的第一图像中的其他图像相比最好地与第二图像相对应的图像。以这种方式，可以选择最适合的图像。

以与关于图4针对第一图像的平移所描述的相同的方式，应理解，第二图像的平移可以以相同的方式执行，并且尽管这里不再重复，但是关于图4的框404、406和408对平移的描述应被理解为适用于第二图像的平移。而且，第一图像和可选的第二图像可以以较早关于图2描述的方式中的任何方式进行平移，并且尽管这里不再重复，但是关于图2对平移的描述应被理解为适用于图4。第二图像的平移可以与第一图像的平移同时执行，在第一图像的平移之前执行，或者在第一图像的平移之后执行。

还应理解，第一图像、第二图像或第一图像和第二图像两者可以以较早关于图2描述的方式旋转，因此，尽管这里不再重复，但是关于图2对旋转的描述应被理解为适用于图4。关于图4，可以以与参考图4的框404、406和408描述的对图像的平移相同的方式来执行对图像的旋转。第二图像的旋转可以与第一图像的旋转同时执行，在第一图像的旋转之前执行，或者在第一图像的旋转之后执行。

类似地，第一图像和第二图像中的任何一个或多个的旋转可以与第一图像和第二图像中的任何一个或多个的平移同时执行，在第一图像和第二图像中的任何一个或多个的平移之前执行，或者在第一图像和第二图像中的任何一个或多个的平移之后执行(如较早描述的)。

图5是根据这样的实施例的解剖结构的图像500、502中的标记物504、506的图示，其中第一图像500在第一标记物504下以多个步骤平移。

在该示出的示例中，第一图像500和第二图像502包括多个视图500a、500b、500c、502a、502b、502c。具体地，第一图像500包括解剖结构的轴向视图500a、解剖结构的冠状视图500b和解剖结构的矢状视图500c，并且类似地，第二图像502包括解剖结构的轴向视图502a、解剖结构的冠状视图502b和解剖结构的矢状视图502c。如较早关于图4的框402描述的，第一标记物504定位在第一图像500中的解剖结构的特征上，并且第二标记物506定位在第二图像502中的解剖结构的相同特征上。

在该示出的示例中，第一标记物504定位在第一图像500中的解剖结构的轴向视图500a、解剖结构的冠状视图500b和解剖结构的矢状视图500c中的每一个视图中的解剖结构的特征上。类似地，在该示出的示例中，第二标记物506定位在第二图像502中的解剖结构的轴向视图502a、解剖结构的冠状视图502b和解剖结构的矢状视图502c中的每一个视图中的解剖结构的相同特征上。

然后，如较早关于图4的框404描述的，在该示出的示例中，解剖结构的第一图像500的矢状视图500c在第一标记物504下以多个步骤平移，以获取多个平移后的第一图像508a、508b、508c、508d、508e、508f。如上面参考图4的框406描述的，针对多个平移后的第一图像508a、508b、508c、508d、508e、508f中的每一个，将第一标记物504相对于平移后的第一图像500中的解剖结构的特征的位置与第二标记物506相对于第二图像502中的解剖结构的特征的位置进行比较。在该示出的示例中，出于比较的目的，第二图像502在具有第二标记物的解剖结构的特征上被放大以产生第二图像502的放大版本510。出于比较的目的，还可以放大多个平移后的第一图像508a、508b、508c、508d、508e、508f。如图4所示，多个平移后的第一图像508a、508b、508c、508d、508e、508f中的每一个平移不同分数个体素。

如较早关于图4的框408描述的，从多个平移后的第一图像508a、508b、508c、508d、508e、508f中选择对其而言第一标记物504相对于解剖结构的特征的位置最接近地与第二标记物506相对于第二图像502中的解剖结构的特征的位置相对应(或与其最类似)的平移后的第一图像。因此，在该示出的示例中，选择平移后的第一图像508d。平移后的第一图像508d与第一图像500平移+0.4个体素相对应。

尽管已经关于第一图像500的矢状视图500c描述了所示示例，但是应理解，该方法可以可替代地或另外地针对第一图像500的其他视图中的任一个、第二图像502的视图中的任一个以及视图的任何组合来执行。

应理解，尽管本文已经关于两个图像描述了这些方法，但是对于两个以上的图像同样可以执行这些方法。

因此，提供了一种用于在解剖结构的图像中定位标记物的改进的方法和装置。本文描述的方法和装置可以用于在任何解剖结构(例如，器官或任何其他解剖结构)的图像中定位标记物。具体地，该方法和装置允许标记物以高精度定位在不同图像中的对应特征上。该方法和装置在医学成像分析和可视化工具中可能是有价值的。

还提供了一种包括计算机可读介质的计算机程序产品，该计算机可读介质中体现有计算机可读代码，该计算机可读代码被配置为使得在由合适的计算机或处理器执行时，使计算机或处理器执行本文描述的该方法或多个方法。因此，应认识到，本发明还适用于计算机程序，特别是适于将本发明付诸实践的载体上或载体中的计算机程序。程序可以以源代码、目标代码、代码中间源和例如部分编译形式的目标代码的形式，或者以适合用于实现根据本发明的方法的任何其他形式。

还应认识到，这样的程序可以具有许多不同的架构设计。例如，实现根据本发明的方法或系统的功能的程序代码可以被细分为一个或多个子例程。在这些子例程之间分布功能的许多不同方式对于技术人员来说是显而易见的。子例程可以一起存储在一个可执行文件中以形成自包含程序。这样的可执行文件可以包括计算机可执行指令，例如，处理器指令和/或解释器指令(例如，Java解释器指令)。可替代地，子例程中的一个或多个或全部可以存储在至少一个外部库文件中，并且静态地或动态地(例如，在运行时)与主程序链接。主程序包含对子例程中的至少一个子例程的至少一个调用。子例程还可以包括对彼此的函数调用。

涉及计算机程序产品的实施例包括与本文阐述的方法中的至少一种方法的每个处理阶段相对应的计算机可执行指令。这些指令可以被细分为子例程和/或存储在可以静态地或动态地链接的一个或多个文件中。涉及计算机程序产品的另一实施例包括与本文阐述的系统和/或产品中的至少一个的每个单元相对应的计算机可执行指令。这些指令可以被细分为子例程和/或存储在可以静态地或动态地链接的一个或多个文件中。

计算机程序的载体可以是能够携带程序的任何实体或设备。例如，载体可以包括数据存储装置，例如，ROM(例如，CD ROM或半导体ROM)或磁记录介质(例如，硬盘)。此外，载体可以是可传输载体，例如，电信号或光信号，其可以经由电缆或光缆或通过无线电或其他手段传送。当程序体现在这样的信号中时，载体可以由这种电缆或其他设备或单元构成。可替代地，载体可以是其中嵌入程序的集成电路，集成电路适于执行或用于执行相关方法。

根据对附图、公开内容和所附权利要求的研究，本领域技术人员在实践所要求保护的发明时可以理解并实现对所公开的实施例的变型。在权利要求书中，“包括”一词不排除其他元素或步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或其他单元可以实现权利要求书中引述的若干项的功能。在相互不同的从属权利要求中引述特定措施的仅有事实并不指示这些措施的组合不能用于获益。计算机程序可以存储/分布在合适的介质(例如，与其他硬件一起提供或作为其他硬件的一部分提供的光学存储介质或固态介质)上，但是也可以以其他形式分布(例如，经由互联网或其他有线或无线电信系统)。权利要求书中的任何附图标记不应被解释为对范围进行限制。

Claims (15)

1.一种用于在解剖结构的图像中定位标记物的方法(200，400)，所述方法包括：

将第一标记物定位(202，402)在第一图像中的解剖结构的特征上，并且将第二标记物定位在第二图像中的所述解剖结构的相同特征上；以及

在所述第一标记物下平移(204，404)所述第一图像，以将所述第一标记物相对于所述第一图像中的所述解剖结构的特征的位置调整为与所述第二标记物相对于所述第二图像中的所述解剖结构的特征的位置相对应，其中，所述平移不调整所述第一标记物本身的位置。

2.如权利要求1所述的方法，其中，平移所述第一图像包括对所述第一图像的插值。

3.如权利要求1或2所述的方法，其中，平移所述第一图像包括以下中的任何一个或多个：

在左右方向上平移所述第一图像；

在前后方向上平移所述第一图像；以及

在上下方向上平移所述第一图像。

4.如权利要求1或2所述的方法，其中：

所述第一图像是包括多个像素的二维图像，并且平移所述第一图像包括将所述第一图像平移像素的一部分；或者

所述第一图像是包括多个体素的三维图像，并且平移所述第一图像包括将所述第一图像平移体素的一部分。

5.如权利要求1或2所述的方法，其中，所述第一图像在所述第一标记物下连续地被平移。

6.如权利要求1或2所述的方法，其中，所述第一图像在所述第一标记物下以多个步骤被平移。

7.如权利要求6所述的方法，其中，在所述第一标记物下平移所述第一图像包括：

在所述第一标记物下以所述多个步骤平移(404)所述第一图像，以获取多个平移后的第一图像；

针对所述多个平移后的第一图像中的每一个平移后的第一图像，将所述第一标记物相对于所述平移后的第一图像中的所述解剖结构的特征的位置与所述第二标记物相对于所述第二图像中的所述解剖结构的特征的位置进行比较(406)；以及

从所述多个平移后的第一图像中选择(408)对其而言所述第一标记物相对于所述解剖结构的特征的位置最接近地与所述第二标记物相对于所述第二图像中的所述解剖结构的特征的位置相对应的平移后的第一图像。

8.如权利要求1或2所述的方法，其中，对所述第一标记物的所述定位和所述第一图像在所述标记物下的所述平移中的一个或多个是至少部分地基于接收到的用户输入的。

9.如权利要求1或2所述的方法，所述方法还包括：

在所述第二标记物下平移所述第二图像，以将所述第二标记物相对于所述第二图像中的所述解剖结构的特征的位置调整为与所述第一标记物相对于所述第一图像中的所述解剖结构的特征的位置相对应。

10.如权利要求1或2所述的方法，所述方法还包括：

在所述第一标记物下旋转所述第一图像，以将所述第一图像中的所述解剖结构的取向更改为与所述第二图像中的所述解剖结构的取向相对应。

11.如权利要求1或2所述的方法，其中，所述第一图像和所述第二图像中的每一个图像包括所述解剖结构的多个视图，并且如权利要求1至10中任一项所述的方法针对所述解剖结构的多个视图中的一个或多个视图被执行。

12.如权利要求11所述的方法，其中，所述解剖结构的多个视图包括以下中的任何一个或多个：

所述解剖结构的轴向视图；

所述解剖结构的冠状视图；以及

所述解剖结构的矢状视图。

13.一种存储有计算机可读代码的算机可读介质，所述计算机可读代码被配置为使得在由合适的计算机或处理器执行时，使所述计算机或所述处理器执行如权利要求1-12中任一项所述的方法。

14.一种用于在解剖结构的图像中定位标记物的装置(100)，所述装置包括：

处理器(102)，其被配置为：

将第一标记物定位在第一图像中的解剖结构的特征上，并且将第二标记物定位在第二图像中的所述解剖结构的相同特征上；以及

在所述第一标记物下平移所述第一图像，以将所述第一标记物相对于所述第一图像中的所述解剖结构的特征的位置调整为与所述第二标记物相对于所述第二图像中的所述解剖结构的特征的位置相对应，其中，所述平移不调整所述第一标记物本身的位置。

15.如权利要求14所述的装置(100)，其中，所述处理器(102)被配置为：

控制用户接口(104)对具有所述第一标记物的平移后的第一图像和具有第二标记物的所述第二图像进行渲染；和/或

控制存储器(106)对具有所述第一标记物的所述平移后的第一图像和具有第二标记物的所述第二图像进行存储。