CN101896912A - 一系列图像中的导航 - Google Patents

Abstract

本发明涉及一种在一系列相关图像中导航的方法，该方法包括步骤：创建并存储一个或多个导航实体，每个导航实体与在该系列相关图像中的一个或多个图像中描绘的对象相关；以及借助于所述导航实体促进在所述系列相关图像内的导航；其中，基于对在所述一个或多个图像中描绘的对象的分割并基于对所分割的对象的识别而创建每个导航实体。这提供了在例如医学图像的一大组相关图像内的用户友好且快速的导航。此外，本发明涉及对应的设备和计算机程序产品。

Description

一系列图像中的导航

技术领域

本发明涉及在一系列相关图像中的导航，特别是在一系列医学图像中的导航。

背景技术

一种检查包括图像的大的数据集的常见方式是从存储装置加载数据集并相继地显示图像。通过在大量图像中滚动而找到数据集内的感兴趣图像。这是一个费时且繁琐的任务，该任务包括导航至(多个)感兴趣图像以便观察感兴趣区域。当检查大的数据集时，可得到很少的帮助或辅助来使得更容易或更快速地找到(多个)感兴趣图像。

专利US 7 212 661 B2描述了一种用于基于一系列相关图像而生成导航侦察图像的技术。可以通过审查导航图像来访问一个或多个相关图像。导航图像是从来自大的图像数据集的相关图像中选取的样本图像。该技术旨在促进对图像系列中的特定的图像的识别。

发明内容

本发明的目的是改进在一系列相关图像中的导航。

特别地，可以看作本发明的目的的是提供用于在一系列相关图像中的快速且容易的导航的方法、系统和计算机程序产品。

在第一方面，本发明提供一种在一系列相关图像中导航的方法，该方法包括步骤：创建并存储一个或多个导航实体，每个导航实体与在该系列相关图像中的一个或多个相关图像中描绘的对象相关；以及借助于所述导航实体促进在所述系列相关图像内的导航；其中，基于对在所述一个或多个相关图像中描绘的对象的分割并基于对所分割的对象的识别而创建每个导航实体。

本发明的方法提供了通过对对象的分割和通过对所分割的对象的识别而创建的导航实体；导航实体被用于在该系列图像内的用户友好且快速的导航。所分割和识别的对象向用户提供导航至感兴趣图像的直观的或直接的手段。

导航实体可以与该系列相关图像存储在一起，即存储在相同的存储装置中，并且任选地与其交织。相关图像可以是形成一系列图像的受试者图像，使得一个或多个相关图像中所描绘的对象可以是该系列图像中的一个或多个连续的图像中所描绘的对象。术语“相关图像”意在表示彼此相关的图像，诸如一个受试者的不同图像。当图像在它们是有序的意义上是序贯的时，例如作为沿着受试者的轴取得的图像，术语“连续的图像”意在描述通过采集以形成该系列图像的在空间上有序的图像。

应当注意到，该方法还可以包括采集系列相关图像和/或分割图像数据的先前步骤。导航实体的创建可以与图像的采集同时执行，或者可以在该系列相关图像的采集结束之后执行。

术语分割涉及将数字图像划分成多个区域的过程。分割的目标是将图像的表示简化和/或改变为更有意义且更容易分析的事物。图像分割典型地用于在图像中定位对象和边界(线、曲线等)，以便将感兴趣对象彼此分离并且将感兴趣对象与背景分离。

图像分割的结果可以是共同地覆盖整个图像的一组区域或从图像提取的一组轮廓。区域中的每个体素关于诸如颜色、强度或纹理的某一特性或计算性质而相似。相邻的区域关于(多个)相同的特性而显著不同。

在医学成像中，图像分割的使用的典型示例是：定位肿瘤和其他病理、测量组织体积、计算机引导的手术、诊断、治疗计划、对解剖结构的研究。

分割方法的范围是已知的。可以使用允许随后的对对象的识别的任何适当的分割方法。例如，可以从下列常见分割方法中选择这样的适当的分割方法：

-阈值化，其中基于低于或高于某一阈值的每个图像元素(像素或体素)的值而划分图像。为了将图像划分在多于两个图像元素子集中，可以应用多个阈值。图像元素的值也可以是经处理的值，例如并非原始测量的值，而是从该值导出的另一个值。在该分割方法中，阈值化是点运算，其中对于阈值化运算，仅图像元素的值本身确定元素是否落入一个分区或另一个分区中；

-基于纹理的分割，其中图像的每个元素具有分配给该元素的若干个值。因而，每个图像元素代表多维空间中的位置，其中维数与每个图像元素的值的数量匹配。这些值可以代表图像的许多不同的方面，如亮度、颜色、梯度、统计测量值等。这种情况下的分割通常被称为分类，并且通过分离多维空间中的点云或使用聚类方法来分组那些点而执行；

-基于边缘或表面的分割。该分割方法识别代表图像中的以某种方式不同的那些区域之间的过渡的图像中的位置。通常计算分配给图像元素的特征的梯度，例如像素或体素的强度的梯度，并且，该梯度的高值指示形成区域之间的边界的边缘或表面的位置；

-基于区域的分割。该分割方法旨在在关于图像元素的某一(某些)特征的相似度的基础上识别多组图像元素。对多组图像元素的识别常常实现为区域生长过程，其中从一位置或小的区域开始，如果与该区域相邻的图像元素满足对该区域的某个相似准则，则将与该图像元素添加至该区域。因而，该区域生长，直到不再有相邻的元素满足该准则为止。

上面所提到的分割方法仅仅是分割技术的几个示例，应当理解，可以使用任何适当的其他分割方法。

根据本发明的一方面，每个导航实体包括要显示的第一导航部分，和第二导航部分，该第二导航部分包括对该系列相关图像内的图像的参考。据此，提供用于在包括该对象的感兴趣区域的系列图像内快速地导航的手段，其中在要显示的第一导航部分和该系列图像内的特定的图像之间创建参考和关联。

根据另一方面，通过在显示器上显示导航实体的第一导航部分、提供用于让用户选择该第一导航部分的装置并且在用户选择了该导航实体的第一导航部分时显示导航实体的第二导航部分所参考的图像而促进导航。因而，通过选择导航实体的第一导航部分，用户可能能够观察与第一导航部分相对应的该系列相关图像中的图像。因此，促进了不同感兴趣图像之间的容易切换或不同感兴趣图像中的导航，特别是在选择了对于图像中描绘或示出的对象适当的许多导航实体时。

根据本发明的一方面，该导航实体的第一导航部分包括代表所识别的对象的图像、代表所识别的对象的图标和/或关键词。这提供了对象识别的用户友好的呈现，从而提供了用户友好的用户接口。

根据另一方面，该导航实体的第一导航部分是来自以减小的尺寸和/或降低的分辨率示出的该系列相关图像的图像。在这种情况下，第二导航部分应当包括对该系列图像中的全分辨率和全尺寸的对应图像的参考，从而如果用户选择了减小的图像，则可以显示全分辨率和全尺寸的图像。应当注意到，术语“减小的图像”意在表示来自以减小的尺寸和/或降低的分辨率示出的该系列相关图像的图像。以减小的图像的形式的导航实体可以与以全尺寸和全分辨率的图像一起在显示器上示出。

根据一方面，该系列相关图像可以从第二导航部分所参考的图像开始序贯地显示。因而，通过选择导航实体或导航实体的第一导航部分，用户可能能够观察与导航实体对应的该系列相关图像中的图像，并且他或她可以继续观察该系列相关图像中的随后的图像或先前的图像。因此，促进了不同感兴趣图像之间的容易切换或不同感兴趣图像中的导航。图像“第二导航部分所参考的图像”意在表示第二导航部分所引用的该系列相关图像内的图像。

根据本发明的一方面，该系列相关图像包括通过扫描受试者而获得的医学图像，并且其中，该系列相关图像中的每个图像代表在穿过受试者的切片中采集的数据。例如可以通过计算机断层摄影(CT)、磁共振成像(MRI)、超声(US)或正电子发射断层摄影(PET)而获得医学图像。典型地，受试者是人体或动物体，并且所识别的对象包括该人体或动物体的器官。在这种情况下，相关图像形成描绘身体切片的图像序列。典型地，将创建数百乃至数千个人体图像，以便由临床医生审查以识别可能的感兴趣特征。

根据又一方面，本发明涉及一种用于在一系列图像中导航的设备，包括：处理器装置，其用于创建导航实体，每个导航实体与在该系列相关图像中的一个或多个图像中描绘的对象相关；存储器装置，其用于存储由处理器装置创建的导航实体；用户接口装置，其借助于该导航实体促进在该系列图像内的导航；其中，该处理器装置布置为用于基于对在一个或多个图像中描绘的对象的分割并基于对所分割的对象的识别而创建每个导航实体。该设备具有与上面关于该方法而描述的优点和附加方面相似的优点和附加方面。

根据又一方面，本发明涉及一种计算机程序产品，其用于在被计算机执行时执行本发明的方法的步骤。

本发明的单独的方面均可以与任何其他方面相组合。本发明的这些及其他方面将从关于所述实施例的下列描述中显而易见。

附图说明

现在将关于附图更详细地描述根据本发明的方法和设备。这些图示出实现本发明的一种方式，并且不应被解释为限于落在随附的权利要求的范围内的其他可能的实施例。在附图中，相似的参考数字表示相似的元件。

图1是根据本发明的方法的流程图；

图2是根据本发明的设备的图解；

图3和4示出了根据本发明的设备的显示装置的不同布局；

图5a-5c和6a-6b示出了显示医学图像的显示装置的示例。

具体实施方式

图1是根据本发明的方法10的流程图。该方法在步骤11开始。在一系列图像的采集之后执行方法10，或者与一系列图像的采集同时执行方法10。在附图的示例中，图像是医学图像。可以例如使用计算机断层摄影(CT)、磁共振成像(MRI)、超声(US)以及正电子发射断层摄影(PET)获得这样的图像。典型地，采集大量图像，这些图像可以由临床医生或放射学家审查，以识别可能的感兴趣特征。在医学背景下，这些特征可以包括解剖区域、组织、器官、可以指示疾病状态的异常。

方法10在步骤12继续，其中执行对在一个或多个相关图像内的图像中描绘的对象的分割。该分割可以是允许随后的对诸如器官的对象的识别的任何适当的分割。

随后，方法10在步骤14继续，其中识别所分割的对象。因而，步骤14可以包括分析所分割的对象并将其与预定义的对象比较。对对象的识别可以导致包括第一导航部分和第二导航部分的导航实体的创建。例如以用户可以通过与设备的用户接口交互而选择第一导航部分的方式在设备的显示器中对用户显示第一导航部分。导航实体的对应的第二导航部分包括对该系列图像内的图像的参考，例如该系列图像中的书签、指针等。据此，促进了对该系列图像内的被添加书签或参考的图像的快速访问。

典型地，可以在连续的图像的范围中描绘对象。在该情况下，可以选择连续的图像的范围内的图像之一作为导航实体的第二导航部分所参考的图像；如以下所解释的，导航实体可以实现对该被添加书签的图像的快速访问。导航实体可以是图标、关键词或一段文本或者以减小的尺寸和/或降低的分辨率示出的该系列相关图像中的图像之一。

在下一个步骤——步骤16中，借助于(多个)导航实体而促进该系列图像内的导航。如上面所解释的，导航实体的创建包括第二导航部分的提供，第二导航部分是指针、书签或对该系列相关图像内的适当的图像的参考。借助于这样的指针、书签或参考而提供数据或图像集中的导航是公知的。

方法10以步骤17结束。

图2是用于在一系列图像中导航的根据本发明的设备20的图解。该设备包括在功能上连接至用于显示图像的显示器22、存储器26和用户接口28的处理器24。该设备还包括在功能上连接至存储器26的用于接收图像的输入27。用户接口28还可以在功能上连接至显示器22。该设备可以包括其他已知的装置；然而，为了简化，仅描述必要的特征以便理解本发明。

在经由输入27接收图像时，可以将图像加载到存储器26中。处理器24可以分割并识别一个或多个图像中所存在的对象，以便创建导航实体。每个导航实体包括要在该设备的显示器22中显示的第一导航部分，以便允许用户对其进行选择。每个导航实体还包括第二导航部分，该第二导航部分包括指针、参考、对该系列相关图像内的图像的关联或书签，或者该系列相关图像内的书签。在诸如来自对人体的CT扫描的图像的医学图像的情况下，图像与穿过身体的切片相对应。可以在连续的或以其他方式相关的图像的范围中描绘诸如肝、脾、心脏、肺等的身体器官。处理器24可以分割图像中所描绘的对象并识别所分割的对象，例如人体器官。典型地，人体器官将出现在与许多穿过该器官的切片相对应的许多连续的或以其他方式相关的图像中。处理器24可以布置为用于在许多图像之中选择或选取一个图像作为参考或相关联的图像或被添加书签的图像。如果器官例如出现在N个连续的图像中，则处理器24可以选择中间的图像——即序号为N/2或(N+1)/2的图像作为参考图像或被添加书签的图像。在该示例中，参考图像是一组N个图像的中间的图像。然而，参考图像不必在对象的中间或接近中间。代替地，参考图像可以在特别能代表该对象的切穿该对象的位置处。可替代地或另外地，参考图像可以是穿过对象的重心的图像，根据对象的形状，该图像可能远离中间。可替代地，如果可以自动地或交互地检测所分割的对象中的视觉上感兴趣的位置，例如作为分割过程的一部分，则参考图像的位置可能与例如中心线或对称轴的特殊类型对象的某一特定形状特征相关。

第一导航部分可以单独地或与来自该系列相关图像的一个或多个图像一同在显示器22中示出。典型地，显示器22被分成两个或更多个显示区，其中，来自该系列相关图像的图像可以在一个显示区中示出，而第一导航部分可以在另一个显示区中示出。然而，这些显示区可以被覆盖，或者一个显示区可以嵌入另一个显示区中。

此外，设备20包括用户接口。用户接口可以包括键盘或诸如与在显示器上示出的显示单元相关联的鼠标的其他导航装置。用户接口可以使用户能够通过例如以点击鼠标来加亮或选择导航实体而在该系列图像中导航。

设备20可以集成在诸如CT扫描器、PET扫描器等的用于采集医学图像的设备中，集成在用于显示由采集设备获得的图像的设备中，或者，设备20可以作为独立的设备而实现。在该设备被集成在用于显示由采集设备获得的图像的设备中的情况下，设备20的显示器可以是用于显示图像的设备的显示器。

术语“参考图像”、“相关联的图像”以及“被添加书签的图像”意在是同义的，并且涉及参考、指针或书签所引用的该系列相关图像内的图像。

图3和4示出了根据本发明的设备的显示器22的不同的布局。图3的显示器22包括第一显示装置30和第二显示装置40。典型地，第一显示装置30和第二显示装置40是分配为显示不同项目的显示器22的不同部分。然而，还可想到，第一显示装置30和第二显示装置40是分离的显示装置。第一显示装置或第一显示部分30布置为用于显示导航实体的第一导航部分。这样的第一导航部分可以是代表所识别的对象的图像、图标、关键词或其组合。第二显示部分40布置为用于示出来自该系列图像的图像42。

当在来自连续的图像的范围的图像中描绘或示出对象时，可以选择该范围中的图像之一作为导航实体的第二导航部分所引用的图像。以减小的尺寸和/或降低的分辨率的这一被参考的图像可以是导航实体的第一导航部分。

在图3中，示出了四个第一导航部分31-34。当然，可以在第一显示部分30中示出任何适当数量的第一导航部分。第一导航部分的这一数量可以取决于显示部分30的尺寸、该系列图像中感兴趣对象的数量、第一导航部分的尺寸等。

如上面所描述的，每个导航实体包括第一和第二导航部分。第一导航部分是与该系列相关图像中的图像相对应的图像、文本、图标或其组合，而第二导航部分是指向该系列相关图像中的所述对应的图像的参考、指针或书签。因而，当用户选择第一显示部分30中的第一导航部分31-34之一时，设备20(参见图2)使用对应的第二导航部分以找到存储器26(参见图2)中的对应的图像，以便在显示器22的第二显示部分40中显示该图像。从而，获得该系列相关图像内的用户友好的导航。

图4示出了根据本发明的设备的显示器22的可替代的布局。在图4中，显示器22的上部分构成第一显示部分30。在该第一显示部分30中，示出了许多关键词35-39。第二显示部分40构成显示器22的剩余部分。

图5a-5c示出了显示医学图像的显示器22的示例。图5a示出了与图3相对应的显示器22的布局。在第一显示装置30中，示出了四个第一导航部分31-34，并且，在第二显示装置40中，示出了图像42。图像42与上部的第一导航部分31相对应。在较低的第一导航部分32内，示出了白色箭头，并且，加亮较低的第一导航部分32的边界。这是示出用户已加亮较低的第一导航部分32的一个示例。如果用户选择较低的第一导航部分32，则对应的图像将在显示部分40中示出，代替与上部的第一导航部分31相对应的图像。

图5b示出了与图4相对应的显示器22的布局。在第一显示装置30中，示出了五个关键词35-39，并且，在第二显示装置40中，示出了图像42。如果用户选择了第一导航部分35-39之一，则将在显示部分40中示出对应的图像。图5c示出了显示装置的可替代的布局。在图5c中，第一显示装置30是显示器22的右上角的相对较小的方形部分。在该情况下，第一显示装置30嵌入第二显示装置40内或归并在第二显示装置40中。

第一显示装置30示出了第一导航部分，即四个关键词35-38，同时，第二显示装置40示出了图像42。再次，如果用户选择了第一导航部分35-38之一，则将在第二显示装置40中显示与所选择的关键词35-38相对应的图像。在第一显示装置30中示出白色箭头，从而指示布置为用于让用户选择关键词35-38之一以便激活与所选择的关键词相对应的图像在第二显示装置40中的显示的用户界面的一部分。

图6a和6b示出了具有在图5c中示出的布局的显示器22的两个图片。在图6a中，在第二显示装置40中显示图片42a。如在图5c中，还示出了包括四个关键词的第一显示装置30。在第一显示装置30的内部示出了白色箭头50，从而指示布置为用于让用户选择第一显示装置30内的关键词之一的用户界面。可以看到，箭头所指向的关键词是“脾”。图6b示出了用户选择关键词“脾”之后的显示器22。在图6b中，在显示器22的第二显示装置40中示出了可以在其中看到脾的图片。

本发明可以借助于硬件、软件、固件或这些的任意组合来实现。本发明或本发明的某些特征还可以实现为在一个或多个数据处理器和/或数字信号处理器上运行的软件或在诸如用于计算机断层摄影(CT)、磁共振成像(MRI)、超声(US)或正电子发射断层摄影(PET)的设备的用于获得医学图像或数据的设备中运行的软件。

本发明的实施例的各个元件可以以任何适当的方式物理地、在功能上且逻辑地实现，诸如在单个单元中、在多个单元中或作为分离的功能单元的一部分。本发明可以在单个单元中实现或者物理地且在功能上分布在不同的单元和处理器之间。

尽管已关于特定实施例描述了本发明，但本发明不应当被解释为以任何方式限于所呈现的示例。要按照随附的权利要求来解释本发明的范围。在权利要求的背景下，术语“包括”并不排除其他可能的元件或步骤。同样，诸如“一”或“一个”等指示词的提及不应当解释为排除多个。权利要求中的关于图中所指示的元件的参考标记的使用也不应当被解释为限制本发明的范围。而且，不同的权利要求中所提及的各个特征可以有利地进行组合；并且，在不同的权利要求中提及这些特征并不排除特征的组合是可能的和有利的。

Claims (10)

1.一种在一系列相关图像中导航的方法(10)，包括步骤：

-创建并存储一个或多个导航实体，每个导航实体与在所述系列相关图像中的一个或多个图像中描绘的对象相关；以及

-借助于所述导航实体促进在所述系列相关图像内的导航；

其中，基于对在所述一个或多个图像中描绘的所述对象的分割并基于对所分割的对象的识别而创建每个导航实体。

2.如权利要求1所述的方法，其中，每个导航实体包括要在显示器(22)上显示的第一导航部分，和第二导航部分，所述第二导航部分包括对所述系列相关图像内的图像的参考。

3.如权利要求1或2所述的方法，其中，通过在所述显示器(22)上显示所述导航实体的所述第一导航部分、提供用于让用户选择所述第一导航部分的装置并且在所述用户选择了所述导航实体的所述第一导航部分时显示所述导航实体的所述第二导航部分所参考的图像而促进导航。

4.如权利要求2或3所述的方法，其中，所述导航实体的所述第一导航部分包括代表所述对象的图像(31、32、33、34)、代表所识别的对象的图标和/或关键词(35、36、37、38、39)。

5.如权利要求2至4中任一项所述的方法，其中，所述导航实体的所述第一导航部分是来自以减小的尺寸和/或降低的分辨率示出的所述系列相关图像的图像。

6.如权利要求2至5中任一项所述的方法，其中，所述系列相关图像中的图像从所述第二导航部分所参考的图像开始序贯地显示。

7.如权利要求1至6中任一项所述的方法，其中，所述系列相关图像包括通过对受试者的扫描而获得的医学图像，并且其中，所述系列相关图像中的每个图像代表在穿过所述受试者的切片中采集的数据。

8.一种用于在一系列相关图像中导航的设备(20)，包括：

-处理器装置(24)，其用于创建导航实体，每个导航实体与在所述系列相关图像中的一个或多个图像中描绘的对象相关；

-存储器装置(26)，其用于存储由所述处理器装置创建的导航实体；

-用户接口装置，其借助于所述导航实体促进在所述系列图像内的导航；

其中，所述处理器装置(24)布置为用于基于对在所述一个或多个图像中描绘的所述对象的分割并基于对所分割的对象的识别而创建每个导航实体。

9.如权利要求9所述的设备，其中，所述用户接口装置包括用于显示所述导航实体的第一导航部分的第一显示装置(30)、用于让用户选择所述第一导航部分的装置以及用于在所述用户选择了所述导航实体的所述第一导航部分时显示所述导航实体的第二导航部分所参考的图像的第二显示装置(40)。

10.一种计算机程序产品，其用于在被计算机执行时执行如权利要求1至7中任一项所述的方法的步骤。

Images