CN102656586B - 将采集的图像与对象相关联的方法和系统 - Google Patents

Abstract

公开了一种用于将采集的图像与对象相关联的系统。其包括：图像选择器（1），其用于从包括多个存储图像的数据库（5）中选择存储图像，所述数据库（5）包括所述存储图像（6）和感兴趣对象之间的关联（21）；图像扫描器（2），其用于在成像会话期间采集包括所述感兴趣对象的至少一部分的表示（10）的新图像（9）；用户接口（3），其用于使得用户能够在所述成像会话期间指示出所述新图像（9）将与所述感兴趣对象相关联；以及关联子系统（4），其用于在所述数据库中创建所述新图像（9）和所述感兴趣对象之间的关联（23）。所述用户接口（3）被布置为使得用户能够从与所述存储图像（6）相关联的多个感兴趣对象中选择所述感兴趣对象。

Description

将采集的图像与对象相关联的方法和系统

技术领域

本发明涉及将采集的图像与对象相关联。本发明还涉及将采集的图像与病变相关联。

背景技术

现今，乳腺癌诊断可基于多种成像模态（例如，乳房X线照相术、超声（US），和/或磁共振（MR））。通常，患者具有多于一处的病变，并且多个病变在单一的先前乳房X线照片或者MR检查中可能是可见的。当采集同一患者的另外的超声图像时，只存储超声图像的粗略位置信息，例如基于超声探头的位置。这一位置信息由健康护理专家手动录入。

US 2007/0036402A1公开了一种用于在受试者的医学图像中检测异常的系统。使用这一系统，获得乳房的乳房X线照相和超声图像以形成检查包(bundle)。在乳房X线照相图像中使用本领域技术人员已知的技术来识别候选肿块。通过识别超声图像中与在乳房X线照相图像中所识别出的任何候选肿块对应的区域或者多个区域，来建立乳房X线照相图像和超声图像之间的对应。

发明内容

具有一种将采集的图像与对象相关联的改进方式是有利的。为了解决这一关心问题，本发明的第一方面提供了一种系统包括：

-图像选择器，其用于从包括多个存储图像的数据库中选择存储图像，所述数据库包括所述存储图像和感兴趣对象之间的关联；

-图像扫描器，其用于在成像会话（session）期间采集包括所述感兴趣对象的至少一部分的表示的新图像；

-用户接口，其用于使得用户能够在所述成像会话期间指示出所述新图像将与所述感兴趣对象相关联；以及

-关联子系统，其用于在所述数据库中创建所述新图像和所述感兴趣对象之间的关联。

将图像与由该图像表示的感兴趣对象相关联的最佳时间可能是采集图像的时间，因为采集图像的人员在那一时刻知道该图像表示什么对象。如果稍后尝试着回顾性地做出关联，那么这可能要困难得多，因为在回顾性分析中可能不能获得新图像的关于存储图像的位置。在例如当图像扫描器是手持式设备，诸如超声探头或者手持式照相机的时候，情况可能是这样的。

用户接口可被布置为使得用户能够从与存储图像相关联的多个感兴趣对象中选择感兴趣对象。以这种方式，可能处理多个感兴趣对象与存储图像相关联的情况。

数据库可包括感兴趣对象和在存储图像中的感兴趣对象的位置之间的关联。这允许提供高级功能，例如通过将存储图像中感兴趣对象的指示可视化。

用户接口可被布置为使得用户能够通过在存储图像中指示感兴趣对象的位置来选择感兴趣对象。这是选择感兴趣对象的直观方式。

关联子系统可被布置为在数据库中存储感兴趣对象和在新图像中感兴趣对象的位置之间的关联。这允许提供关于新图像中感兴趣对象位置的更详细的信息。

用户接口可被布置为允许用户在新图像中指示感兴趣对象的位置。对于系统而言这是获得感兴趣对象位置的知识的有效方式。有了这一知识，该系统可创建感兴趣对象和其在新图像中位置之间的关联。

图像选择器可被布置为在采集新图像之前选择存储图像或者感兴趣对象。这使得该过程更加有效率，因为用户可以在图像采集期间主动地寻找相关感兴趣对象。

该系统可包括图形化子系统，其用于在包括采集新图像的时间和指示出该新图像将与感兴趣对象相关联的时间的时间间隔内显示存储图像。这使得用户更容易地在采集新图像的同时定位患者中的感兴趣对象。

用户接口可被至少部分地提供在图像扫描器上。这允许用户容易地指示出该图像与感兴趣对象相关联，因为用户已经在用图像扫描器工作。例 如，用户可经由图像扫描器指示出当前图像将与感兴趣对象关联。

存储图像和新图像可以是乳房图像，并且感兴趣对象可包括乳房病变。这是该系统的有用应用领域。

用于采集新图像的图像扫描器可包括超声扫描器。以这一方式，可将用手持式扫描器获得的图像适当地与相关的（一个或多个）感兴趣对象相关联。

该系统可包括医学工作站，并且图像选择器（1）、用户接口（3），和/或关联子系统（4）可至少部分地实现为被布置为在该医学工作站上运行的软件。这是该系统的一种有效的实现可能。

本发明的另一方面提供一种医学图像采集装置，其包括所阐明的系统。本发明的另一方面提供一种医学工作站，其包括所阐明的系统。

本发明的另一方面提供一种将采集的图像与对象相关联的方法，包括：

-从包括多个存储图像的数据库中选择存储图像，所述数据库包括所述存储图像和感兴趣对象之间的关联；

-在成像会话期间采集包括所述感兴趣对象的至少一部分的表示的新图像；

-使得用户能够在所述成像会话期间指示出所述新图像将与所述感兴趣对象相关联；以及

-在所述数据库中创建所述新图像和所述感兴趣对象之间的关联。

本发明的另一方面提供了一种计算机程序产品，其包括用于令处理器系统执行所阐明的方法的指令。

本领域技术人员将意识到可以以任意被认为是有用的方式来将以上提及实施例、实现方式、和/或本发明的方面中的两个或者更多个相组合。

本领域技术人员基于本描述可以实现对图像采集装置、工作站、系统和/或计算机程序产品的与所描述的系统的修改和变型对应的修改和变型。

本领域技术人员将意识到所述方法可应用于多维图像数据，例如二维（2-D）、三维（3-D）或者四维（4-D）图像，所述图像由各种采集模态例如但不限于标准X射线成像、计算机断层摄影（CT）、磁共振成像（MRI）、超声（US）、正电子发射断层摄影（PET）、单光子发射计算机断层摄影（SPECT）、以及核医学（NM）来采集。

附图说明

参照下文描述的实施例，本发明的这些和其他方面将是显而易见的并且将得到阐述。在图中，

图1是用于将采集的图像与对象相关联的系统的图解表示；

图2是用于将采集的图像与对象相关联的方法的图解表示；

图3图示了可表示关联的方式。

具体实施方式

图1以图解的方式图示了用于将采集的图像与对象相关联的系统的多个方面。当解释采集的图像时，这种关联可能是有帮助的。具体而言，在多个采集的图像中出现的对象可借助于这种关联被彼此链接。该系统可包括数据库5，该数据库5可包括图像和关联。替代地，该系统也可能包括用于与外部数据库通信的通信子系统。该系统可还包括用于从数据库5选择存储图像的图像选择器1。数据库5可在其中已经存储了存储图像6和感兴趣对象之间的关联21。

该系统可包括用于采集新图像9的图像扫描器2。这种新采集的图像可包括如新图像9中的位置10处所示的感兴趣对象的至少一部分的表示。在这一情况下，用户可指示该图像包括感兴趣对象的至少一部分的这一表示。为此，可提供用户接口3以使得用户能够指示该新图像9将与感兴趣对象相关联。用户接口3可被布置为允许用户在采集新图像9的成像会话期间做出这一指示，例如当患者仍然在那里并且用户可采集更多的图像时。

该系统可包括关联子系统4，其用于在数据库中创建新图像9和感兴趣对象之间的关联23。

应注意到在数据库5中可以用几种不同方式来表示关联。在图1中图示的关联的一种可能的表示包括表19。表19可具有对象标识符20，该对象标识符20可是随机标识符，或者替代地，是描述性文本标识符。然而，这种标识符是任选的并且可采取不同的形式。也可根据需要存储关于感兴趣对象的进一步信息。该表可还包括与图像和/或图像中位置的关联。这种关联可分别借助于图像的标识符，和/或坐标来表示。在表19中，左边的列 包括例如图像标识符形式的与图像的关联21、23，并且右边的列包括与相应的图像21、23中的位置的关联22、24。与位置的这些关联例如可包括图像坐标。关联的其他类型的表示也是可能的，例如使用针对图像或者针对图像的特定部分的存储器指针。图1中的虚线指示作为关联21、22、23、24的对象的图像和位置。例如，关联21提供感兴趣对象与图像6的关联，并且关联22（与关联21一起）提供感兴趣对象与图像6中位置8的关联。因此，关联子系统4可被布置为例如通过在表19中包括图像9的标识符而创建将新图像9与感兴趣对象相关联的关联23。

用户接口3可被布置为使得用户能够从与存储图像6相关联的多个感兴趣对象中选择感兴趣对象。例如，可获得与表19类似的多个表，每个表与不同的感兴趣对象相关。可能的是多于一个的这些表定义了与同一个存储图像6的关联。在这种情况下，用户接口3可允许选择与存储图像6相关联的这些感兴趣对象中的特定一个。这允许关联子系统创建新图像9和特定选择的感兴趣对象之间的关联。也可能使得用户能够选择将与新图像9相关联的多个对象。

数据库5也可包括感兴趣对象和存储图像中感兴趣对象的位置8之间的关联22。因此，用户接口可被布置为使得用户能够通过指示存储图像中感兴趣对象的位置8来选择该感兴趣对象。例如，当显示存储图像6时，可使得用户能够使用定位设备来将指针移动到位置8。

关联子系统4可被布置为在数据库5中存储感兴趣对象和新图像中感兴趣对象的位置10之间的关联24。用户接口可被布置为使得用户能够在新图像中以与指示位置8类似的方式来指示感兴趣对象的位置10。关联子系统4可被布置为包括如图1中相应虚线所指示的感兴趣对象和位置10之间的关联24。

图像选择器1可被布置为在采集新图像9之前选择存储图像6或者感兴趣对象。

该系统可包括用于显示存储图像6的图形化子系统14。例如，可在包括采集新图像的时间和指示该新图像9将与感兴趣对象相关联的时间的时间间隔内显示存储图像6。就是说，可选择并显示存储图像6。这一显示的图像可由用户在新图像采集期间用作参考。可显示存储图像至少直到已经 指示出新图像将与感兴趣对象相关联。

可至少部分在图像扫描器2上提供用户接口3。例如，可在图像扫描器上提供按钮以指示出哪一个新采集的图像将与感兴趣对象相关联。例如，可提供按钮使得用户能够指示出最后采集的图像是将与感兴趣对象相关联的新图像。同样，可在图像扫描器上提供控制以指示存储图像中和/或新图像中感兴趣对象的位置。

作为应用性例子，存储图像6和新图像9可是乳房图像。在这种情况下，感兴趣对象可包括乳房病变。

用于采集新图像的图像扫描器可包括超声扫描器。

该系统可至少部分地在具有图像扫描器的医学工作站中实现。例如，可提供具有监视器、键盘、以及鼠标的计算机终端。图像选择器、用户接口，和/或关联子系统可至少部分实现为安装在该医学工作站中的软件。该计算机终端与例如手持式超声设备的图像扫描器2连接，例如经由USB连接。用户接口3可至少部分实现在图像扫描器上。

图2图示了将采集的图像与对象相关联的方法的流程图。该方法可包括从包括多个存储图像的数据库中选择201存储图像6，该数据库包括存储图像6和感兴趣对象之间的关联21。该方法可还包括在成像会话期间采集202新图像9，该新图像9包括感兴趣对象的至少一部分的表示。该方法可还包括使得203用户能够在成像会话期间指示出该新图像9将与感兴趣对象相关联。该方法可还包括将该新图像和感兴趣对象之间的关联23存储204至数据库中。本领域技术人员鉴于本公开内容的可实现对该方法的变型和/或增加。可借助于包括计算机可读指令的计算机程序产品来至少部分实现该方法。

在下文中，将描述借助于除其他外的超声成像的乳房成像应用。然而，这是非限制性例子。其他应用是可能的。例如，脑部成像或者心脏成像也是可能的。其他成像模态也是可能的，例如MR或者X射线成像。

使用以上描述的系统，可能将当前在US上成像的病变链接至其在例如先前MR或者乳房X线照相图像上的外观。可以在US采集时建立这一链接，或者关联。以这种方式，可以减少错误的数量。

图形化子系统可被布置为将患者的先前乳房图像与US空间中各个病 变的结构性报告一起显示。例如，体绘制可用于显示患者的皮肤和病变。数据库5可包括针对每个所识别物理病变的唯一标识符20，其具有与先前图像以及在这些图像中示出病变的感兴趣区域的链接。用户接口3可被布置为使得用户能够选择数据库中的病变中的一个，例如，通过选择在一个或多个可获得的先前图像中的被成像的病变。关联子系统4可被布置为自动将新采集的超声图像与选择的感兴趣对象相链接。可在经由图像处理而获得的图像特征信息的帮助下创建这一自动关联。例如，病变检测器可用于帮助找出图像中作为感兴趣对象的病变的位置。替代地，可通过用户手动地或者半自动地指示该位置。

图3图示了可表示关联的替代方式。该图示出了两种类型的表，也即感兴趣对象表308和感兴趣对象图像表309。当感兴趣对象是病变时，这些表可分别被称为病变表和病变图像表。这种表表示计算机软件对象，其可被存储在数据库中。借助于标识符，这种计算机软件对象可相互参考以创建链接或者关联。可在数据库中提供更多类型的表，例如将感兴趣对象与患者链接的额外的表，包括导出的数据（分割和计算的特征）以及放射学和病理学结论。

在图3中图示的是感兴趣对象表308和感兴趣对象图像表309。感兴趣对象表308可具有标识符301以将表识别为感兴趣对象表。此外，感兴趣对象表308可具有唯一的感兴趣对象ID 302。由其唯一的感兴趣对象ID 302所识别的感兴趣对象表可表示现实世界中的感兴趣对象，例如患者中的特定病变。可在多个时间通过一个或多个成像模态（包括乳房X线照相术、MR、US）对每个感兴趣对象成像。针对示出感兴趣对象的每个图像，可创建感兴趣对象图像表309。感兴趣对象图像表309可借助于标识符303被识别为感兴趣对象图像表。同样，感兴趣对象图像表可具有唯一的感兴趣对象图像表ID 304。该感兴趣对象图像表309可借助于与相应感兴趣对象表308的链接而与现实世界中的感兴趣对象相关联。如305所图示地，这种链接可采取感兴趣对象ID 302的副本的形式。感兴趣对象图像表309可还包括图像标识符306以提供与示出感兴趣对象的图像（例如，存储图像或者新图像）的链接。这种图像标识符306可包括DICOM系列UID。可通过位置描述307或者感兴趣区域或者感兴趣体积来指定图像中病变的位置。例 如，可提供感兴趣对象的中心或者包括感兴趣对象的矩形的角的适当的图像坐标。其他感兴趣区域或体积的形状也是可能的，例如圆形、球形、或者椭圆形。

将新图像与之前存储图像中的感兴趣对象相关联的程序可包括以下步骤。

基于先前图像（例如，由其Dicom系列UID所识别的MR或者X射线图像），用户可选择感兴趣对象，例如通过点击病变体素（x_病变，y_病变，z_病变）。替代地，可使得用户能够直接从数据库（限于特定患者）选择感兴趣对象。然后可搜索感兴趣对象图像表以寻找具有正确图像标识符的表，并且其中位置307近似地对应于所指示的位置，或者其中所指示的位置被包含于感兴趣的区域/体积中。在感兴趣区域/体积重叠的情况下，这可通过要求用户选择包括该指示位置的感兴趣区域/体积之一来解决。

如果没有发现匹配的感兴趣对象图像表，那么可生成新的感兴趣对象表308，并且可生成相应的新的感兴趣对象图像表309，并且该表309借助于相同的感兴趣对象表ID 302、305来链接。为了这么做，可要求用户手动定义包含病变的VOI，或者校正或确认自动建议的VOI。

如以上描述而检索或者生成的感兴趣对象图像表包含感兴趣对象ID302，将采集的新图像将与该ID链接。

用户可执行US成像程序，寻找他已经在存储图像中指示的相同的感兴趣对象。

一旦已经生成了可接受的感兴趣对象的视图，那么存储所述图像。同时可生成新的感兴趣对象图像表309。这一新的感兴趣对象图像表309可包括新图像的图像标识符306（例如，DICOM系列UID）。可要求用户在新图像中指示包含感兴趣对象或者感兴趣对象位置的感兴趣区域/体积。这些位置数据307可被存储在新的感兴趣对象图像表309中。替代地，可使用自动对象检测算法以便自动地建议感兴趣区域。这种自动建议的感兴趣区域/体积可由用户确认或者自动地存储在新的感兴趣对象图像表309中。

任选地，可以并入额外的一致性核查。为此，可使用现有的分割算法来在先前图像中以及在新图像中自动地分割感兴趣对象。可基于在两个图像中的分割来测量或计算对象特征，例如对象尺寸。在结果之间的差异显 著的情况下（例如，大于20%），可警告用户，并且用户可以决定修正其决策。

将意识到的是本发明也适用于计算机程序，尤其是载体上或者载体内的适于实践本发明的计算机程序。该程序的形式可为源代码、目标代码、代码中间源以及例如部分编译形式的对象代码、或者适于在根据本发明方法的实现中使用的任何其他形式。也将意识到的是这种程序可具有很多不同的结构设计。例如，实现根据本发明方法或者系统的功能的程序代码可被再细分为一个或多个子例程。对本领域技术人员而言，将该功能分布于这些子例程之中的很多不同方式将是显而易见的。该子例程可被一起存储在一个可执行文件中以形成自包含程序。这种可执行文件可包括计算机可执行指令，例如处理器指令和/或解释器指令（例如，Java解释器指令）。替代地，子例程中的一个或多个或者所有可被存储在至少一个外部库文件中并且与主程序静态或者动态地链接，例如在运行时。该主程序包含对至少一个子例程的至少一个调用。该子例程也可包括对彼此的函数调用。与计算机程序产品相关的实施例包括与在本文中阐明的至少一个方法的每个处理步骤对应的计算机可执行指令。这些指令可被再细分为子例程和/或被存储在可静态或者动态链接的一个或多个的文件中。与计算机程序产品相关的另一实施例包括与在本文中阐明的至少一个系统和/或产品的每个装置对应的计算机可执行指令。这些指令可被再细分为子例程和/或被存储在可静态或者动态链接的一个或多个的文件中。

计算机程序的载体可是能够装载程序的任何实体或者设备。例如，该载体可包括存储介质诸如ROM，如CD ROM或者半导体ROM，或者磁记录介质，例如软盘或者硬盘。此外，该载体可是可传递载体，例如电或者光信号，其可经由电缆或者光缆或者通过无线电或者其他装置被传递。当程序被包含于这种信号中时，该载体可由这种线缆或者其他设备或装置组成。替代地，该载体可是其中嵌入有程序的集成电路，该集成电路适于执行相关方法，或者用于相关方法的执行。

应注意的是以上提及的实施例举例说明而不是限制本发明，并且本领域技术人员将能够不脱离所附权利要求的范围设计很多可选实施例。在权利要求中，放置在圆括号之间的任何附图标记不应被解释为限制权利要求。 动词“包括”及其变形的使用不排除除了在权利要求中声明那些之外的元件或步骤的存在。在元件之前的冠词“一”或“一个”不排除多个这种元件的存在。本发明可借助于包括几个截然不同元件的硬件来实现，以及借助于适当编程的计算机来实现。在列举若干装置的产品权利要求中，这些装置中的若干可以通过硬件的一个和相同项来具体实现。在相互不同的从属权利要求中陈述某些措施的这一仅有事实，并不表示不能将这些措施的组合加以利用。

Claims (14)

1.一种用于将采集的图像与对象相关联的系统，所述系统包括：

-图像选择器(1)，其用于从包括多个存储图像的数据库(5)中选择存储图像(6)，其中，所述数据库(5)包括所述存储图像(6)和在所述存储图像中示出的感兴趣对象之间的关联(21)；

-图像扫描器(2)，其用于在患者的成像会话期间采集包括所述感兴趣对象的至少一部分的表示的新图像(9)；

-用户接口(3)，其用于使得用户能够在所述患者的所述成像会话期间指示出所述新图像(9)将与所述感兴趣对象相关联，以使得关联子系统(4)能够在所述数据库中创建在所述新图像(9)与所述感兴趣对象之间的关联(23)，所述用户接口被至少部分地提供在所述图像扫描器上；以及

-所述关联子系统(4)，其用于根据所述用户的所述指示，在所述数据库中创建所述新图像(9)和所述感兴趣对象之间的所述关联(23)。

2.如权利要求1所述的系统，其中，所述用户接口(3)被布置为使得用户能够从与所述存储图像(6)相关联的多个感兴趣对象中选择所述感兴趣对象。

3.如权利要求1所述的系统，其中，所述数据库(5)包括所述感兴趣对象和所述存储图像中的所述感兴趣对象的位置(8)之间的关联(22)。

4.如权利要求3所述的系统，其中，所述用户接口被布置为使得用户能够通过在所述存储图像中指示所述感兴趣对象的所述位置(8)来选择所述感兴趣对象。

5.如权利要求1所述的系统，其中，所述关联子系统(4)被布置为在所述数据库(5)中存储所述感兴趣对象和所述新图像中的所述感兴趣对象的位置(10)之间的关联(24)。

6.如权利要求5所述的系统，其中，所述用户接口被布置为使得用户能够在所述新图像中指示所述感兴趣对象的所述位置(10)。

7.如权利要求1或2所述的系统，其中，所述图像选择器(1)被布置为在采集所述新图像(9)之前选择所述存储图像(6)或者所述感兴趣对象。

8.如权利要求1所述的系统，还包括图形化子系统(14)，其用于在包括采集所述新图像的时间和指示出所述新图像(9)将与所述感兴趣对象相关联的时间的时间间隔内显示所述存储图像(6)。

9.如权利要求1所述的系统，其中，所述图像扫描器包括所述用户接口(3)。

10.如权利要求1所述的系统，其中，所述存储图像(6)和所述新图像(9)是乳房图像，并且所述感兴趣对象包括乳房病变。

11.如权利要求1所述的系统，其中，所述图像扫描器(2)包括超声扫描器。

12.如权利要求1所述的系统，包括医学工作站，并且其中，所述图像选择器(1)、所述用户接口(3)和/或所述关联子系统(4)至少部分地实现为被布置为在所述医学工作站上运行的软件。

13.一种医学图像采集装置，包括如权利要求1所述的系统。

14.一种将采集的图像与对象相关联的方法，所述方法包括：

-从包括多个存储图像的数据库中选择(201)存储图像(6)，所述数据库包括所述存储图像(6)和在所述存储图像中示出的感兴趣对象之间的关联(21)；

-在患者的成像会话期间使用图像扫描器来采集(202)包括所述感兴趣对象的至少一部分的表示的新图像(9)；

-使得(203)用户能够在所述患者的所述成像会话期间使用所述图像扫描器指示出所述新图像(9)将与所述感兴趣对象相关联，以使得能够在所述数据库中创建在所述新图像(9)与所述感兴趣对象之间的关联(23)；以及

-根据所述用户的所述指示，在所述数据库中创建(204)所述新图像(9)和所述感兴趣对象之间的所述关联(23)。