CN101896939A - 标记被分割对象 - Google Patents

Abstract

本发明具有提供适合于完整的医学报告的标记方法的超过现有技术的优点。在一方面中，本发明提供直观视觉手动标记、基于解剖、反馈以交互地改进分割的简单导航以及基于解剖教材知识和已提供的手动标记的自动标记。

Description

标记被分割对象

技术领域

本发明通常涉及解剖树状结构的分割和建模的领域。更具体地，本发明涉及拖放树标记和导航。

背景技术

标记、即将解剖教材信息与被分割对象匹配对于完整的医学报告而言是很关键的，但是由于时间约束而经常以特定的方式手动地执行，或者自动地执行，在自动执行的情况下，当呈现出非标准的解剖或者坏的或不常见的扫描时标记经常失败。

当前的图像处理工作站和图片存档及通信系统(PAC)为诸如血管的树状结构提供所有种类的分割工具。这些分割工具利用诸如区域生长的技术，包括和排除种子策略、阈值以及统计学习或基于模型的学习。除了分割工具和方法之外，还存在对基于诸如图谱的解剖参考模型的自动标记的某些尝试。

图1图解说明组合的树分割和支气管树的图谱的示例。图1的左边部分显示支气管树的分割。图1的右边部分显示具有支气管气道树的命名的图谱。

目前，甚至在分割工具适当地工作时，标记任务也很难，因为“正常解剖”结构中的多样性可能非常大。在错过树分割的情况下，甚至更难执行自动标记，该情况是对具有梗阻的树的分析中的情况。自动标记还要求被分割的树结构以“解剖学”方式呈现。分割工具经常在标准图状的结构中提供小的分支。解剖学上，存在主分支和起源于主分支的若干子分支。标记或解剖名称属于可以由所检测的图中的若干个分支水平组成的主分支。

当前的解决方案是特定的或自动的。在特定的解决方案中，并不标记所有地方，而是仅标记两个或三个地方，因为标记花费时间，并且对于这些任务而言，用户常常具有有限的时间。这是指例如分割仅在狭窄的区域附近执行而不是应用于整个血管，在该分割之后执行对小区域的手动标记。

在某些当前手动的标记技术中，可以选择通过分割工具找到的路径，并且可以从列表指定名称。一旦选定，该名称就从列表消失。

在非标准的解剖和/或坏的或不常见的扫描中，自动标记常常失败，在该情况下不提供简单校正。

因此，改进的标记方法、装置、图形用户界面、计算机可读介质以及使用是有利的，允许提高的灵活性和成本效益。

发明内容

因此，本发明优选试图单独地或以任何组合缓解、减轻或消除上面所识别的本领域中的缺陷以及缺点中的一个或多个，并且通过提供根据所附专利权利要求书的方法、装置、图形用户界面、计算机可读介质及使用来解决上面所提到的问题。

在本发明的一方面中，提供一种标记包括图像数据的被分割对象的方法。该方法包括利用指点设备在包括一组标记的图像中选择标记。此外，该方法包括利用指点设备来选择被分割对象的要定位标记的部分。而且，该方法包括利用标记来标记被分割对象的部分，从而得到带标记的被分割对象。

根据本发明的另一方面，提供一种利用包括图像数据的带标记的被分割对象来更新图像的方法。该方法包括利用指点设备来选择带标记的被分割对象的部分。此外，该方法包括利用指点设备在包括一组标记的图像中选择标记。而且，该方法包括利用被分割对象的部分来更新图像中的标记，从而得到被更新的图像。

在又一方面中，提供一种用于标记包括图像数据的被分割对象的装置。该装置包括指点设备，该指点设备配置为在包括一组标记的图像中选择标记，并且选择被分割对象的要定位标记的部分。该装置还包括单元，该单元配置为通过利用指点设备从图像拖动标记并将该标记放在被分割对象的部分而利用标记来标记被分割对象的部分，从而得到带标记的被分割对象。

在本发明的另一方面中，提供一种计算机可读介质，在其上收录有用于标记包括图像数据的被分割对象并且用于由处理器处理的计算机程序。计算机程序包括用于利用指点设备在包括一组标记的图像中选择标记的代码段。此外，计算机程序包括用于利用指点设备来选择包括图像数据的被分割对象的要定位标记的部分的代码段。而且，计算机程序包括用于利用标记来标记被分割对象的部分从而得到带标记的被分割对象的代码段。

在本发明的另一方面中，提供一种图形用户界面，并且，该图形用户界面配置为执行根据某些实施例的方法。

在本发明的又一方面，提供根据某些实施例的方法的使用，用于促进在包括患者的图像数据的被分割对象中诊断疾病或障碍。

在另一方面，提供包括根据某些实施例的装置的工作站。

根据某些实施例，提供一种适合于完整的医学报告的简单的手动标记方法。

在一个方面，本发明提供直观视觉手动标记、基于解剖、反馈以交互地改进分割的简单导航以及基于教材知识和已经提供的手动标记的自动标记。

根据某些实施例的方法提供对交互式分割、重新分割以及分割的编辑的帮助。而且，根据某些实施例的方法提供内容感知导航，内容感知导航是指基于解剖教材标记的简单的导航。

附图说明

根据本发明的实施例的下列描述，对附图进行参考，本发明能够实现的这些及其他方面、特征及优点变得显而易见并得以阐明，其中：

图1是显示组合的树分割和支气管树的图谱的示例的图解说明；

图2是利用被分割对象和解剖教材的根据实施例的手动标记的图解说明；

图3是显示根据实施例的方法的流程图；

图4是根据实施例的装置的框图；以及

图5是根据实施例的计算机程序的框图。

具体实施方式

为了使本领域技术人员能够执行本发明，以下将关于附图更详细地描述本发明的若干个实施例。然而，本发明可以具体表现为许多不同的形式，并且不应当被解释为限于本文所阐述的实施例。更确切地说，提供这些实施例，以使本公开将是彻底的且完整的，并且将本发明的范围完全传达给本领域技术人员。实施例并不限制本发明，但本发明仅受到所附专利权利要求书的限制。而且，附图中图解说明的特定实施例的详细描述中所使用的术语并不意在限制本发明。

下列描述聚焦于可应用于解剖图像中所包括的树状解剖结构的标记的本发明的实施例，该解剖结构例如是使用例如X射线、计算机断层摄影、磁共振成像或超声成像来构建的2D或3D患者数据图像。

然而，将意识到，本发明不限于树状解剖结构，而是可以应用于期望标记，即将解剖教材信息匹配至被分割对象的任何结构。

本发明的主要思想是提供一种标记诸如血管树的被分割对象的方法。在实施例中，用户可以在图像中选择标记，将该标记拖至被分割对象的一部分，从而选择该部分，并且，将标记放在该部分。可替代地，用户可以在图像中选择该标记，选择被分割对象的该部分，并且，系统可以布置为将所选择的标记放在所选择的部分处。在实施例中，用户可以选择适合于报告当前的分割&分析任务的发现的报告模板。这些医学报告常常包含所研究的解剖的“教材”图像。在考虑中的所研究的解剖中，解剖图像可以例如包含诸如血管的解剖对象的解剖名称。解剖名称可以定义为解剖图像中的标记。解剖图像可以用于标记在分割期间找到的狭窄区域或别的异常区域的区域。紧邻解剖图像，显示器可以用于显示例如诸如血管树的解剖树状结构的被分割对象的绘制。该绘制可是被分割体积的3D绘制，诸如最大强度投影或体积绘制、或者3D曲面MIP或仅仅被分割的血管树的例如具有线表示的3D图形。对被分割的树的可视化的唯一要求是足够的解剖背景是可视的，从而用户可以识别血管。在下列标记步骤中，用户可以拖动与解剖图像的某个部分对应的标记并将该标记放到被分割对象的一部分上，反之亦然。例如，被分割对象的每个部分可以例如定义两个分叉之间的一部分血管。

通过将与解剖图像的某个部分对应的标记放到被分割的图像的对应的部分上，可以标记被分割对象的整个部分。这是指不仅标记被分割对象的实际的放置位置，而且还将标记被分割对象的整个部分，诸如血管部分。因此，遍及本说明书，通过标记是指对被分割对象的已被分割的部分进行注释，从而被分割的部分与例如血管的解剖名称对应。

解剖教材标记可以用于被分割对象的多于一个部分，诸如血管段。这可以是例如当被分割对象包括与解剖图像相比的异常的情况或一个解剖结构被分割成若干个子分割部分的情况。以该方式，被分割对象的若干个部分可以与解剖教材中的仅仅一个标记对应。

图2图解说明了被分割对象和解剖图像，其中，被分割对象中的标记和解剖图像之间的对应用箭头表示。此外，图2图解说明了在本方法的实施例中如何可以将被分割对象的一部分拖放到解剖教材的标记上，以便手动地标记被分割对象的部分。

遍及该说明书，要意识到，术语“图像”或“解剖图像”作为诸如解剖教材中的图像或解剖图谱中的图像的参考图像。解剖图像可以是图解图像。术语“图像数据”理解为例如使用磁共振成像等采集的患者的解剖结构的图像数据。

在实施例中，根据图3，提供一种标记在第一窗口中显示的被分割对象的方法。本方法包括在包括一组标记的图像中选择31标记。本方法还可以包括选择32被分割对象的要定位标记的部分。而且，本方法可以包括利用标记来标记33被分割对象，从而得到带标记的被分割对象。

在实施例中，通过点击标记、使用指点设备来执行标记的选择，并且通过将标记拖放到位置处、使用指点设备来执行位置的选择。本方法的优点是所提供的带标记的被分割对象包括可以用于指出解剖图像和解剖结构的被分割对象之间的相似性的信息。

自动标记

根据某些实施例，本方法的优点是本方法使得能够对已标记的地标附近的未标记的地标进行自动标记。

在某些实施例中，可以利用自动标记技术，基于被分割对象的已手动标记的部分而将解剖教材的标记与被分割对象的不同的部分匹配。因此，因而可以利用手动输入的标记来促进自动标记过程。

根据某些实施例的本方法不限于自动标记技术的任何特定的选择。更确切地说，可以使用任何已知的自动标记技术，只要该自动标记技术配置为利用被分割对象的已被标记的部分的信息。

如果自动标记技术导致错误的标记，则用户可以手动地将(多个)解剖教材标记放到被分割对象的(多个)受影响的部分以校正标记。因此，如以上所提到的，当手动地标记被分割对象中的一些血管时，自动算法可以帮助增加名称的剩余部分。

在实施例中，自动标记技术可以用于解剖图像的每个标记。因此，当已手动地标记被分割对象的一部分时，可以利用自动标记技术来任选地标记被分割对象的剩余部分，该剩余部分还与相同的标记对应。

根据实施例，自动标记技术可以利用已手动地将某个标记放置在或放在被分割对象的某个位置上的事实，以更好地估计在被分割对象中应当将其他标记或相同的标记放置在何处。

重新分割

在实施例中，本方法还可以包括基于被分割对象的标记而执行对带标记的被分割对象的重新分割。例如，重新分割可以利用被分割对象中的已被标记的血管的知识。在实际的示例中，被分割对象中的左主干冠状动脉非常短并且直接在LAD和LCX中分叉。如果用户已经标记左主干冠状动脉，则在重新分割期间可以利用该信息。在这种情况下，重新分割技术可以利用随后不久将分裂以及此外子分支将沿什么方向延伸的事实。

通过重新分割是指例如如果原始分割(部分地)失败则重新执行或扩展一部分原始分割。分割技术可能由于较差的图像质量或其他图像伪影而失败。血管分割可能泄露到另一结构中，或者血管分割可能由于图像噪声而生成许多小血管，这些小血管实际上是一个较大的血管。如果分割不同于图像，则由于图像可能不应用于当前的情况，因而分割可能仍然是正确的。在这样的情况下，将取决于用户检查原始图像数据并决定分割质量。

利用本方法，标记成为分割周期的一部分，这是指用户可以从原始的被分割对象删除分支或增加分支，或者执行标记。这提供自动分割算法的反馈，在给定解剖教材下，其具有在重新分割期间能够使用的更多的知识。例如，这可以用信号通知例如血管的原始分割错过某些部分。从解剖教材可以得知，某个血管应当具有两个子分支，然而被分割对象仅包括一个，例如因为分割可能错过一个分支，或者另一分支可能并不存在，即属于特殊情况，或者诸如在狭窄的情况下，另一分支可能被阻塞。当然，并非原始分割的对象中的所有分支都是错误的，因为解剖图像仅示出了大部分常见的情形。

由于存在较大的解剖差异，因而原始被分割的对象实际上显示与解剖图像不同的实际的解剖结构也是一个选择。

在教材显示例如应当具有一个分支但原始被分割的对象显示两个的情况下，可以使用重新分割来查看原始分割是否是错误的。如果被重新分割的对象仍然包括两个分支，则可能属于特殊情况，并且将取决于用户决定被重新分割的对象是否是正确的。在一些实施例中，重新分割不是自动的，而是处于用户的控制之下。

拖放方向

根据某些实施例，拖放方向、即从/至解剖图像至/从被分割对象将准确地绘制被分割对象的相同的标记结果。

在另一实施例中，用户可以基于可以被拖放到解剖图谱或教材中的被分割对象的一部分而更新解剖图谱或教材并利用新的解剖表示来对解剖图谱或教材进行扩展，所述解剖表示例如是特殊情况或相同的血管解剖的异常。因此，在本实施例中，拖放方向对是否标记被分割对象或是否利用来自被分割对象的信息来更新解剖图像产生影响。

在实施例中，提供一种利用带标记的被分割对象来更新图像的方法。本方法包括利用指点设备选择32带标记的被分割对象的一部分。本方法还包括利用指点设备在包括一组标记的图像中选择31标记。而且，本方法可以包括通过利用指点设备以拖动被分割对象的部分并将该部分放在图像中的标记上而利用被分割对象的部分的至少一个标记更新33图像中的标记，得到更新的图像。

导航

根据某些实施例的本方法的优点是本方法产生促进的解剖结构的视觉导航。

而且，本方法可以包括将被分割对象或带标记的被分割对象和/或对应的解剖图像呈现34在显示器上，以进一步促进用户导航。

根据某些实施例的本方法导致解剖结构的带标记的被分割对象。例如在检查被分割对象的诸如血管的部分以查看诸如诸如狭窄、动脉瘤或斑块的任何异常是否可视时，可以由用户观察带标记的被分割对象以便促进导航。由于不同的异常可能发生在解剖结构的不同的位置处，因而包括解剖名称的被分割对象中的标记帮助用户的调查过程，因此促进调查。

被分割对象、带标记的被分割对象或被重新分割的对象可以是适合于2D表示或3D表示的2D对象或3D对象。

根据某些实施例的本方法的优点是本方法支持带标记的被分割对象和解剖图像内的简单导航，因为标记实际上是解剖图像和分割结果之间的配准任务。因而，可以通过使用解剖图像和带标记的被分割对象的一个或多个2D和/或3D表示这两者来支持该导航。

在标记被分割对象时可以促进导航，因为用户随后得知在带标记的被分割对象的某个位置处期望的内容。

在实施例中，本方法包括使带标记的被分割对象及对应的解剖图像在显示器上可视化。本方法可以还包括将带标记的被分割对象的标记与解剖图像中的对应的标记链接。通过链接是指在例如利用指点设备来选择带标记的被分割对象中的标记时，加亮解剖对象的对应的标记，反之亦然。

因此，通过在图像中点击，可以加亮被分割对象的对应的解剖位置。相反，通过点击带标记的被分割对象中的某处，可以加亮对应的教材位置。该特征在标记如梗阻、狭窄等发现中是有用的。

通过加亮是指在利用指点设备来选择图像中或相应的带标记的被分割对象中的对应的标记时，例如通过被改变的亮度、对比度或色彩等来改变带标记的被分割对象中或解剖图像中的带标记的视觉外观。

在某些实施例中，所得到的带标记的被分割对象可以用于包含整个血管树而非树的一个小的部分的丰富的结构化报告，因为所分配的标记有助于随后搜索带标记的被分割数据。

装置

在实施例中，根据图4，提供一种用于标记被分割对象的装置40。该装置包括配置为在包括一组标记的图像中选择标记的指点设备41。此外，指点设备可以配置为选择被分割对象的要定位标记的部分。而且，该装置可以包括单元42，该单元用于通过利用指点设备来标记被分割对象，以从图像拖动标记并将该标记放在被分割对象的部分上，从而得到带标记的被分割对象。

该装置的(一个或多个)单元可以是通常用于执行所涉及的任务的任何(一个或多个)单元，例如硬件单元，诸如具有存储器的处理器。

在实施例中，该装置包括用于执行根据一个或多个实施例的方法的单元。

在实施例中，该装置被包括在诸如计算机断层摄影(CT)系统、磁共振成像(MRI)系统或超声成像(US)系统的医学工作站或医学系统中。

计算机可读介质

在实施例中，根据图5，提供一种计算机可读介质，在该计算机可读介质上实施用于由处理器处理的计算机程序。计算机程序包括用于利用指点设备在包括一组标记的图像中选择标记的代码段51。此外，计算机程序可以包括用于利用指点设备来选择被分割对象的要定位标记的部分的代码段52。另外，计算机程序可以包括代码段53，该代码段53用于通过利用指点设备以从图像拖动标记并将标记放在被分割对象的部分来标记被分割对象，从而得到带标记的被分割对象。

在实施例中，计算机可读介质包括代码段，在具有计算机处理性质的装置上运行介质时，代码段布置为执行一个或多个实施例中所定义的所有方法步骤。

在实施例中，提供一种用于执行本方法的图形用户界面。

在实施例中，装置被包括在医学工作站中。根据本发明的上述实施例的应用和使用是多种多样的，并且不限于仅仅解剖树状结构，诸如冠状动脉、颈动脉、Willis环(大脑)、肾、外周、肺动脉以及静脉，而可以应用于期望标记的任何树状结构。

根据某些实施例的标记方法可以用于期望使用某些解剖图像信息来标记分割结果的所有医学产品。

本发明可以以包括硬件、软件、固件或这些的任意组合的任何适当的形式来实现。然而，优选地，本发明可以作为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件来实现。本发明的实施例的元件和部件可以以任何适当的方式物理地、功能地且逻辑地实现。确实，功能可以在单个单元中、在多个单元中或者作为其他功能单元的一部分实现。如此，本发明可以在单个单元中实现，或者可以物理地且功能地分布在不同的单元和处理器之间。

尽管以上已关于特定实施例来描述本发明，但本发明并不意在限于本文所阐述的特定形式。而是，本发明仅受到随附权利要求的限制，并且在以上指出的实施例以外的实施例在这些随附权利要求的范围内是同样可能的。

在权利要求书中，术语“包括”并不排除其他元件或步骤的存在。而且，尽管单独地列出，但多个装置、元件或方法步骤可以由例如单个单元或处理器实现。另外，尽管单独的特征可以被包括在不同的权利要求中，但这些特征可以可能有利地组合，并且在不同的权利要求书中包括这些特征并不意味着特征的组合不可行和/或不利。另外，单数参考并不排除多个。术语“一”、“一个”、“第一”、“第二”等并不预先排除多个。权利要求书中的参考符号仅仅作为澄清示例而提供，并且不应当被解释为以任何方式限制本发明的范围。

Claims (15)

1.一种标记包括图像数据的被分割对象的方法，所述方法包括：

利用指点设备在包括一组标记的图像中选择(31)标记；

利用所述指点设备选择(32)所述被分割对象的要定位所述标记的一部分；以及

利用所述标记来标记(33)所述被分割对象的所述部分，从而得到带标记的被分割对象。

2.如权利要求1所述的方法，其中，通过利用所述指点设备以从所述图像拖动所述标记并且将所述标记放在所述被分割对象的所述部分来执行所述标记。

3.如权利要求1所述的方法，其中，在显示器的第一窗口中视觉地呈现所述被分割对象。

4.如权利要求1所述的方法，其中，在显示器的第二窗口中视觉地呈现所述图像。

5.如权利要求1所述的方法，其中，所述图像是解剖教材或解剖图谱中所包括的图像。

6.如权利要求1所述的方法，其中，所述被分割对象包括诸如解剖血管结构的树状结构的图像数据。

7.如权利要求1所述的方法，还包括基于所述标记的信息而执行对所述被分割对象的剩余部分的自动标记。

8.如权利要求1所述的方法，还包括基于所述标记和所述对应的部分的信息而执行对所述带标记的被分割对象的重新分割。

9.如权利要求1所述的方法，还包括：

在使用所述指点设备来选择所述图像中的对应的标记时，加亮所述带标记的被分割对象中的标记，或

在使用所述指点设备来选择所述带标记的被分割对象中的对应的标记时，加亮所述图像中的标记。

10.一种利用带标记的被分割对象来更新图像的方法，所述方法包括：

利用指点设备来选择(32)所述带标记的被分割对象的部分；

利用所述指点设备在包括一组标记的图像中选择(31)标记；

通过利用所述指点设备以拖动所述被分割对象的所述部分并将所述部分放在所述图像的所述标记上而利用所述被分割对象的所述部分来更新(33)所述图像中的所述标记，从而得到更新的图像。

11.一种用于标记包括图像数据的被分割对象的装置(40)，包括：

指点设备(41)，配置为：

-在包括一组标记的图像中选择标记；以及

-选择所述被分割对象的要定位所述标记的部分，以及

单元(42)，配置为利用所述标记来标记所述被分割对象的所述部分。

12.一种计算机可读介质，在其上收录有用于标记包括图像数据的被分割对象并且用于由处理器处理的计算机程序，所述计算机程序包括：

用于利用指点设备在包括一组标记的图像中选择标记的代码段(51)；

用于利用所述指点设备来选择包括图像数据的被分割对象的要定位所述标记的部分的代码段(52)；以及

用于通过利用所述指点设备以从所述图像拖动所述标记并将所述标记放在所述被分割对象的所述部分上而标记所述被分割对象的所述部分从而得到带标记的被分割对象的代码段(53)。

13.一种图形用户界面，配置为执行如权利要求1、2或3所述的方法。

14.一种医学工作站，包括如权利要求11所述的装置。

15.一种如权利要求1所述的方法用于促进在包括患者的图像数据的被分割对象中诊断疾病或障碍的用途。

Images