CN103140875A - 利用实况反馈对内部组织进行多模态分割的系统和方法 - Google Patents

Abstract

一种分割系统和方法包括：通过在结构图像中选择两个位置以界定（14）搜索区域，并且对搜索区域进行采样以提供展开的图像；对展开的图像进行边缘滤波（20）以确定图像中可能的边界像素；针对展开的图像构造（22）有向图，所述构造（22）是通过计算（24）边界像素之间的最小代价以确定所述图的节点而进行的；利用实况图像生成（26）可能的分割以供用户核定；根据所述用户的迹线，连接（32）用于要分割的结构的图像的最终分割的节点。

Description

利用实况反馈对内部组织进行多模态分割的系统和方法

本申请要求享有2010年8月2日提交的美国临时申请No.61/369813的优先权，在此通过引用将其全部并入。

本公开涉及医学成像，并且更具体而言，涉及利用实况反馈对内部组织进行分割的系统和方法。

腋淋巴结（ALN）的状态是评估新乳腺癌患者的重要预后因素。所述状态影响到治疗规划。当前通过Sentinel淋巴结活检（SLNB）组织病理学地确定。SLNB是耗时的有创程序，并且是当前的标准程序，这是因为没有评估淋巴结状态的可选方式。一种比SLNB更加高效并且具有更少的患者不适的可选程序将是有益的。

当前使用多种成像模态来研究原发性乳房肿瘤，所述成像模态包括超声（US）和乳房磁共振成像（BMRI）。对于ALN评估，在很多机构中接受US。不过，US在测量病变尺度方面可能不精确。众所周知，US取决于操作者，不能保证研究的可再现性。另一方面，计算断层摄影（CT）和磁共振成像（MRI）是可再现的研究并且允许精确测量。

近来，已经推荐将BMRI用于作为乳房x射线照相术的辅助来筛选高风险乳腺癌患者，以及用于评估最近被诊断为乳腺癌的女性体内的对侧乳房。由于在全国范围内越来越多地执行BMRI，因而使用BMRI评估ALN变得更加常见。于是，因为对患乳腺癌的患者更加频繁地使用这两种模态，故在评估ALN时以组合方式使用来自US和BMRI的信息将是理想的。

在临床实践中，作为对所有新乳腺癌患者的例行临床护理的一部分，乳房放射科医师诊断腋淋巴结（ALN）。ALN诊断包括在超声和磁共振（MR）图像上测量ALN的长轴和短轴以及最大皮层厚度。放射科医师的人工测量是主观的，其包括人为误差，并且是耗时的。

当前放射科医师人工测量ALN尺度。由于超声测量中的人为误差，因而需要计算ALN尺寸的更加可靠的并且可再现的方法。

根据本发明的原理，提供了一种手术前无创程序，用于内部组织评估和其他医学程序。

一种分割系统和方法包括：通过在结构图像中选择两个位置来界定搜索区域，并且对搜索区域进行采样以提供展开的图像；对展开的图像进行边缘滤波以确定图像中可能的边界像素；针对展开的图像构造有向图，所述构造是通过计算边界像素之间的最小代价来确定所述图的节点而进行的。利用实况图像生成可能的分割以供用户核定；根据所述用户的迹线，连接用于要分割的结构的图像的最终分割的节点。

一种分割方法包括：通过在要分割的结构的图像中选择两个位置来界定搜索区域；对所述搜索区域进行采样以提供展开的图像；对展开的图像进行边缘滤波以确定图像中的可能的边界像素；针对展开的图像构造有向图，所述构造是通过计算边界像素之间的最小代价来确定所述图的节点而进行的；利用实况图像生成可能的分割以供用户核定；利用所述图像中用户跟踪的光标来调节可能分割的边界；以及通过包括生成的可能的分割的边界并利用用户调节的边界替代可能的分割的任何生成的边界，来连接用于要分割的结构的图像的最终分割的节点。

一种分割系统包括处理器和耦合到所述处理器的存储器。所述存储器存储分割模块。所述分割模块被配置为：通过在要分割的结构的图像中选择两个位置来界定搜索区域；对所述搜索区域进行采样以提供展开的图像；对所述展开的图像进行边缘滤波以确定图像中可能的边界像素；通过计算边界像素之间的最小代价来确定图的节点，针对展开的图像构造有向图；利用实况图像生成可能的分割以供用户核定；以及根据所述用户的迹线，连接用于要分割的结构的图像的最终分割的节点。

一种用于在医学中使用的计算机工作站包括：分割系统，所述分割系统具有处理器和耦合到所述处理器的存储器；用于第一用户输入的模块，所述用户输入令所述处理器响应于用户在解剖结构的图像中选择两个或更多个位置而生成可能的分割；还包括用于响应于第二用户输入生成最终分割的模块。用于第一用户输入的模块和用于生成最终分割的模块包括根据本文中所述的分割方法工作的任何用户接口设备或适当的图像处理工具。

结合附图进行理解，通过以下详细描述的说明性实施例，本公开的这些和其他目的、特征和优点将变得显而易见。

将参考附图在优选实施例的以下描述中介绍本公开，在附图中：

图1是示出了根据一个说明性实施例的、用于分割的系统/方法的方框图/流程图；

图2A的超声图像示出了根据本发明的原理的、被定位以界定搜索区域的两个点；

图2B的超声图像示出了根据本发明的原理的界定分割的可能的边界的调节；

图2C的超声图像示出了根据本发明的原理的最终分割；

图3A的磁共振图像示出了根据本发明的原理的、在界定搜索区域之前界定的感兴趣区域；

图3B的磁共振图像示出了根据本发明的原理的、放大的图3A的感兴趣区域；

图3C的磁共振图像示出了根据本发明的原理的、界定的搜索区域；

图3D的磁共振图像示出了根据本发明的原理的、界定分割的可能的边界的调节；

图3E的磁共振图像示出了根据本发明的原理的最终分割；

图3F是图解地示出了根据本发明的原理的、利用图像进行的自动测量的图像；以及

图4是示出了根据另一说明性实施例的用于分割的系统的方框/流程图。

本发明的原理提供了更加客观的诊断工具和技术，其显著减少了人为误差，特别是，与常规成像方法相关联的主观误差。在一个特别有用的实施例中，一种可靠的并且可再现的系统和方法利用实况反馈分割来自超声（US）和/或乳房磁共振成像（BMRI）的图像，以计算腋淋巴结（“ALN”）尺寸。对于多数ALN，利用来自用户的输入，这些实施例能够测量ALN：长轴和短轴，最大皮层厚度，ALN外皮面积、ALN核面积、ALN核和外皮面积的比率以及ALN诊断所需的不对称值。

本发明的原理使得ALN诊断更加客观，消除了人为误差，通过减少ALN诊断所需的若干任务简化了放射科医师的临床工作流程。可以将本发明的原理集成为现有工具套装和控制台中的功能部件，例如，这些实施例可以是需要计算针对腋窝、腹部、胸部、颈部淋巴结或其他内部结构的测量结果的Integral Breast Workspace、2D/3D Philips^TM US扫描机、所有Philips^TM MRI扫描机（例如作为软件功能部件）以及所有Philips^TM CT扫描机和工作站的部分。本发明的分割方法还可以在其他成像设备上工作，例如CT、乳房x射线照相术、层析x射线摄影组合、PEM（正电子发射乳房x射线照相术），也可以用于身体内的其他淋巴结，例如：腹部、胸部和颈部淋巴结等，或其他内部结构。

应当理解，将关于腋淋巴结来描述本发明；然而，本发明的教导要更加宽泛并且适用于在跟踪或分析复杂生物学或机械系统时采用的任何设备或方法。具体而言，本发明的原理适用于生物系统的内部跟踪程序和身体中所有区域（例如肺、胃肠道、排泄器官、血管等）中的程序。附图中描绘的元件可以实现于硬件和软件的各种组合中并提供的功能可以在单个元件或多个元件中组合。

附图中示出的各种元件的功能可以通过利用专用硬件以及能够与适当软件相关联的、能够运行软件的硬件来提供。在由处理器提供时，可以由单个专用处理器，由单个共享处理器，或由多个独立的处理器（其中一些可能是共享的）来提供所述功能。此外，术语“处理器”或“控制器”的直接使用不应被解释为排他地指示能够执行软件的硬件，可能暗含地包括，但不限于数字信号处理器（“DSP”）硬件、用于存储软件的只读存储器（“ROM”）、随机存取存储器（“RAM”）、非易失性存储器等。

此外，本文中叙述本发明的原理、方面和实施例以及它们的具体范例的所有陈述都旨在涵盖其等价结构和功能。此外，这样的等价物应包括当前已知的等价物以及将来发展出的等价物（即，发展出的执行相同功能的任何元件，不论结构如何）。因而，例如，本领域技术人员将理解，本文中给出的方框图表示实现本发明原理的说明性系统部件和/或电路的概念视图。类似地，将要理解，任何流程图、作业图等表示各种过程，这些过程基本可以在计算机可读存储介质中表示并且因而由计算机或处理器执行，无论是否明确示出了这样的计算机或处理器。

此外，本发明的实施例可以采取计算机程序产品的形式，所述计算机程序产品能够从计算机可用或计算机可读存储介质访问，所述存储介质提供程序代码以供计算机或任何指令执行系统使用或结合其使用。出于本说明书的目的，计算机可用或计算机可读存储介质可以是可以包括、存储、传送、传播或传输程序的任何设备，所述程序供指令执行系统、设备或装置使用或结合其使用。所述介质可以是电子的、磁的、光学的、电磁的、红外的或半导体系统（或设备或装置）或传播介质。计算机可读介质的范例包括半导体或固态存储器、磁带、可移除计算机磁盘、随机存取存储器（RAM）、只读存储器（ROM）、硬磁盘和光盘。光盘的当前范例包括光盘-只读存储器（CD-ROM）、光盘-读/写（CD-R/W）和DVD。

现在参考附图，其中相似的数字表示相同或相似的元件，首先参考图1，方框图/流程图示出了根据本发明的原理的用于执行诊断程序（具体而言，利用实况反馈分割淋巴结）的系统/方法。在方框12中，用户通过界定搜索区域，例如在显示的图像中选择淋巴结的中心，以及边界像素，来开始分割。显示的图像可以包括MRI、US、CT或其他类型数字成像模式中的一种或多种。如果采用来自多种成像模式的图像，可以将该方法独立应用于每种图像模式，或者可以将多个图像配准，并将该方法应用于配准的图像。在方框14中，使用两个点定义搜索区域。在一个实施例中，选择以中心像素为中心的圆形区域，其半径是所选边界像素的两倍。在方框16中，将搜索区域高亮显示。例如，通过“淡化”该区域外部所有图像强度值来向用户示出该搜索区域。例如，[img(x,y)=(img(x,y)+avg)/2]。这样高亮显示了中心像素周围的圆形区域。

在方框18中，通过以规则的增量，例如1度的增量，沿径向采样，“展开”搜索区域。展开可以包括，例如从极坐标转换到笛卡尔坐标。在方框20中，向展开的图像应用边缘滤波器，例如Canny滤波器，以找到可能的边界像素，例如，边界像素可以具有不同的属性，例如颜色或纹理。在方框22中，针对展开的图像构建有向图。该图包括针对每个像素的节点。每个节点都连接到其五个近邻，例如在北、东北、东、东南、南方向上。通过目标节点是否是可能的边界像素（来自方框20），遍历是直的还是对角的，来确定赋予每个图边缘的权重。遍历到“边缘”节点具有代价，遍历到“非边缘”像素具有不同的代价，沿对角线遍历具有又不同的代价。权重和代价可以取决于环境和应用。

在方框24中，将用户选定的边界像素用作起始节点，计算到达所有其他节点的代价函数，例如Dijkstra最小代价路径。在方框26中，选择初始目的地为所选边界像素的剩余方向（例如西向）中紧邻的像素。然后向用户示出这样确定的路径作为可能的分割。在方框28中，在用户在图像附近移动鼠标时，找到最近的节点，确定从当前起始节点到该像素的路径。这样给用户以中间分割和实况反馈。

在方框30中，在用户点击计算机鼠标键时，例如，鼠标左键时，将当前像素选作分割中的“固定”入口。这个位置变成新的起始节点，再次执行方框26和方框28的计算。以这种方式，用户能够在可能难以识别的区域中弃用默认的分割，但不要求用户输入每个像素。在很多情况下，用户仅需要提供前两个像素，将以充分的方式自动计算路径。在方框32中，达到最终分割结果。

在方框34中，可以采用具有分割结构的数字图像在方框36中进行测量和/或执行医学程序，例如活检、切除等。

参考图2-3，描绘了图像（例如图2A-2C示出了超声图像，图3A-3F示出了磁共振图像）以进一步说明根据本发明的原理的成像程序。

在图2A中，示出了ALN的原始US图像。在图2B中，用户通过定位中心像素（点202）和边界像素（点204）来开始图1的分割方法。通过淡化圆形搜索区域外部的图像向用户显示搜索区域（圆206）和线212中的可能的分割。线208示出了实况反馈。用户将决定，保留实况反馈208和/或可能的分割212，或者仅仅是通过定位另一个种子像素来改变它。在图2C中，最终分割结果被显示为线214。

可以在MR图像上应用图1的分割方法。在图3A中，原始MR图像示出了ALN。可能需要额外的缩放以使MRI模拟临床实践。用户在ALN周围定位感兴趣区域（ROI）形状216，例如框。如图3B中所示，向用户示出了放大的图像。在图3C和3D中，如在图1的方框30和32中那样，执行分割。选择边缘像素以生成边界220。在图3E中，示出了MR图像上的最终分割结果222。在图3F中说明性地示出了在利用分割方法之后，测量ALN长轴和短轴、最大皮层厚度、ALN外皮和核面积和用于ALN诊断的不对称值的范例。

根据本发明的原理，这些实施例辅助使得ALN或其他内部组织结构的诊断更加客观，消除人为误差并通过减少诊断所需点击次数简化了临床中放射科医师的工作流程。例如，对于大多数ALN，通过四次点击，用户可参测量ALN的：长轴和短轴、最大皮层厚度、ALN皮层面积、ALN核面积、ALN核面积和皮层面积的比率以及ALN诊断所需的不对称值。

参考图4，说明性地示出了利用实况反馈提供多模分割方法的系统300。在图示的实施例中，系统300可以包括超声工作站或扫描机302或MRI扫描机304。尽管针对系统300说明性地示出了这些扫描机，但是可以采用任何扫描机或成像装备305在器官或结构分割期间提供实况反馈图像，例如CT、乳房x射线照相术等。提供工作站或控制台306，其可以包括计算机处理器308、显示器320、用户接口310（包括例如鼠标、键盘、触摸屏等）和用于存储数据和软件的存储器312。软件可以包括图像处理和分割模块314，其被配置为生成点和线，用于在实况程序期间如参考图1所描述地分割图像中的结构。

系统300实现了超声和/或MR图像的实时可视化，以许可用户识别和分割身体内部的淋巴结、癌症、其他器官或生物材料。软件模块314被配置为改变图像中的区域，以许可高亮显示感兴趣区域、缩放和测量最终分割的结构。在特别有用的实施例中，系统300可以包括Integral BreastWorkspace和/或包括2D/3D Philips^TM US扫描机、和/或Philips^TM MRI扫描机。

从一个或多个扫描机302、304、305等收集图像，并馈送给工作站306以提供实况图像。在观看显示器320上的图像时，用户运行分割模块314并通过用户接口310与图像交互，以识别和分割对象322（例如患者）体内的器官或其他结构。

根据本发明的原理，三位放射科医师人工测量超声图像，然后是乳房MR图像上13个ALN（62%阳性）的长轴、短轴和最大皮层厚度（MCT）。为了根据本发明的原理的分割方法能够有效率地交互利用实况反馈描绘两种模式上的ALN外皮和内核，还采用了自动计算测量结果。

用户通过选择ALN的中心和边界像素来开始分割。为展开的图像构造有向图，计算Dijkstra的最小代价路径。在用户沿图像移动鼠标时，找到最近的节点，并确定从当前起始节点到该像素的路径。这给予了用户中间分割和实况反馈。用户能够选择当前的像素作为分割中的“固定”入口。这个位置变为新的起始节点，用户能够在可能难以识别的区域中弃用默认分割，但不需要他们输入每个像素。在两种模态上针对人工和计算机化的方法计算ALN平均和标准偏差。

人工和计算机化测量两者的US和MRI-T2加权序列（P>0.05）之间以及每种模态上的人工和计算机化测量之间的长轴、短轴和MCT测量是兼容的。因此，提供了本发明的原理的优点，例如效率、人为误差的减少、易用性等，而不损失精度，并大大改善了程序。利用实况反馈的计算机化多模态分割方法能够帮助使ALN诊断更客观、可重复且有效率。

在解释所附的权利要求时，应当理解：

a)“包括”一词不排除存在给定权利要求中列出的那些之外的其他元件或动作；

b)元件前的用词“一”不排除存在多个这样的元件；

c)权利要求中的任何附图标记都不限制其范围；

d)可以由同一项目或硬件或软件实现的结构或功能代表几个“模块”；并且

e)除非特别指出，并不要求动作有特定的顺序。

在描述了用于利用实况反馈进行多模态分割的系统和方法的优选实施例（意在是例示性的而非限制性的）之后，要指出的是，本领域的技术人员受以上教导的启发能够做出修改和变型。因此应该理解，可以在所披露的公开的特定实施例中做出改变，这些改变在所附权利要求界定出的所公开实施例的范围之内。这样描述了专利法要求的细节和特性之后，在所附权利要求中阐述了专利证书主张并希望保护的范围。

Claims (26)

1.一种分割方法，包括：

通过在要分割的结构的图像中选择两个位置来界定（14）搜索区域；

对所述搜索区域进行采样（18）以提供展开的图像；

对所述展开的图像进行边缘滤波（20）以确定所述图像中可能的边界像素；

针对所述展开的图像构造（22）有向图，所述构造（22）是通过计算边界像素之间的最小代价以确定所述图的节点而进行的；

利用实况图像生成（26）可能的分割以供用户核定；以及

根据所述用户的迹线，连接（32）用于要分割的所述结构的图像的最终分割的节点。

2.如权利要求1所述的方法，其中，通过选择两个位置界定（14）搜索区域包括选择所述结构的中心和所述结构的边界。

3.如权利要求1所述的方法，还包括淡化（16）所述搜索区域外部的像素以高亮显示所述搜索区域。

4.如权利要求1所述的方法，其中，对所述搜索区域进行采样（18）包括以一度的间隔对所述搜索区域进行采样。

5.如权利要求1所述的方法，其中，计算（24）边界像素之间的最小代价包括采用Dijkstra最小代价路径。

6.如权利要求1所述的方法，其中，连接（32）用于最终分割的节点包括寻找距从当前起始节点开始的所述迹线的路径中的像素最近的节点。

7.如权利要求1所述的方法，其中，所述结构的图像包括以下中的一个或多个：超声图像、磁共振图像和乳房x射线照相术图像。

8.如权利要求1所述的方法，其中，所述结构包括淋巴结。

9.一种分割方法，包括：

通过在要分割的结构的图像中选择两个位置来界定（14）搜索区域；

对所述搜索区域进行采样（18）以提供展开的图像；

对所述展开的图像进行边缘滤波（20）以确定所述图像中的可能的边界像素；

针对所述展开的图像构造（22）有向图，所述构造（22）是通过计算边界像素之间的最小代价以确定所述图的节点而进行的；

利用实况图像生成（26）可能的分割以供用户核定；

利用所述图像中用户跟踪的光标来调节（28）所述可能的分割的边界；以及

通过包括生成的所述可能的分割的边界并使用所述用户调节的边界而弃用所述可能的分割的任何生成的边界，来连接（32）用于要分割的所述结构的图像的最终分割的节点。

10.如权利要求9所述的方法，其中，通过选择两个位置界定（14）搜索区域包括选择所述结构的中心和所述结构的边界。

11.如权利要求9所述的方法，还包括淡化（16）所述搜索区域外部的像素以高亮显示所述搜索区域。

12.如权利要求9所述的方法，其中，对所述搜索区域进行采样（18）包括以一度的间隔对所述搜索区域进行采样。

13.如权利要求9所述的方法，其中，计算（24）边界像素之间的最小代价包括采用Dijkstra最小代价路径。

14.如权利要求9所述的方法，其中，连接（32）用于最终分割的节点包括寻找距从当前起始节点开始的路径中的像素最近的节点。

15.如权利要求9所述的方法，其中，所述结构的图像包括以下中的一个或多个：超声图像、磁共振图像和乳房x射线照相术图像。

16.如权利要求9所述的方法，其中，所述结构包括淋巴结。

17.一种分割系统，包括：

处理器（308）；

耦合到所述处理器的存储器（312），所述存储器存储分割模块（314），所述分割模块被配置为：

通过在要分割的结构的图像中选择两个位置以界定（14）搜索区域；

对所述搜索区域进行采样（18）以提供展开的图像；

对所述展开的图像进行边缘滤波（20）以确定所述图像中的可能的边界像素；

针对所述展开的图像构造（22）有向图，所述构造（22）是通过计算边界像素之间的最小代价以确定所述图的节点而进行的；

利用实况图像生成（26）可能的分割以供用户核定；以及

根据所述用户的迹线，连接（32）用于要分割的所述结构的图像的最终分割的节点。

18.如权利要求17所述的系统，还包括用户接口（310），所述用户接口（310）被配置为允许用户选择针对所述搜索区域和针对所述最终分割的边界。

19.如权利要求17所述的系统，其中，采用Dijkstra最小代价路径计算边界像素之间的最小代价。

20.如权利要求17所述的系统，其中，所述结构的图像包括以下中的一个或多个：超声图像、磁共振图像和乳房x射线照相术图像。

21.如权利要求17所述的系统，其中，所述结构包括淋巴结。

22.一种用于在医学中使用的计算机工作站，包括：

分割系统，其具有处理器（308）和耦合到所述处理器的存储器（312）；

用于第一用户输入的模块（310，314），其令所述处理器响应于用户在解剖结构的图像中选择两个或更多位置而生成可能的分割；以及

用于响应于第二用户输入而生成最终分割的模块（310，314）。

23.如权利要求22所述的计算机工作站，其中，解剖结构的图像是超声图像、乳房磁共振成像图像、或超声图像和乳房磁共振成像图像。

24.如权利要求23所述的计算机工作站，其中，解剖结构的图像是超声图像和乳房磁共振成像图像，其中，所述超声图像配准到所述乳房磁共振成像图像。

25.如权利要求22所述的计算机工作站，其中，所述解剖结构是腋淋巴结，所述分割包括报告腋淋巴结长轴和短轴、最大皮层厚度、皮层面积、核面积、核面积和皮层面积的比率或不对称值。

26.如权利要求22所述的计算机工作站，其中，用于第一用户输入的所述模块包括用于调节（314）所述可能的分割的模块。

Images