CN109564685A - 鲁棒的肺叶分割 - Google Patents

Abstract

图像处理系统和相关方法。所述系统包括：输入接口(IN)，其被配置用于接收n[≥2]维输入图像，其中，在所述输入图像中定义有锚点集合，所述锚点集合形成输入星座图；星座图修改器(CM)，其被配置为将所述输入星座图修改成经修改的星座图；星座图评价器(CE)，其被配置为基于所述超表面来评价所述输入星座图以产生得分；比较器(COMP)，其被配置为将所述得分与质量标准进行比较；输出接口(OUT)，在所述得分满足所述标准的情况下通过所述输出接口输出所述星座图。所述星座图适合用于定义针对所述输入图像的分割。

Description

鲁棒的肺叶分割

技术领域

本发明涉及图像处理系统、图像处理方法、计算机可读介质、计算机程序单元。

背景技术

利用CT进行的肺癌筛查被认为能降低死亡率并且具有成本效益。然而，即使在高危人群中，20个肺结节中仅有1个肺结节实际上是癌性的。针对肺结节恶性程度的广泛认可的风险因子之一是位置，亦即，检测到的结节处于五片肺叶中的哪片肺叶中。因此，期望对五片肺叶进行良好分割。

大量出版物描述了用半自动或全自动的图像处理方法来分割肺叶的方式。例如参见Shouliang Qi等人的“Automatic pulmonary fissure detection and lobesegmentation in CT chest images”(BioMedical Engineering OnLine，第13卷，第59期，2014年)一文。

已经开发出现有方法并在利用标准剂量采集的所谓的诊断CT扫描以及薄切片重建上测试了现有方法。

然而，基于CT(计算机断层摄影)的肺筛查是使用具有高图像噪声的低剂量或超低剂量扫描来执行的，并且然后使用低分辨率厚切片重建来审查上述扫描，在低分辨率厚切片重建中，可能不能足够清晰地呈现出薄的肺裂隙。

发明内容

因此，可能需要备选方法和系统来分割图像。

通过独立权利要求的主题解决了本发明的目的，其中，在从属权利要求中包括了另外的实施例。应当注意，本发明的以下描述的方面等同地适用于图像处理方法、计算机程序单元和计算机可读介质。

根据本发明的第一方面，提供了一种图像处理系统，包括：

-输入接口，其被配置用于接收n[≥2]维输入图像，其中，在所述输入图像中定义有锚点集合，所述锚点集合形成输入星座图；

-星座图修改器，其被配置为将所述输入星座图修改成经修改的星座图；

-星座图评价器，其被配置为评价所述输入星座图以产生得分；

-比较器，其被配置为将所述得分与质量标准进行比较；以及

-输出接口，其用于在所述得分满足所述标准的情况下输出所述星座图，所述星座图适合用于定义针对所述输入图像的分割。

根据另一方面，提供了一种图像处理系统，包括：

-输入接口，其被配置用于接收n[≥2]维输入图像，其中，在所述输入图像中定义有锚点集合，所述锚点集合形成输入星座图；

-星座图修改器，其被配置为通过改变所述锚点中的至少一个锚点的至少一个坐标并将所述输入星座图的所述至少一个锚点的坐标中的至少一个坐标投影到通过所述锚点的超平面上来将所述输入星座图修改成经修改的星座图，其中，所述超平面先前被拟合到所述输入星座图中的所述锚点，并且其中，所述改变被限制在所述超平面内；

-星座图评价器，其被配置为评价所述经修改的星座图以产生得分；

-比较器，其被配置为将所述得分与质量标准进行比较，所述标准评价所述经修改的星座图的适合性以定义针对所述输入图像的分割；以及

-输出接口，其用于在所述得分满足所述标准的情况下输出所述经修改的星座图。

根据一个实施例，所述星座图修改器被配置为改变所述锚点中的至少一个锚点的至少一个坐标以获得经修改的星座图。

根据一个实施例，所述星座图修改器被配置为应用随机操作来改变所述至少一个坐标。

根据一个实施例，所述星座图修改器能用于将所述至少一个锚点的初始坐标中的至少一个初始坐标投影到通过所述锚点的超平面上，并且其中，所述改变被限制在所述超平面内。

根据一个实施例，所述图像处理系统包括表面拟合器，所述表面拟合器被配置为将[n-1]维超表面拟合到所述经修改的输入星座图，并且其中，所述星座图评价器基于所述超平面来产生所述得分。在该实施例中，所述星座图定义所述超表面，并且所述超表面可以被输出作为所述分割。

根据一个实施例，所述图像处理系统包括分类器部件，所述分类器部件被配置为对所述输入图像中的经分割的图像部分是否位于所述超表面的任一侧或者所述经分割的部分是否延伸通过所述超表面进行分类。

根据一个实施例，所述图像处理系统包括可视化器，所述可视化器被配置为在显示设备上利用所述超表面或所述星座图来对所述输入图像进行可视化。

根据一个实施例，所述图像处理系统被配置为迭代通过包括所述输入星座图的多幅星座图，以便改善或者至少维持所述得分。

根据一个实施例，锚点的数量保持固定。根据一个实施例，所述输入图像是3D图像体积，特别是人或动物的肺的3D图像体积。术语“超表面”在本文中以一般意义来使用。亦即，如果输入图像是3D的，则超表面是在3D中通常意义上的2D表面。如果输入图像是2D的，则超表面是2D中的ID曲线。

根据另一方面，提供了一种图像处理方法，包括以下步骤：

-接收n[≥2]维输入图像，其中，在所述输入图像中定义有锚点集合，所述锚点集合形成输入星座图；

-将所述输入星座图修改成经修改的星座图；

-评价所述输入星座图以产生得分；

-将所述得分与质量标准进行比较；并且

-在所述得分满足所述标准的情况下输出所述星座图，所述星座图定义针对所述输入图像的分割。

根据另一方面，提供了一种图像处理方法，包括以下步骤：

-接收n[≥2]维输入图像，其中，在所述输入图像中定义有锚点集合，所述锚点集合形成输入星座图；

-通过改变所述锚点中的至少一个锚点的至少一个坐标并将所述输入星座图的所述至少一个锚点的坐标中的至少一个坐标投影到通过所述锚点的超平面上来将所述输入星座图修改成经修改的星座图，其中，通过改变所述锚点中的至少一个锚点的至少一个坐标并将所述输入星座图的所述至少一个锚点的坐标中的至少一个坐标投影到通过所述锚点的超平面上来将所述改变限制在所述超平面内，其中，所述超平面先前被拟合到所述输入星座图中的所述锚点，并且其中，所述改变被限制在所述超平面内；

-评价所述经修改的星座图以产生得分；

-将所述得分与质量标准进行比较，所述标准评价所述经修改的星座图的适合性以定义针对所述输入图像的分割；并且

-在所述得分满足所述标准的情况下输出所述经修改的星座图。

根据一个实施例，所述方法包括：将[n-1]维超表面拟合到所述经修改的输入星座图，其中，在所述评价步骤中的所述得分基于所述超表面。在该实施例中，所述超表面被输出作为所述分割。

根据另一方面，提供了一种计算机程序单元，所述计算机程序单元当由一个或多个处理单元运行时适于执行所述方法的步骤。

根据另一方面，提供了一种计算机可读介质，在其上存储有所述程序单元。

所提出的系统提供了准确且计算高效的分割，特别是对于低分辨率和高噪声图像，例如，基于CT筛查图像的肺叶分割。所述系统能够被用在希望分割肺叶结构的肺图像分割任务中。所提出的方法足够鲁棒且快速以适用于低剂量CT筛查应用。

附图说明

现在将参考以下附图来描述本发明的示例性实施例，在附图中：

-图1示出了图像处理系统的框图；

-图2示出了图像处理方法的流程图；

-图3示出了与所描述的系统和方法有关的示例性图像；

-图4示出了当以迭代方式使用时所提出的方法的收敛行为的图示。

具体实施方式

参考图1，图1是根据一个实施例的如在本文中设想到的图像处理系统的示意性框图。图像处理系统能够被集成到PACS或HIS或其他图像管理计算机系统中。图像处理系统可以被布置在分布式架构中的一个或多个服务器PU上。备选地，图像处理系统可以被布置在其他计算装备PU(例如，与成像装置(例如，CT)相关联的工作站)上，或者可以被布置在移动单元(膝上型电脑、平板电脑、智能电话等)上。图像处理系统IPS允许对图像进行处理。图像或者是由成像装置IA直接提供的，或者是从数据库DB或其他存储器中检索的。备选地，IPS的一些或全部部件可以被布置在诸如适当编程的FPGA(现场可编程门阵列)或硬连线IC芯片的硬件中。

在本文中设想到的应用之一是对在肺癌筛查的背景下产生的计算机断层摄影(CT)图像的处理。尽管在下文中将主要参考这种肺筛查背景，但是这并非限制性的，并且在本文中还设想到医学(或非医学领域)中的其他应用。

在肺筛查CT中，采集感兴趣目标(在这种情况下为人或动物的肺)的一幅或多幅体积图像。该图像在本文中将被称为目标图像。

目标图像优选是3D的(或者甚至是4D的，亦即，图像体积的时间序列)，但是这不一定是限制性的，因为在本文中也设想到在其他应用中对2D图像的处理。目标图像包括针对3D应用的体素位置x,y或者x,y,z处的图像值，这将在本文中更加详细地考虑。图像值对特定的感兴趣量进行编码。在CT中，图像值通常表示通过询问如下这种X射线射束所经历的衰减量：所述X射线在图像采集中已经穿过目标，并且然后在探测器处的投影图像处被采集，并且(通过使用重建算法，例如，滤波反向投影等)被处理成目标图像。不同的衰减量允许区分成不同的组织密度。成像器值通常以亨氏单位来编码，这些单位表示不同的组织密度。图像值对表示患者的各个解剖细节的图像结构进行编码。具体地，在肺筛查背景下，目标图像的图像值对人或动物的左肺和/或右肺的肺组织进行编码。

每个肺包括被称为“叶”的部分。具体地，在左肺中有两片叶，而在右肺中有三片叶。叶形成不同的肺部分，这些部分在所谓的裂隙处彼此接连。叶的接连在肺图像中被表示为裂隙线。在左肺的上叶与下叶之间有裂隙线，并且存在将右肺分成三片叶(上叶、中叶和下叶)的两个裂隙。左肺中的裂隙以及右肺的下叶与中叶之间的裂隙被称为斜裂隙(“裂隙线”)，而右肺的上叶与中叶之间的裂隙被称为水平裂隙。

人们希望在CT筛查中做的是评估可能在人肺中形成的所谓的肺结节的恶性程度。肺结节是由均匀肺组织包围的组织生长或者类似病灶的明显奇异性。已经观察到给定结节的恶性程度是其与裂隙线的相对位置的函数。例如，已经发现，通过裂隙线延伸的结节(亦即，其部分地位于两片不同的叶中)与不穿过裂隙线的结节相比有更大的机会表示癌症。已经进一步发现，距裂隙线的距离也是针对恶性程度的统计学指标，其中，更远离裂隙线的结节被认为比非常靠近裂隙线但是未延伸穿过裂隙线的结节更危险。另一种恶性程度指标是结节位于叶的哪片叶中。例如，位于上叶中的结节比位于下叶中的结节具有更高的恶性可能性。

因此，在肺部CT中，知晓裂隙线的精确位置和路线以便能够形成准确的风险分类是有益的。在本文中提出了使用肺筛查图像数据来学习裂隙线的位置和路线，细至毫米或其分数。在本文中将意识到，裂隙线的概念指通过目标图像3D体积的截面图像的表示。特别地，在3D中，更准确地说是形成肺叶之间的界面的裂隙表面。特别地，尽管仍然能够这样做，但是没有必要知晓叶的确切范围。针对当前的目的，仅建立叶相遇或接连处的裂隙线/表面就足够了。“裂隙线”的概念已经确立，并且我们在本文中应当使用该概念，理解该图像结构实际上是2D表面，其在某些截面图像中呈现为线结构。

如上文在本说明书的背景技术中所提到的，已经以相对低的剂量采集了目标图像，特别是肺癌筛查CT。因此，目标图像受到相对较高水平的噪声的影响并且具有相对较低的空间分辨率。这是为了减少针对患者的X射线辐射暴露，但是这使得在所需的位置上确立裂隙线的路线的任务更具挑战性。

过去已经将图像滤波器开发为线滤波器或边缘滤波器，其通常响应于图像中裂隙的局部线性外观。这些滤波器能用于将目标图像变换成所谓的裂隙体积(或者更一般地，变换成滤波器体积)，其中，现在的每个图像值表示裂隙中的至少一个裂隙穿过相应体素位置的可能性。

这些裂隙(或者更一般地滤波器体积)通常仅提供对裂隙线的非常粗略的定义，并且通常还包括大量假阳性结果，亦即，被错误地识别为属于裂隙线的位置，如在图3A中的示例性滤波器图像中所示。这两个缺点主要是由于CT肺筛查图像的低分辨率和高噪声水平造成的。

所提出的成像系统IPS允许细化操作，特别是对现有的线滤波器或边缘滤波器的细化操作，但是所提出的图像处理系统能够在没有这样的滤波器的情况下操作。广义上讲并且如下文将更详细地解释的，所提出的图像处理系统允许克服现有的边缘滤波器在目标图像中搜索裂隙线时陷入局部极值的趋势。更具体地，为了避免陷入这样的局部极值，所提出的图像处理包括随机化方案。该随机化方案对由滤波器提供的裂隙响应的邻域的图像进行采样，从而确立对目标图像中的裂隙线的更准确的定位。

图像处理系统优选以迭代方式操作。亦即，系统从针对裂隙线的位置和路线的初始估计结果开始。该初始估计结果由多个辅助锚点AP来提供，所述多个辅助锚点AP在空间或星座图中的几何分布能够被认为大体上捕获裂隙线的3D形状。然后，在图像处理系统的运行期间改变这些锚点，以在多次迭代之后实现对一条或多条裂隙线的改善的且更准确的定义。

现在更详细地参考图1的框图，在图像处理系统的输入端口IN处接收目标图像(例如，肺图像)。例如，工作站处的用户可以发送如下请求：从PACS或HIS检索特定患者等的期望目标图像并将所述期望目标图像提供给图像处理系统的输入端口IN。然而，处理目标图像的请求也可以由HIS或PACS系统自动发起，因此该请求可能不一定是用户发起的。备选地，可以在根据成像模态采集图像之后直接提供图像，成像模态亦即CT、MRI、US、SPECT、PET等。

目标图像通过任选的预处理阶段，所述预处理阶段特别地包括边缘滤波器FIL以产生滤波器响应体积(特别是如上文所解释的裂隙体积)。任选地，还可以对滤波器响应体积进行平滑化以更好地考虑图像噪声。

在该实施例中，然后接收经过如此滤波或平滑的目标图像作为输入端口IN处的输入图像。可以使用用户选择的滤波器和/或平滑器(如果有的话)，或者可以在没有用户输入的情况下自动应用滤波器和/或平滑器(如果有的话)。

已经在输入图像中指定的或者由用户单独提供的是上文所提到的多个锚点。如将更详细地解释的，该多个锚点AP定义针对所寻求的裂隙线或结构的假定位置和路线的特定星座图。

每个锚点APⁱ由其坐标(x,y,z)ⁱ来定义，并且锚点的这些坐标的集合在3D空间(亦即，在输入图像中)中定义星座图。所述星座图是对认为裂隙结构通过的几何结构的近似、离散的描述。

如上文简要提及的并且如下文将更详细解释的，图像处理系统继续在一次或多次迭代中细化这些锚点，以在迭代结束时产生不同的锚点集合，并且这将作为针对裂隙结构的实际位置和路线的估计结果(亦即，一条或多条(优选为全部)裂隙线)在输出端口OUT处输出。换言之，作为在输出端口OUT处的输出的锚点定义了针对裂隙线的分割。如下文将更详细解释的，3D目标图像中的锚点能够穿过表面以将离散化描述细化成准连续描述。

更详细地解释图像处理系统的操作并且继续参考图1的框图，该系统包括星座图修改器CM，星座图修改器CM对接收到的初始锚点集合进行操作以修改该初始锚点集合并以这种方式定义经修改的星座图。这能够例如通过改变接收到的多个初始锚点内的多个锚点中的单个或多个锚点的一个或多个坐标来完成。优选地，这种改变是随机执行的，并且最优选地，这种改变被限制到图像体积内的超平面或者以其他方式受到几何限制。受到几何限制的改变允许改善的分割结果并且保持计算时间较短。在一个实施例中，执行随机选择以挑选接收到的锚点中的单个锚点。然后，上述单个锚点的坐标中的一个或多个坐标随机改变。例如，人们可能希望仅改变AP的坐标的x分量、y分量或者仅改变z分量等。因此，在一个实施例中，修改器通过首先随机选择一个或多个点并然后随机改变所选择的一个或多个AP的坐标分量的全部坐标分量或其子集来进行双重随机操作。然而，这并不是说所提出的系统仅限于仅改变单个坐标和/或单个点的坐标。还设想到该方法的备选实施例，其中，从该锚点集合中选择多于一个点的子集，并且/或者其中，然后改变所选择的锚点的子集或多于一个坐标分量(例如，全部)。这种改变(初始)锚点的自由度能够由用户调节或者由系统设计者写死。

系统的星座图评价器CE能用于具体评价经修改的星座图，作为星座图修改器CM的输出。星座图评价器CE使用得分来量化评价。在一个优选实施例中(但是必须在全部实施例中)，评价得分基于被拟合到经修改的星座图的超表面。因此，在该优选实施例中，存在将超表面拟合到经修改的星座图的表面适配器CF(或者针对2D图像的曲线拟合器)。换言之，在经修改的星座图中的锚点定义空间边界条件。具体地，锚点指定拟合表面穿过的位置。对此，能够使用样条曲线/表面或者其他拟合技术。然后，能够通过评价拟合表面的几何特性来进行评价。具体地，在已经产生与初始输入目标图像相关联的滤波器响应体积的一个实施例中，评价能够进行如下：针对在拟合表面上的每个体素位置，确定在相应位置处的滤波器响应，然后，对沿着整个拟合表面的全部滤波器响应进行求和。该操作基本上是离散化的表面积分求和。作为对此的备选方案并且为了节省CPU时间，求和被限制到表面点的子集且不在整个表面上延伸。主要设想到滤波器响应值是非负的，使得如此获得的总表面求和的总体量值是关于表面是否被正确定位的良好指示。该求和能够被用作得分或“品质因数”以引导搜索实际裂隙的线分割。换言之，能够预期“最优”表面通过具有相对较高的滤波器响应的体素位置。然而，由于图像包括大量噪声，因此滤波器响应本身可能并不一定值得信赖。因此，所提出的随机改变方案允许为此考虑在噪声中找到正确的裂隙分割。然后，通过比较器COMP将由当前修改的星座图产生的得分和/或通过当前修改的星座图的表面与阈值或其他中止标准进行比较。如果发现满足标准，则认为当前修改的星座图足以很好地定义分割，并且然后如上文简要提到的那样在输出端口OUT处输出当前修改的星座图。除了修改的AP之外，通过当前修改的锚点的拟合表面也被输出作为分割。如前所述，图像处理方案通过在下一迭代周期中再次修改当前修改的星座图等来迭代通过多幅星座图，并且重复上述处理步骤，直到发现满足中止标准。

在一个实施例中，为了几何限制锚点的随机改变，星座图修改器将当前考虑的星座图的单个或多个坐标投影到超平面上。超平面先前已经被拟合到当前星座图中的锚点。如果考虑的图像是3D的(如在本文中针对肺筛查所假设的)，则超平面是2D平面。如果图像是2D的，则超平面仅仅是线。应当注意，该超平面与上文提到的超表面不同。超表面被用于计算得分并且被用于提供分割的准连续表示。另一方面，超平面被用于限制坐标分量的改变。具体地，上文定义的随机改变仅在针对当前星座图的一个或多个锚点的超平面中执行。针对超平面中的改变的坐标中的每个坐标，然后对朝向拟合超表面远离超平面的高度或方向进行内插，以完全构造新的锚点的剩余坐标分量。经过如此构造的新的锚点与来自较早迭代周期的未改变的锚点一起形成针对下一迭代周期的新的后续星座图。锚点的总数、(一个或多个)较早的锚点以及新构造的锚点优选保持不变。该超平面操作由星座图修改器CM来执行。

本文还设想到几何限制随机操作的其他方式。尽管以随机方式执行改变是优选实施例，但是这并不排除确定性方法。随机操作本身能够通过运行随机数发生器以产生预定义范围内的随机数(通常在0与1之间)来执行。然后，将该随机数映射到要改变的坐标分量周围的邻域的坐标中。这还允许几何限制改变。换言之，并且返回参考基于超平面的实施例，一旦锚点被投影到超平面上，坐标分量的改变就被限制到所述超平面中的邻域(椭圆形、圆形、矩形等)。随机数被映射到的邻域的大小能够再次由用户调节或者由设计者预先设置为设计变量。

将意识到，在本文中的迭代在预先设置数量的步骤之后能够中止，或者在检测到足够的收敛时能够中止。

可以根据对例如人类专家执行的一组训练图像执行的手动分割来导出在输入端口处提供的初始星座图。能够假设该组图像和当前处理的目标图像在空间上彼此充分配准，使得能够在面值处获取锚点坐标并将该锚点坐标直接应用于目标图像以定义初始星座图。换言之，不一定要进行坐标变换，但是如果该组图像和目标图像未配准，则仍然要完成这种坐标变换。

因此，能够看到在本文中提出的图像处理系统实施随机化优化方案，其中，得分形成目标函数。在本文中设想到各种方式，以便强制执行在整个迭代中改善得分。

对此，一种方法是简单地忽略返回得分低于在早前的迭代周期中返回的得分的星座图。对此，一种方法是以根据多幅N星座图的预先计算的得分进行排序的列表中的多幅N星座图开始，并且通过对修改器CM的操作仅修改该列表的顶部(N＞n≥1)成员。一旦在输出端口OUT处输出经改善的分割结果(亦即，经调节的星座图和/或通过的表面)，就能够任选地经由可视化器VIZ将经改善的分割结果与输入图像一起可视化，并且在监视器设备MT上绘制经改善的分割结果以用于显示。

除了可视化分割结果之外或者替代可视化分割结果，分类器部件CC基于裂隙线分割来操作以对由目标图像中的单独的结节分割方案识别的结节进行分类。这样的分割方案在本领域中是公知的，并且这些分割方案中的任何分割方案都能够应用于当前提出的系统的目的。更详细地，结节分割定义了输入图像中的子部分。该子部分包括多个体素，所述多个体素具有其各自的图像值。针对结节分割中的每个体素位置，现在将其位置与输出端口OUT处的裂隙分割输出进行比较。具体地，针对每个结节体素，能够将其位置与裂隙位置表面的坐标进行比较，并且能够判定相应的体素位置被定位在分割表面的哪一侧。然后，可以使用投票流程来针对作为整体的结节分割而全局地判定作为整体的结节位于分割的裂隙的哪一侧。使用适合的阈值处理或“投票”能够得出结论，例如，如果全部体素位置中(可能合格的)大多数位于表面的一侧，则整个结节被分类为位于裂隙表面的那一侧。因此，这种分类操作的结果有三种：能够判定结节分割整体位于裂隙表面的一侧，或者能够判定结节分割整体位于在裂隙表面的另一侧，或者结节实际上是跨表面延伸的“横贯结节”。利用医学知识，能够估计结节的恶性程度。精确的裂隙分割还可以告知关于叶本身的位置的信息。因此，能够更准确地确立结节所在的叶。这是期望的结果，因为该位置也是如上文所提到的恶性程度指标。

现在参考图2中的流程图来更详细地解释图1的图像处理系统。然而，应当理解，下文所描述的步骤也可以被理解为本身具有教导功能。特别地，教导不一定与根据图1中的图像处理系统的架构相关联。

出于裂隙分割的目的，将再次主要参考肺图像。然而，这不应被解释为限制，因此，在本文中，在备选实施例中具体设想到对与医学领域无关的其他解剖结构或图像进行编码的图像处理。所提出的方法允许在具有低分辨率和/或高噪声水平的图像中进行鲁棒的分割。

在步骤S210处，接收目标图像(具体地为诸如来自CT、MRI或其他模态的3D图像体积)。在如此接收或单独接收的图像中包含有定义输入图像中的几何星座图的锚点集合。

任选地，先前已经从目标图像中分割出感兴趣的全局解剖结构(例如，一个或两个肺)，以便从输入图像中移除背景信息。其他任选的预处理步骤包括应用于目标图像的边缘滤波以定义针对裂隙线或其他感兴趣结构的可能位置。

将滤波器响应应用于目标图像的每个体素。滤波器值(数值，在本文中被称为“响应”)提供针对目标图像的每个体素(例如，CT体积)的裂隙可能性。由Alexander Schmidt-Richberg等人在“Evaluation of Algorithms for Lung Fissure Segmentation inCTImages”(Bildverarbeitung fur die Medizin2012，编辑：T.Tolxdorff等人，第201-206页，2012年，Spinger Berlin Heidelberg)中描述了各种这样的滤波器，并且在本文中在不同实施例中设想到这些滤波器中的任何滤波器或者其组合。还参见上文在“背景技术”部分中引用的Qi等人的参考文献中的表2(第3页)。裂隙滤波器能够直接基于作为亨氏值的裂隙的表现，或者直接基于肺血管之间的局部空隙(距离变换中的脊线)。具体地，对裂隙位置的确定能够以显式方式或隐式方式或者经由这两者的组合来完成。显式检测基于应用滤波器来检测与周围肺实质相比更高的亨氏值的裂隙。在隐式检测中，将裂隙的位置确定为(较大的)肺血管的局部缺失。这例如能够通过首先使用血管滤波器突出显示血管并且然后将距离变换应用于阈值血管特征图像来完成。距离变换中的脊线提供了针对裂隙位置的候选结果。也能够组合这两种方法(即，显式方法(基于图像中的裂隙的外观)和隐式方法(基于不存在血管结构))。

作为另外的预处理步骤，使用高斯平滑或者任何其他平滑滤波器对滤波器响应体积进行平滑化。如果使用任何边缘滤波器，则优选首先应用边缘滤波器，并且将平滑滤波器应用于边缘滤波器响应体积。相反的顺序(首先使用平滑滤波器，然后使用边缘滤波器)也是可能的。

经过如此预处理的图像体积在本文中将被称为滤波器响应体积(或者裂隙体积)，并且正是该滤波器响应体积在以下步骤中被处理为输入图像。

将由初始接收的锚点所定义的初始星座图适当配准到输入图像上。例如，可以从医学专家系统或数据库等中请求初始星座图，并且根据合适的一组训练肺图像上的早期手动分割来导出初始星座图。如在下文中更详细地解释的，将使用这些初始锚点集合以初始化以下迭代流程。

该方法优选是迭代的。在迭代期间，针对每个迭代步骤产生星座图的序列。因此，下面参考当前星座图，并且这是初始星座图或者在稍后的迭代步骤中产生的星座图。

在步骤S220处，优选但不是一定以随机方式修改当前星座图。在一个实施例中，通过将随机操作应用于多个当前锚点AP中的一个或多个当前锚点AP中的一个或多个坐标分量来实施该随机驱动的修改。

在任选的步骤S230中，将超表面(例如，在3D体积中的2D表面)拟合到AP的当前星座图。更具体地，在三维体积中将二维薄板样条表面拟合到三个叶裂隙(右侧两个并且左侧一个)中的每个裂隙。每个样条表面由固定数量F的3D锚点来支撑。例如。针对大垂直裂隙，F＝1；并且针对小水平裂隙，F＝12。

在步骤S240处，然后评价星座图。这能够在本文中设想到的许多不同的实施例中完成。在一个实施例中，评价基于超表面结合滤波器响应体积的值。更具体地，拟合表面挑选出滤波器响应值集合(即，表面所通过的位置处的那些滤波器响应值)。换言之，形成表面积分的离散化版本。在拟合表面上的滤波器响应值的求和定义了目标函数，并且求和被认为是得分/品质因数，并且在本文中迭代地改善(在某种情况下为增大)该得分。因此，所提出的方法是随机优化流程。然而，得分并不一定增长，因为这在很大程度上是公式问题，亦即，得分是被公式化为效用(在此处为效用)还是成本。在后面的公式中，迭代优化将相应地旨在降低得分。在一个实施例中，利用反映某些解剖学边界条件(例如，每片叶的典型体积、裂隙的典型法向向量方向(角度))的数值权重对得分进行加权。例如，对于小右水平裂隙，仅针对比大垂直裂隙更为颅位的位置来累积滤波器响应。

在步骤S250处，将针对当前星座图(在这种情况下为针对当前星座图的表面积分)的品质因数与一个或多个停止条件或标准的预定义集合进行比较。

如果不满足该标准，则流程返回到步骤S220以再次将当前星座图修改成新的星座图，并且该方法前进到先前的步骤以获得经更新的品质因数。一种停止标准可以包括将在迭代期间生成的当前的品质因数和早前的品质因数进行比较以确定两个相继的品质因数之间的变化水平。如果这种变化下降到某个阈值以下，则确定该迭代收敛到足够的水平并且中止迭代。

如果满足停止标准，则在步骤S260处输出最新的可用星座图作为裂隙分割的定义。

根据一个实施例，所提出的图像处理方法被配置为确保在每个迭代周期期间产生的品质因数不会恶化，但是至少维持住，最好能得到改善。对此，一种方法是使用基于列表的方案，下文将对此进行更详细的解释。更具体地，根据一个实施例，星座图列表被设置为不具有单幅初始星座图，而是具有N(≥1)幅典型星座图的列表。具体地，星座图列表是利用多个N幅典型星座图来发起的并根据多个手动分割而导出的。在步骤S240处评价列表上的每个新的星座图，并且根据最高得分(品质因数)对列表重新排序。仅针对顶部n幅星座图(具有最高得分的星座图)中的每幅星座图在步骤S220处导出的M(≥1)个随机变量，并且将这些随机变量添加到列表中。

然而，这种强制执行收敛的方法不应被解释为排除实现品质因数改善的其他方法。

根据一个实施例，修改当前星座图的步骤S220包括当改变一个或多个锚点的坐标分量中的一个或多个坐标分量时几何限制几何自由度。在一个实施例中，这能够通过以下方式使用给定的当前星座图来完成：将3D样条锚点投影到线性支撑平面(超平面)上。该投影操作在超平面中产生x，y平面坐标和内插高度z。然后，在超平面中的现有的x-y样条锚定位置的某个固定邻域半径中随机选择新的样条锚点的x-y位置。针对这个新的x-y支撑平面位置，通过使(如从当前样条表面内插的)当前高度在某个搜索范围内改变来确定最优z高度。在这种情况下产生一系列星座图(每幅星座图改变z高度)，并且在步骤S250处通过使用针对每个z高度的目标函数(例如通过计算表面积分)来重新评价每幅星座图。然后，新的x，y坐标分量和新的z高度一起定义3D中的新的锚点。应当理解，在以上方法中，并不创建额外的锚点，亦即，锚点的总数保持不变。然后，在星座图中采用经由上文描述的改变方法来获得的新的锚点，而不是已经经历改变的锚点。然而，在备选实施例中，锚点的数量确实可以改变。

在迭代结束时，分割结果是：i)在列表顶部处的星座图，或者ii)更一般地，列表顶部n个条目内的全部星座图。星座图本身是分割的离散定义。分割的合适(至少准)连续表示是在原始目标图像中形成裂隙线或叶界面的相应超表面。

应当理解，上文描述的根据拟合超表面定义品质因数的方法并不是在本文中设想到的仅有的实施例。在本文中还可以考虑星座图的其他几何特性以定义几何激发的品质因数或其他品质因数。例如，星座图可以被视为离散的栅格结构。受材料科学(弹性理论)思想得到启发，能够定义内部“虚拟”力和外部“虚拟”力来引导优化。

在上述列表方法中，应当理解，输出不一定是单个最佳分割结果(顶部条目)，而是，在列表顶端处的全部n(＞1)幅星座图都可以被认为是最优的。换言之，在该实施例中，可以在步骤S260处提供多个(n个)输出，但是这能够由用户来调节。换言之，仅输出顶部星座图作为最终分割结果，或者输出全部顶部n(＞1)幅星座图。

然后，能够使用由相应的锚点星座图和/或其超表面定义的一个或多个裂隙分割来处理初始目标图像。在一个实施例中，该处理是在步骤S270B中完成的，其中，分割结果被覆盖在初始图像上并且被绘制以在显示单元上显示。这允许用户视觉检查所计算的分割的质量。

除此之外和/或替代地，在步骤S270A处基于分割来执行对图像结构的分类。在一个实施例中，在运行上文所述的分割流程之前或之后，在单独的步骤中通过任何已知的结节分割技术来执行应用于初始输入图像的结节分割。然后，能够使用分割的结节结构相对于在步骤S260处获得的裂隙分割的接近度来对结节分割的恶性程度进行分类。更具体地，针对给定的肺结节分割，对全部体素位置进行采样以进行投票，然后使用可能合格的多数来在整体上判定结节属于哪一叶。

尽管不一定在全部实施例中，但是在优选实施例中，锚点的总数在整个迭代期间保持固定。换言之，尽管改变了现有锚点中的一个或多个锚点，但是每幅星座图中的锚点的总数保持不变。要使用的锚点的数量将因应用不同而不同。例如，在肺成像的当前背景下，已经观察到数量F＝#(AP)～10或更小数量以产生足够好的结果。这是因为，典型的裂隙是分段光滑表面，其具有一些但不是很多的表面皱纹。因此，对F个锚的限制充当有利于在解剖学上有意义的星座图的正则化。界定的数F保证能够在非常短的时间内计算评价(对滤波器响应体积的采样)所需的每个样条表面。(样条表面计算成本随F²增加)。在所涉及的表面结构更加苛刻且更为困难的其他背景下，可以使用更高数量的锚点来定义相应的星座图。

特别地，能够完全或者至少部分地并行进行对星座图变体的生成(S220)和评价(S250)的步骤，从而使计算时间加快。例如，可以并行地计算不同的星座图并且然后能够并行评价这些星座图。生成n幅顶级星座图的随机变体确保了优化不会陷入局部最大值。

总之，所提出的方法(及相关系统)：

-对高噪声是鲁棒的，例如在低剂量筛查CT中

-对有限分辨率是鲁棒的，例如在厚切片重建CT中

-允许有效计算和低实施成本

-在失败的情况下提供平稳的降级

-成功协商甚至在滤波器响应体积中遇到的大量伪局部最大值

现在参考图3，其示出了与所提出的方法有关的示例性图像。图3A(已经在上文提到)示出了裂隙滤波器响应体积的示例。能够看到，除了真正的裂隙位置之外，滤波器还产生大量“假阳性”结果，其被示为分布在整个肺体积中的灰色图像部分。

图3B和图3C示出了来自肺癌筛查的典型的低剂量、高噪声、低分辨率CT重建。这些图图示了因裂隙滤波器产生的虚假或假阳性结果(以灰色显示)以及针对大裂隙和小裂隙(其分离右肺的上叶、中叶和下叶)的拟合解(以白色图示)。图4是针对大右裂隙(上图)和小右裂隙(下图)的得分的演变的示例图示。能够看到，能够实现足够的收敛水平，特别是针对大约一千次迭代的小右裂隙。

应当理解，图3中的图像以及图4中的迭代演变仅仅是示例性的并且限制了在本文中所描述的内容。

在本发明的另一示例性实施例中，提供了一种计算机程序或计算机程序单元，其特征在于，其适于在适当的系统上运行根据前述实施例中的一个实施例的方法的方法步骤。

因此，计算机程序单元可以被存储在计算机单元中，所述计算机程序单元也可以是本发明的实施例的部分。该计算单元可以适于执行或引发对上述方法的步骤的执行。此外，该计算单元可以适于操作上述装置的部件。该计算单元能够适于自动操作和/或运行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此，可以装备数据处理器来执行本发明的方法。

本发明的该示例性实施例覆盖从一开始就使用本发明的计算机程序，以及借助于将现有程序更新转换为使用本发明的程序的计算机程序二者。

另外，计算机程序单元可以能够提供全部必要步骤以完成如上所述的方法的示例性实施例的流程。

根据本发明的另外的示例性实施例，提出了一种计算机可读介质，例如，CD-ROM，其中，该计算机可读介质具有被存储于所述计算机可读介质上的计算机程序单元，所述计算机程序单元由前面的章节所描述。

计算机程序可以被存储和/或被分布在合适的介质(特别地，但是不一定是非瞬态介质)上，例如，与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质，但是也可以以其他形式被分布，例如，经由互联网或其他有线或无线的电信系统被分布。

然而，计算机程序也可以被存在于网络(如万维网)上，并且能够从这样的网络被下载到数据处理器的工作存储器中。根据本发明的另外的示例性实施例，提供了用于使计算机程序单元可用于下载的介质，所述计算机程序单元被布置为执行根据本发明的先前描述的实施例中的一个实施例的方法。

必须指出，本发明的实施例是参考不同主题来描述的。特别地，一些实施例是参考方法型权利要求来描述的，而其他实施例是参考装置型权利要求来描述的。然而，除非另有说明，本领域技术人员将从以上和以下的描述中推断出，除属于一种类型的主题的特征的任意组合之外，涉及不同主题的特征之间的任意组合也被认为在本申请中被公开。然而，全部的特征都能够被组合来提供多于特征的简单加合的协同效应。

尽管已经在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描述应当被认为是图示性或示例性的，而非限制性的。本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的发明时能够理解并实现对所公开的实施例的其他变型。

在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。尽管某些措施被记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记都不应被解释为对范围的限制。

Claims (13)

1.一种图像处理系统，包括：

-输入接口(IN)，其被配置用于接收n[≥2]维输入图像，其中，在所述输入图像中定义有锚点集合，所述锚点集合形成输入星座图；

-星座图修改器(CM)，其被配置为通过改变所述锚点中的至少一个锚点的至少一个坐标并将所述输入星座图的所述至少一个锚点的坐标中的至少一个坐标投影到通过所述锚点的超平面上来将所述输入星座图修改成经修改的星座图，其中，所述超平面先前被拟合到所述输入星座图中的所述锚点，并且其中，所述改变被限制在所述超平面内；

-星座图评价器(CE)，其被配置为评价所述经修改的星座图以产生得分；

-比较器(COMP)，其被配置为将所述得分与质量标准进行比较，所述标准评价所述经修改的星座图的适合性以定义针对所述输入图像的分割；以及

-输出接口(OUT)，其用于在所述得分满足所述标准的情况下输出所述经修改的星座图。

2.根据权利要求1所述的图像处理系统，其中，所述星座图修改器(CM)被配置为应用随机操作来改变所述至少一个坐标。

3.根据前述权利要求中的任一项所述的图像处理系统，包括表面拟合器(CF)，所述表面拟合器被配置为将[n-1]维超表面拟合到所述经修改的输入星座图，并且其中，所述星座图评价器(CE)基于所述超平面来产生所述得分，其中，特别地，所述超表面被输出作为所述分割。

4.根据权利要求3所述的图像处理系统，包括分类器部件(CC)，所述分类器部件被配置为对所述输入图像中的经分割的图像部分是否位于所述超表面的任一侧或者所述经分割的部分是否延伸通过所述超表面进行分类。

5.根据前述权利要求中的任一项所述的图像处理系统，包括可视化器(VIZ)，所述可视化器被配置为在显示设备(MT)上利用所述超表面或所述星座图来对所述输入图像进行可视化。

6.根据前述权利要求中的任一项所述的图像处理系统，被配置为迭代通过包括所述输入星座图的多幅星座图，以便改善或者至少维持所述得分。

7.根据前述权利要求中的任一项所述的图像处理系统，其中，锚点的数量保持固定。

8.根据前述权利要求中的任一项所述的图像处理系统，其中，所述输入图像是3D图像体积，特别是人或动物的肺的3D图像体积。

9.一种图像处理方法，包括以下步骤：

-接收(S210)n[≥2]维输入图像，其中，在所述输入图像中定义有锚点集合，所述锚点集合形成输入星座图；

-通过改变所述锚点中的至少一个锚点的至少一个坐标并将所述输入星座图的所述至少一个锚点的坐标中的至少一个坐标投影到通过所述锚点的超平面上来将所述输入星座图修改(S220)成经修改的星座图，其中，通过改变所述锚点中的至少一个锚点的至少一个坐标并将所述输入星座图的所述至少一个锚点的坐标中的至少一个坐标投影到通过所述锚点的超平面上来将所述改变限制在所述超平面内，其中，所述超平面先前被拟合到所述输入星座图中的所述锚点，并且其中，所述改变被限制在所述超平面内；

-评价(S240)所述经修改的星座图以产生得分；

-将所述得分与质量标准进行比较(S250)，所述标准评价所述经修改的星座图的适合性以定义针对所述输入图像的分割；并且

-在所述得分满足所述标准的情况下输出(S260)所述经修改的星座图。

10.根据权利要求9所述的图像处理方法，包括：将[n-1]维超表面拟合(S230)到所述经修改的输入星座图，其中，在所述评价步骤(S250)中的所述得分基于所述超表面。

11.根据权利要求10所述的图像处理方法，其中，所述超表面被输出作为所述分割。

12.一种计算机程序单元，所述计算机程序单元当由一个或多个处理单元(PU)运行时适于执行根据权利要求9-11中的任一项所述的方法的步骤。

13.一种计算机可读介质，在其上存储有根据权利要求12所述的程序单元。