CN100538741C - 肺结节检测的候选项集产生 - Google Patents

Abstract

一种用于三维体积数据中的候选项集产生的方法包括：形成包括被标记的前景体素的三维体积数据的二进制体积图像(101)；估计二进制体积数据中的被标记的前景体素的多个形状特征(102)，这包括从二进制体积图像中的前景体素中识别峰值体素和高曲率体素、对边界和每个峰值体素累加多个置信度值、并且从多个置信度值中检测置信度峰值，其中置信这些度峰值被确定为候选点；并且在给出已检测到的置信度峰值的情况下精炼候选点(103)，其中已精炼的候选点被确定为候选项。

Description

肺结节检测的候选项集产生

本申请要求于2004年8月31日提交的序列号为No.60/605,787的美国临时申请的优先权，所述临时申请在此全文引入作为参考。

发明背景

1.技术领域

本发明涉及图像分析，并且尤其是涉及用于根据3D体积数据产生目标候选项的列表的候选项集产生(candidate generation)方法。

2.相关领域讨论

能够可靠地和准确地从输入的3D体积数据中检测到结节候选项的候选项集产生方法在自动结节检测中起关键作用。在典型的3D体积数据(尺寸为512×512×300)中，包括体积数据中能识别对象的主要部分的、诸如血管树的非结节(背景组织)结构构成极其复杂。另一方面，目标结节仅是少数小型圆形对象，其位于附近或者利用复杂的背景组织结构遮蔽。不存在能够轻易被确定的区别特征，以区分目标结节与复杂的背景组织结构。存在大量背景组织显示类似结节属性的位置。设计通过有效地舍弃那些大量假冒位置而能够可靠和准确地识别存在真正结节的少数真正位置的方法是非常困难的。另外，需要在3D体积数据中处理的信息量巨大(胸部HRCT(高分辨率计算机断层扫描)数据的尺寸通常是512×512×300)。使用将复杂的和耗费计算的分析用于3D体积数据中的每个位置(体素)的技术通常是不实用的。

因此，需要一种用于计算上高效的候选项集产生方法的系统和方法。

发明内容

根据本公开内容的实施例，一种用于三维体积数据中的候选项集产生的计算机实现方法包括：形成包括被标记的前景体素的三维体积数据的二进制体积图像；估计二进制体积数据中的被标记的前景体素的多个形状特征，这包括从二进制体积图像中的前景体素中识别出峰值体素和高曲率体素、对边界和每个峰值体素累加多个置信度值(confidence value)、并且从多个置信度值中检测到置信度峰值，其中这些置信度峰值被确定为候选点；以及在给出已检测到的置信度峰值的情况下精炼候选点，其中已精炼的候选点被确定为候选项。

形成二进制体积图像包括：低通滤波三维体积数据，移除三维体积数据的边界，将三维体积数据分割成前景和背景部分，其中前景中的体素被标记，并且对大于预定尺寸的所有前景对象确定区域增长标记，其中前景对象包括多个前景体素，而预定尺寸是体素的数目。

分割包括：确定体素强度的估计阈值，并且将每个体素与该估计阈值进行比较，以确定前景体素，并且标记这些前景体素。

累加多个置信度值包括：确定每个峰值体素周围的曲面，确定包括边界上或围绕每个曲面中心的每个高曲率点和峰值点的置信度得分的置信度阵列，将体素周围的置信度得分与阈值进行比较，用于确定候选点的存在，并且通过候选点标记具有所需置信度得分的点。

精炼候选点包括：重新定位候选点，调节候选点的置信度得分，根据所调节的置信度得分将候选点分类，以及返回最高的n个候选点作为目标对象，其中n是正整数。根据本公开内容的实施例，提供一种程序存储装置，其能由机器读取，确实地包括由机器能执行的程序指令，以执行用于三维体积数据中的候选项集产生的方法步骤。该方法包括：形成包括被标记的前景体素的三维体积数据的二进制体积图像，以及估计二进制体积数据中的被标记的前景体素的多个形状特征。估计多个形状特征包括：从二进制体积图像中的前景体素中识别出峰值体素和高曲率体素，对每个边界和每个峰值体素累加多个置信度值，从多个置信度值中检测到置信度峰值，其中这些置信度峰值被确定为候选点。该方法还包括在给出已检测到的置信度峰值的情况下精炼候选点，其中已精炼的候选点被确定为候选项。

根据本公开内容的实施例，用于在三维体积数据中产生结节候选项的计算机实现方法包括：在三维体积数据中确定多个前景对象，确定多个前景对象的多个形状特征，其中这些形状特征得自三维体积数据的横截面分析，该横截面分析包括：选择具有所需形状特征的前景对象，并且将选定的前景对象标记为候选项，以及返回这些候选项。

该横截面分析包括：从二进制体积图像中的前景对象中识别出峰值体素和高曲率体素，对每个边界体素和每个峰值体素累加多个置信度值，并且从多个置信度值中检测到置信度峰值，其中这些置信度峰值被确定为候选项。该方法包括：当且仅当在三维体积数据的所有其横截面中将体素分类为峰值体素时，才将该体素分类为峰值体素。该方法包括：当且仅当体素不是峰值体素并且在三维体积数据的所有其横截面中被分类为峰值体素或高曲率体素时，才将该体素分类为高曲率点。

附图简述

下面将参考附图，更详细地描述本发明的优选实施例：

图1是根据本公开内容实施例的用于候选项集产生的方法的流程图；

图2是根据本公开内容实施例的系统的图示；

图3是根据本公开内容实施例的分割方法的流程图；

图4是根据本公开内容实施例的用于横截面分析的方法的流程图；以及

图5是根据本公开内容实施例的用于峰值检测的方法的流程图。

优选实施例详述

通常，肺结节显示了小型圆形属性。该肺结节可能是实心对象或利用血管树遮蔽。可获得多种技术来确定3D形状特征，这些3D形状特征能被用于区分小型圆形结节与具有其它形状属性的对象。然而，在这种情形下，出于多种原因，诸如噪声的稳定性、目标对象的不规则性(难以估计连续高斯曲率值)、限定感兴趣的目标区域的困难和计算成本，这些技术不是有效的。根据本公开内容的实施例，一种方法使用得自多个横截面分析的形状特征在3D体积数据(例如，计算机断层扫描数据(CT)或磁共振成像数据(MRI))中有效地产生了结节候选项。已经在两组HRCT图像上论证了，这种技术能够实现很高的准确度，同时具有有限量的计算成本。

根据本公开内容的实施例，一种用于候选项集检测的方法包括：处理块101，其中结节和诸如血管树的具有高强度值的背景组织结构被标记为前景对象，以形成二进制体积图像；检测块102，其中使用横截面分析来估计形状特征，识别高曲率段，与横截面分析一起累加置信度值，从置信度值和对象强度值中检测到置信度峰值；以及后处理块103被用来精炼候选项集结果，(参见图1)。

应理解的是，可用各种形式的硬件、软件、固件、专用处理器或其组合来实现本发明。在一个实施例中，本发明可用软件被实现为确实被包含在程序存储装置上的应用程序。该应用程序可被上载到包括任何适当结构的机器并且由该机器执行。

参考图2，根据本公开内容的实施例，用于实现用于在3D体积数据中产生候选项的方法的计算机系统201尤其能够包括中央处理单元(CPU)202、存储器203和输入/输出(I/O)接口204。该计算机系统201通常通过I/O接口204被耦合到显示器205和诸如鼠标及键盘的各种输入装置206。显示器205能够显示虚拟体积和所记录的图像的视图。辅助电路能够包括诸如高速缓冲存储器、电源、时钟电路和通信总线的电路。存储器203能够包括随机存取存储器(RAM)、只读存储器(ROM)、磁盘驱动器、磁带驱动器等或者其组合。本发明能够被实现为例行程序207，该例行程序207被存储在存储器203中并且由CPU 202执行，以处理来自信号源208的信号。同样，计算机系统201是通用计算机系统，当执行本发明的例行程序207时，该通用计算机系统成为专用计算机系统。

计算机平台201还包括操作系统和微指令代码。在此所描述的各种过程和功能可以是部分微指令代码或者是部分经由操作系统执行的应用程序(或者它们的组合)。另外，各种其它外围装置可被连接到诸如附加的数据存储装置和打印装置的计算机平台。

还应理解的是，因为一些在附图中所描述的组成系统部件和方法步骤可用软件来实现，所以系统部件(或者过程步骤)之间的实际连接可能取决于本发明被编程的方式而不同。在给出在此所提供的本发明的教导的情况下，相关领域的普通技术人员能够设想本发明的这些和相似的实现方式或结构。

处理阶段101包括低通滤波104、边界移除105、分割106和区域增长107。

输入的3D体积CT数据的低通滤波104改进了目标前景对象的二进制化(平滑边界)，并且改进了后面的处理步骤中的不同形状参数(法向方向，曲率等)的估计。低通滤波104能够以多种不同方式来实现。低通滤波的一种方法是在x-y平面中进行滤波。低通滤波器能够是在x-维和y-维上具有相同的标准偏差值的3D高斯滤波器，其具有例如为2的缺省值。低通滤波独立用于每个切片。

对于边界移除105，清除邻近3D体积CT数据的边缘(例如，距离体积数据边界5个体素)的每个体素，以确保后面的步骤并不需要处理边界体素，这些边界体素具有不同的邻域定义。这显然简化了后面的处理步骤的实现。

分割106标记了前景对象，这些前景对象包括血管、结节以及其它具有比来自背景(其它任何东西)的输入的CT图像(表示前景对象的强度值可能自动或由用户调整)中的其它体素的强度值更高的强度值的其它组织，以形成二进制体积图像。这通过输入的体积图像的二进制化来实现。这种二进制化过程应当能够正确地将所有结节标记为前景对象。在后面的处理步骤中不能检测到未被标记为前景对象的任何结节。同样重要的是，被标记的前景对象并不包含太多背景体素，这有助于使结节在形状上能与其它非目标前景结构相区分，并且因而显著地减少了结节被正确识别的可能性。使用自适应阈值方法沿着z-维逐个切片地实现分割106。

参考图3，自适应阈值方法包括估计强度值的平均值，这些强度值在目标像素周围有效大小(约40×40)的窗内的预定义范围中。在切片中针对每个像素确定估计值，301。预定义范围的实例是0-800。所估计的平均值增大预定义的偏移量(例如，350)，以形成目标像素的估计阈值(ET)，302。如果ET大于预定义的高阈值(例如，800)，那么将ET设置为预定义的高阈值。如果其强度值低于预定义的低阈值的体素的百分比大于预定义阈值(例如，70％)，那么ET被设置为预定义的低阈值。如果目标像素的强度值大于估计阈值ET，则该像素被标记为前景，303。

区域增长标记所有前景体素以及边界体素，这些体素被用于后面的处理。在块107，形态学上的膨胀运算被用于大小(被包含在对象中的体素数目)小于预定义阈值(例如，100)的所有被连接的前景对象。形态学运算的动机是确保后面的处理步骤中的可靠曲率估计。

检测阶段102包括横截面分析108、置信度阵列的低通滤波109、以及峰值检测110。

通过将已分割的体积数据分解成多个横截面并且分析在横截面中追踪的曲线(边界)，横截面分析108从在先步骤中产生的被标记的前景区域中检测到小型圆形对象，以累加所追踪的曲线周围的证据(evidence)。建立与输入的3D体积CT数据大小相同的3D阵列(置信度阵列)，以记住所累加的证据。如果存在结节，则在结节周围的每个横截面中的2D曲线上能够检测到比血管和其它非结节结构数目更多的高曲率点。结节可以充分地利用非目标前景组织来遮蔽，存在在2D横截面曲线上产生比非目标前景组织结构更多高曲率点的高概率。

参考图4，横截面分析108包括：在每个横截面中识别出高曲率(曲率值大于阈值，例如，210度)和峰值(曲率值在局部邻近处达到最大值，例如，中心在峰值的15-点窗)体素，401。分析将每个表面点分类402成(i)峰值或(ii)高曲率点或(iii)正常点。当且仅当点在所有其横截面中被分类为峰值点时，该点才被分类为峰值点。当且仅当点不是峰值点且在所有其横截面中被分类为峰值或高曲率点时，该点才为高曲率点。横截面分析对在每个横截面中具有有效的高曲率点和峰值的百分比的边界累加证据，403。横截面分析对每个峰值累加置信度证据，404：

-从峰值点开始，应用边界片增长(boundary patch growing)方法来产生小曲面，该边界片增长方法在具有高曲率或峰值标记的对象表面点上增长并且使用到初始峰值位置的距离和增长大小来控制增长形状。所产生的片的形状为半球形。

-由于确定了曲面的每个要素点，那么估计法线方向。

-确定曲面上的两个高曲率要素的法线的交叉点。如果该交叉点距离曲面的中心足够近，则其值由点类型(高曲率或峰值)确定的置信度得分被加到置信度阵列中的交叉点位置。需要将交叉点位置加到置信度阵列的交叉点到曲面中心的接近性可被调整，以实现所需的结果。

在每个位置，置信度阵列中的置信度得分指示了附近可能存在结节的可能性。如果大量附近的点显示置信度得分值，则这表示存在结节。

由于结节形状变化以及在输入的体积数据中存在复杂的非目标前景结构，所以结节和置信度阵列中的其他类似结节的非目标前景对象周围的置信度得分值以类簇形式稀疏分布。因此，需要低通滤波块109，用于进行可靠的真实的峰值检测。能够使用高斯滤波器。置信度阵列的滤波被用在所有x-维、y-维和z-维上。

局部峰值检测：

局部峰值检测110识别出置信度阵列中的证据的有效浓度，以产生初始检测候选项。图5图示了局部峰值检测方法中的一种方法，其中：

-首先应用局部最大值检测，以检测潜在的峰值候选项位置，501。

-然后在具有与最大可检测对象的大小(例如，10mm)相同的局部邻域中再检查峰值候选项位置，以确保其将具有最大得分值的体素安置在未被标记为已检测到的体素中，502。应用受控体积增长方法，以获得加权总和和已更新的最大权重以及相应的被检测到的位置(并不必在前景区域中的具有最大置信度得分值的位置)，该受控体积增长方法在具有有限增长大小的非零置信度阵列要素内增长。

-如果检测到的位置不在前景区域的内部，则应用局部搜索过程，以找到如新检测到的位置的最近边界点，503。

-应用在具有有限增长大小的前景区域内增长的受控体积增长，以获得置信度得分的已更新的加权总和。最大置信度得分、增长区域中的置信度得分的总和以及加权最小大小前景对象的局部峰值调节的线性组合被确定为当前检测的最终置信度得分值，并且随同检测到的位置一起被插入到检测列表中，504。

-所有在到被检测到的位置的小距离内的周围体素被标记为已被处理，505。

后处理：

后处理对最初被检测到的候选项进行调节。该最初被检测到的候选项位置是具有有限移位量(a limited among of shift)的置信度阵列中已检测到的峰值的位置，以确保该位置在前景区域中，由于形状变化和在一些小前景对象上的形态学运算，该位置可能不总是在目标对象区域中。后处理步骤实现了变形方法，该变形方法使用迭代梯度递降方法来调节候选项的位置，以确保该位置在前景区域内。

候选项集再定位方法包括：

-根据强度、曲率和图像梯度信息定义成本函数，以将最初被检测到的位置调整到最可能的前景位置。

-指定值为4的由预定义参数控制的变形过程的迭代次数。

-沿着迭代地达到最小成本值的方向调节已检测到的位置。

在调节每个位置之后，应用标准化方法来调节最终置信度得分值。标准化方法包括：

-定义3D邻域，该3D邻域为球形。

-围绕每个已检测到的对象的已定义的3D邻域迭代地进行搜索，以核查前景体素轮廓的连贯性。

-根据最大连贯性值调节已检测到的位置。

-使用连贯性和平均强度值的组合，调节已检测到的候选项的置信度得分值。

该标准化方法确保被调整的候选项位置在目标候选项对象中心的附近，并且使用连贯性值(轮廓的标准偏差)和前景对象的平均强度值的组合来调节置信度得分，以使得最终候选项结果更准确。最终，根据标准化的置信度值分类已检测到的结节。返回最高的n个候选项，例如，在数据中显示或识别出这些候选项。然后可以诊断这些返回的候选项。

实验结果：

在两组胸部HRCT数据上测试了根据本公开内容的实施例的一种方法。数据组1包括40个体积数据，其中x-维和y-维是512×512。平均而言，CT数据在z-维上包括300个切片，其中最小值为246个切片，而最大值为446个切片。通常，存在成千上万个位置(想象512×512×300图像，血管树和噪声结构遍布该图像)，其中局部组织结构在输入的体积胸部图像中显示类似结节的属性。然而，在数据组1中，医生仅识别出总共109个标准分割图像(ground truth)结节。应当注意，即时仅存在医生标记为标准分割图像的109个结节，在两个数据集中仍存在大量类似于结节、但不是结节或未被识别为结节的对象，这些对象可能是医生遗漏的结节或者根据除形状信息之外的附加知识而被认为是正常血管树结构的对象。

所提出的技术的目标应用将被用于肺部CAD系统，以根据输入的肺部CT图像产生结节候选项，这些结节候选项由肺部CAD系统使用附加的结构和环境信息进一步验证。对于实践中的候选项集产生方法，在滤波通过大量潜在的位置之后，该真正的结节应当出现在已检测到的候选项列表中，该候选项列表可能包括500个候选项。被定义为在所有被证实的标准分割图像结节中的候选项列表中检测到的标准分割图像结节的百分比的灵敏度成为有效的性能标准。在测试中，使用该标准来作为所提出的技术的性能的基准。

在数据组1上的实验示出了所提出的方法的灵敏度对于500个候选项集产生是96.4％。该结果表明，所提出的对象检测技术性能良好。从实例的3D视图中能够看出，该方法能够检测广泛利用血管树遮蔽的结节，这证实了所提出的3D对象检测方法在实际应用中的有效性。

数据组2包括具有与数据组1相似尺寸的16个体积数据。总共识别出50个结节。对外部研究组，该数据组不可获得。该性能测试由在Malvern，PA的西门子CAD组独立执行。该灵敏度证明对于500个候选项集产生为96％。

通常，使用运行Windows XP的Dell P4 2.4Ghz，用于处理具有300个切片的CT数据的计算时间为约35秒。低通滤波、二进制化和后处理步骤花费计算时间的约87％。

已经描述了3D体积数据中的候选项集产生的系统和方法的实施例，应注意到，本领域技术人员根据上述教导能够进行修改和变型。因而应理解的是，在所公开的本发明的特殊实施例中可以进行改变，所述改变在如由随附权利要求所定义的本发明的范围和精神之内。因而已经详细和尤其根据专利法所需描述了本发明，要求保护和需要得到专利特许证保护的内容在随附的权利要求中被阐述。

Claims (16)

1、一种用于三维体积数据中的候选项集产生的计算机实现方法，该计算机实现方法包括：

形成包括被标记的前景体素的三维体积数据的二进制体积图像；

估计二进制体积数据中的被标记的前景体素的多个形状特征，这包括：

从二进制体积图像中的前景体素中识别峰值体素和高曲率体素，

对每个边界体素和每个峰值体素累加多个置信度值，

从多个置信度值中检测置信度峰值，其中所述置信度峰值被确定为候选点；以及

在给出已检测到的置信度峰值的情况下，精炼候选点，其中已精炼的候选点被确定为候选项。

2、根据权利要求1所述的计算机实现方法，其中，形成二进制体积图像包括：

低通滤波三维体积数据；

移除三维体积数据的边界体素；

将三维体积数据分割成前景和背景部分，其中前景中的体素已被标记；以及

对大于预定尺寸的所有前景对象确定区域增长标记，其中前景对象包括多个前景体素，而预定尺寸是体素的数目。

3、根据权利要求2所述的计算机实现方法，其中，分割包括：

确定体素强度的估计阈值，并且将每个体素与估计阈值进行比较以确定前景像素；以及

标记所述前景像素。

4、根据权利要求1所述的计算机实现方法，其中，累加多个置信度值包括：

确定围绕每个峰值体素的曲面；

确定包括每个高曲率点和围绕每个曲面中心的峰值点的置信度得分的置信度阵列；

将体素周围的置信度得分与阈值进行比较，用于确定候选点的存在；以及

通过候选点标记具有所需置信度得分的体素。

5、根据权利要求1所述的计算机实现方法，其中，精炼候选点包括：

重新定位候选点；

调节候选点的置信度得分；

根据所调节的置信度得分将候选点分类；以及

返回最高的n个候选点，其中n是正整数。

6、根据权利要求5所述的计算机实现方法，其中，诊断所述最高的n个候选点。

7、一种用于三维体积数据中的候选项集产生的设备，所述设备包括：

用于形成包括被标记的前景体素的三维体积数据的二进制体积图像的装置；

用于估计二进制体积数据中的被标记的前景体素的多个形状特征的装置，其包括：

用于从二进制体积图像中的前景体素中识别峰值体素和高曲率体素的装置，

用于对每个边界体素和每个峰值体素累加多个置信度值的装置，

用于从多个置信度值中检测置信度峰值的装置，其中置信度峰值被确定为候选点；以及

用于在给出已检测的置信度峰值的情况下精炼候选点的装置，其中已精炼的候选点被确定为候选项。

8、根据权利要求7所述的设备，其中，用于形成二进制体积图像的装置包括：

用于低通滤波三维体积数据的装置；

用于移除三维体积数据的边界体素的装置；

用于将三维体积数据分割成前景和背景部分的装置，其中前景中的体素被标记；以及

用于针对大于预定尺寸的所有前景对象确定区域增长标记的装置，其中，前景对象包括多个前景体素，而预定尺寸是体素的数目。

9、根据权利要求8所述的设备，其中，用于分割的装置包括：

用于确定体素强度的估计阈值并且将每个体素与估计阈值进行比较以确定前景像素的装置；以及

用于标记所述前景像素的装置。

10、根据权利要求7所述的设备，其中，用于累加多个置信度值的装置包括：

用于确定围绕每个峰值体素的曲面的装置；

用于确定包括每个高曲率点和围绕每个曲面中心的峰值点的置信度得分的置信度阵列的装置；

用于将体素周围的置信度得分与阈值进行比较以确定候选点的存在的装置；以及

用于通过候选点标记具有所需置信度得分的体素的装置。

11、根据权利要求7所述的设备，其中，用于精炼候选点的装置包括：

用于重新定位候选点的装置；

用于调节候选点的置信度得分的装置；

用于根据所调节的置信度得分将候选点分类的装置；以及

用于返回最高的n个候选点的装置，其中n是正整数。

12、根据权利要求11所述的设备，其中诊断所述最高的n个候选点。

13、一种用于在三维体积数据中产生结节候选项的计算机实现方法，该计算机实现方法包括：

在三维体积数据中确定多个前景对象；

确定多个前景对象的多个形状特征，其中所述形状特征得自三维体积数据的横截面分析，该横截面分析包括选择具有所需形状特征的前景对象，并且将选定的前景对象标记为候选项；以及

返回所述候选项。

14、根据权利要求13所述的计算机实现方法，其中，横截面分析包括：

从二进制体积图像中的前景对象中识别峰值体素和高曲率体素；

对每个边界体素和每个峰值体素累加多个置信度值；以及

从多个置信度值中检测置信度峰值，其中置信度峰值被确定为候选项。

15、根据权利要求14所述的计算机实现方法，还包括，当且仅当在三维体积数据的所有其横截面中将体素分类为峰值体素时，才将该体素分类为峰值体素。

16、根据权利要求14所述的计算机实现方法，还包括，当且仅当体素不是峰值体素并且在三维体积数据的所有其横截面中被分类为峰值体素或高曲率体素时，才将该体素分类为高曲率点。

Images