CN106548178A - 一种基于肺结节ct图像的语义特征自动打分方法及系统 - Google Patents

Abstract

本发明公开了一种基于肺结节CT图像的语义特征自动打分方法及系统，方法包括：通过不同的算法提取肺结节CT图像的计算机特征生成对应不同语义特征的异构特征；将获取的异构特征通过包含块约束和像素稀疏约束的多任务回归算法，获取各个语义特征之间的共享特征及各个语义特征的独立特征；根据各个语义特征之间的共享特征及各个语义特征的独立特征组合的映射关系，对各个语义特征进行自动打分。本发明可有效提取各个语义特征中的有效特征，并获取各个语义特征间的内存关系，从而对语义特征进行打分，实现深层次分析肺结节信息，支持具有复杂内容的诊断报告与医学图像的检索，为肺结节CT图像分析提供有效辅助。

Description

一种基于肺结节CT图像的语义特征自动打分方法及系统

技术领域

本发明涉及医学图像技术领域，尤其涉及一种基于肺结节CT图像的语义特征自动打分方法及系统。

背景技术

肺结节语义特征，如毛刺征、分叶征等，一般用于放射报告中对肺结节表现型的描述。研究表明，在肺结节CT图像的不同诊断中，高层次的纹理特征，如毛刺征和结节实质等是鉴定结节良恶性的重要诊断依据。过去的研究提出了计算机预测语义特征的几个分类方案。如通过描述子实现对51个毛刺征结节和204个非毛刺征结节的自动分类；或是使用低层次对比度特征对肺结节实质等级进行分类。以往研究主要针对单一的肺结节临床特征，如良恶性、毛刺征、实质性等进行二分制/三分制的简化打分，缺乏对高层次语义特征的定量自动化分析。肺结节具备多种语义特征，不同特征描述之间可能存在相关性。现有技术中无法将肺结节的多种语义特征关联起来描述，现有的分析方法简单，无法对高层次语义特征进行定量自动化分析。

因此，现有技术还有待于改进和发展。

发明内容

鉴于现有技术的不足，本发明目的在于提供一种基于肺结节CT图像的语义特征自动打分方法及系统，旨在解决现有技术中无法将肺结节的多种语义特征关联起来描述，现有的分析方法简单，无法对高层次语义特征进行定量自动化分析的技术问题。

本发明的技术方案如下：

一种基于肺结节CT图像的语义特征自动打分方法，其中，方法包括步骤：

A、通过不同的算法提取肺结节CT图像的计算机特征生成对应不同语义特征的异构特征；

B、将获取的异构特征通过包含块约束和像素稀疏约束的多任务回归算法，获取各个语义特征之间的共享特征及各个语义特征的独立特征；

C、根据各个语义特征之间的共享特征及各个语义特征的独立特征组合的映射关系，对各个语义特征进行自动打分。

所述的基于肺结节CT图像的语义特征自动打分方法，其中，所述A具体包括：

A1、通过堆叠去噪编码算法提取肺结节CT图像的计算机特征获取肺结节的第一异构特征；

A2、通过卷积神经网络算法提取肺结节CT图像的计算机特征获取肺结节的第二异构特征；

A3、通过类HAAR算法提取肺结节CT图像的计算机特征获取肺结节的第三异构特征；

A4、将第一异构特征、第二异构特征、第三异构特征以及图像归一化使用的比例尺叠加后生成肺结节CT图像的异构特征。

所述的基于肺结节CT图像的语义特征自动打分方法，其中，所述之前还包括：

S、预先设置针对各个语义特征之间的共享特征及各个语义特征的独立特征对应的分值。

所述的基于肺结节CT图像的语义特征自动打分系统，其中，系统包括：

异构特征提取模块，通过不同的算法提取肺结节CT图像的计算机特征生成对应不同语义特征的异构特征；

语义特征关联关系获取模块，用于将获取的异构特征通过包含块约束和像素稀疏约束的多任务回归算法，获取各个语义特征之间的共享特征及各个语义特征的独立特征；

自动打分模块，用于根据各个语义特征之间的共享特征及各个语义特征的独立特征组合的映射关系，对各个语义特征进行自动打分。

所述的基于肺结节CT图像的语义特征自动打分系统，其中，所述异构特征提取模块具体包括：

第一异构特征获取单元，用于通过堆叠去噪编码算法提取肺结节CT图像的计算机特征获取肺结节的第一异构特征；

第二异构特征获取单元，用于通过卷积神经网络算法提取肺结节CT图像的计算机特征获取肺结节的第二异构特征；

第三异构特征获取单元，用于通过类HAAR算法提取肺结节CT图像的计算机特征获取肺结节的第三异构特征；

异构特征生成单元，用于将第一异构特征、第二异构特征、第三异构特征以及图像归一化使用的比例尺叠加后生成肺结节CT图像的异构特征。

所述的基于肺结节CT图像的语义特征自动打分系统，其中，所述系统还包括：

预先设置模块，用于预先设置针对各个语义特征之间的共享特征及各个语义特征的独立特征对应的分值。

本发明提供了一种基于肺结节CT图像的语义特征自动打分方法及系统，本发明可有效提取各个语义特征中的有效特征，并获取各个语义特征间的内存关系，从而对语义特征进行打分，实现深层次分析肺结节信息，支持具有复杂内容的诊断报告与医学图像的检索，为肺结节CT图像分析提供有效辅助。

附图说明

图1为本发明的一种基于肺结节CT图像的语义特征自动打分方法的较佳实施例的流程图。

图2为图1中步骤S200的具体应用实施例的流程图。

图3为本发明的一种基于肺结节CT图像的语义特征自动打分方法的具体应用实施的实验对比图。

图4为本发明的一种基于肺结节CT图像的语义特征自动打分系统的较佳实施例的功能原理框图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本实施例中各英文释义如下：computer-aided diagnosis，简称CAD，中文意义为计算机辅助诊断系统。Lung Image Database Consortium，简称LIDC，中文意义为肺部图像数据联盟；Stacked Denoising Autoencoder，简称SDAE，中文意义为堆叠去噪编码；Convolutional neural networks，简称CNN，中文意义为卷积神经网络；HAAR-like，中文意义为类HAAR；Multi-task regression，简称为MTR，中文意义为多任务回归；Single taskregression，简称为STR，中文意义为单任务回归，Least absolute shrinkage andselection operator，简称为LASSO，中文意义为最小绝对收缩与选择算子，region ofinterest，简称为ROI，中文意义为感兴趣区域。

本发明还提供了一种的基于肺结节CT图像的语义特征自动打分方法的较佳实施例的流程图，如图1所示，其中，方法包括步骤：

步骤S100、通过不同的算法提取肺结节CT图像的计算机特征生成对应不同语义特征的异构特征。

具体实施时，其中，异构特征用于表达肺结节CT图像中的ROI区域的语义特征。LIDC数据库由美国多个机构的放射医师提供标注信息。医师标注直径超过3mm的结节，同时给出毛刺征、分叶征、纹理、钙化、圆度、细致度、边界、内部结构以及良恶性9个语义特征的分级信息。鉴于良恶性属于诊断指标，本方案不将此列入自动分级任务中。除了“内部结构”，“钙化”分别为四分类和六分类外，其他语义特征均为五分类。

不同语义特征中，肺结节的外观与形状差异性大；肺结节周围组织复杂多样。因此，设计一套可描述语义特征多方面信息的计算机特征提取方案十分有必要。我们将每个语义特征作为一个任务，分别利用不同算法组合为异构特征提取器，提取肺结节CT图像的异构特征。

进一步地实施例中，如图2所示，步骤S100具体包括步骤：

步骤S101、通过堆叠去噪编码算法提取肺结节CT图像的计算机特征获取肺结节的第一异构特征；

步骤S102、通过卷积神经网络算法提取肺结节CT图像的计算机特征获取肺结节的第二异构特征；

步骤S103、通过类HAAR算法提取肺结节CT图像的计算机特征获取肺结节的第三异构特征；

步骤S104、将第一异构特征、第二异构特征、第三异构特征以及图像归一化使用的比例尺叠加后生成肺结节CT图像的异构特征。

具体实施时，由于3D肺结节在x-y和z方向上分辨率不同，为了避免直接计算3D特征，本文基于2D肺结节ROI训练8个语义特征。另外，因LIDC数据的层厚差异很大(1.25-3mm)，在测试阶段，每个结节的最终预测分数由该结节所有层的得分求平均获得。为了包含更多上下文信息，每个肺结节ROI均在结节最大边界基础上外扩10个像素。为方便训练测试，ROI尺寸归一化到28x28。

各个语义特征(任务)涵括了如结节形状、外观等高层次特征，且每个任务的有效计算机特征是未知的。因此，本实施例中提取具备多样性的异构特征，随后使用MTR框架找寻每个任务中的有效特征。本文的异构特征由SDAE、CNN和HAAR-like特征构成。深度学习下的SDAE、CNN能自动学习特征的空间格局，包含结节的外观形状信息。SDAE从无监督阶段提取，具有较好的泛化性。CNN的训练需要标签，不同任务的CNN特征不同，更具有针对性。HAAR-like特征则用于提取肺结节低层次的上下文特征。为了解决ROI尺寸归一化对长宽比的影响，我们加入了x，y方向的缩放比例以及长宽比作为特征的一部分。

步骤S102中SDAE模型由无监督训练阶段和有监督训练阶段组成。本文只使用无监督阶段的神经元节点输出作为特征。在无监督过程中，SDAE将各个自动编码层堆叠起来，每一个自动编码层通过最优化以下优化方程获得各个节点的编码：

式(1)中x表示输入的数据，为了提升模型性能，将x随机加入0.5的0-掩膜噪声，记为W，b，W′和b′分别是编码和重构神经元的权重和偏置。σ是sigmoid激活函数。本文获取的SDAE特征维度为100。

步骤S103中典型的CNN模型由数对卷积层(C)、采样层(P)以及最后连接的全连接层(F)和soft-max层构成。本文使用8个CNN模型分别训练8个任务，并将8个模型最后一层全连接层的输出作为特征。因此，CNN特征针对不同任务有特殊表达。每个任务的CNN特征维度为192。

步骤S104中，结节的HAAR-like特征由两块位置随机的正方形裁切区域的灰度计算得出，计算公式为:

式(2)中，c₁，s₁，c₂，s₂分别是两块裁剪区域的中心和半径，p,q分别指的是两块裁剪区域，Z(p)是p的像素灰度和，ε在{-1，0，1}中随机取得，半径{1，2，3}中随机取得，块中心在输入图像中随机获取。本文获取的HAAR-like特征维度为50。

具体地，步骤S100之前还包括步骤：

步骤S1、预先设置针对各个语义特征之间的共享特征及各个语义特征的独立特征对应的分值。

具体实施时，用户可预先存储各个语义特征对应的分值。其中该分值一般采用现有的医学上通用的不同的语义特征对应的分值。一般是通过医生进行设置。另外像素约束和块约束的权重也需要进行提前设置。网络可通过预先设置好的权重进行训练，从而学习各个语义特征之间的共享特征及各个语义特征的独立特征组合的映射关系。

步骤S200、将获取的异构特征通过包含块约束和像素稀疏约束的多任务回归算法，获取各个语义特征之间的共享特征及各个语义特征的独立特征。

具体实施时，8个语义特征(任务)分别描述了结节不同方面的特性，因此各个语义特征之间存在不同程度的联系。8个任务之间的联系是未知的，某些任务之间可能享有一部分相似的计算机特征，而其他部分任务则没有共享的部分。为了发现这些内在的联系，本文使用包含块约束和像素稀疏的MTR方案，MTR的代价函数如下：

式(3)中，Y_t和X_t分别为第t个任务的标签，以及由SDAE，CNN，HAAR-like构成的特征。是第t个任务的特征稀疏矩阵，

W＝[W₁，…，W₈]。‖·‖_F是Frobenius范数。正则项‖B‖_1，∞和‖S‖_1，1分别表示块约束项和像素稀疏项，λ_B、λ_S分别是两个正则项的权重。‖S‖_1，1定义为∑_i，j|S_i，j|，‖B‖_1，∞定义为∑_i‖B_i‖_∞，‖B_i‖_∞＝max_j|B_i，j|。i和j为矩阵的行列下标。‖S‖_1，1促进矩阵产生零元素，‖B‖_1，∞趋向于使矩阵产生零行。在W中，列表示每个任务的特征系数，而特征系数的共享和独立则在B矩阵、S矩阵中分别体现。公式3使用坐标下降法优化，迭代过程中B、S矩阵逐渐得到与数据匹配的表达，W则由B、S相加而成。经过公式3的约束，B的非零行逐渐趋向于稀疏独立，‖B‖_1，∞在l₁/l_q范数的约束下避免了非零行内元素趋于一致的情况。因此，MTR方案既可以发掘各个任务潜在的特征共享关系，也可以找出各个任务的特征独立部分。

步骤S300、根据各个语义特征之间的共享特征及各个语义特征的独立特征组合的映射关系，对各个语义特征进行自动打分。

具体实施时，根据使用MTR算法计算出各个语义特征之间的共享特征及各个语义特征的独立特征后，根据预先存储的语义特征之间的共享特征及各个语义特征的独立特征组合的映射关系对当前肺结节CT图像的各个语义特征进行自动打分。

为了观察MTR框架的性能，本文将MTR框架与LASSO以及弹性网络两种STL方案作对比，这两种STL方案同样是可以挑选有效特征的线性回归方案。两种STL方案使用与MTR相同的计算机特征，但在CNN部分，STL方案只使用训练任务中的CNN特征，而MTR则同时使用所有任务的CNN特征。STL方案中每个任务的训练参数皆为单独调整，因此STL各个任务的参数不同。为了更深探讨各类计算机特征对性能的影响，本文设计了SDAE、CNN、HAAR-like在所有回归方案的对比实验。我们从LIDC中随机选取了1400个结节，使用10折交叉验证方式(以结节为单位)评估结果。每一折训练中，特征提取和回归模型训练使用同样的数据。每一个结节有一位或多位医师标注，训练中，每个结节只使用一位医师的标注；测试中，使用所有医师的标注结果。具有一/二/三/四位医师标注的结节个数分别为581，321，254，244。本文将计算机预测结果与所有放射医师的标注进行对比。

图3为计算机预测结果(MTR，LASSO和弹性网络)和所有医师分数在10折交叉验证评估结果的绝对误差，同时包含了异构特征中三种不同类别计算机特征的实验结果对比，以及医师之间的组间差异。由图3可知，MTR与医师间差异相当接近。这表示某些任务中存在难以界定的等级，从而导致各个医师在该等级的判断差异。在同一结节的不同ROI中，“细致度”语义特征具有较大的模糊性，4位医师的标注相差甚远(2，4，5，3)，而MTR的预测结果为3.78。可见，“细致度”是一个高度主观且依赖于放射医师经验的语义特征。

由图3可见，“内部结构”这一语义特征的结果非常好，这是因为大部分结节在此任务的标注都为1(1388个结节)，而2-4等级标注的结节数量几乎为0。因此，“内部结构”的回归难度不大。“毛刺征”和“分叶征”中，STL的结果不算差，然而，STL训练需要对每个任务进行参数调整，这个过程十分艰辛，当任务量大时可实施性差。另一方面，MTR联合训练8个任务，减少调参任务量，且性能较优。

进一步发掘W的分离结构在MTR方案的意义和有效性，S矩阵十分稀疏，表示的是各个任务的特有特征。B矩阵中CNN和SDAE的特征则有很多共享部分。

本发明提供了一种基于肺结节CT图像的语义特征自动打分方法的较佳实施例的功能原理框图，如图4所示，系统包括：

异构特征提取模块100，用于通过不同的算法提取肺结节CT图像的计算机特征生成对应不同语义特征的异构特征；具体如方法实施例所述。

语义特征关联关系获取模块200，用于将获取的异构特征通过包含块约束和像素约束的多任务回归算法，获取各个语义特征之间的共享特征及各个语义特征的独立特征；具体如方法实施例所述。

自动打分模块300，用于根据各个语义特征之间的共享特征及各个语义特征的独立特征组合的映射关系，对各个语义特征进行自动打分；具体如方法实施例所述。

所述的基于肺结节CT图像的语义特征自动打分系统，其中，所述异构特征提取模块具体包括：

第一异构特征获取单元，用于通过堆叠去噪编码算法提取肺结节CT图像的计算机特征获取肺结节的第一异构特征；具体如方法实施例所述。

第二异构特征获取单元，用于通过卷积神经网络算法提取肺结节CT图像的计算机特征获取肺结节的第二异构特征；具体如方法实施例所述。

第三异构特征获取单元，用于通过类HAAR算法提取肺结节CT图像的计算机特征获取肺结节的第三异构特征；具体如方法实施例所述。

异构特征生成单元，用于将第一异构特征、第二异构特征、第三异构特征以及图像归一化使用的比例尺叠加后生成肺结节CT图像的异构特征；具体如方法实施例所述。

所述的基于肺结节CT图像的语义特征自动打分系统，其中，所述系统还包括：

预先设置模块，用于预先设置针对各个语义特征之间的共享特征及各个语义特征的独立特征对应的分值；具体如方法实施例所述。

综上所述，本发明提供了一种基于肺结节CT图像的语义特征自动打分方法及系统，方法包括：通过不同的算法提取肺结节CT图像的计算机特征生成对应不同语义特征的异构特征；将获取的异构特征通过包含块约束和像素稀疏约束的多任务回归算法，获取各个语义特征之间的共享特征及各个语义特征的独立特征；根据各个语义特征之间的共享特征及各个语义特征的独立特征组合的映射关系，对各个语义特征进行自动打分。本发明可有效提取各个语义特征中的有效特征，并获取各个语义特征间的内存关系，从而对语义特征进行打分，实现深层次分析肺结节信息，支持具有复杂内容的诊断报告与医学图像的检索，为肺结节CT图像分析提供有效辅助。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (6)

1.一种基于肺结节CT图像的语义特征自动打分方法，其特征在于，方法包括步骤：

A、通过不同的算法提取肺结节CT图像的计算机特征生成对应不同语义特征的异构特征；

B、将获取的异构特征通过包含块约束和像素稀疏约束的多任务回归算法，获取各个语义特征之间的共享特征及各个语义特征的独立特征；

C、根据各个语义特征之间的共享特征及各个语义特征的独立特征组合的映射关系，对各个语义特征进行自动打分。

2.根据权利要求1所述的基于肺结节CT图像的语义特征自动打分方法，其特征在于，所述A具体包括：

A1、通过堆叠去噪编码算法提取肺结节CT图像的计算机特征获取肺结节的第一异构特征；

A2、通过卷积神经网络算法提取肺结节CT图像的计算机特征获取肺结节的第二异构特征；

A3、通过类HAAR算法提取肺结节CT图像的计算机特征获取肺结节的第三异构特征；

A4、将第一异构特征、第二异构特征、第三异构特征以及图像归一化使用的比例尺叠加后生成肺结节CT图像的异构特征。

3.根据权利要求1所述的基于肺结节CT图像的语义特征自动打分方法，其特征在于，所述之前还包括：

S、预先设置针对各个语义特征之间的共享特征及各个语义特征的独立特征对应的分值。

4.一种根据权利要求1所述的基于肺结节CT图像的语义特征自动打分系统，其特征在于，系统包括：

异构特征提取模块，通过不同的算法提取肺结节CT图像的计算机特征生成对应不同语义特征的异构特征；

语义特征关联关系获取模块，用于将获取的异构特征通过包含块约束和像素稀疏约束的多任务回归算法，获取各个语义特征之间的共享特征及各个语义特征的独立特征；

自动打分模块，用于根据各个语义特征之间的共享特征及各个语义特征的独立特征组合的映射关系，对各个语义特征进行自动打分。

5.根据权利要求4所述的基于肺结节CT图像的语义特征自动打分系统，其特征在于，所述异构特征提取模块具体包括：

第一异构特征获取单元，用于通过堆叠去噪编码算法提取肺结节CT图像的计算机特征获取肺结节的第一异构特征；

第二异构特征获取单元，用于通过卷积神经网络算法提取肺结节CT图像的计算机特征获取肺结节的第二异构特征；

第三异构特征获取单元，用于通过类HAAR算法提取肺结节CT图像的计算机特征获取肺结节的第三异构特征；

异构特征生成单元，用于将第一异构特征、第二异构特征、第三异构特征以及图像归一化使用的比例尺叠加后生成肺结节CT图像的异构特征。

6.根据权利要求4所述的基于肺结节CT图像的语义特征自动打分系统，其特征在于，所述系统还包括：

预先设置模块，用于预先设置针对各个语义特征之间的共享特征及各个语义特征的独立特征对应的分值。