CN112529870B - 基于源域与频域结合的多尺度CNNs肺结节假阳性剔除方法 - Google Patents

Abstract

本发明涉及一种基于源域与频域结合的多尺度CNNs肺结节假阳性剔除方法，属于图像处理领域。包括以下步骤：S1：为减小网络训练时间和占用空间使用基于多视角二维CT图像作为输入；S2：将肺结节图像从源域转换到频域以捕获结节微小变化；S3：提出基于多视角二维CT图像的3D多尺度CNNs框架；S4：肺结节假阳性剔除模型训练损失函数设计。通过基于空域‑频域信息结合的多尺度神经网络框架来增强低像素二维CT图像的表示能力，同时减轻网络的训练负担。

Description

基于源域与频域结合的多尺度CNNs肺结节假阳性剔除方法

技术领域

本发明属于图像处理领域，涉及基于源域与频域结合的多尺度CNNs肺结节假阳性剔除方法。

背景技术

人工筛选海量复杂的CT图像非常耗时，且由于放射科医师个人经验、能力及过高的工作负担，在浏览CT图像筛选肺结节时容易出错。基于人工智能的肺结节准确诊断系统作为辅助诊断(CAD)可以为临床诊断提供一个准确、快速的解决方案，充分减轻临床医生的工作量，提高工作效率。

CAD可以为放射科医生提供准确的临床信息，例如结节在肺部是区域和位置分布等方面信息。CAD系统主要包括两个阶段:候选结节检测和假阳性剔除。候选结节检测阶段的目的是尽可能检测出候选结节，具有高灵敏度。然而，肺结节特征复杂多变，存在肺血管、肺边界和CT扫描仪噪声影响。检测出的候选结节大多数都是假结节。假阳性剔除阶段的主要是通过有效的分类器和候选样本之间的鉴别特征来降低假阳性率。

随着深度卷积神经网络在图像和视频任务中的成功应用，深度学习算法已经应用到各种高级分析医学图像任务中。早期的方法大多是以单张图像作为输入的2D神经网络(CNNs)。然而，二维CT图像像素太低，丢失了结节的细粒度特征表示，限制了肺分类的准确性。研究人员发现，以三维立方体作为的输入的3D-CNNs可以编码更丰富的空间信息，提取判别性更强的表征，但需要更强的计算能力和更多的训练时间。

综上所述，尽管研究者在假阳性剔除上进行了大量的研究，但由于现存的肺结节假阳性剔除方法对阳性结节敏感性较低、实时性弱且资源消耗较大，仍不能满足临床应用的需要。

发明内容

有鉴于此，本发明的目的在于提供一种基于源域与频域结合的多尺度CNNs肺结节假阳性剔除方法。

为达到上述目的，本发明提供如下技术方案：

基于源域与频域结合的多尺度CNNs肺结节假阳性剔除方法，包括以下步骤：

S1：为减小网络训练时间和占用空间使用基于多视角二维CT图像作为输入；

S2：将肺结节图像从源域转换到频域以捕获结节微小变化；

S3：提出基于多视角二维CT图像的3D多尺度CNNs框架；

S4：肺结节假阳性剔除模型训练损失函数设计。

可选的，所述S1具体为：使用低像素的二维CT图像作为神经网络的输入，选择三张来自三维立方体不同角度的切片，包括从前到后、从上到下、从左到右的中心切片。

可选的，所述S2具体为：

S21：按照DCT转换成不同频率系数的DCT数据；DCT频域变换系数设置为2,4,8,20和40；

S22：利用L₁范数与L₂范数之间的关系，分析源域、频域以及两者同时结合的稀疏性，以便于观察系数为多少时，结节组织信息的增强与防止被血管或肺组织阻塞的结节的缺失细节能力最好。

可选的，所述S3具体为：

S31：提出的3D多尺度CNNs框架包括三种不同尺度的3D-CNN流；每个流输入特定大小的图像，通过结节的形态获取不同的上下文信息和鉴别特征；大尺度输入流会为小尺度输入流提供合适的额外背景信息，利用小尺度流结节区域以外的上下文信息；

S32：为缓解由于像素低而造成的空间信息缺失和识别能力差的问题，将多视角的二维图像映射为深度为三的立方体；M(·)表示将三个不同角度的切片堆叠到深度为3的体积数据的映射函数；

式中，x_d3为3D映射层的输出。

可选的，所述S4具体为：

将训练集送入网络训练得到预测值，预测值有两个结节，为真阳性的概率和结节为假阳性的概率；网络使用的损失函数为：

其中，表示预测值，y表示标签，当y＝1时表示结节为真，y＝0时表示结节为假，λ为超参数。

本发明的有益效果在于：通过将一组二维CT图像作为输入，提出多尺度的3D神经网络框架，考虑了肺结节周围多层次的上下文信息。提出的多尺度框架可以从教大尺度框架向较小尺度的框架提供额外结节背景信息。此外，将源域图像变换为不同系数的频域图像，以捕捉不同类型肺结节的微小变化，提取结节显著的鉴别特征。本发明提出的方法可以有效保留结节三维空间信息，减少网络训练时间，在短时间内学习到具有较高判别性的代表性特征。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为多尺度特征融合的肺结节良恶性分类方法的流程图；

图2为不同DCT系数转换示例图；

图3为预处理和频域转换流程图；

图4为基于多视角二维CT图像的3D多尺度CNNs结节假阳性剔除框架；

图5为图4中每个残差块的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明提出了一种基于源域与频域结合的多尺度CNNs肺结节假阳性剔除方法，包括低像素肺结节CT图像源域到频域转换和基于多视角二维CT图像的3D多尺度CNNs框架两个部分。

图1是提出的基于源域与频域结合的多尺度CNNs肺结节假阳性剔除方法流程图。主要包括以下几个步骤：

Step1.在源域对图像进行预处理获得预处理后的数据集。

为了解决假结节和真结节之间的不平衡问题，通过在源域内复制和翻转来增加真结节。将包括结节在内的图像斑块沿各轴平移30个体素，随机旋转0度、90度、180度和270度。对于图像预处理，本发明将所有扫描的图像强度值截断到[-1000，+400]范围，去除不相关的细节，然后归一化到[0-255]范围。由于结节的最大直径为30mm，本发明裁剪结节大小设置为40×40×40，从裁剪的三维立方体中选择不同角度的切片，包括从前到后、从上到下、从左到右的中心切片。

Step2.将频域转换成不同的DCT系数频率图像。

将预处理后的数据按照DCT转换成不同频率系数的DCT数据。根究结节直径范围分析，大多数结节直径在5-15mm，本发明DCT频域变换系数设置为2,4,8,20和40，并分析选择的这五种不同的块系数来分析在结节检测方面的显著改进。将三个不同角度切片的相同DCT系数变换堆叠在一起。其中不同DCT系数转换图像如图2所示。第一行是源域图像，第二行是来自频域的5个系数的DCT图像，最后一行是源域和频域的组合。并利用L₁范数与L₂范数之间的关系，分析了源域、频域以及两者同时结合的稀疏性，以便于观察系数为多少时，结节组织信息的增强与防止被血管或肺组织阻塞的结节的缺失细节能力最好。x表示的结节,该结节的稀疏度可以定义如下:

其中，n是x的维度。图2中每幅图像上的小标题为该图像的稀疏度。可以看出源域的结节稀疏度为0.3044。不同系数频域图像(如图2第二行所示)的稀疏度完全高于源域。两者结合时，稀疏度最高的是当转换系数为40的时候。但是，本发明裁剪的图像大小为40×40×40，当转换系数为40时即为整个图像完全一起转换到频域。该操作对于小结节来说包含有太多的噪声。而当系数为4时，源域和频域相结合的稀疏度较高，可达0.4125。因此，本发明认为在上述情况下变换系数为4时，源域和频域的结合可以捕捉到显著性和判别更强的特征。整个预处理和频域转换流程如图3所示。

Step3.基于多视角二维CT图像的3D多尺度CNNs框架。

本发明提出的基于多视角二维CT图像的3D多尺度CNNs框架包括三种不同尺度的3D-CNN流。每个流输入特定大小的图像，通过结节的形态获取不同的上下文信息和鉴别特征。同时，大尺度输入流会为小尺度输入流提供合适的额外背景信息，利用小尺度流结节区域以外的上下文信息。本发明分析了潜在候选的直径大小，由于大部分结节直径小于25mm。本发明设置网络的尺度大小为40、20和10。LetI＝{I₁∈R^40×40,I₂∈R^20×20,I₃∈R^10×10}表示有标签的输入训练样本。为了缓解了由于像素低而造成的空间信息缺失和识别能力差的问题，本发明将多视角的二维图像映射为深度为三的立方体。M(·)表示将三个不同角度的切片堆叠到深度为3的体积数据的映射函数。

式中，x_d3为3D映射层的输出。此外，本发明使用SE-Resnet来拟合通道之间的复杂相关性，减少了参数的数量和计算量。设x₁∈R^D×H×W×C为SE-Resnet块的输入数据，D为输入图像的深度，H和W为宽度和高度，C为输入数据的通道。SE-Resnet后x₁被拉伸为F(x₁)∈R^{1 ×1×1×C}。输出可以定义为:

x_output＝x+(x₁·F(x₁))

SE-Resnet块可以对每个像素点分配权值，自动去除低权值像素点，保留高权值像素点，提高网络运行时间，减少参数计算。根据每个流输入数据的大小，本发明在每个流中使用不同数量的SE-Resnet块。如图4所示，大小为40×40的流包含三个SE-Resnet块，大小为20×20的流包含两个个SE-Resnet块，大小为10×10的流只有一个SE-Resnet块。SE-Resnet块示意图如图5所示，每个SE-Resnet块含有5个卷积层、5个大小为1×3×3×3的核、4个批处理归一化层、一个平均池化层和一个软最大层。本发明提出的框架中的SE-Resnet块在每次执行过后数据的大小都将减半。例如，40×40在第一个SE-Resnet块执行后数据大小变为20×20，刚好等于第二个流输入数据的大小，因此，第一个流中结节的上下文信息可以通过堆叠的方式提供给第二个流。在所有SE-Resnet块执行后，连接一个全局平均池化层，用于保留全局参数中最重要的特性。最后，通过对三个流的预测值进行线性融合，得到最终的融合预测结果。三个流的预测概率可表示如下：

其中P_Ti表示结节为真阳性的概率，P_Fi表示结节为假阳性的概率，最后将三个流的预测概率通过线性组合方式融合，融合公式表示如下:

其中μ_i为常数权重。

Step4.肺结节假阳性剔除模型训练。

将训练数据按照step1，2步骤处理好，随机划分训练集和测试集。为了防止激活层输出在深度神经网络的正向传递过程中爆炸或消失，在网络训练前先采用kaiming初始化方法对网络权值进行初始化。再将训练集送入网络训练得到预测值，这里的预测值有两个结节为真阳性的概率和结节为假阳性的概率。因此网络使用的损失函数为：

其中，表示预测值，y表示标签，当y＝1时表示结节为真，y＝0时表示结节为假，λ＝0.25为超参数。使用该损失函数训练至模型收敛后即可。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.基于源域与频域结合的多尺度CNNs肺结节假阳性剔除方法，其特征在于：包括以下步骤：

S1：为减小网络训练时间和占用空间使用基于多视角二维CT图像作为输入；

S2：将肺结节图像从源域转换到频域以捕获结节微小变化；

S3：提出基于多视角二维CT图像的3D多尺度CNNs框架；

S4：肺结节假阳性剔除模型训练损失函数设计；

所述S2具体为：

S21：按照DCT转换成不同频率系数的DCT数据；DCT频域变换系数设置为2,4,8,20和40；

S22：利用L₁范数与L₂范数之间的关系，分析源域、频域以及两者同时结合的稀疏性，以便于观察系数为多少时，结节组织信息的增强与防止被血管或肺组织阻塞的结节的缺失细节能力最好；

所述S3具体为：

S31：提出的3D多尺度CNNs框架包括三种不同尺度的3D-CNN流；每个流输入特定大小的图像，通过结节的形态获取不同的上下文信息和鉴别特征；大尺度输入流会为小尺度输入流提供合适的额外背景信息，利用小尺度流结节区域以外的上下文信息；

S32：为缓解由于像素低而造成的空间信息缺失和识别能力差的问题，将多视角的二维图像映射为深度为三的立方体；M(·)表示将三个不同角度的切片堆叠到深度为3的体积数据的映射函数；

式中，x_d3为3D映射层的输出。

2.根据权利要求1所述的基于源域与频域结合的多尺度CNNs肺结节假阳性剔除方法，其特征在于：所述S1具体为：使用低像素的二维CT图像作为神经网络的输入，选择三张来自三维立方体不同角度的切片，包括从前到后、从上到下、从左到右的中心切片。

3.根据权利要求1所述的基于源域与频域结合的多尺度CNNs肺结节假阳性剔除方法，其特征在于：所述S4具体为：

将训练集送入网络训练得到预测值，预测值有两个结节，为真阳性的概率和结节为假阳性的概率；网络使用的损失函数为：

其中，表示预测值，y表示标签，当y＝1时表示结节为真，y＝0时表示结节为假，λ为超参数。