CN110853011B - 用于肺结节检测的卷积神经网络模型的构建方法 - Google Patents

Abstract

本发明用于肺结节检测的卷积神经网络模型的构建方法，涉及图像分析，是一种根据肺结节不同形态自适应提取特征的肺结节检测方法，引入了自适应卷积层和多尺寸特征图融合预测技术，充分考虑到CT图像中不同结节的大小以及形态差异，提高速度的同时也提高了精度，克服了现有技术使用的3D和2D卷积检测模型均存在使用不同的卷积神经网络提取特征没有充分考虑到CT图像中不同结节的形态差异和3D卷积网络的计算量比较大需要很大的内存空间，使得其应用受到限制的缺陷。

Description

用于肺结节检测的卷积神经网络模型的构建方法

技术领域

本发明的技术方案涉及图像分析，具体地说是用于肺结节检测的卷积神经网络模型的构建方法。

背景技术

肺癌是我国发病率最高同时也是死亡率最高的癌症。国际癌症研究所(IARC)的数据显示，我国的肺癌发病率为58/100,000，男性高达76/100,000，女性为39/100000。根据目前的临床医学的研究结果发现，肺部的很多病变都有可能产生肺结节。根据肺结节产生的原因分为癌症引起的肺结节、炎症引起的肺结节和人体血管出现病变可能产生的肺结节。根据国内外的文献报道，目前肺结节的出现情况和肿瘤有着密切的关系。如果在患者出现疾病的早期，能够及时发现肺结节并根据情况进行分析，发现隐藏在患者肺部的真正病因并进行对症治疗是有重大意义的。2002-2004年间，美国国家肺癌筛查试验(NLST)对超过53，000名重度吸烟者进行每年一次的LDCT和X射线的胸片检查，通过3年的对比，LDCT的敏感性和发现早期肺癌的病例数比X射线的胸片高出了将近一倍，三轮LDCT下来使肺癌的死亡率减少了将近20％。这一项研究为LDCT的巨大价值提供了非常有力的证据，它表明CT图像是检查和诊断肺部疾病最有效的影像手段，对肺癌检测诊断具有重要价值，被广泛应用于肺结节的筛查。

传统的肺结节检测一般包括如下步骤：(1)CT图像的预处理，(2)候选结节检测，(3)候选结节假阳性减少。CT图像预处理阶段，结合阈值法以及形态学的方法分割肺实质。候选结节检测阶段，联合多种算法的方法提取特征，检测候选结节。随后，候选结节假阳性减少阶段减少了候选结节的误报数量，并生成最终的一组CAD标记。传统的肺结节检测所涉及的方法包括支持向量机(SVM)、贝叶斯、随机森林和决策树，该类方法不需要经过大量已经标注的数据即可训练，计算资源要求不高，其缺点是利用先验知识人工设计特征费时费力，不具备通用性，且有时无法准确找到有效特征。

目前肺结节医学检测方法的难点主要体现在两个方面，一是影像数据中人体本身正常组织、病灶展现出充分的个体化差异；二是肺结节本身存在尺寸多样、形状不规则和形态复杂的诸多特点，且不同形态结节所处的环境也不相同，使得建立一个普适的诊断标准显得困难重重，即使是放射科医生，对同一个影像都有可能产生不同的诊断结果。

CN109102502A公开了基于三维卷积神经网络的肺结节检测方法，该方法采用特征金字塔，融合了底层细节特征和高层抽象特征，但是没有考虑到肺结节的尺寸的缺陷。CN108257128A公开了一种基于3D卷积神经网络的肺结节检测装置的建立方法，该方法从CT图像的特点进行提取特征，存在不能有效解决提取区分不同形态的肺结节特征的缺陷。CN106940816A公开了基于3D全连接卷积神经网络的CT图像肺结节检测系统，该方法使用全连接卷积网络，使用的全连接卷积方式存在计算冗余和计算低效的缺陷，导致该方法的应用受到限制。

总之，现有技术基于CT图像的肺结节检测方法中使用的3D和2D卷积检测模型均存在使用不同的卷积神经网络提取特征没有充分考虑到CT图像中不同结节的形态差异，且3D卷积网络的计算量比较大，需要很大的内存空间，使得其应用受到限制的缺陷。

发明内容

本发明所要解决的技术问题是：提供用于肺结节检测的卷积神经网络模型的构建方法，是一种根据肺结节不同形态自适应提取特征的肺结节检测方法，引入了自适应卷积层和多尺寸特征图融合预测技术，充分考虑到CT图像中不同结节的大小以及形态差异，提高速度的同时也提高了精度，克服了现有技术使用的3D和2D卷积检测模型均存在使用不同的卷积神经网络提取特征没有充分考虑到CT图像中不同结节的形态差异和3D卷积网络的计算量比较大需要很大的内存空间，使得其应用受到限制的缺陷。

本发明所采用的技术方案是：用于肺结节检测的卷积神经网络模型的构建方法，是一种根据肺结节不同形态自适应提取特征的肺结节检测方法，引入了自适应卷积层和多尺寸特征图融合预测技术，具体步骤如下：

第一步，构建肺结节样本CT图像数据库：

第1.1步，选取肺结节的CT图像：

使用公开的肺结节CT图像LIDC数据库，选取≥3毫米且同时被三位专家以上同时认定为是肺结节的CT图像，组成新的肺结节样本CT图像数据库，将其中的肺结节位置坐标作为标签；

第1.2步，肺结节CT图像的预处理：

将上述第1.1步中所选取的样本CT图像数据库进行预处理，本步骤选用已知的肺实质分割方法，即首先选取最佳阈值，其范围在600～1000，提取粗轮廓，使用半径为2个像素的圆盘进行腐蚀操作，以分离附着在血管上的肺结节，之后使用半径为10个像素的圆盘进行关闭操作，以保持肺结节附着在肺壁上，再后填写肺部面罩内的小孔，最后将掩码和输入图像相乘，实现肺实质的分离，以避免其它肺部组织的干扰，至此完成肺结节CT图像的预处理；

第1.3步，肺结节CT图像的归一化处理：

对上述第1.2步中预处理之后的肺结节CT图像进行统一的归一化处理，使肺结节CT图像的像素在[0，1]范围内，以便使后面所构建的卷积神经网络能够更好地收敛；

由此完成构建肺结节样本CT图像数据库；

第二步，构建用于肺结节检测的卷积神经网络模型：

第2.1步，构建卷积神经网络模型：

首先利用基础网络模型VGG16提取特征，VGG16网络模型包含13个卷积层，3个全连接层。本发明将FC6和FC7转换为卷积层，然后继续在其后面添加额外的卷积层，最后模型由13个卷积层和激活函数、4个池化层、3个自适应卷积层组成，每次卷积得到的特征图大小依次为300×300×64、300×300×128、150×150×128、150×150×128、150×150×128、75×75×256、75×75×256、75×75×256、75×75×256、38×38×512、38×38×512、38×38×512、38×38×512、19×19×512、19×19×512、19×19×512、19×19×512、19×19×512、19×19×512、10×10×512、10×10×512，选取不同层次的特征图，38×38×512，19×19×512，10×10×512，充分利用高低层的图像信息进行信息融合操作，组成特征金字塔，该金字塔的每个层级使用共享分类器和回归器；

第2.2步，引入自适应卷积层：

在常规卷积层的基础上添加一个分支卷积层，通过对输入目标的偏置学习，采样点得到合适的方向和偏移量，从而使卷积窗口的形状发生变化，并扩展到非网格形状。根据肺结节形态不同，卷积核的形状尽可能匹配肺结节的形状其具体原理如下：

常规卷积神经网络中，卷积网络的输出图像y的每个位置表示为如下公式(1)，

公式(1)中，网格R＝{(-1，-1)，(-1，0)，…，(0，1)，(1，1)}为常规卷积过程中感受野的大小，代表卷积核是3×3，填充是1，p₀为输入图像的每一个位置，p_n为相应位置对应的权重，x(p₀+p_n)为输入图像的不同位置，w(p_n)为卷积核的权重，y(p₀)为输出图像的每个位置。

引入自适应卷积层的方法是，设定输入图像b×h×w×c通过在常规卷积层的基础上添加一个分支卷积层后得到相应的输出偏置图像b×h×w×2c，其中2c为坐标x和坐标y方向的偏移量，然后将原始图像的像素位置与上述偏移量相加，改变采样点位置，则公式(1)式变成如下公式(2)，

公式(2)中，Δp_n为每个位置的偏移量，x(p₀+p_n+Δp_n)为偏移之后的采样点位置，y(p₀)为在常规卷积层的基础上添加一个分支卷积层后得到相应的输出图像的每一个位置；

经过引入自适应卷积层之后，当映射到输入图像的位置坐标不是整数时，使用双线性插值法计算确定采样点位置，如下公式(3)和公式(4)所示：

W_i(q_i，p)＝w_i(q_xi，p_x)*x(q_yi，p_y) (4)

公式(3)中，x(p)为坐标处理后的整数，q_i为最近的四个像素，其中i∈{1，2，3，4}，W_i为每个点的相应权重，其中i∈{1，2，3，4}，公式(4)代表相邻的四个点与所优化点之间的乘积关系，w_i(q_xi，p_x)代表四个点和所优化点x方向的关系，x(q_yi，p_y)代表四个点和所优化点y方向的关系，在使用双线性插值法计算确定采样点位置后，整个过程能够通过标准的反向传播进行端到端的训练；

由此完成引入自适应卷积层，根据输入图像中肺结节的形状，有效调整卷积窗口，使其能够全面提取特征；

第2.3步，引入多尺寸特征图融合：

选取不同层次的特征图进行融合组成特征金字塔，引入多尺寸特征图融合方法是向量拼接，进行向量拼接操作的前提是现有特征向量和融合特征向量大小相同，用数学式表达如下，

底层特征图的现有特征向量为v1∈R_n，高层特征图的现有特征向量为v2∈R_m，将v2反卷积之后与v1在同一阶拼接，得到的预测层特征图的融合特征向量表示为v＝[v1，v2]∈R_n+m，其中，R_n为v1的通道数，R_m为v2的通道数，R_n+m为拼接之后的特征图通道数，融合组成特征预测层，进行类别分类和位置检测；

由此完成构建用于肺结节检测的卷积神经网络模型；

第三步，用于肺结节检测的卷积神经网络模型的训练：

在上述第2.3步中所述的特征金字塔的每个层级共享分类器和回归器，对特征金字塔的每个层级特征图设置尺度或者长宽比不同的检验框，每个检验框输出值包括两个部分，一部分为肺结节的概率值，另一部分是检测框的位置，向上述第二步构建的用于肺结节检测的卷积神经网络模型中输入肺结节CT图像，设置所输入肺结节CT图像的大小是300×300像素，经过用于肺结节检测的卷积神经网络，得到的特征图尺寸是10×10像素，具体细节如下：

第3.1步，超参数设置：

所设置的超参数是，批处理的肺结节CT图像大小数量为32，采用的学习率是0.1，使用多步策略，迭代预设不同次数分别为：40000、60000、120000，最大迭代次数是120000，对应的学习率依次是0.1、0.01、0.001；

第3.2步，训练过程：

(1)检验框的匹配：

用IOU值来评估检验边框和真实边框两者的重合度，IOU值是指检验边框和真实边框的交集和并集的比值，

对于肺结节CT图像图片中每个真实边框标签，寻找IOU值大于等于0.5的检验框，有匹配成功的检验框的肺结节CT图像图片被认为是正样本，反之，则被认为是负样本，为了使正负样本数平衡，对负样本按照概率值进行降序排列，选取误差的较大的前500个作为训练的负样本，以保证正负样本比例为1∶3；

(2)确定损失函数：

损失函数为位置损失函数与置信度损失函数的加权和，计算公式如下，

公式(5)中，L(y，p，l，g)为损失函数，n为检验边框的正样本数量，这里y∈{1，0}，当y＝1时表示检验边框l与真实边框g匹配，p为类别置信度，L_conf(y，p)为检验框的置信损失函数，L_loc(y，l，g)为上述检验框所对应边界框的位置损失函数，α是超参数，设置为1；

由此得到用于肺结节检测的卷积神经网络模型的训练检测模型；

第3.3步，测试阶段：

用上述第3.2步得到的用于肺结节检测的卷积神经网络模型的训练检测模型对肺结节CT图像进行测试，得到每张肺结节CT图像中的肺结节检测结果；

至此，完成用于肺结节检测的卷积神经网络模型的构建。

上述用于肺结节检测的卷积神经网络模型的构建方法，所述LIDC是肺结节检测领域公开的数据集，所用的操作方法：“选取最佳阈值”、“归一化处理”、“利用基础网络VGG16提取特征”、“双线性插值法”和“使用多步策略”均是本技术领域的技术人员所公知的。

本发明的有益效果是：与现有技术相比，本发明具有突出的实质性特点和显著进步如下：

(1)本发明方法，是一种根据肺结节不同形态自适应提取特征的肺结节检测方法，引入了自适应卷积和多尺寸特征图预测技术，充分考虑到CT图像中不同结节的大小以及形态差异，提高速度的同时也提高了精度，克服了现有技术使用的3D和2D卷积检测模型均存在着没有充分考虑到CT图像中不同结节的形态差异和3D卷积网络的计算量比较大，需要很大的内存空间，使得其应用受到限制的缺陷。将本发明的用于肺结节检测的卷积神经网络模型的训练检测模型对肺结节CT图像进行测试，得到每张肺结节CT图像中的肺结节检测结果，经实验检测，用本发明方法检测肺结节的平均精度达到82.7％。

(2)本方法有两个关键创新点，第一是，引入自适应卷积技术，其核心思想是通过对输入目标的偏置学习，采样点可以产生适当的方向和偏移量，从而使卷积窗口的形状发生变化，扩展到非网格形状，每张肺结节CT图像的肺结节形状不规则，边缘特征和其周围肺实质非常相似，使用自适应卷积技术，根据输入肺结节CT图像中结节的形状，有效调整卷积窗口，使其能够全面提取特征；第二是，引入多尺寸特征图检测技术，其核心思想是采用不同层级不同尺寸的特征图，组成特征预测层，进行类别分类和位置检测。肺结节尺寸多样，范围是3～40mm，在不同尺寸特征图上使用不同比例的窗口预测，能够保证尺寸不同的肺结节都能检测到。

(3)与CN109102502A基于三维卷积神经网络的肺结节检测方法、CN108257128A一种基于3D卷积神经网络的肺结节检测装置的建立方法、CN106940816A基于3D全连接卷积神经网络的肺结节CT图像肺结节检测系统相比，本发明具有的突出的实质性特点和显著进步是：引入自适应卷积层和多尺寸特征预测技术，充分考虑到了肺结节大小不一、形态各异的特点，且模型使用的2D卷积神经网络，在速度和精度具有很好的表现。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明方法的总体流程示意图。

图2是本发明方法的卷积神经网络构成示意图。

图3是本发明方法的自适应卷积技术示意图。

图4是本发明方法的特征图融合技术示意图。

图中，1.输入图像，2.分支卷积层，3.偏置图像，4.原始图像的像素位置与上述偏移量相加，5.改变采样点位置后的相应的输出图像，6.高层特征图，7.反卷积，8.低层特征图，9.拼接，10.特征预测层。

具体实施方式

图1所示实施例表明，本发明方法的流程是：构建样本肺结节CT图像数据库-选取肺结节的肺结节CT图像；肺结节CT图像的预处理；肺结节CT图像的归一化处理→构建用于肺结节检测的卷积神经网络模型-构建卷积神经网络模型；引入自适应卷积神经网络；引入多尺寸特征图融合→用于肺结节检测的卷积神经网络模型的训练-超参数设置；训练过程；测试阶段→完成用于肺结节检测的卷积神经网络模型的构建。

图2所示实施例表明，本发明方法的卷积神经网络构成是：

首先利用基础网络VGG16提取特征，VGG16网络模型包含13个卷积层3个全连接层。将FC6和FC7转换为卷积层，然后继续在其后面添加额外的卷积层。最后模型由13个卷积层和激活函数、4个池化层、3个自适应卷积层组成，每次卷积得到的大小依次为300×300×64，300×300×128，150×150×128，150×150×128，150×150×128，75×75×256，75×75×256，75×75×256，75×75×256，38×38×512，38×38×512，38×38×512，38×38×512，19×19×512，19×19×512，19×19×512，19×19×512，19×19×512，19×19×512，10×10×512。选取不同层次的特征图，38×38×512，19×19×512，10×10×512，将高层特征图经过反卷积操作D，与底层特征图拼接，进行融合操作C，充分利用高低层的图像信息进行信息融合操作，组成特征金字塔预测层，对特征金字塔预测层的每个层级特征图设置尺度或者长宽比不同的检验框，即滑动窗口操作，进行分类和回归操作。

图3所示实施例表明，本发明方法的自适应卷积技术过程是：

输入图像1→分支卷积层2→偏置图像3→原始图像的像素位置与上述偏移量相加4→改变采样点位置后的相应的输出图像5。

进一步的说明：设定输入图像1的高*宽*通道数，通过在常规卷积层的基础上添加一个分支卷积层2，得到相应的输出的偏置图像3的高*宽*2*通道数，其中的2*通道数为坐标x和坐标y方向的偏移量，由原始图像的像素位置与上述偏移量相加4，得到改变采样点位置后的相应的输出图像5中的每一个位置。

根据肺结节形态不同，引入自适应卷积技术。在常规卷积网络的基础上添加一个分支卷积网络，根据目标形态，得到合适的方向和偏移量，并扩展到非网格形状，卷积核的形状可以尽可能匹配肺结节的形状。它不仅可以全面提取肺结节的特征，并且可以避免提取周围肺实质的特征。

图4所示实施例表明，本发明方法的特征图融合技术过程是：高层特征图6→反卷积7→与低层特征图8→拼接9→特征预测层10。

进一步说明：选取不同层次的特征图进行融合组成特征金字塔，引入多尺寸特征图融合方法是向量拼接，进行向量拼接操作的前提是现有特征向量和融合的特征向量大小相同，用数学式表达如下：底层特征图8的现有特征向量为v1∈R_n，高层特征图6的现有特征向量为v2∈R_m，将高层特征图6的现有特征向量v2反卷积7之后与底层特征图8的现有特征向量v1在同一阶拼接9，得到的融合特征向量表示为v＝[v1，v2]∈R_n+m，其中，R_n，R_m，为v1和v2的通道数，R_n+m为拼接之后的特征图通道数，融合组成特征预测层10，进行类别分类和位置检测。

底层特征图细节信息丰富，感受野偏小，高层特征图语义丰富，但是分辨率较低，基于这两方面的考虑，对于预测层特征图，每一层特征图将低层的细节特征和高层语义特征融合，丰富特征信息。

实施例1

第一步，构建肺结节样本CT图像数据库：

第1.1步，选取肺结节的CT图像：

使用公开的肺结节CT图像LIDC数据库，该数据库中共有1018病例纳入数据集，为了凸显本发明方法的实用性以及有效性，读取对应的XML格式文件，选取≥3毫米且同时被三位专家同时认定为是肺结节的CT图像，将三位专家对同一结节对应的最小坐标和最大坐标信息取平均值，将其中的肺结节位置坐标作为标签，组成新的肺结节样本CT图像数据库，保证结节位置的公平性和训练样本的准确性，实验使用十折交叉验证的方法，依次将数据集按照80％～20％的比例进行分配；

第1.2步，肺结节CT图像的预处理：

将第1.1步中所选取的样本CT图像数据库进行预处理，本步骤选用已知的肺实质分割方法，即首先选取最佳阈值，其范围在600～1000，提取粗轮廓，使用半径为2个像素的圆盘进行腐蚀操作，以分离附着在血管上的肺结节，之后使用半径为10个像素的圆盘进行关闭操作，以保持肺结节附着在肺壁上，然后填写肺部面罩内的小孔，最后将掩码和输入图像相乘，实现肺实质的分离，以避免其它肺部组织的干扰，至此完成肺结节CT图像的预处理；

第1.3步，肺结节CT图像的归一化处理：

对上述第1.2步中预处理之后的肺结节CT图像进行统一的归一化处理，使肺结节CT图像的像素在[0，1]范围内，以便使后面所构建的卷积神经网络能够更好地收敛；

由此完成构建肺结节样本CT图像数据库；

第二步，构建用于肺结节检测的卷积神经网络模型：

第2.1步，构建卷积神经网络模型：

首先利用基础网络模型VGG16提取特征，VGG16网络模型包含13个卷积层，3个全连接层。本发明将FC6和FC7转换为卷积层，然后继续在其后面添加额外的卷积层，最后模型由13个卷积层和激活函数、4个池化层、3个自适应卷积层组成，每次卷积得到的特征图大小依次为300×300×64、300×300×128、150×150×128、150×150×128、150×150×128、75×75×256、75×75×256、75×75×256、75×75×256、38×38×512、38×38×512、38×38×512、38×38×512、19×19×512、19×19×512、19×19×512、19×19×512、19×19×512、19×19×512、10×10×512、10×10×512，选取不同层次的特征图，38×38×512，19×19×512，10×10×512，充分利用高低层的图像信息进行信息融合操作，组成特征金字塔，该金字塔的每个层级使用共享分类器和回归器；

第2.2步，引入自适应卷积层：

在常规卷积层的基础上添加一个分支卷积层，通过对输入目标的偏置学习，采样点得到合适的方向和偏移量，从而使卷积窗口的形状发生变化，并扩展到非网格形状。根据肺结节形态不同，卷积核的形状尽可能匹配肺结节的形状其具体原理如下：

常规卷积神经网络中，卷积网络的输出图像y的每个位置表示为如下公式(1)，

公式(1)中，网格R＝{(-1，-1)，(-1，0)，…，(0，1)，(1，1)}为常规卷积过程中感受野的大小，代表卷积核是3×3，填充是1，x(p₀+p_n)为输入图像的不同位置，w(p_n)为卷积核的权重，y(p₀)为输出图像的每个位置，p₀为输入图像的每一个位置，p_n为相应位置对应的权重；

引入自适应卷积层的方法是，设定输入图像b×h×w×c通过在常规卷积层的基础上添加一个分支卷积层后得到相应的输出偏置图像b×h×w×2c，其中2c为坐标x和坐标y方向的偏移量，然后将原始图像的像素位置与上述偏移量相加，改变采样点位置，则公式(1)式变成如下公式(2)，

公式(2)中，Δp_n为每个位置的偏移量，x(p₀+p_n+Δp_n)为偏移之后的采样点位置，y(p₀)为在常规卷积层的基础上添加一个分支卷积层后得到相应的输出图像的每一个位置；

经过引入自适应卷积层之后，当映射到输入图像的位置坐标不是整数时，使用双线性插值法计算确定采样点位置，如下公式(3)和公式(4)所示：

W_i(q_i，p)＝w_i(q_xi，p_x)*x(q_yi，p_y) (4)

公式(3)中，x(p)为坐标处理后的整数，q_i为最近的四个像素，其中i∈{1，2，3，4}，w_i为每个点的相应权重，其中i∈{1，2，3，4}，公式(4)代表相邻的四个点与所优化点之间的乘积关系，w_i(q_xi，p_x)代表四个点和所优化点x方向的关系，x(q_yi，p_y)代表四个点和所优化点y方向的关系，在使用双线性插值法计算确定采样点位置后，整个过程能够通过标准的反向传播进行端到端的训练；

由此完成引入自适应卷积层，根据输入图像中肺结节的形状，有效调整卷积窗口，使其能够全面提取特征；

第2.3步，引入多尺寸特征图融合：

底层特征细节信息丰富，感受野偏小，高层特征图语义丰富，但是分辨率较低。基于这两方面的考虑，对于预测层的特征图，每一层特征图将低层的细节特征和高层语义特征融合，丰富特征信息，有利于肺结节的检测，因此，选取不同层次的特征图进行融合组成特征金字塔，引入多尺寸特征图融合方法是向量拼接，进行向量拼接操作的前提是现有特征向量和融合特征向量大小相同，用数学式表达如下，

底层特征图的现有特征向量为v1∈R_n，高层特征图的现有特征向量为v2∈R_m，将v2反卷积之后与v1在同一阶拼接，得到的预测层特征图的融合特征向量表示为v＝[v1，v2]∈R_n+m，其中，R_n为v1的通道数，R_m为v2的通道数，R_n+m为拼接之后的特征图通道数，融合组成特征预测层，进行类别分类和位置检测；

由此完成构建用于肺结节检测的卷积神经网络模型；

第三步，用于肺结节检测的卷积神经网络模型的训练：

在上述第2.3步中所述的特征金字塔的每个层级共享分类器和回归器，对特征金字塔的每个层级特征图设置尺度不同的检验框，每个检验框输出值包括两个部分，一部分为肺结节的概率值，另一部分是检测框的位置，向上述第二步构建的用于肺结节检测的卷积神经网络模型中输入肺结节CT图像，设置所输入肺结节CT图像的大小是300×300像素，经过用于肺结节检测的卷积神经网络，得到的特征图尺寸是10×10像素，具体细节如下：

第3.1步，超参数设置：

所设置的超参数是，批处理的肺结节CT图像大小数量为32，采用的学习率是0.1，使用多步策略，迭代预设不同次数分别为：40000、60000、120000，最大迭代次数是120000，对应的学习率依次是0.1、0.01、0.001；

第3.2步，训练过程：

(1)检验框的匹配：

用IOU值来评估检验边框和真实边框两者的重合度，IOU值是指检验边框和真实边框的交集和并集的比值，

对于肺结节CT图像图片中每个真实边框标签，寻找IOU值大于等于0.5的检验框，有匹配成功的检验框的肺结节CT图像图片被认为是正样本，反之，则被认为是负样本，为了使正负样本数平衡，对负样本按照概率值进行降序排列，选取误差的较大的前500个作为训练的负样本，以保证正负样本比例为1∶3；

(2)确定损失函数：

损失函数为位置损失函数与置信度损失函数的加权和，计算公式如下，

公式(5)中，L(y，p，l，g)为损失函数，n为检验边框的正样本数量，这里y∈{1，0}，当y＝1时表示检验边框l与真实边框g匹配，p为类别置信度，L_conf(y，p)为检验框的置信损失函数，L_loc(y，l，g)为上述检验框所对应边界框的位置损失函数，α是超参数，设置为1；

由此得到用于肺结节检测的卷积神经网络模型的训练检测模型；

第3.3步，测试阶段：

用上述第3.2步得到的用于肺结节检测的卷积神经网络模型的训练检测模型对肺结节CT图像进行测试，得到每张肺结节CT图像中的肺结节检测结果，经实验检测，通过本实施例检测肺结节的平均精度为82.7％；

至此，完成用于肺结节检测的卷积神经网络模型的构建。

实施例2

除第三步中为“在上述第2.3步中所述的特征金字塔的每个层级共享分类器和回归器，对特征金字塔的每个层级特征图设置长宽比不同的检验框”之外，其他均同实施例1。

上述实施例中，所述LIDC是肺结节检测领域公开的数据集，所用的操作方法：“选取最佳阈值”、“归一化处理”、“利用基础网络VGG16提取特征”、“双线性插值法”和“使用多步策略”均是本技术领域的技术人员所公知的。

Claims (1)

1.用于肺结节检测的卷积神经网络模型的构建方法，其核心在于：是一种根据肺结节不同形态自适应提取特征的肺结节检测方法，引入了自适应卷积层和多尺寸特征图融合预测技术，具体步骤如下：

第一步，构建肺结节样本CT图像数据库：

第1.1步，选取肺结节的CT图像：

使用公开的肺结节CT图像LIDC数据库，选取≥3毫米且同时被三位专家以上同时认定为是肺结节的CT图像，组成新的肺结节样本CT图像数据库，将其中的肺结节位置坐标作为标签；

第1.2步，肺结节CT图像的预处理：

将上述第1.1步中所选取的样本CT图像数据库进行预处理，本步骤选用已知的肺实质分割方法，即首先选取最佳阈值，其范围在600～1000，提取粗轮廓，使用半径为2个像素的圆盘进行腐蚀操作，以分离附着在血管上的肺结节，之后使用半径为10个像素的圆盘进行关闭操作，以保持肺结节附着在肺壁上，然后填充肺部面罩内的小孔，最后将掩码和输入图像相乘，实现肺实质的分离，以避免其它肺部组织的干扰，至此完成肺结节CT图像的预处理；

第1.3步，肺结节CT图像的归一化处理：

对上述第1.2步中预处理之后的肺结节CT图像进行统一的归一化处理，使肺结节CT图像的像素在[0,1]范围内，以便使后面所构建的卷积神经网络能够更好地收敛；

由此完成构建肺结节样本CT图像数据库；

第二步，构建用于肺结节检测的卷积神经网络模型：

第2.1步，构建卷积神经网络模型：

首先利用基础网络模型VGG16提取特征，VGG16网络模型包含13个卷积层，3个全连接层；本发明将FC6和FC7转换为卷积层，然后继续在其后面添加额外的卷积层，最后模型由13个卷积层和激活函数、4个池化层、3个自适应卷积层组成，每次卷积得到的特征图大小依次为300×300×64、300×300×128、150×150×128、150×150×128、150×150×128、75×75×256、75×75×256、75×75×256、75×75×256、38×38×512、38×38×512、38×38×512、38×38×512、19×19×512、19×19×512、19×19×512、19×19×512、19×19×512、19×19×512、10×10×512、10×10×512，选取不同层次的特征图，38×38×512,19×19×512,10×10×512，充分利用高低层的图像信息进行信息融合操作，组成特征金字塔，该金字塔的每个层级使用共享分类器和回归器；

第2.2步，引入自适应卷积层：

在常规卷积层的基础上添加一个分支卷积层，通过对输入目标的偏置学习，采样点得到合适的方向和偏移量，从而使卷积窗口的形状发生变化，并扩展到非网格形状；根据肺结节形态不同，卷积核的形状尽可能匹配肺结节的形状其具体原理如下：

常规卷积神经网络中，卷积网络的输出图像y的每个位置表示为如下公式(1)，

公式(1)中，网格R＝{(-1,-1),(-1,0),…,(0,1),(1,1)}为常规卷积过程中感受野的大小,代表卷积核是3×3,填充是1，p₀为输入图像的每一个位置，p_n为相应位置对应的权重，x(p₀+p_n)为输入图像的不同位置，w(p_n)为卷积核的权重，y(p₀)为输出图像的每个位置；

引入自适应卷积层的方法是，设定输入图像b×h×w×c通过在常规卷积层的基础上添加一个分支卷积层后得到相应的输出偏置图像b×h×w×2c，其中2c为坐标x和坐标y方向的偏移量，然后将原始图像的像素位置与上述偏移量相加，改变采样点位置，则公式(1)式变成如下公式(2)，

公式(2)中，Δp_n为每个位置的偏移量，x(p₀+p_n+Δp_n)为偏移之后的采样点位置，y(p₀)为在常规卷积层的基础上添加一个分支卷积层后得到相应的输出图像的每一个位置；

经过引入自适应卷积层之后，当映射到输入图像的位置坐标不是整数时，使用双线性插值法计算确定采样点位置，如下公式(3)和公式(4)所示：

W_i(q_i,p)＝w_i(q_xi,p_x)*x(q_yi,p_y) (4)

公式(3)中，x(p)为坐标处理后的整数，q_i为最近的四个像素,其中i∈{1,2,3,4}，W_i为每个点的相应权重,其中i∈{1,2,3,4},公式(4)代表相邻的四个点与所优化点之间的乘积关系，w_i(q_xi,p_x)代表四个点和所优化点x方向的关系，x(q_yi,p_y)代表四个点和所优化点y方向的关系，在使用双线性插值法计算确定采样点位置后，整个过程能够通过标准的反向传播进行端到端的训练；

由此完成引入自适应卷积层，根据输入图像中肺结节的形状，有效调整卷积窗口，使其能够全面提取特征；

第2.3步，引入多尺寸特征图融合：

选取不同层次的特征图进行融合组成特征金字塔，引入多尺寸特征图融合方法是向量拼接，进行向量拼接操作的前提是现有特征向量和融合的特征向量大小相同，用数学式表达如下：底层特征的现有特征向量为v1∈R_n,高层特征的现有特征向量为v2∈R_m，将高层特征的现有特征向量v2反卷积之后与底层特征的现有特征向量v1在同一阶拼接，得到的融合特征向量表示为v＝[v1,v2]∈R_n+m，其中，R_n，R_m，为v1和v2的通道数,R_n+m为拼接之后的特征图通道数，融合组成特征预测层，进行类别分类和位置检测，

由此完成构建用于肺结节检测的卷积神经网络模型；

第三步，用于肺结节检测的卷积神经网络模型的训练：

在上述第2.3步中所述的特征金字塔的每个层级共享分类器和回归器，对特征金字塔的每个层级特征图设置尺度或者长宽比不同的检验框，每个检验框输出值包括两个部分，一部分为肺结节的概率值，另一部分是检测框的位置，向上述第二步构建的用于肺结节检测的卷积神经网络模型中输入肺结节CT图像，设置所输入肺结节CT图像的大小是300×300像素，经过用于肺结节检测的卷积神经网络，得到的特征图尺寸是10×10像素，具体细节如下：

第3.1步，超参数设置：

所设置的超参数是，批处理的肺结节CT图像大小数量为32，采用的学习率是0.1，使用多步策略，迭代预设不同次数分别为：40000、60000、120000，最大迭代次数是120000,对应的学习率依次是0.1、0.01、0.001；

第3.2步，训练过程：

(1)检验框的匹配：

用IOU值来评估检验边框和真实边框两者的重合度，IOU值是指检验边框和真实边框的交集和并集的比值，

对于肺结节CT图像图片中每个真实边框标签，寻找IOU值大于等于0.5的检验框，有匹配成功的检验框的肺结节CT图像图片被认为是正样本，反之，则被认为是负样本，为了使正负样本数平衡，对负样本按照概率值进行降序排列，选取误差的较大的前500个作为训练的负样本，以保证正负样本比例为1:3；

(2)确定损失函数：

损失函数为位置损失函数与置信度损失函数的加权和，计算公式如下，

公式(5)中，L(y,p,l,g)为损失函数，n为检验边框的正样本数量，这里y∈{1,0}，当y＝1时表示检验边框l与真实边框g匹配，p为类别置信度，L_conf(y,p)为检验框的置信损失函数，L_loc(y,l,g)为上述检验框所对应边界框的位置损失函数，α是超参数，设置为1；

由此得到用于肺结节检测的卷积神经网络模型的训练检测模型；

第3.3步，测试阶段：

用上述第3.2步得到的用于肺结节检测的卷积神经网络模型的训练检测模型对肺结节CT图像进行测试，得到每张肺结节CT图像中的肺结节检测结果；

至此，完成用于肺结节检测的卷积神经网络模型的构建。

Images