CN110674866B - 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法 - Google Patents

Abstract

本发明提出了一种迁移学习特征金字塔网络对X‑ray乳腺病灶图像检测方法，包括：步骤1，建立源域和目标域数据集；步骤2，由可变形卷积和拓展型残差网络模块模块建立可变形卷积的残差网络层；步骤3，结合可变形卷积的残差网络层通过特征图上采样和特征融合方法，建立基于特征金字塔结构的多尺度特征提取子网络；步骤4，建立病灶位置敏感的可变形池化子网络；步骤5，建立后处理网络层来优化预测结果和损失函数；步骤6，将训练模型迁移至小样本钼靶X线乳腺病灶检测任务上，以提高网络模型对小样本影像中病灶的检测精度。本发明结合迁移学习策略，实现小样本医学影像中的病灶图像处理。

Description

迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法

技术领域

本发明涉及医学图像处理、深度学习和人工智能等技术领域，具体涉及迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法。

背景技术

随着医学数字影像技术的迅速发展，医学影像分析已经步入医疗大数据的时代。医学图像分析中的病灶检测是辅助诊断与计算机视觉的交叉研究课题之一，传统的CAD技术利用图像的边缘、纹理以及信号强弱程度的相关统计量特征、HOG、Haar、SIFT等特征，可在影像中实现一些简单的病灶检测任务，但在影像中病灶区域表现出形态多样、尺度多变的特性，导致传统的算法模型检测精度不高且泛化性差，故大部分影像分析工作还需人工完成，导致医生的工作负荷逐年攀升。近年来，深度学习技术在医学影像分析领域取得了一定的成果并推动了CAD技术的发展。但是涉及病人隐私，大部分影像数据获取难，而且高质量的数据标注代价大，而对于小样本影像数据集，多数深度学习病灶目标检测算法容易导致模型过拟合，导致模型在新的影像上检测效果差。

例如：发明专利申请CN108268870A，公开了一种基于对抗学习的多尺度特征融合超声图像语义分割方法。但其存在一些问题：①该发明是像素级语义分割模型，但是最终分割图却来自语义分割特征图的8倍上采样，这种方式误差极大，分割轮廓粗糙；②该发明使用经典交叉熵损失来构建损失函数，通过加入Q正则项方法来约束对抗网络训练收敛；③膨胀卷积就是空洞卷积，此发明中给出了3中比例因子；④网络中特征提取结构耗时最大，该发明中使用三个并联分支，整体系统的计算冗余大。相对而言，该方法是分割方法。该方法中的特征融合出发点是在三个分支结构三种尺度输入图像，进行的融合操作且冗余计算严重；

例如：发明专利申请CN108268870A，公开了一种基于对抗学习的多尺度特征融合超声图像语义分割方法。但其存在一些问题：①该发明是基于大量已经存在的病灶数据进行学习，对于小样本问题未做说明；②在整张图像上在二维高斯概率约束下进行随机采样获取RoI区域，获得的精确目标区域的比例小，计算冗余大；而且参数根据先验知识给出，不能保证参数最优化，影响模型精度；③多种经典机器学习算法SVM、PCA构建混合卷积神经网络，并不是一种端到端的学习方式；④该发明利用SVM建立二分类判别器，建立二分类损失来指导网络分类，缺乏对位置回归的反馈调节，对病灶不能进行细粒度的分类鉴别；

例如：发明专利申请CN108764063A，公开一种基于特征金字塔的遥感影像时敏目标识别系统及方法。但其存在一些问题：①该发明的baseline采用SE-MobleNet；②该发明从baseline引出c2-c5网络层输出特征，分别生成p2-p6特征图并对将全部特征融合后再进行常规迟化，这是一种常规的金字塔模型；

例如：发明专利申请CN10191425A，公开一种医学影像分析方法。但其存在一些问题：①损失函数用了交叉熵、但只给出了标准函数，也没有涉及损失函数的具体数学模型和改进部分；②神经网络卷积层为常规卷积模块，并没有严格考虑残差的对网络的影响；

例如：发明专利申请CN109903292A，公开了一种基于全卷积神经网络的三维图像分割方法及系统。但其存在一些问题：①该发明结构设计Baseline使用常规的残差模块和经典的U-Net模型；②网络中使用空洞卷积是现有方法，但其可拓展具体实现方式没有说明清楚，不同空洞卷积比例大小也为说明；③注意力机制的引入应该为此网络增添创新度，但几乎没有详述这部分内容；④该发明中没有给出“交叉熵损失函数”实际应用数学模型和相关参数；

例如：CN107145898A公开了一种基于神经网络的射线图像分类方法，相较于本发明区别主要在该发明为：①主要利用经典卷积神经网络CaffeNet模型(该发明中强调可选择多种模型，如Zfnet，VGGnet,Googlenet等)进行分类；②根据大规模标签样本获得多个预选框和分类概率后，再来由回归模型对位置参数进行回归操作，回归模型设计简单，理论上这种方法建立的模型鲁棒性相对弱，而且该发明中也没有给出可视化检测结果和客观评价参考值；

例如：CN108573491A公开了一种基于机器学习的三维超声图像分割方法，①该发明主要是三维超声图像分割算法；②该发明使用常规机器学习，且网络层数浅(5层)；③只针对大规模数据样本下的分割任务有效；

例如：CN108647742A公开了一种基于轻量级神经网络的快速目标检测方法，①该发明的网络模型输入图像尺寸固定在416*416；②该发明主要参照Darknet(Yolo公开模型)做了两部分调整，分别设计了Front和Tinier模块，来减少参数减少计算量；

例如：CN109272048A公开了一种基于深度卷积神经网络的模式识别方法，①该发明网络结构主要采用DenseNet-169网络模型，并结合注意力机制来建立该发明中的网络模型；②模型输入图像尺寸大小固定在256*256；

例如：CN109446804A公开了一种基于多尺度特征连接卷积神经网络的入侵检测方法，①卷积方式不同，该发明为一维卷积；②该发明的多尺度体现在n维列向量的特征采集方式上，而非特征空间上；③损失函数也是交叉熵损失，但只涉及分类损失；④数据为大量网络入侵的离散数据如KDD99数据集，需要对数据做特殊处理；

例如：CN109598727A公开了一种基于深度神经网络的CT图像肺实质三维语义分割方法，①该发明采用门控循环记忆卷积(GRU)单元设计模型，与本发明中拓展的可变形卷积不同；②肺部实质分割模型；

例如：CN109671102A公开了一种基于深度特征融合卷积神经网络的综合式目标跟踪方法，相较于本发明区别主要在该发明为：①该发明主要应用在目标跟踪方面；②该发明网络结构的baseline主要采用VGG-M网络模型，跟踪过程中使用多种不同的目标模板；③分类子网络函数层使用的是logistic函数而不是softmax函数。

综上所述，以上现有技术均无法将其模型迁移至小样本X线乳腺病灶检测任务上，以提高网络模型对小样本病灶的检测精度。

发明内容

本发明的目的是提出了迁移学习下特征金字塔网络对钼靶X线影像中乳腺病灶的检测方法，该方法通过建立幅度调制的可变形卷积模型，将其引入特征提取子网络层和位置敏感的可变形池化子网络层，增强网络模型对病灶特征的提取能力，以及对病灶位置的敏感度；并由特征金字塔结构模型构造的多尺度金字塔特征，对金字塔特征分别进行检测形成金字塔网络，有效提升网络模型对多尺度病灶检测的鲁棒性；通过对大量CT胸部影像样本进行学习，将其模型迁移至小样本X线乳腺病灶检测任务上，以提高网络模型对小样本病灶的检测精度。

本发明的技术方案是提供了一种迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法，包括以下步骤：

步骤1、建立源域和目标域数据集：小样本影像数据集Data_A作为目标域数据，大规模影像数据集Data_B作为源域数据；

步骤2、建立可变形卷积残差网络层：为改善常规卷积矩形采样的局限性，利用幅度调制的可变形卷积和拓展型残差网络模块，建立特征提取能力强的可变形卷积残差网络层，从源域和目标域数据集中提取病灶目标的强表征性高阶特征信息；

步骤3、建立多尺度特征提取子网络：利用在步骤2建立的可变形卷积残差网络层，进一步通过特征图上采样和特征融合方法，建立基于特征金字塔结构的多尺度特征提取子网络，以获得图像中病灶的多尺度特征信息；

步骤4、建立病灶位置敏感的可变形池化子网络：以多尺度特征信息作为输入，利用可变形卷积和区域建议子网络模型，建立特征金字塔结构下的位置敏感的区域空间可变形兴趣区域池化层，通过此池化层建立病灶位置敏感的可变形池化子网络，以此来获得病灶池化后的高阶特征信息；再经过后处理网络层对病灶池化特征进行分类与位置回归，获得图像中病灶的位置和分类信息；

步骤5、优化预测结果和建立损失函数：以弱化非极大值抑制算法建立后处理网络层，进一步对步骤4的获得的病灶位置信息和分类信息进行筛选优化，获得病灶在图像中精确检测结果；通过计算病灶检测结果与标注真值的交并比，利用交叉熵函数和改进的L1函数Soft-L1建立网络模型的损失函数，通过迭代训练来优化网络模型；

步骤6、迁移学习下的小样本病灶检测：先使用源域数据集Data_B训练网络模型，再采用迁移学习策略，通过冻结特征子网络层，再在目标域数据集Data_A上进行迭代训练，获得最后的小样本病灶检测模型，实现对乳腺X线影像中对乳腺病灶的位置和分类检测。

进一步地，步骤1中，小样本数据集Data_A包括200～1000个样本作为目标域数据，大规模数据集Data_B包括大于5000个样本作为源域数据，并将数据格式归一化处理为png图像；

进一步地，步骤2还包括下述步骤：

步骤2.1、利用可学习的采样点偏置量和幅度调制机制，建立可变形卷积的计算模型：

式中，y(p)表示在病灶特征图上的某一个采样点p上进行卷积计算的特征信息，x(p)表示特征图中p位置的值，p_k表示卷积核的采样点，R表示卷积核采样的接受域大小和扩展度，ω(p_k)表示卷积核的p_k位置采样权重值，Δp_k表示对应采样空间的偏置量，且是一个二维的分数，Δm_k表示幅度调制量；

步骤2.2、通过可变形卷积和拓展型残差网络模块，建立对病灶特征具有强特征提取能力的可变形卷积残差网络层，其残差结构的响应函数模型：

式中，F(y)表示带有残差的输出，ReLU表示激活函数，T_i(y)表示具有相同拓扑结构的卷积层，按照组的概念并行连接，c表示通过正则基数来约束组的容量，其可在减少参数复杂度的前提下提高网络模型对病灶检测的准确率。并以ResNeXt-101网络结构为基础，构建特征提取子网络的骨干结构，并输出Conv1至Conv5的特征图；

进一步地，步骤3还包括下述步骤：

步骤3.1、最近邻上采样：对步骤2中Conv3至Conv5卷积层的输出特征图进行2倍的上采样，获得与前一卷积层{C₂,C₃,C₄}输出特征同尺度的采样特征图{C′₂,C′₃,C′₄}；

步骤3.2、特征融合与建立多尺度特征提取子网络：把采样特征图与前一卷积层的输出特征相融合，以此获得具有语义信息的精细特征，卷积层与特征金字塔对应关系：卷积层Conv5的输出特征C₅经卷积层fpn-6由最大池化得到P₆，卷积层Conv2至Conv5的输出特征{C₂,C₃,C₄,C₅}，经卷积层fpn-2至fpn-5由1×1卷积和3×3卷积计算并进行特征融合，分别得到特征图{P₂,P₃,P₄,P₅}，以建立金字塔特征图{P₂,P₃,P₄,P₅,P₆}。

进一步地，步骤4还包括下述步骤：

步骤4.1、建立病灶位置敏感的可变形池化子网络：在步骤3所获得的金字塔特征图{P₂,P₃,P₄,P₅,P₆}上，利用区域建议子网络模型并设置模型的锚框的比例分别为1:1，1:2，2:1，再通过迭代计算锚框与病灶目标区域的交并比，利用交并比不断更新区域建议子网络模型参数，以获得模型对病灶进行初步预测的感兴趣的候选区域；利用感兴趣的候选区域结合可变形卷积并引入病灶位置信息进行特征聚集的池化计算，以此提高网络模型对病灶位置信息的敏感度，进一步增强网络模型平移不变性的鲁棒性；构建病灶位置敏感的可变形池化子网络的网络层响应函数模型：

式中，x(p_k)表示特征图上第k个感兴趣的候选区域，p_k表示特征图上第k个感兴趣的候选区域左上角区域块，p_ij表示兴趣区域分为n_k块的集合bin(i,j)中的第(i,j)块，Δp_ij表示每个块的位置偏移量，Δm_ij表示偏移量的调制量，Θ表示网络学习参数集；

步骤4.2、分类与位置回归：在步骤4.1池化处理金字塔特征图{P₂,P₃,P₄,P₅,P₆}后，可得到c+1维的向量特征用于分别计算分类和位置回归；在对所得c+1维的向量特征进行两个同级的1×1卷积层操作，获得强语义性的特征，再经过2个全连接网络层实现对影像中病灶位置回归和分类的预测结果，并获得病灶区域分类的概率响应值，以预测结果来优化损失函数。

进一步地，步骤5还包括下述步骤：

步骤5.1、优化初步预测结果：在基于上述步骤4.2所得初步预测结果的基础上，经由弱化非极大值抑制对初步预测结果进一步迭代，以此获得精确的病灶预测结果。经过线性加权的方式建立弱化的非极大值抑制模型：

式中s_i表示预测评分，N_t表示抑制阈值，IoU(B,b_i)表示最大评分的病灶目标边界框B与待处理病灶目标边界框b_i的交并比。采用此模型优化初步预测结果，可有效降低影像中病灶漏检率而提高病灶检出率；

步骤5.2、建立网络的损失函数：在训练可变形卷积特征金字塔对钼靶X线乳腺病灶检测网络时，为了抑制难识别的病灶样本对损失大的影响，在Smooth L1损失函数基础上进行改进，建立所提算法中的边界回归损失函数Soft-L1模型：

式中，

表示(b,b^*)的回归误差值，α表示梯度控制因子并且取值0.5，β表示调整回归误差的上界因子并且取值e^2/3-1，C表示连接因子确保L_reg连续可导并且取值1-0.75β^-1。

为引导网络模型的有效学习，结合网络模型结构的设计属性以及医学图像中病灶特征的特异性，确保网络模型对影像中病灶有精确的定位和准确的分类，设定病灶检测网络的损失函数如公式(7)所示：

式中，S_c表示预测分类响应，c表示预测病灶类别(c＝0为背景)且c^*表示真值，y_c(Θ)表示位置敏感的兴趣区域池化响应，b_(x,y,w,h)表示预测病灶位置且b^*表示真值，L_cls表示分类交叉熵损失函数且

λ表示损失L(*)的加权平均参数，L_reg表示边界回归损失函数Soft-L1，Θ表示网络的全部学习参数。

本发明的有益效果在于：

(1)本发明提出了迁移学习下特征金字塔网络对钼靶X线影像中乳腺病灶的图像处理方法，通过建立幅度调制的可变形卷积模型，将其引入特征提取子网络和位置敏感的可变形池化子网络，增强网络模型对病灶特征的提取能力，以及对病灶位置的敏感度；并由特征金字塔结构模型构造的多尺度金字塔特征，对金字塔特征分别进行检测形成金字塔网络，有效提升网络模型对多尺度病灶检测的鲁棒性；通过对大量CT胸部影像样本进行学习，将其模型迁移至小样本X线乳腺病灶检测任务上，以提高网络模型对小样本病灶的检测精度。

(2)本发明采用迁移学习、可变形卷积、特征金字塔结构相结合构建检测算法网络模型，以提高小样本影像上的病灶检测精度。可变形卷积可以有效的增强卷积层对病灶特征的提取能力，可以更好的表征图像的强特征。特征金字塔模型利用上采样方式和特征融合，通过多尺特征提取方法对图像中不同大小的病灶目标具有更好的适应性。而迁移学习可较好解决小样本影像数据中病灶检测难问题，进一步增强网络模型的泛化性。基于以上分析，本发明提出了迁移学习下特征金字塔网络对钼靶X线影像中乳腺病灶的检测方法，从医学影像中提取具有强表征性的病灶特征，结合迁移学习策略，实现小样本医学影像中的病灶检测。

(3)本发明中是在一个主干结构上进行特征空间的特征融合操作，并通过共享卷积层的方式避免冗余计算，因此，本发明中的可变形卷积更为灵活，更利于病灶特征提取。

(4)本发明中以多类别检测出发，进行端到端的对病灶进行学习与检测，且可以应用在小样本学习上获得更为精确的检测效果。

(5)本发明中没有直接合并p2-p6特征图，而是分别做位置敏感的可变形池化操作，同时改进了特征提取子网络部分，以及损失函数中的回归损失部分。

(6)本发明对模型的损失函数给出了实际建模和改进说明，并且利用可变形卷积和残差结构进行了改进。

(7)本发明中设计了幅度调制的可变形卷积，相比空洞卷积灵活性更强，有助于特征选择；对残差模块做了拓展设计，对网络特征提取性能有一定的改善；对模型的损失函数中的回归损失进行了改进，并给出了实际应用数据模型及参数。

附图说明

图1为本发明的总体流程图；

图2为本发明可变形卷积的残差网络层模块结构图；

图3为本发明特征金字塔子网络结构图；

图4为本发明位置敏感的可变形卷积池化层子网络结构图；

图5为本发明深度神经网络整体结构图；

图6为本发明在钼靶X线影像中乳腺病灶检测结果图。

具体实施方式

下面结合附图及具体实施方式进一步说明本发明，但此种通过附图描述的实施例是示例性的，仅用于解释本发明，不能限制本发明权力范围。

如图1所示，该实施例提供了一种迁移学习下特征金字塔网络对钼靶X线(X-ray)乳腺病灶图像检测方法，其具体实施步骤如下：

步骤1、建立源域和目标域数据集：小样本影像数据集Data_A作为目标域数据，大规模影像数据集Data_B作为源域数据；

该步骤中，建立或获取开源的大量CT胸部影像数据集，将其进行标准化并构成源数据集Data_B，将Data_B用于训练上分支模型参数，且源域检测结果只用于引导网络优化训练；建立或获取开源的小样本钼靶X线乳腺影像数据集，将其进行标准化并构成目标域数据集Data_A，如图1中①所示，两个数据集具有统一标准的输入格式。

步骤2、建立可变形卷积残差网络层：利用幅度调制的可变形卷积和拓展型残差网络模块，建立特征提取能力强的可变形卷积残差网络层，从源域和目标域数据集中提取病灶目标的强表征性高阶特征信息；

该步骤中，针对小样本影像数据集下的乳腺病灶检测任务中，乳腺病灶在影像中表现出特征不明显、病灶形态与尺度多变的主要特征。为了更好的实现对小样本数据任务下的乳腺病灶检测，本发明在特征提取部分采用可变形卷积和特征金字塔结构，来获得不同尺度下的强表征特征信息，特征提取过程如图2和图3所示；

步骤2.1、建立可变形卷积模型：如图2(a)中间部分为可变形卷积采样过程示例，在常规卷积模型中引入了可学习的采样点偏置量和幅度调制量进行病灶特征提取，让卷积采样变得更加自由灵活，建立可变形卷积的计算模型：

式中，y(p)表示在病灶特征图上的某一个采样点p上进行卷积计算的特征信息，x(p)表示特征图中p位置的值，p_k表示卷积核的采样点，R表示卷积核采样的接受域大小和扩展度，ω(p_k)表示卷积核的p_k位置采样权重值，Δp_k表示对应采样空间的偏置量，且是一个二维的分数，Δm_k表示幅度调制量；

步骤2.2、建立可变形卷积残差网络层：如图2(a)左边部分为拓展型残差网络模块，通过对拓展型残差网络模块中引入一个可学习的偏置量和幅度调制量，来改变和引导常规3×3的卷积核为可变形卷积，以此实现对图像特征的提取，进一步构建为图2(a)右边部分可变形卷积残差模块，可变形卷积残差模块的响应函数模型：

式中，F(y)表示带有残差的输出，ReLU表示激活函数，T_i(y)表示具有相同拓扑结构的卷积层，按照组的概念并行连接，c表示正则基数来约束组的容量。其可在减少参数复杂度的前提下提高网络模型对病灶检测的准确率；

步骤2.3、建立可变形卷积残差网络层：以拓展型残差网络模型ResNeXt-101为基础，去除原ResNeXt-101模型结构最后一层的全连接层，保留前100层，接一个1*1*1024的全卷积进行降维；将Conv1到Conv5的部分卷积层：Conv2_Res2c、Conv3_Res3b2、Conv3_Res3b3、Conv4_Res4b20、Conv4_Res4b21、Conv4_Res4b22、Conv5_Res5a、Conv5_Res5b、Conv5_Res5c建立为可变形卷积层，由此建立具有可变形卷积的特征提取子网络，并分别输出卷积层Conv2、Conv3、Conv4、Conv5的卷积特征图，用于构建特征金字塔子网络。

步骤3、建立多尺度特征提取子网络：利用在步骤2建立的可变形卷积残差网络层，进一步通过特征图上采样和特征融合方法，建立基于特征金字塔结构的多尺度特征提取子网络，以获得图像中病灶的多尺度特征信息；

步骤3.1、最近邻上采样：对步骤2中Conv3至Conv5卷积层的输出特征图进行2倍的上采样，获得与前一卷积层{C₂,C₃,C₄}输出特征同尺度的采样特征图{C′₂,C′₃,C′₄}；

步骤3.2、特征融合与建立多尺度特征提取子网络：把采样特征图与前一卷积层的输出特征相融合，以此获得具有语义信息的精细特征，卷积层与特征金字塔对应关系：卷积层Conv5的输出特征C₅经卷积层fpn-6由最大池化得到P₆，卷积层Conv2至Conv5的输出特征{C₂,C₃,C₄,C₅}，经卷积层fpn-2至fpn-5由1×1卷积和3×3卷积计算并进行特征融合，分别得到特征图{P₂,P₃,P₄,P₅}，以此建立金字塔特征图{P₂,P₃,P₄,P₅,P₆}。

步骤4、建立病灶位置敏感的可变形池化子网络：以多尺度特征信息作为输入，利用可变形卷积和区域建议子网络模型，建立特征金字塔结构下的位置敏感的区域空间可变形兴趣区域池化层，通过所述池化层建立病灶位置敏感的可变形池化子网络，以此来获得病灶池化后的高阶特征信息；再经过后处理网络层对病灶池化特征进行分类与位置回归，获得图像中病灶的位置和分类信息；

步骤4.1、建立病灶位置敏感的可变形池化子网络：在步骤3所获得的金字塔特征图{P₂,P₃,P₄,P₅,P₆}上，利用区域建议子网络模型并设置模型的锚框的比例分别为1:1，1:2，2:1，再通过迭代计算锚框与病灶目标区域的交并比，利用交并比不断更新区域建议子网络模型参数，以获得模型对病灶进行初步预测的感兴趣的候选区域；利用感兴趣的候选区域结合可变形卷积并引入病灶位置信息进行特征聚集的池化计算，以此提高网络模型对病灶位置信息的敏感度，进一步增强网络模型平移不变性的鲁棒性；构建病灶位置敏感的可变形池化子网络的网络层响应函数模型：

式中，x(p_k)表示特征图上第k个感兴趣的候选区域，p_k表示特征图上第k个感兴趣的候选区域左上角区域块，p_ij表示兴趣区域分为n_k块的集合bin(i,j)中的第(i,j)块，Δp_ij表示每个块的位置偏移量，Δm_ij表示偏移量的调制量，Θ表示网络学习参数集；

步骤4.2、分类与位置回归：在步骤4.1池化处理金字塔特征图{P₂,P₃,P₄,P₅,P₆}后，可得到c+1维的向量特征用于分别计算分类和位置回归；在对所得c+1维的向量特征进行两个同级的1×1卷积层操作，获得强语义性的特征，再经过2个全连接网络层实现对影像中病灶位置回归和分类的预测结果，并获得病灶区域分类的概率响应值，以预测结果来优化损失函数。

步骤5、优化预测结果和建立损失函数：以弱化非极大值抑制算法建立后处理网络层，进一步对步骤4的获得的病灶位置信息和分类信息进行筛选优化，获得影像中精确的病灶检测结果；通过计算病灶检测结果与标注真值的交并比，利用分类交叉熵损失函数和改进的边界回归损失函数Soft-L1建立网络模型的损失函数，通过迭代训练来优化网络模型；

步骤5.1、优化初步预测结果：

在基于上述步骤4.2所得初步预测结果的基础上，经由弱化非极大值抑制对初步预测结果进一步迭代，以此获的影像中更好的病灶预测结果；

如图5中的Soft-NMS是经过线性加权的方式建立弱化的非极大值抑制模型：

式中，s_i表示预测评分，N_t表示抑制阈值，IoU(B,b_i)表示最大评分的病灶目标边界框B与待处理病灶目标边界框b_i的交并比，采用弱化非极大值抑制模型优化初步预测结果，降低影像中病灶漏检率而提高病灶检出率；

步骤5.2、建立网络的损失函数：如图5中原域训练和目标域训练部分，在训练可变形卷积特征金字塔对钼靶X线乳腺病灶检测网络时，为了抑制难识别的病灶样本对损失大的影响，在Smooth L1损失函数基础上进行改进，建立所提算法中的边界回归损失函数Soft-L1模型：

式中，

表示(b,b^*)的回归误差值，α表示梯度控制因子并且取值0.5，β表示调整回归误差的上界因子并且取值e^2/3-1，C表示连接因子确保L_reg连续可导并且取值1-0.75β^-1。

为引导网络的有效学习，结合网络模型结构的设计属性以及医学图像中病灶特征的特异性，确保网络模型对影像中病灶有精确的定位和准确的分类，设定病灶检测网络的损失函数如公式(7)所示：

式中，S_c表示预测分类响应，c表示预测病灶类别(c＝0为背景)且c^*表示真值，y_c(Θ)表示位置敏感的兴趣区域池化响应，b_(x,y,w,h)表示预测病灶位置且b^*表示真值，L_cls表示分类交叉熵损失函数且

λ表示损失L(*)的加权平均参数，L_reg表示边界回归损失函数Soft-L1，Θ表示网络的全部学习参数。

步骤6、迁移学习下的小样本病灶检测：先使用源域数据集Data_B训练网络模型，再采用迁移学习策略，通过冻结特征子网络层，再在目标域数据集Data_A上进行迭代训练，获得最后的小样本病灶检测模型，实现对乳腺X线影像中对乳腺病灶的位置和分类检测；

如图5所示，通过上述步骤1至步骤4所建立的子网络层进行连接构建完整的网络模型，以多尺度特征图建立的特征金字塔输出层之后，将网络模型分为两个分支用于迁移学习；

如图5所示，在分支①上，在大规模源域数据Data_B上对网络模型进行迭代训练，直至网络损失值不再降低；再由迁移学习中模型迁移策略，通过冻结网络模型的卷积层Conv1-Conv5层参数的方法训练小样本学习模型。

如图5所示在分支②上，在小样本目标域数据集Data_A上对网络模型再次进行迭代训练，直至网络损失值不再降低。对上一步模型进行保存，并在小样本病灶数据集上进行测试；

如图6(a)、6(b)给出了本发明中钼靶X线乳腺的公开数据集上进行的测试效果。其中，第一行为标注真值图像，第二行为钼靶X线乳腺病灶检测网络模型的检测结果图像；

图6(a)是乳腺肿块病灶检测结果，图6(b)是乳腺钙化簇病灶检测结果；

可以直观的看出本发明能够有效的完成对小样本钼靶X线乳腺病灶的检测任务，具有更好的检测效果。最后，由检测结果的敏感度S、准确度P、区域重合度D，来计算模型的综合评价指标得分CE，如公式(8)所示：

在公开的钼靶X线乳腺影像MIAS数据集，共322张图像上的检测得分CE为0.918，敏感度S为0.948、准确度P为0.918、区域重合度D为0.901。

上述实施例为本发明的具体实施例，所要明确的是，本发明的实施方式并不仅限于上述实施例，后续在实施例上进行的任何修改、等同替换、改进等均应包含在本发明的保护范围。

Claims (3)

1.一种迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法，其特征在于，包括下述步骤：

步骤1、建立源域和目标域数据集：小样本影像数据集Data_A作为目标域数据，大规模影像数据集Data_B作为源域数据；

步骤2、建立可变形卷积残差网络层：利用幅度调制的可变形卷积和拓展型残差网络模块，建立特征提取能力强的可变形卷积残差网络层，从源域和目标域数据集中提取病灶目标的强表征性高阶特征信息；

步骤3、建立多尺度特征提取子网络：利用在步骤2建立的可变形卷积残差网络层，进一步通过特征图上采样和特征融合方法，建立基于特征金字塔结构的多尺度特征提取子网络，以获得图像中病灶的多尺度特征信息；

步骤4、建立病灶位置敏感的可变形池化子网络：以多尺度特征信息作为输入，利用可变形卷积和区域建议子网络模型，建立特征金字塔结构下的位置敏感的区域空间可变形兴趣区域池化层，通过此池化层建立病灶位置敏感的可变形池化子网络，以此来获得病灶池化后的高阶特征信息；再经过后处理网络层对病灶池化特征进行分类与位置回归，获得图像中病灶的位置和分类信息；

步骤5、优化预测结果和建立损失函数：以弱化非极大值抑制算法建立后处理网络层，进一步对步骤4的获得的病灶位置信息和分类信息进行筛选优化，获得影像中精确的病灶检测结果；通过计算病灶检测结果与标注真值的交并比，利用分类交叉熵损失函数和改进的边界回归损失函数Soft-L1建立网络模型的损失函数，通过迭代训练来优化网络模型；

步骤6、迁移学习下的小样本病灶检测：先使用源域数据集Data_B训练网络模型，再采用迁移学习策略，通过冻结特征子网络层，再在目标域数据集Data_A上进行迭代训练，获得最后的小样本病灶检测模型，实现对乳腺X线影像中对乳腺病灶的位置和分类检测。

2.根据权利要求1所述的检测方法，其特征在于：步骤1中，小样本数据集Data_A包括200～1000个样本作为目标域数据，大规模数据集Data_B包括大于5000个样本作为源域数据，并将数据格式归一化处理为png图像。

3.根据权利要求1所述的检测方法，其特征在于：步骤4进一步包括下述步骤：

步骤4.1、建立病灶位置敏感的可变形池化子网络：建立区域建议子网络模型：在步骤3所获得的金字塔特征图{P₂,P₃,P₄,P₅,P₆}上，利用区域建议子网络模型并设置模型的锚框的比例分别为1:1，1:2，2:1，再通过迭代计算锚框与病灶目标区域的交并比，利用交并比不断更新区域建议子网络模型参数，以获得模型对病灶进行初步预测的感兴趣的候选区域；利用感兴趣的候选区域，结合可变形卷积并引入病灶位置信息进行特征聚集的池化计算，以此提高模型对病灶位置信息的敏感度，进一步增强模型对平移不变性的鲁棒性；构建病灶位置敏感的可变形池化子网络的网络层响应函数模型：

式中，x(p_k)表示特征图上第k个感兴趣的候选区域，p_k表示特征图上第k个感兴趣的候选区域左上角区域块，p_ij表示感兴趣区域分为n_k块的集合bin(i,j)中的第(i,j)块，Δp_ij表示每个块的位置偏移量，Δm_ij表示偏移量的调制量，Θ表示网络学习参数集；

步骤4.2、分类与位置回归：在步骤4.1池化处理金字塔特征图{P₂,P₃,P₄,P₅,P₆}后，可得到c+1维的向量特征用于分别计算分类和位置回归；在对所得c+1维的向量特征进行两个同级的1×1卷积层操作，获得强语义性的特征，再经过2个全连接网络层实现对影像中病灶位置回归和分类的预测结果，并获得病灶区域分类的概率响应值，以预测结果来优化损失函数。

Images