CN108038519A - 一种基于稠密的特征金字塔网络的宫颈图像处理方法及装置 - Google Patents

Abstract

本发明公开了一种基于稠密的特征金字塔网络的宫颈图像处理装置，包括图像采集装置，用于采集经3％‑5％醋酸溶液处理后的宫颈图像；处理器，包括宫颈图像预处理模块和处理模块，所述处理模块包括由基于稠密连接的特征金字塔网络、区域提名网络和检测网络组成的模型网络，用于输出目标区域的分类信息以及位置信息；存储器，用于存储处理器中模型网络的参数；显示装置，用于显示处理器输出的目标区域的分类信息以及位置信息。还公开了基于稠密的特征金字塔网络的宫颈图像处理方法，包括：将图像采集装置采集的经3％‑5％醋酸溶液处理后的宫颈图像输入至处理器已训练模型网络中，输出目标区域的分类信息以及位置信息，并显示在显示装置上。

Description

一种基于稠密的特征金字塔网络的宫颈图像处理方法及装置

技术领域

本发明属于图像处理领域，具体涉及一种基于稠密的特征金字塔网络的宫颈图像处理方法及装置。

背景技术

深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

随着近几年深度学习研究热度的不断发酵，越来越多侧重于图像识别的应用场景开始出现深度学习的身影，其中就包括了医学图像的识别。利用检测网络来识别一些医学图像中可能存在病变的异常区域的尝试屡见不鲜，但是不管是一阶段还是两阶段的检测模型，模型设计的初衷都是侧重于定位任务，而分类任务只是检测模型的附属任务，因此检测网络中的特征提取网络的设计初衷更偏重于图像中的物体位置信息，在一些既注重于定位又注重分类的应用场景中需要对特征提取网络做进一步的优化使其对图像特征的提取更细致。

阴道镜检查作为宫颈癌筛查环节中重要的一环，虽然配合活检能够提高阳性检出率，但活检病灶定位仍需要医生大量的医学经验。目前，已有许多机器学习和图像处理的方法运用到阴道镜检测辅助领域当中，包括宫颈口的检测、醋白区域的检测等，这些方法在一定程度上间接地辅助医生作出更准确的判断，却无法直接地帮助医生定位活检病灶位置。

医生会通过观察宫颈鳞柱交界及柱状上皮特征的变化来判断是否存在病灶可能。宫颈区域在3％-5％醋酸溶液作用后，由于多处区域会出现“醋白”特征，存在正常“醋白”与病灶“醋白”难以区分的问题，而宫颈低级别鳞状上皮内病变往往带有不规则的薄醋白上皮且醋白具有地图样边界，还带有细镶嵌以及细点状血管等特征。而宫颈高级别鳞状上皮内病变具有厚醋白上皮且醋白出现速度快，还伴有一些袖口状腺开口隐窝，粗镶嵌和粗点状血管。由于低级别病变特征与高级别病变特征十分相似，因此单靠肉眼很难精准区分，如何区分宫颈图像中的正常“醋白”与病灶“醋白”是宫颈图像处理领域急需解决的问题。

发明内容

针对现有技术中，经3％-5％醋酸溶液处理后的宫颈图像由于多处区域会出现“醋白”特征，存在正常“醋白”与病灶“醋白”难以区分的问题，本发明提供了一种基于稠密的特征金字塔网络的宫颈图像处理方法和装置，用于区分宫颈图像中的正常“醋白”与病灶“醋白”。

本发明采用的技术方案如下：

一种基于稠密的特征金字塔网络的宫颈图像处理装置，包括：

图像采集装置，用于采集经3％-5％醋酸溶液处理后的宫颈图像；

处理器，包括宫颈图像预处理模块和处理模块，所述处理模块包括由基于稠密连接的特征金字塔网络、区域提名网络和检测网络组成的模型网络，用于输出目标区域的分类信息以及位置信息；

存储器，用于存储处理器中模型网络的参数；

显示装置，用于显示处理器输出的目标区域的分类信息以及位置信息。

其中，目标区域的分类信息包括目标区域的级别信息和置信度。

所述宫颈图像预处理模块用于对图像采集装置采集的经3％-5％醋酸溶液处理后的宫颈图像进行标记，并使用K-means方法对宫颈图像数据进行聚类。

基于稠密连接的特征金字塔网络由特征提取网络和金字塔网络组成，其中，特征提取网络由依次连接的1个卷积层，1个最大池化层，第一稠密模块，第一转换层，第二稠密模块，第二转换层，第三稠密模块，第三转换层和第四稠密模块组成。

第一～四稠密模块分别由6，12，24，16个稠密卷积层组成，而稠密卷积层由依次连接的1个批正则化层，1个ReLU激活函数层，1个卷积层，1个批正则化层，1个ReLU激活函数层和1个卷积层组成。

在第一～四稠密模块中，对于每一个稠密卷积层，所有在前稠密卷积层的输出都作为该稠密卷积层的输入，该稠密卷积层的输出作为所有在后稠密卷积层的输入，这一设计保证了特征的复用，减少特征的遗失。

第一～三转换层均由1个卷积层和1个平均池化层组成。

所述金字塔网络包括3个上采样模块以及3个Attention模块，这种形式在保留大量的语义信息的同时增加了细节信息。

其中，每个上采样模块均由1个双线性插值层和2个卷积层组成，上采样模块主要是为了令高层低分辨率的特征图达到与低层高分辨率特征图的分辨率一致，从而进行加和操作。

每个上采样模块输出的特征图进入对应的Attention模块，并在Attention模块中分成两路，其中一路输出权值特征图，另一路输出经系列卷积处理的卷积特征图，二者相乘后再与卷积特征图相加。所述权值特征图的激活值取值范围为0～1。

在Attention模块中，为了获得一个与原特征图形状相同但是具有更大感受野的权值特征图以便对原特征图在空间及通道上进行信息筛选，Attention模块其中一条路径通过最大池化以及大尺寸的卷积滤波器尺寸来最大程度上增加输出权值特征图的感受野；而另一条路径的原特征图经过一系列卷积之后可以更具鲁棒性，最后与权值特征图(其激活值取值范围为0～1)相乘从而达到特征筛选的目的，之后再与卷积特征图相加是为了防止经过多个Attention模块之后激活值变得过小。

各层金字塔网络得到的特征图经汇总得汇总特征图，汇总特征图分别输入至区域提名网络和检测网络。

区域提名网络由依次连接的1个卷积层和2个并行的卷积层组成。

检测网络由依次连接的1个ROIPooling层和2个并行的全连接层组成。

本发明还提供了一种基于稠密的特征金字塔网络的宫颈图像处理方法，包括：将图像采集装置采集的经3％-5％醋酸溶液处理后的宫颈图像输入至处理器已训练模型网络中，输出目标区域的分类信息以及位置信息，并显示在显示装置上；

对模型网络的训练方法包括：

(1)使用图像采集装置采集经3％-5％醋酸溶液处理后的宫颈图像，通过宫颈图像预处理模块对宫颈图像进行标记，并使用K-means方法对宫颈图像数据进行聚类，得到具有相似性的图像簇，构成训练集；

(2)在处理器中构建由基于稠密连接的特征金字塔网络、区域提名网络和检测网络组成的模型网络；

基于稠密连接的特征金字塔网络由特征提取网络和金字塔网络组成，利用在ImageNet上预训练的特征提取网络参数在对相应网络层进行初始化；

(3)采用训练集对模型网络进行训练，包括：

(3-1)将训练集中的图像输入至特征金字塔网络中，经区域提名网络输出目标区域的置信度以及位置信息，训练至损失函数收敛，将特征金字塔网络以及区域提名网络参数保存至存储器中；

(3-2)将特征金字塔网络中得到的特征图分别输入至区域提名网络和检测网络，检测网络结合特征图和区域提名网络输出的目标区域位置信息，输出最终的目标区域的分类信息以及位置信息，训练至损失函数收敛，将训练得到的模型参数保存至存储器中。

步骤(3-1)中，区域提名网络中的2个并行的卷积层分别输出目标区域的置信度以及位置信息到ROIPooling层中，通过将这两种预测信息与标记的真实标签进行对比得到的误差用于优化基于稠密连接的特征金字塔网络和区域提名网络。该步骤中，目标区域的位置信息指标记的真实标签可能存在的位置信息，目标区域的置信度指在该位置上标记的真实标签存在的可能性。

在检测网络中，ROIPooling层根据区域提名网络输出的目标区域位置信息在汇总特征图上进行Crop操作，得到ROI，即可能含有标记的真实标签的特征图和位置信息。ROI在经过2个并行的全连接层后分别得到ROI所属于的目标区域的级别信息，该级别的置信度以及ROI与标记的真实标签之间的位置偏移信息，其中，ROI所属于的目标区域的级别信息和该级别的置信度即为目标区域的分类信息，ROI与标记的真实标签间的位置偏移信息经修正后得目标区域的最终位置信息。

步骤(3-2)中，通过将目标区域的分类信息以及位置信息与标记的真实标签进行对比得到的误差用于优化检测网络。

与现有技术相比，本发明的有益效果为：

(1)为了准确检测目标区域的位置，本发明使用了一个基于稠密连接的特征金字塔网络作为特征提取网络。特征金字塔网络通过融合浅层网络层和深层网络层的特征，使得提取出的网络特征在保留大量的语义信息的同时增加了细节信息。同时在金字塔结构中加入了Attention结构，能够筛选特征图在空间上以及通道上的信息，起到了筛除冗余特征，保留有效特征的作用。而且由于网络层是基于稠密连接的，能够保证特征信息的复用、减少特征的损失，能够有效地学习关键的特征。基于稠密连接的特征金字塔网络，能够保证经过多次反复迭代更新后，依旧保留细节信息。在实际应用中，细节信息的保留极大地提高了正常“醋白”与病灶“醋白”的区分度。

(2)为了获取目标区域的位置，本发明将特征金字塔网络提取的特征作为网络输入，使用区域提名网络提取候选目标区域，使用检测网络筛选正确的候选目标区域的级别信息和置信度，并对目标区域位置做更细微的修正。由于稠密连接的特征金字塔网络合理地提取了特征，经过区域提名网络和检测网络之后，就能够得到准确的目标位置。

附图说明

图1为本发明模型网络的结构示意图；

图2为本发明稠密模块的结构示意图；

图3为本发明Attention的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

经3％-5％醋酸溶液处理后的宫颈图像由于多处区域会出现“醋白”特征，存在正常“醋白”与病灶“醋白”难以区分的问题，本发明提供了一种基于稠密的特征金字塔网络的宫颈图像处理方法和装置，用于区分宫颈图像中的正常“醋白”与病灶“醋白”，本发明中，以病灶“醋白”为目标区域，其中，目标区域的分类信息包括目标区域的级别信息和置信度。

其中，目标区域的级别信息包括高级别和低级别，高级别目标区域带有不规则的薄醋白上皮且醋白具有地图样边界，还带有细镶嵌以及细点状血管等特征；低级别目标区域则具有厚醋白上皮且醋白出现速度快，还伴有一些袖口状腺开口隐窝，粗镶嵌和粗点状血管。

本发明基于稠密的特征金字塔网络的宫颈图像处理装置，具体包括：

图像采集装置，用于采集经3％-5％醋酸溶液处理后的宫颈图像；

处理器，包括宫颈图像预处理模块和处理模块，所述处理模块包括由基于稠密连接的特征金字塔网络、区域提名网络和检测网络组成的模型网络，用于输出目标区域的分类信息以及位置信息；

存储器，用于存储处理器中模型网络的参数；

显示装置，用于显示处理器输出的目标区域的分类信息以及位置信息。

其中，如图1所示，基于稠密连接的特征金字塔网络由特征提取网络和金字塔网络组成，其中，特征提取网络由依次连接的1个卷积滤波器尺寸为7*7，卷积步长为1的卷积层，1个池化滤波器尺寸为3*3，池化步长为2的最大池化层，第一稠密模块，第一转换层，第二稠密模块，第二转换层，第三稠密模块，第三转换层和第四稠密模块组成。

如图2所示，第一～四稠密模块分别由6，12，24，16个稠密卷积层组成，而稠密卷积层由依次连接的1个批正则化层，1个ReLU激活函数层，1个卷积滤波器尺寸为1*1，卷积步长为1的卷积层，1个批正则化层，1个ReLU激活函数层，1个卷积滤波器尺寸为3*3，卷积步长为1的卷积层组成。

在第一～四稠密模块中，对于每一个稠密卷积层，所有在前稠密卷积层的输出都作为该稠密卷积层的输入，该稠密卷积层的输出作为所有在后稠密卷积层的输入，这一设计保证了特征的复用，减少特征的遗失。

第一～三转换层均由1个卷积滤波器尺寸为1*1，卷积步长为1的卷积层和1个池化滤波器尺寸为2*2，池化步长为2的平均池化层组成。

金字塔网络包括3个上采样模块以及3个Attention模块，这种形式在保留大量的语义信息的同时增加了细节信息。

其中，每个上采样模块均由1个放大尺寸为2的双线性插值层，1个卷积滤波器尺寸为3*3，卷积步长为1的卷积层和1个卷积滤波器尺寸为1*1，卷积步长为1的卷积层组成，主要是为了令高层低分辨率的特征图达到与低层高分辨率特征图的分辨率一致，从而进行加和操作。

这里重点介绍Attention模块，详细结构如图3所示，每个上采样模块输出的特征图进入对应的Attention模块，并在Attention模块中分成两路，其中一路依次经1个池化滤波器尺寸为3*3，池化步长为2的最大池化层，1个卷积滤波器尺寸为k*k，卷积步长为1的卷积层，1个卷积滤波器尺寸为(k+2)*(k+2)，卷积步长为1的卷积层，1个放大尺寸为2的双线性插值层，1个Sigmoid激活函数层输出权值特征图(激活值取值范围为0～1)；另一路输出依次经1个卷积滤波器尺寸为1*1，卷积步长为1的卷积层，1个卷积滤波器尺寸为3*3，卷积步长为1的卷积层，1个卷积滤波器尺寸为3*3，卷积步长为1的卷积层和1个卷积滤波器尺寸为1*1，卷积步长为1的卷积层，输出卷积特征图，得到权值特征图和卷积特征图相乘后再与卷积特征图相加。

其中，对于图3中自上而下的3个Attention模块，k值分别取3,7,11。在Attention模块中，为了获得一个与原特征图同等形状但是具有更大感受野的权值特征图以便对原特征图在空间及通道上进行信息筛选，Attention模块左边这条路径通过最大池化以及大尺寸的卷积滤波器尺寸来最大程度上增加输出权值特征图的感受野；而右边路径的原特征图经过一系列卷积之后可以更具鲁棒性，最后与左边路径的权值特征图(其激活值取值范围为0～1)相乘从而达到特征筛选的目的，之后再与相乘之前的卷积特征图相加是为了防止经过多个Attention模块之后激活值变得过小。

在综合模块中，对金字塔网络输出的4个特征图进行汇总之后分成两条路径分别输入到区域提名网络和检测网络中，

区域提名网络由依次连接的1个卷积滤波器尺寸为3*3，卷积步长为1的卷积层，以及2个并行的卷积滤波器尺寸为1*1，卷积步长为1的卷积层组成。

检测网络由依次连接的1个ROIPooling层和2个并行的全连接层组成。

本发明基于稠密的特征金字塔网络的宫颈图像处理方法，具体包括：将图像采集装置采集的经3％-5％醋酸溶液处理后的宫颈图像输入至处理器已训练模型网络中，输出目标区域的分类信息以及位置信息，并显示在显示装置上；

对模型网络的训练方法具体包括：

(1)使用图像采集装置采集经3％-5％醋酸溶液处理后的宫颈图像，通过宫颈图像预处理模块对宫颈图像进行标记，并使用K＝50的K-means方法对宫颈图像数据进行聚类，得到具有相似性的图像簇，构成训练集，训练集中包括1373个图像簇；

(2)在处理器中构建由基于稠密连接的特征金字塔网络、区域提名网络和检测网络组成的模型网络；

基于稠密连接的特征金字塔网络由特征提取网络和金字塔网络组成，利用在ImageNet上预训练的特征提取网络参数在对相应网络层进行初始化；

(3)采用训练集对模型网络进行训练，包括：

(3-1)将训练集中的图像输入至特征提取网络中，各层金字塔网络得到的特征图经汇总得汇总特征图，汇总特征图输入至区域提名网络，

区域提名网络中的2个并行的卷积层分别输出标记的真实标签可能存在的位置信息(即目标区域的位置信息)以及在该位置上标记的真实标签存在的可能性(即目标区域的置信度)到检测网络的ROIPooling层中，训练至损失函数收敛，将特征金字塔网络以及区域提名网络参数保存至存储器中；

通过将区域提名网络输出的这两种预测信息与标记的真实标签进行对比得到的误差用于优化基于稠密连接的特征金字塔网络和区域提名网络。

(3-2)将步骤(3-1)得到的汇总特征图分别输入至区域提名网络和检测网络，其中一路在区域提名网络中依次经1个卷积滤波器尺寸为3*3，卷积步长为1的卷积层和1个卷积滤波器尺寸为1*1，卷积步长为1的卷积层输出目标区域位置信息，在检测网络中，ROIPooling层根据区域提名网络输出的目标区域位置信息在汇总特征图上进行Crop操作，得到ROI(可能含有标记的真实标签的特征图和位置信息合在一起成为ROI)。ROI在经过2个并行的全连接层后分别得到ROI所属于的目标区域的级别信息，该级别的置信度以及ROI与标记的真实标签之间的位置偏移信息，训练至损失函数收敛，将训练得到的模型参数保存至存储器中。其中，ROI所属于的目标区域的级别信息和该级别的置信度即为目标区域的分类信息，ROI与标记的真实标签间的位置偏移信息经修正后得目标区域的最终位置信息。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于稠密的特征金字塔网络的宫颈图像处理装置，其特征在于，包括：

图像采集装置，用于采集经3％-5％醋酸溶液处理后的宫颈图像；

处理器，包括宫颈图像预处理模块和处理模块，所述处理模块包括由基于稠密连接的特征金字塔网络、区域提名网络和检测网络组成的模型网络，用于输出目标区域的分类信息以及位置信息；

存储器，用于存储处理器中模型网络的参数；

显示装置，用于显示处理器输出的目标区域的分类信息以及位置信息。

2.根据权利要求1所述的基于稠密的特征金字塔网络的宫颈图像处理装置，其特征在于，基于稠密连接的特征金字塔网络由特征提取网络和金字塔网络组成，其中，特征提取网络由依次连接的1个卷积层，1个最大池化层，第一稠密模块，第一转换层，第二稠密模块，第二转换层，第三稠密模块，第三转换层和第四稠密模块组成。

3.根据权利要求2所述的基于稠密的特征金字塔网络的宫颈图像处理装置，其特征在于，第一～四稠密模块分别由6，12，24，16个稠密卷积层组成，而稠密卷积层由依次连接的1个批正则化层，1个ReLU激活函数层，1个卷积层，1个批正则化层，1个ReLU激活函数层和1个卷积层组成。

4.根据权利要求3所述的基于稠密的特征金字塔网络的宫颈图像处理装置，其特征在于，在第一～四稠密模块中，对于每一个稠密卷积层，所有在前稠密卷积层的输出都作为该稠密卷积层的输入，该稠密卷积层的输出作为所有在后稠密卷积层的输入。

5.根据权利要求2所述的基于稠密的特征金字塔网络的宫颈图像处理装置，其特征在于，所述金字塔网络包括3个上采样模块以及3个Attention模块。

6.根据权利要求5所述的基于稠密的特征金字塔网络的宫颈图像处理装置，其特征在于，每个上采样模块输出的特征图进入对应的Attention模块，并在Attention模块中分成两路，其中一路输出权值特征图，另一路输出经系列卷积处理的卷积特征图，二者相乘后再与卷积特征图相加。

7.根据权利要求1所述的基于稠密的特征金字塔网络的宫颈图像处理装置，其特征在于，区域提名网络由依次连接的1个卷积层和2个并行的卷积层组成。

8.根据权利要求1所述的基于稠密的特征金字塔网络的宫颈图像处理装置，其特征在于，检测网络由依次连接的1个ROIPooling层和2个并行的全连接层组成。

9.一种基于稠密的特征金字塔网络的宫颈图像处理方法，其特征在于，包括：将图像采集装置采集的经3％-5％醋酸溶液处理后的宫颈图像输入至处理器已训练模型网络中，输出目标区域的分类信息以及位置信息，并显示在显示装置上；

对模型网络的训练方法包括：

(1)使用图像采集装置采集经3％-5％醋酸溶液处理后的宫颈图像，通过宫颈图像预处理模块对宫颈图像进行标记，并使用K-means方法对宫颈图像数据进行聚类，得到具有相似性的图像簇，构成训练集；

(2)在处理器中构建由基于稠密连接的特征金字塔网络、区域提名网络和检测网络组成的模型网络；

基于稠密连接的特征金字塔网络由特征提取网络和金字塔网络组成，利用在ImageNet上预训练的特征提取网络参数在对相应网络层进行初始化；

(3)采用训练集对模型网络进行训练，包括：

(3-1)将训练集中的图像输入至特征金字塔网络中，经区域提名网络输出目标区域的置信度以及位置信息，训练至损失函数收敛，将特征金字塔网络以及区域提名网络参数保存至存储器中；

(3-2)将特征金字塔网络中得到的特征图分别输入至区域提名网络和检测网络，检测网络结合特征图和区域提名网络输出的目标区域位置信息，输出最终的目标区域的分类信息以及位置信息，训练至损失函数收敛，将训练得到的模型参数保存至存储器中。