CN108090906A - 一种基于区域提名的宫颈图像处理方法及装置 - Google Patents

Abstract

本发明公开了一种基于区域提名的宫颈图像处理装置，包括：图像采集装置，用于采集经3％‑5％醋酸溶液处理后的宫颈图像；处理器，包括宫颈图像预处理模块和处理模块，所述处理模块包括由特征提取网络、区域检测网络和区域筛选分类网络组成的模型网络，用于输出目标区域的分类信息以及位置信息；存储器，用于存储处理器中模型网络的参数；显示装置，用于显示处理器输出的目标区域的分类信息以及位置信息。还公开了采用所述的基于区域提名的宫颈图像处理装置对宫颈图像进行处理的方法，实现区分宫颈图像中的正常“醋白”与病灶“醋白”。

Description

一种基于区域提名的宫颈图像处理方法及装置

技术领域

本发明属于图像处理领域，具体涉及一种基于区域提名的宫颈图像处理方法及装置。

背景技术

深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

随着近几年深度学习研究热度的不断发酵，越来越多侧重于图像识别的应用场景开始出现深度学习的身影，其中就包括了医学图像的识别。利用检测网络来识别一些医学图像中可能存在病变的异常区域的尝试屡见不鲜，但是不管是一阶段还是两阶段的检测模型，模型设计的初衷都是侧重于定位任务，而分类任务只是检测模型的附属任务，因此单纯依靠检测模型在定位异常区域的基础上还要进行异常区域的分级预测就显得并不是那么可靠。

发明内容

针对现有技术中，经3％-5％醋酸溶液处理后的宫颈图像由于多处区域会出现“醋白”特征，存在正常“醋白”与病灶“醋白”难以区分的问题，本发明提供了基于区域提名的宫颈图像处理方法及装置，用于区分宫颈图像中的正常“醋白”与病灶“醋白”。

本发明采用的技术方案如下：

一种基于区域提名的宫颈图像处理装置，包括：

图像采集装置，用于采集经3％-5％醋酸溶液处理后的宫颈图像；

处理器，包括宫颈图像预处理模块和处理模块，所述处理模块包括由特征提取网络、区域检测网络和区域筛选分类网络组成的模型网络，用于输出目标区域的分类信息以及位置信息；

存储器，用于存储处理器中模型网络的参数；

显示装置，用于显示处理器输出的目标区域的分类信息以及位置信息。

所述宫颈图像预处理模块用于对图像采集装置采集的经3％-5％醋酸溶液处理后的宫颈图像进行标记，并使用K-means方法对宫颈图像数据进行聚类。

所述特征提取网络由深度残差网络ResNet50和自顶向下的金字塔网络组成。

其中，深度残差网络由依次连接的1个卷积层，1个最大池化层、第一残差卷积模块、第二残差卷积模块、第三残差卷积模块和第四残差卷积模块组成。

第一～四残差卷积模块分别由3、4、6、3个残差单元组成。

每个残差单元均由3个卷积层组成，且进入第一个卷积层之前的特征图还会直接流向第三个卷积层并同第三个卷积层输出的特征图相加后作为该残差单元的输出。

所述金字塔网络包括3个上采样模块；其中，每个上采样模块均由依次连接的双线性插值层和2个卷积层组成，主要是为了令高层低分辨率的特征图达到与低层高分辨率特征图的分辨率一致，从而进行加和操作。

在自顶向下的金字塔结构中，深度残差网络ResNet50中每个残差卷积模块的输出都会与深层的残差卷积模块通过上采样后以相加的方式融合。

这种金字塔结构的网络设计权衡了语义信息和细节信息的重要性，有利于较小较细区域的发现，保证了区域提名候选的全面性。考虑到目标区域的大小分布不均，本发明从不同的网络融合层提取不同尺度的区域提名，这种提名获取方式更具针对性，大大提高目标区域的发现。

所述区域检测网络包括分类子网络和回归子网络。

分类子网络由依次连接的4个卷积滤波器尺寸为3*3，卷积步长为1的卷积层，1个卷积滤波器尺寸为3*3，卷积步长为1的卷积层以及1个sigmoid激活函数层组成。分类子网络输出预测的目标区域的分类信息，将预测的分类信息与标记的真实标签进行比较得到的差值可以对分类子网络以及特征提取网络进行优化。

回归子网络由依次连接的4个卷积滤波器尺寸为3*3，卷积步长为1的卷积层，1个卷积滤波器尺寸为3*3，卷积步长为1的卷积层组成。回归子网络输出预测的目标区域的位置信息，将预测的位置信息与标记的真实标签进行比较得到的差值对回归子网络以及特征提取网络进行优化。

所述区域筛选分类网络由高级别目标分类器和正常分类器组成，高级别目标分类器和正常分类器的结构完全相同，且在结构上是并行的。

高级别目标分类器和正常分类器分别由依次连接的2个残差单元，1个全局池化层，1个全连接层以及1个sigmoid激活函数层组成；其中，每个残差单元均由3个卷积层组成，且进入第一个卷积层之前的特征图还会直接流向第三个卷积层并同第三个卷积层输出的特征图相加后作为该残差单元的输出。

区域筛选分类网络的作用是验证区域检测网络预测的区域提名候选的正确性，筛选掉错误区域提名。

本发明还提供了一种采用所述的基于区域提名的宫颈图像处理装置对宫颈图像进行处理的方法，包括：将图像采集装置采集的经3％-5％醋酸溶液处理后的宫颈图像输入至处理器已训练的区域检测网络中，输出预测的目标区域的分类信息以及位置信息，根据预测的目标区域的位置信息在输入的宫颈图像上提取目标区域，并与预测的目标区域的分类信息一起输入至区域筛选分类网络，输出最终的目标区域的分类信息以及位置信息，并显示在显示装置上。

对模型网络的训练方法包括：

(1)使用图像采集装置采集经3％-5％醋酸溶液处理后的宫颈图像，通过宫颈图像预处理模块对宫颈图像进行标记，并使用K-means方法对宫颈图像数据进行聚类，得到具有相似性的图像簇，构成训练集；

(2)区域检测网络的训练

特征提取网络由深度残差网络ResNet50和金字塔网络组成，利用在ImageNet上预训练的深度残差网络参数在对相应网络层进行初始化；

将训练集中的图像输入至特征提取网络，特征提取网络输出的多尺度特征图分别输入分类子网络和回归子网络，分类子网络输出预测的目标区域的分类信息，回归子网络输出预测的目标区域的位置信息，训练至损失函数收敛，将特征提取网络以及区域检测网络参数保存至存储器中；

(3)区域筛选分类网络的训练

根据训练集中标记的真实标签进行高级别目标和正常目标的正负样本采样，将采样的正负样本调整为相同的分辨率，作为区域筛选分类网络的输入分别训练高级别目标分类器和正常分类器，区域筛选分类网络输出正负样本标记，训练至损失函数收敛，将区域筛选分类网络参数保存至存储器中。

与现有技术相比，本发明的有益效果为：

(1)为了准确检目标区域的位置，本发明使用了一个特征金字塔网络作为特征提取网络。特征金字塔网络的一个重要特点是融合了浅层网络层信息和深层网络层信息，所以很好地权衡了语义信息和细节信息。基于这种形式的特征金字塔网络的区域检测网络能够较全面地检测到宫颈图像上存在的目标区域，即使这些目标区域大小分布不均。区域检测网络检测到的所有目标区域将作为区域提名，放入区域提名候选集合中。

(2)为了降低区域检测网络的假阳性率，本发明设计了一个区域筛选分类网络，目的在于筛选掉区域提名候选集合中的假阳性提名，提高目标区域检测的准确率。由于区域筛选分类网络是由标记的真实标签训练得到，在区分正常的“醋白”区域和病变的“厚醋白”区域上表现优异，能够正确地筛选掉误提名候选。

附图说明

图1为本发明特征提取网络和区域检测网络的结构示意图；

图2为本发明残差单元的结构示意图；

图3为本发明宫颈图像处理方法的流程示意图；

图4为本发明区域筛选分类网络的流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

经3％-5％醋酸溶液处理后的宫颈图像由于多处区域会出现“醋白”特征，存在正常“醋白”与病灶“醋白”难以区分的问题，本发明提供了一种基于区域提名的宫颈图像处理方法和装置，用于区分宫颈图像中的正常“醋白”与病灶“醋白”，本发明中，以病灶“醋白”为目标区域，其中，目标区域的分类信息包括目标区域的级别信息和置信度。

其中，目标区域的级别信息包括高级别和低级别，高级别目标区域带有不规则的薄醋白上皮且醋白具有地图样边界，还带有细镶嵌以及细点状血管等特征；低级别目标区域则具有厚醋白上皮且醋白出现速度快，还伴有一些袖口状腺开口隐窝，粗镶嵌和粗点状血管。

本发明基于区域提名的宫颈图像处理装置，具体包括：

图像采集装置，用于采集经3％-5％醋酸溶液处理后的宫颈图像；

处理器，包括宫颈图像预处理模块和处理模块，所述处理模块包括由特征提取网络、区域检测网络和区域筛选分类网络组成的模型网络，用于输出目标区域的分类信息以及位置信息；

存储器，用于存储处理器中模型网络的参数；

显示装置，用于显示处理器输出的目标区域的分类信息以及位置信息。

如图1所示，特征提取网络由深度残差网络ResNet50和自顶向下的金字塔网络组成，

其中，深度残差网络ResNet50网络由依次连接的1个卷积滤波器尺寸为7*7，卷积步长为2的卷积层，1个池化滤波器尺寸为3*3，池化步长为2的最大池化层、第一残差卷积模块、第二残差卷积模块、第三残差卷积模块和第四残差卷积模块组成，

第一～四残差卷积模块分别由3、4、6、3个残差单元组成

如图2所示，每个残差单元均由3个卷积滤波器尺寸分别为1*1,3*3,1*1，卷积步长均为1(每个残差卷积模块的第一个残差单元中的第一个卷积层的卷及步长例外，为2)的卷积层组成，且进入第一个卷积层之前的特征图还会直接流向第三个卷积层之后并同第三个卷积层输出的特征图相加后作为该残差单元的输出。

金字塔网络包括3个上采样模块，其中每个上采样模块均由依次连接的1个放大尺寸为2的双线性插值层，1个卷积滤波器尺寸为3*3，卷积步长为1的卷积层和1个卷积滤波器尺寸为1*1，卷积步长为1的卷积层组成，主要是为了令高层低分辨率的特征图达到与低层高分辨率特征图的分辨率一致，从而进行加和操作。

在自顶向下的金字塔结构中，深度残差网络ResNet50中每个残差卷积模块的输出都会与深层的残差卷积模块通过上采样后以相加的方式融合，具体结构见图1。

这种金字塔结构的网络设计权衡了语义信息和细节信息的重要性，有利于较小较细区域的发现，保证了区域提名候选的全面性。考虑到目标区域的大小分布不均，本发明从不同的网络融合层提取不同尺度的区域提名，这种提名获取方式更具针对性，大大提高目标区域的发现。

区域检测网络包括分类子网络和回归子网络，

分类子网络由依次连接的4个卷积滤波器尺寸为3*3，卷积步长为1的卷积层，1个卷积滤波器尺寸为3*3，卷积步长为1的卷积层以及1个sigmoid激活函数层组成。分类子网络输出预测的目标区域的分类信息，将预测的分类信息与标记的真实标签进行比较得到的差值可以对分类子网络以及特征提取网络进行优化。

回归子网络由依次连接的4个卷积滤波器尺寸为3*3，卷积步长为1的卷积层，1个卷积滤波器尺寸为3*3，卷积步长为1的卷积层组成。回归子网络输出预测的目标区域的位置信息，将预测的位置信息与标记的真实标签进行比较得到的差值对回归子网络以及特征提取网络进行优化。

区域筛选分类网络由高级别目标分类器和正常分类器组成，高级别目标分类器和正常分类器的结构完全相同，且在结构上是并行的。

高级别目标分类器和正常分类器分别由依次连接的2个残差单元，1个池化滤波器尺寸为输入特征图尺寸、池化步长为1的全局池化层，1个输出通道数为2的全连接层以及1个sigmoid激活函数层组成；其中，每个残差单元均由3个卷积滤波器尺寸分别为1*1,3*3,1*1，卷积步长均为1(每个残差卷积模块的第一个残差单元中的第一个卷积层的卷及步长例外，为2)的卷积层组成，且进入第一个卷积层之前的特征图还会直接流向第三个卷积层之后并同第三个卷积层输出的特征图相加后作为该残差单元的输出。

区域筛选分类网络的作用是验证区域检测网络预测的区域提名候选的正确性，筛选掉错误区域提名。

如图3所示，本发明采用上述基于区域提名的宫颈图像处理装置对宫颈图像进行处理的方法，包括：将图像采集装置采集的经3％-5％醋酸溶液处理后的宫颈图像输入至处理器已训练的区域检测网络中，输出预测的目标区域的分类信息以及位置信息，根据预测的目标区域的位置信息在输入的宫颈图像上提取目标区域，并与预测的目标区域分类信息一起输入至区域筛选分类网络，输出最终的目标区域的分类信息以及位置信息，并显示在显示装置上。

如图4所示，根据预测的目标区域的位置信息在输入的宫颈图像上提取目标区域后，与预测的目标区域分类信息合并输入至区域筛选分类网络，若该区域在区域预测网络中预测为高级别目标，则输入至高级别目标分类器中，若否，则输入至正常分类器。这里以输入高级别目标分类器的情况为例介绍，若高级别目标分类器输出的预测结果为高级别，则保留该区域预测结果(即最终输出结果为高级别目标)；若高级别目标分类器的预测结果为正常，则继续将该区域输入正常分类器，若正常分类器的预测结果为正常则保留该区域预测结果(即最终输出结果为正常目标)；若正常分类器的预测结果不是正常，则直接遗弃该预测的目标区域。

对模型网络的训练方法包括：

(1)使用图像采集装置采集经3％-5％醋酸溶液处理后的宫颈图像，通过宫颈图像预处理模块对宫颈图像进行标记，并使用K＝50的K-means方法对宫颈图像数据进行聚类，得到具有相似性的图像簇，构成训练集，训练集中包括1373个图像簇；

(2)区域检测网络的训练

利用在ImageNet上预训练的深度残差网络参数在对相应网络层进行初始化；

将训练集中的图像输入至特征提取网络，特征提取网络输出的多尺度特征图分别输入分类子网络和回归子网络，分类子网络输出预测的目标区域的分类信息，回归子网络输出预测的目标区域的位置信息，训练至损失函数收敛，将特征提取网络以及区域检测网络参数保存至存储器中；

(3)区域筛选分类网络的训练

根据训练集中标记的真实标签进行高级别目标和正常目标的正负样本采样，将采样的正负样本调整为相同的分辨率，作为区域筛选分类网络的输入分别训练高级别目标分类器和正常分类器，区域筛选分类网络输出正负样本标记，训练至损失函数收敛，将区域筛选分类网络参数保存至存储器中。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于区域提名的宫颈图像处理装置，其特征在于，包括：

图像采集装置，用于采集经3％-5％醋酸溶液处理后的宫颈图像；

处理器，包括宫颈图像预处理模块和处理模块，所述处理模块包括由特征提取网络、区域检测网络和区域筛选分类网络组成的模型网络，用于输出目标区域的分类信息以及位置信息；

存储器，用于存储处理器中模型网络的参数；

显示装置，用于显示处理器输出的目标区域的分类信息以及位置信息。

2.根据权利要求1所述的基于区域提名的宫颈图像处理装置，其特征在于，所述宫颈图像预处理模块用于对图像采集装置采集的经3％-5％醋酸溶液处理后的宫颈图像进行标记，并使用K-means方法对宫颈图像数据进行聚类。

3.根据权利要求1所述的基于区域提名的宫颈图像处理装置，其特征在于，所述特征提取网络由深度残差网络ResNet50和自顶向下的金字塔网络组成。

4.根据权利要求3所述的基于区域提名的宫颈图像处理装置，其特征在于，深度残差网络由依次连接的1个卷积层，1个最大池化层、第一残差卷积模块、第二残差卷积模块、第三残差卷积模块和第四残差卷积模块组成。

5.根据权利要求4所述的基于区域提名的宫颈图像处理装置，其特征在于，第一～四残差卷积模块分别由3、4、6、3个残差单元组成。

6.根据权利要求1所述的基于区域提名的宫颈图像处理装置，其特征在于，所述区域检测网络包括分类子网络和回归子网络，分类子网络输出预测的目标区域的分类信息，回归子网络输出预测的目标区域的位置信息。

7.根据权利要求1所述的基于区域提名的宫颈图像处理装置，其特征在于，所述区域筛选分类网络由高级别目标分类器和正常分类器组成，高级别目标分类器和正常分类器的结构完全相同，且在结构上是并行的。

8.根据权利要求7所述的基于区域提名的宫颈图像处理装置，其特征在于，高级别目标分类器和正常分类器分别由依次连接的2个残差单元，1个全局池化层，1个全连接层以及1个sigmoid激活函数层组成。

9.一种采用权利要求1～8任一项所述的基于区域提名的宫颈图像处理装置对宫颈图像进行处理的方法，其特征在于，包括：将图像采集装置采集的经3％-5％醋酸溶液处理后的宫颈图像输入至处理器已训练的区域检测网络中，输出预测的目标区域的分类信息以及位置信息，根据预测的目标区域的位置信息在输入的宫颈图像上提取目标区域，并与预测的目标区域的分类信息一起输入至区域筛选分类网络，输出最终的目标区域的分类信息以及位置信息，并显示在显示装置上。

10.根据权利要求9所述的方法，其特征在于，对模型网络的训练方法包括：

(1)使用图像采集装置采集经3％-5％醋酸溶液处理后的宫颈图像，通过宫颈图像预处理模块对宫颈图像进行标记，并使用K-means方法对宫颈图像数据进行聚类，得到具有相似性的图像簇，构成训练集；

(2)区域检测网络的训练

特征提取网络由深度残差网络ResNet50和金字塔网络组成，利用在ImageNet上预训练的深度残差网络参数在对相应网络层进行初始化；

将训练集中的图像输入至特征提取网络，特征提取网络输出的多尺度特征图分别输入分类子网络和回归子网络，分类子网络输出目标区域的分类信息，回归子网络输出目标区域的位置信息，训练至损失函数收敛，将特征提取网络以及区域检测网络参数保存至存储器中；

(3)区域筛选分类网络的训练

根据训练集中标记的真实标签进行高级别目标和正常目标的正负样本采样，将采样的正负样本调整为相同的分辨率，作为区域筛选分类网络的输入分别训练高级别目标分类器和正常分类器，区域筛选分类网络输出正负样本标记，训练至损失函数收敛，将区域筛选分类网络参数保存至存储器中。