CN109636805B - 一种基于分类先验的宫颈图像病变区域分割装置及方法 - Google Patents

Abstract

本发明公开了一种基于分类先验的宫颈图像病变区域分割装置和方法，其中装置包括：图像采集装置，用于采集经3％‑5％醋酸溶液处理后的宫颈图像；处理器，包括宫颈图像预处理模块和处理模块，所述处理模块包括由基于残差连接的U型网络、图像层面分类器以及像素层面分类器组成的分割网络模型，用于输出预测宫颈图像上的病变区域位置；存储器，用于存储处理器中分割网络模型的参数；显示装置，用于显示处理器输出的预测的病变区域位置。利用本发明，可以为医生提供高准确率的活检病灶位置候选区域，提高活检阳性的检出率。

Description

一种基于分类先验的宫颈图像病变区域分割装置及方法

技术领域

本发明属于医学图像处理领域，尤其是涉及一种基于分类先验的宫颈图像病变区域分割装置及方法。

背景技术

子宫颈癌又称宫颈癌，为发生在子宫颈的癌症。在全世界，子宫颈癌是第四常见的癌症，也是女性第四常见癌症死因。然而从正常的宫颈到HPV感染，有极少数的宫颈病变会进一步发展成为宫颈癌，这一过程一般需要5-10年左右的时间。因此，如果能通过一定检测技术，在宫颈癌前病变阶段就检测出宫颈出现异样，那么将有很大的可能性预防宫颈癌。而宫颈高级别鳞状上皮内病变(High-grade squamous intraepithelial lesion,HSIL)就是宫颈癌形成的最后一个过程，HSIL的诊断和治疗对宫颈癌预防是至关重要的。

阴道镜检查是利用将子宫颈或生殖器表皮组织放大的显微镜，让医生可以观察子宫颈上皮及血管的变化，以诊断是否有不正常产病变。阴道镜在中国逐渐广泛应用于临床，已被公认对提高下生殖道病变诊断的质量，是不可缺少的一种手段。

阴道镜检查主要用于观察下生殖道的子宫颈、阴道、外阴和生殖器病变。由于阴道镜可将病灶放大10－40倍，借以观察肉眼看不到较微小的病变，又可在阴道镜定位下作活组织检查，从而提高阳性检出率，协助临床及早发现癌前病变和癌变。若采用细胞学方法配合阴道镜检查和镜下活检，以及必要时做子宫颈管搔刮术的综合措施，可提高癌前病变和早期浸润癌的诊断准确率达92％，及早治疗的话可明显提高病人的存活率。虽然阴道镜配合活检能够提高阳性检出率，但活检病灶定位仍需要医生大量的医学经验。且阴道镜检查存在两个主要问题：(1)专业要求高，阴道镜图像包含了纹理，颜色等复杂特征，对阴道镜下宫颈组织形态的分析需要高度的专业知识，因此该检查需要经验丰富的妇科医生来进行；(2)主观性强，阴道镜下宫颈图像的诊断含有妇科医生的主观意见，对于一些有争议图像的诊断，每一个专家存在着或多或少的差别。目前，已有许多机器学习和图像处理的方法运用到阴道镜检测辅助领域当中，包括宫颈口的检测、醋白区域的检测等，这些方法在一定程度上间接地辅助医生作出更准确的判断，却无法直接地帮助医生定位活检病灶位置。

因此，如何结合人工智能方法和医学经验，设计一种宫颈病变区域分割模型，为医生提供候选活检病灶位置，提高活检阳性检出率，是当前亟待解决的问题。

发明内容

本发明提供了一种基于分类先验的宫颈图像病变区域分割装置，采集患者的宫颈图像，判断是否存在病变区域并预测病变区域的位置，为医生提供高准确率的活检病灶位置候选区域，从而提高活检阳性检出率。

本发明提供了如下技术方案：

一种基于分类先验的宫颈图像病变区域分割装置，包括：

图像采集装置，用于采集经3％-5％醋酸溶液处理后的宫颈图像；

处理器，包含宫颈图像处理模块，所述处理模块包括由基于残差连接的U型网络、图像层面分类器以及像素层面分类器组成的分割网络模型，用于先判断当前宫颈图像是否存在病变，对于存在病变的宫颈图像，再预测病变区域位置；

存储器，用于存储处理器中的分割网络模型、该模型在训练过程中更新的参数以及处理器运行时使用和生成的数据；

显示装置，用于显示处理器输出的预测的病变区域位置。

本发明的基于分类先验的宫颈图像病变区域分割装置通过U型网络提取图像中的局部特征和全局信息，通过图像层面分类器判断当前阴道镜图像是否存在病变，通过像素层面分类器判断当前图像上每个像素点上存在病变的可能性。由于图像层面分类器的存在，当遇到不存在病变的纯阴性宫颈图像时，像素层面分类器不再进行预测，可以大大抑制假阳性的错误预测。

所述U型网络包括左半支路的编码器部分和右半支路的解码器部分；在编码器部分完成编码后分成两路，其中一路传入图像层面分类器，另一路降维后传入解码器部分；所述解码器部分的输出与像素层面分类器的输入连接。

本发明将3％-5％醋酸溶液处理后的宫颈图像输入到处理器中训练好的割模型网络中，通过U型结构提取图像中的局部与全局特征，首先交由图像层面分类器进行预测，若分类器判断存在病变则继续由像素层面分类器预测病变存在区域；若分类器判断不存在病变，则像素层面分类器不再进行预测，以此准确地得到活检病灶位置的候选区域。

所述编码器部分由ResNet-34网络构成，所述ResNet-34网络的整体结构包括依次相连的卷积滤波器尺寸为7×7、卷积步长为2的卷积层，池化滤波器尺寸为3×3、池化步长为2的最大池化层和4个卷积群，所述的4个卷积群分别由3、4、6、3个残差模块组成。

所述4个卷积群中的残差模块均由2个卷积滤波器尺寸分别为3×3、3×3的卷积层组成，每个卷积群的第一个残差模块中的第一个卷积层的卷积步长为2，剩下的卷积步长均为1。

每个残差模块中，进入第一个卷积层之前的特征图直接流向第二个卷积层之后并同第二个卷积层输出的特征图相加作为该残差模块的输出。这样的设计将卷积之前的特征毫无删减地保留到残差模块的输出中，更加有利于模型对特征的提取和利用。

所述解码器部分由依次连接的五级解码层构成，每级解码层均由一个采用双线性插值方法、上采样尺度为2的上采样层，两个卷积滤波器尺寸均为3×3，卷积步长均为1的卷积层组成。上采样的作用是为了让特征图恢复到输入尺寸，从而能够让像素层面分类器预测最终的分割结果。

每级解码层结构的前馈流程如下：(1)将自底向上传入的特征图与对应的同级编码器的特征图通过通道维度上的堆叠操作组合成一个新的特征图；(2)将新特征图通过上采样层使其尺寸扩大为原先的2倍；(3)通过两个卷积层进一步提取特征并传入下一个解码层。

特征图经过五个解码层后尺寸从解码器输出时复原至原始尺寸，之后传入像素层面的分类器输出最终结果。

所述图像层面分类器由一个全局平均池化层以及一个输出通道为2的全连接层组成，所述编码器部分输出特征图经过图像层面分类器后，再由SoftMax激活函数得到是否存在异常的预测概率值。

所述像素层面分类器由两个卷积滤波器尺寸分别为3×3、1×1，卷积步长均为1的卷积层组成，所述解码器部分输出的特征图经过该分类器后，再由Sigmoid激活函数输出整张图像每个像素点上是否存在异常的概率值，得到病变区域分割预测。

对分割网络模型的训练过程包括：

(2-1)使用采集装置获取3％-5％醋酸溶液处理后的宫颈图像，对宫颈图像进行标记，并使用深度聚类的方法对图像数据进行聚类，得到具有相似性的图像簇，构成训练集；

(2-2)对于训练集中的每一个训练批次，将固定数量的图像作为模型的输入，模型根据前馈路径分别生成对该批次图像的类别预测以及分割区域预测；

(2-3)通过分别比较模型预测的类别、预测的分割区域与图像的真实标签之间的差距，根据相应的损失函数计算回传梯度，同时更新模型的参数，训练至损失函数收敛，提取模型的参数保存在存储器中。

本发明还提供了一种基于分类先验的宫颈图像病变区域分割方法，包括：

(1)使用图像采集装置获取3％-5％醋酸溶液处理后的宫颈图像；

(2)将图像输入处理器中训练好的分割网络模型，若图像层面分类器判断存在病变区域，则继续由像素层面分类器预测病变区域位置并显示在显示装置上；若图像层面分类器判断不存在病变区域，则像素层面分类器不再进行预测。

与现有技术相比，本发明的有益效果为：

本发明宫颈图像病变区域分割装置中U型网络的编码器部分通过连续的卷积操作以及池化操作提取图像中的细节特征，同时减小图像分辨率以凝聚图像中的语义信息；解码器部分通过双线性插值以及卷积操作提升图像的分辨率，同时进一步提取图像中的全局信息；在U型网络结构的左半支路和右半支路的同尺寸特征图之间存在着无损传递信息的跨级连接。

U型网络的中部存在一个图像层面分类器用以判断当前阴道镜图像是否存在病变，尾部存在一个像素层面分类器用以判断当前图像上每个像素点上存在病变的可能性。由于图像层面分类器的存在，当本发明遇到不存在病变的纯阴性宫颈图像时，可以大大抑制假阳性的错误预测。

附图说明

图1为本发明宫颈图像病变区域分割装置的工作流程示意图；

图2为本发明处理器中分割网络模型的结构示意图；

图3为本发明分割网络模型编码器部分的卷积群中残差模块结构示意图；

图4为本发明分割网络模型解码器部分的每级解码层结构图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

本发明的宫颈图像病变区域分割装置，包括：

图像采集装置，用于采集经3％-5％醋酸溶液处理后的宫颈图像；

处理器，包括宫颈图像预处理模块和处理模块，所述处理模块包括由基于残差连接的U型网络、图像层面分类器以及像素层面分类器组成的分割网络模型，用于输出预测宫颈图像上的病变区域位置；

存储器，用于存储处理器中分割网络模型的参数；

显示装置，用于显示处理器输出的预测的病变区域位置。

本发明的实施例中，处理器可以是包括诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等的一个或更多通用处理装置的处理器电路；存储器可以包括被配置为存储由处理器使用的计算机可执行指令的一个或更多存储设备；显示装置可以为LCD液晶显示屏。

医生根据宫颈图像病变区域分割装置输出的预测的病变区域位置，并结合自身工作经验，有助于提高活检阳性检出率。

本发明的宫颈图像病变区域分割装置的工作流程如图1所示。

图像采集装置为阴道镜。临床医生往往通过观察宫颈鳞柱交界及柱状上皮特征的变化来判断病灶可能存在的位置。但由于宫颈区域在3％-5％醋酸溶液作用后，包括病灶在内的多处区域会出现“醋白”特征，而病灶位置的特征表现为“厚醋白”、“镶嵌”等，这些特征与正常的“醋白”特征较难区分。所以如何训练深度模型并学习这些相对细微的特征是宫颈病变区域分割的难点。

为了准确地从3％-5％醋酸溶液作用后的宫颈图像中分割出病灶位置，本发明处理模块中的分割网络模型使用基于残差连接的U型网络提取图像中的局部特征和全局信息，之后交由图像层面分类器进行预测，若分类器判断存在病变则继续由像素层面分类器预测病变存在区域；若分类器判断不存在病变，则像素层面分类器不再进行预测，以此准确地得到活检病灶位置的候选区域，可以大大抑制假阳性的错误预测。

如图2所示，基于残差连接的U型网络主要由ResNet-34作为编码器部分(左半支路)和一系列解码层作为解码器部分(右半支路)。在编码器部分完成编码后分成两路，其中一路传入图像层面分类器，另一路经过中继层降维后传入解码器部分；所述解码器部分的输出与像素层面分类器的输入连接。

首先介绍编码器部分，ResNet-34整体的结构包括依次相连的卷积滤波器尺寸为7×7、卷积步长为2的卷积层，池化滤波器尺寸为3×3、池化步长为2的最大池化层和4个卷积群，而4个卷积群分别由3、4、6、3个残差模块组成，自顶向下构成U型网络左半支路的四级结构。

卷积群中的残差模块结构如图3所示，其中weight layer代表卷积层，relu代表ReLu激活函数，identity代表残差连接。每个残差模块均由2个卷积滤波器尺寸分别为3×3、3×3，卷积步长均为1(每个卷积群的第一个残差单元中的第一个卷积层的卷积步长例外，为2)的卷积层组成。每个残差模块中，进入第一个卷积层之前的特征图还会直接流向第二个卷积层之后并同第二个卷积层输出的特征图相加后作为该残差模块的输出。

图像经由编码器编码后得到通道数为512的特征，尺寸降为原输入尺寸的1/32，此时将分为两条支路，其中一条传入图像层面分类器预测整张图像是否存在病变。图像层面分类器由一个全局平均池化层以及一个输出通道为2的全连接层组成。特征图经由图像层面分类器后，再由SoftMax激活函数得到存在病变与否的预测概率值。另一条支路经由两个卷积滤波器尺寸为3×3，卷积步长均为1的卷积层将通道数降维到256，传入U型网络的解码器部分。

解码器部分作为U型网络的右半支路，自底向上分为五级结构，除去顶上一级结构外，其余四级分别与编码器中自顶向下的四级结构对应。每一级解码层的结构如图4所示，分别由一个采用双线性插值方法、上采样尺度为2的上采样层，两个卷积滤波器尺寸均为3×3，卷积步长均为1的卷积层组成。每级解码器结构的前馈流程图如下：1.将自底向上传入的特征图与对应的同级编码器的特征图通过通道维度上的堆叠操作组合成一个新的特征图；2.将新特征图通过上采样层使其尺寸扩大为原先的2倍；3.通过两个卷积层进一步提取特征并传入下一级解码器。

特征图经过五级解码器结构后尺寸从解码器输出的1/32复原，且通道数变为32，之后传入像素层面的分类器输出最终结果。像素层面的分类器主要由两个卷积滤波器尺寸分别为3×3，1×1，卷积步长均为1的卷积层组成，经由该分类器后，再经由Sigmoid激活函数输出整张图像每个像素点上是否存在病变的概率值，从而得到病变区域分割预测。

训练分割网络模型时，首先使用图像采集装置采集3％-5％醋酸溶液作用后的宫颈拍摄图像。为了得到保留原始特征分布的训练数据，本发明使用深度聚类的方法对图像数据进行聚类，得到具有一定相似性的图像簇，然后分别从这些图像簇中筛选一定比例的图像作为训练集，测试集和验证集(数量分别为1319,167，166)，从而能够训练更鲁棒且更具普适性的模型。

本发明在训练时采用End2End的训练方式，在训练前，需要预加载在ImageNet上预训练的ResNet-34网络的参数。训练上述的分割网络模型直至收敛，将模型参数保存在存储器中。

当有新的阴道镜检查图像，只要将3％-5％醋酸溶液处理后的图像输入到处理模块的分割网络模型中，首先由图像层面分类器判断当前图像是否存在病变，若不存在则不进一步预测病变区域位置；若存在病变，则由像素层面分类器预测病变区域位置。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于分类先验的宫颈图像病变区域分割装置，其特征在于，包括：

图像采集装置，用于采集经3％-5％醋酸溶液处理后的宫颈图像；

处理器，包含宫颈图像处理模块，所述处理模块包括由基于残差连接的U型网络、图像层面分类器以及像素层面分类器组成的分割网络模型，用于先判断当前宫颈图像是否存在病变，对于存在病变的宫颈图像，再预测病变区域位置；

所述U型网络包括左半支路的编码器部分和右半支路的解码器部分；在编码器部分完成编码后分成两路，其中一路传入图像层面分类器，另一路降维后传入解码器部分；所述解码器部分的输出与像素层面分类器的输入连接；所述图像层面分类器由一个全局平均池化层以及一个输出通道为2的全连接层组成，所述编码器部分输出特征图经过图像层面分类器后，再由SoftMax激活函数得到是否存在异常的预测概率值；所述像素层面分类器由两个卷积滤波器尺寸分别为3×3、1×1，卷积步长均为1的卷积层组成，所述解码器部分输出的特征图经过该分类器后，再由Sigmoid激活函数输出整张图像每个像素点上是否存在异常的概率值，得到病变区域分割预测；

所述编码器部分由ResNet-34网络构成，所述ResNet-34网络的整体结构包括依次相连的卷积滤波器尺寸为7×7、卷积步长为2的卷积层，池化滤波器尺寸为3×3、池化步长为2的最大池化层和4个卷积群，所述的4个卷积群分别由3、4、6、3个残差模块组成；所述4个卷积群中的残差模块均由2个卷积滤波器尺寸分别为3×3、3×3的卷积层组成，每个卷积群的第一个残差模块中的第一个卷积层的卷积步长为2，剩下的卷积步长均为1；每个残差模块中，进入第一个卷积层之前的特征图直接流向第二个卷积层之后并同第二个卷积层输出的特征图相加作为该残差模块的输出；所述解码器部分由依次连接的五级解码层构成，每级解码层均由一个采用双线性插值方法、上采样尺度为2的上采样层，两个卷积滤波器尺寸均为3×3，卷积步长均为1的卷积层组成；

存储器，用于存储处理器中的分割网络模型、该模型在训练过程中更新的参数以及处理器运行时使用和生成的数据；

显示装置，用于显示处理器输出的预测的病变区域位置。

2.根据权利要求1所述的基于分类先验的宫颈图像病变区域 分割装置，其特征在于，分割网络模型的训练过程包括：

(2-1)使用采集装置获取3％-5％醋酸溶液处理后的宫颈图像，对宫颈图像进行标记，并使用深度聚类的方法对图像数据进行聚类，得到具有相似性的图像簇，构成训练集；

(2-2)对于训练集中的每一个训练批次，将固定数量的图像作为模型的输入，模型根据前馈路径分别生成对该批次图像的类别预测以及分割区域预测；

(2-3)通过分别比较模型预测的类别、预测的分割区域与图像的真实标签之间的差距，根据相应的损失函数计算回传梯度，同时更新模型的参数，训练至损失函数收敛，将训练完的模型以及模型的参数保存在存储器中。

3.一种采用权利要求1～2任一项所述的基于分类先验的宫颈图像病变区域分割装置进行分割的方法，其特征在于，包括：

(1)使用图像采集装置获取3％-5％醋酸溶液处理后的宫颈图像；

(2)将图像输入处理器中训练好的分割网络模型，若图像层面分类器判断存在病变区域，则继续由像素层面分类器预测病变区域位置并显示在显示装置上；若图像层面分类器判断不存在病变区域，则像素层面分类器不再进行预测。

Images