CN108388841B - 基于多特征深度神经网络的宫颈活检区域识别方法及装置 - Google Patents

Abstract

本发明公开了基于多特征深度神经网络的宫颈活检区域识别方法及装置，装置包括：图像采集单元，采集宫颈的生理盐水图像、醋酸图像和碘图像；数据处理单元，包括已训练的宫颈活检区域识别模型，宫颈活检区域识别模型对生理盐水图像、醋酸图像和碘图像进行分析处理，输出宫颈存在活检区域的概率标签；宫颈活检区域识别模型包括：特征提取层，包括3个独立的特征提取子网络，分别用于提取生理盐水图像、醋酸图像和碘图像的特征；特征结合层，将3个特征拼接起来；顶层，对拼接后的特征进行识别，输出宫颈存在活检区域的概率标签；显示单元，获取所述的概率标签并显示。该宫颈活检区域识别装置可辅助医生对患者的宫颈是否存在活检区域做出准确判断。

Description

基于多特征深度神经网络的宫颈活检区域识别方法及装置

技术领域

本发明涉及医疗图像处理领域，尤其涉及一种基于多特征深度神经网络的宫颈活检区域识别方法及装置。

背景技术

宫颈癌是妇科常见的恶性肿瘤，是严重威胁妇女健康的第二位恶性肿瘤，也是目前人类唯一病因明确的恶性肿瘤。阴道镜检查是宫颈癌筛查的关键环节，也是准确诊断宫颈病变和宫颈癌的关键环节，提前发现宫颈病变能够有效地降低宫颈癌风险。

宫颈病变的检查步骤主要分三步：(1)宫颈细胞学检查，，最常用的是巴氏涂片法；(2)阴道镜检查，如果细胞学结果有异常，需要做阴道镜检查，观察宫颈上皮颜色、血管等的变化；(3)宫颈组织活检检查，，如果阴道镜检查有疑问，则医生会在阴道镜定位下，对可疑病变处取少许宫颈组织行活检检查，活检结果也就成为宫颈病变的最终结论。

阴道镜检查时直接暴露宫颈后，依次使用生理盐水、3％-5％醋酸溶液、复方碘溶液涂抹，通过放大的宫颈图像供检查者仔细观察子宫颈鳞柱交界及柱状上皮区内是否有孤立的异常区域(需要活检的区域)存在，指导选择活检的准确部位，取代盲目活检，提高活检阳性率与诊断的准确率。

阴道镜检查是一种基于经验的检测方法，异常区域范围的判断需要依靠医生的经验和直观的判断能力，判断的准确率直接关系活检的阳性率和诊断准确率。随着医疗信息化的发展，大量阴道镜检查结果以影像数据形式积累保存下来。目前，已有许多机器学习和图像处理的方法运用到阴道镜检测辅助领域当中，包括宫颈口的检测、醋白区域的检测、宫颈病变的预测等，这些方法起到了一定的辅助作用，但无法从根本上辅助医生作出更准确的判断。而且这些方法大多只使用3％-5％醋酸溶液作用的阴道镜宫颈图像，这与医生通过生理盐水、3％-5％醋酸溶液、复方碘溶液的图像特征变化判定是否存在活检区域的医学经验不一致。因此，如何合理地利用医学影像和医学经验，设计一种兼顾上述技术问题的宫颈活检区域检测状，从根本上辅助医生作出更准确的判断，是当前亟待解决的问题。

发明内容

本发明提供一种基于多特征深度神经网络的宫颈活检区域识别装置，采集患者宫颈的生理盐水图像、醋酸图像和碘图像，分别提取三类图像的特征并进行融合，输出宫颈存在活检区域的概率标签，从根本上辅助医生对患者的宫颈是否需要活检做出更准确的判断。

本发明提供了如下技术方案：

一种基于多特征深度神经网络的宫颈活检区域识别装置，包括：

图像采集单元，采集宫颈的生理盐水图像、醋酸图像和碘图像，并发送至数据处理单元；

数据处理单元，包括已训练的宫颈活检区域识别模型，所述的宫颈活检区域识别模型对生理盐水图像、醋酸图像和碘图像进行分析处理，输出宫颈存在活检区域的概率标签；

所述的宫颈活检区域识别模型包括：

特征提取层，包括3个独立的特征提取子网络，分别用于提取生理盐水图像、醋酸图像和碘图像的特征；

特征结合层，将特征提取层提取的3个特征通过通道维度拼接起来；

顶层，对拼接后的特征进行识别，输出宫颈存在活检区域的概率标签；

显示单元，获取所述的概率标签并显示。

本发明的宫颈活检区域识别装置通过图像采集单元采集宫颈的生理盐水图像、醋酸图像和碘图像，通过数据处理单元对采集到的图像数据进行分析处理，得到宫颈存在活检区域的概率标签，并通过显示单元显示处理，可辅助医生对患者的宫颈是否需要进行活检做出判断。

宫颈的生理盐水图像是指涂抹生理盐水后的宫颈图像，醋酸图像是指依次涂抹生理盐水、3％-5％醋酸溶液后的宫颈图像，碘图像是指依次涂抹生理盐水、3％-5％醋酸溶液、复方碘溶液后的宫颈图像。

若宫颈存在需要活检的区域，则在3％-5％醋酸溶液作用下，会呈现“厚醋白”、“镶嵌血管”等特征；在复方碘溶液作用下，会呈现“明亮橘黄色”、“芥末黄色”、“斑点状着色”等特征，但是存在这些特征也并不能确定宫颈就一定会存在病变，还需要医生做进一步的活检。

所述的特征提取子网络包括4个DenseBlock，4个DenseBlock分别包含6个

12个

24个

和16个

每个DenseBlock之前连接1个卷积层和1个池化层。

优选的，每个特征提取子网络之后依次连接

[1×1conv，C]，

和C表示通道数，C为第4个DenseBlock输出的通道数，k为常数；进一步优选的，k＝7。

所述的顶层包括2个

1个全局池化层、1个全连接层和1个softmax层。

对宫颈活检区域识别模型的训练方法为：

(1)获取宫颈的生理盐水图像、醋酸图像和碘图像，剔除噪声后进行识别和标记，构建训练集；

所述剔除噪声的方法是：提取图像离中心位置的距离特征和Lab色道特征，利用混合高斯模型将图像中非宫颈面区域剔除；

将同一个宫颈的生理盐水图像、醋酸图像和碘图像作为一组数据，形成一个训练样本，通过医院病理报告标记该组图像是否存在活检区域；

具体的，识别和标记是指：识别醋酸图像中是否存在“厚醋白”、“镶嵌血管”特征，并标记；识别碘图像中是否存在“明亮橘黄色”、“芥末黄色”、“斑点状着色”特征，并标记。

优选的，训练集中，存在活检区域的样本数与正常宫颈的样本数比例为0.8～1.2∶1；

(2)采用训练集对宫颈活检区域识别模型进行训练，包括：

(2-1)对特征提取层进行预训练：

在每个特征提取子网络后依次连接1个全局池化层、1个全连接层和1个softmax层，构成一个完整的DenseNet-121网络；

分别将训练集中的生理盐水图像、醋酸图像和碘图像输入到各自的DenseNet-121网络中，输出宫颈存在活检区域的概率标签，训练至损失函数收敛；

保存各个特征提取子网络的模型参数；也就是DenseNet-121网络的DenseBlock 4以及DenseBlock 4之前的所有参数；

优选的，所述的损失函数为交叉熵损失函数；进一步优选的，损失函数公式如下：

Loss(x，class)＝-log(exp(x[class])/(∑_jexp(x[j])))；

(2-2)对宫颈活检区域识别模型进行训练：

将步骤(2-1)得到的各个特征提取子网络的模型参数加载到宫颈活检区域识别模型中；

分别将训练集中的生理盐水图像、醋酸图像和碘图像输入到各自的特征提取子网络中，再经过特征结合层和顶层后，输出宫颈存在活检区域的概率标签，训练至损失函数收敛；

保存训练得到的模型参数。

本发明还公开了采用上述宫颈活检区域识别装置进行宫颈活检区域识别的方法，包括以下步骤：

(1)通过图像采集单元采集宫颈的生理盐水图像、醋酸图像和碘图像，输入至数据处理单元中的宫颈活检区域识别模型；

(2)通过所述的宫颈活检区域识别模型对生理盐水图像、醋酸图像和碘图像进行分析处理，输出宫颈存在活检区域的概率标签，并在显示单元显示。

与现有技术相比，本发明的有益效果为：

本发明的宫颈活检区域识别装置是基于医生通过生理盐水、3％-5％醋酸溶液、复方碘溶液作用后的宫颈图像特征变化判定宫颈是否需要进一步进行活检的医学经验，根据大量阴道镜检查的宫颈图像进行学习建模，并根据建立的模型对宫颈活检区域进行检测，可以从根本上辅助医生对宫颈是否需要做进一步的活检做出更准确的判断。

附图说明

图1为本发明的宫颈活检区域识别装置的工作流程示意图；

图2为特征提取层的模型训练流程示意图；

图3为DenseBlock 1的结构示意图；

图4为宫颈活检区域识别模型的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

本发明的宫颈活检区域识别装置，包括：

图像采集单元，采集宫颈的生理盐水图像、醋酸图像和碘图像，发送至数据处理单元；

数据处理单元，包括已训练的宫颈活检区域识别模型，宫颈活检区域识别模型对生理盐水图像、醋酸图像和碘图像进行分析处理，输出宫颈存在活检区域的概率标签；

宫颈活检区域识别模型包括：

特征提取层，包括3个独立的特征提取子网络，分别用于提取生理盐水图像、醋酸图像和碘图像的特征；

特征结合层，将特征提取层提取的3个特征通过通道维度拼接起来；

顶层，对拼接后的特征进行识别，输出宫颈存在活检区域的概率标签；

显示单元，获取概率标签并显示。

医生根据宫颈活检区域识别装置输出的概率标签，再结合患者的生理盐水图像、醋酸图像和碘图像，综合判断患者宫颈是否需要进一步进行活检，从而判断宫颈是否存在病变。

图像采集单元为阴道镜，医生在对患者进行阴道镜检查时，会依次使用生理盐水、3％-5％醋酸溶液、复方碘溶液涂抹宫颈，通过观察子宫颈鳞柱交界及柱状上皮内特征的变化来判断是否有病变病灶存在。因此，如何正确提取每阶段的有效特征非常重要。譬如，在3％-5％醋酸溶液作用下，“厚醋白”、“镶嵌”等特征；复方碘溶液作用下，“明亮橘黄色”、“芥末黄色”、“斑点状着色”等特征，都是医生判断是否活检的关键。各阶段阴道镜检查图像提取特征之后，需要结合各个阶段的特征，从而进行最终宫颈是否存在活检区域的预测，如何利用多图像特征是预测宫颈是否存在活检区域准确性的关键。

为了准确提取每阶段的有效特征，本发明的数据处理单元中的宫颈活检区域识别模型分别使用了一个独立的稠密连接的卷积网络(Densely Connected ConvolutionalNetworks，DenseNets)作为特征提取网络。DenseNets通过多层特征的复用，保证了特征的传递，减少了特征的损失，能够有效地学习、提取并保留各阶段图像的关键特征。本质上，特征提取网络是通过大量的学习，将RGB三通道的3×M×M大小的图像映射到更多通道的C×m×m三维张量表示，其中C＞3且M＞m，过程中尽量减少关键特征的遗失。

数据处理单元中的宫颈活检区域识别模型通过三个独立的特征提取网络分别将高分辨率的图像映射到多通道的三维张量，并将三个不同特征的多通道三维张量在通道维度予以结合，最后通过一个分类网络得到宫颈存在活检区域的概率预测。

本发明的宫颈活检区域识别装置的工作流程如图1所示。

数据处理单元中的宫颈活检区域识别模型是经过训练的，具体的训练方法包括以下步骤：

步骤一：阴道镜图像的图像预处理

阴道镜检查的图像分别是使用生理盐水、生理盐水+3％-5％醋酸溶液、生理盐水+3％-5％醋酸溶液+复方碘溶液后宫颈的拍摄图像。图像的像素大小为512×512。

本发明的特征提取网络和分类网络的训练数据主要是基于宫颈面的图像。为了剔除噪声，本发明提取图像的离中心位置的距离特征和Lab色道特征并利用混合高斯模型将图像中大部分非宫颈面区域筛除。

将同一个病人的生理盐水图像、醋酸图像和碘图像作为一组数据，根据医院病理报告标记该组图像，具体的，识别醋酸图像中是否存在“厚醋白”、“镶嵌血管”特征，并标记；识别碘图像中是否存在“明亮橘黄色”、“芥末黄色”、“斑点状着色”特征，并标记。

步骤二：特征提取层的构建与预训练训练

如图2所示，宫颈活检区域识别模型的特征提取层包括3个独立的特征提取子网络，分别用于提取生理盐水图像、醋酸图像、碘图像的特征。

在每个特征提取子网络后依次连接1个全局池化层、1个全连接层和1个softmax层，构成一个完整的DenseNet-121网络，将上述预处理后的生理盐水图像、醋酸图像、碘图像分别输入到DenseNet-121网络中，输出宫颈存在活检区域的概率标签，各特征提取网络独立训练，直到损失函数收敛，这里的损失函数为交叉熵损失函数。

损失函数公式如下：

Loss(x，class)＝-log(exp(x[class])/(∑_jexp(x[j])))。

每个特征提取子网络主要由4个DenseBlock组成，4个DenseBlock分别包含6个

(DenseBlock 1)、12个

(DenseBlock 2)、24个

(DenseBlock 3)和16个

(DenseBlock 4)；每个DenseBlock前均连接1个卷积层和池化层。

DenseBlock 1的结构如图3所示，剩余三个DenseBlock以此类推。DenseBlock的设计使得每一个卷积层的输出都成为之后卷积层的输入，保证了特征的复用，减少特征的遗失。

3个DenseNet-121网络训练收敛之后，将DenseBlock 4及其之前的模型参数保存。在整体宫颈活检区域识别模型的训练过程中，需要预加载已训练的DenseBlock 4以及DenseBlock 4之前的所有参数进行微调训练。

步骤三：宫颈活检区域识别模型的构建与训练

如图4所示，宫颈活检区域识别模型将3个独立的特征提取子网络(DenseBlock 4以及DenseBlock 4之前的层)作为网络底层，中间层是将上述3个特征提取子网络得到的多个特征通过通道维度拼接起来的特征结合层，顶层是由2个

1个全局池化层、1个全连接层和1个softmax层组成；其中在特征结合层之前会对每个特征增加感受野，具体操作为依次经过

[1×1conv，C]，

和C表示通道数，k＝7，C为DenseBlock 4输出的通道数。

将预处理后的各阶段图像同时输入到宫颈活检区域识别模型中，输出为宫颈存在活检区域的概率标签，训练至损失函数收敛，这里的损失函数也是交叉熵损失函数。

由于特征提取层已在步骤二训练完毕，所以在宫颈活检区域识别模型训练之前需要将已训练的特征提取层的参数预加载到宫颈活检区域识别模型中。宫颈活检区域识别模型训练收敛之后，将宫颈活检区域识别模型参数保存。到此，宫颈活检区域识别模型训练完成。

当有新的患者时，采用阴道镜分别采集其宫颈的生理盐水、3％-5％醋酸溶液、复方碘溶液图像，数据处理单元获取上述图像信息后将其输入到宫颈活检区域识别模型中，即可输出该患者宫颈需要进行活检的概率标签并在显示单元显示，医生根据输出的概率标签，再结合该患者的生理盐水、3％-5％醋酸溶液、复方碘溶液图像以及其他检查结果判断该患者是否需要进一步的活检，进而判断该患者的宫颈是否存在病变。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于多特征深度神经网络的宫颈活检区域识别装置，其特征在于，包括：

图像采集单元，采集宫颈的生理盐水图像、醋酸图像和碘图像，并发送至数据处理单元；

数据处理单元，包括已训练的宫颈活检区域识别模型，所述的宫颈活检区域识别模型对生理盐水图像、醋酸图像和碘图像进行分析处理，输出宫颈存在活检区域的概率标签；

显示单元，获取所述的概率标签并显示；

所述的宫颈活检区域识别模型包括：

特征提取层，包括3个独立的特征提取子网络，分别用于提取生理盐水图像、醋酸图像和碘图像的特征；所述的特征提取子网络包括4个DenseBlock，4个DenseBlock分别包含6个

12个

24个

和16个

每个DenseBlock之前连接1个卷积层和1个池化层；每个特征提取子网络之后依次连接

[1×1conv,C]，

和C表示通道数，C为第4个DenseBlock输出的通道数，k为常数；

特征结合层，将特征提取层提取的3个特征通过通道维度拼接起来；

顶层，对拼接后的特征进行识别，输出宫颈存在活检区域的概率标签；所述的顶层包括2个

1个全局池化层、1个全连接层和1个softmax层。

2.根据权利要求1所述的宫颈活检区域识别装置，其特征在于，对宫颈活检区域识别模型的训练方法为：

(1)获取宫颈的生理盐水图像、醋酸图像和碘图像，剔除噪声后进行识别和标记，构建训练集；

(2)采用训练集对宫颈活检区域识别模型进行训练，包括：

(2-1)对特征提取层进行预训练：

在每个特征提取子网络后依次连接1个全局池化层、1个全连接层和1个softmax层，构成一个完整的DenseNet-121网络；

分别将训练集中的生理盐水图像、醋酸图像和碘图像输入到各自的DenseNet-121网络中，输出宫颈存在活检区域的概率标签，训练至损失函数收敛；

保存各个特征提取子网络的模型参数；

(2-2)对宫颈活检区域识别模型进行训练：

将步骤(2-1)得到的各个特征提取子网络的模型参数加载到宫颈活检区域识别模型中；

分别将训练集中的生理盐水图像、醋酸图像和碘图像输入到各自的特征提取子网络中，再经过特征结合层和顶层后，输出宫颈存在活检区域的概率标签，训练至损失函数收敛；

保存训练得到的模型参数。

3.根据权利要求2所述的宫颈活检区域识别装置，其特征在于，将同一个宫颈的生理盐水图像、醋酸图像和碘图像作为一个训练样本，训练集中，存在活检区域的样本数与正常宫颈的样本数比例为0.8～1.2:1。

4.根据权利要求2所述的宫颈活检区域识别装置，其特征在于，步骤(1)中，所述剔除噪声的方法是：提取图像离中心位置的距离特征和Lab色道特征，利用混合高斯模型将图像中非宫颈面区域剔除。

5.根据权利要求2所述的宫颈活检区域识别装置，其特征在于，步骤(2)中，所述的损失函数为交叉熵损失函数。

6.一种基于权利要求1～5任一项所述的宫颈活检区域识别装置的宫颈活检区域识别方法，其特征在于，包括以下步骤：

(1)通过图像采集单元采集宫颈的生理盐水图像、醋酸图像和碘图像，输入至数据处理单元中的宫颈活检区域识别模型；

(2)通过所述的宫颈活检区域识别模型对生理盐水图像、醋酸图像和碘图像进行分析处理，输出宫颈存在活检区域的概率标签，并在显示单元显示。

Images