CN108334835A - 基于卷积神经网络的阴道分泌物显微图像有形成分检测方法 - Google Patents

Abstract

本发明公开一种基于卷积神经网络的阴道分泌物显微图像有形成分检测方法，包括以下步骤：使用selective search算法提取阴道分泌物图片训练集的目标候选位置，并判定其标签；搭建卷积神经网络，所述卷积神经网络包括五路由多个卷积层、batch normalization层和池化层搭成的网络，每路经过GAP层后融合为一路，最后接全连接层和softmax层；将候选位置处的图像块和其相邻上、下、左、右四块图像块作为模型的输入，以最小化softmax loss函数为目标训练出目标识别的神经网络模型；提取阴道分泌物测试图像的目标候选位置及其四邻域输入至所述神经网络模型中，输出检测目标的位置与类别。本发明将目标候选位置邻域的信息引入神经网路，有效提高网络的识别能力。

Description

基于卷积神经网络的阴道分泌物显微图像有形成分检测方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，特别涉及一种基于卷积神经网络的目标检测方法。

背景技术

目前CNN在目标检测领域取得了相当不错的效果，已有许多基于CNN的目标检测的方法，总体上分为两派：基于区域提名的R-CNN等系列和无需区域提名的YOLO、SSD等系列。目标检测领域得益于这些方法的发展，在各种大规模竞赛数据集(ImageNet，Pascal VOC,COCO等)上准确率突飞猛增。然而，对于阴道分泌物图像来说，提取目标候选位置时对上皮细胞很有可能只提取到其细胞核，上皮细胞核与白细胞极其相似，对此用现有的方法很难识别正确。

发明内容

本发明的目的在于提供一种基于卷积神经网络的阴道分泌物显微图像有形成分检测方法，用于检测阴道分泌物图像的有形成分位置和所属类别，该方法能够有效地提高阴道分泌物中有形成分的识别准确率。

实现本发明目的的具体技术方案是：

一种基于卷积神经网络的阴道分泌物显微图像有形成分检测方法，该方法包括以下具体步骤：

步骤1：在训练图像集上，标记阴道分泌物显微图像中的有形成分，使用selectivesearch 算法提取图像中有形成分目标的候选位置，并判定其标签；

步骤2：搭建卷积神经网络，所述卷积神经网络包括五个并行支路，每个支路由数个卷积层、batch normalization层和池化层组成，每个支路经过GAP层后融合为一路，接全连接层和 softmax层；

步骤3：将步骤1提取到的候选位置处的图像和它相邻上、下、左、右四块图像输入步骤2 搭建的网络，以最小化softmax loss函数为目标训练出能对候选区域识别的神经网络模型；

步骤4：与步骤1相同，在测试图像集中，使用selective search算法提取阴道分泌物的有形成分候选位置，将候选位置处的图像与和它相邻上、下、左、右四个图像块输入至步骤3训练好的神经网络模型中，得到候选位置图像的类别，同时使用非极大值抑制(NMS)算法删除重叠检测框；最后将检测目标的位置与识别的类别同时输出。

所述步骤1具体为：

人工标记训练集图像中阴道分泌物显微图像中的有形成分，得到各个人工标注框；

使用selective search算法得到有形成分的候选位置，作为候选目标；

计算候选目标与各个人工标注框的交并比IOU；

若候选位置与某一人工标注框的IOU大于预设的阈值TH，则将此候选位置标记为此人工标注框所属的类别；其中，TH取值范围为0到1之间；

若没有一个人工标注框与其IOU大于TH，则丢弃此候选目标；

其中标记的阴道分泌物有形成分分为8类，包括白细胞、上皮细胞、油滴、红细胞、念珠菌、滴虫、精子、杂质。

所述步骤2具体为：

卷积神经网络有五个并行的支路，每个支路的输入是步骤1得到的有形成分候选位置处和它的上、下、左、右四个邻域处的图像，每个支路的前两层卷积层共享卷积核参数，即卷积核参数完全相同，且候选位置所在的支路的最后一层卷积层的卷积核个数等于其余四路最后一层卷积层的卷积核个数的总和；五个支路网络分别经过GAP层后输出一维向量，将各支路得到的向量连接，再送入以目标类别个数为输出的全连接层，最后通过softmax层输出各类别的预测概率；

其中，softmax层的输出类别为8类，包括白细胞、上皮细胞、油滴、红细胞、念珠菌、滴虫、精子、杂质。

所述步骤3具体为：

候选位置处的图像块和其相邻上、下、左、右四块相同大小图像块分别作为五个支路神经网络的五个输入，以最小化softmax loss函数为目标，使用BP算法迭代更新神经网络的参数直至loss收敛，训练得到目标识别的神经网络模型。

所述步骤4具体为：

使用selective search算法提取测试集图像中的有形成分候选位置，提取到的候选位置存在较多相互重叠；将各个候选位置输入步骤3训练好的神经网络模型，对每个候选位置均输出预测的类别及概率，使用非极大值抑制算法对每个候选位置只保留预测概率最大的检测框，去除其余重叠的检测框。

所述非极大值抑制算法具体为：

对每个检测框以预测概率从高到低排序；

取预测概率最高的检测框作为当前框；

遍历其余的框，如果与当前框的交并比IOU大于TH，则删除此框；

从未处理的框中继续选一个预测概率最高的，重复上一步，直至处理完所有框。

本发明的有益效果是：本发明提出的一种基于卷积神经网络的阴道分泌物显微图像有形成分检测方法，用于检测阴道分泌物图像的有形成分位置和所属类别；通过将目标候选位置图像块及其四邻域图像块输入至卷积神经网络的方式，将检测目标四周的信息引入，辅助神经网络正确判断目标的类别，有效地提高了目标识别的准确率；特别地，对于上皮细胞， selective search算法很有可能只提取出其细胞核作为候选目标，此时引入邻域图像信息能让神经网络“看到”候选目标的其余部分，有助于正确识别目标。

附图说明

图1为本发明的流程示意图；

图2为本发明的网络结构图；

图3为网络结构图中inception_a层的结构图；

图4为网络结构图中inception_b层的结构图。

具体实施方式

为了更加清楚明白地说明本发明所述的技术手段、技术改进及有益效果，以下结合附图对本发明进行详细的说明。

阴道分泌物图像目标检测分为目标候选位置的提取和识别。本发明的基于卷积神经网络的阴道分泌物显微图像有形成分检测方法采用selective search算法提取目标的候选位置，对于候选目标的识别，将候选位置处的图像块和其相邻上、下、左、右四块图像块作为输入，训练一个卷积神经网络进行候选目标的分类。

如图1所示，本发明所提供的基于卷积神经网络的阴道分泌物显微图像有形成分检测方法，包括以下步骤：

S101：使用selective search算法提取训练图片的目标候选位置，并判定其标签；

该步骤具体为：

Step 0.预设一个IOU的阈值TH，取值范围为0到1之间；

Step 1.给定目标的候选位置box_pro；

Step 2.取第一个人工标注框，记为box_label，其类别记为C；

Step 3.计算box_pro和box_label的IOU，IOU计算公式如下：

Step 4.若IOU>TH,则box_pro的类别标为C，退出；

Step 5.取下一个人工标注框，记为box_label，其类别记为C，执行Step 3至Step4；

Step 6.没有一个人工标注框与box_pro的IOU大于TH，丢弃box_pro。

S102：搭建卷积神经网络，所述卷积神经网络包括五路由多个卷积层、batchnormalization层和池化层搭成的网络，每路经过GAP层后融合为一路，最后接全连接层和softmax层；

该步骤具体为：

所述卷积神经网络结构以图2为例，所有卷积层和全连接层后均接有batchnormalization 层和Relu层，为画图简洁，图2没有画出。每路conv1卷积层和conv2卷积层均共享卷积核参数，为使输入为候选位置处图像块(图2中标号为3)的那一路在识别中起主要决定作用，令conv3卷积层的卷积核个数为128，而其余四路的conv3层卷积核个数为32；五路网络融合方式为向量连接，全连接至8节点的输出层，对应于阴道分泌物的8类目标，包括白细胞、上皮细胞、油滴、红细胞、念珠菌、滴虫、精子、杂质。这仅仅是一个具体的实施例，仅将神经网络层数或卷积层卷积核个数作变化属本发明的保护范围之内。

S103：将候选位置处的图像块和其相邻上、下、左、右四块图像块作为模型的输入，以最小化softmax loss函数为目标训练出目标识别的神经网络模型；

该步骤具体为：

参阅图2，取候选位置处的图像块3和其相邻上(图像块1)、下(图像块5)、左(图像块2)、右(图像块4)四块图像块按照图2顺序送至卷积神经网络作为输入；

神经网络训练阶段的流程如下：

输入：训练集

最大迭代次数

输出：网络权重

以xaiver方式初始化权重，偏置用常数0初始化；

Step 1.Repeat

Step 2.训练集随机选择一个batch，输入至神经网络；

Step 3.神经网络前向传播；

Step 4.计算softmax loss及loss对所有网络参数的偏导；

Step 5.网络参数更新；

Step 6.Until达到最大迭代次数。

S104：使用selective search算法提取测试图像的目标候选位置，将候选位置处的图像块和其四邻域图像块输入至步骤3所述神经网络模型中，使用非极大值抑制(NMS)算法删除重叠检测框，输出检测目标的位置与识别的类别作为结果；

对于每个候选目标，将其输入神经网络可得到其预测类别及概率；

非极大值抑制算法具体为：

Step 1.对每个检测框以预测概率从高到低排序；

Step 2.取预测概率最高的检测框作为当前框；

Step 3.遍历其余的框，如果与当前框的交并比(IOU)大于TH，则删除此框；

Step 4.从未处理的框中继续选一个预测概率最高的，重复Step 3，直至处理完所有框。

Step 5.输出所有未被删除的框的位置和类别。

综上所述，本发明所提出的一种基于卷积神经网络的阴道分泌物显微图像有形成分检测方法，采用selective search算法进行目标候选位置的提取，对于每一个候选位置，取候选位置处的图像块及其相邻上、下、左、右四块相同大小图像块作为五路输入送至卷积神经网络进行识别；本发明所采用的卷积神经网络结构包含五路由多个卷积层、batchnormalization层和池化层搭成的网络，为使输入为候选位置处图像块的那一路在识别中起主要决定作用，令其输出特征的维度大于其余四路的输出特征维度，最后五路特征融合，经过全连接层和softmax 层输出识别类别及概率，最终完成阴道分泌物图像的目标检测。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于卷积神经网络的阴道分泌物显微图像有形成分检测方法，其特征在于，该方法包括以下具体步骤：

步骤1：在训练图像集上，标记阴道分泌物显微图像中的有形成分，使用selectivesearch算法提取图像中有形成分目标的候选位置，并判定其标签；

步骤2：搭建卷积神经网络，所述卷积神经网络包括五个并行支路，每个支路由数个卷积层、batch normalization层和池化层组成，每个支路经过GAP层后融合为一路，接全连接层和softmax层；

步骤3：将步骤1提取到的候选位置处的图像和它相邻上、下、左、右四块图像输入步骤2搭建的网络，以最小化softmax loss函数为目标训练出能对候选区域识别的神经网络模型；

步骤4：与步骤1相同，在测试图像集中，使用selective search算法提取阴道分泌物的有形成分候选位置，将候选位置处的图像与和它相邻上、下、左、右四个图像块输入至步骤3训练好的神经网络模型中，得到候选位置图像的类别，同时使用非极大值抑制(NMS)算法删除重叠检测框；最后将检测目标的位置与识别的类别同时输出。

2.根据权利要求1所述的基于卷积神经网络的阴道分泌物显微图像有形成分检测方法，其特征在于，所述步骤1具体为：

人工标记训练集图像中阴道分泌物显微图像中的有形成分，得到各个人工标注框；

使用selective search算法得到有形成分的候选位置，作为候选目标；

计算候选目标与各个人工标注框的交并比IOU；

若候选位置与某一人工标注框的IOU大于预设的阈值TH，则将此候选位置标记为此人工标注框所属的类别；其中，TH取值范围为0到1之间；

若没有一个人工标注框与其IOU大于TH，则丢弃此候选目标；

其中标记的阴道分泌物有形成分分为8类，包括白细胞、上皮细胞、油滴、红细胞、念珠菌、滴虫、精子、杂质。

3.根据权利要求1所述的基于卷积神经网络的阴道分泌物显微图像有形成分检测方法，其特征在于，所述步骤2具体为：

所述卷积神经网络有五个并行的支路，每个支路的输入是步骤1得到的有形成分候选位置处和它的上、下、左、右四个邻域处的图像，每个支路的前两层卷积层共享卷积核参数，即卷积核参数完全相同，且候选位置所在的支路的最后一层卷积层的卷积核个数等于其余四路最后一层卷积层的卷积核个数的总和；五个支路网络分别经过GAP层后输出一维向量，将各支路得到的向量连接，再送入以目标类别个数为输出的全连接层，最后通过softmax层输出各类别的预测概率；

其中，softmax层的输出类别为8类，包括白细胞、上皮细胞、油滴、红细胞、念珠菌、滴虫、精子、杂质。

4.根据权利要求1所述的基于卷积神经网络的阴道分泌物显微图像有形成分检测方法，其特征在于，所述步骤3具体为：

候选位置处的图像块和其相邻上、下、左、右四块相同大小图像块分别作为五个支路神经网络的五个输入，以最小化softmax loss函数为目标，使用BP算法迭代更新神经网络的参数直至loss收敛，训练得到目标识别的神经网络模型。

5.根据权利要求1所述的基于卷积神经网络的阴道分泌物显微图像有形成分检测方法，其特征在于，所述步骤4具体为：

使用selective search算法提取测试集图像中的有形成分候选位置，提取到的候选位置存在较多相互重叠；将各个候选位置输入步骤3训练好的神经网络模型，对每个候选位置均输出预测的类别及概率，使用非极大值抑制算法对每个候选位置只保留预测概率最大的检测框，去除其余重叠的检测框。

6.根据权利要求5所述的基于卷积神经网络的阴道分泌物显微图像有形成分检测方法，其特征在于，所述非极大值抑制算法具体为：

对每个检测框以预测概率从高到低排序；

取预测概率最高的检测框作为当前框；

遍历其余的框，如果与当前框的交并比IOU大于TH，则删除此框；

从未处理的框中继续选一个预测概率最高的，重复上一步，直至处理完所有框。