CN109102018A - 妇科分泌物图像的多标签分类方法 - Google Patents
妇科分泌物图像的多标签分类方法 Download PDFInfo
- Publication number
- CN109102018A CN109102018A CN201810905825.6A CN201810905825A CN109102018A CN 109102018 A CN109102018 A CN 109102018A CN 201810905825 A CN201810905825 A CN 201810905825A CN 109102018 A CN109102018 A CN 109102018A
- Authority
- CN
- China
- Prior art keywords
- gynecological secretion
- image
- gynecological
- label
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000028327 secretion Effects 0.000 title claims abstract description 279
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 71
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 238000012360 testing method Methods 0.000 claims abstract description 22
- 238000012937 correction Methods 0.000 claims abstract description 5
- 238000000576 coating method Methods 0.000 claims description 61
- 239000011248 coating agent Substances 0.000 claims description 53
- 238000003475 lamination Methods 0.000 claims description 44
- 239000000284 extract Substances 0.000 claims description 33
- 238000005070 sampling Methods 0.000 claims description 30
- 210000002569 neuron Anatomy 0.000 claims description 27
- 238000012805 post-processing Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000004321 preservation Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims 3
- 230000003248 secreting effect Effects 0.000 claims 1
- 239000000945 filler Substances 0.000 description 20
- 210000004027 cell Anatomy 0.000 description 12
- 230000003321 amplification Effects 0.000 description 10
- 238000003199 nucleic acid amplification method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000008929 regeneration Effects 0.000 description 7
- 238000011069 regeneration method Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 238000011423 initialization method Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000011882 arthroplasty Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 210000000981 epithelium Anatomy 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种妇科分泌物图像的多标签分类方法，包括如下步骤：步骤一、特征提取，包括构建训练数据库以及建立用于模型训练的网络结构；步骤二、模型训练，包括将训练数据库中的妇科分泌物图像及对应的标签图通过全卷积网络进行训练得到所需的样本模型；步骤三、校正，通过样本模型对妇科分泌物图像进行测试得到测试用的预测标签图，并对预测标签图进行评价，判断测试结果是否满足要求，是则将样本模型作为预测用的样本模型；否则返回步骤二，对训练用的各项参数进行修改并重复步骤三，直到测试结果满足要求为止；步骤四、预测，将检测用的妇科分泌物图像输入到样本模型中进行预测，得到初步预测图像。与现有技术相比，节省了分类时间。
Description
技术领域
本发明涉及医学领域，特别涉及一种妇科分泌物图像的多标签分类方法。
背景技术
目前，医院的检验科进行妇科检查时，需要对阴道分泌物中的不同细胞进行分类，即多标签图像的分类。现在最常用的方法是人工镜检，而市面上已有的非人工方法无法做到对这种多标签图像的分类，只能单独的识别分类出其中的一种细胞；这样会延长了分类时间，而现有的多标签分类算法又不适用于妇科分泌物细胞图像的分类。
如何能够通过技术手段对妇科分泌物图像进行多标签分类是一个值得研究的课题。
发明内容
本发明的目的在于提供一种妇科分泌物图像的多标签分类方法，要解决的技术问题是实现妇科分泌物图像对多种细胞进行一次分类即可完成多种细胞的分类，节省分类时间。
为解决上述问题，本发明采用以下技术方案实现：一种妇科分泌物图像的多标签分类方法，包括如下步骤：
步骤一、特征提取，所述特征提取包括构建训练数据库以及建立用于模型训练的网络结构；
步骤二、模型训练，所述模型训练包括将训练数据库中的妇科分泌物图像及对应的标签图通过全卷积网络进行训练得到所需的样本模型；
步骤三、校正，通过样本模型对妇科分泌物图像进行测试得到测试用的预测标签图，并对预测标签图进行评价，判断测试结果是否满足要求，是则将样本模型作为预测用的样本模型；否则返回步骤二，对训练用的各项参数进行修改并重复步骤三，直到测试结果满足要求为止；
步骤四、预测，将检测用的妇科分泌物图像输入到样本模型中进行预测，得到初步预测图像。
进一步地，所述方法还包括：
步骤五、形态学后处理，对初步预测图像进行形态学后处理，所述形态学后处理包括对初步预测图像进行阈值筛选、至少一次开闭运算以及轮廓提取，从而得到妇科分泌物分类标签图。
进一步地，所述步骤二中模型训练还包括在模型训练前，对训练数据库中的数据进行扩增，具体地，对训练数据库中的妇科分泌物图像以及所对应的标签图进行图像参数中至少一项参数的调整并保存后，将训练数据库中标签图进行图像尺寸的等比缩小，将标签图分别缩小为与之对应的妇科分泌物图像的图像尺寸的1/2以及1/4的1/2标签图、1/4标签图后，保存至训练数据库中。
进一步地，所述步骤一中建立用于模型训练的全卷积网络包括基于卷积神经网络中的全卷积网络构建出至少三个用于模型训练的网络结构。
进一步地，所述网络结构包括特征提取网络以及重建网络。
进一步地，所述网络结构设有三个，分别为1/4网络结构、1/2网络结构以及1/1网络结构；
所述1/4网络结构中特征提取网络包括15个层，包括1个数据层，5个卷积层，5个激活层，激活层紧跟在每一个卷积层之后，4个最大池化层；重建网络共11层，包括2个反卷积层，2个全连接层，3个卷积层，2个激活层，1个偏平层以及1个损失层；
所述1/2网络结构中特征提取网络包括15个层，包括1个数据层，5个卷积层，5个激活层，激活层紧跟在每一个卷积层之后，4个最大池化层；重建网络共15层，包括3个反卷积层，3个全连接层，4个卷积层，3个激活层，1个偏平层以及1个损失层；
所述1/1网络结构中特征提取网络包括15个层，包括1个数据层，5个卷积层，5个激活层，激活层紧跟在每一个卷积层之后，4个最大池化层；重建网络共19层，包括4个反卷积层，4个全连接层，5个卷积层，4个激活层，1个偏平层以及1个损失层。
进一步地，所述步骤二具体为将训练数据库中的妇科分泌物图像和1/4标签图输入至1/4网络结构进行训练得到第一模型；以第一模型为权重，将训练数据库中的妇科分泌物图像和1/2标签图输入至1/2网络结构，进行训练得到第二模型；以第二模型为权重，将训练数据库中的妇科分泌物图像和1/1标签图输入至1/1网络结构，进行训练得到第三模型，最终得到样本模型。
进一步地，所述步骤三中对预测标签图进行评价具体为判断预测标签图的准确率、精确率、召回率和综合评价指标是否均达到90％以上。
进一步地，所述步骤三种对训练用的各项参数进行修改包括修改网络结构中各项参数和/或对妇科分泌物图像进行图像参数中至少一项参数的重新调整。
进一步地，所述步骤二中将训练数据库中的妇科分泌物图像和1/4标签图输入至1/4网络结构进行训练得到第一模型具体为：
将妇科分泌物图像通过第一卷积层提取特征，然后通过一个激活层进行修正后经过第一最大池化层进行下采样，将妇科分泌物图像缩小为妇科分泌物图像的图像尺寸1/2的1/2妇科分泌物图；
将1/2妇科分泌物图通过第二卷积层提取特征，然后通过一个激活层进行修正后经过第二最大池化层进行下采样，将1/2妇科分泌物图缩小为妇科分泌物图像的图像尺寸1/4的1/4妇科分泌物图；
将1/4妇科分泌物图通过第三卷积层提取特征，然后通过一个激活层进行修正后经过第三最大池化层进行下采样，将1/4妇科分泌物图缩小为妇科分泌物图像的图像尺寸1/8的1/8妇科分泌物图；
将1/8妇科分泌物图通过第四卷积层提取特征，然后通过一个激活层进行修正后经过第四最大池化层进行下采样，将1/8妇科分泌物图缩小为妇科分泌物图像的图像尺寸1/16的1/16妇科分泌物图；
将1/16妇科分泌物图通过第五卷积层提取特征，然后通过一个激活层进行修正后，得到与1/16妇科分泌物图对应图像尺寸的特征图；
将特征图通过第一反卷积层还原为妇科分泌物图像的图像尺寸1/8后通过一个全连接层来连接前一层神经元，再通过第六卷积层提取特征，得到妇科分泌物图像的图像尺寸1/8的1/8预测标签图；然后通过第二反卷积层将1/8预测标签图还原为妇科分泌物图像的图像尺寸的1/4，接着通过一个全连接层来连接前一层神经元，再通过第七卷积层以及第十卷积层提取特征，得到妇科分泌物图像的图像尺寸1/4的1/4预测标签图，通过不断的反复迭代，对得到1/4预测标签图与1/4标签图进行图像对比，不断反复的修正，最终得到第一模型；
所述步骤二中以第一模型为权重，将训练数据库中的妇科分泌物图像和1/2标签图输入至1/2网络结构，进行训练得到第二模型具体为：
将妇科分泌物图像通过第一卷积层提取特征，然后通过一个激活层进行修正后经过第一最大池化层进行下采样，将妇科分泌物图像缩小为妇科分泌物图像的图像尺寸1/2的1/2妇科分泌物图；
将1/2妇科分泌物图通过第二卷积层提取特征，然后通过一个激活层进行修正后经过第二最大池化层进行下采样，将1/2妇科分泌物图缩小为妇科分泌物图像的图像尺寸1/4的1/4妇科分泌物图；
将1/4妇科分泌物图通过第三卷积层提取特征，然后通过一个激活层进行修正后经过第三最大池化层进行下采样，将1/4妇科分泌物图缩小为妇科分泌物图像的图像尺寸1/8的1/8妇科分泌物图；
将1/8妇科分泌物图通过第四卷积层提取特征，然后通过一个激活层进行修正后经过第四最大池化层进行下采样，将1/8妇科分泌物图缩小为妇科分泌物图像的图像尺寸1/16的1/16妇科分泌物图；
将1/16妇科分泌物图通过第五卷积层提取特征，然后通过一个激活层进行修正后，得到与1/16妇科分泌物图对应图像尺寸的特征图；
将特征图通过第一反卷积层还原为妇科分泌物图像的图像尺寸1/8后通过一个全连接层来连接前一层神经元，再通过第六卷积层提取特征，得到妇科分泌物图像的图像尺寸1/8的1/8预测标签图；然后通过第二反卷积层将1/8预测标签图还原为妇科分泌物图像的图像尺寸的1/4，接着通过一个全连接层来连接前一层神经元，然后通过第七卷积层提取特征，得到妇科分泌物图像的图像尺寸1/4的1/4预测标签图；然后通过第三反卷积层还原为妇科分泌物图像的图像尺寸的1/2后通过一个全连接层来连接前一层神经元，再通过第八卷积层以及第十卷积层提取特征，得到妇科分泌物图像的图像尺寸1/2的1/2预测标签图，通过不断的反复迭代，最终得到第二模型；
以第二模型为权重，将训练数据库中的妇科分泌物图像和1/1标签图输入至1/1网络结构，进行训练得到第三模型，最终得到样本模型具体为：
将妇科分泌物图像通过第一卷积层提取特征，然后通过一个激活层进行修正后经过第一最大池化层进行下采样，将妇科分泌物图像缩小为妇科分泌物图像的图像尺寸1/2的1/2妇科分泌物图；
将1/2妇科分泌物图通过第二卷积层提取特征，然后通过一个激活层进行修正后经过第二最大池化层进行下采样，将1/2妇科分泌物图缩小为妇科分泌物图像的图像尺寸1/4的1/4妇科分泌物图；
将1/4妇科分泌物图通过第三卷积层提取特征，然后通过一个激活层进行修正后经过第三最大池化层进行下采样，将1/4妇科分泌物图缩小为妇科分泌物图像的图像尺寸1/8的1/8妇科分泌物图；
将1/8妇科分泌物图通过第四卷积层提取特征，然后通过一个激活层进行修正后经过第四最大池化层进行下采样，将1/8妇科分泌物图缩小为妇科分泌物图像的图像尺寸1/16的1/16妇科分泌物图；
将1/16妇科分泌物图通过第五卷积层提取特征，然后通过一个激活层进行修正后，得到与1/16妇科分泌物图对应图像尺寸的特征图；
将特征图通过通过第一反卷积层还原为妇科分泌物图像的图像尺寸1/8大小后通过一个全连接层来连接前一层神经元，再通过第六卷积层提取特征，得到妇科分泌物图像的图像尺寸1/8大小的1/8预测标签图；然后通过第二反卷积层将图像尺寸1/8大小的1/8预测标签图还原为妇科分泌物图像的图像尺寸的1/4大小，接着通过一个全连接层来连接前一层神经元，然后通过第七卷积层提取特征，得到妇科分泌物图像的图像尺寸1/4大小的1/4预测标签图；然后通过第三反卷积层还原为妇科分泌物图像的图像尺寸的1/2后通过一个全连接层来连接前一层神经元，再通过第八卷积层提取特征，得到妇科分泌物图像的图像尺寸1/2的1/2预测标签图；接着通过第四反卷积层将1/2预测标签图还原为与妇科分泌物图像相同的图像尺寸后通过一个全连接层来连接前一层神经元，再通过第九卷积层以及第十卷积层提取特征，得到了1/1预测标签图，通过不断的反复迭代，最终得到第三模型。
本发明与现有技术相比，结合深度学习算法，一次性将妇科分泌物图像中不同种类的标签(即不同种类的细胞)进行了分类。一方面免除了传统多标签图像分类算法一次只能分类一个标签、需多次分类的弊端，节省了分类时间；另一方面提高了分类的准确度。
附图说明
图1是本发明方法的总流程图；
图2是本发明网络结构流程图；
图3-1是本发明模型训练的流程图；
图3-2是本发明模型训练的具体流程图；
图4是本发明校正的流程图；
图5是本发明后处理的流程图；
图6为本发明通过镜检的方式获得的妇科分泌物图像；
图7为本发明通过人工标定的不同的像素值标定出的标签图；
图8为本发明将妇科分泌物图像输入至样本模型并进行形态学后处理后用不同的像素值标定出的标签图；
图9为本发明使用1/1网络结构进行模型训练的示意图；
图10是本发明使用1/2网络结构进行模型训练的示意图；
图11是本发明使用1/4网络结构进行模型训练的示意图；
图12为本发明通过样本模型进行预测后得到的还未进行形态学后处理的预测标签图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。
如图1所示，本发明公开了一种多标签的妇科分泌物图像分类方法，包括如下步骤：
步骤一、特征提取
所述特征提取包括(如图2所示)：
步骤S11、获取原始训练数据，构建训练数据库，具体为拍摄原始的妇科分泌物图像(图6所示)，对妇科分泌物图像中不同种类的细胞分别标注后生成标签图(图7所示)，所述标签图中不同种类的细胞分别用不同的像素值表示；将生成后的标签图以及对应的妇科分泌物图像进行存储，建立训练数据库；妇科分泌物图像可以为图片也可以为影像，当妇科分泌物图像为影像时，可以获取关键帧图片用于作为妇科分泌物图像；
所述标签图的生成可采用图像处理软件对妇科分泌物图像中的不同种类的细胞进行描述，勾画出其外部轮廓，然后采用不同的像素值代表不同种类的细胞，从而得到标签图。
步骤S12、建立用于模型训练的网络结构，具体为在Caffe框架中构建基于卷积神经网络(CNN(Convolutional Neural Network))中的全卷积网络(FCN(FullyConvolutional Networks))，构建出至少三个用于模型训练的网络结构，所述网络结构包括与原图大小的1/1网络结构、为原图的二分之一大小的1/2网络结构以及为原图四分之一大小的1/4网络结构；
所述1/1网络结构输出的标签图(label)与妇科分泌物图像的图像尺寸相同；
1/4网络结构输出的标签图(label)，图像尺寸缩小为妇科分泌物图像的图像尺寸的1/4；
1/2网络结构输出的标签图(label)，图像尺寸缩小为妇科分泌物图像的图像尺寸的1/2。
步骤二、模型训练
所述模型训练包括(如图3-1所示)：
步骤S21、训练该模型需要10万～20万的数据，一般情况下，仅靠数据库中的原始数据无法满足要求，因此在模型训练前，需要进行数据扩增，通过对训练数据库中的妇科分泌物图像以及所对应的标签图进行图像参数中至少一项参数的调整并保存，从而实现训练数据库中妇科分泌物图像以及标签图数量的增加，例如，通过对妇科分泌物图像进行旋转、平移、增加噪声、调整对比度、明亮度、色度、饱和度中的至少一项操作，以及对标签图进行旋转、平移中至少一项操作，将复制并修改妇科分泌物图像后作为修改后的妇科分泌物图像以及将修改后的标签图结合训练数据库中初始的妇科分泌物图像作为最终的训练数据库，以增加训练用的数据量；在对参数的并保存后，还将训练数据库中标签图进行图像尺寸的等比缩小，将标签图分别缩小为与之对应的妇科分泌物图像的图像尺寸的1/2以及1/4的1/2标签图、1/4标签图后，保存至训练数据库中，从而得到与妇科分泌物图像相同图像尺寸的1/1标签图、1/2标签图和1/4标签图的三种图像尺寸的标签图，这里所述的标签图进行图像尺寸的等比缩小包括对训练数据库中初始的标签图以及扩增后的标签图进行等比缩小。在对妇科分泌物图像做旋转和平移操作时，需对其对应的标签图做相同的操作；做增加噪声、调整对比度、明亮度、色度、饱和度操作时则不需要对标签图操作。之后将标签图等比缩小，获得1/4大小标签图，1/2大小标签图以及1/1大小标签图。将这3个标签图对应妇科分泌物图像一起存入数据库。
具体地，可使用Matlab软件，读取妇科分泌物图像，将妇科分泌物图像沿x方向从-20到20以20个像素点作为步长进行平移；沿y方向从-20到20以20个像素点作为步长进行平移；从-20度到20度以20度为步长来进行旋转；加入高斯白噪声，调节高斯白噪声函数的参数，从0到0.0001以0.0001为步长；改变图像的对比度、色度、饱和度；同时读取对应的标签图，将标签图沿x方向从-20到20以20个像素点作为步长进行平移；沿y方向从-20到20以20个像素点作为步长进行平移；从-20度到20度以20度为步长来进行旋转；参数与妇科分泌物图像的参数同步，以保证空间上的对应。之后等比缩小，获得1/4大小标签图，1/2大小标签图以及1/1大小标签图。然后存储修改后的妇科分泌物图像及对应的3张标签图。最后得到20万张扩增后的妇科分泌物图像及对应的标签图。这些扩增后的数据每500张按乱序存储起来，将500张扩增后的妇科分泌物图像及其相对应的500张扩增后的标签图打包放在一起，并且建立相应的数据的目录，从而实现模型训练，通过目录查找到与之对应的妇科分泌物图像以及标签图。扩增得到的修改后的妇科分泌物图像与训练数据库中初始的妇科分泌物图像的图像尺寸相同。
步骤S22、模型训练，将训练数据库中的妇科分泌物图像及对应的标签图依次通过1/4网络结构、1/2网络结构以及1/1网络结构，进行训练最终得到所需的样本模型；
所述模型训练将训练数据库中妇科分泌物图像及对应的标签图结合1/1网络结构的训练参数、1/2网络结构的训练参数，1/4网络结构的训练参数，进行训练网络结构开始及权重模型选择，中断后训练恢复设置。所述训练参数包括学习率、学习率下降策略、gamma值(伽马)、步长、模型存储路径、模型存储间隔、训练模式(GPU(使用电脑显卡)或CPU(使用电脑内存))；所述训练网络结构开始选择包含两个参数，训练用网络结构的选择和训练时权重的选择；中断后训练恢复设置用于中断后恢复训练。
模型训练的顺序为：
步骤S221、将妇科分泌物图像及对应的1/4标签图用1/4网络结构及其训练参数，进行训练得到第一模型；
步骤S222、接着将妇科分泌物图像及对应的1/2标签图通过1/2网络结构及其训练参数，以第一模型为权重模型，进行训练得到第二模型；
步骤S223再将妇科分泌物图像及对应的1/1标签图通过1/1网络结构及其训练参数，以第二模型为权重模型，进行训练得到第三模型，最终，将第三模型作为样本模型。
所述模型训练中每次使用网络结构进行训练可分为两个阶段，分别是特征提取阶段和预测图重建阶段。第一阶段是特征提取阶段，特征提取阶段的作用是从训练数据库的妇科分泌物图像中提取出基本(low level)特征，并通过不断的卷积操作将基本特征进行排列组合，从而形成抽象的、高层次、带有语义信息的特征图。这个阶段共有15个层，包括1个数据层(data)，5个卷积层(conv1～conv5)，5个激活层(Relu)，激活层紧跟在每一个卷积层之后，4个最大池化层(pool1～pool4)。在这个阶段中，扩增后的妇科分泌物图像会因为不断的下采样(卷积)操作而缩小，然后通过卷积层(conv5)获得其特征图，再将该特征图传送到下一阶段。
第二阶段是预测图重建阶段，主要功能是将在特征提取阶段被缩小的特征图还原为与训练数据库中标签图相同图像尺寸的预测标签图。所述重建网络共19层，包括4个反卷积层(deconv1～deconv4)，4个全连接层(紧跟在每个反卷积层之后)，5个卷积层(conv6～conv10)，4个激活层(Relu)，1个偏平层fl1以及一个损失(loss)层。在这个阶段中，我们把缩小的特征图，通过多次的上采样(反卷积)操作，最后将特征图还原到与训练数据库中标签图相同图像尺寸的预测标签图。
如图9所示，在本发明中1/1网络结构包括特征提取网络以及重建网络，所述特征提取网络包括数据层(data)，用于导入训练用的数据，导入数据类型为HDF5Data，即hdf5格式的文件；数据用途为TRAIN，训练用网络；一次处理的输入的图片数量batch_size为1；
第一卷积层(conv1)，权值的学习率lr_mult为1；偏置项的学习率为2；权值的衰减为1；偏置项的衰减为0；卷积核个数num_output为40；卷积核大小kernel_size为3，步长stride为1，扩充边缘pad为1；权值初始化方法weight_filler为gaussian高斯分布，其方差std为0.01；偏置项的初始化方法bias_filler为constant常量，其值为0；
紧跟一个激活层(Relu)；
一个第一最大池化层(pool1)，池化方法pool为MAX，最大池化；过滤器大小为2，步长为2；
第二卷积层(conv2)，权值的学习率lr_mult为1；偏置项的学习率为2；权值的衰减为1；偏置项的衰减为0；卷积核个数num_output为50；卷积核大小kernel_size为3，步长stride为1，扩充边缘pad为1；权值初始化方法weight_filler为gaussian高斯分布，其方差std为0.01；偏置项的初始化方法bias_filler为constant常量，其值为0；
紧跟一个Relu激活层；
一个第二最大池化层(pool2)，池化方法pool为MAX，最大池化；过滤器大小为2，步长为2；
第三卷积层(conv3)，权值的学习率lr_mult为1；偏置项的学习率为2；权值的衰减为1；偏置项的衰减为0；卷积核个数num_output为60；卷积核大小kernel_size为3，步长stride为1，扩充边缘pad为1；权值初始化方法weight_filler为gaussian高斯分布，其方差std为0.01；偏置项的初始化方法bias_filler为constant常量，其值为0；
紧跟一个激活层(Relu)；
一个第三最大池化层(pool3)，池化方法pool为MAX，最大池化；过滤器大小为2，步长为2；
第四卷积层(conv4)，权值的学习率lr_mult为1；偏置项的学习率为2；权值的衰减为1；偏置项的衰减为0；卷积核个数num_output为70；卷积核大小kernel_size为3，步长stride为1，扩充边缘pad为1；权值初始化方法weight_filler为gaussian高斯分布，其方差std为0.01；偏置项的初始化方法bias_filler为constant常量，其值为0；
紧跟一个激活层(Relu)；
一个最大池化层(pool4)，池化方法pool为MAX，最大池化；过滤器大小为2，步长为2；
第五卷积层(conv5)，权值的学习率lr_mult为1；偏置项的学习率为2；权值的衰减为1；偏置项的衰减为0；卷积核个数num_output为80；卷积核大小kernel_size为3，步长stride为1，扩充边缘pad为1；权值初始化方法weight_filler为gaussian高斯分布，其方差std为0.01；偏置项的初始化方法bias_filler为constant常量，其值为0；
紧跟一个激活层(Relu)。
所述1/1网络结构中重建网络包括第一反卷积层(deconv1)，权值的学习率lr_mult为1；偏置项的学习率为2；权值的衰减为1；偏置项的衰减为0；卷积核个数num_output为80；卷积核大小kernel_size为2，步长stride为2，扩充边缘pad为0；
紧跟一个全连接层，连接deconv1和conv4；
一个第六卷积层(conv6)，权值的学习率lr_mult为1；偏置项的学习率为2；权值的衰减为1；偏置项的衰减为0；卷积核个数num_output为80；卷积核大小kernel_size为1；权值初始化方法weight_filler为gaussian高斯分布，其方差std为0.01；偏置项的初始化方法bias_filler为constant常量，其值为0.1；
紧跟一个激活层(Relu)；
第二反卷积层(deconv2)，权值的学习率lr_mult为1；偏置项的学习率为2；权值的衰减为1；偏置项的衰减为0；卷积核个数num_output为70；卷积核大小kernel_size为2，步长stride为2，扩充边缘pad为0；
紧跟一个全连接层，连接deconv2和conv3；
一个第七卷积层(conv7)，权值的学习率lr_mult为1；偏置项的学习率为2；权值的衰减为1；偏置项的衰减为0；卷积核个数num_output为70；卷积核大小kernel_size为1；权值初始化方法weight_filler为gaussian高斯分布，其方差std为0.01；偏置项的初始化方法bias_filler为constant常量，其值为0.1；
紧跟一个激活层(Relu)；
第三反卷积层(deconv3)，权值的学习率lr_mult为1；偏置项的学习率为2；权值的衰减为1；偏置项的衰减为0；卷积核个数num_output为60；卷积核大小kernel_size为2，步长stride为2，扩充边缘pad为0；
紧跟一个全连接层，连接deconv3和conv2；
一个第八卷积层(conv8)，权值的学习率lr_mult为1；偏置项的学习率为2；权值的衰减为1；偏置项的衰减为0；卷积核个数num_output为60；卷积核大小kernel_size为1；权值初始化方法weight_filler为gaussian高斯分布，其方差std为0.01；偏置项的初始化方法bias_filler为constant常量，其值为0.1；
紧跟一个激活层(Relu)；
第四反卷积层(deconv4)，权值的学习率lr_mult为1；偏置项的学习率为2；权值的衰减为1；偏置项的衰减为0；卷积核个数num_output为60；卷积核大小kernel_size为2，步长stride为2，扩充边缘pad为0；
紧跟一个全连接层，连接deconv4和conv1；
一个第九卷积层(conv9)，权值的学习率lr_mult为1；偏置项的学习率为2；权值的衰减为1；偏置项的衰减为0；卷积核个数num_output为60；卷积核大小kernel_size为1；权值初始化方法weight_filler为gaussian高斯分布，其方差std为0.01；偏置项的初始化方法bias_filler为constant常量，其值为0.1；
紧跟一个激活层(Relu)；
一个第十卷基层(conv10)，权值的学习率lr_mult为1；偏置项的学习率为2；权值的衰减为1；偏置项的衰减为0；卷积核个数num_output为1；卷积核大小kernel_size为1；权值初始化方法weight_filler为gaussian高斯分布，其方差std为0.01；偏置项的初始化方法bias_filler为constant常量，其值为0.1；
接着是一个偏平层(fl1)；
最后是一个损失层(loss)。
如图10所示，在本发明中1/2网络结构与1/1网络结构的区别仅在于重建网络中不含deconv4层及其紧跟的全连接层，conv9及其紧跟的Relu激活层。其他层及参数与原图网络结构完全相同。
如图11所示，1/4网络结构与1/1网络结构的区别仅在于重建网络中不含deconv3层及其紧跟的全连接层，deconv4层及其紧跟的全连接层，conv8及其紧跟的Relu激活层，conv9及其紧跟的Relu激活层，其他层及参数与原图网络结构完全相同。
下面对三种网络结构的模型训练进行详细的说明(如图3-2所示)：
步骤S221、将训练数据库中的妇科分泌物图像和1/4标签图输入至1/4网络结构进行训练得到第一模型(如图11所示)包括：
步骤S2211、特征提取阶段包括：
将妇科分泌物图像(image)通过第一卷积层conv1提取特征，然后通过一个Relu激活层进行修正后经过第一最大池化层pool1进行下采样，将妇科分泌物图像缩小为妇科分泌物图像的图像尺寸1/2的1/2妇科分泌物图；
将1/2妇科分泌物图通过第二卷积层conv2提取特征，然后通过一个Relu激活层进行修正后经过第二最大池化层pool2进行下采样，将1/2妇科分泌物图缩小为妇科分泌物图像的图像尺寸1/4的1/4妇科分泌物图；
将1/4妇科分泌物图通过第三卷积层conv3提取特征，然后通过一个Relu激活层进行修正后经过第三最大池化层pool3进行下采样，将1/4妇科分泌物图缩小为妇科分泌物图像的图像尺寸1/8的1/8妇科分泌物图；
将1/8妇科分泌物图通过第四卷积层conv4提取特征，然后通过一个Relu激活层进行修正后经过第四最大池化层pool4进行下采样，将1/8妇科分泌物图缩小为妇科分泌物图像的图像尺寸1/16的1/16妇科分泌物图；
将1/16妇科分泌物图通过第五卷积层conv5提取特征，然后通过一个Relu激活层进行修正后，得到与1/16妇科分泌物图对应图像尺寸的特征图并传递至下一阶段。
步骤S2212、预测图重建阶段包括：
将特征图通过第一反卷积层deconv1还原为妇科分泌物图像的图像尺寸1/8后通过一个全连接层来连接前一层神经元，再通过第六卷积层conv6提取特征，得到妇科分泌物图像的图像尺寸1/8的1/8预测标签图；然后通过第二反卷积层deconv2将1/8预测标签图还原为妇科分泌物图像的图像尺寸的1/4，接着通过一个全连接层来连接前一层神经元，再通过第七卷积层conv7以及第十卷积层conv10提取特征，得到妇科分泌物图像的图像尺寸1/4的1/4预测标签图(Label)，通过不断的反复迭代，对得到1/4预测标签图与1/4标签图进行图像对比，通过不断反复的修正，最终得到第一模型；本发明中，采用Caffe工具，将妇科分泌物图像以及1/4标签图输入至Caffe工具中从而获得第一模型。
所述步骤S222、以第一模型为权重，将训练数据库中的妇科分泌物图像和1/2标签图输入至1/2网络结构，进行训练得到第二模型(如图10所示)包括步骤S2221、特征提取阶段，这里所采用的特征提取阶段与前述的步骤S2211中特征提取阶段相同，在此不再赘述，不同之处仅在于预测图重建阶段；
步骤S2222、所述预测图重建阶段包括：
将特征图通过第一反卷积层deconv1还原为妇科分泌物图像的图像尺寸1/8后通过一个全连接层来连接前一层神经元，再通过第六卷积层conv6提取特征，得到妇科分泌物图像的图像尺寸1/8的1/8预测标签图；然后通过第二反卷积层deconv2将1/8预测标签图还原为妇科分泌物图像的图像尺寸的1/4，接着通过一个全连接层来连接前一层神经元，然后通过第七卷积层conv7提取特征，得到妇科分泌物图像的图像尺寸1/4的1/4预测标签图；然后通过第三反卷积层deconv3还原为妇科分泌物图像的图像尺寸的1/2后通过一个全连接层来连接前一层神经元，再通过第八卷积层conv8以及第十卷积层conv10提取特征，得到妇科分泌物图像的图像尺寸1/2的1/2预测标签图(Label)，通过不断的反复迭代，对得到1/2预测标签图与1/2标签图进行图像对比，不断反复的修正，最终得到第二模型；本发明中，采用Caffe工具，将妇科分泌物图像以及1/2标签图输入至Caffe工具中，以第一模型为权重，从而获得第二模型。
所述步骤S223、以第二模型为权重，将训练数据库中的妇科分泌物图像和1/1标签图输入至1/1网络结构，进行训练得到第三模型(图9所示)，具体地：包括步骤S2231、特征提取阶段，这里所采用的特征提取阶段与前述的步骤S2211的特征提取阶段相同，在此不再赘述，不同之处仅在于预测图重建阶段；
步骤S2231、所述预测图重建阶段包括：
将特征图通过通过第一反卷积层deconv1还原为妇科分泌物图像的图像尺寸1/8大小后通过一个全连接层来连接前一层神经元，再通过第六卷积层conv6提取特征，得到妇科分泌物图像的图像尺寸1/8大小的1/8预测标签图；然后通过第二反卷积层deconv2将图像尺寸1/8大小的1/8预测标签图还原为妇科分泌物图像的图像尺寸的1/4大小，接着通过一个全连接层来连接前一层神经元，然后通过第七卷积层conv7提取特征，得到妇科分泌物图像的图像尺寸1/4大小的1/4预测标签图；然后通过第三反卷积层deconv3还原为妇科分泌物图像的图像尺寸的1/2后通过一个全连接层来连接前一层神经元，再通过第八卷积层conv8提取特征，得到妇科分泌物图像的图像尺寸1/2的1/2预测标签图；接着通过第四反卷积层deconv4将1/2预测标签图还原为与妇科分泌物图像相同的图像尺寸后通过一个全连接层来连接前一层神经元，再通过第九卷积层conv9以及第十卷积层conv10提取特征，得到了1/1预测标签图(Label)，通过不断的反复迭代，对得到1/1预测标签图与1/1标签图进行图像对比，不断反复的修正，最终得到第三模型；本发明中，采用Caffe工具，将妇科分泌物图像以及1/1标签图输入至Caffe工具中，以第二模型为权重，最终获得第三模型。
作为本发明的一种实施方式，模型训练过程是：用1/4网络结构及其训练参数，对数据库中扩增后的妇科分泌物图像及其1/4标签图训练12个小时后得到妇科分泌物图像的图像尺寸1/4的第一模型；接着用1/2网络结构及其训练参数，以第一模型为权重，对数据库中扩增后的妇科分泌物图像及其1/2标签图训练12个小时后得到妇科分泌物图像的图像尺寸1/2的第二模型；再用原图网络结构及其训练参数，以第二模型为权重，对数据库中扩增后的妇科分泌物图像及其1/1标签图训练24个小时后得到与妇科分泌物图像的图像尺寸相同的第三模型，最终，将第三模型作为样本模型。
在上述模型训练中，当使用1/4网络结构对原始妇科分泌物图进行训练时无权重，当使用1/2网络结构进行训练时将第一模型作为权重；当使用原图网络结构进行训练时将第二模型作为权重。
在得到样本模型后，还进行步骤三，校正，所述校正包括(如图4所示)：
步骤S31、模型测试，对样本模型进行测试，采用Matlab软件随机选取一张测试用的妇科分泌物图像，通过Caffe用于Matlab的函数，载入训练得到的样本模型中最终得到测试用的预测标签图，具体地，将妇科分泌物图像送入该样本模型中进行处理，然后将得到的测试用的预测标签图进行评价，若准确率(Accuracy)、精确率(Precision)、召回率(Recall)和综合评价指标(F1-Measure)均达到90％以上，则无需进行模型改进，将样本模型作为预测用的样本模型，否则进入步骤S32；具体地，评价采用将预测标签图与测试用的妇科分泌物图像所对应的标签图进行图像对比，判断两张标签图的相似度，当准确率(Accuracy)、精确率(Precision)、召回率(Recall)和综合评价指标(F1-Measure)均达到90％以上，则判断测试结果达到要求，否则进行步骤S32。
准确率(Accuracy)表示分类正确的示例占总示例数的比例，
准确率
其中，TP(True Positive真正)：将正类预测为正类的示例数量，TN(TrueNegative真负)：将负类预测为负类的示例数量，FP(False Positive假正)：将负类预测为正类的示例数量，即误报，FN(False Negative假负)：将正类预测为负类的示例数量，即漏报。
精确率(Precision)表示被分为正例的示例中实际为正例的比例，
精确率
其中：TP(True Positive真正)：将正类预测为正类的示例数量，FP(FalsePositive假正)：将负类预测为正类的示例数量，即误报。
召回率(Recall)是覆盖面的度量，度量有多个正例被分为正例，
召回率：
其中，TP(True Positive真正)：将正类预测为正类的示例数量，FN(FalseNegative假负)：将正类预测为负类的示例数量，即漏报。
综合评价指标(F1-Measure)，精确率和召回率指标有时候会出现矛盾的情况，这样就需要综合考虑它们，最常见的方法就是F1-Measure(又称为F1-Score)，
综合评价指标：
其中：P(Precision)为精确率，R(Recall)为召回率。
步骤S32、模型改进，根据测试结果对网络结构进行改进，改进后重复模型训练和模型测试的过程，直到模型的测试结果达到要求，即准确率(Accuracy)、精确率(Precision)、召回率(Recall)和F1-Measure均达到90％以上。最后，得到满足要求的修改后的样本模型。
作为本发明的一种实施方式，对网络结构进行改进包括修改网络结构中各项参数，如卷积核大小、每一个卷积层的数据量等；修改模型训练的训练参数，如学习率、权重等；改变训练前在数据扩增时对妇科分泌物图像进行图像参数中至少一项参数的重新调整。例如，将卷积核大小由3改为2，卷积核个数由70改为60，学习率由10e-6改为10e-8，扩增所加的噪声由高斯噪声改为白噪声等。
步骤四、预测，当得到最终的样本模型后，将检测用的妇科分泌物图像输入到样本模型中进行预测，得到初步预测图像(如图12所示)；
在得到初步预测图像后，还对初步预测图像进行步骤五、形态学后处理，所述形态学后处理包括(如图5所示)：
步骤S51、将初步预测图像进行阈值筛选，通过getStructuringElement函数去除过大、过小和中间分布的像素点；由于经样本模型处理后，每一种标签对应的像素值是不同的，因此需设置不同的像素值阈值，将每种标签分别筛选出来；具体地，为每一个标签对应一个像素值与一个像素值范围，所述像素值范围为像素值的±2.5，大于这个范围的为过大，小于这个范围的为过小，在这个范围内的为中间分布。对于过大和过小的像素点，将其像素值改为0，对于中间分布的像素点，将其像素值改为与该标签对应的像素值。例如，上皮细胞标签对应的像素值为5，像素值范围为2.5～7.5，像素值大于7.5的像素点为过大，小于2.5的为过小，这两者都将像素值置为0；像素值在2.5～7.5内的像素点为中间分布，像素值都置为5。
步骤S52、然后通过morphologyEx函数对阈值筛选后的初步预测图像进行开闭运算，以去除面积较小的部分；具体地，通过一次开运算和一次闭运算，以去除面积较小的部分；
作为本发明的一种实施方式，使用OpenCV提供的现有的开闭运算函数，对图像进行开闭运算处理，开闭运算函数，对图像进行开闭运算处理，以达到去除面积较小的部分，连通面积较大的部分的目的。
步骤S53、通过ContourGet函数提取每一个标签的轮廓，对进行开闭运算后的初步预测图像提取每一个标签的轮廓，并进行存储然后通过drawContours函数再依次绘制每一个标签的轮廓，最终得到妇科分泌物分类标签图(图8所示)。
本发明结合深度学习算法，一次性将妇科分泌物图像中不同种类的标签(即不同种类的细胞)进行了分类。一方面免除了传统多标签图像分类算法一次只能分类一个标签、需多次分类的弊端，节省了分类时间；另一方面提高了分类的精度。
Claims (10)
1.一种妇科分泌物图像的多标签分类方法，其特征在于：包括如下步骤：
步骤一、特征提取，所述特征提取包括构建训练数据库以及建立用于模型训练的网络结构；
步骤二、模型训练，所述模型训练包括将训练数据库中的妇科分泌物图像及对应的标签图通过全卷积网络进行训练得到所需的样本模型；
步骤三、校正，通过样本模型对妇科分泌物图像进行测试得到测试用的预测标签图，并对预测标签图进行评价，判断测试结果是否满足要求，是则将样本模型作为预测用的样本模型；否则返回步骤二，对训练用的各项参数进行修改并重复步骤三，直到测试结果满足要求为止；
步骤四、预测，将检测用的妇科分泌物图像输入到样本模型中进行预测，得到初步预测图像。
2.根据权利要求1所述的妇科分泌物图像的多标签分类方法，其特征在于：所述方法还包括：
步骤五、形态学后处理，对初步预测图像进行形态学后处理，所述形态学后处理包括对初步预测图像进行阈值筛选、至少一次开闭运算以及轮廓提取，从而得到妇科分泌物分类标签图。
3.根据权利要求1所述的妇科分泌物图像的多标签分类方法，其特征在于：所述步骤二中模型训练还包括在模型训练前，对训练数据库中的数据进行扩增，具体地，对训练数据库中的妇科分泌物图像以及所对应的标签图进行图像参数中至少一项参数的调整并保存后，将训练数据库中标签图进行图像尺寸的等比缩小，将标签图分别缩小为与之对应的妇科分泌物图像的图像尺寸的1/2以及1/4的1/2标签图、1/4标签图后，保存至训练数据库中。
4.根据权利要求3所述的妇科分泌物图像的多标签分类方法，其特征在于：所述步骤一中建立用于模型训练的全卷积网络包括基于卷积神经网络中的全卷积网络构建出至少三个用于模型训练的网络结构。
5.根据权利要求4所述的妇科分泌物图像的多标签分类方法，其特征在于：所述网络结构包括特征提取网络以及重建网络。
6.根据权利要求5所述的妇科分泌物图像的多标签分类方法，其特征在于：所述网络结构设有三个，分别为1/4网络结构、1/2网络结构以及1/1网络结构；
所述1/4网络结构中特征提取网络包括15个层，包括1个数据层，5个卷积层，5个激活层，激活层紧跟在每一个卷积层之后，4个最大池化层；重建网络共11层，包括2个反卷积层，2个全连接层，3个卷积层，2个激活层，1个偏平层以及1个损失层；
所述1/2网络结构中特征提取网络包括15个层，包括1个数据层，5个卷积层，5个激活层，激活层紧跟在每一个卷积层之后，4个最大池化层；重建网络共15层，包括3个反卷积层，3个全连接层，4个卷积层，3个激活层，1个偏平层以及1个损失层；
所述1/1网络结构中特征提取网络包括15个层，包括1个数据层，5个卷积层，5个激活层，激活层紧跟在每一个卷积层之后，4个最大池化层；重建网络共19层，包括4个反卷积层，4个全连接层，5个卷积层，4个激活层，1个偏平层以及1个损失层。
7.根据权利要求6所述的妇科分泌物图像的多标签分类方法，其特征在于：所述步骤二具体为将训练数据库中的妇科分泌物图像和1/4标签图输入至1/4网络结构进行训练得到第一模型；以第一模型为权重，将训练数据库中的妇科分泌物图像和1/2标签图输入至1/2网络结构，进行训练得到第二模型；以第二模型为权重，将训练数据库中的妇科分泌物图像和1/1标签图输入至1/1网络结构，进行训练得到第三模型，最终得到样本模型。
8.根据权利要求1所述的妇科分泌物图像的多标签分类方法，其特征在于：所述步骤三中对预测标签图进行评价具体为判断预测标签图的准确率、精确率、召回率和综合评价指标是否均达到90％以上。
9.根据权利要求3所述的妇科分泌物图像的多标签分类方法，其特征在于：所述步骤三种对训练用的各项参数进行修改包括修改网络结构中各项参数和/或对妇科分泌物图像进行图像参数中至少一项参数的重新调整。
10.根据权利要求7所述的妇科分泌物图像的多标签分类方法，其特征在于：所述步骤二中将训练数据库中的妇科分泌物图像和1/4标签图输入至1/4网络结构进行训练得到第一模型具体为：
将妇科分泌物图像通过第一卷积层提取特征，然后通过一个激活层进行修正后经过第一最大池化层进行下采样，将妇科分泌物图像缩小为妇科分泌物图像的图像尺寸1/2的1/2妇科分泌物图；
将1/2妇科分泌物图通过第二卷积层提取特征，然后通过一个激活层进行修正后经过第二最大池化层进行下采样，将1/2妇科分泌物图缩小为妇科分泌物图像的图像尺寸1/4的1/4妇科分泌物图；
将1/4妇科分泌物图通过第三卷积层提取特征，然后通过一个激活层进行修正后经过第三最大池化层进行下采样，将1/4妇科分泌物图缩小为妇科分泌物图像的图像尺寸1/8的1/8妇科分泌物图；
将1/8妇科分泌物图通过第四卷积层提取特征，然后通过一个激活层进行修正后经过第四最大池化层进行下采样，将1/8妇科分泌物图缩小为妇科分泌物图像的图像尺寸1/16的1/16妇科分泌物图；
将1/16妇科分泌物图通过第五卷积层提取特征，然后通过一个激活层进行修正后，得到与1/16妇科分泌物图对应图像尺寸的特征图；
将特征图通过第一反卷积层还原为妇科分泌物图像的图像尺寸1/8后通过一个全连接层来连接前一层神经元，再通过第六卷积层提取特征，得到妇科分泌物图像的图像尺寸1/8的1/8预测标签图；然后通过第二反卷积层将1/8预测标签图还原为妇科分泌物图像的图像尺寸的1/4，接着通过一个全连接层来连接前一层神经元，再通过第七卷积层以及第十卷积层提取特征，得到妇科分泌物图像的图像尺寸1/4的1/4预测标签图，通过不断的反复迭代，对得到1/4预测标签图与1/4标签图进行图像对比，不断反复的修正，最终得到第一模型；
所述步骤二中以第一模型为权重，将训练数据库中的妇科分泌物图像和1/2标签图输入至1/2网络结构，进行训练得到第二模型具体为：
将妇科分泌物图像通过第一卷积层提取特征，然后通过一个激活层进行修正后经过第一最大池化层进行下采样，将妇科分泌物图像缩小为妇科分泌物图像的图像尺寸1/2的1/2妇科分泌物图；
将1/2妇科分泌物图通过第二卷积层提取特征，然后通过一个激活层进行修正后经过第二最大池化层进行下采样，将1/2妇科分泌物图缩小为妇科分泌物图像的图像尺寸1/4的1/4妇科分泌物图；
将1/4妇科分泌物图通过第三卷积层提取特征，然后通过一个激活层进行修正后经过第三最大池化层进行下采样，将1/4妇科分泌物图缩小为妇科分泌物图像的图像尺寸1/8的1/8妇科分泌物图；
将1/8妇科分泌物图通过第四卷积层提取特征，然后通过一个激活层进行修正后经过第四最大池化层进行下采样，将1/8妇科分泌物图缩小为妇科分泌物图像的图像尺寸1/16的1/16妇科分泌物图；
将1/16妇科分泌物图通过第五卷积层提取特征，然后通过一个激活层进行修正后，得到与1/16妇科分泌物图对应图像尺寸的特征图；
将特征图通过第一反卷积层还原为妇科分泌物图像的图像尺寸1/8后通过一个全连接层来连接前一层神经元，再通过第六卷积层提取特征，得到妇科分泌物图像的图像尺寸1/8的1/8预测标签图；然后通过第二反卷积层将1/8预测标签图还原为妇科分泌物图像的图像尺寸的1/4，接着通过一个全连接层来连接前一层神经元，然后通过第七卷积层提取特征，得到妇科分泌物图像的图像尺寸1/4的1/4预测标签图；然后通过第三反卷积层还原为妇科分泌物图像的图像尺寸的1/2后通过一个全连接层来连接前一层神经元，再通过第八卷积层以及第十卷积层提取特征，得到妇科分泌物图像的图像尺寸1/2的1/2预测标签图，通过不断的反复迭代，最终得到第二模型；
以第二模型为权重，将训练数据库中的妇科分泌物图像和1/1标签图输入至1/1网络结构，进行训练得到第三模型，最终得到样本模型具体为：
将妇科分泌物图像通过第一卷积层提取特征，然后通过一个激活层进行修正后经过第一最大池化层进行下采样，将妇科分泌物图像缩小为妇科分泌物图像的图像尺寸1/2的1/2妇科分泌物图；
将1/2妇科分泌物图通过第二卷积层提取特征，然后通过一个激活层进行修正后经过第二最大池化层进行下采样，将1/2妇科分泌物图缩小为妇科分泌物图像的图像尺寸1/4的1/4妇科分泌物图；
将1/4妇科分泌物图通过第三卷积层提取特征，然后通过一个激活层进行修正后经过第三最大池化层进行下采样，将1/4妇科分泌物图缩小为妇科分泌物图像的图像尺寸1/8的1/8妇科分泌物图；
将1/8妇科分泌物图通过第四卷积层提取特征，然后通过一个激活层进行修正后经过第四最大池化层进行下采样，将1/8妇科分泌物图缩小为妇科分泌物图像的图像尺寸1/16的1/16妇科分泌物图；
将1/16妇科分泌物图通过第五卷积层提取特征，然后通过一个激活层进行修正后，得到与1/16妇科分泌物图对应图像尺寸的特征图；
将特征图通过通过第一反卷积层还原为妇科分泌物图像的图像尺寸1/8大小后通过一个全连接层来连接前一层神经元，再通过第六卷积层提取特征，得到妇科分泌物图像的图像尺寸1/8大小的1/8预测标签图；然后通过第二反卷积层将图像尺寸1/8大小的1/8预测标签图还原为妇科分泌物图像的图像尺寸的1/4大小，接着通过一个全连接层来连接前一层神经元，然后通过第七卷积层提取特征，得到妇科分泌物图像的图像尺寸1/4大小的1/4预测标签图；然后通过第三反卷积层还原为妇科分泌物图像的图像尺寸的1/2后通过一个全连接层来连接前一层神经元，再通过第八卷积层提取特征，得到妇科分泌物图像的图像尺寸1/2的1/2预测标签图；接着通过第四反卷积层将1/2预测标签图还原为与妇科分泌物图像相同的图像尺寸后通过一个全连接层来连接前一层神经元，再通过第九卷积层以及第十卷积层提取特征，得到了1/1预测标签图，通过不断的反复迭代，最终得到第三模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810905825.6A CN109102018B (zh) | 2018-08-10 | 2018-08-10 | 妇科分泌物图像的多标签分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810905825.6A CN109102018B (zh) | 2018-08-10 | 2018-08-10 | 妇科分泌物图像的多标签分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109102018A true CN109102018A (zh) | 2018-12-28 |
| CN109102018B CN109102018B (zh) | 2019-11-29 |
Family
ID=64849124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810905825.6A Expired - Fee Related CN109102018B (zh) | 2018-08-10 | 2018-08-10 | 妇科分泌物图像的多标签分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109102018B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109741282A (zh) * | 2019-01-16 | 2019-05-10 | 清华大学 | 一种基于预估校正的多帧气泡流图像处理方法 |
| CN111696086A (zh) * | 2020-05-27 | 2020-09-22 | 梅州市青塘实业有限公司 | 生殖道分泌物的检测方法、装置、控制单元及存储介质 |
| US11978270B2 (en) | 2021-11-18 | 2024-05-07 | V5Med Inc. | AI-assisted automatic labeling system and method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504255A (zh) * | 2016-11-02 | 2017-03-15 | 南京大学 | 一种基于多标签多示例学习的多目标图像联合分割方法 |
| US20170277981A1 (en) * | 2016-01-08 | 2017-09-28 | Siemens Healthcare Gmbh | Deep Image-to-Image Network Learning for Medical Image Analysis |
| CN107977677A (zh) * | 2017-11-27 | 2018-05-01 | 深圳市唯特视科技有限公司 | 一种应用于大规模城区重建中的多标签像素分类方法 |
| CN107977671A (zh) * | 2017-10-27 | 2018-05-01 | 浙江工业大学 | 一种基于多任务卷积神经网络的舌象分类方法 |
| CN108205661A (zh) * | 2017-12-27 | 2018-06-26 | 浩云科技股份有限公司 | 一种基于深度学习的atm机异常人脸检测方法 |
-
2018
- 2018-08-10 CN CN201810905825.6A patent/CN109102018B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170277981A1 (en) * | 2016-01-08 | 2017-09-28 | Siemens Healthcare Gmbh | Deep Image-to-Image Network Learning for Medical Image Analysis |
| CN106504255A (zh) * | 2016-11-02 | 2017-03-15 | 南京大学 | 一种基于多标签多示例学习的多目标图像联合分割方法 |
| CN107977671A (zh) * | 2017-10-27 | 2018-05-01 | 浙江工业大学 | 一种基于多任务卷积神经网络的舌象分类方法 |
| CN107977677A (zh) * | 2017-11-27 | 2018-05-01 | 深圳市唯特视科技有限公司 | 一种应用于大规模城区重建中的多标签像素分类方法 |
| CN108205661A (zh) * | 2017-12-27 | 2018-06-26 | 浩云科技股份有限公司 | 一种基于深度学习的atm机异常人脸检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| HAO YANG ET AL.: "MIML-FCN+: Multi-Instance Multi-Label Learning via Fully Convolutional Networks with Privileged Information", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| 姜文晖: "物体检索与定位技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109741282A (zh) * | 2019-01-16 | 2019-05-10 | 清华大学 | 一种基于预估校正的多帧气泡流图像处理方法 |
| CN111696086A (zh) * | 2020-05-27 | 2020-09-22 | 梅州市青塘实业有限公司 | 生殖道分泌物的检测方法、装置、控制单元及存储介质 |
| US11978270B2 (en) | 2021-11-18 | 2024-05-07 | V5Med Inc. | AI-assisted automatic labeling system and method |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109102018B (zh) | 2019-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109102018B (zh) | 妇科分泌物图像的多标签分类方法 | |
| CN109934154B (zh) | 一种遥感影像变化检测方法及检测装置 | |
| CN106709511A (zh) | 基于深度学习的城市轨道交通全景监控视频故障检测方法 | |
| CN111696101A (zh) | 一种基于SE-Inception的轻量级茄科病害识别方法 | |
| CN108764471A (zh) | 基于特征冗余分析的神经网络跨层剪枝方法 | |
| CN108986050A (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
| CN110414394A (zh) | 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型 | |
| CN108596329A (zh) | 基于端到端深度集成学习网络的三维模型分类方法 | |
| CN109034119A (zh) | 一种基于优化的全卷积神经网络的人脸检测方法 | |
| CN108416327A (zh) | 一种目标检测方法、装置、计算机设备及可读存储介质 | |
| CN108961675A (zh) | 基于卷积神经网络的跌倒检测方法 | |
| CN108053398A (zh) | 一种半监督特征学习的黑色素瘤自动检测方法 | |
| CN109191455A (zh) | 一种基于ssd卷积网络的大田作物病虫害检测方法 | |
| CN111882040A (zh) | 基于通道数量搜索的卷积神经网络压缩方法 | |
| CN109583483A (zh) | 一种基于卷积神经网络的目标检测方法和系统 | |
| CN106778852A (zh) | 一种修正误判的图像内容识别方法 | |
| CN110135437A (zh) | 用于车辆的定损方法、装置、电子设备和计算机存储介质 | |
| CN109871892A (zh) | 一种基于小样本度量学习的机器人视觉认知系统 | |
| CN107463881A (zh) | 一种基于深度增强学习的人物图像搜索方法 | |
| CN108985200A (zh) | 一种基于终端设备的非配合式的活体检测算法 | |
| CN109284760A (zh) | 一种基于深度卷积神经网络的家具检测方法及装置 | |
| CN106951912B (zh) | 一种果蔬外观变化识别模型的建立方法和识别方法 | |
| CN110197154A (zh) | 融合部位纹理三维映射的行人重识别方法、系统、介质及终端 | |
| CN114511710A (zh) | 一种基于卷积神经网络的图像目标检测方法 | |
| CN110222755A (zh) | 基于特征融合的深度学习场景识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190218 Address after: 518000 3688 Nanhai Road, Nanshan District, Shenzhen, Guangdong Applicant after: SHENZHEN University Address before: Room 1703, Jinqi Zhigu Building, No. 1 Tangling Road, Taoyuan Street, Nanshan District, Shenzhen City, Guangdong Province, 518000 Applicant before: SHENZHEN REETOO BIOTECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191129 |