CN111860406A - 基于区域混淆机制神经网络的血细胞显微图像分类方法 - Google Patents
基于区域混淆机制神经网络的血细胞显微图像分类方法 Download PDFInfo
- Publication number
- CN111860406A CN111860406A CN202010742651.3A CN202010742651A CN111860406A CN 111860406 A CN111860406 A CN 111860406A CN 202010742651 A CN202010742651 A CN 202010742651A CN 111860406 A CN111860406 A CN 111860406A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- training
- regional
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 210000000601 blood cell Anatomy 0.000 title claims abstract description 59
- 230000007246 mechanism Effects 0.000 title claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 76
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 45
- 230000003042 antagnostic effect Effects 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 15
- 238000012795 verification Methods 0.000 claims description 12
- 230000008485 antagonism Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003677 hemocyte Anatomy 0.000 description 2
- 229940000351 hemocyte Drugs 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000036737 immune function Effects 0.000 description 1
- 210000000987 immune system Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种基于区域混淆机制神经网络的血细胞显微图像分类方法，对用于训练的血细胞显微图像进行预处理操作；将经过处理后的图像数据输入深度神经网络框架中的训练分支，在训练阶段引入区域混淆机制，将输入图像的全局结构打乱，迫使分类器对血细胞图像的局部精细特征进行提取，再通过对抗性学习网络对混淆后引入的噪声干扰进行消除，并通过混淆后图像与原图像的语义相关性，对图像的结构信息进行建模；通过上述分支提取出分类器的最优参数，并将最优参数直接赋予分类主干网络分支，进行最终的分类预测工作。
Description
技术领域
本发明属于图像识别、机器学习领域，尤其涉及一种基于区域混淆机制神经网络的血细胞显微图像分类方法。
背景技术
随着生物医学的发展，医用显微图像技术已经非常成熟，并在医学领域得到了广泛的应用。同时，随着各种图像处理技术的发展，对医学图像的处理和分析研究也越来越多。而血细胞在人体健康中发挥着重要作用，具有防御和免疫功能，是人体免疫系统的重要组成部分。当血细胞的某些特征改变时，如数量和形状，这可能是某些疾病的前兆或症状。因此，分析各种血细胞的形态和数量亚型有助于帮助医生结合其疾病的诊疗方法做出正确的判断和选择合适的治疗方案。
然而，手工分类和计数方法，如人工显微镜检查，需要专业的操作，并且工作量大、时间长，这可能会导致错误的判断，影响病人的治疗。因此，寻找一种自动检测和分类血细胞亚型的方法以帮助血液样本的识别和检测，对准确提取血液包含的生理信息具有重要的价值。
目前，传统的血液细胞图像自动分类方法主要是利用图像分割算法分割细胞图像，然后手动设计特性来提取图像的特征信息，最后通过各种分类器分类，包括支持向量机、贝叶斯分类器、神经网络等等。然而，由于血液样本的颜色和光照条件不同，且血细胞图像往往包含复杂的背景，图像分割较为困难。此外，人工设计特征还具有随机性和不确定性，其效果受主观性的影响较大。而深度学习作为一种新兴的图像识别算法，与传统方法相比，避免了图像分割和手工特征设计等步骤，不需要先验知识。这样既减少了巨大的工作量，又避免了主观性和不确定性，分类效果更加理想。
然而，这些方法都是基于图像全局结构的识别方法，从整个图像中提取特征。而血细胞图像数据集属于细粒度数据集，其特征是不同类别的图像之间存在细微差异。图像通常具有相同或相似的全局结构，只能通过一些局部特征来区分，属于细粒度图像识别问题。上述方法对于这些精细特征的提取效果并不够理想，往往很难达到收敛，分类效果较差。
发明内容
为了克服现有技术存在的缺陷和不足，本发明提出了一种基于区域混淆机制神经网络的血细胞显微图像分类方法，基于区域混淆机制，可有效解决血细胞图像中精细特征提取问题。该方法提出了一种基于区域混淆机制的深度神经网络框架。相较于一般的深度学习方法，在常规的卷积神经网络基础上，于训练阶段引入区域混淆分支，对输入图像进行随机置乱，迫使分类网络放弃全局信息，对局部特征信息进行学习，并通过构建对抗性损失函数消除噪声干扰以及利用区域对齐网络构建图像局部区域之间的语义相关性。通过这种机制结合主干分类网络，可有效提取血细胞图像中具有判别性的局部特征信息，达到良好的分类性能。
本发明具体采用以下技术方案：
一种基于区域混淆机制神经网络的血细胞显微图像分类方法，其特征在于：对用于训练的血细胞显微图像进行预处理操作；将经过处理后的图像数据输入深度神经网络框架中的训练分支，在训练阶段引入区域混淆机制，将输入图像的全局结构打乱，迫使分类器对血细胞图像的局部精细特征进行提取，再通过对抗性学习网络对混淆后引入的噪声干扰进行消除，并通过混淆后图像与原图像的语义相关性，对图像的结构信息进行建模；通过上述分支提取出分类器的最优参数，并将最优参数直接赋予分类主干网络分支，进行最终的分类预测工作。
优选地，包括以下步骤：
步骤S1：对图像数据进行预处理，进行数据增强；
步骤S2：构建基于区域混淆机制的深度神经网络框架，在训练阶段引入区域混淆机制，将经过处理后的图像数据输入深度神经网络框架中的训练分支，对输入图像进行分割，打乱图像的全局结构，并对分割后图像的子区域进行重新布局，迫使分类器对血细胞图像的局部精细特征进行提取；
步骤S3：对步骤S2操作中引入的噪声影响，采用对抗性学习网络根据原始图像与混淆后图像的提取特征进行判别，构建对抗性损失函数，消除噪声图像的影响，并通过混淆后图像与原图像的语义相关性，对图像的结构信息进行建模；
步骤S4：将混淆后的图像与原始图像一起作为训练时分类器的输入，通过参数共享的联合训练提取出分类器的最优参数，并将最优参数直接赋予分类主干网络分支，进行最终的分类预测工作，实现血细胞图像的自动分类。
优选地，步骤S1具体包括以下步骤：
步骤S11：通过减去所有像素的均值，然后除以标准差，对每一幅图像进行标准化；
步骤S12：对输入图像大小进行调整，利用双线性插值方法将图像尺寸大小缩放到指定尺寸；
步骤S13：对于用于训练的图像数据，采用随机旋转、随机剪裁、水平翻转的方法进一步扩展图像数据，用于数据增强；
步骤S14：对用于测试集的图像数据，只进行中心剪裁的操作。
优选地，所述分类器包括分类主干网络、区域混淆网络、对抗性学习网络和区域对齐网络四部分；
第一部分为分类主干网络：采用MobileNetV3作为血细胞分类器的主干网络，训练时对输入图像进行特征提取，学习得到分类器的最优参数；预测时分类器其他网络分支不起作用，通过分类主干网络对输入图像进行预测分类；
第二部分为区域混淆网络：用以破坏图像的全局结构，将混淆后的图像与原始图像组合在一起引入分类主干网络；
第三部分为对抗性学习网络：用以分辨从图像中学习到的是否为噪声特征，消除噪声的干扰；
第四部分为区域对齐网络：用以对图像的结构信息进行建模，构建全局信息与局部信息的联系。
优选地，所述分类器的训练阶段包括以下步骤：
步骤C1：将步骤S1处理后的图像数据分为训练集样本、验证集样本与测试集样本；
步骤C2：将训练样本经过区域混淆后的图像与样本原始图像组合作为分类器的输入对其进行训练；
步骤C3:在训练过程中，经过若干个epoch后通过验证集验证模型效果，通过验证集的效果反馈，判断验证效果是否符合要求，若符合，则继续训练；否则更改超参之后再返回步骤C2；
步骤C4:判断训练次数是否达到预设的最大训练次数，若是则进入步骤C4，否则采用Back-Propagation算法更新被激活的参数，并返回步骤C2；
步骤C5:由损失函数判断训练误差是否符合预设的值，若是则进入步骤C5，否则返回步骤C2；
步骤C6：获取一系列最优参数，赋予分类主干网络，采用测试集样本对分类器性能进行测试；判断测试集样本识别正确率是否符合预设要求，若符合，终止当前的模型训练；否则返回步骤C2；
步骤C7：得到最终的最优参数，将其赋予分类器，对输入的血细胞显微图像进行自动分类。
即在训练过程中，原始图像、混淆后图像以及它们对应的类别标签组合在一起作为输入沿神经网络信号传播方向计算出网络的输出值，并分别构建区域混淆损失函数、对抗性学习损失函数和区域对齐损失函数，将输出值与期望输出值作比较，若目标函数值不满足误差精度，则采用梯度下降法对网络权重参数进行修正，修正方向沿卷积神经网络传播的逆方向，并再次计算目标函数，循环直到满足误差要求；若满足误差要求，则结束循环，得到训练后的最优参数，赋予分类主干网络。
并且上述的基于区域混淆机制的方法只应用于训练阶段，在预测阶段，只采用轻量级分类网络作为主干网络对图像进行分类。在整个框架中，训练阶段和预测阶段相互独立，网络的训练阶段在整个网络框架内以端到端的方式进行，减少额外的计算开销。
对于主干网络，本发明采用MobileNetV3作为分类主干网络来预测给定图像的类别。在这一分类主干网络中，使用神经结构搜索来搜索网络配置和参数。并通过改进swish激活函数，在有效提高网络精度的同时，减少了庞大的计算量。在网络结构上，通过在预测部分对结尾全连接层优化以及使用深度可分离卷积替代常规卷积操作，减少参数量和计算量。通过更少的网络参数，可以大大提高计算速度，而且保持了精度和速度之间的平衡。除此之外，对于主干网络的网络结构，还引入了Squeeze-and-excitation(SE)模块和残差结构，通过SE模块可增强有效的权重，提升分类性能，而残差结构可加深网络层数，有效解决网络深度增加而出现的梯度消失问题，增加特征表达能力。通过这一分类主干网络，可以极大减少参数量和计算量，对血细胞图像的识别分类具有明显的优势，对给定的输入图像，血细胞分类器能在保证判断准确可靠的基础性，提高分析识别的效率。
优选地，所述区域混淆网络将原始图像分割成若干局部区域并交换它们以生成新的训练图像；在训练时，原始的图像和破坏后的图像将一起作为网络输入共同学习有效的特征；其包含一个区域混淆损失函数，并通过对抗性学习网络消除噪声特征的影响；
所述对抗性学习网络包括判别器和对抗性损失函数；所述判别器通过softmax函数对区域混淆网络从原始的图像和破坏后的图像中学习到的特征向量进行判别；所述对抗性损失函数用于评估判别器的输出结果；
所述区域对齐网络位于分类主干网络之后，输入是分类主干网络第n个卷积层的输出特征图，特征图经过1×1的卷积处理得到的只有两个通道的输出；然后这个输出经过ReLU的激活函数和平均池化，得到一个大小为2×N×N的特征图；所述特征图输出的二通道分别对应的是行和列位置,即对应一个预测区域位置，分别对原始图像和破坏图像的区域位置进行预测，通过预测位置与原始位置的距离，找到子区域之间的相关性。
相较于现有技术，本发明及其优选方案能有效学习血细胞显微图像的判别性特征，实现血细胞图像中的血细胞的自动分类，并且相较于一般的分类方法，针对血细胞这一类型的医学显微图像，对血细胞图像中的精细特征提取更为准确、可靠，具有更优越的分类性能，也提高了分类任务的效率。
在预测阶段，针对血细胞的图像数据集，为避免网络复杂，参数过多，导致预测的过拟合，采用轻量级分类网络作为主干网络对图像进行分类，可以保证准确率，有效提高预测效率。在训练阶段，引入区域混淆机制，网络通过混淆图像区域，对图像区域进行重组，使分类网络在训练时更加关注图像的局部细节。另外，利用对抗性学习网络消除噪声干扰，以确保学习到正确有效的特征。最后根据区域间的语义相关性找到原始图像和受损图像之间的联系，从而对图像进行重构。在本发明中，由于区域混淆的方法一方面进行了数据增强，另一方面将输入图像的全局信息和局部信息一起进行训练，更有利于与局部特征的提取，相较于传统的深度学习分类方法，增强了学习局部特征的能力，分类效果更好。同时，由于区域混淆的方法只在训练阶段进行，并且训练阶段和预测阶段相互独立，训练阶段在整个网络框架内以端到端的方式进行，可以有效地提高计算速度，用较短的时间便能对血细胞进行准确的预测分类，大大提高了整个分析图像处理的效率。同时针对其他生物医学显微图像，可根据特定任务要求和病理特征对网络结构进一步调整，也可以为其他类似的生物医学图像的处理提供借鉴。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
图1是本发明实施例基于区域混淆神经网络方法流程示意图；
图2是本发明实施例步骤S1流程示意图；
图3是本发明实施例分类主干网络结构示意图；
图4是本发明实施例分类主干网络中Squeeze-and-excitation模块结构及位置示意图；
图5是本发明实施例分类主干网络对于权重参数的修正算法流程图。
具体实施方式
为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
如图1所示，本实施例提供了一种基于区域混淆机制神经网络的血细胞显微图像分类方法，具体包括以下步骤：
步骤S1：对图像数据进行预处理，采用一些常规的数据增强方法丰富图像训练集，泛化模型，以防止模型过拟合，更好地提取图像特征。
步骤S2：构建基于区域混淆机制的深度神经网络框架，在训练阶段引入区域混淆机制，将经过处理后的图像数据输入深度神经网络框架中的训练分支，对输入图像进行分割，打乱图像的全局结构，并对分割后图像的子区域进行重新布局，迫使分类器对血细胞图像的局部精细特征进行提取。
步骤S3：对于步骤S2操作中可能引入的噪声影响，采用对抗性学习网络根据原始图像与混淆后图像的提取特征进行判别，构建对抗性损失函数，消除噪声图像的影响，并通过混淆后图像与原图像的语义相关性，对图像的结构信息进行建模。
步骤S4：上述步骤只在训练阶段进行，将混淆后的图像与原始图像一起作为训练时分类器的输入，通过参数共享的联合训练提取出分类器的最优参数，并将最优参数直接赋予分类主干网络分支，进行最终的分类预测工作，实现血细胞图像的自动分类。
如图2所示，在本实施例中，步骤S1具体包括以下步骤：
步骤S11：通过减去所有像素的均值，然后除以标准差，对每一幅图像进行标准化。
步骤S12：对输入图像大小进行调整，利用双线性插值方法将图像尺寸大小缩放到指定尺寸。
步骤S13：对于用于训练的图像数据，采用随机旋转、随机剪裁、水平翻转的方法进一步扩展图像数据，用于数据增强。
步骤S14：对用于测试集的图像数据，只进行中心剪裁的操作。
如图1所示，在本实施例中，基于区域混淆机制神经网络血细胞分类器包括分类主干网络、区域混淆网络、对抗性学习网络、区域对齐网络四个部分；
(1)第一部分为区域混淆网络：用以破坏图像的全局结构，打乱局部区域的空间分布。首先对输入图像进行划分，每个子区域用Ri,j表示。对于第i行的向量子区域元素进行随机排序，可得到第i行区域的新排列
同理对第j列区域也进行打乱。原图中的区域坐标由(i,j)转换到了σ(i,j)：
并构建区域混淆损失函数：
式中，I是原始图像，φ(I)是破坏后的图像，l代表了输入图像的类别标签，这三个部分在训练时作为输入，映射到特征向量C(I,θcls)中。当C(I)接近1时，说明学习到原图像中正确特征；当C(φ(I))接近1时，由于破坏产生的某些噪声分布会导致过拟合，分类网络可能认为被破坏的图片中只要符合某些噪声分布就属于该类，并不能保证学习到正确特征，因此需要通过第二部分的对抗性学习来消除噪声特征的影响。通过区域混淆机制，我们可以对图像的区域进行破坏，即将原始图像分割成很多局部区域并交换它们以生成新的训练图像。在训练时，原始的图像和破坏后的图像将一起作为网络输入共同学习有效的特征，这一步破坏的操作在用于数据增强的同时，实质上是打乱了原始图像数据中的全局结构，对血细胞显微图像识别任务无益的信息就会被网络无视，关注到更有益的显著性区域的特征语义信息。
(2)第二部分为对抗性学习网络：用以分辨从图像中学习到的是否为噪声特征，防止过拟合RCM引起的噪声模式进入特征空间，消除噪声的干扰。该方法通过构建一个判别器和对抗性损失实现：
式中D(I,θadv)的实质是一个判别器，用以图像是否被破坏。其输入是从原始/破坏的图像中学习到的特征向量。在这个判别器中，通过这softmax函数映射出来的是一个0～1范围内的值。符合噪声分布的受损图像学习到的是噪声特征，当一部分受损图像经过判别器后出来的值与原始图像不同时，说明它学习到的是噪声特征，与原图像不同。而当对抗性损失最小时，此时D(I)和D(φ(I)都接近于1，此时判别器无法判断出是原始图像还是受损图像，说明所学特征非常接近。此时，可以相信噪声的影响已经被忽略了。这种破坏后的图像学习到的是有效的局部特征。
(3)第三部分为区域对齐网络：用以对图像的结构信息进行建模，构建全局信息与局部信息的联系。在此部分，使用区域构造损失来衡量图像中不同区域的位置精度，引导主干分类网络对区域间的相关性进行建模。区域对齐网络位于分类网络之后，输入是分类网络第n个卷积层的输出特征图，特征图经过1×1的卷积处理得到的只有两个通道的输出。然后这个输出经过ReLU的激活函数和平均池化，得到一个大小为2×N×N的特征图，输出为：
式中h是区域对齐网络，θloc是区域对齐网络的参数，输出的二通道分别对应的是行和列位置,即对应一个预测区域位置，分别对原始图像和破坏图像的区域位置进行预测，定义区域对齐损失：
通过预测位置与原始位置的距离，找到子区域之间的相关性，帮助主干分类网络建立对目标的深层理解，并对结构信息进行建模。
(4)第四部分为分类主干网络：采用MobileNetV3作为血细胞分类器的主干网络，训练时对输入图像进行特征提取，学习得到分类器的最优参数；预测时分类器其他网络分支不起作用，通过分类主干网络对输入图像进行预测分类；
如图3所示，血细胞分类器采用MobileNetV3作为分类主干网络，其网络结构具体包括三个部分：
(1)起始部分：起始部分只包含单个卷积块，对于该卷积块中的卷积层，设置16个3x3的卷积，步长设置为2，经过卷积层后，进入batch normalization层，这样做的目的是对输入值进行规范化操作，有助于加快梯度下降法模型的收敛速度，提升模型的精度，并且规范化的参数能够提升模型泛化能力，提高模型的可压缩性。最后进入h-switch激活层，其中h-switch激活函数为：
其中，对于式中的RELU函数，限制其最大输出值为6。通过起始部分，提取出特征。
(2)中间部分：由图可知，中间部分是多个含有卷积层的块的网络结构，在这些卷积块中，包括三个基本步骤：
第一步：使用逐点卷积，通过膨胀系数设置升维倍数，逐点卷积卷积核大小设置为1×1×M(M为输入数据的维度)，每次卷积一个像素的区域。通过逐点卷积运算将上一层的特征图在深度方向上进行加权组合，生成新的特征图，新的特征图的大小与输入数据大小一致，起到升维的作用。
第二步：进行深度卷积操作，其中输入通道数与输出通道数相等，经过N个3x3或5x5卷积核，设置步长为s，对输入层的每个通道独立进行卷积运算(N为该步操作的输入通道数)，通过深度卷积操作得出的特征图各通道之间不关联。
第三步：再次逐点卷积，关联深度卷积后的特征图并输出指定通道数。
以上步骤在进行卷积过后均通过batch normalization层进行规范化操作，经过上述步骤，实质是进行了一个深度可分离卷积的过程，相较于普通卷积，其按深度逐层获取特征图，并利用逐点卷积将空间信息融入，在获得同样规模的特征图和同样信息量的基础上，减少了大量的计算与参数，即使用了更小的空间代价和更少的时间代价实现了标准卷积层一样的效果。
在上述基本步骤的基础上，在一些卷积块中还引入了Squeeze-and-excitation(SE)模块：如图4所示，对于SE模块，其位于卷积块内部、深度卷积层后，首先对输入的特征图进行全局平均池化，将特征图压缩为1×1×C的向量(C为通道数)池化；再通过两个全连接层和激活层获得1×1×C的空间权重，最后将SE模块计算出来的各通道权重值分别和原特征图对应通道的二维矩阵相乘。通过该模块对特征进行校准，优化分类性能。
(3)最后部分：通过将平均池化层提前，减少计算量，将Squeeze操作省略，直接用两个1x1的卷积层代替全连接层，可减少计算量和参数量且模型精度没有损失，最后输出类别。
在本实施例中，卷积神经网络采用反向传播的算法对权重参数进行训练更新：
设定目标函数：
L＝αLcls+βLadv+γLloc
式中目标函数由三个损失函数构成，分别为区域混淆损失函数、对抗性学习损失函数、区域对齐损失函数：
使用梯度下降法分别对卷积神经网络各层的权重参数进行修正更新：
对于池化层的反向传播：
δl-1＝upsample(δl)Θσ′(zl-1)
对于卷积层的反向传播：
参数更新：
如图5所示，根据上述分类器参数更新法则，按照以下具体步骤进行训练：
步骤C1：将步骤S1处理后的图像数据分为训练集样本、验证集样本与测试集样本；
步骤C2：将训练样本经过区域混淆后的图像与样本原始图像组合作为血细胞分类器的输入对其进行训练；
步骤C3:在训练过程中，经过几个epoch后通过验证集验证模型效果，通过验证集的效果反馈，判断验证效果是否符合要求，若符合，则继续训练；否则更改超参之后再返回步骤C2；
步骤C4:判断训练次数是否达到预设的最大训练次数，若是则进入步骤C4，否则采用Back-Propagation算法更新被激活的参数，并返回步骤C2；
步骤C5:由损失函数判断训练误差是否符合预设的值，若是则进入步骤C5，否则返回步骤C2；
步骤C6：获取一系列最优参数，赋予分类主干网络，采用测试集样本对分类器性能进行测试。判断测试集样本识别正确率是否符合预设要求，若符合，终止当前的模型训练；否则返回步骤C2；
步骤C7：得到最终的最优参数，将其赋予基于区域混淆机制神经网络的血细胞分类器，可对输入的血细胞显微图像进行自动分类。
即在训练过程中，原始图像、混淆后图像以及它们对应的类别标签组合在一起作为输入沿神经网络信号传播方向计算出网络的输出值，并分别构建区域混淆损失函数、对抗性学习损失函数和区域对齐损失函数，将输出值与期望输出值作比较，若目标函数值不满足误差精度，则采用梯度下降法对网络权重参数进行修正，修正方向沿卷积神经网络传播的逆方向，并再次计算目标函数，循环直到满足误差要求；若满足误差要求，则结束循环，得到训练后的最优参数，赋予分类主干网络。
根据上述内容构建出血细胞显微图像分类器，该分类器基于区域混淆机制，可有效解决血细胞图像中精细特征提取问题，并对额外引入噪声影响也通过对抗性学习网络消除。通过这种机制结合主干分类网络，其收敛速度相较于传统的卷积神经网络快，极大地减少了参数量和计算量，实时性更强，并可以有效提取血细胞图像中具有判别性的局部特征信息，实现良好的分类性能。
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于区域混淆机制神经网络的血细胞显微图像分类方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。
Claims (8)
1.一种基于区域混淆机制神经网络的血细胞显微图像分类方法，其特征在于：对用于训练的血细胞显微图像进行预处理操作；将经过处理后的图像数据输入深度神经网络框架中的训练分支，在训练阶段引入区域混淆机制，将输入图像的全局结构打乱，迫使分类器对血细胞图像的局部精细特征进行提取，再通过对抗性学习网络对混淆后引入的噪声干扰进行消除，并通过混淆后图像与原图像的语义相关性，对图像的结构信息进行建模；通过上述分支提取出分类器的最优参数，并将最优参数直接赋予分类主干网络分支，进行最终的分类预测工作。
2.根据权利要求1所述的基于区域混淆机制神经网络的血细胞显微图像分类方法，其特征在于，包括以下步骤：
步骤S1：对图像数据进行预处理，进行数据增强；
步骤S2：构建基于区域混淆机制的深度神经网络框架，在训练阶段引入区域混淆机制，将经过处理后的图像数据输入深度神经网络框架中的训练分支，对输入图像进行分割，打乱图像的全局结构，并对分割后图像的子区域进行重新布局，迫使分类器对血细胞图像的局部精细特征进行提取；
步骤S3：对步骤S2操作中引入的噪声影响，采用对抗性学习网络根据原始图像与混淆后图像的提取特征进行判别，构建对抗性损失函数，消除噪声图像的影响，并通过混淆后图像与原图像的语义相关性，对图像的结构信息进行建模；
步骤S4：将混淆后的图像与原始图像一起作为训练时分类器的输入，通过参数共享的联合训练提取出分类器的最优参数，并将最优参数直接赋予分类主干网络分支，进行最终的分类预测工作，实现血细胞图像的自动分类。
3.根据权利要求2所述的基于区域混淆机制神经网络的血细胞显微图像分类方法，其特征在于，步骤S1具体包括以下步骤：
步骤S11：通过减去所有像素的均值，然后除以标准差，对每一幅图像进行标准化；
步骤S12：对输入图像大小进行调整，利用双线性插值方法将图像尺寸大小缩放到指定尺寸；
步骤S13：对于用于训练的图像数据，采用随机旋转、随机剪裁、水平翻转的方法进一步扩展图像数据，用于数据增强；
步骤S14：对用于测试集的图像数据，只进行中心剪裁的操作。
4.根据权利要求2所述的基于区域混淆机制神经网络的血细胞显微图像分类方法，其特征在于：
所述分类器包括分类主干网络、区域混淆网络、对抗性学习网络和区域对齐网络四部分；
第一部分为分类主干网络：采用MobileNetV3作为血细胞分类器的主干网络，训练时对输入图像进行特征提取，学习得到分类器的最优参数；预测时分类器其他网络分支不起作用，通过分类主干网络对输入图像进行预测分类；
第二部分为区域混淆网络：用以破坏图像的全局结构，将混淆后的图像与原始图像组合在一起引入分类主干网络；
第三部分为对抗性学习网络：用以分辨从图像中学习到的是否为噪声特征，消除噪声的干扰；
第四部分为区域对齐网络：用以对图像的结构信息进行建模，构建全局信息与局部信息的联系。
5.根据权利要求4所述的基于区域混淆机制神经网络的血细胞显微图像分类方法，其特征在于：所述分类器的训练阶段包括以下步骤：
步骤C1： 将步骤S1处理后的图像数据分为训练集样本、验证集样本与测试集样本；
步骤C2：将训练样本经过区域混淆后的图像与样本原始图像组合作为分类器的输入对其进行训练；
步骤C3: 在训练过程中，经过若干个epoch后通过验证集验证模型效果，通过验证集的效果反馈，判断验证效果是否符合要求，若符合，则继续训练；否则更改超参之后再返回步骤C2；
步骤C4: 判断训练次数是否达到预设的最大训练次数，若是则进入步骤C4，否则采用Back-Propagation算法更新被激活的参数，并返回步骤C2；
步骤C5: 由损失函数判断训练误差是否符合预设的值，若是则进入步骤C5，否则返回步骤C2；
步骤C6：获取一系列最优参数，赋予分类主干网络，采用测试集样本对分类器性能进行测试；判断测试集样本识别正确率是否符合预设要求，若符合，终止当前的模型训练；否则返回步骤C2；
步骤C7：得到最终的最优参数，将其赋予分类器，对输入的血细胞显微图像进行自动分类。
6.根据权利要求4所述的基于区域混淆机制神经网络的血细胞显微图像分类方法，其特征在于：
所述区域混淆网络将原始图像分割成若干局部区域并交换它们以生成新的训练图像；在训练时，原始的图像和破坏后的图像将一起作为网络输入共同学习有效的特征；其包含一个区域混淆损失函数，并通过对抗性学习网络消除噪声特征的影响；
所述对抗性学习网络包括判别器和对抗性损失函数；所述判别器通过softmax函数 对区域混淆网络从原始的图像和破坏后的图像中学习到的特征向量进行判别；所述对抗性损失函数用于评估判别器的输出结果；
所述区域对齐网络位于分类主干网络之后，输入是分类主干网络第n个卷积层的输出特征图，特征图经过1×1的卷积处理得到的只有两个通道的输出；然后这个输出经过ReLU的激活函数和平均池化，得到一个大小为2×N×N的特征图；所述特征图输出的二通道分别对应的是行和列位置,即对应一个预测区域位置，分别对原始图像和破坏图像的区域位置进行预测，通过预测位置与原始位置的距离，找到子区域之间的相关性。
7.根据权利要求4所述的基于区域混淆机制神经网络的血细胞显微图像分类方法，其特征在于：
在训练过程中，原始图像、混淆后图像以及它们对应的类别标签组合在一起作为输入沿神经网络信号传播方向计算出网络的输出值，并分别构建区域混淆损失函数、对抗性学习损失函数和区域对齐损失函数，将输出值与期望输出值作比较，若目标函数值不满足误差精度，则采用梯度下降法对网络权重参数进行修正，修正方向沿卷积神经网络传播的逆方向，并再次计算目标函数，循环直到满足误差要求；若满足误差要求，则结束循环，得到训练后的最优参数，赋予分类主干网络。
8.根据权利要求4所述的基于区域混淆机制神经网络的血细胞显微图像分类方法，其特征在于：所述区域混淆机制的方法只应用于训练阶段，在预测阶段，只采用分类主干网络对图像进行分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010742651.3A CN111860406A (zh) | 2020-07-29 | 2020-07-29 | 基于区域混淆机制神经网络的血细胞显微图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010742651.3A CN111860406A (zh) | 2020-07-29 | 2020-07-29 | 基于区域混淆机制神经网络的血细胞显微图像分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111860406A true CN111860406A (zh) | 2020-10-30 |
Family
ID=72944945
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010742651.3A Pending CN111860406A (zh) | 2020-07-29 | 2020-07-29 | 基于区域混淆机制神经网络的血细胞显微图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860406A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112270996A (zh) * | 2020-11-13 | 2021-01-26 | 南京信息工程大学 | 一种可用于多变量医疗传感数据流的分类方法 |
| CN112733912A (zh) * | 2020-12-31 | 2021-04-30 | 华侨大学 | 基于多粒度对抗损失的细粒度图像识别方法 |
| CN113011500A (zh) * | 2021-03-22 | 2021-06-22 | 华南理工大学 | 虚拟现实场景数据集的分类方法、系统、设备及介质 |
| CN113052203A (zh) * | 2021-02-09 | 2021-06-29 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种面向多种类数据的异常检测方法及装置 |
| CN113256621A (zh) * | 2021-06-25 | 2021-08-13 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN114317675A (zh) * | 2022-01-06 | 2022-04-12 | 福州大学 | 基于机器学习定性和定量不同创面细菌的检测方法及系统 |
| WO2022197478A1 (en) * | 2021-03-19 | 2022-09-22 | Micron Technology, Inc. | Systems and methods for training machine learning models for denoising images |
| WO2022197477A1 (en) * | 2021-03-19 | 2022-09-22 | Micron Technology, Inc. | Building units for machine learning models for denoising images and systems and methods for using same |
| CN117911798A (zh) * | 2024-03-19 | 2024-04-19 | 青岛奥克生物开发有限公司 | 一种基于图像增强的干细胞质量分类方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180137338A1 (en) * | 2016-11-16 | 2018-05-17 | The Governing Council Of The University Of Toronto | System and method for classifying and segmenting microscopy images with deep multiple instance learning |
| US20180322327A1 (en) * | 2017-05-02 | 2018-11-08 | Techcyte, Inc. | Machine learning classification and training for digital microscopy cytology images |
| CN110517272A (zh) * | 2019-08-29 | 2019-11-29 | 电子科技大学 | 基于深度学习的血细胞分割方法 |
| CN110675368A (zh) * | 2019-08-31 | 2020-01-10 | 中山大学 | 一种融合图像分割与分类的细胞图像语义分割方法 |
| CN111091165A (zh) * | 2020-03-25 | 2020-05-01 | 北京精诊医疗科技有限公司 | 一种图像的细粒度识别方法 |
-
2020
- 2020-07-29 CN CN202010742651.3A patent/CN111860406A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180137338A1 (en) * | 2016-11-16 | 2018-05-17 | The Governing Council Of The University Of Toronto | System and method for classifying and segmenting microscopy images with deep multiple instance learning |
| US20180322327A1 (en) * | 2017-05-02 | 2018-11-08 | Techcyte, Inc. | Machine learning classification and training for digital microscopy cytology images |
| CN110517272A (zh) * | 2019-08-29 | 2019-11-29 | 电子科技大学 | 基于深度学习的血细胞分割方法 |
| CN110675368A (zh) * | 2019-08-31 | 2020-01-10 | 中山大学 | 一种融合图像分割与分类的细胞图像语义分割方法 |
| CN111091165A (zh) * | 2020-03-25 | 2020-05-01 | 北京精诊医疗科技有限公司 | 一种图像的细粒度识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| YUE CHEN ET AL.: ""Destruction and Construction Learning for Fine-grained Image Recognition"", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112270996B (zh) * | 2020-11-13 | 2023-04-25 | 南京信息工程大学 | 一种可用于多变量医疗传感数据流的分类方法 |
| CN112270996A (zh) * | 2020-11-13 | 2021-01-26 | 南京信息工程大学 | 一种可用于多变量医疗传感数据流的分类方法 |
| CN112733912A (zh) * | 2020-12-31 | 2021-04-30 | 华侨大学 | 基于多粒度对抗损失的细粒度图像识别方法 |
| CN112733912B (zh) * | 2020-12-31 | 2023-06-09 | 华侨大学 | 基于多粒度对抗损失的细粒度图像识别方法 |
| CN113052203A (zh) * | 2021-02-09 | 2021-06-29 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种面向多种类数据的异常检测方法及装置 |
| WO2022197478A1 (en) * | 2021-03-19 | 2022-09-22 | Micron Technology, Inc. | Systems and methods for training machine learning models for denoising images |
| WO2022197477A1 (en) * | 2021-03-19 | 2022-09-22 | Micron Technology, Inc. | Building units for machine learning models for denoising images and systems and methods for using same |
| CN113011500A (zh) * | 2021-03-22 | 2021-06-22 | 华南理工大学 | 虚拟现实场景数据集的分类方法、系统、设备及介质 |
| CN113011500B (zh) * | 2021-03-22 | 2023-08-22 | 华南理工大学 | 虚拟现实场景数据集的分类方法、系统、设备及介质 |
| CN113256621B (zh) * | 2021-06-25 | 2021-11-02 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN113256621A (zh) * | 2021-06-25 | 2021-08-13 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN114317675A (zh) * | 2022-01-06 | 2022-04-12 | 福州大学 | 基于机器学习定性和定量不同创面细菌的检测方法及系统 |
| CN117911798A (zh) * | 2024-03-19 | 2024-04-19 | 青岛奥克生物开发有限公司 | 一种基于图像增强的干细胞质量分类方法及系统 |
| CN117911798B (zh) * | 2024-03-19 | 2024-05-28 | 青岛奥克生物开发有限公司 | 一种基于图像增强的干细胞质量分类方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111860406A (zh) | 基于区域混淆机制神经网络的血细胞显微图像分类方法 | |
| CN109300121B (zh) | 一种心血管疾病诊断模型的构建方法、系统及该诊断装置 | |
| CN110852316B (zh) | 一种采用密集结构卷积网络的图像篡改检测和定位方法 | |
| Jiang et al. | White blood cells classification with deep convolutional neural networks | |
| CN109886273A (zh) | 一种cmr图像分割分类系统 | |
| CN111444960A (zh) | 基于多模态数据输入的皮肤病图像分类系统 | |
| CN109711426A (zh) | 一种基于gan和迁移学习的病理图片分类装置及方法 | |
| CN114998210B (zh) | 一种基于深度学习目标检测的早产儿视网膜病变检测系统 | |
| CN112561863B (zh) | 一种基于改进ResNet的医学图像多分类识别系统 | |
| Pan et al. | Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review | |
| CN113674292B (zh) | 一种基于部分实例标注的半监督骨髓瘤细胞实例分割方法 | |
| Bani-Hani et al. | Classification of leucocytes using convolutional neural network optimized through genetic algorithm | |
| Baskar et al. | Classification system for lung cancer nodule using machine learning technique and CT images | |
| CN112633257A (zh) | 基于改良卷积神经网络的马铃薯病害识别方法 | |
| CN114842238A (zh) | 一种嵌入式乳腺超声影像的识别方法 | |
| Yuan et al. | Neural stain normalization and unsupervised classification of cell nuclei in histopathological breast cancer images | |
| CN114864075A (zh) | 一种基于病理图像的胶质瘤级别分析方法及装置 | |
| CN114596480A (zh) | 一种基于yolov5优化的海底生物目标检测方法和系统 | |
| Atha et al. | Ssbtcnet: semi-supervised brain tumor classification network | |
| CN113436115A (zh) | 一种基于深度无监督学习的图像阴影检测方法 | |
| Cao et al. | 3D convolutional neural networks fusion model for lung nodule detection onclinical CT scans | |
| CN113011436A (zh) | 一种基于卷积神经网络的中医舌色苔色协同分类方法 | |
| Sun et al. | Detection of breast tumour tissue regions in histopathological images using convolutional neural networks | |
| Goutham et al. | Brain tumor classification using EfficientNet-B0 model | |
| Zhang et al. | Blood cell image classification based on image segmentation preprocessing and CapsNet network model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201030 |