CN110852288B - 一种基于两阶段卷积神经网络的细胞图像分类方法 - Google Patents

一种基于两阶段卷积神经网络的细胞图像分类方法 Download PDF

Info

Publication number
CN110852288B
CN110852288B CN201911122532.1A CN201911122532A CN110852288B CN 110852288 B CN110852288 B CN 110852288B CN 201911122532 A CN201911122532 A CN 201911122532A CN 110852288 B CN110852288 B CN 110852288B
Authority
CN
China
Prior art keywords
classification
image
fine
rough
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911122532.1A
Other languages
English (en)
Other versions
CN110852288A (zh
Inventor
张莉
张梦倩
王邦军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN201911122532.1A priority Critical patent/CN110852288B/zh
Publication of CN110852288A publication Critical patent/CN110852288A/zh
Application granted granted Critical
Publication of CN110852288B publication Critical patent/CN110852288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于两阶段卷积神经网络的细胞图像分类方法、装置、设备及可读存储介质，能够基于细胞图像分类模型实现对上皮细胞染色图像的分类，该细胞分类模型针对各类图像特征鉴别难度的不同分别设置了粗分类单元和精分类单元，在实际分类预测过程中，首先根据粗分类结果判断图像是否为易混淆类，对于非易混淆类的图像直接输出其粗分类结果，对于易混淆类的图像，则结合粗分类单元和精分类单元各自提取到的特征图进行精细化分类。因此，该模型在保证分类效率的同时，提升了分类的可靠性，而且精分类单元中的卷积神经网络与易混淆类一一对应，进一步保证了精分类的可靠性。

Description

一种基于两阶段卷积神经网络的细胞图像分类方法
技术领域
本申请涉及计算机技术领域，特别涉及一种基于两阶段卷积神经网络的细胞图像分类方法、装置、设备及可读存储介质。
背景技术
对上皮细胞进行间接免疫荧光法，是诊断自身免疫性疾病的主要方法。其具体操作是，用间接免疫荧光法检测抗核抗体的核型，不同的核型对应不同种类的自身免疫疾病。因此，对于用间接免疫荧光法后的细胞核型判断对诊断自身免疫病具有重要意义。
传统的间接免疫荧光图像分类方案主要通过人工分析实现，导致了分类结果受到主观因素影响，可靠性较差且效率较低。还有学者提出基于特征工程的上皮细胞间接免疫荧光图像的分类方案，该类方案提取的特征往往较少，导致分类的性能较差。因此，如何自动有效地对上皮细胞染色图像进行分类已成为一个极具吸引力的研究课题。
现有方案将特征提取和分类视为两个独立的阶段。对于前者，相关学者采用了各种人工抽取特征的方法，包括局部二值模式(Local Binary Pattern,LBP)尺度不变特征变换(Scale-invariant feature transform,SIFT)定向梯度直方，以及灰度等级区域矩阵等统计特征。对于后者，相关学者采用最近邻分类器增强，支持向量机(Support VectorMachine,SVM)和多核SVM等方法。但是，这些分类器的性能在很大程度上取决于人工抽取特征的可靠性，而且由于特征抽取和分类器是分开的，它们难以最大限度地识别和保留判别信息。
由于神经网络在视觉识别当中的出色表现，给解决这类问题提供了良好的途径。相关学者提出了一种使用5层卷积神经网络识别上皮细胞的DCNN(deep convolutionalneural networks)模型，但是该模型结构较为简单，层数较少，没有很好地利用网络训练中产生的有效信息，导致其分类效果较差。
综上，如何在保证对上皮细胞染色图像分类效率的同时，提升分类结果的可靠性，是亟待本领域技术人员解决的问题。
发明内容
本申请的目的是提供一种基于两阶段卷积神经网络的细胞图像分类方法、装置、设备及可读存储介质，用以解决传统的上皮细胞染色图像的分类效率低和分类结果可靠性低的问题。其具体方案如下：
第一方面，本申请提供了一种基于两阶段卷积神经网络的细胞图像分类方法，包括：
获取待分类的上皮细胞染色图像；
将所述上皮细胞染色图像输入细胞图像分类模型的粗分类单元，得到粗分类特征图和相应的粗分类结果，其中所述粗分类单元包括单个独立的卷积神经网络；
判断所述粗分类结果是否为易混淆类，其中所述易混淆类为在所述细胞图像分类模型的训练过程中确定的容易混淆的类别；
若不是易混淆类，则输出所述粗分类结果；
若是易混淆类，则对所述上皮细胞染色图像进行尺寸调整，并将尺寸调整后的上皮细胞染色图像输入所述细胞图像分类模型的精分类单元中与所述粗分类结果相对应的卷积神经网络，得到精分类特征图；其中，所述精分类单元包括多列独立的卷积神经网络，该卷积神经网络与所述易混淆类一一对应；
根据所述粗分类特征图和所述精分类特征图，确定混合特征图并输出相应的精分类结果，以实现对所述上皮细胞染色图像的分类。
优选的，在所述将所述上皮细胞染色图像输入细胞图像分类模型的粗分类单元之前，还包括：
将所述上皮细胞染色图像转化为RGB彩色图像。
优选的，所述将所述上皮细胞染色图像输入细胞图像分类模型的粗分类单元，得到粗分类特征图和相应的粗分类结果，包括：
将所述上皮细胞染色图像输入细胞图像分类模型的粗分类单元的前三个卷积层，得到第一特征信息；
将所述第一特征信息分别输入所述粗分类单元的第一支路和第二支路，得到第二特征信息和第三特征信息，其中所述第一支路包括步长为2的最大池化层和第四卷积层，所述第二支路包括步长为4的最大池化层；
对所述第二特征信息和所述第三特征信息进行拼接操作，得到第四特征信息；
将所述第四特征信息输入所述粗分类单元的第五卷积层和两个全连接层，得到粗分类特征图；
将所述粗分类特征图输入所述粗分类单元的分类器，得到粗分类结果。
优选的，所述精分类单元具体包括多列独立的网络架构相同但网络权重不同的VGG16网络结构。
优选的，所述根据所述粗分类特征图和所述精分类特征图，确定混合特征图并输出相应的精分类结果，包括：
按照预设权重对所述粗分类特征图和所述精分类特征图进行加权相加操作，得到混合特征图；
将所述混合特征图输入所述精分类单元中相应的分类器，得到精分类结果。
优选的，在所述获取待分类的上皮细胞染色图像之前，还包括：
获取带类别标签的上皮细胞染色图像，并划分得到训练集和验证集；
利用所述训练集对所述粗分类单元进行训练，并将所述验证集输入训练之后的粗分类单元，得到粗分类结果；
根据所述粗分类结果和所述验证集中的真实标签，确定易混淆类；
从所述训练集中抽取与所述易混淆类相对应的样本，并对该样本中的上皮细胞染色图像进行尺寸调整，得到精分类训练集；
利用所述精分类训练集对所述精分类单元进行训练。
优选的，所述根据所述粗分类结果和所述验证集中的真实标签，确定易混淆类，包括：
根据所述粗分类结果和所述验证集中的真实标签，生成混淆矩阵，其中所述混淆矩阵为：
Figure BDA0002275822560000041
k表示类别总数，mpq表示类别p被划分为类别q的错误概率，p,q∈{1,2,...,k}；当p＝q时，mpq表示该类被正确划分的概率；
根据预设概率阈值和所述混淆矩阵，确定易混淆类。
第二方面，本申请提供了一种基于两阶段卷积神经网络的细胞图像分类装置，包括：
图像获取模块：用于获取待分类的上皮细胞染色图像；
粗分类模块：用于将所述上皮细胞染色图像输入细胞图像分类模型的粗分类单元，得到粗分类特征图和相应的粗分类结果，其中所述粗分类单元包括单个独立的卷积神经网络；
易混淆类判别模块：用于判断所述粗分类结果是否为易混淆类，其中所述易混淆类为在所述细胞图像分类模型的训练过程中确定的容易混淆的类别；
粗分类结果输出模块：用于在不是易混淆类时，输出所述粗分类结果；
精分类模块：用于在是易混淆类时，对所述上皮细胞染色图像进行尺寸调整，并将尺寸调整后的上皮细胞染色图像输入所述细胞图像分类模型的精分类单元中与所述粗分类结果相对应的卷积神经网络，得到精分类特征图；其中，所述精分类单元包括多列独立的卷积神经网络，该卷积神经网络与所述易混淆类一一对应；
精分类结果输出模块：用于根据所述粗分类特征图和所述精分类特征图，确定混合特征图并输出相应的精分类结果，以实现对所述上皮细胞染色图像的分类。
第三方面，本申请提供了一种基于两阶段卷积神经网络的细胞图像分类设备，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如上所述的一种基于两阶段卷积神经网络的细胞图像分类方法的步骤。
第四方面，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时用于实现如上所述的一种基于两阶段卷积神经网络的细胞图像分类方法的步骤。
本申请所提供的一种基于两阶段卷积神经网络的细胞图像分类方法，方案包括：获取待分类的上皮细胞染色图像；将上皮细胞染色图像输入细胞图像分类模型的粗分类单元，得到粗分类特征图和相应的粗分类结果；判断粗分类结果是否为易混淆类；若不是易混淆类，则输出粗分类结果；若是易混淆类，则对上皮细胞染色图像进行尺寸调整，并将尺寸调整后的上皮细胞染色图像输入细胞图像分类模型的精分类单元中与粗分类结果相对应的卷积神经网络，得到精分类特征图；根据粗分类特征图和精分类特征图，确定混合特征图并输出相应的精分类结果，以实现对上皮细胞染色图像的分类。
可见，该方案基于细胞图像分类模型实现对上皮细胞染色图像的分类，该细胞分类模型针对各类图像特征鉴别难度的不同设置了粗分类单元和精分类单元，在实际分类预测过程中，根据粗分类结果判断图像是否为易混淆类，对于非易混淆类的图像直接输出其粗分类结果，对于易混淆类的图像，则结合粗分类单元和精分类单元各自提取到的特征图进行精细化分类。因此，该模型在保证分类效率的同时，提升了分类的可靠性，而且精分类单元中的卷积神经网络与易混淆类一一对应，进一步保证了精分类的可靠性。
此外，本申请还提供了一种基于两阶段卷积神经网络的细胞图像分类装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应，这里不再赘述。
附图说明
为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请所提供的一种基于两阶段卷积神经网络的细胞图像分类方法实施例一的实现流程图；
图2为本申请所提供的一种基于两阶段卷积神经网络的细胞图像分类方法实施例二中细胞图像模型的训练过程的实现流程图；
图3为本申请所提供的细胞图像分类模型的粗分类单元的网络结构示意图；
图4为本申请所提供的细胞图像分类模型的精分类单元的网络结构示意图；
图5为本申请所提供的一种基于两阶段卷积神经网络的细胞图像分类方法实施例二中细胞图像分类过程的实现流程图；
图6为本申请所提供的细胞图像分类模型的网络结构示意图；
图7为本申请所提供的一种基于两阶段卷积神经网络的细胞图像分类装置实施例的功能框图；
图8为本申请所提供的一种基于两阶段卷积神经网络的细胞图像分类设备实施例的结构示意图。
具体实施方式
本申请的核心是提供一种基于两阶段卷积神经网络的细胞图像分类方法、装置、设备及可读存储介质，根据图像特征鉴别难度的不同采用不同的卷积神经网络进行图像分类，保证了分类效率的同时，提升了分类结果的可靠性。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面对本申请提供的一种基于两阶段卷积神经网络的细胞图像分类方法实施例一进行介绍，参见图1，实施例一包括：
S101、获取待分类的上皮细胞染色图像；
S102、将所述上皮细胞染色图像输入细胞图像分类模型的粗分类单元，得到粗分类特征图和相应的粗分类结果；
上述粗分类单元包括单个独立的卷积神经网络。上述上皮细胞染色图像一般为灰度图像，具体的，在将上皮细胞染色图像输入细胞分类模型之前，为了强化图像和契合网络，可以将图像转化为RGB彩色图像。
S103、判断所述粗分类结果是否为易混淆类；若不是易混淆类，则跳转至S104，否则跳转至S105；
上述易混淆类为在所述细胞图像分类模型的训练过程中确定的容易混淆的类别，具体的，根据训练过程中粗分类单元输出的预测类别和实际类别的差异，确定出容易被粗分类单元混淆的类别。
S104、输出所述粗分类结果；
S105、对所述上皮细胞染色图像进行尺寸调整，并将尺寸调整后的上皮细胞染色图像输入所述细胞图像分类模型的精分类单元中与所述粗分类结果相对应的卷积神经网络，得到精分类特征图；
上述精分类单元包括多列独立的卷积神经网络，该卷积神经网络与所述易混淆类一一对应，也就是说，精分类单元中每个卷积神经网络专门用于对其相应的易混淆类的图像进行分类。作为一种具体的实施方式，精分类单元具体包括多列网络架构相同但网络权重不同的VGG16网络结构。
S106、根据所述粗分类特征图和所述精分类特征图，确定混合特征图并输出相应的精分类结果，以实现对所述上皮细胞染色图像的分类。
具体的，通过对粗分类特征图和精分类特征图进行加权相加操作，得到混合特征图，再利用分类器对混合特征图进行分类，即可得到上皮细胞染色图像最终的分类结果，其中权重比例可以预先设置得到。
本实施例用于实现对上皮细胞染色图像的分类，具体的分类依据可以根据实际应用场景来确定，确定分类依据之后，利用相应的样本对模型进行训练即可利用模型实现在该场景下的分类。例如，本实施例可用于对间接免疫荧光法后的上皮细胞核型进行分类，不同的核型对应不同种类的自身免疫疾病。
本实施例所提供一种基于两阶段卷积神经网络的细胞图像分类方法，基于细胞图像分类模型实现对上皮细胞染色图像的分类，该细胞分类模型针对各类图像特征鉴别难度的不同设置了粗分类单元和精分类单元，在实际分类预测过程中，根据粗分类结果判断图像是否为易混淆类，对于非易混淆类的图像直接输出其粗分类结果，对于易混淆类的图像，则结合粗分类单元和精分类单元各自提取到的特征图进行精细化分类。因此，该模型在保证分类效率的同时，提升了分类的可靠性，而且精分类单元中的卷积神经网络与易混淆类一一对应，进一步保证了精分类的可靠性。
下面开始详细介绍本申请提供的一种基于两阶段卷积神经网络的细胞图像分类方法实施例二，实施例二基于前述实施例一实现，且在实施例一的基础上进行了一定程度上的拓展。
本实施例在实施例一的基础上，对细胞图像分类过程进行了更加详尽的说明，还对细胞图像分类模型的网络结构进行介绍，尤其是粗分类单元的网络结构进行了详细介绍，此外本实施例还对该模型的训练过程进行了说明。
参见图2，实施例二中细胞图像分类模型的训练过程具体包括：
S201、获取带类别标签的上皮细胞染色图像，并划分得到训练集和验证集；
获取已经整理好的上皮细胞染色图像数据，即k类带有标签的数据集合X′＝{(x′1,y1),(x′2,y2),...,(x′n,yn)}，其中
Figure BDA0002275822560000091
为灰度图像，yi∈{1,...,k}，l为图像横向排列的像素个数，d为图像纵向排列的像素个数，n是数据集的样本总数。将原始图像转化为RGB彩色图像，记转换后的数据集合为X＝{(x1,y1),(x2,y2),...,(xn,yn)}，其中
Figure BDA0002275822560000092
将转换后的数据集合按照一定比例随机划分为：训练集XT＝{(x1,y1),(x2,y2),...,(xt,yt)}和验证集XV＝{(x1,y1),(x2,y2),...,(xv,yv)}，t为训练集样本数，v为验证集样本数，且n＝t+v。
S202、利用所述训练集对所述粗分类单元进行训练，并将所述验证集输入训练之后的粗分类单元，得到粗分类结果；
本实施例的细胞图像分类模型包括两个单元，即，如图3所示的粗分类单元和如图4所示的精分类单元，其中粗分类单元包含一个独立的多尺度卷积神经网络，而精分类单元包含多个独立的卷积神经网络，粗分类单元的网络结构将在下文进行介绍，此处不再展开。
在实际的训练过程中，本实施例分别对粗分类单元和精分类单元进行训练。首先，利用训练集对粗分类单元进行训练，然后将验证集输入粗分类单元，得到粗分类结果。即，把验证集XV输入粗分类单元：
Figure BDA0002275822560000093
YV＝softmax(Fr(XV))
其中，Fr(XV)是粗分类单元提取到的验证集中图像的特征图，YV是该图像的粗分类结果，fconv(·)表示卷积操作，
Figure BDA0002275822560000094
表示重复k次的全连接层，
Figure BDA0002275822560000096
表示经过一个卷积操作后经过一个跨度为4的最大池化层，
Figure BDA0002275822560000095
表示k次重复经过一个卷积后经过一个跨度为2的最大池化层。
S203、根据所述粗分类结果和所述验证集中的真实标签，确定易混淆类；
具体的，根据验证集的粗分类结果，整理得混淆矩阵M，如下所示：
Figure BDA0002275822560000101
其中k表示类别总数，mpq表示类别p被划分为类别q的错误概率，p,q∈{1,2,...,k}；当p＝q时，mpq表示该类被正确划分的概率。
给定一个预设概率阈值ξ，当mpq＞ξ时，则将类别p和类别q称为“易混淆类”，用集合C表示，C＝{(p,q)|mp,q≥ξ,p≠q,p,q＝1,…,k}。
S204、从所述训练集中抽取与所述易混淆类相对应的样本，并对该样本中的上皮细胞染色图像进行尺寸调整，得到精分类训练集；
将与易混淆类对应的图像从训练集XT中分别抽取出来，组成新的训练子集(Xp,q,Yp,q)＝(Xp∪Xq,Yp∪Yq)，即上述精分类训练集。对这些数据集的图像进行尺寸缩放处理，具体可以调整图像大小为224×224。精分类训练集(Xp,q,Yp,q)主要用于对精分类单元进行训练，p,q∈C。
S205、利用所述精分类训练集对所述精分类单元进行训练。
在精分类单元训练阶段，本实施例主要利用精分类训练集Xp,q对已经过imagenet预训练的VGG16模型进行微调训练ffinetune_vgg16(Xp,q)，用softmax函数对特征图
Figure BDA0002275822560000102
进行分类，因此，本实施例的精分类单元包含多个网络构架相同，网络权重不同的VGG16网络，该特征图如下所示：
Figure BDA0002275822560000103
上述预训练是在本实施例的微调训练过程之前，先做好的训练。本实施例不对预训练过程进行详细说明，VGG16作为一个成熟的神经网络，学术界为供后人使用方便，利用imagenet数据集对其进行充分的训练使得VGG16网络的权重在imagenet上达到最优，本实施例可以直接运用。本实施例用于对经过预训练的VGG16网络进行微调训练，即利用上述精分类训练集对原先的权重进行调整。
下面对粗分类单元的网络结构进行详细说明，如图3所示，粗分类单元包括一个多尺度卷积神经网络，该网络包含5个卷积层、3个最大池化层、2个全连接层和1个多尺度连接。每层卷积之后都会经过ReLU激活函数激活，本实施例引入非线性因素，提高网络对模型的表达能力。特征图经过第3个卷积层fconv(XT)之后，将特征图复制为2个，分别经过2个通路：主干路经过一个2×2步长为2的最大池化层
Figure BDA0002275822560000111
后，继续经过第4个卷积层；分支路直接将该特征图，经过一个4×4步长为4的最大池化层
Figure BDA0002275822560000112
后，与主干的特征图进行通道上的拼接。从而将特征图中因第4个卷积层的过滤而损失掉的重要特征保留下来，使特征图能对前后文特征都有所保留，同时增加了特征的层次。拼接后的特征图，再经过第5卷积层，进行卷积操作的同时会将特征图进行通道上的混合和压缩，使得前后文特征信息能后进一步的融合。最后经过2个全连接层后通过softmax函数对特征图进行分类。
图5为实施例二中细胞图像分类过程的实现流程图，图6为实施例二中细胞分类模型的网络架构示意图。参见图5和图6，实施例二中细胞图像分类过程具体包括：
S501、获取待分类的上皮细胞染色图像；将所述上皮细胞染色图像转化为RGB彩色图像；
S502、将所述上皮细胞染色图像输入细胞图像分类模型的粗分类单元，得到粗分类特征图和相应的粗分类结果；
S503、判断所述粗分类结果是否为易混淆类；若不是易混淆类，则跳转至S504，否则跳转至S505；
S504、输出所述粗分类结果；
S505、对所述上皮细胞染色图像进行尺寸调整，并将尺寸调整后的上皮细胞染色图像输入所述细胞图像分类模型的精分类单元中与所述粗分类结果相对应的卷积神经网络，得到精分类特征图；
其中，所述精分类单元包括多列独立的卷积神经网络，该卷积神经网络与所述易混淆类一一对应。所述精分类单元具体包括多列独立的网络架构相同但网络权重不同的VGG16网络结构。
S506、按照预设权重对所述粗分类特征图和所述精分类特征图进行加权相加操作，得到混合特征图；
S507、将所述混合特征图输入所述精分类单元中相应的分类器，得到精分类结果，以实现对所述上皮细胞染色图像的分类。
综上，实施例二中细胞图像分类过程为：输入待分类的上皮细胞染色图像数据
Figure BDA0002275822560000121
先将其转换为RGB图像数据
Figure BDA0002275822560000122
并通过粗分类单元对x进行初步的类别预测：
Figure BDA0002275822560000123
接下来判断
Figure BDA0002275822560000124
是否与其他类混淆，令v作为x的预测结果。如果
Figure BDA0002275822560000125
即未落在“易混淆类”中时，直接将该粗分类结果输出，x被分到v类；当
Figure BDA0002275822560000126
即落在“易混淆类”中时，将图像x的尺寸调整到为224×224，并输入到对应的VGG16模型中，得到特征图
Figure BDA0002275822560000127
将粗分类获得的特征图Fr(x)和精分类获得的特征图
Figure BDA0002275822560000128
进行加权α相加，获得混合特征图:
Figure BDA0002275822560000129
将混合特征图F(x)输入到分类器中：
Figure BDA00022758225600001210
即x被分到
Figure BDA00022758225600001211
类中。
下面基于上述基于两阶段卷积神经网络的细胞图像分类方法实施例，以具体场景为例，对具体的细胞图像分类实施过程和实施效果进行说明。
本申请在ICPR 2014I3A Task-2增强的半数数据集上进行了测试，该数据集一共包含从948个细胞样本中得到的31722张有标签图像。这个数据集包含6种由间接免疫荧光法检测的抗核抗体核型：均质型(7183)、斑点型(7317)、核仁型(26514)、着丝点型(6868)、高尔基型(2534)和核膜型(1171)。
一、数据预处理部分
输入已经整理好的上皮细胞染色图像数据，即k类带有标签的数据集合，将原始图像转化为RGB彩色图像。在本次试验中，参数设置如下：数据集的样本总数n＝25377，图像横向像素数量l＝78，图像纵向像素数量d＝78，类别总数k＝6。
将转换后的数据集合按照一定比例随机划分为：训练集和验证集，t为训练集样本数。在本次试验中，参数设置如下：训练集样本数t＝20302，验证集样本数v＝5075。
二、模型训练部分
利用训练集对粗分类单元进行训练，再把验证集输入粗分类单元，得到验证集在分类前的特征图以及验证集的分类结果。本次实验，将预设概率阈值ξ设置为10％，超过10％的部分将被划分为“易混淆类”。
本次试验的分类结果如表1所示，均质型和斑点型相互混淆率较高，斑点型有22％被错分到均质型，均质型也有10％被错分到斑点类。对于核膜型而言，有12％被错分到核仁型，同时有14％被错分到高尔基型。因此，易混淆类为：“均质型(1)和斑点型(2)”、“核仁型(3)和核膜型(6)”、“高尔基型(5)和核膜型(6)”，即易混淆类集合C＝{(1,2),(2,1),(6,3),(6,5)}。
表1
Figure BDA0002275822560000131
将易混淆类对应的图像分别从训练集中分别抽取出来，组成新的训练子集并对这些数据集的图像进行尺寸缩放处理，使得图像大小为224×224。对新的训练子集重新通过精分类阶段网络进行训练。
精分类阶段，主要利用新的训练子集对已经过imagenet预训练的VGG16模型，进行微调训练，用softmax函数进行分类。
三、细胞分类预测部分
输入没有标签的已经整理好的上皮细胞染色图像数据，先将其转换为RGB图像数据。通过粗分类阶段模型对上皮细胞染色图像进行初步的类别预测，得到类别预测结果
Figure BDA0002275822560000145
接下来判断
Figure BDA0002275822560000146
是否与其他类混淆，令v作为上皮细胞染色图像的预测结果。如果
Figure BDA0002275822560000141
即未落在“易混淆类”中时，直接将该结果输出，上皮细胞染色图像被分到v类；当
Figure BDA0002275822560000142
即落在“易混淆类”中时，将上皮细胞染色图像的尺寸调整到为224×224，并输入到对应的VGG16模型中，得到特征图。将粗分类获得的特征图和精分类获得的特征图进行加权相加，获得混合特征图，将混合特征图输入到分类器中，得到分类结果。
具体地，当v∈{4，6}时，直接将该结果输出，即上皮细胞染色图像被分到v类；当v∈{1，2，3，5}时，将上皮细胞染色图像的尺寸调整到为224×224。若v∈{1，2}，则输入到对应的Finetune_vgg16模型中，得到特征图；若v＝3，则输入到对应的Finetune_vgg16模型中，得到特征图
Figure BDA0002275822560000143
若v＝5，则输入到对应的Finetune_vgg16模型中，得到特征图
Figure BDA0002275822560000144
将该类别粗分类获得的特征图和精分类获得的特征图进行加权α相加，得到最后的特征图。本次试验中，α＝0.2。用softmax函数对特征图进行分类，并用类别正确率均值(MCA)和平均分类正确率(ACA)指标衡量模型分类效果。
在测试集上反复上述测试过程，在粗分类阶段的混淆矩阵如表2所示，MCA结果为81.01％，ACA结果为83.14％。在此之上，增加了第二个阶段的精分类，并将两个阶段抽取到的特征进行结合，测试集经过两阶段分类的结果混淆矩阵如表3所示，MCA结果为83.87％，ACA结果为86.02％。
表2
Figure BDA0002275822560000151
表3
Figure BDA0002275822560000152
本申请与相关学者提出的5层卷积神经网络(DCNN-5)相比，在相同数据集上，性能有明显的提高。从表4可以发现，本申请提出的网络模型的计数结果的类别正确率均值(MCA)和平均分类正确率(ACA)，在相同数据集上，都比DCNN-5更优，获得了更好的性能。
表4
方法 MCA ACA
本申请 83.87％ 86.02％
DCNN-5(Gao) 77.96％ 77.04％
下面对本申请实施例提供的一种基于两阶段卷积神经网络的细胞图像分类装置进行介绍，下文描述的一种基于两阶段卷积神经网络的细胞图像分类装置与上文描述的一种基于两阶段卷积神经网络的细胞图像分类方法可相互对应参照。
如图7所示，该装置包括：
图像获取模块701：用于获取待分类的上皮细胞染色图像；
粗分类模块702：用于将所述上皮细胞染色图像输入细胞图像分类模型的粗分类单元，得到粗分类特征图和相应的粗分类结果，其中所述粗分类单元包括单个独立的卷积神经网络；
易混淆类判别模块703：用于判断所述粗分类结果是否为易混淆类，其中所述易混淆类为在所述细胞图像分类模型的训练过程中确定的容易混淆的类别；
粗分类结果输出模块704：用于在不是易混淆类时，输出所述粗分类结果；
精分类模块705：用于在是易混淆类时，对所述上皮细胞染色图像进行尺寸调整，并将尺寸调整后的上皮细胞染色图像输入所述细胞图像分类模型的精分类单元中与所述粗分类结果相对应的卷积神经网络，得到精分类特征图；其中，所述精分类单元包括多列独立的卷积神经网络，该卷积神经网络与所述易混淆类一一对应；
精分类结果输出模块706：用于根据所述粗分类特征图和所述精分类特征图，确定混合特征图并输出相应的精分类结果，以实现对所述上皮细胞染色图像的分类。
本实施例的一种基于两阶段卷积神经网络的细胞图像分类装置用于实现前述的一种基于两阶段卷积神经网络的细胞图像分类方法，因此该装置中的具体实施方式可见前文中的一种基于两阶段卷积神经网络的细胞图像分类方法的实施例部分，例如，图像获取模块701、粗分类模块702、易混淆类判别模块703、粗分类结果输出模块704、精分类模块705、精分类结果输出模块706，分别用于实现上述一种基于两阶段卷积神经网络的细胞图像分类方法中步骤S101，S102，S103，S104，S105，S106。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的一种基于两阶段卷积神经网络的细胞图像分类装置用于实现前述的一种基于两阶段卷积神经网络的细胞图像分类方法，因此其作用与上述方法的作用相对应，这里不再赘述。
此外，本申请还提供了一种基于两阶段卷积神经网络的细胞图像分类设备，如图8所示，包括：
存储器100：用于存储计算机程序；
处理器200：用于执行所述计算机程序，以实现如上文所述的一种基于两阶段卷积神经网络的细胞图像分类方法的步骤。
最后，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时用于实现如上文所述的一种基于两阶段卷积神经网络的细胞图像分类方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种基于两阶段卷积神经网络的细胞图像分类方法，其特征在于，包括：
获取待分类的上皮细胞染色图像；
将所述上皮细胞染色图像输入细胞图像分类模型的粗分类单元的前三个卷积层，得到第一特征信息；将所述第一特征信息分别输入所述粗分类单元的第一支路和第二支路，得到第二特征信息和第三特征信息，其中所述第一支路包括步长为2的最大池化层和第四卷积层，所述第二支路包括步长为4的最大池化层；对所述第二特征信息和所述第三特征信息进行拼接操作，得到第四特征信息；将所述第四特征信息输入所述粗分类单元的第五卷积层和两个全连接层，得到粗分类特征图；将所述粗分类特征图输入所述粗分类单元的分类器，得到粗分类结果；其中所述粗分类单元包括单个独立的卷积神经网络；
判断所述粗分类结果是否为易混淆类，其中所述易混淆类为在所述细胞图像分类模型的训练过程中确定的容易混淆的类别；
若不是易混淆类，则输出所述粗分类结果；
若是易混淆类，则对所述上皮细胞染色图像进行尺寸调整，并将尺寸调整后的上皮细胞染色图像输入所述细胞图像分类模型的精分类单元中与所述粗分类结果相对应的卷积神经网络，得到精分类特征图；其中，所述精分类单元包括多列独立的卷积神经网络，该卷积神经网络与所述易混淆类一一对应；
根据所述粗分类特征图和所述精分类特征图，确定混合特征图并输出相应的精分类结果，以实现对所述上皮细胞染色图像的分类。
2.如权利要求1所述的方法，其特征在于，在所述将所述上皮细胞染色图像输入细胞图像分类模型的粗分类单元之前，还包括：
将所述上皮细胞染色图像转化为RGB彩色图像。
3.如权利要求2所述的方法，其特征在于，所述精分类单元具体包括多列独立的网络架构相同但网络权重不同的VGG16网络结构。
4.如权利要求1所述的方法，其特征在于，所述根据所述粗分类特征图和所述精分类特征图，确定混合特征图并输出相应的精分类结果，包括：
按照预设权重对所述粗分类特征图和所述精分类特征图进行加权相加操作，得到混合特征图；
将所述混合特征图输入所述精分类单元中相应的分类器，得到精分类结果。
5.如权利要求1-4任意一项所述的方法，其特征在于，在所述获取待分类的上皮细胞染色图像之前，还包括：
获取带类别标签的上皮细胞染色图像，并划分得到训练集和验证集；
利用所述训练集对所述粗分类单元进行训练，并将所述验证集输入训练之后的粗分类单元，得到粗分类结果；
根据所述粗分类结果和所述验证集中的真实标签，确定易混淆类；
从所述训练集中抽取与所述易混淆类相对应的样本，并对该样本中的上皮细胞染色图像进行尺寸调整，得到精分类训练集；
利用所述精分类训练集对所述精分类单元进行训练。
6.如权利要求5所述的方法，其特征在于，所述根据所述粗分类结果和所述验证集中的真实标签，确定易混淆类，包括：
根据所述粗分类结果和所述验证集中的真实标签，生成混淆矩阵，其中所述混淆矩阵为：
Figure FDA0003558292880000021
k表示类别总数，mpq表示类别p被划分为类别q的错误概率，p,q∈{1,2,...,k}；当p＝q时，mpq表示该类被正确划分的概率；
根据预设概率阈值和所述混淆矩阵，确定易混淆类。
7.一种基于两阶段卷积神经网络的细胞图像分类装置，其特征在于，包括：
图像获取模块：用于获取待分类的上皮细胞染色图像；
粗分类模块：用于将所述上皮细胞染色图像输入细胞图像分类模型的粗分类单元的前三个卷积层，得到第一特征信息；将所述第一特征信息分别输入所述粗分类单元的第一支路和第二支路，得到第二特征信息和第三特征信息，其中所述第一支路包括步长为2的最大池化层和第四卷积层，所述第二支路包括步长为4的最大池化层；对所述第二特征信息和所述第三特征信息进行拼接操作，得到第四特征信息；将所述第四特征信息输入所述粗分类单元的第五卷积层和两个全连接层，得到粗分类特征图；将所述粗分类特征图输入所述粗分类单元的分类器，得到粗分类结果；其中所述粗分类单元包括单个独立的卷积神经网络；
易混淆类判别模块：用于判断所述粗分类结果是否为易混淆类，其中所述易混淆类为在所述细胞图像分类模型的训练过程中确定的容易混淆的类别；
粗分类结果输出模块：用于在不是易混淆类时，输出所述粗分类结果；
精分类模块：用于在是易混淆类时，对所述上皮细胞染色图像进行尺寸调整，并将尺寸调整后的上皮细胞染色图像输入所述细胞图像分类模型的精分类单元中与所述粗分类结果相对应的卷积神经网络，得到精分类特征图；其中，所述精分类单元包括多列独立的卷积神经网络，该卷积神经网络与所述易混淆类一一对应；
精分类结果输出模块：用于根据所述粗分类特征图和所述精分类特征图，确定混合特征图并输出相应的精分类结果，以实现对所述上皮细胞染色图像的分类。
8.一种基于两阶段卷积神经网络的细胞图像分类设备，其特征在于，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如权利要求1-6任意一项所述的一种基于两阶段卷积神经网络的细胞图像分类方法的步骤。
9.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时用于实现如权利要求1-6任意一项所述的一种基于两阶段卷积神经网络的细胞图像分类方法的步骤。
CN201911122532.1A 2019-11-15 2019-11-15 一种基于两阶段卷积神经网络的细胞图像分类方法 Active CN110852288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911122532.1A CN110852288B (zh) 2019-11-15 2019-11-15 一种基于两阶段卷积神经网络的细胞图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911122532.1A CN110852288B (zh) 2019-11-15 2019-11-15 一种基于两阶段卷积神经网络的细胞图像分类方法

Publications (2)

Publication Number Publication Date
CN110852288A CN110852288A (zh) 2020-02-28
CN110852288B true CN110852288B (zh) 2022-07-05

Family

ID=69601728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911122532.1A Active CN110852288B (zh) 2019-11-15 2019-11-15 一种基于两阶段卷积神经网络的细胞图像分类方法

Country Status (1)

Country Link
CN (1) CN110852288B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680575B (zh) * 2020-05-19 2024-06-14 苏州大学 一种人类上皮细胞染色分类装置、设备及存储介质
CA3188705A1 (en) * 2020-08-18 2022-02-24 Frederik AIDT Tissue staining and sequential imaging of biological samples for deep learning image analysis and virtual staining
CN111815633A (zh) * 2020-09-08 2020-10-23 上海思路迪医学检验所有限公司 医用图像诊断装置、图像处理装置和方法、判断单元以及存储介质
CN112446326B (zh) * 2020-11-26 2022-04-01 中国核动力研究设计院 基于深度复卷积网络的屏蔽泵故障模式识别方法及系统
CN113052229B (zh) * 2021-03-22 2023-08-29 武汉中旗生物医疗电子有限公司 一种基于心电数据的心脏病症分类方法及装置
CN113705527B (zh) * 2021-09-08 2023-09-22 西南石油大学 一种基于损失函数集成和粗细分级卷积神经网络的表情识别方法
AT525533B1 (de) * 2021-11-02 2023-06-15 West Medica Produktions Und Handels Gmbh Verfahren und System zur Analyse einer Blutprobe
AU2022396109A1 (en) * 2021-11-23 2024-06-20 Agilent Technologies, Inc. Digital analysis of preanalytical factors in tissues used for histological staining
CN114648527B (zh) * 2022-05-19 2022-08-16 赛维森(广州)医疗科技服务有限公司 尿路上皮细胞玻片图像分类方法、装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6229912B1 (en) * 1993-12-22 2001-05-08 Hitachi, Ltd. Particle image analyzing apparatus
CN107077625A (zh) * 2014-10-27 2017-08-18 电子湾有限公司 分层深卷积神经网络
CN109190622A (zh) * 2018-09-11 2019-01-11 深圳辉煌耀强科技有限公司 基于强特征和神经网络的上皮细胞分类系统和方法
CN109934293A (zh) * 2019-03-15 2019-06-25 苏州大学 图像识别方法、装置、介质及混淆感知卷积神经网络

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018052586A1 (en) * 2016-09-14 2018-03-22 Konica Minolta Laboratory U.S.A., Inc. Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks
CN110363224B (zh) * 2019-06-19 2021-07-06 创新奇智(北京)科技有限公司 一种基于图像的物体分类方法、系统及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6229912B1 (en) * 1993-12-22 2001-05-08 Hitachi, Ltd. Particle image analyzing apparatus
CN107077625A (zh) * 2014-10-27 2017-08-18 电子湾有限公司 分层深卷积神经网络
CN109190622A (zh) * 2018-09-11 2019-01-11 深圳辉煌耀强科技有限公司 基于强特征和神经网络的上皮细胞分类系统和方法
CN109934293A (zh) * 2019-03-15 2019-06-25 苏州大学 图像识别方法、装置、介质及混淆感知卷积神经网络

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Deep cross residual network for HEp-2 cell staining pattern classification;Linlin Shen et al.;《Pattern Recognition》;20181030;第68-78页 *

Also Published As

Publication number Publication date
CN110852288A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
CN110852288B (zh) 一种基于两阶段卷积神经网络的细胞图像分类方法
CN111181939B (zh) 一种基于集成学习的网络入侵检测方法及装置
CN106599854B (zh) 基于多特征融合的人脸表情自动识别方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN111950515B (zh) 一种基于语义特征金字塔网络的小人脸检测方法
CN108171136A (zh) 一种多任务卡口车辆以图搜图的系统及方法
CN112633382B (zh) 一种基于互近邻的少样本图像分类方法及系统
CN107092884B (zh) 一种快速粗精级联行人检测方法
CN114841972A (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN111080678B (zh) 一种基于深度学习的多时相sar图像变化检测方法
CN110633708A (zh) 一种基于全局模型和局部优化的深度网络显著性检测方法
CN104537647A (zh) 一种目标检测方法及装置
CN106778734A (zh) 一种基于稀疏表示的绝缘子掉串缺陷检测方法
CN113505792A (zh) 面向非均衡遥感图像的多尺度语义分割方法及模型
CN108520215B (zh) 基于多尺度联合特征编码器的单样本人脸识别方法
CN102156885A (zh) 基于级联式码本生成的图像分类方法
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN111160481A (zh) 基于深度学习的adas目标检测方法及系统
CN112926652A (zh) 一种基于深度学习的鱼类细粒度图像识别方法
CN117516937A (zh) 基于多模态特征融合增强的滚动轴承未知故障检测方法
CN113298184B (zh) 用于小样本图像识别的样本抽取、扩充方法及存储介质
CN115292538A (zh) 一种基于深度学习的地图线要素提取方法
CN110852255B (zh) 一种基于u型特征金字塔的交通目标检测方法
CN111582057A (zh) 一种基于局部感受野的人脸验证方法
CN116682145A (zh) 基于Vision Transformer注意力筛选的行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant