CN114580510A - 骨髓细胞细粒度分类方法、系统、计算机设备及存储介质 - Google Patents

骨髓细胞细粒度分类方法、系统、计算机设备及存储介质 Download PDF

Info

Publication number
CN114580510A
CN114580510A CN202210168782.4A CN202210168782A CN114580510A CN 114580510 A CN114580510 A CN 114580510A CN 202210168782 A CN202210168782 A CN 202210168782A CN 114580510 A CN114580510 A CN 114580510A
Authority
CN
China
Prior art keywords
bone marrow
marrow cell
fine
grained classification
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210168782.4A
Other languages
English (en)
Inventor
王伟凝
郭沛榕
骆美鸽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210168782.4A priority Critical patent/CN114580510A/zh
Publication of CN114580510A publication Critical patent/CN114580510A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种骨髓细胞细粒度分类方法、系统、计算机设备及存储介质，所述方法包括：获取骨髓细胞图像数据集；构建第一骨髓细胞细粒度分类网络，所述第一骨髓细胞细粒度分类网络以残差网络作为主干网络，包括原始分支、主体分支和注意力主体定位分支；利用骨髓细胞图像数据集对第一骨髓细胞细粒度分类网络进行训练，得到第二骨髓细胞细粒度分类网络；获取待分类骨髓细胞图像；将待分类骨髓细胞图像输入第二骨髓细胞细粒度分类网络，实现骨髓细胞细粒度分类。本发明通过构建基于注意力主体与区域放大的多分支网络，实现了分支间的相互结合和相互促进，提高了骨髓细胞细粒度分类水平。

Description

骨髓细胞细粒度分类方法、系统、计算机设备及存储介质
技术领域
本发明涉及一种骨髓细胞细粒度分类方法、系统、计算机设备及存储介质，属于计算机视觉领域。
背景技术
目前，随着深度学习的发展，越来越多研究者将深度学习应用到医学处理领域中。然而，在骨髓细胞分类问题上，大部分的研究者将其视为一种粗粒度分类任务，仍沿用通用的深度网络来实现对骨髓细胞的分类。然而这种方法对骨髓细胞分类任务来说效果十分有限，为此需要更有针对性的设计。如今细粒度分类任务已经在其他数据集(如鸟类，汽车，飞机)上取得不错的进展，但在骨髓细胞数据集上缺少相关的方案。
基于先定位后分类的方案，是细粒度分类任务中常用的一种方案。研究表明，人类在理解一个场景时，通常经过显著区域激活、感兴趣区域选择以及注视感兴趣区域三个阶段。该方案受人类视觉理解启发，一般策略是通过对显著区域或主体区域的定位，重点关注显著区域或主体区域的信息，提高细粒度分类精度。目前这一方向已经有了很多有效的尝试，其中关键在于如何准确定位信息丰富的显著区域或主体区域，主要的方式包括两种：a、利用额外的主体边界框或部件标签来训练网络进行定位，进而提取显著区域或主体区域的特征，但是额外的标签标注需要耗费大量的人力，在大规模数据集上是不现实的；b、仅仅利用图片的类别标签，通过弱监督定位的方式，定位到信息丰富的判别区域或主体区域，通过对判别区域或主体区域的细致学习来提高分类精度。现有细粒度分类中弱监督定位相关的研究方法存在以下三种局限性：
(1)利用网络的最深层次特征来进行显著区域或主体区域的定位，但这种方式容易丢失位置信息：网络的最深层次特征往往含有大量与类别相关的语义信息，对图像的整体有很好的理解，从中能定位到图像的显著区域或主体区域，但是这一层次的特征具有较低的分辨率。因此得到的位置信息往往不够精确，且容易丢失；
(2)基于弱监督的定位方式或过于复杂，效率较低，或容易受到背景噪声的干扰，定位效果不佳：RA-CNN递归地学习显著区域，在每一个分支之后训练一个注意力网络来学习坐标框的定位，为了进行梯度传递，设计了略微复杂的裁剪方式；MGE-CNN则使用Grad-CAM的方式得到分类器关注的关键部件，从而得到图片的显著区域。这些定位方式过于复杂且效率较低，同时这部分工作大多使用覆盖整个判别区域或主体区域的最小矩形框来进行裁剪，这种方式容易受到背景噪声的干扰，导致定位效果不佳；
(3)使用多个分支对不同尺度的图像进行学习，多个分支间共享所有参数权重，分支之间相互影响，网络精度下降：MMAL-Net运用了三个分支对原始图像、主体图像以及部件图像三个尺度的图像进行训练，三个分支间参数共享，因此无法学到不同尺度各自的特征；WS-DAN同样使用同一个网络对原始图像、经过注意力增强的图像以及经过注意力裁剪的图像进行训练，精度有限。
发明内容
有鉴于此，本发明提供了一种骨髓细胞细粒度分类方法、系统、计算机设备及存储介质，其提出的注意力主体定位分支，使用了多个空洞率不同的卷积层来获取不同感受野的特征，进而得到更细化的骨髓细胞特征信息；此外，其搭建的基于注意力主体定位与区域放大的多分支分类网络，实现了分支间的相互结合和相互促进，提高了骨髓细胞细粒度分类的效果。
本发明的第一个目的在于提供一种骨髓细胞细粒度分类方法。
本发明的第二个目的在于提供一种骨髓细胞细粒度分类系统。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种骨髓细胞细粒度分类方法，所述方法包括：
获取骨髓细胞图像数据集；
构建第一骨髓细胞细粒度分类网络，所述第一骨髓细胞细粒度分类网络以残差网络作为主干网络，包括原始分支、主体分支和注意力主体定位分支；
利用骨髓细胞图像数据集对第一骨髓细胞细粒度分类网络进行训练，得到第二骨髓细胞细粒度分类网络；
获取待分类骨髓细胞图像；
将待分类骨髓细胞图像输入第二骨髓细胞细粒度分类网络，实现骨髓细胞细粒度分类。
进一步的，所述残差网络包括五个卷积层组、一个全局池化层、一个全连接层以及一个Softmax层；
所述原始分支和主体分支分别使用所述残差网络，并共享第一卷积层组、第二卷积层组、第三卷积层组和第四卷积层组的参数权重；
所述注意力主体定位分支接在原始分支的第四卷积层组之后，包括主体定位模块、基于空洞卷积的空间金字塔池化模块以及一个对应的分类器；
所述主体定位模块用于生成骨髓细胞主体定位框；
所述基于空洞卷积的空间金字塔池化模块用于通过多个空洞率不同的卷积层来获取不同尺度的特征。
进一步的，所述通过多个空洞率不同的卷积层来获取不同尺度的特征，具体如下：
使输入特征经过五路不同的计算，得到五个新的特征，其中第一路为卷积核为1的卷积层，第二路、第三路、第四路分别为卷积核为3的配置不同空洞率的卷积层，第五路为全局平均池化层；
采用降维方式限制输出通道数，将这五路得到的特征以特征聚合的方式结合起来，并经过一个卷积核为1的卷积层，得到多尺度的特征。
进一步的，所述生成骨髓细胞主体定位框，具体如下：
对所述空间金字塔池化模块输出的特征进行通道维度上的平均池化，得到自注意力图；
对自注意力图取平均值，并将所取平均值作为阈值；
根据阈值，对自注意力图进行判断，得到显著图；
在显著图中，选出最大连通区域；
获取包围最大连通区域的最小矩形框坐标，从而得到骨髓细胞主体定位框；
所述对自注意力图取平均值，并将所取平均值作为阈值，如下式：
Figure BDA0003516584640000031
其中，H与W分别表示特征图的高与宽，Matt表示自注意力图，
Figure BDA0003516584640000032
表示阈值；
所述根据阈值，对自注意力图进行判断，得到显著图，如下式：
Figure BDA0003516584640000033
其中，Imask表示显著图，Matt表示自注意力图，
Figure BDA0003516584640000034
表示阈值。
进一步的，所述利用骨髓细胞图像数据集对第一骨髓细胞细粒度分类网络进行训练，得到第二骨髓细胞细粒度分类网络，具体如下：
对骨髓细胞图像数据集进行划分，得到骨髓细胞图像训练集；
对骨髓细胞图像训练集进行预处理；
利用预训练参数对第一骨髓细胞细粒度分类网络进行初始化处理，并设置对应网络参数和训练参数；
将完成预处理的骨髓细胞图像训练集输入第一骨髓细胞细粒度分类网络中，使用交叉熵损失函数计算，采用随机梯度下降法对第一骨髓细胞细粒度分类网络的多个分支进行联合训练，得到第二骨髓细胞细粒度分类网络；
所述交叉熵损失函数，计算方式如下：
Figure BDA0003516584640000041
其中，N为样本数量，C表示类别数，y为真实标签，以one-hot向量形式编码，
Figure BDA0003516584640000042
为第n个向量的第c个类别的真实概率，
Figure BDA0003516584640000043
为第n个向量的第c个类别的预测概率。
进一步的，所述将待分类骨髓细胞图像输入第二骨髓细胞细粒度分类网络，实现骨髓细胞细粒度分类，具体如下：
对待分类骨髓细胞图像进行尺寸处理；
将完成尺寸处理的待分类骨髓细胞图像输入第二骨髓细胞细粒度分类网络，得到三个分支的分类概率分布结果；
对三个分支的分类概率分布结果进行综合决策，得到最终类别预测结果；
根据最终类别预测结果，实现骨髓细胞细粒度分类。
进一步的，所述对三个分支的分类概率分布结果进行综合决策，得到最终类别预测结果，具体如下：
对三个分支的分类概率分布结果取平均值，并将分类概率最高的类别作为最终类别预测结果。
本发明的第二个目的可以通过采取如下技术方案达到：
一种骨髓细胞细粒度分类系统，所述系统包括：
第一获取单元，用于获取骨髓细胞图像数据集；
构建单元，用于构建第一骨髓细胞细粒度分类网络，所述第一骨髓细胞细粒度分类网络以残差网络作为主干网络，包括原始分支、主体分支和注意力主体定位分支；
训练单元，用于利用骨髓细胞图像数据集对第一骨髓细胞细粒度分类网络进行训练，得到第二骨髓细胞细粒度分类网络；
第二获取单元，用于获取待分类骨髓细胞图像；
分类单元，用于将待分类骨髓细胞图像输入第二骨髓细胞细粒度分类网络，实现骨髓细胞细粒度分类。
本发明的第三个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的骨髓细胞细粒度分类方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的骨髓细胞细粒度分类方法。
本发明相对于现有技术具有如下的有益效果：
(1)本发明构建了一个基于注意力主体定位与区域放大的多分支网络，该网络包含了原始分支，主体分支以及注意力主体定位分支。其中原始分支和主体分支共享部分信息，使不同分支既能学到共同的特征，也能学到各自的特征，进而使各分支间能相互促进和相互提高，从而提高骨髓细胞细粒度分类水平。
(2)本发明在注意力主体定位分支中引入空洞卷积机制，构建了一个具有多个不同空洞率的空洞卷积层的空间金字塔池化模块，利用多个不同空洞率的空洞卷积层来获取不同感受野的特征，同时通过对应的分类器引导特征获取到骨髓细胞类别信息，从而获得更细化的骨髓细胞特征信息。
(3)本发明使用中间层的高分辨率特征来获取骨髓细胞主体框定位的方式，有效解决了位置信息易丢失的问题；同时，主体定位模块使用基于连通区域的方式，能有效减轻背景区域的干扰。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的骨髓细胞细粒度分类方法的流程图。
图2为本发明实施例1的基于注意力主体定位与区域放大的多分支分类网络的结构图。
图3为本发明实施例1的基于空洞卷积的空间金字塔池化模块的结构图。
图4为本发明实施例1的生成骨髓细胞主体定位框的流程图。
图5为本发明实施例2的骨髓细胞细粒度分类系统的流程图。
图6为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示，本实施例提供了一种骨髓细胞细粒度分类方法，该方法包括以下步骤：
S101、获取骨髓细胞图像数据集。
本实施例获取多张骨髓细胞图像作为骨髓细胞图像数据集。
为了使训练与测试数据尽可能保持同分布，本实施例采用分层采样方法对骨髓细胞图像数据集进行划分，随机从每一类骨髓细胞图像数据集中选出80％的图像组成骨髓细胞图像训练集，其余20％的图像作为骨髓细胞图像验证集；其中骨髓细胞图像训练集中的图像为训练图像，骨髓细胞图像验证集中的图像为验证图像。
S102、构建第一骨髓细胞细粒度分类网络。
如图2所示，本实施例构建的第一骨髓细胞细粒度分类网络是一个基于注意力主体定位与区域放大的多分支分类网络，包括原始分支、主体分支和注意力主体定位分支，并以残差网络ResNet-50结构作为主干网络，具体为：原始分支和主体分支均使用残差网络ResNet-50结构；其中残差网络ResNet-50结构包括五个卷积层组(block0，block1，block2，block3，block4)、一个全局池化层、一个全连接层和一个Softmax层。
本实施例中的block0、block1、block2、block3和block4分别表示第一卷积层组、第二卷积层组、第三卷积层组、第四卷积层组和第五卷积层组。
本实施例中的原始分支和主体分支共享前四个卷积层组的参数权重(即共享第一卷积层组、第二卷积层组、第三卷积层组、第四卷积层组的参数权重)，使不同分支既学到共同的特征，也学到各自尺度的特征。
本实施例中的原始分支和主体分支可用于处理不同尺度的图片，本实施例中的残差网络ResNet-50的输入尺寸设置为3*224*224。
本实施例中的注意力主体定位分支接在原始分支的block3之后，其包括一个主体定位模块(MRL)，基于空洞卷积的空间金字塔池化模块(ASPP)以及一个对应的分类器。
本实施例中的注意力主体定位分支的结构，具体如下：
本实施例中的第一特征为输入特征，第二特征为多尺度的特征。
注意力主体分支从原始分支中的第四个卷积层组(block3)后引出，第四卷积层组得到的特征尺寸为C*H*W，其中C为通道数，H为特征图的高，W为特征图的宽；该卷积层组得到的第一特征Flocate经过ASPP模块后，分别送入分类器和MRL模块中。其中，分类器与ASPP模块配合产生含有丰富类别信息的特征(第二特征)，MRL模块利用第二特征生成精确的骨髓细胞主体定位框。
进一步地，ASPP模块结构如图3所示，分类器与ASPP模块配合产生第二特征，具体如下：
将第一特征Flocate输入ASPP模块，经过五路不同的计算，得到五个新的特征，其中第一路为卷积核为1的卷积层，第二、三和四路分别为卷积核为3的配置不同空洞率的卷积层，第五路为全局平均池化层。在这里，为了减少计算量，采用降维的方式，将输出通道数限制为256，并将这五路得到的特征以特征聚合的方式结合起来，再经过一个卷积核为1的卷积层，得到第二特征Faspp；第二特征Faspp用于后续骨髓细胞主体区域的定位。
本实施例中的ASPP模块利用多个不同空洞率的卷积层来获取不同感受野的特征，其所在分支的分类器引导特征获取类别相关的信息。
进一步地，MRL模块结构如图4所示，用于生成精确的骨髓细胞主体定位框，具体步骤如下：
a、对第二特征Faspp进行通道维度上的平均池化，得到自注意力图Matt；
b、对自注意力图Fatt取平均值，并将平均值作为阈值：
Figure BDA0003516584640000071
其中，H与W分别表示特征图的高与宽；
c、根据阈值
Figure BDA0003516584640000081
对Matt进行判断得到显著图Imask：
Figure BDA0003516584640000082
d、在显著图Imask选出最大连通区域Olargest；
e、获取包围最大连通区域Olargest的最小矩形框坐标(xtop_left，ytop_left)与(xbottom_right，ybottom_right)，并将其作为骨髓细胞主体定位框的左上点与右下点坐标，进而生成得到骨髓细胞主体定位框。同时，该分支的分类器可用于辅助骨髓细胞的细粒度分类。
本实施例采用中间层的高分辨率特征来获取骨髓细胞主体框定位的方式，有效解决了位置信息易丢失的问题；同时主体定位模块使用基于连通区域的方式，能有效减轻背景区域的干扰。
S103、利用骨髓细胞图像数据集对第一骨髓细胞细粒度分类网络进行训练，得到第二骨髓细胞细粒度分类网络。
本实施例训练第一骨髓细胞细粒度分类网络的具体步骤如下：
(1)网络初始化：在第一骨髓细胞细粒度分类网络中，将ImageNet上的预训练参数导入残差网络，对其余网络结构的参数进行随机初始化；
(2)设置网络参数：在ASPP模块中，三个空洞卷积层的空洞率分别设置为2、3、4，输出通道数设置为256；
(3)设置训练参数：采用随机梯度下降法优化，将权重衰减系数为1e-4，动量为0.9，最小批处理数据为64；初始学习率设置为5e-3，并采用固定步长衰减方式，在第25、40、45个epoch处衰减为原来的1/5；
(4)对训练图像进行预处理：对骨髓细胞图像训练集中的训练图像进行预处理，具体为：将输入的训练图像尺寸随机裁剪为224*224，之后通过随机垂直翻转、随机旋转和颜色抖动3种方式对裁剪完成的训练图像进行在线数据增强；
(5)对网络进行训练：对图2所示的第一骨髓细胞细粒度分类网络进行迭代训练，具体为：首先将预处理完成的训练图像Iorigin送入原始分支的第一部分中，即经过残差网络前四个卷积层组之后，得到第一特征Flocate；随后将第一特征Flocate送入原始分支的第二部分，得到原始分支的第一分类结果pori，同时将第一特征Flocate送入注意力主体定位分支，在这个分支中，经过ASPP模块增强后，得到第二特征Faspp；随后将第二特征Faspp送入注意力主体定位分支的分类器中，得到第二分类结果patt，同时第二特征Faspp送入一个主体定位模块，得到训练图片中骨髓细胞的主体框；利用所述主体框对训练图像进行裁剪后，放大到一定尺寸，得到主体图像Iobject，并将主体图像Iobject送入主体分支，得到第三分类结果pobj；对三个分支的分类器进行交叉熵损失函数计算，之后进行梯度反传，更新网络参数，直至损失逐渐减小至收敛，最终得到一个骨髓细胞分类效果较好的分类网络，即第二骨髓细胞细粒度分类网络。
本实施例中的交叉熵损失函数的计算公式如下：
Figure BDA0003516584640000091
其中，N为样本数量，C表示类别数，y为真实标签，以one-hot向量形式编码，
Figure BDA0003516584640000092
为第n个向量的第c个类别的真实概率，
Figure BDA0003516584640000093
为第n个向量的第c个类别的预测概率。
本实施例中的第一骨髓细胞细粒度分类网络指的是未进行训练的基于注意力主体定位与区域放大的多分支分类网络；第二骨髓细胞细粒度分类网络指的是已完成训练的基于注意力主体定位与区域放大的多分支分类网络。
S104、获取待分类骨髓细胞图像。
本实施例选取骨髓细胞图像验证集中的验证图像作为待分类骨髓细胞图像。
S105、将待分类骨髓细胞图像输入第二骨髓细胞细粒度分类网络，实现骨髓细胞细粒度分类。
(1)读取骨髓细胞图像验证集中的验证图像，并将读取到的验证图像的尺寸转换为224*224；
(2)将完成尺寸处理的验证图像输入第二骨髓细胞细粒度分类网络中进行计算，得到三个分支的分类概率分布结果；
(3)对三个分支的分类概率分布结果取平均值，并将分类概率最高的类别作为最终类别预测结果，进而实现骨髓细胞细粒度分类。
本实施例提供的方法在骨髓细胞细粒度分类的数据库上达到了88.89％的分类准确率，比仅使用ResNet-50结构与交叉熵损失进行训练的结果提高了1.82％。可见，本实施例提供的方法在骨髓细胞分类上能得到更高的准确率。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读取存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图5所示，本实施例提供了一种骨髓细胞细粒度分类系统，该系统包括第一获取单元501、构建单元502、训练单元503、第二获取单元504和分类单元505，各个单元的具体功能如下：
第一获取单元501，用于获取骨髓细胞图像数据集；
构建单元502，用于构建第一骨髓细胞细粒度分类网络，所述第一骨髓细胞细粒度分类网络以残差网络作为主干网络，包括原始分支、主体分支和注意力主体定位分支；
训练单元503，用于利用骨髓细胞图像数据集对第一骨髓细胞细粒度分类网络进行训练，得到第二骨髓细胞细粒度分类网络；
第二获取单元504，用于获取待分类骨髓细胞图像；
分类单元505，用于将待分类骨髓细胞图像输入第二骨髓细胞细粒度分类网络，实现骨髓细胞细粒度分类。
本实施例中各个单元的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的系统仅以上述各功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配给不同的功能单元完成，即将内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。
实施例3：
如图6所示，本实施例提供了一种计算机设备，其包括通过系统总线601连接的处理器602、存储器、输入装置603、显示装置604和网络接口605。其中，处理器602用于提供计算和控制能力，存储器包括非易失性存储介质606和内存储器607，该非易失性存储介质606存储有操作系统、计算机程序和数据库，该内存储器607为非易失性存储介质606中的操作系统和计算机程序的运行提供环境，计算机程序被处理器602执行时，实现上述实施例1的骨髓细胞细粒度分类方法，如下：
获取骨髓细胞图像数据集；
构建第一骨髓细胞细粒度分类网络，所述第一骨髓细胞细粒度分类网络以残差网络作为主干网络，包括原始分支、主体分支和注意力主体定位分支；
利用骨髓细胞图像数据集对第一骨髓细胞细粒度分类网络进行训练，得到第二骨髓细胞细粒度分类网络；
获取待分类骨髓细胞图像；
将待分类骨髓细胞图像输入第二骨髓细胞细粒度分类网络，实现骨髓细胞细粒度分类。
实施例4：
本实施例提供一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的骨髓细胞细粒度分类方法，如下：
获取骨髓细胞图像数据集；
构建第一骨髓细胞细粒度分类网络，所述第一骨髓细胞细粒度分类网络以残差网络作为主干网络，包括原始分支、主体分支和注意力主体定位分支；
利用骨髓细胞图像数据集对第一骨髓细胞细粒度分类网络进行训练，得到第二骨髓细胞细粒度分类网络；
获取待分类骨髓细胞图像；
将待分类骨髓细胞图像输入第二骨髓细胞细粒度分类网络，实现骨髓细胞细粒度分类。
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读存储介质可以以一种或多种程序设计语言或其组合来编写用于执行本实施例的计算机程序，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Python、C++，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
综上所述，本发明提出的注意力主体定位分支，使用了多个空洞率不同的卷积层来获取不同感受野的特征，进而得到更细化的骨髓细胞特征信息；此外，其搭建的基于注意力主体定位与区域放大的多分支分类网络，实现了分支间的相互结合和相互促进，提高了骨髓细胞细粒度分类的效果。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (10)

1.一种骨髓细胞细粒度分类方法，其特征在于，所述方法包括：
获取骨髓细胞图像数据集；
构建第一骨髓细胞细粒度分类网络，所述第一骨髓细胞细粒度分类网络以残差网络作为主干网络，包括原始分支、主体分支和注意力主体定位分支；
利用骨髓细胞图像数据集对第一骨髓细胞细粒度分类网络进行训练，得到第二骨髓细胞细粒度分类网络；
获取待分类骨髓细胞图像；
将待分类骨髓细胞图像输入第二骨髓细胞细粒度分类网络，实现骨髓细胞细粒度分类。
2.根据权利要求1所述的骨髓细胞细粒度分类方法，其特征在于，所述残差网络包括五个卷积层组、一个全局池化层、一个全连接层以及一个Softmax层；
所述原始分支和主体分支分别使用所述残差网络，并共享第一卷积层组、第二卷积层组、第三卷积层组和第四卷积层组的参数权重；
所述注意力主体定位分支接在原始分支的第四卷积层组之后，包括主体定位模块、基于空洞卷积的空间金字塔池化模块以及一个对应的分类器；
所述主体定位模块用于生成骨髓细胞主体定位框；
所述基于空洞卷积的空间金字塔池化模块用于通过多个空洞率不同的卷积层来获取不同尺度的特征。
3.根据权利要求2所述的骨髓细胞细粒度分类方法，其特征在于，所述通过多个空洞率不同的卷积层来获取不同尺度的特征，具体如下：
使输入特征经过五路不同的计算，得到五个新的特征，其中第一路为卷积核为1的卷积层，第二路、第三路、第四路分别为卷积核为3的配置不同空洞率的卷积层，第五路为全局平均池化层；
采用降维方式限制输出通道数，将这五路得到的特征以特征聚合的方式结合起来，并经过一个卷积核为1的卷积层，得到多尺度的特征。
4.根据权利要求2所述的骨髓细胞细粒度分类方法，其特征在于，所述生成骨髓细胞主体定位框，具体如下：
对所述空间金字塔池化模块输出的特征进行通道维度上的平均池化，得到自注意力图；
对自注意力图取平均值，并将所取平均值作为阈值；
根据阈值，对自注意力图进行判断，得到显著图；
在显著图中，选出最大连通区域；
获取包围最大连通区域的最小矩形框坐标，从而得到骨髓细胞主体定位框；
所述对自注意力图取平均值，并将所取平均值作为阈值，如下式：
Figure FDA0003516584630000021
其中，H与W分别表示特征图的高与宽，Matt表示自注意力图，
Figure FDA0003516584630000022
表示阈值；
所述根据阈值，对自注意力图进行判断，得到显著图，如下式：
Figure FDA0003516584630000023
其中，Imask表示显著图，Matt表示自注意力图，
Figure FDA0003516584630000024
表示阈值。
5.根据权利要求1所述的骨髓细胞细粒度分类方法，其特征在于，所述利用骨髓细胞图像数据集对第一骨髓细胞细粒度分类网络进行训练，得到第二骨髓细胞细粒度分类网络，具体如下：
对骨髓细胞图像数据集进行划分，得到骨髓细胞图像训练集；
对骨髓细胞图像训练集进行预处理；
利用预训练参数对第一骨髓细胞细粒度分类网络进行初始化处理，并设置对应网络参数和训练参数；
将完成预处理的骨髓细胞图像训练集输入第一骨髓细胞细粒度分类网络中，使用交叉熵损失函数计算，采用随机梯度下降法对第一骨髓细胞细粒度分类网络的多个分支进行联合训练，得到第二骨髓细胞细粒度分类网络；
所述交叉熵损失函数，计算方式如下：
Figure FDA0003516584630000025
其中，N为样本数量，C表示类别数，y为真实标签，以one-hot向量形式编码，
Figure FDA0003516584630000026
为第n个向量的第c个类别的真实概率，
Figure FDA0003516584630000027
为第n个向量的第c个类别的预测概率。
6.根据权利要求1所述的骨髓细胞细粒度分类方法，其特征在于，所述将待分类骨髓细胞图像输入第二骨髓细胞细粒度分类网络，实现骨髓细胞细粒度分类，具体如下：
对待分类骨髓细胞图像进行尺寸处理；
将完成尺寸处理的待分类骨髓细胞图像输入第二骨髓细胞细粒度分类网络，得到三个分支的分类概率分布结果；
对三个分支的分类概率分布结果进行综合决策，得到最终类别预测结果；
根据最终类别预测结果，实现骨髓细胞细粒度分类。
7.根据权利要求6所述的骨髓细胞细粒度分类方法，其特征在于，所述对三个分支的分类概率分布结果进行综合决策，得到最终类别预测结果，具体如下：
对三个分支的分类概率分布结果取平均值，并将分类概率最高的类别作为最终类别预测结果。
8.一种骨髓细胞细粒度分类系统，其特征在于，所述系统包括：
第一获取单元，用于获取骨髓细胞图像数据集；
构建单元，用于构建第一骨髓细胞细粒度分类网络，所述第一骨髓细胞细粒度分类网络以残差网络作为主干网络，包括原始分支、主体分支和注意力主体定位分支；
训练单元，用于利用骨髓细胞图像数据集对第一骨髓细胞细粒度分类网络进行训练，得到第二骨髓细胞细粒度分类网络；
第二获取单元，用于获取待分类骨髓细胞图像；
分类单元，用于将待分类骨髓细胞图像输入第二骨髓细胞细粒度分类网络，实现骨髓细胞细粒度分类。
9.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-7任一项所述的骨髓细胞细粒度分类方法。
10.一种存储介质，存储有程序，所述程序被处理器执行时，实现权利要求1-7任一项所述的骨髓细胞细粒度分类方法。
CN202210168782.4A 2022-02-23 2022-02-23 骨髓细胞细粒度分类方法、系统、计算机设备及存储介质 Pending CN114580510A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210168782.4A CN114580510A (zh) 2022-02-23 2022-02-23 骨髓细胞细粒度分类方法、系统、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210168782.4A CN114580510A (zh) 2022-02-23 2022-02-23 骨髓细胞细粒度分类方法、系统、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN114580510A true CN114580510A (zh) 2022-06-03

Family

ID=81770229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210168782.4A Pending CN114580510A (zh) 2022-02-23 2022-02-23 骨髓细胞细粒度分类方法、系统、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN114580510A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830402A (zh) * 2023-02-21 2023-03-21 华东交通大学 一种细粒度图像识别分类模型训练方法、装置及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830402A (zh) * 2023-02-21 2023-03-21 华东交通大学 一种细粒度图像识别分类模型训练方法、装置及设备
CN115830402B (zh) * 2023-02-21 2023-09-12 华东交通大学 一种细粒度图像识别分类模型训练方法、装置及设备

Similar Documents

Publication Publication Date Title
CN111754596B (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
CN111414953B (zh) 点云分类方法和装置
US20210150357A1 (en) Smoothing regularization for a generative neural network
CN111932529B (zh) 一种图像分类分割方法、装置及系统
CN112163601B (zh) 图像分类方法、系统、计算机设备及存储介质
CN110263801B (zh) 图像处理模型生成方法及装置、电子设备
CN110490959B (zh) 三维图像处理方法及装置、虚拟形象生成方法以及电子设备
He et al. Multimodal remote sensing image segmentation with intuition-inspired hypergraph modeling
CN111932577B (zh) 文本检测方法、电子设备及计算机可读介质
CN112927234A (zh) 点云语义分割方法、装置、电子设备和可读存储介质
US20220375211A1 (en) Multi-layer perceptron-based computer vision neural networks
Shu et al. LVC-Net: Medical image segmentation with noisy label based on local visual cues
CN114067389A (zh) 一种面部表情的分类方法和电子设备
DE102022104142A1 (de) Strahldichte-caching in echtzeit durch ein neuronales netz für pfadverfolgungszwecke
CN114064928A (zh) 一种知识图谱的知识推理方法、装置、设备及存储介质
CN114723950A (zh) 一种基于对称自适应网络的跨模态医学图像分割方法
DE102022121649A1 (de) Schnelles Neutraining von vollständig fusionierten neuronalen Transceiver-Komponenten
JP2023131117A (ja) 結合感知モデルのトレーニング、結合感知方法、装置、機器および媒体
CN114580510A (zh) 骨髓细胞细粒度分类方法、系统、计算机设备及存储介质
CN114611672A (zh) 模型训练方法、人脸识别方法及装置
Tian et al. MedoidsFormer: A strong 3D object detection backbone by exploiting interaction with adjacent Medoid tokens
CN116543191A (zh) 一种多源遥感数据自适应融合地物分类方法
CN112862840B (zh) 图像分割方法、装置、设备及介质
US11605001B2 (en) Weight demodulation for a generative neural network
CN111461091B (zh) 万能指纹生成方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination