CN112926697B - 一种基于语义分割的磨粒图像分类方法及装置 - Google Patents

一种基于语义分割的磨粒图像分类方法及装置 Download PDF

Info

Publication number
CN112926697B
CN112926697B CN202110428069.4A CN202110428069A CN112926697B CN 112926697 B CN112926697 B CN 112926697B CN 202110428069 A CN202110428069 A CN 202110428069A CN 112926697 B CN112926697 B CN 112926697B
Authority
CN
China
Prior art keywords
semantic segmentation
image
representing
classification
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110428069.4A
Other languages
English (en)
Other versions
CN112926697A (zh
Inventor
张桃红
范素丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202110428069.4A priority Critical patent/CN112926697B/zh
Publication of CN112926697A publication Critical patent/CN112926697A/zh
Application granted granted Critical
Publication of CN112926697B publication Critical patent/CN112926697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于语义分割的磨粒图像分类方法及装置，该方法包括：利用链式通道注意力网络提取待分类的磨粒图像的图像特征；利用基于类注意力的语义分割网络对提取到的图像特征进行语义分割；基于语义分割网络输出的语义分割结果，利用分类网络得到当前待分类的磨粒图像的分类结果。本发明利用语义分割标签引导模型关注目标区域，更加有益于分类图像中的小目标。

Description

一种基于语义分割的磨粒图像分类方法及装置
技术领域
本发明涉及图像分类技术领域，特别涉及一种基于语义分割的磨粒图像分类方法及装置。
背景技术
目前，对于图像进行分类已经有大量的研究成果，现有的图像分类方法包括传统的图像分类方法和基于深度学习的图像分类方法(网络自动提取特征)。尤其是基于深度学习的图像分类技术已经非常成熟。
但是，在一些特定的图像分析领域(如磨粒图像分析)，图像中的目标通常是很小的，即目标占据的像素少、背景占据的像素多，从而增加了分类的难度。把目前这些成熟的图像分类技术应用到如上所述的特定领域时，分类效果却不尽人意。因此，设计更好的小目标、大背景图像分类方法是非常有必要的。
发明内容
本发明提供了一种基于语义分割的磨粒图像分类方法及装置，以解决现有的图像分类方法对磨粒图像的分类效果不够理想的技术问题。
为解决上述技术问题，本发明提供了如下技术方案：
一方面，本发明提供了一种基于语义分割的磨粒图像分类方法，包括：
利用链式通道注意力网络提取待分类的磨粒图像的图像特征；
利用基于类注意力的语义分割网络对提取到的图像特征进行语义分割；
基于语义分割结果，利用分类网络得到当前待分类的磨粒图像的分类结果。
进一步地，所述语义分割网络使用的分割损失函数的表达式如下：
Figure GDA0003222945200000011
其中，Lossseg表示分割损失函数，α表示每类的权重，fnijc表示第n个磨粒图像的语义分割标签，segnijc表示语义分割网络输出的第n个磨粒图像的分割结果，N表示磨粒图像的个数，C表示磨粒数，W和H表示语义分割结果的大小；
所述链式通道注意力网络包括三个第一链式通道模块，两个第二链式通道模块，所述第一链式通道模块包括依次连接的两个卷积层、最大池化层、平均池化层以及全连接层；其中，在所述第一链式通道模块中，最大池化层的输出与全连接层的输出进行融合；所述第二链式通道模块包括依次连接的三个卷积层、最大池化层、平均池化层以及全连接层；其中，在所述第二链式通道模块中，最大池化层的输出与全连接的输出融合。
进一步地，当计算背景损失时，α的值为0.001，当计算磨粒损失时，α的值为1。
进一步地，所述分类网络使用的分类损失函数Losscla的表达式如下：
Figure GDA0003222945200000021
其中，Losscla表示分类损失函数，N表示磨粒图像的个数，C表示磨粒数，ync表示第n个磨粒图像的类标签，clanc表示第n个磨粒图像的分类结果。
另一方面，本发明还提供了一种基于语义分割的磨粒图像分类装置，包括：
图像特征提取模块，用于利用链式通道注意力网络提取待分类的磨粒图像的图像特征；
语义分割模块，用于利用基于类注意力的语义分割网络对所述图像特征提取模块提取到的图像特征进行语义分割；
图像分类模块，用于基于所述语义分割模块输出的语义分割结果，利用分类网络得到当前待分类的磨粒图像的分类结果；
所述链式通道注意力网络包括三个第一链式通道模块，两个第二链式通道模块，所述第一链式通道模块包括依次连接的两个卷积层、最大池化层、平均池化层以及全连接层；其中，在所述第一链式通道模块中，最大池化层的输出与全连接层的输出进行融合；所述第二链式通道模块包括依次连接的三个卷积层、最大池化层、平均池化层以及全连接层；其中，在所述第二链式通道模块中，最大池化层的输出与全连接的输出融合。
进一步地，所述语义分割模块中的语义分割网络使用的分割损失函数的表达式如下：
Figure GDA0003222945200000022
其中，Lossseg表示分割损失函数，α表示每类的权重，fnijc表示第n个磨粒图像的语义分割标签，segnijc表示语义分割网络输出的第n个磨粒图像的分割结果，N表示磨粒图像的个数，C表示磨粒数，W和H表示语义分割结果的大小。
进一步地，所述语义分割模块还用于：当计算背景损失时，将α的值设置为0.001，当计算磨粒损失时，将α的值设置为1。
进一步地，所述图像分类模块中的分类网络使用的分类损失函数Losscla的表达式如下：
Figure GDA0003222945200000031
其中，Losscla表示分类损失函数，N表示磨粒图像的个数，C表示磨粒数，ync表示第n个磨粒图像的类标签，clanc表示第n个磨粒图像的分类结果。
再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
本发明提供的技术方案带来的有益效果至少包括：
本发明的图像分类方法利用链式通道注意力网络提取图像特征，能够提取出更具代表性的退昂特征；利用基于类注意力的语义分割网络获取图像分割结果，利用语义分割标签引导模型关注目标区域，有利于后面的分类网络分类出图像中的小目标；利用类注意单元引导模型关注图像中包含的类型，有利于后面的分类网络更加准确地分类。基于分割结果，利用分类网络获取图像分类结果。本发明提供的方法有利于分类出图像中的小目标，从而有效解决当前一些特定领域“由于目标占据的像素少，背景占据的像素多而难以分类”的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于语义分割的磨粒图像分类方法的流程示意图；
图2为本发明实施例提供的基于语义分割的磨粒图像分类模型的结构图；
图3为磨粒原始图像；
图4为切割后的磨粒图像；
图5为本发明实施例提供的磨粒图像分类模型的分割结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
第一实施例
本实施例提供了一种基于语义分割的磨粒图像分类方法，能够通过链式通道注意力网络和基于类注意力的语义分割网络引导模型关注图像中的目标区域，使用语义分割标签引导模型训练，一定程度上增大了小目标的正样本数量，更有利于模型分类出图像中的小目标，从而有效解决当前一些特定领域“由于目标占据的像素少，背景占据的像素多而难以分类”的问题。
本实施例的基于语义分割的磨粒图像分类方法可以由电子设备实现，该电子设备可以是终端或者服务器。该方法的执行流程如图1所示，包括以下步骤：
S101，利用链式通道注意力网络提取待分类的磨粒图像的图像特征；
需要说明的是，链式通道注意力网络使模型在提取图像特征的过程中，总是关注更重要的通道，提取出更具代表性的特征。基于此，本实施例的方法利用链式通道注意力网络提取图像特征，能够提取出更具代表性的退昂特征。
其中，如图2所示，所述链式通道注意力网络包括三个第一链式通道模块，两个第二链式通道模块，所述第一链式通道模块包括依次连接的两个卷积层、最大池化层、平均池化层以及全连接层；其中，在所述第一链式通道模块中，最大池化层的输出与全连接层的输出进行融合；所述第二链式通道模块包括依次连接的三个卷积层、最大池化层、平均池化层以及全连接层；其中，在所述第二链式通道模块中，最大池化层的输出与全连接的输出融合。
S102，利用基于类注意力的语义分割网络对提取的图像特征进行语义分割；
需要说明的是，当前随着深度学习的发展，语义分割技术也得到了快速的发展。语义分割技术能够分类图像中的每一个像素，主要作用是对图像进行分割。语义分割的优势是训练过程中使用的标签是基于像素的，因此在分割小目标时，语义分割技术在一定程度上增大了小目标的正样本数量，更有利于小目标的分割和分类。因此，本实施例为了解决小目标难以分割的问题，将语义分割应用到图像分类，从而提高小目标图像分类的准确率。本实施例的基于类注意力的语义分割网络利用语义分割标签引导模型关注目标区域，有利于后面的分类网络分类出图像中的小目标；基于类注意力的语义分割网络利用类注意单元引导模型关注图像中包含的类型，有利于后面的分类网络更加准确地分类。
S103，基于语义分割网络输出的语义分割结果，利用分类网络得到当前待分类的磨粒图像的分类结果。
需要说明的是，对于图像的分类，本实施例是基于语义分割网络输出的语义分割结果，使用全局平均池化和Sigmoid函数输出图像分类结果。
基于上述，本实施例构建出了基于语义分割的磨粒图像分类模型，该磨粒图像分类模型的结构如图2所示，其实现过程如下：
采用光学方法对发动机润滑油进行在线监测，获取磨粒原始图像，如图3所示。数据集中有4种磨粒：滑动磨粒、疲劳磨粒、切削磨粒和球形磨粒。为了更直观地展示不同类型的磨粒，将四种磨粒从磨粒原始图像中分割出，得到这4种磨粒，如图4所示。网络参数随机初始化，使用如下损失函数Loss和Adam优化器在GPU(GeForce RTX 2080Ti)迭代更新网络参数，迭代次数为17040次，批量大小为4，初始学习率为0.0001。采用两种损失函数优化网络，即分割损失(Lossseg)和分类损失(Losscla)。分割损失采用逐像素计算交叉熵损失；分类损失使用二元交叉熵损失。在计算分割损失时，降低了背景损失的权重。这是因为与整个磨粒图像中的背景相比，磨粒所占据的区域非常小。磨粒平均像素尺寸不大于40*40，背景图像尺寸为480*640。因此，为了平衡正样本和负样本，背景像素损失的权重被设置为0.001。损失函数Loss的计算公式如下所示：
Loss＝Lossseg+Losscla
Figure GDA0003222945200000051
Figure GDA0003222945200000052
其中，Lossseg表示分割损失函数，Losscla表示分类损失函数，α表示每类的权重，当计算背景损失时，α的值为0.001，当计算磨粒损失时，α的值为1。Fn＝{fnijc|1≤n≤N，1≤i≤W，1≤j≤H，1≤c≤C}表示第n个磨粒图像的语义分割标签。如果第n个磨粒图像的位置(i，j)的像素属于c类，则fnijc＝1，否则，fnijc＝0。Segn＝{segnijc|1≤n≤N，1≤i≤W，1≤j≤H，1≤c≤C}表示网络输出的第n个磨粒图像的分割结果。Yn＝{ync，|1≤n≤N，1≤c≤C}为第n个磨粒图像的类标签。如果第n个磨粒图像中包含第c类，则ync＝1，否则，ync＝0。Clan＝{clanc，|1≤n≤N，1≤c≤C}表示第n个磨粒图像的分类结果。N表示磨粒图像的个数，C表示磨粒数，W和H表示网络语义分割结果的大小。
采用下列方法对上述基于语义分割的磨粒图像分类模型进行训练：
(1)获取磨粒图像数据集，将磨粒图像数据集划分为训练集和测试集；磨粒图像数据集包含4类磨粒，4379幅磨粒图像，包括3408张训练图像、480张验证图像和491张测试图像。每张磨粒图像包含一个或多个磨粒，共对10000多个磨粒进行了标记。
(2)通过链式通道注意力网络提取磨粒图像的特征。
(3)将提取到的图像特征送入到基于类注意力的语义分割网络中，输出语义分割结果，如图5所示。
(4)将语义分割结果送入到分类网络中，经分类网络中的全局平均池化和Sigmoid函数，输出分类结果。
(5)重复进行步骤(2)(3)(4)，对模型进行迭代更新，当训练集和验证集的损失趋向于收敛时，表示磨粒分类模型稳定，得到训练好的分类模型。
(6)将测试集中的磨粒图像输入到训练好的分类模型中，得到输入磨粒图像的类型。
进一步地，为了验证本实施例提出的基于语义分割的磨粒图像分类方法在提升分类准确率上的有效性，将本实施例的基于语义分割的图像分类方法记为磨粒分类新方法(WPC-SS)。分别以相同的实验条件和相同的数据集对ResNet50、VGG16和WPC-SS进行训练和测试，对实验结果进行对比。因为本实施例中每张磨粒图像包含多个磨粒，所以本实施例的分类任务属于多标签分类任务，故使用mAP(mean average precision)评估了每种磨粒分类方法的分类效果。
如表1展示了ResNet50、VGG16和WPC-SS这三种方法在测试集上的分类结果，可以看出，和WPC-SS的mAP是96.9％，当单独从每一类的AP来看，WPC-SS在滑动磨粒、疲劳磨粒、切削磨粒、球形磨粒这4类磨粒上的AP分别是94.44％，97.81％，95.41％，100.00％，无论是总体的mAP还是每一类AP，都优于现有的分类模型ResNet50和VGG16。因为与图像背景相比，磨粒的尺寸非常小。如果直接使用标准的图像分类网络(ResNet50、VGG16等)进行分类，提取的特征信息可能不足，导致分类不准确。本实施例中的基于语义分割的磨粒图像分类算法(WPC-SS)，利用语义分割标签训练网络。由于损失是逐像素计算的，在一定程度上增加了正样本数，使模型更加关注有磨粒的区域，减少了大量背景信息的干扰，因此更有利于尺寸非常小的磨粒的分类。
表1 ResNet50、VGG16和WPC-SS对四种磨粒分类的AP和mAP
Figure GDA0003222945200000071
综上，本实施例的方法利用链式通道注意力网络提取图像特征，能够提取出更具代表性的退昂特征；利用基于类注意力的语义分割网络获取图像分割结果，利用语义分割标签引导模型关注目标区域，有利于后面的分类网络分类出图像中的小目标；利用类注意单元引导模型关注图像中包含的类型，有利于后面的分类网络更加准确地分类。基于分割结果，利用分类网络获取图像分类结果。本实施例提供的方法有利于分类出图像中的小目标，从而有效解决当前一些特定领域“由于目标占据的像素少，背景占据的像素多而难以分类”的问题。
第二实施例
本实施例提供了一种基于语义分割的磨粒图像分类装置，该装置包括：
图像特征提取模块，用于利用链式通道注意力网络提取待分类的磨粒图像的图像特征；
语义分割模块，用于利用基于类注意力的语义分割网络对所述图像特征提取模块提取到的图像特征进行语义分割；
图像分类模块，用于基于所述语义分割模块输出的语义分割结果，利用分类网络得到当前待分类的磨粒图像的分类结果。
本实施例的基于语义分割的磨粒图像分类装置与上述第一实施例的基于语义分割的磨粒图像分类方法相对应；其中，本实施例的基于语义分割的磨粒图像分类装置中的各功能模块所实现的功能与上述第一实施例的基于语义分割的磨粒图像分类方法中的各流程步骤一一对应；故，在此不再赘述。
第三实施例
本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。
该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。
第四实施例
本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (4)

1.一种基于语义分割的磨粒图像分类方法，其特征在于，包括：
利用链式通道注意力网络提取待分类的磨粒图像的图像特征；
利用基于类注意力的语义分割网络对提取到的图像特征进行语义分割；
基于语义分割结果，利用分类网络得到当前待分类的磨粒图像的分类结果；
所述基于类注意力的语义分割网络使用的分割损失函数的表达式如下：
Figure FDA0003222945190000011
其中，Lossseg表示分割损失函数，α表示每类的权重，fnijc表示第n个磨粒图像的语义分割标签，segnijc表示语义分割网络输出的第n个磨粒图像的分割结果，N表示磨粒图像的个数，C表示磨粒数，W和H表示语义分割结果的大小；
当计算背景损失时，α的值为0.001，当计算磨粒损失时，α的值为1；
所述链式通道注意力网络包括三个第一链式通道模块，两个第二链式通道模块，所述第一链式通道模块包括依次连接的两个卷积层、最大池化层、平均池化层以及全连接层；其中，在所述第一链式通道模块中，最大池化层的输出与全连接层的输出进行融合；所述第二链式通道模块包括依次连接的三个卷积层、最大池化层、平均池化层以及全连接层；其中，在所述第二链式通道模块中，最大池化层的输出与全连接的输出融合。
2.如权利要求1所述的基于语义分割的磨粒图像分类方法，其特征在于，所述分类网络使用的分类损失函数Losscla的表达式如下：
Figure FDA0003222945190000012
其中，Losscla表示分类损失函数，N表示磨粒图像的个数，C表示磨粒数，ync表示第n个磨粒图像的类标签，clanc表示第n个磨粒图像的分类结果。
3.一种基于语义分割的磨粒图像分类装置，其特征在于，包括：
图像特征提取模块，用于利用链式通道注意力网络提取待分类的磨粒图像的图像特征；
语义分割模块，用于利用基于类注意力的语义分割网络对所述图像特征提取模块提取到的图像特征进行语义分割；
图像分类模块，用于基于所述语义分割模块输出的语义分割结果，利用分类网络得到当前待分类的磨粒图像的分类结果；
所述语义分割模块中的语义分割网络使用的分割损失函数的表达式如下：
Figure FDA0003222945190000021
其中，Lossseg表示分割损失函数，α表示每类的权重，fnijc表示第n个磨粒图像的语义分割标签，segnijc表示语义分割网络输出的第n个磨粒图像的分割结果，N表示磨粒图像的个数，C表示磨粒数，W和H表示语义分割结果的大小；
所述语义分割模块还用于：当计算背景损失时，将α的值设置为0.001，当计算磨粒损失时，将α的值设置为1；
所述链式通道注意力网络包括三个第一链式通道模块，两个第二链式通道模块，所述第一链式通道模块包括依次连接的两个卷积层、最大池化层、平均池化层以及全连接层；其中，在所述第一链式通道模块中，最大池化层的输出与全连接层的输出进行融合；所述第二链式通道模块包括依次连接的三个卷积层、最大池化层、平均池化层以及全连接层；其中，在所述第二链式通道模块中，最大池化层的输出与全连接的输出融合。
4.如权利要求3所述的基于语义分割的磨粒图像分类装置，其特征在于，所述图像分类模块中的分类网络使用的分类损失函数Losscla的表达式如下：
Figure FDA0003222945190000022
其中，Losscla表示分类损失函数，N表示磨粒图像的个数，C表示磨粒数，ync表示第n个磨粒图像的类标签，clanc表示第n个磨粒图像的分类结果。
CN202110428069.4A 2021-04-21 2021-04-21 一种基于语义分割的磨粒图像分类方法及装置 Active CN112926697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110428069.4A CN112926697B (zh) 2021-04-21 2021-04-21 一种基于语义分割的磨粒图像分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110428069.4A CN112926697B (zh) 2021-04-21 2021-04-21 一种基于语义分割的磨粒图像分类方法及装置

Publications (2)

Publication Number Publication Date
CN112926697A CN112926697A (zh) 2021-06-08
CN112926697B true CN112926697B (zh) 2021-10-12

Family

ID=76174607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110428069.4A Active CN112926697B (zh) 2021-04-21 2021-04-21 一种基于语义分割的磨粒图像分类方法及装置

Country Status (1)

Country Link
CN (1) CN112926697B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494935B (zh) * 2021-12-15 2024-01-05 北京百度网讯科技有限公司 视频信息的处理方法、装置、电子设备和介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492272A (zh) * 2018-03-26 2018-09-04 西安交通大学 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统
CN109815931A (zh) * 2019-02-01 2019-05-28 广东工业大学 一种视频物体识别的方法、装置、设备以及存储介质
CN110705555A (zh) * 2019-09-17 2020-01-17 中山大学 基于fcn的腹部多器官核磁共振图像分割方法、系统及介质
CN111161272A (zh) * 2019-12-31 2020-05-15 北京理工大学 一种基于生成对抗网络的胚胎组织分割方法
CN111160405A (zh) * 2019-12-10 2020-05-15 南京航空航天大学 一种基于深度学习的发动机滑油磨粒识别方法
CN111507989A (zh) * 2020-04-15 2020-08-07 上海眼控科技股份有限公司 语义分割模型的训练生成方法、车辆外观检测方法、装置
CN111797835A (zh) * 2020-06-01 2020-10-20 深圳市识农智能科技有限公司 一种病症识别方法、病症识别装置及终端设备
CN111915059A (zh) * 2020-06-29 2020-11-10 西安理工大学 基于注意力机制的Seq2seq泊位占有率预测方法
CN112381140A (zh) * 2020-11-13 2021-02-19 国家能源集团泰州发电有限公司 一种基于新特征参数的磨粒图像机器学习识别方法
CN112561910A (zh) * 2020-12-28 2021-03-26 中山大学 一种基于多尺度特征融合的工业表面缺陷检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832294B (zh) * 2020-06-24 2022-08-16 平安科技（深圳）有限公司 标注数据的选择方法、装置、计算机设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492272A (zh) * 2018-03-26 2018-09-04 西安交通大学 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统
CN109815931A (zh) * 2019-02-01 2019-05-28 广东工业大学 一种视频物体识别的方法、装置、设备以及存储介质
CN110705555A (zh) * 2019-09-17 2020-01-17 中山大学 基于fcn的腹部多器官核磁共振图像分割方法、系统及介质
CN111160405A (zh) * 2019-12-10 2020-05-15 南京航空航天大学 一种基于深度学习的发动机滑油磨粒识别方法
CN111161272A (zh) * 2019-12-31 2020-05-15 北京理工大学 一种基于生成对抗网络的胚胎组织分割方法
CN111507989A (zh) * 2020-04-15 2020-08-07 上海眼控科技股份有限公司 语义分割模型的训练生成方法、车辆外观检测方法、装置
CN111797835A (zh) * 2020-06-01 2020-10-20 深圳市识农智能科技有限公司 一种病症识别方法、病症识别装置及终端设备
CN111915059A (zh) * 2020-06-29 2020-11-10 西安理工大学 基于注意力机制的Seq2seq泊位占有率预测方法
CN112381140A (zh) * 2020-11-13 2021-02-19 国家能源集团泰州发电有限公司 一种基于新特征参数的磨粒图像机器学习识别方法
CN112561910A (zh) * 2020-12-28 2021-03-26 中山大学 一种基于多尺度特征融合的工业表面缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
五次B-B曲面片构造G1连续曲面重构方法;张桃红 等;《系统仿真学报》;20071030(第19期);第1-2页 *

Also Published As

Publication number Publication date
CN112926697A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN109934293B (zh) 图像识别方法、装置、介质及混淆感知卷积神经网络
Xie et al. Spatially adaptive inference with stochastic feature sampling and interpolation
CN110837836B (zh) 基于最大化置信度的半监督语义分割方法
CN110914834A (zh) 用于图像变型和识别的神经风格迁移
JP2018501579A (ja) 画像の内容の意味表現
CN110892409B (zh) 用于分析图像的方法和装置
CN114241388A (zh) 基于时空记忆信息的视频实例分割方法和分割装置
CN114581710A (zh) 图像识别方法、装置、设备、可读存储介质及程序产品
CN114639101A (zh) 一种乳状液液滴识别系统、方法、计算机设备及存储介质
CN112926697B (zh) 一种基于语义分割的磨粒图像分类方法及装置
CN110659724B (zh) 基于目标尺度的目标检测深度卷积神经网络构建方法
CN112329857A (zh) 一种基于改进残差网络的图像分类方法
Deb et al. A CNN-based model to count the leaves of rosette plants (LC-Net)
KR20210111677A (ko) 뉴럴 네트워크의 클리핑 방법, 뉴럴 네트워크의 컨벌루션 계산 방법 및 그 방법을 수행하기 위한 전자 장치
CN112465847A (zh) 一种基于预测清晰边界的边缘检测方法、装置及设备
US20240233325A9 (en) Method for classifying images and electronic device
CN116189130A (zh) 基于图像标注模型的车道线分割方法及装置
CN116229073A (zh) 一种基于改进型ERFNet网络的遥感图像分割方法及装置
CN113095185B (zh) 人脸表情识别方法、装置、设备及存储介质
Kocaman et al. Saliency can be all you need in contrastive self-supervised learning
Xu et al. A slimmer and deeper approach to network structures for image denoising and dehazing
CN110598125A (zh) 一种评估关键意见领袖投入的方法及装置、存储介质
CN117437684B (zh) 一种基于修正注意力的图像识别方法和装置
CN111612791B (zh) 图像分割方法、装置、电子设备及存储介质
YuanLai Research on image region classification based on automatic segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant