CN111598844B - 一种图像分割方法、装置、电子设备和可读存储介质 - Google Patents
一种图像分割方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN111598844B CN111598844B CN202010333114.3A CN202010333114A CN111598844B CN 111598844 B CN111598844 B CN 111598844B CN 202010333114 A CN202010333114 A CN 202010333114A CN 111598844 B CN111598844 B CN 111598844B
- Authority
- CN
- China
- Prior art keywords
- feature map
- image
- lstm
- segmentation network
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003709 image segmentation Methods 0.000 title claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 101
- 230000007246 mechanism Effects 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 75
- 230000015654 memory Effects 0.000 claims description 41
- 230000007787 long-term memory Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 description 48
- 238000010586 diagram Methods 0.000 description 18
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000288105 Grus Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像分割方法、装置、电子设备和可读存储介质，该方法包括：获取待检测图像；将待检测图像输入预置的CNN分割网络，通过CNN分割网络至少获得第一特征图和第二特征图，第一特征图和第二特征图输出自CNN分割网络中不同的卷积层；将第一特征图和第二特征图分别输入到预置的基于注意力机制的LSTM分割网络中，从而得到图像分割结果。上述方案通过获取待检测图像，利用基于CNN的语义分割网络模型确定至少两组特征图，然后根据上述至少两组特征图利用基于注意力机制的LSTM分割网络分割出故障区域等操作，提高了故障检测与分割的效率与精度。
Description
技术领域
本申请涉及图像分割与检测技术领域，具体涉及一种图像分割方法、装置、电子设备和可读存储介质。
背景技术
工业领域的故障或缺陷部件检测一直是人们普遍关注的问题。传统的故障检测主要依赖于人工方式，具有效率低，误检率高等缺点。近些年来随着工业4.0时代的到来和深度学习的广泛应用，利用深度学习方式进行故障检测逐渐成为了主流方式。工业部件故障检测的一个主要需求是精确定位出故障区域。如图5所示为一个故障部件的实例图，图6所示为该故障部件故障区域的标定图，根据图可明显看出故障区域具体位置和形状。
目前主流的图像分割网络，如FCN(Fully Convolutional Networks forSemantic Segmentation，全卷积语义分割网络)、U-Net(U-Net:Convolutional Networksfor Biomedical Image Segmentation，U形卷积语义分割网络)等，在进行图像分割的时，存在边界不清晰，丢失微小目标等问题，如图7～图9所示。图7～图9的左侧图像为采用分割网络的分割结果，右侧为标注的真实标定(ground truth)，对比上述左右两侧图像，可以发现现有的图像分割网络的分割结果存在分割模糊、故障的位置和边界形状不够准确以及丢失微小目标等问题。
发明内容
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的图像分割方法、装置、电子设备和可读存储介质。
依据本申请的一个方面，提供了一种图像分割方法，所述方法包括：
获取待检测图像；
将待检测图像输入预置的CNN分割网络，通过所述CNN分割网络至少获得第一特征图和第二特征图，所述第一特征图和所述第二特征图输出自所述CNN分割网络中不同的卷积层；
将所述第一特征图和所述第二特征图分别输入到预置的基于注意力机制的LSTM分割网络中，从而得到图像分割结果。
可选的，所述通过所述CNN分割网络获得第一特征图和第二特征图包括：
通过所述CNN分割网络中至少三个卷积层运算后获得包括高维简化信息的第一特征图；
通过所述CNN分割网络在前的若干个卷积层运算后获得包括低维记忆信息的第二特征图。
可选的，所述预置的基于注意力机制的LSTM分割网络的确定步骤包括：
分别确定第一注意力函数和第二注意力函数；
将所述第一特征图通过所述第一注意力函数运算后输入到LSTM单元；
将所述第二特征图通过所述第二注意力函数运算后也输入到LSTM单元。
可选的，所述将所述第一特征图通过所述第一注意力函数运算后输入到LSTM单元包括：
将前一LSTM单元的隐藏层的输出通过所述第一注意力函数中的门函数后，与第一特征图相乘，然后将相乘的结果输入到下一LSTM单元。
可选的，所述将所述第二特征图通过所述第二注意力函数运算后也输入到LSTM单元：
将前一LSTM单元的输出通过第二注意力函数中的门函数后，与第二特征图相乘，然后将相乘的结果也输入到下一LSTM单元。
可选的，所述门函数为Sigmoid函数，所述相乘的运算为点积运算。
可选的，所述待检测图像为二维图像，所述CNN分割网络和所述基于注意力机制的LSTM分割网络中的卷积运算为二维运算。
依据本申请的另一方面，提供了一种图像检测装置，所述装置包括：
获取单元，适于获取待检测图像；
卷积单元，适于将待检测图像输入预置的CNN分割网络，通过所述CNN分割网络至少获得第一特征图和第二特征图，所述第一特征图和所述第二特征图输出自所述CNN分割网络中不同的卷积层；
分割单元，适于将所述第一特征图和所述第二特征图分别输入到预置的基于注意力机制的LSTM分割网络中，从而得到图像分割结果。
依据本申请的又一方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。
依据本申请的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的方法。
由上述可知，本申请公开的技术方案，通过获取待检测图像，利用CNN的语义分割网络确定出至少两组特征图，然后针对上述各特征图利用基于注意力机制的LSTM分割网络分割出故障区域等操作，解决了现有分割网络中存在的分割模糊、故障的位置和边界形状不够准确以及丢失微小目标等问题，提高了故障检测与分割的效率与精度。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本申请一个实施例的图像分割方法的流程示意图；
图2示出了根据本申请一个实施例的图像分割装置的结构示意图；
图3示出了根据本申请一个实施例的电子设备的结构示意图；
图4示出了根据本申请一个实施例的计算机可读存储介质的结构示意图；
图5示出了根据本申请中一个故障部件的实例图；
图6示出了根据本申请中一个故障部件故障区域真实标定图；
图7示出了根据现有卷积网络中一个故障部件分割结果与真实标定结果的对比；
图8示出了根据现有卷积网络中另一个故障部件分割结果与真实标定结果的对比；
图9示出了根据现有卷积网络中又一个故障部件分割结果与真实标定结果的对比；
图10示出了根据现有技术中RNN网络的结构示意图；
图11示出了根据现有技术中LSTM网络的结构示意图；
图12示出了根据本申请一个实施例的总体技术构思的流程示意图；
图13示出了根据本申请一个实施例的CNN的结构示意图；
图14示出了根据本申请一个实施例的图像分割方案的结构示意图；
图15示出了根据本申请一个实施例的基于注意力机制的LSTM网络的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
其中，CNN(Convolutional Neural Networks，卷积神经网络)网络包括输入层、中间隐藏层和输出层，中间隐藏层通过激活函数控制输出，层与层之间通过权值连接。隐藏层包括卷积层和池化层，卷积层+归一化(Batch Normalized)层+池化层的组合可以在隐藏层出现很多次，具体次数是根据模型的需要设计。当然也可以灵活使用使用卷积层+卷积层，或者卷积层+卷积层+池化层的组合，在构建网络模型的时候没有限制。本申请中的CNN分割网络不仅包括上述基础的CNN网络，还包括是基于CNN发展出来的语义分割网络，如FCN、U-Net等。
LSTM(Long-Short Term Memory，长短期记忆人工神经网络)网络是一种时间循环(递归)神经网络RNN，而RNN(Recurrent Neural Network，循环神经网络)是一类用于处理序列数据的神经网络，时间序列数据是指在不同的时间点上收集到的数据，通过RNN网络可以利用序列数据中前后信息，使得该网络具有一定的记忆能力。
在本申请中，通过分析现有图像分割的主干网络，发现在主干网络进行运算的过程中主要采用CNN卷积层实现图像特征的提取，虽然有非线性操作的部分，但是在CNN运算的过程中，各个特征信道间只是简单的线性运算，并没有考虑到各特征通道间可能存在的关联关系。因此为了充分考虑各特征信道间相互关联，可以采用具有RNN结构的网络进行分割输出，如图10所示为RNN的几种结构示意图，从左到右依次为1对1，1对多，多对1，多对多模式1，和多对多模式2，可根据实际的分割需求进行选取，图中的每个框指代网络中的一个模块。例如：如果分割结果是灰度图，那么可以选择n-1的结构，如果分割结果是3通道的彩色图，那么可以选择n-m的结构。在RNN网络中，输入的变量为图像各特征信道。
LSTM网络进一步地利用了RNN网络上述特征，可以很好地解决长时依赖问题。如图11所示的LSTM的记忆单元，包含了输入门，遗忘门和输出门，方框内上方的水平线，被称为cellstate(单元状态)，就像一个传送带，可以控制信息传递给下一时刻。LSTM网络通过各个门函数的设计可以避免RNN网络梯度消失、梯度爆炸等问题。
为了更好的应用LSTM网络对各个通道的影响，本申请在LSTM网络中引入了注意力机制。注意力模型(AttentionModel，AM)最初被用于机器翻译，现在已成为神经网络领域的一个重要概念。注意力机制可以利用人类视觉机制进行直观解释。例如，人类视觉系统倾向于关注图像中辅助判断的部分信息，并忽略不相关的信息。同样，在涉及语言或视觉的问题中，输入的某些部分可能会比其他部分对决策更有帮助。注意力模型用于提高神经网络的可解释性；有助于克服递归神经网络RNN中的一些挑战，例如随着输入长度的增加性能下降，以及输入顺序不合理导致的计算效率低下。
综上，本申请提出了一种用于图像分割的全新方案，参见图12所示的本申请中技术构思的流程示意图，包括：在CNN分割网络的基础上，引入基于注意力机制的LSTM网络对特征图做进一步分割处理，从而提高故障部件中故障区域分割的效率和精度。
图1示出了根据本申请一个实施例的图像分割方法的流程示意图；所述方法100包括：
步骤110，获取待检测图像。该待检测图像可以是灰度图，也可以是具有RGB三通道的彩色图像；且图像不仅限于故障部件的图像，也可以是用于例如医疗检测等任何其他待分割的图像。
步骤120，将待检测图像输入预置的CNN分割网络，通过所述CNN分割网络至少获得第一特征图和第二特征图，所述第一特征图和所述第二特征图输出自CNN分割网络中不同的卷积层。
预置的CNN分割网络可以是经训练或未经训练的卷积神经网络CNN，也可以是语义分割网络如FCN、SegNet、U-Net、FC-DensenetE-Net以及Link-Net、RefineNet、PSPNet、Mask-RCNN中的任一种。
为了获得多个特征图，CNN分割网络可以仅包括一个主干网络，然后在合适的卷积层上输出若干个特征图，也可以是同时具有多个分支的CNN网络构成的分割网络模型。
关于特征图的获取，根据注意力模型的要求，避免分割网络丢失小目标、在高维信息中丢失重要的低维信息，所以也需要关注不同卷积层输出的各维度的信息。优选的，在单一主干网络中，可以获取CNN分割网络中的第一个卷积层输出包括更多记忆信息的低维信息的特征图，然后获取处于中间位置的中维度层输出的特征图，再获取上述分割网络中最后一个卷积层输出的特征图。
步骤130，将所述第一特征图和所述第二特征图分别输入到预置的基于注意力机制的LSTM分割网络中，从而得到图像分割结果。
该步骤可以将上述至少包括第一特征图和第二特征图输入到基于注意力机制的LSTM分割网络中，从而获得经过该第二个分割网络处理后的图像分割结果。其中注意力机制一般由注意力函数实现，该注意力函数可以根据突出某部分特征图的特点而进行设计，在该实施例中不做具体限定，注意力函数的数量可以根据特征图的数量确定，其可以设置在LSTM网络前端、后端或者其他位置。
综上，由于该实施例公开的上述图像分割方法引入了多特征图、注意力机制以及LSTM网络到现有的语义分割网络中，使得经过训练后的分割网络模型包括了更多的记忆信息和关联信息，因此能够获得精度更高和效率更高的图像分割结果。
在一个或一些实施例中，所述通过所述CNN分割网络获得第一特征图和第二特征图包括：
通过所述CNN分割网络中至少三个卷积层运算后获得包括高维简化信息的第一特征图，即第一特征图是高维的由CNN主干网络输出的特征图；通过CNN网络获得包括低维记忆信息的第二特征图参见图13所示，该实施例以获得两个特征图为例，并对第一特征图和第二特征图做了进一步的限定。其中，第一特征图是经过多次卷积、下(上)采样以及池化后的高维特征图，集中反映了图像分割信息；而第二特征图是低维的特征图，包括了更多的低维信息，从而为第一特征图提供了前序记忆信息，有利于后续图像分割的精确实现。
在一个实施例中，所述预置的基于注意力机制的LSTM分割网络的确定步骤包括：
分别确定第一注意力函数和第二注意力函数；
将所述第一特征图通过所述第一注意力函数运算后输入到LSTM单元；
将所述第二特征图通过所述第二注意力函数运算后也输入到LSTM单元。
CNN语义分割网络输出的图像特征信息是无序的特征信息，在使用LSTM网络时强行加入了时序信息，那么加入的时序信息对网络到底造成了什么不良的影响，如果交换时序的输入顺序，输出结果是否会产生很大的差异。本申请为了避免不同的时序造成不同影响，同时能够关注当前的时序顺序到底对当前输入造成了哪些影响，如何调整当前输入才能获得更好的结果，因此引入了针对特征图的注意力机制。
该实施例中给出了一种注意力函数和LSTM单元连接的具体结构，参见图14所示，它将注意力函数设置在了LSTM单元的前端，其中的第一注意力函数和第二注意力函数可以相同也可以不同，可根据需要设置。该实施例中的LSTM单元既可以是常规的网络记忆单元结构，也可以是改进的LSTM网络单元结构，如GRU以及其他的变形结构。
在一个实施例中，所述将所述第一特征图通过所述第一注意力函数运算后输入到LSTM单元包括：
将前一LSTM单元的隐藏层的输出通过所述第一注意力函数中的门函数后，与第一特征图相乘，然后将相乘的结果输入到下一LSTM单元。该前一LSTM单元和下一LSTM单元是相邻的两个记忆单元。
该实施例给出了一种将注意力函数、特征图以及LSTM单元综合运算的详细实施方式。具体参见图14和图15。具体是：将前一LSTM单元得到的隐藏层输出通过一个门函数，得到新的特征输出，该特征与CNN网络的特征图相乘，得到新的特征图像作为下一LSTM单元的输入。
针对第二特征图进行了与第一特征图似的运算，包括：将前一LSTM单元的输出通过第二注意力函数中的门函数后，与第二特征图相乘，然后将相乘的结果也输入到下一LSTM单元。
根据上述分析可知，由于LSTM网络的长时记忆信息是由CNN网络的高维特征信息提供的，高维的特征信息可能会丢失了一些重要的低维信息(池化等操作的影响)，LSTM网络的长时记忆单元也可能丢失一些重要的信息，为了避免丢失的信息对输出结果造成不良的影响，因此，在该实施例中引入残余记忆注意力机制。具体是：将前一LSTM单元的长时记忆输出通过门函数，通过门函数的值与低维记忆信息特征图相乘得到记忆信息，然后将该记忆信息与第一特征图获得的信息以及LSTM网络层的输出一起，作为下一个LSTM单元的输入。
在一个实施例中，所述门函数为Sigmoid函数，所述相乘的运算为点积运算。
Sigmoid函数是机器学习中比较常用的一个函数，在逻辑回归、人工神经网络中有着广泛的应用，它是一种形状为S形曲线的数学函数，由于其取值范围为(0，1)，可作为权重系数使用。
在一个实施例中，所述待检测图像为二维图像，且所述CNN分割网络和所述基于注意力机制的LSTM分割网络中的卷积运算为二维运算。
值得注意的是，LSTM网络最初是解决语言翻译的问题，参与的数据是一维的，而本申请中的图像数据是二维数据，因此，本申请中的运算需要由一维运算改为二维运算。
具体地，根据附图15，可以得到基于注意力机制的LSTM分割网络的计算公式如下所示：
ht＝ot·tanh(Ct)。
其中，xt表示第一特征图的二维向量，mt表示第二特征图的二维向量，ct-1和ct分别表示t-1和t时刻的记忆单元状态，ht-1和ht分别表示t-1和t时刻的输出，xt表示t时刻的输入，ft、it和ot分别表示遗忘门、输入门和输出门的处理结果，用于描述当前的输入状态，W为对应输入或输出的权值矩阵，/>为记忆单元当前的输入状态，·表示点积运算，σ表示Sigmoid激活操作，tanh表示Tanh激活操作。
图2示出了根据本申请一个实施例的图像分割装置的结构示意图；所述装置包括：
获取单元210，适于获取待检测图像。该待检测图像可以是灰度图，也可以是具有RGB三通道的彩色图像；且图像不仅限于故障部件的图像，也可以是用于医疗检测等任何其他待分割的图像。
卷积单元220，适于将待检测图像输入预置的CNN分割网络，通过所述CNN分割网络至少获得第一特征图和第二特征图，所述第一特征图和所述第二特征图输出自CNN分割网络中不同的卷积层。
分割单元230，适于将所述第一特征图和所述第二特征图分别输入到预置的基于注意力机制的LSTM分割网络中，从而得到图像分割结果。
综上，由于该实施例公开的上述图像分割装置引入了多特征图、注意力机制以及LSTM网络到语义分割网络中，使得经过训练后的分割网络模型包括了更多的记忆信息和关联信息，因此能够获得精度更高的图像分割结果。
在一个或一些实施例中，所述卷积单元220适于：
通过所述CNN分割网络中至少三个卷积层运算后获得包括高维简化信息的第一特征图；通过所述CNN分割网络在前的若干个卷积层运算后获得包括低维记忆信息的第二特征图。
在一个实施例中，所述分割单元230适于：
分别确定第一注意力函数和第二注意力函数；
将所述第一特征图通过所述第一注意力函数运算后输入到LSTM单元；
将所述第二特征图通过所述第二注意力函数运算后也输入到LSTM单元。
在一个实施例中，所述分割单元230进一步适于：
将前一LSTM单元的隐藏层的输出通过所述第一注意力函数中的门函数后，与第一特征图相乘，然后将相乘的结果输入到下一LSTM单元。针对第二特征图进行了与第一特征图似的运算，包括：将前一LSTM单元的输出通过第二注意力函数中的门函数后，与第二特征图相乘，然后将相乘的结果也输入到下一LSTM单元。
其中，前一LSTM单元和下一LSTM单元是相邻的两个记忆单元。
在一个实施例中，所述门函数为Sigmoid函数，所述相乘的运算为点积运算。
在一个实施例中，所述待检测图像为二维图像，且所述CNN分割网络和所述基于注意力机制的LSTM分割网络中的卷积运算为二维运算。
综上所述，本申请公开的图像分割方案包括：获取待检测图像；将待检测图像输入预置的CNN分割网络，通过CNN分割网络至少获得第一特征图和第二特征图，第一特征图和第二特征图输出自不同的卷积层；将第一特征图和第二特征图分别输入到预置的基于注意力机制的LSTM分割网络中，从而得到图像分割结果。上述方案通过获取待检测图像，利用基于CNN的语义分割网络模型确定至少两个特征图，然后利用基于注意力机制的LSTM分割网络分割出故障区域等操作，解决了现有分割网络分割边界不清晰结果不准确等问题，提高了部件故障检测中图像分割的效率与精度。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个申请方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，申请方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的图像分割装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图3示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备300包括处理器310和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码331的存储空间330。例如，用于存储计算机可读程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码331。计算机可读程序代码331可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质。图4示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质400存储有用于执行根据本申请的方法步骤的计算机可读程序代码331，可以被电子设备300的处理器310读取，当计算机可读程序代码331由电子设备300运行时，导致该电子设备300执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码331可以执行上述任一实施例中示出的方法。计算机可读程序代码331可以以适当形式进行压缩。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (6)
1.一种图像分割方法，其特征在于，所述方法包括：
获取待检测图像；
将待检测图像输入预置的CNN分割网络，通过所述CNN分割网络至少获得第一特征图和第二特征图，所述第一特征图和第二特征图输出自所述CNN分割网络中不同的卷积层；
将所述第一特征图和所述第二特征图分别输入到预置的基于注意力机制的LSTM分割网络中，从而得到图像分割结果；其中，
所述通过所述CNN分割网络至少获得第一特征图和第二特征图包括：
通过所述CNN分割网络中至少三个卷积层运算后获得包括高维简化信息的第一特征图；
通过所述CNN分割网络在前的若干个卷积层运算后获得包括低维记忆信息的第二特征图；
所述预置的基于注意力机制的LSTM分割网络的确定步骤包括：
分别确定第一注意力函数和第二注意力函数；
将所述第一特征图通过所述第一注意力函数运算后输入到LSTM单元；
将所述第二特征图通过所述第二注意力函数运算后也输入到LSTM单元；
所述方法还包括：
引入残余记忆注意力机制，将前一LSTM单元的长时记忆输出通过门函数，通过门函数的值与低维记忆信息特征图相乘得到记忆信息，然后将该记忆信息与第一特征图获得的信息以及LSTM网络层的输出一起，作为下一个LSTM单元的输入；
所述将所述第一特征图通过所述第一注意力函数运算后输入到LSTM单元包括：
将前一LSTM单元的隐藏层的输出通过所述第一注意力函数中的门函数后，与第一特征图相乘，然后将相乘的结果输入到下一LSTM单元；
所述将所述第二特征图通过所述第二注意力函数运算后也输入到LSTM单元包括：
将前一LSTM单元的输出通过第二注意力函数中的门函数后，与第二特征图相乘，然后将相乘的结果也输入到下一LSTM单元。
2.如权利要求1所述的方法，其特征在于，所述门函数为Sigmoid函数，所述相乘的运算为点积运算。
3.如权利要求1所述的方法，其特征在于，所述待检测图像为二维图像，所述CNN分割网络和所述基于注意力机制的LSTM分割网络中的卷积运算为二维运算。
4.一种图像检测装置，其特征在于，所述装置包括：
获取单元，适于获取待检测图像；
卷积单元，适于将待检测图像输入预置的CNN分割网络，通过所述CNN分割网络至少获得第一特征图和第二特征图，所述第一特征图和第二特征图输出自所述CNN分割网络中不同的卷积层；
分割单元，适于将所述第一特征图和所述第二特征图分别输入到预置的基于注意力机制的LSTM分割网络中，从而得到图像分割结果；其中，
所述通过所述CNN分割网络至少获得第一特征图和第二特征图包括：
通过所述CNN分割网络中至少三个卷积层运算后获得包括高维简化信息的第一特征图；
通过所述CNN分割网络在前的若干个卷积层运算后获得包括低维记忆信息的第二特征图；
所述预置的基于注意力机制的LSTM分割网络的确定步骤包括：
分别确定第一注意力函数和第二注意力函数；
将所述第一特征图通过所述第一注意力函数运算后输入到LSTM单元；
将所述第二特征图通过所述第二注意力函数运算后也输入到LSTM单元；
所述分割单元还用于：
引入残余记忆注意力机制，将前一LSTM单元的长时记忆输出通过门函数，通过门函数的值与低维记忆信息特征图相乘得到记忆信息，然后将该记忆信息与第一特征图获得的信息以及LSTM网络层的输出一起，作为下一个LSTM单元的输入；
所述将所述第一特征图通过所述第一注意力函数运算后输入到LSTM单元包括：
将前一LSTM单元的隐藏层的输出通过所述第一注意力函数中的门函数后，与第一特征图相乘，然后将相乘的结果输入到下一LSTM单元；
所述将所述第二特征图通过所述第二注意力函数运算后也输入到LSTM单元包括：
将前一LSTM单元的输出通过第二注意力函数中的门函数后，与第二特征图相乘，然后将相乘的结果也输入到下一LSTM单元。
5.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-3中任一项所述的方法。
6.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1-3中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010333114.3A CN111598844B (zh) | 2020-04-24 | 2020-04-24 | 一种图像分割方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010333114.3A CN111598844B (zh) | 2020-04-24 | 2020-04-24 | 一种图像分割方法、装置、电子设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111598844A CN111598844A (zh) | 2020-08-28 |
| CN111598844B true CN111598844B (zh) | 2024-05-07 |
Family
ID=72187688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010333114.3A Active CN111598844B (zh) | 2020-04-24 | 2020-04-24 | 一种图像分割方法、装置、电子设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111598844B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113625144A (zh) * | 2021-08-11 | 2021-11-09 | 北京信息科技大学 | Igbt故障预测方法和系统 |
| CN114267015B (zh) * | 2021-12-24 | 2022-09-09 | 广东蓝鲲海洋科技有限公司 | 一种海洋异常区域的智能检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052512A (zh) * | 2017-11-03 | 2018-05-18 | 同济大学 | 一种基于深度注意力机制的图像描述生成方法 |
| CN109740419A (zh) * | 2018-11-22 | 2019-05-10 | 东南大学 | 一种基于Attention-LSTM网络的视频行为识别方法 |
| CN110189334A (zh) * | 2019-05-28 | 2019-08-30 | 南京邮电大学 | 基于注意力机制的残差型全卷积神经网络的医学图像分割方法 |
| CN110287814A (zh) * | 2019-06-04 | 2019-09-27 | 北方工业大学 | 一种基于图像目标特征和多层注意力机制的视觉问答方法 |
| CN110930397A (zh) * | 2019-12-06 | 2020-03-27 | 陕西师范大学 | 一种磁共振图像分割方法、装置、终端设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10268883B2 (en) * | 2017-08-10 | 2019-04-23 | Adobe Inc. | Form structure extraction network |
| US11030750B2 (en) * | 2018-10-03 | 2021-06-08 | Merck Sharp & Dohme Corp. | Multi-level convolutional LSTM model for the segmentation of MR images |
-
2020
- 2020-04-24 CN CN202010333114.3A patent/CN111598844B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052512A (zh) * | 2017-11-03 | 2018-05-18 | 同济大学 | 一种基于深度注意力机制的图像描述生成方法 |
| CN109740419A (zh) * | 2018-11-22 | 2019-05-10 | 东南大学 | 一种基于Attention-LSTM网络的视频行为识别方法 |
| CN110189334A (zh) * | 2019-05-28 | 2019-08-30 | 南京邮电大学 | 基于注意力机制的残差型全卷积神经网络的医学图像分割方法 |
| CN110287814A (zh) * | 2019-06-04 | 2019-09-27 | 北方工业大学 | 一种基于图像目标特征和多层注意力机制的视觉问答方法 |
| CN110930397A (zh) * | 2019-12-06 | 2020-03-27 | 陕西师范大学 | 一种磁共振图像分割方法、装置、终端设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 一种引入聚焦机制的静态图像人体分割方法;郭荣幸 等;电视技术;第41卷(第Z2期);134-139 * |
| 基于深度学习的场景分割算法研究综述;张蕊 等;计算机研究与发展;第57卷(第04期);859-875 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111598844A (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mao et al. | Fire recognition based on multi-channel convolutional neural network | |
| CN111798416B (zh) | 基于病理图像与深度学习的肾小球智能检测方法及系统 | |
| CN110826379B (zh) | 一种基于特征复用与YOLOv3的目标检测方法 | |
| CN112561027A (zh) | 神经网络架构搜索方法、图像处理方法、装置和存储介质 | |
| CN111507370A (zh) | 获得自动标注图像中检查标签的样本图像的方法和装置 | |
| CN113283407A (zh) | 一种基于通道与空间注意力机制的孪生网络目标跟踪方法 | |
| CN111598844B (zh) | 一种图像分割方法、装置、电子设备和可读存储介质 | |
| CN112308825B (zh) | 一种基于SqueezeNet的农作物叶片病害识别方法 | |
| CN113592060A (zh) | 一种神经网络优化方法以及装置 | |
| CN110930378A (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
| CN112330684A (zh) | 对象分割方法、装置、计算机设备及存储介质 | |
| CN112364974A (zh) | 一种基于激活函数改进的YOLOv3算法 | |
| CN114332166A (zh) | 基于模态竞争协同网络的可见光红外目标跟踪方法及装置 | |
| CN112991281B (zh) | 视觉检测方法、系统、电子设备及介质 | |
| CN114511733A (zh) | 基于弱监督学习的细粒度图像识别方法、装置及可读介质 | |
| CN110008949A (zh) | 一种图像目标检测方法、系统、装置和存储介质 | |
| CN116958535B (zh) | 一种基于多尺度残差推理的息肉分割系统及方法 | |
| CN109886105B (zh) | 基于多任务学习的价格牌识别方法、系统及存储介质 | |
| CN110751061B (zh) | 基于sar网络的sar图像识别方法、装置、设备和存储介质 | |
| CN110276802B (zh) | 医学图像中病症组织定位方法、装置与设备 | |
| CN115311550B (zh) | 遥感影像语义变化检测方法、装置、电子设备及存储介质 | |
| CN116468702A (zh) | 黄褐斑评估方法、装置、电子设备及计算机可读存储介质 | |
| CN106845550B (zh) | 一种基于多模板的图像识别方法 | |
| CN114565617A (zh) | 基于剪枝U-Net++的乳腺肿块图像分割方法及系统 | |
| CN109978863B (zh) | 基于x射线图像的目标检测方法及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |