CN111191739A - 一种基于注意力机制的墙面缺陷检测方法 - Google Patents

一种基于注意力机制的墙面缺陷检测方法 Download PDF

Info

Publication number
CN111191739A
CN111191739A CN202010020128.XA CN202010020128A CN111191739A CN 111191739 A CN111191739 A CN 111191739A CN 202010020128 A CN202010020128 A CN 202010020128A CN 111191739 A CN111191739 A CN 111191739A
Authority
CN
China
Prior art keywords
network
attention
training
memory
wall surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010020128.XA
Other languages
English (en)
Other versions
CN111191739B (zh
Inventor
蔡菥
葛树志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010020128.XA priority Critical patent/CN111191739B/zh
Publication of CN111191739A publication Critical patent/CN111191739A/zh
Application granted granted Critical
Publication of CN111191739B publication Critical patent/CN111191739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于注意力机制的墙面缺陷检测方法，涉及计算机视觉技术领域，该方法通过加载已训练完成的注意力网络模型，在本检测训练过程中，仅需重新训练较浅的几层记忆力与分类网络模型即可完成墙面缺陷检测任务，因此训练的计算量非常小，训练速度快，大大降低了时间成本，可在存储空间与计算资源有限的移动平台上使用，即使移动平台的计算能力也能达到实时检测分类；通过使用长短时记忆网络与全连接网络结合的方式进行缺陷的类别预测，网络保存了墙面缺陷的特征信息，即使在新场景不训练使用也能达到较高的精确度，优于其余由于参数量过大造成过拟合的超深度神经网络，因此可迁移性强。

Description

一种基于注意力机制的墙面缺陷检测方法
技术领域
本发明涉及计算机视觉技术领域，具体而言，涉及一种基于注意力机制的墙面缺陷检测方法。
背景技术
经典的目标检测算法包括R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN到Mask R-CNN系列与YOLO、SSD、YOLO v2系列等。传统的目标检测算法通过滑动窗口来产生目标区域，每滑动一次进行一次检测(分类)，在窗口滑动步长不大时，相邻的窗口重叠率高，并且一张图片产生的窗口数量巨大，检测的速度十分缓慢，直至R-CNN的提出。R-CNN使用了一种选择性搜索(Selective Search，SS)办法，先生成候选区域再检测，降低了信息的冗余度，显著提高了检测的速度。R-CNN成功的引入了CNN卷积神经网络来进行特征提取，但是存在一个问题，就是对输入的图像大小有严格的限制。面对这种问题，R-CNN对分割出来的2000多个候选区域进行切割或者放缩形变处理到固定大小，这样虽然满足了卷积神经网络模型中全连接神经网络对维度的要求，却造成了图片的信息丢失(切割)或者变性(放缩处理)，会降低图像识别的准确率。何凯明等在R-CNN模型的基础上，提出了SPP-Net，他们不再于输入网络之前对图像进行大小处理，而是直接将图片输入卷积神经网络，然后对特征图进一步处理，拼凑成和神经元个数相同的特征数，具体的方法是采用了金字塔池化层这一影响深远的思路。SPP-Net的论文中使用三层的金字塔池化层，分别输出1、4、16维度的特征，表征了将图片切割成为多少块，然后将特征拼接成为21x 256维的特征输入到全连接层，进行权重计算。SPP-Net是R-CNN的检测速度的38倍，有效的解决了候选区域计算冗余的问题，但是依然存在一些缺陷：首先，其训练仍然是多阶段的；其次，SPP-Net在微调网络时，只对全连接层进行了微调，影响了特征的准确性。而后续提出的Fast R-CNN模型进一步的解决了这些问题。Fast R-CNN最大的特点在于实现了一种多任务学习方式，实现了在网络微调的同时，对目标分类和区域框回归的同时训练，且训练速度是R-CNN的9倍，检测速度是R-CNN的200倍。在VOC2007数据集上，Fast R-CNN将mAP由R-CNN的58.5％提升到了70％，优化了20％。Fast R-CNN成功的结合了R-CNN和SPP-Net两者的优点，但还是需要事先使用外部算法来提取目标后选框，不能够实现端到端的处理。后续提出的Faster R-CNN模型成功的解决了这个问题，成功的将候选区域检测这一操作也交给网络去完成。Faster R-CNN是第一个真正意义上的端到端的深度学习检测算法，也是第一个准实时(17帧/秒，输入图片像素为640x480)的深度学习目标检测算法。Faster R-CNN在VOC2007上再次将mAP由70％提升至78％，又提升了大于10％。Faster R-CNN的最大创新点在于设计了候选区域生成网络(RegionProposal Network，RPN)，并在其中设计了“多参考窗口”的机制，将SelectiveSearch等外部Object Proposal检测算法融合到同一个深度网络中实现。从R-CNN到SPP-Net到Fast R-CNN再到Faster R-CNN甚至到现在的MASK R-CNN，候选区域生成，特征提取，候选目标确认和区域框坐标回归逐渐被统一到同一个网络框架之中。
但是目前的目标检测算法存在几个显著的缺点：
一、训练时十分依赖目标框的标记，而制作数据集时对目标框的标记工作十分繁琐并且容易产生误差，在墙面缺陷检测任务中，由于无现成数据集，需要新标记数据集，如果使用传统的精确标记方法，工作量大且繁琐易出错。
二、训练成本高。现有的目标检测算法神经网络深度高，网络参数数量十分巨大。目前通过GPU、TPU训练神经网络需几天，甚至几十天。且参数量过大造成检测速度较慢，在工程使用中难以实时得到结果。
三、模型迁移性差。由于传统目标检测算法参数量过大，单一场景训练会导致神经网络过拟合，即已训练模型难以应用于其他环境，而多场景训练时算法难以收敛。
发明内容
本发明在于提供一种基于注意力机制的墙面缺陷检测方法，其能够缓解上述问题。
为了缓解上述的问题，本发明采取的技术方案如下：
本发明提供了一种基于注意力机制的墙面缺陷检测方法，包括以下步骤：
S100、收集若干未粉刷墙面的图像，对未粉刷墙面的图像进行预处理后整理为图像数据集，将该图像数据集分成训练图像数据集和测试图像数据集两部分；
S200、构建并训练注意力网络模型，其包括依次逐级连接的若干层卷积网络以及若干层全连接网络；
S300、构建记忆力与分类网络模型，其包括依次逐级连接的长短时记忆网络以及若干层全连接网络；
S400、利用训练图像数据集对记忆力与分类网络模型进行训练；
S500、将测试图像数据集输入训练好的注意力网络模型，获取测试图像数据集中图像的缺陷位置，并得到测试图像数据集图像中包括有缺陷的局部测试图像，将局部测试图像输入训练好的记忆力与分类网络模型，对其中缺陷的类别进行预测，最后输出测试图像数据集图像的缺陷的类别和位置，完成墙面缺陷的检测。
本技术方案的技术效果是：
通过加载已训练完成的注意力网络模型，在本检测训练过程中，仅需重新训练较浅的几层记忆力与分类网络模型即可完成墙面缺陷检测任务，因此训练的计算量非常小，训练速度快，大大降低了时间成本，可在存储空间与计算资源有限的移动平台上使用，即使移动平台的计算能力也能达到实时检测分类；
通过使用长短时记忆网络与全连接网络结合的方式进行缺陷的类别预测，网络保存了墙面缺陷的特征信息，即使在新场景不训练使用也能达到较高的精确度，优于其余由于参数量过大造成过拟合的超深度神经网络，因此可迁移性强。
进一步地，所述步骤S100中，对未粉刷墙面的图像进行预处理的过程包括：将图像统一为同一大小，并标注图像存在的缺陷的类别。
本技术方案的技术效果是：仅进行了缺陷类别标记，没有进行缺陷位置标记，耗费时间少。
进一步地，所述步骤S200具体包括：
S201、构建包括若干层卷积网络以及若干层全连接网络的注意力网络框架；
S202、通过函数h(x)对注意力网络框架进行近似拟合；
S203、使用imagenet数据集为拟合后的注意力网络框架训练参数，完成注意力网络模型的训练。
更进一步地，所述步骤S201中，卷积网络有五层，全连接网络有两层。
本技术方案的技术效果是：尽管参数量少，但是与更深度网络(如vgg16)精度相差不大，计算时间空间效率高。
更进一步地，所述步骤S203具体包括：使用imagenet数据集进行分类任务，找出分类任务中响应最大的部分作为拟合后的注意力网络框架的注意点，通过注意点训练并保存拟合后的注意力网络框架的参数。
进一步地，所述步骤S300具体包括：
S301、构建记忆力网络模块，其包括一层长短时记忆网络；
S302、构建分类网络模块，其包括若干串连于长短时记忆网络下级的全连接网络；
S303、构造损失函数，通过损失函数训练记忆力网络模块与分类网络模块；
S304、利用高斯分布初始化记忆力网络模块与分类网络模块的网络参数，完成所述记忆力与分类网络模型的构建。
本技术方案的技术效果是：通过长短时记忆网络的神经网络细胞状态保存缺陷特征信息，在预测时达到更好的准确度。
更进一步地，所述步骤S302中，全连接网络有三层。
更进一步地，所述步骤S303中，损失函数为：
Figure BDA0002360401970000041
其中，y表示预测网络预测分类结果，label表示类别标签。
更进一步地，所述步骤S400具体包括：
将训练图像数据集中不同类别的图像随机以mini-batch的方式不断输入注意力网络模型，获取训练图像数据集中图像的缺陷位置，并得到训练图像数据集图像中包括有缺陷的局部训练图像，将局部训练图像输入记忆力与分类网络模型，对局部训练图像中缺陷的类别进行预测，利用损失函数计算局部训练图像中缺陷类别的误差，使用反向传播算法更新记忆力与分类网络模型的参数，直至损失函数收敛，完成记忆力与分类网络模型的训练。
更进一步地，在将图像输入所述记忆力与分类网络模型时，需将图像拉直成为特征向量。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举本发明实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是实施例中所述基于注意力机制的墙面缺陷检测方法流程图；
图2是实施例中基于注意力机制的墙面缺陷检测任务示例图；
图3是实施例中基于注意力机制的墙面缺陷检测网络框架示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1、图2和图3，本实施例提供了一种基于注意力机制的墙面缺陷检测方法，包括以下步骤：
S100、收集若干未粉刷墙面的图像，对未粉刷墙面的图像进行预处理后整理为图像数据集，将该图像数据集分成训练图像数据集和测试图像数据集两部分。
在本实施例中，对未粉刷墙面的图像进行预处理的过程包括：将图像统一为同一大小，并只需标注图像存在的缺陷的类别，不需要标注缺陷位置。
S200、构建并训练注意力网络模型，其包括依次逐级连接的若干层卷积网络以及若干层全连接网络。
在本实施例中，注意力网络模型的构建及训练过程具体包括：
S201、构建包括五层卷积网络以及两层全连接网络的注意力网络框架；
S202、通过函数h(x)对注意力网络框架进行近似拟合；
S203、使用imagenet数据集为拟合后的注意力网络框架训练参数，完成注意力网络模型的训练。
在本实施例中，使用卷积网络与全连接网络可对图像的缺陷位置进行预测，即使用弱监督的方式得到候选框。
由于位置是图像中某点，是一个离散的数据，为使网络能够使用反向传播算法训练，在本实施例的步骤S202中，使用函数h(x)进行近似拟合，公式如下：
Xatt＝X·M(tx,ty)
where M(x,y)＝h(x-tx,)·h(y-ty)and h(x)＝1/(1+exp-kx)
其中，X表示图像，Xatt表示注意力点在图像中的位置，x表示横坐标，y表示纵坐标，tx,ty分别表示第t次训练时的横纵坐标。
在本实施例中，步骤S203具体包括：使用imagenet数据集进行分类任务，找出分类任务中响应最大的部分作为拟合后的注意力网络框架的注意点，通过注意点训练并保存拟合后的注意力网络框架的参数。
S300、构建记忆力与分类网络模型，其包括依次逐级连接的长短时记忆网络以及若干层全连接网络。
在本实施例中，记忆力与分类网络模型的构建具体包括：
S301、构建记忆力网络模块，其包括一层长短时记忆网络；
S302、构建分类网络模块，其包括三层串连于长短时记忆网络下级的全连接网络；
S303、构造损失函数，通过损失函数训练记忆力网络模块与分类网络模块；
S304、利用高斯分布(均值0，方差0.1)初始化记忆力网络模块与分类网络模块的网络参数，完成所述记忆力与分类网络模型的构建。
在本实施例的步骤S301中，长短时记忆网络的细胞状态用于存储图像的信息，通过将特征图拉直成为特征向量
Figure BDA0002360401970000061
作为长短时记忆网络的输入。
在本实施例的步骤S302中，全连接网络用于对图像进行分类，其以记忆力网络模块的细胞状态作为输入，而输出包含图像类别的概率向量φ(y)。
在本实施例的步骤S303中，损失函数L用于记忆力网络模块和分类网络模块，其计算公式如下：
Figure BDA0002360401970000062
其中，y表示预测网络预测分类结果，label表示类别标签。
S400、利用训练图像数据集对记忆力与分类网络模型进行训练，具体包括：
将训练图像数据集中不同类别的图像随机以mini-batch的方式不断输入注意力网络模型，获取训练图像数据集中图像的缺陷位置，并得到训练图像数据集图像中包括有缺陷的局部训练图像，将局部训练图像输入记忆力与分类网络模型，对局部训练图像中缺陷的类别进行预测，利用损失函数L计算局部训练图像中缺陷类别的误差，使用反向传播算法更新记忆力与分类网络模型的参数，直至损失函数L收敛，完成记忆力与分类网络模型的训练。
S500、将测试图像数据集输入训练好的注意力网络模型，获取测试图像数据集中图像的缺陷位置，并得到测试图像数据集图像中包括有缺陷的局部测试图像，将局部测试图像输入训练好的记忆力与分类网络模型，对其中缺陷的类别进行预测，最后输出测试图像数据集图像的缺陷的类别和位置，完成墙面缺陷的检测。
在本实施例中，将测试图像输入注意力网络模型，注意力模型生成测试图像的注意力点位置，并通过注意力位置切割出固定大小的可能包含缺陷的局部图像。如图2的左边部分，利用注意力位置进行crop操作。将局部图像输入记忆与分类网络模型，利用已训练好的网络参数预测缺陷的类别，生成网络预测结果，完成墙面缺陷检测。
本发明所述基于注意力机制的墙面缺陷检测方法具备如下优点：
1)训练速度快。通过加载已训练完成的注意力模块，在本检测训练过程中，仅需重新训练较浅的几层记忆网络模块与分类网络模块即可完成墙面缺陷检测任务。因此训练的计算量非常小，大大降低了时间成本。
2)可迁移性强。本发明通过使用记忆力神经网络与全连接神经网络结合的方式进行类别预测，网络保存了墙面缺陷的特征信息，即使在新场景不训练使用也能达到较高的精确度，优于其余由于参数量过大造成过拟合的超深度神经网络。
3)操作简单。只需要花费很少的时间做图像的弱标记而不需要精确标记，就能开始训练对网络参数进行梯度更新，适应检测任务。使用时只需要加载网络模型，就能读取已保存参数进行类别预测。
4)参数量小。本发明的神经网络参数量小，计算速度快，可在存储空间与计算资源有限的移动平台上使用，即使移动平台的计算能力也能达到实时检测分类。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于注意力机制的墙面缺陷检测方法，其特征在于，包括以下步骤：
S100、收集若干未粉刷墙面的图像，对未粉刷墙面的图像进行预处理后整理为图像数据集，将该图像数据集分成训练图像数据集和测试图像数据集两部分；
S200、构建并训练注意力网络模型，其包括依次逐级连接的若干层卷积网络以及若干层全连接网络；
S300、构建记忆力与分类网络模型，其包括依次逐级连接的长短时记忆网络以及若干层全连接网络；
S400、利用训练图像数据集对记忆力与分类网络模型进行训练；
S500、将测试图像数据集输入训练好的注意力网络模型，获取测试图像数据集中图像的缺陷位置，并得到测试图像数据集图像中包括有缺陷的局部测试图像，将局部测试图像输入训练好的记忆力与分类网络模型，对其中缺陷的类别进行预测，最后输出测试图像数据集图像的缺陷的类别和位置，完成墙面缺陷的检测。
2.根据权利要求1所述的基于注意力机制的墙面缺陷检测方法，其特征在于，所述步骤S100中，对未粉刷墙面的图像进行预处理的过程包括：将图像统一为同一大小，并标注图像存在的缺陷的类别。
3.根据权利要求1所述的基于注意力机制的墙面缺陷检测方法，其特征在于，所述步骤S200具体包括：
S201、构建包括若干层卷积网络以及若干层全连接网络的注意力网络框架；
S202、通过函数h(x)对注意力网络框架进行近似拟合；
S203、使用imagenet数据集为拟合后的注意力网络框架训练参数，完成注意力网络模型的训练。
4.根据权利要求3所述的基于注意力机制的墙面缺陷检测方法，其特征在于，所述步骤S201中，卷积网络有五层，全连接网络有两层。
5.根据权利要求3所述的基于注意力机制的墙面缺陷检测方法，其特征在于，所述步骤S203具体包括：使用imagenet数据集进行分类任务，找出分类任务中响应最大的部分作为拟合后的注意力网络框架的注意点，通过注意点训练并保存拟合后的注意力网络框架的参数。
6.根据权利要求1所述的基于注意力机制的墙面缺陷检测方法，其特征在于，所述步骤S300具体包括：
S301、构建记忆力网络模块，其包括一层长短时记忆网络；
S302、构建分类网络模块，其包括若干串连于长短时记忆网络下级的全连接网络；
S303、构造损失函数，通过损失函数训练记忆力网络模块与分类网络模块；
S304、利用高斯分布初始化记忆力网络模块与分类网络模块的网络参数，完成所述记忆力与分类网络模型的构建。
7.根据权利要求6所述的基于注意力机制的墙面缺陷检测方法，其特征在于，所述步骤S302中，全连接网络有三层。
8.根据权利要求6所述的基于注意力机制的墙面缺陷检测方法，其特征在于，所述步骤S303中，损失函数为：
Figure FDA0002360401960000021
其中，y表示预测网络预测分类结果，label表示类别标签。
9.根据权利要求6所述的基于注意力机制的墙面缺陷检测方法，其特征在于，所述步骤S400具体包括：
将训练图像数据集中不同类别的图像随机以mini-batch的方式不断输入注意力网络模型，获取训练图像数据集中图像的缺陷位置，并得到训练图像数据集图像中包括有缺陷的局部训练图像，将局部训练图像输入记忆力与分类网络模型，对局部训练图像中缺陷的类别进行预测，利用损失函数计算局部训练图像中缺陷类别的误差，使用反向传播算法更新记忆力与分类网络模型的参数，直至损失函数收敛，完成记忆力与分类网络模型的训练。
10.根据权利要求9所述的基于注意力机制的墙面缺陷检测方法，其特征在于，在将图像输入所述记忆力与分类网络模型时，需将图像拉直成为特征向量。
CN202010020128.XA 2020-01-09 2020-01-09 一种基于注意力机制的墙面缺陷检测方法 Active CN111191739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010020128.XA CN111191739B (zh) 2020-01-09 2020-01-09 一种基于注意力机制的墙面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010020128.XA CN111191739B (zh) 2020-01-09 2020-01-09 一种基于注意力机制的墙面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN111191739A true CN111191739A (zh) 2020-05-22
CN111191739B CN111191739B (zh) 2022-09-27

Family

ID=70708087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010020128.XA Active CN111191739B (zh) 2020-01-09 2020-01-09 一种基于注意力机制的墙面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN111191739B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884709A (zh) * 2021-01-18 2021-06-01 燕山大学 引入注意力机制的yolov3带钢表面缺陷检测与分类方法
CN113256562A (zh) * 2021-04-22 2021-08-13 深圳安德空间技术有限公司 基于雷达图像和人工智能的道路地下隐患检测方法和系统
CN114399490A (zh) * 2022-01-13 2022-04-26 如你所视(北京)科技有限公司 建筑物涂刷质量检测方法和装置、计算机可读存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009493A (zh) * 2017-11-30 2018-05-08 电子科技大学 基于动作增强的人脸防欺骗识别方法
CN109035226A (zh) * 2018-07-12 2018-12-18 武汉精测电子集团股份有限公司 基于LSTM模型的Mura缺陷检测方法
WO2019016540A1 (en) * 2017-07-18 2019-01-24 Vision Semantics Limited REITTED IDENTIFICATION OF TARGET
CN109409222A (zh) * 2018-09-20 2019-03-01 中国地质大学（武汉） 一种基于移动端的多视角人脸表情识别方法
CN109583565A (zh) * 2018-11-07 2019-04-05 河海大学 基于注意力模型长短时记忆网络的洪水预测方法
CN109902293A (zh) * 2019-01-30 2019-06-18 华南理工大学 一种基于局部与全局互注意力机制的文本分类方法
CN110059587A (zh) * 2019-03-29 2019-07-26 西安交通大学 基于时空注意力的人体行为识别方法
CN110084812A (zh) * 2019-05-10 2019-08-02 广东工业大学 一种太赫兹图像缺陷检测方法、装置、系统及存储介质
US20190278378A1 (en) * 2018-03-09 2019-09-12 Adobe Inc. Utilizing a touchpoint attribution attention neural network to identify significant touchpoints and measure touchpoint contribution in multichannel, multi-touch digital content campaigns
CN110414377A (zh) * 2019-07-09 2019-11-05 武汉科技大学 一种基于尺度注意力网络的遥感图像场景分类方法
CN110533084A (zh) * 2019-08-12 2019-12-03 长安大学 一种基于自注意力机制的多尺度目标检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019016540A1 (en) * 2017-07-18 2019-01-24 Vision Semantics Limited REITTED IDENTIFICATION OF TARGET
CN108009493A (zh) * 2017-11-30 2018-05-08 电子科技大学 基于动作增强的人脸防欺骗识别方法
US20190278378A1 (en) * 2018-03-09 2019-09-12 Adobe Inc. Utilizing a touchpoint attribution attention neural network to identify significant touchpoints and measure touchpoint contribution in multichannel, multi-touch digital content campaigns
CN109035226A (zh) * 2018-07-12 2018-12-18 武汉精测电子集团股份有限公司 基于LSTM模型的Mura缺陷检测方法
CN109409222A (zh) * 2018-09-20 2019-03-01 中国地质大学（武汉） 一种基于移动端的多视角人脸表情识别方法
CN109583565A (zh) * 2018-11-07 2019-04-05 河海大学 基于注意力模型长短时记忆网络的洪水预测方法
CN109902293A (zh) * 2019-01-30 2019-06-18 华南理工大学 一种基于局部与全局互注意力机制的文本分类方法
CN110059587A (zh) * 2019-03-29 2019-07-26 西安交通大学 基于时空注意力的人体行为识别方法
CN110084812A (zh) * 2019-05-10 2019-08-02 广东工业大学 一种太赫兹图像缺陷检测方法、装置、系统及存储介质
CN110414377A (zh) * 2019-07-09 2019-11-05 武汉科技大学 一种基于尺度注意力网络的遥感图像场景分类方法
CN110533084A (zh) * 2019-08-12 2019-12-03 长安大学 一种基于自注意力机制的多尺度目标检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DEHUA CHEN ET AL: "Thyroid Nodule Classification Using Two Levels Attention-Based Bi-Directional LSTM with Ultrasound", 《2018 9TH INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGY IN MEDICINE AND EDUCATION (ITME)》 *
QI WANG ET AL: "Scene classification with recurrent attention of VHR remote sensing image", 《IEEE TRANS. GEOSCIENCE REMOTE SENSING》 *
刘云明: "基于机器视觉的圆锥滚子外观缺陷检测系统研究与设计", 《华南理工大学硕士论文》 *
吴黄子桑: "基于区域注意力机制的图像描述算法", 《武汉大学硕士论文》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884709A (zh) * 2021-01-18 2021-06-01 燕山大学 引入注意力机制的yolov3带钢表面缺陷检测与分类方法
CN113256562A (zh) * 2021-04-22 2021-08-13 深圳安德空间技术有限公司 基于雷达图像和人工智能的道路地下隐患检测方法和系统
CN113256562B (zh) * 2021-04-22 2021-12-14 深圳安德空间技术有限公司 基于雷达图像和人工智能的道路地下隐患检测方法和系统
CN114399490A (zh) * 2022-01-13 2022-04-26 如你所视(北京)科技有限公司 建筑物涂刷质量检测方法和装置、计算机可读存储介质
CN114399490B (zh) * 2022-01-13 2023-03-31 如你所视(北京)科技有限公司 建筑物涂刷质量检测方法和装置、计算机可读存储介质

Also Published As

Publication number Publication date
CN111191739B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN108681752B (zh) 一种基于深度学习的图像场景标注方法
CN109241903B (zh) 样本数据清洗方法、装置、计算机设备及存储介质
CN111191739B (zh) 一种基于注意力机制的墙面缺陷检测方法
CN112101430B (zh) 用于图像目标检测处理的锚框生成方法及轻量级目标检测方法
CN111126359B (zh) 基于自编码器与yolo算法的高清图像小目标检测方法
US20220366576A1 (en) Method for target tracking, electronic device, and storage medium
CN112329680B (zh) 基于类激活图的半监督遥感影像目标检测和分割方法
CN109785385B (zh) 视觉目标跟踪方法及系统
CN110929577A (zh) 一种基于YOLOv3的轻量级框架改进的目标识别方法
CN110991311A (zh) 一种基于密集连接深度网络的目标检测方法
CN112396002A (zh) 一种基于SE-YOLOv3的轻量级遥感目标检测方法
US11449754B1 (en) Neural network training method for memristor memory for memristor errors
CN110555881A (zh) 一种基于卷积神经网络的视觉slam测试方法
US20230267730A1 (en) Image abnormality detection model training
CN111914727B (zh) 基于平衡采样与非线性特征融合的小目标人体检测方法
CN111783772A (zh) 一种基于RP-ResNet网络的抓取检测方法
CN109815814B (zh) 一种基于卷积神经网络的人脸检测方法
CN111368759B (zh) 基于单目视觉的移动机器人语义地图构建系统
CN112884742A (zh) 一种基于多算法融合的多目标实时检测、识别及跟踪方法
Smelyakov et al. The neural network technologies effectiveness for face detection
CN112434586A (zh) 一种基于域自适应学习的多复杂场景目标检测方法
CN111105017A (zh) 神经网络量化方法、装置及电子设备
CN111291760A (zh) 图像的语义分割方法、装置及电子设备
CN116363750A (zh) 人体姿态预测方法、装置、设备及可读存储介质
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant