CN112419318A - 一种基于多路级联反馈的异常检测方法及装置、存储介质 - Google Patents
一种基于多路级联反馈的异常检测方法及装置、存储介质 Download PDFInfo
- Publication number
- CN112419318A CN112419318A CN202011495943.8A CN202011495943A CN112419318A CN 112419318 A CN112419318 A CN 112419318A CN 202011495943 A CN202011495943 A CN 202011495943A CN 112419318 A CN112419318 A CN 112419318A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- detected
- feedback
- cascade
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 135
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000002159 abnormal effect Effects 0.000 claims abstract description 98
- 230000005856 abnormality Effects 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 62
- 238000012549 training Methods 0.000 claims description 49
- 238000000034 method Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 210000005036 nerve Anatomy 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 21
- 241000723382 Corylus Species 0.000 description 13
- 235000001543 Corylus americana Nutrition 0.000 description 13
- 235000007466 Corylus avellana Nutrition 0.000 description 13
- 230000000694 effects Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
一种基于多路级联反馈的异常检测方法及装置、存储介质，其中异常检测方法包括：获取待检测物体的待检测图像并输入预设的图像检测模型，得到各网络节点输出的重建图像；图像检测模型构建有多路级联反馈网络，且每路级联反馈网络包括多个浅层自编码器通过级联反馈形成的多个网络节点；根据各网络节点输出的重建图像评价任意两路级联反馈网络中相对应网络节点的图像重建质量，确定具有表面异常区域的重建图像并与待检测图像进行比较，从而得到待检测物体的表面异常区域。由于图像检测模型构建有多路级联反馈网络，那么可通过任意两路级联反馈网络之间的图像特征差异来确定待检测物体的表面异常特征，为图像异常检测提供了有效的解决方案。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于多路级联反馈的异常检测方法及装置、存储介质。
背景技术
近年来，深度学习成为国内外各大领域关注的焦点，深度学习包括了监督学习和无监督学习两类。在计算机视觉领域，监督学习指的是通过图像和标注信息的一一对应训练神经网络，使其能够完成分类、目标检测和语义分割等工作；无监督学习指的是只用不含标注的图像信息训练神经网络，使其能完成聚类、异常检测、图像生成等工作。在工业质检领域中，应用较广的方法有人工选取特征方法和有监督的深度学习方法(以下简称监督学习方法)。
在人工选取特征方法中仍存在一些局限：需要待检测物体的形状、位姿、颜色等信息在一定范围内变化，当物体形状、位姿、颜色信息变化太大时则难以通过人工制定标准对异常区域(如物体表面的孔洞、爆裂、切痕、印刷等)与正常区域进行像素精度的判断。无论在标准图像与缺陷图像之间，或是标准图像与标准图像之间，或是同一类缺陷图像之间，物体表面形状与位姿变化范围较大的情况下，往往难以通过人工选取特征进行检测。
对人工选取特征方法难以奏效的情况，近几年流行使用监督学习方法进行解决。通过设计卷积神经网络，采集并标注待检测物体图像(包括大量正常图像与异常图像)以形成数据集，然后使用数据集对卷积神经网络进行训练，由此实现对特征进行自动选取、判断。虽然监督学习方法在物体的形状、位姿、颜色等信息变化范围较大的情况下，仍然能生成准确率、鲁棒性较高的结果，但也存在一些明显的不足，一方面难以获得足够数量、种类的异常样本，另一方面对大量图像的标注工作直接导致耗时长、花费高问题。
发明内容
本发明主要解决的技术问题是：如何克服现有深度学习方法在工业质检中存在的不足。为解决上述技术问题，本申请提供一种基于多路级联反馈的异常检测方法及装置、存储介质。
根据第一方面，一种实施例中提供一种基于多路级联反馈的异常检测方法，其包括：获取待检测物体的待检测图像；将所述待检测图像输入预设的图像检测模型，得到所述图像检测模型中各网络节点输出的重建图像；所述图像检测模型构建有多路级联反馈网络，且每路所述级联反馈网络包括多个浅层自编码器通过级联反馈形成的多个网络节点；根据各网络节点输出的重建图像评价任意两路所述级联反馈网络中相对应网络节点的图像重建质量，以确定具有表面异常区域的重建图像；将确定的重建图像与所述待检测图像进行比较，得到所述待检测物体的表面异常区域。
所述图像检测模型的构建过程包括：建立至少两路的级联反馈网络，且设置各路所述级联反馈网络内相同序号的网络节点形成对应关系；根据建立的网络结构配置对应的损失函数；利用所述待检测物体的多幅正常样本图像对各路所述级联反馈网络进行训练，通过所述损失函数更新网络参数，在训练完成后得到所述图像检测模型。
建立每个所述级联反馈网络包括：利用卷积神经单元组成每个浅层自编码器；所述浅层自编码器包括卷积层和下采样层组成的编码器，以及上采样层和卷积层组成的解码器；所述编码器用于接收所述浅层自编码器输入的图像且转换成语义信息，所述解码器用于还原语义信息且输出重建图像；对多个所述浅层自编码器依次排序，将每个所述浅层自编码器的输出反馈至下一个所述浅层自编码器的输入，以每个所述浅层自编码器作为所述级联反馈网络中的一个网络节点；依据得到的各网络节点的级联形式建立每个所述级联反馈网络。
所述根据建立形成的网络结构配置对应的损失函数，包括：对于任意一个所述级联反馈网络，计算所述级联反馈网络内首尾两个网络节点分别对应的图像欧氏距离表征的图像重建质量且满足
对于任意两个所述级联反馈网络，计算这两个所述级联反馈网络内若干个相同序号的网络节点对应的图像欧氏距离表征的图像重建质量且满足
利用计算得到的图像重建质量配置各路所述级联反馈网络对应的损失函数，用公式表示为
其中，x0为所述级联反馈网络内首个网络节点输入的图像，
为第j个级联反馈网络中第1个网络节点输出的重建图像，
为第j个级联反馈网络中第N个网络节点输出的重建图像；j、m、k均为所述级联反馈网络的序号，i为网络节点的序号，N为所述级联反馈网络中各网络节点的数目，n为若干个相同序号的网络节点的数目。
所述利用所述待检测物体的多幅正常样本图像对各路所述级联反馈网络进行训练，通过所述损失函数更新网络参数，在训练完成后得到所述图像检测模型，包括：获取待检测物体的多幅正常样本图像；所述正常样本图像中未包含所述待检测物体的表面异常区域；利用所述正常样本图像作为每个所述级联反馈网络中首个网络节点输入的图像，并将各幅所述正常样本图像依次输入至每路所述级联反馈网络以进行训练；在各路所述级联反馈网络对应的损失函数的前后计算差值小于预设阈值，或者对应的损失函数达到的预设迭代次数时结束训练；在结束训练时利用已更新网络参数的各路所述级联反馈网络得到所述待检测物体的图像检测模型。
所述将所述待检测图像输入预设的图像检测模型，得到所述图像检测模型中各网络节点输出的重建图像，包括：将所述待检测图像输入所述图像检测模型中的每路所述级联反馈网络，由每路所述级联反馈网络中的每一个网络节点输出重建图像。
所述根据各网络节点输出的重建图像评价任意两路所述级联反馈网络中相对应网络节点的图像重建质量，以确定具有表面异常区域的重建图像，包括：利用所述图像检测模型中任意两路所述级联反馈网络中相对应网络节点的图像重建质量构建表面异常区域的评价函数，所述评价函数用下面的任一公式进行表示为
其中，
为所述待检测图像输入第m个所述级联反馈网络时第i个网络节点输出的重建图像，
为所述待检测图像输入第k个所述级联反馈网络时第i个网络节点输出的重建图像，i为网络节点的序号；当所述评价函数的值大于或等于预定值时，确定参与计算的重建图像中包含有所述待检测物体的表面异常区域，从而确定具有表面异常区域的重建图像。
所述将确定的重建图像与所述待检测图像进行比较，得到所述待检测物体的表面异常区域，包括：通过所确定的重建图像和所述待检测图像的差值比较得到所述待检测物体的表面异常区域，和/或得到所述表面异常区域对应的置信度；输出所述待检测物体的待检测图像，以及所述待检测物体的表面异常区域。
根据第二方面，一种实施例中提供一种图像检测装置，其包括：图像采集部件，用于采集待检测物体的待检测图像；处理器，与所述图像采集部件连接，用于通过上述第一方面中所述的异常检测方法得到所述待检测图像中待检测物体的表面异常区域；显示器，与所述处理器连接，用于对所述待检测物体的待检测图像和表面异常区域进行显示。
所述处理器包括：所述模型构建模块，用于构建得到所述图像检测模型；所述图像检测模型构建有多路级联反馈网络，且每路所述级联反馈网络包括多个浅层自编码器通过级联反馈形成的多个网络节点，以及各路所述级联反馈网络内相同序号的网络节点形成对应关系；所述图像处理模块，用于根据所述图像检测模型中各网络节点输出的重建图像评价任意两路所述级联反馈网络中相对应网络节点的图像重建质量，以选取具有表面异常区域的重建图像；所述异常检测模块，用于将确定的重建图像与所述待检测图像进行比较，得到所述待检测物体的表面异常区域。
根据第三方面，一种实施例中提供一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现上述第一方面中所述的异常检测方法。
本申请的有益效果是：
依据上述实施例的一种基于多路级联反馈的异常检测方法及装置、存储介质，其中异常检测方法包括：获取待检测物体的待检测图像；将待检测图像输入预设的图像检测模型，得到图像检测模型中各网络节点输出的重建图像；图像检测模型构建有多路级联反馈网络，且每路级联反馈网络包括多个浅层自编码器通过级联反馈形成的多个网络节点；根据各网络节点输出的重建图像评价任意两路级联反馈网络中相对应网络节点的图像重建质量，以确定具有表面异常区域的重建图像；将确定的重建图像与待检测图像进行比较，得到待检测物体的表面异常区域。第一方面，由于图像检测模型构建有多路级联反馈网络，那么可通过任意两路级联反馈网络之间的图像特征差异来确定待检测物体的表面异常特征，为图像异常检测提供了新的解决方案；第二方面，利用多路级联反馈网络来训练得到图像检测模型，使用无监督学习的方式只需要用多幅正常图像参与训练即可，不需要异常样本图像和事先标注，不仅容易获取训练集，而且还不需要花费时间和精力进行标注，利于提高图像检测模型的构建效率；第三方面，在每一路级联反馈网络中使用浅层自编码器形成网络节点，这种类似循环神经网络的结构可使得每一个网络节点的参数保持完全一致，参数量相比现有方法得以大大降低，起到便于传输、存储和部署的优势，从而降低多路级联反馈网络的整体训练难度，加快损失函数的收敛速度；第四方面，将待检测图像输入至图像检测模型，便于检测得到图像检测模型中各网络节点输出的重建图像，从而为评价任意两路级联反馈网络中相对应网络节点的图像重建质量提供了便利；第五方面，图像检测模型中各网络节点输出的重建图像具有像素精度较高、特征重建效果较好的特点，使得异常区域重建误差比较大，只需要通过简单的标准分离出异常区域与正常区域即可完成表面异常区域的检测。
附图说明
图1为本申请实施例一中图像检测模型的构建方法的流程图；
图2为建立每一路级联反馈网络的流程图；
图3为配置各路级联反馈网络对应的损失函数的流程图；
图4为训练得到图像检测模型的流程图；
图5为浅层自编码器的结构示意图，其中图5a为编码器和解码器的连接示意图，图5b为卷积层、下采样层、上采样层的连接示意图；
图6为多个浅层自编码器级联反馈的原理示意图；
图7为配置两路级联反馈网络的原理示意图；
图8为本申请实施例二中基于多路级联反馈的异常检测方法的流程图；
图9为确定具有表面异常区域的重建图像的流程图；
图10为待检测物体的检测结果，其中图10a为无异常区域的待检测物体的检测结果，图10b为存在孔洞区域的待检测物体的检测结果，图10c为存在爆裂区域的待检测物体的检测结果，图10d为存在切痕区域的待检测物体的检测结果，图10e为存在印刷区域的待检测物体的检测结果；
图11为本申请实施例三中图像检测装置的结构示意图；
图12为处理器的结构示意图；
图13为本申请实施例四中图像检测装置的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
无监督图像检测方法主要有生成对抗网络(Generative Adversarial Network，简称GAN)、自编码器(Auto Encoder，简称AE)、变分自编码器(Variational Auto Encoder，简称VAE)。其中，生成对抗网络(GAN)由一个生成网络和一个判别网络组成，生成对抗网络从潜在空间中随机取样作为输入，其输出需要尽可能模仿训练集的真实样本。其中，自编码器(AE)由一个编码器(encoder)和一个解码器(decoder)组成，图像信息通过编码器生成高维、低分辨率的语义信息，将语义信息直接作为潜在变量，解码器则通过上采样和卷积神经网络将潜在变量还原成原有图像格式相同的图像，其输出的图像需要尽可能模仿输入的图像，达到图像重建的效果。其中，变分自编码器(VAE)同样由一个编码器(encoder)和一个解码器(decoder)组成，图像信息通过编码器生成高维、低分辨率的语义信息，通过计算编码器生成的语义信息的均值、方差等信息，在高斯噪声等随机分布中抽样得到潜在变量，解码器则通过上采样和卷积神经网络将潜在变量还原成图像信息，其输出需要尽可能模仿输入的图像，达到图像重建的效果。
将上述的生成对抗网络、自编码器、变分自编码器应用在异常检测场景中，它们的工作原理是：先使用正常图像对神经网络进行训练，其输出需要尽可能模仿输入的图像，即神经网络在正常区域有较小的重建误差(输入的原图I经过对应的神经网络输出了重建图像O，重建误差指的是重建图像O和原图I之间的差异)。同时由于未用异常图像数据进行训练，因此神经网络在异常区域往往有较大的重建误差。通过生成重建误差，我们判断重建误差较小的区域为正常区域，重建误差较大的区域为异常区域，以此来对异常区域进行像素精度的检测。然而，单独采用其中任何一种方法还存在一些应用上的不足，生成对抗网络和变分自编码器的不足点是：由于没有完全利用原图像的信息，难以生成的像素精度较高的重建图像(即生成图像只能在大体上接近输入图像，生成的重建图像的像素的位置精度和数值精度较差)，进而难以制定判断标准区分缺陷区域与正常区域。自编码器的不足点是：由于采用多层下采样，像素位置精度较差、对较小的特征重建效果不佳，难以通过对比原图和重建图像的差异(即生成重建误差)来判断正常区域和异常区域。
对于图像重建而言，需要采用几种方法来解决特征重建的精度。一个是采用更深的网络结构，并且通过底层特征与高层特征的融合，保证输出检测的位置精度和特征精度；一个是采用更宽的网络结构，通过融合不同的感受野大小的特征，保证对于不同大小物体的适应性，大的感受野对大物体检测效果好，小的感受野满足小物体的检测要求。在本申请技术方案中，对于输入的图像x而言，需要构建一个函数
来更好地反映输入图像到输出图像之间的变换和映射关系，其中ω为重建和求解参数。
使用自编码器对图像进行重建时，如果采用深层卷积神经网络结构(即采用多个卷积层和下采样层)，可以通过对比正常区域和异常区域的重建误差区分两者，但由于多层卷积层和下采样层的存在，生成的重建图像有像素位置精度较差、对较小的特征重建效果不佳等缺点。如果采用浅层卷积神经网络结构，像素位置精度较高、对较小的特征重建效果较好，但由于浅层自编码器的卷积层和下采样层数较少，意味着编码器使用较为低级的特征生成的语义编码，在重建过程中，异常区域的极有可能也包含相似的低级特征，因此异常图像的重建误差可能和正常图像的重建误差在数值上接近，难以通过对比正常区域和异常区域的重建误差区分两者。那么，生成的重建图像应满足：像素精度较高、较小的特征的重建效果较好，异常区域重建误差较大，以便最后通过简单的标准分离出异常区域与正常区域。
本申请技术方案是基于级联和反馈的思想来构建图像检测模型。级联过程目的是构建更深的网络结构，同时又能保持浅层网络所特有的位置信息和特征信息；反馈的目的是在重建过程中保持正常结构特征，逐渐加大异常特征与正常特征的距离。本申请采用循环卷积神经网络(RNN)和自编码器(Auto Encoder)相结合的形式，通过浅层自编码器对原图像生成高质量重建，并将输出的重建图像再次输入到浅层自编码器，以此类推，不断把上一次迭代的重建结果作为本次迭代的输入，经过多次迭代逐步放大异常区域的重建误差，同时正常区域的重建图像基本保持不变。因为浅层自编码器包含的连续下采样层数较少，则在重建过程中，重建图像始终保持较高的像素位置精度和较好的较小特征重建效果。
下面结合实施例对本申请技术方案进行具体说明。
实施例一、
由于对待检测物体进行表面异常区域检测的过程中，需要将待检测图像输入至预设的图像检测模型以此来得到图像检测模型中各网络节点输出的重建图像，那么在异常检测之前就需要构建图像检测模型，为了更好地帮助技术人员理解本申请技术方案，本实施例将对如何构建图像检测模型进行具体说明。
请参考图1，本实施例中公开一种图像检测模型的构建方法，其包括步骤S110-S130，下面分别说明。
步骤S110，建立至少两路的级联反馈网络，且设置各路级联反馈网络内相同序号的网络节点形成对应关系。
每个级联反馈网络是多个浅层自编码器通过级联反馈形成的网络结构，对多个浅层自编码器依次排序，形成层级结构状态，然后将每个浅层自编码器的输出反馈至下一个浅层自编码器的输入，此时以每个浅层自编码器作为级联反馈网络中的一个网络节点。
需要说明的是，浅层自编码器是一种卷积层和下采样层数较少的自编码器，也是通过无监督学习方式实现输出数据高效表示的人工神经网络。输出数据的这一高效表示称为编码，其编码信息的容量一般远小于输入数据，使得自编码器可用于降维。更重要的是，浅层自编码器可作为强大的特征检测器，应用于深度神经网络的预训练。
步骤S120，根据建立形成的网络结构配置对应的损失函数。
由于每路级联反馈网络中存在多个网络节点，且各网络节点通过级联反馈形式进行连接，所以能够对每个网络节点的输入和输出进行表示，从而通过图像欧氏距离计算得到该路级联反馈网络对应的图像重建质量；此外，由于各路级联反馈网络内相同序号的网络节点形成对应关系，那么还可以计算任意两个级联反馈网络对应的图像重建质量，从而配置多路级联反馈网络(至少两路级联反馈网络)对应的损失函数。
步骤S130，利用待检测物体的多幅正常样本图像对各路级联反馈网络进行训练，通过损失函数更新网络参数，在训练完成后得到图像检测模型。
为了学习待检测物体的表面特征，可将多幅正常样本图像依次输入至各路级联反馈网络组成的网络结构，以进行训练；在各路级联反馈网络对应的损失函数的前后计算差值小于预设阈值，或者对应的损失函数达到的预设迭代次数时结束训练，从而将训练好的各路级联反馈网络作为待检测物体的图像检测模型。
需要说明的是，这里的待检测物体可以是工业流水线上的产品、物件箱内的机械零件、操作台上的工具等。在拍摄获取待检测物体表面的图像时，物体表面特征将在对应的图案上进行展示或呈现，若待检测物体的表面存在孔洞、爆裂、切痕、印刷、灰尘、瑕疵、污垢等缺陷，则拍到的图像将是异常样本图像；若待检测物体的表面不存在这些缺陷，则拍到的图像将是正常样本图像。
在本实施例中，参见图2，上述的步骤S110主要涉及建立至少两路级联反馈网络的过程，由于每路级联反馈网络的结构相同且参数不同，那么为便于说明，这里将以任意一路级联反馈网络为例进行说明，则任意一路级联反馈网络的建立过程包括步骤S111-S113，分别说明如下。
步骤S111，利用卷积神经单元组成每个浅层自编码器。
参见图5a和图5b，浅层自编码器包括卷积层和下采样层组成的编码器，以及上采样层和卷积层组成的解码器；编码器内包含的卷积层、下采样层，和解码器内包含的卷积层、上采样层具有一一对应关系。此外，编码器用于接收浅层自编码器输入的图像且转换成语义信息，比如对输入图像中的特征A、B、C、D进行潜在语义编码；相对应地，解码器用于还原语义信息且输出重建图像，比如输出图像特征A′、B′、C′、D′，这里的特征A′、B′、C′、D′与特征A、B、C、D之间通常仅有信息容量上的差异。
对于每个浅层自编码器，由于采用了较少的卷积操作和下采样操作，那么容易保证重建图像的像素位置精度较高，并且对较小特征的重建效果较好。可用下式表示浅层自编码器的工作原理：
z＝E(x)
其中，x为输入图像，
为输出特征，z为潜在语义编码，E为编码器神经网络，D为解码器神经网络。浅层自编码器的工作目标是使输出
尽量与输入x保持一致。
需要说明的是，浅层编码器通过简单地学习将输入复制到输出来工作，这一任务(就是输入训练数据，再输出训练数据的任务)通过不同方式对神经网络增加约束，可以使这一任务变得极其困难。比如，可以限制内部表示的尺寸，或者对训练数据增加噪声并训练自编码器使其能恢复原有特征，这些限制条件防止自编码器机械地将输入复制到输出，并强制它学习数据的高效表示。
由于浅层自编码器的卷积层和下采样层数较少，意味着编码器使用较为低级的特征生成的语义编码，在重建过程中，异常区域的极有可能也包含相似的低级特征，因此异常图像的重建误差可能和正常图像的重建误差在数值上接近。
步骤S112，对多个浅层自编码器依次排序，将每个浅层自编码器的输出反馈至下一个浅层自编码器的输入，以每个浅层自编码器作为级联反馈网络中的一个网络节点。
参见图6，假设每路级联反馈网络内包含N个浅层自编码器，那么可对浅层自编码器1、浅层自编码器2、…、浅层自编码器N进行依次排序，正常样本图像输入至浅层自编码器1，图像经过浅层自编码器1后得到图像重建结果，重建图像R1作为输入到达浅层自编码器2，得到图像重建结果，重建图像R2输入至下一个浅层自编码器，从而以此类推，不断将前一次迭代的输出作为下一次迭代的输入，经过多次循环迭代，逐步放大重建误差。在最终产生的图像重建结果中，即重建图像RN中，异常区域的重建误差将明显大于正常区域的重建误差，因此可以分辨出异常区域与正常区域。
可以使用一个公式表示浅层自编码的图像迭代过程：
其中，φ为浅层自编码器，ω为神经网络的权重参数，x0为级联反馈网络的输入图像(训练阶段的输入图像为正常样本图像)，
是x0经过第1个网络节点生成的重建图像，
是
经过第n(n>0)个节点生成的重建图像(本文用～区分重建结果和原图，带～符号为重建结果)。
参见图6，N个浅层自编码器在结构上表现为一个类似级联反馈网络的结构，构成的单元为各个浅层自编码器，它包含了若干个参数相同(或不相同)的浅层自编码器，每个浅层自编码器可称为网络节点。需要说明的是，使用正常样本图像对这些网络节点进行训练，训练目标为网络节点的输出与输入的正常图像尽可能一致，从而便可以得到训练完毕的神经网络。
步骤S113，将各网络节点设为一个节点编组，通过节点编组内各网络节点的级联形式建立级联反馈网络。比如图6中的N个网络节点设为一个节点编组，从而级联反馈形成级联反馈网络。
需要说明的是，上面的步骤S111-S113仅为一个级联反馈网络的建立过程，对于图像检测模型中的其它级联反馈网络，则可以按照相同方式进行建立；为了保证各路级联反馈网络之间具有一定的差异性，可以为不同路的级联反馈网络中的网络节点配置不同的参数。
在本实施例中，参见图3，上述的步骤S120主要涉及配置损失函数的过程，具体可以包括步骤S121-S123，分别说明如下。
步骤S121，对于任意一个级联反馈网络，计算该级联反馈网络内首尾两个网络节点分别对应的图像欧氏距离表征的图像重建质量且满足
其中，x0为级联反馈网络内首个网络节点输入的图像，
为第j个级联反馈网络中第1个网络节点输出的重建图像，
为第j个级联反馈网络中第N个网络节点输出的重建图像。
在任意一个级联反馈网络中，假设有N个网络节点，且该级联反馈网络的输入为x0，则网络内第1个网络节点输入为x0，输出为
第2个网络节点输入为
输出为
以此类推，可知第N个网络节点输入为
输出为
此外，图像重建质量Lossb主要是基于级联反馈网络的重建结果与原图的差别而进行配置。
对于图像重建质量Lossb，其代表对训练图像的重建结果的质量，主要由两部分组成：第一个节点输出的重建结果和训练图像的欧氏距离，最后一个节点的输出的重建结果与训练图像的欧氏距离。可以理解，采用正常样本图像对级联反馈网络进行训练，能够确保级联反馈网络每个网络节点对正常区域的重建结果较好(与原图的欧氏距离较小)，而对于没训练过的异常区域，重建结果较差(与原图的欧氏距离较大)。
步骤S122，对于任意两个级联反馈网络，计算这两个级联反馈网络内若干个相同序号的网络节点对应的图像欧氏距离表征的图像重建质量，用公式表示为
其中，j、m、k均为级联反馈网络的序号，i为网络节点的序号，N为级联反馈网络中各网络节点的数目，n为若干个相同序号的网络节点的数目；
为第*个级联反馈网络中第i个网络节点输出的重建图像。
步骤S123，利用计算得到的图像重建质量配置各路级联反馈网络对应的损失函数，用公式表示为
可以理解，损失函数Loss是各路级联反馈网络分别对应的图像重建质量，以及每两路级联反馈网络对应的图像重建质量的组合。
可以理解，对于多路级联反馈网络组成的网络结构，其训练关键是构建对应的损失函数，损失函数的好坏，在一定程度上反映了图像检测模型的构建能力。将Loss配置为各路级联反馈网络对应的损失函数时，即考虑到了每一路级联反馈网络的重建结果与原图的差别，也考虑到了任意两路级联反馈网络的相应节点输出的重建结果之间的差别。
比如图7，可以构建两路级联反馈网络，第一路级联反馈网络中的各个网络节点分别表示为AE1-1、AE1-2、…、AE1-N，第二路级联反馈网络中的各个网络节点表示为AE2-1、AE2-2、…、AE2-N，两路之间彼此不进行参数共享，各个网络节点一一对应，需要比较对应网络节点之间的重建结果。在正常区域，各个网络节点的重建结果差异较小，在异常区域，各个网络节点的重建结果差异较大；那么选取重建结果差异较大的区域，即可得到异常区域。在图7中，每个级联反馈网络的网络节点结构相同(或相似)，区别在于参数不同。由于每个级联反馈网络有N个节点，为了便于区分表示，用
表示一路级联反馈网络中第i个网络节点输出的重建图像，
表示另一路级联反馈网络中第i个网络节点输出的重建图像。
若级联反馈网络α的节点函数为
级联反馈网络β的节点函数为
则损失函数Loss可以由Lossc、Lossb1和Lossb2组成。
Lossb1代表级联反馈网络α(网络节点用AE1表示)对正常样本图像的图像重建质量，Lossb2代表级联反馈网络β(网络节点用AE2表示)对正常样本训练图像的图像重建质量，Lossc代表级联反馈网络α和级联反馈网络β中相同序号的网络节点(例如级联反馈网络α的第i(1≤i≤N)个节点，级联反馈网络β的第i个节点，称这两个网络节点为相同序号的网络节点)的输出的欧氏距离。那么图7中两路级联反馈网络对应的损失函数用公式表示如下
Loss＝Lossc+Lossb1+Lossb2。
对于图7中的两路级联反馈网络，采用正常样本图像(仅有待检测物体的表面正常区域)训练，确保级联反馈网络α和级联反馈网络β中每个网络节点对正常区域有较好的重建结果，相同序号的网络节点的输出差别较小。对于没训练过的异常区域，级联反馈网络α和级联反馈网络β输出的重建结果较差且相同序号节点输出的差别较大。
在本实施例中，参见图4，上述的步骤S140主要涉及训练得到图像检测模型的过程，具体可以包括步骤S131-S133，分别说明如下。
步骤S131，获取待检测物体的多幅正常样本图像。这里的正常样本图像中未包含待检测物体的表面异常区域。
步骤S132，利用正常样本图像作为每个级联反馈网络中首个网络节点输入的图像，并将各幅正常样本图像依次输入至每路级联反馈网络以进行训练。
步骤S133，在各路级联反馈网络对应的损失函数的前后计算差值小于预设阈值，或者对应的损失函数达到的预设迭代次数时结束训练；并且，在结束训练时利用已更新网络参数的各路级联反馈网络得到待检测物体的图像检测模型。
可以理解，本实施例中利用多路级联反馈网络来训练得到图像检测模型，使用无监督学习的方式只需要用多幅正常图像参与训练即可，不需要异常样本图像和事先标注，不仅容易获取训练集，而且还不需要花费时间和精力进行标注，利于提高图像检测模型的构建效率。
可以理解，本实施例在每路级联反馈网络中使用浅层自编码器形成网络节点，这种类似循环神经网络的结构可使得每一个网络节点的参数保持完全一致，参数量相比现有方法得以大大降低，起到便于传输、存储和部署的优势，从而简化网络训练过程，加快损失函数的收敛速度。
实施例二、
请参考图8，本申请公开一种基于多路级联反馈的异常检测方法，其包括步骤S210-S240，下面分别说明。
步骤S210，获取待检测物体的待检测图像。待检测图像中可能包含有待检测物体的表面正常区域和表面异常区域，则有必要通过图像检测来得到其中的表面异常区域。
步骤S220，将待检测图像输入至构建得到的图像检测模型，检测得到图像检测模型中各网络节点输出的重建图像。
在一个具体实施例中，将待检测图像输入图像检测模型中的每路级联反馈网络，由每路级联反馈网络中的每一个网络节点输出重建图像。
需要说明的是，这里的图像检测模型是通过实施例一中的构建方法来构建得到的图像检测模型，该图像检测模型构建有多路级联反馈网络，且每路级联反馈网络包括多个浅层自编码器通过级联反馈形成的多个网络节点。由于图像检测模型为训练好的多路级联反馈网络，并且其中的每路级联反馈网络包含有级联反馈形成的多个浅层自编码器，那么每个浅层自编码器作为级联反馈网络中的一个网络节点。
对于每个级联反馈网络中的任意一个网络节点，其输出的重建图像可以表示为
其中，φ为浅层自编码器，ω为神经网络的权重参数，
为待检测图像输入图像检测模型时第m路级联反馈网络中第l个网络节点的输入图像，
为待检测图像输入图像检测模型时第m路级联反馈网络中第l个网络节点输出的重建图像。
步骤S230，根据各网络节点输出的重建图像评价任意两路级联反馈网络中相对应网络节点的图像重建质量，以确定具有表面异常区域的重建图像。
对于任意两路级联反馈网络，由于它们的网络参数存在区别，那么具有相同序号的网络节点输出的重建图像对表面异常区域的重建效果也不一样，此时便可以利用这种差异来得到相对应网络节点的图像重建质量。
步骤S240，将确定的重建图像与待检测图像进行比较，得到待检测物体的表面异常区域。
在一个具体实施例中，通过所确定的重建图像和待检测图像的差值比较得到待检测物体的表面异常区域，和/或得到表面异常区域对应的置信度；输出所述待检测物体的待检测图像，以及所述待检测物体的表面异常区域。
在本实施例中，参见图9，上述的步骤S230主要涉及确定具有表面异常区域的重建图像的过程，具体可以包括步骤S231-S232，分别说明如下。
步骤S231，利用图像检测模型中任意两路级联反馈网络中相对应网络节点的图像重建质量构建表面异常区域的评价函数。
在一个具体实施例中，获取待检测图像输入图像检测模型后，任意两路级联反馈网络中各网络节点输出的重建图像，从而构建表面异常区域的评价函数，评价函数用下面的任一公式进行表示为
其中，
为待检测图像输入第m个级联反馈网络时第i个网络节点输出的重建图像，
为待检测图像输入第k个级联反馈网络时第i个网络节点输出的重建图像，i为网络节点的序号。
比如对于图7中的两路级联反馈网络，由于网络节点AE1、网络节点AE2实质是结构相同(或相似)、参数不同的浅层自编码器，那么不同参数构成的浅层自编码器对异常区域有不同的重建结果。在测试和部署阶段，将两个级联反馈网络的每个网络节点输出的重建图像按照网络节点的相同序号一一对应，计算重建图像之间的欧氏距离，即可得到表面异常区域的评价函数，且用公式表示为
其中，
为待检测图像输入级联反馈网络α时第i个网络节点输出的重建图像，
为待检测图像输入级联反馈网络β时第i个网络节点输出的重建图像,n为若干个相同序号的网络节点的数目。
步骤S232，当评价函数的值大于或等于预定值时，确定参与计算的重建图像中包含有待检测物体的表面异常区域，从而确定具有表面异常区域的重建图像。
对于
表示的任意一个评价函数，如果函数值大于或等于预定值(可由用户预先设置产生，或者系统默认产生)，则表明
表示的重建图像与其它重建图像之间存在差异，那么重建图像
包含有待检测物体的表面异常区域。
需要说明的是，在将重建图像和待检测图像进行差值比较时，只需要将重建图像与待检测图像进行灰度差值计算，计算结果大于预设阈值的像素点即为表面异常区域内的像素点；当统计各像素点之后就能够得到待检测物体的表面异常区域。
对于榛子这一待检测物体，它的待检测图像和表面异常区域可以参考图10。其中图10a中的左图像为榛子表面无异常的待检测图像，右图像为任意网络节点输出的重建图像和待检测图像的差值比较结果，结果表明榛子表面上不存在表面异常区域。其中图10b中的左图像为榛子表面存在孔洞的待检测图像，右图像为任意网络节点输出的重建图像和待检测图像的差值比较结果，结果表明榛子表面存在一个与孔洞等形状的表面异常区域。其中图10c中的左图像为榛子表面存在爆裂的待检测图像，右图像为任意网络节点输出的重建图像和待检测图像的差值比较结果，结果表明榛子表面存在一个与爆裂等形状的表面异常区域。其中图10d中的左图像为榛子表面存在切痕的待检测图像，右图像为任意网络节点输出的重建图像和待检测图像的差值比较结果，结果表明榛子表面存在一个与切痕等形状的表面异常区域。其中图10e中的左图像为榛子表面存在印刷的待检测图像，右图像为任意网络节点输出的重建图像和待检测图像的差值比较结果，结果表明榛子表面存在一个与印刷等形状的表面异常区域。
在图10中，榛子的表面异常区域因为是差异较大区域，所以表现为较大的灰度值；而榛子的表面正常区域因为差异较小，所以表现为较小的灰度值。
可以理解，本实施例中将待检测图像输入至图像检测模型，便于检测得到级联反馈网络中各网络节点输出的重建图像，生成的重建图像具有像素精度较高、特征重建效果较好的特点，使得异常区域重建误差比较大，只需要通过简单的标准分离出异常区域与正常区域即可完成表面异常区域的检测。
实施例三、
请参考图10，本实施例中公开一种图像检测装置，该图像检测装置3主要包括图像检测部件31、处理器32和显示器33，下面分别说明。
图像采集部件31用于采集待检测物体的待检测图像。
需要说明的是，可以使用CCD相机、CMOS相机、3D相机或者摄像机，以及其它灰度或者彩色摄像机来完成待检测图像的获取工作，如果相机/摄像机拍摄的是彩色图像，那么需要将彩色图像转化为灰度图像以形成待检测图像。当然，图像采集部件31还可以采集待检测物体的正常样本图像，从而为级联反馈网络的训练提供样本。
需要说明的是，待检测物体的正常样本图像用来参与训练级联反馈网络，而待检测物体的待检测图像用来输入图像检测模型以识别出图像中存在的表面异常区域。此外，涉及的待检测物体可以是流水线上的产品、工具台上的零件，还可以是人、动物、植物等物体，这里不做具体限定。
处理器32与图像采集部件31连接，处理器32用于通过实施例一中公开的构建方法构建得到图像检测模型，和/或，通过实施例二中公开的图像检测方法得到待检测图像中待检测物体的表面异常区域。
显示器33与处理器32连接，显示器33用于对待检测物体的待检测图像和表面异常区域进行显示。
在本实施中，参见图11，处理器32可以包括模型构建模块321、图像处理模块322和异常检测模块323，下面分别说明。
模型构建模块321用于利用一幅或多幅正常样本图像对预先建立的多路级联反馈模型进行训练，通过一损失函数更新网络参数而得到图像检测模型。这里的图像检测模型构建有多路级联反馈网络，且每路级联反馈网络包括多个浅层自编码器通过级联反馈形成的多个网络节点，以及各路级联反馈网络内相同序号的网络节点形成对应关系。关于模型构建模块321的具体功能可以参考实施例一中的步骤S110-S130，这里不再进行赘述。
图像处理模块322与模型构建模块321连接，用于根据图像检测模型中各网络节点输出的重建图像评价任意两路级联反馈网络中相对应网络节点的图像重建质量，以选取具有表面异常区域的重建图像。关于图像处理模块322的具体功能可以参考实施例二中的步骤S231-S232，这里不再进行赘述。
异常检测模块323与图像处理模块322连接，用于将确定的重建图像与待检测图像进行比较，得到待检测物体的表面异常区域。关于异常检测模块323的具体功能可以参考实施例二中的步骤S240，这里不再进行赘述。
实施例四、
在实施例一中公开的构建方法，以及实施例二中公开的图像检测方法的基础上，本实施例中公开一种图像检测装置。
请参考图12，图像检测装置4主要包括存储器41和处理器42。其中，存储器41作为计算机可读存储介质，用于存储程序，该程序可以是实施例一中构建方法S110-S130对应的程序代码，还可以是实施例二中图像检测方法S210-S240对应的程序代码。
当然，存储器41还可以存储一些网络权重参数、网络训练过程数据、图像检测过程数据，还可以存储正常样本图像、待检测图像、重建图像、检测结果等数据。
处理器42与存储器41连接，用于执行存储器41中存储的程序以相应的方法。处理器42实现的功能可以参考实施例三中的处理器32，这里不再进行详细说明。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。
Claims (11)
1.一种基于多路级联反馈的异常检测方法，其特征在于，包括：
获取待检测物体的待检测图像；
将所述待检测图像输入预设的图像检测模型，得到所述图像检测模型中各网络节点输出的重建图像；所述图像检测模型构建有多路级联反馈网络，且每路所述级联反馈网络包括多个浅层自编码器通过级联反馈形成的多个网络节点；
根据各网络节点输出的重建图像评价任意两路所述级联反馈网络中相对应网络节点的图像重建质量，以确定具有表面异常区域的重建图像；
将确定的重建图像与所述待检测图像进行比较，得到所述待检测物体的表面异常区域。
2.如权利要求1所述的异常检测方法，其特征在于，所述图像检测模型的构建过程包括：
建立至少两路的级联反馈网络，且设置各路所述级联反馈网络内相同序号的网络节点形成对应关系；
根据建立的网络结构配置对应的损失函数；
利用所述待检测物体的多幅正常样本图像对各路所述级联反馈网络进行训练，通过所述损失函数更新网络参数，在训练完成后得到所述图像检测模型。
3.如权利要求2所述的异常检测方法，其特征在于，建立每个所述级联反馈网络包括：
利用卷积神经单元组成每个浅层自编码器；所述浅层自编码器包括卷积层和下采样层组成的编码器，以及上采样层和卷积层组成的解码器；所述编码器用于接收所述浅层自编码器输入的图像且转换成语义信息，所述解码器用于还原语义信息且输出重建图像；
对多个所述浅层自编码器依次排序，将每个所述浅层自编码器的输出反馈至下一个所述浅层自编码器的输入，以每个所述浅层自编码器作为所述级联反馈网络中的一个网络节点；依据得到的各网络节点的级联形式建立每个所述级联反馈网络。
4.如权利要求2所述的异常检测方法，其特征在于，所述根据建立形成的网络结构配置对应的损失函数，包括：
对于任意一个所述级联反馈网络，计算所述级联反馈网络内首尾两个网络节点分别对应的图像欧氏距离表征的图像重建质量且满足
对于任意两个所述级联反馈网络，计算这两个所述级联反馈网络内若干个相同序号的网络节点对应的图像欧氏距离表征的图像重建质量且满足
利用计算得到的图像重建质量配置各路所述级联反馈网络对应的损失函数，用公式表示为
其中，x0为所述级联反馈网络内首个网络节点输入的图像，
为第j个级联反馈网络中第1个网络节点输出的重建图像，
为第j个级联反馈网络中第N个网络节点输出的重建图像；j、m、k均为所述级联反馈网络的序号，i为网络节点的序号，N为所述级联反馈网络中各网络节点的数目，n为若干个相同序号的网络节点的数目。
5.如权利要求2所述的异常检测方法，其特征在于，所述利用所述待检测物体的多幅正常样本图像对各路所述级联反馈网络进行训练，通过所述损失函数更新网络参数，在训练完成后得到所述图像检测模型，包括：
获取待检测物体的多幅正常样本图像；所述正常样本图像中未包含所述待检测物体的表面异常区域；
利用所述正常样本图像作为每个所述级联反馈网络中首个网络节点输入的图像，并将各幅所述正常样本图像依次输入至每路所述级联反馈网络以进行训练；
在各路所述级联反馈网络对应的损失函数的前后计算差值小于预设阈值，或者对应的损失函数达到的预设迭代次数时结束训练；
在结束训练时利用已更新网络参数的各路所述级联反馈网络得到所述待检测物体的图像检测模型。
6.如权利要求1-5中任一项所述的异常检测方法，其特征在于，所述将所述待检测图像输入预设的图像检测模型，得到所述图像检测模型中各网络节点输出的重建图像，包括：
将所述待检测图像输入所述图像检测模型中的每路所述级联反馈网络，由每路所述级联反馈网络中的每一个网络节点输出重建图像。
7.如权利要求1-5中任一项所述的异常检测方法，其特征在于，所述根据各网络节点输出的重建图像评价任意两路所述级联反馈网络中相对应网络节点的图像重建质量，以确定具有表面异常区域的重建图像，包括：
利用所述图像检测模型中任意两路所述级联反馈网络中相对应网络节点的图像重建质量构建表面异常区域的评价函数，所述评价函数用下面的任一公式进行表示为
其中，
为所述待检测图像输入第m个所述级联反馈网络时第i个网络节点输出的重建图像，
为所述待检测图像输入第k个所述级联反馈网络时第i个网络节点输出的重建图像，i为网络节点的序号；
当所述评价函数的值大于或等于预定值时，确定参与计算的重建图像中包含有所述待检测物体的表面异常区域，从而确定具有表面异常区域的重建图像。
8.如权利要求1-5中任一项所述的异常检测方法，其特征在于，所述将确定的重建图像与所述待检测图像进行比较，得到所述待检测物体的表面异常区域，包括：
通过所确定的重建图像和所述待检测图像的差值比较得到所述待检测物体的表面异常区域，和/或得到所述表面异常区域对应的置信度；
输出所述待检测物体的待检测图像，以及所述待检测物体的表面异常区域。
9.一种图像检测装置，其特征在于，包括：
图像采集部件，用于采集待检测物体的待检测图像；
处理器，与所述图像采集部件连接，用于通过权利要求1-8中任一项所述的异常检测方法得到所述待检测图像中待检测物体的表面异常区域；
显示器，与所述处理器连接，用于对所述待检测物体的待检测图像和表面异常区域进行显示。
10.如权利要求9中所述的图像检测装置，其特征在于，所述处理器包括：
所述模型构建模块，用于构建得到所述图像检测模型；所述图像检测模型构建有多路级联反馈网络，且每路所述级联反馈网络包括多个浅层自编码器通过级联反馈形成的多个网络节点，以及各路所述级联反馈网络内相同序号的网络节点形成对应关系；
所述图像处理模块，用于根据所述图像检测模型中各网络节点输出的重建图像评价任意两路所述级联反馈网络中相对应网络节点的图像重建质量，以选取具有表面异常区域的重建图像；
所述异常检测模块，用于将确定的重建图像与所述待检测图像进行比较，得到所述待检测物体的表面异常区域。
11.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-8中任一项所述的异常检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011495943.8A CN112419318A (zh) | 2020-12-17 | 2020-12-17 | 一种基于多路级联反馈的异常检测方法及装置、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011495943.8A CN112419318A (zh) | 2020-12-17 | 2020-12-17 | 一种基于多路级联反馈的异常检测方法及装置、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112419318A true CN112419318A (zh) | 2021-02-26 |
Family
ID=74776807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011495943.8A Pending CN112419318A (zh) | 2020-12-17 | 2020-12-17 | 一种基于多路级联反馈的异常检测方法及装置、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112419318A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034439A (zh) * | 2021-03-03 | 2021-06-25 | 北京交通大学 | 一种高速铁路声屏障缺损检测方法及装置 |
| CN113379729A (zh) * | 2021-07-02 | 2021-09-10 | 四川启睿克科技有限公司 | 一种图像微小异常检测方法、装置及计算机可读存储介质 |
| CN113487521A (zh) * | 2021-09-08 | 2021-10-08 | 苏州浪潮智能科技有限公司 | 自编码器训练方法及组件，异常图像检测方法及组件 |
| CN114937027A (zh) * | 2022-06-20 | 2022-08-23 | 创新奇智(上海)科技有限公司 | 风机叶片缺陷检测的方法、装置、电子设备及存储介质 |
| CN114973138A (zh) * | 2022-06-02 | 2022-08-30 | 松立控股集团股份有限公司 | 一种基于高位相机的路面异常物体检测方法 |
| CN115564577A (zh) * | 2022-12-02 | 2023-01-03 | 成都新希望金融信息有限公司 | 一种异常用户识别方法、装置、电子设备及存储介质 |
| CN117474915A (zh) * | 2023-12-27 | 2024-01-30 | 苏州镁伽科技有限公司 | 一种异常检测方法、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105163121A (zh) * | 2015-08-24 | 2015-12-16 | 西安电子科技大学 | 基于深度自编码网络的大压缩比卫星遥感图像压缩方法 |
| CN109271992A (zh) * | 2018-09-26 | 2019-01-25 | 上海联影智能医疗科技有限公司 | 一种医学图像处理方法、系统、装置和计算机可读存储介质 |
| CN110288017A (zh) * | 2019-06-21 | 2019-09-27 | 河北数云堂智能科技有限公司 | 基于动态结构优化的高精度级联目标检测方法与装置 |
| CN111458029A (zh) * | 2020-03-03 | 2020-07-28 | 东莞职业技术学院 | 基于自联想神经网络的可见光mimo通信系统颜色检测方法 |
| CN112053317A (zh) * | 2020-04-26 | 2020-12-08 | 张辉 | 一种基于级联神经网络的工件表面缺陷检测方法 |
-
2020
- 2020-12-17 CN CN202011495943.8A patent/CN112419318A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105163121A (zh) * | 2015-08-24 | 2015-12-16 | 西安电子科技大学 | 基于深度自编码网络的大压缩比卫星遥感图像压缩方法 |
| CN109271992A (zh) * | 2018-09-26 | 2019-01-25 | 上海联影智能医疗科技有限公司 | 一种医学图像处理方法、系统、装置和计算机可读存储介质 |
| CN110288017A (zh) * | 2019-06-21 | 2019-09-27 | 河北数云堂智能科技有限公司 | 基于动态结构优化的高精度级联目标检测方法与装置 |
| CN111458029A (zh) * | 2020-03-03 | 2020-07-28 | 东莞职业技术学院 | 基于自联想神经网络的可见光mimo通信系统颜色检测方法 |
| CN112053317A (zh) * | 2020-04-26 | 2020-12-08 | 张辉 | 一种基于级联神经网络的工件表面缺陷检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| GUANYU CAO; SEI-ICHIRO KAMATA: ""Data Augmentation for Historical Documents via Cascade Variational Auto-Encoder"", 《2019 IEEE INTERNATIONAL CONFERENCE ON SIGNAL AND IMAGE PROCESSING APPLICATIONS (ICSIPA)》, 3 February 2020 (2020-02-03) * |
| 陶状;廖晓东;沈江红;: "双路径反馈网络的图像超分辨重建算法", 计算机系统应用, no. 04, 15 April 2020 (2020-04-15) * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034439B (zh) * | 2021-03-03 | 2021-11-23 | 北京交通大学 | 一种高速铁路声屏障缺损检测方法及装置 |
| CN113034439A (zh) * | 2021-03-03 | 2021-06-25 | 北京交通大学 | 一种高速铁路声屏障缺损检测方法及装置 |
| CN113379729A (zh) * | 2021-07-02 | 2021-09-10 | 四川启睿克科技有限公司 | 一种图像微小异常检测方法、装置及计算机可读存储介质 |
| CN113379729B (zh) * | 2021-07-02 | 2023-07-25 | 四川启睿克科技有限公司 | 一种图像微小异常检测方法、装置及计算机可读存储介质 |
| CN113487521A (zh) * | 2021-09-08 | 2021-10-08 | 苏州浪潮智能科技有限公司 | 自编码器训练方法及组件，异常图像检测方法及组件 |
| CN114973138A (zh) * | 2022-06-02 | 2022-08-30 | 松立控股集团股份有限公司 | 一种基于高位相机的路面异常物体检测方法 |
| CN114973138B (zh) * | 2022-06-02 | 2024-03-29 | 松立控股集团股份有限公司 | 一种基于高位相机的路面异常物体检测方法 |
| CN114937027B (zh) * | 2022-06-20 | 2024-03-15 | 创新奇智(上海)科技有限公司 | 风机叶片缺陷检测的方法、装置、电子设备及存储介质 |
| CN114937027A (zh) * | 2022-06-20 | 2022-08-23 | 创新奇智(上海)科技有限公司 | 风机叶片缺陷检测的方法、装置、电子设备及存储介质 |
| CN115564577A (zh) * | 2022-12-02 | 2023-01-03 | 成都新希望金融信息有限公司 | 一种异常用户识别方法、装置、电子设备及存储介质 |
| CN115564577B (zh) * | 2022-12-02 | 2023-04-07 | 成都新希望金融信息有限公司 | 一种异常用户识别方法、装置、电子设备及存储介质 |
| CN117474915A (zh) * | 2023-12-27 | 2024-01-30 | 苏州镁伽科技有限公司 | 一种异常检测方法、电子设备及存储介质 |
| CN117474915B (zh) * | 2023-12-27 | 2024-04-16 | 苏州镁伽科技有限公司 | 一种异常检测方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112419318A (zh) | 一种基于多路级联反馈的异常检测方法及装置、存储介质 | |
| CN112435258A (zh) | 一种图像检测模型的构建方法、图像检测方法及装置 | |
| JP6766839B2 (ja) | 検査システム、画像識別システム、識別システム、識別器生成システム、及び学習データ生成装置 | |
| CN112001903A (zh) | 缺陷检测网络构建方法、异常检测方法及系统、存储介质 | |
| CN110210513B (zh) | 数据分类方法、装置及终端设备 | |
| CN111539887A (zh) | 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法 | |
| CN114862811B (zh) | 一种基于变分自动编码器的缺陷检测方法 | |
| CN111696092B (zh) | 一种基于特征对比的缺陷检测方法及系统、存储介质 | |
| CN115439694A (zh) | 一种基于深度学习的高精度点云补全方法及装置 | |
| CN113378976B (zh) | 一种基于特征顶点组合的目标检测方法、可读存储介质 | |
| CN113409384A (zh) | 一种目标物体的位姿估计方法和系统、机器人 | |
| CN110648310A (zh) | 基于注意力机制的弱监督铸件缺陷识别方法 | |
| CN114581456B (zh) | 一种多图像分割模型的构建方法、图像检测方法及装置 | |
| CN114463329B (zh) | 一种图像与时序数据融合的焊接缺陷检测方法及系统 | |
| CN108475427A (zh) | 对象扫描能力的实时检测 | |
| CN116524299A (zh) | 一种图像样本生成方法、装置、设备及存储介质 | |
| CN114758152A (zh) | 一种基于注意力机制和邻域一致性的特征匹配方法 | |
| CN113516656A (zh) | 一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法 | |
| CN113361521A (zh) | 场景图像的检测方法及其装置 | |
| JP7059889B2 (ja) | 学習装置、画像生成装置、学習方法、及び学習プログラム | |
| CN114820541A (zh) | 基于重构网络的缺陷检测方法 | |
| CN110111332A (zh) | 基于深度卷积神经网络的胶原蛋白肠衣缺陷检测模型、检测方法及系统 | |
| CN117315387A (zh) | 一种工业缺陷图像生成方法 | |
| JP2018124990A (ja) | モデル生成装置、評価装置、モデル生成方法、評価方法及びプログラム | |
| CN117710644A (zh) | 基于视觉提示的目标检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |