CN113689383A - 一种图像处理方法、装置、设备及存储介质 - Google Patents

一种图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113689383A
CN113689383A CN202110849688.0A CN202110849688A CN113689383A CN 113689383 A CN113689383 A CN 113689383A CN 202110849688 A CN202110849688 A CN 202110849688A CN 113689383 A CN113689383 A CN 113689383A
Authority
CN
China
Prior art keywords
image
network
vectors
characteristic
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110849688.0A
Other languages
English (en)
Other versions
CN113689383B (zh
Inventor
邓嘉新
王邦军
杨怀宇
李磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xurui Software Technology Co ltd
Original Assignee
Nanjing Xurui Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xurui Software Technology Co ltd filed Critical Nanjing Xurui Software Technology Co ltd
Priority to CN202110849688.0A priority Critical patent/CN113689383B/zh
Publication of CN113689383A publication Critical patent/CN113689383A/zh
Application granted granted Critical
Publication of CN113689383B publication Critical patent/CN113689383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种图像处理方法、装置、设备及存储介质，涉及图像检测领域，用于对复杂纹理的图像缺陷进行准确定位。所述方法包括：将待检测图像输入至预先训练的图像缺陷检测网络中，得到与待检测图像对应的不同像素级别的多个重构特征向量，其中，图像缺陷检测网络中包括多级特征提取网络和与多级特征提取网络一一对应的特征重构网络；对多个重构特征向量分别进行归一化处理，得到与多个重构特征向量一一对应的第一特征图像；对多个第一特征图像进行融合处理，得到第二特征图像；从第二特征图像中分割出像素值不在预设像素区间的图像区域，得到待检测图像的缺陷区域。

Description

一种图像处理方法、装置、设备及存储介质
技术领域
本申请属于图像检测领域，尤其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
在工业产品的制造生产过程中，由于生产工艺的缺陷或其他人为因素，工件表面会产生划痕、裂纹等缺陷，这些缺陷极大的降低了工业产品的质量，影响了产品的正常使用，因此，通过图像缺陷检测的方式进行产品表面的缺陷检测。
现有技术中使用卷积编码器编码图像，输出M×N个C维特征向量后，在一个记忆单元中进行寻址，查找最相关的记忆向量，形成M×N×C维的记忆矩阵，并使用多个上采样层进行还原，比较还原后的图像与原始图像的差异，进行缺陷定位。
上述缺陷检测方式，由于只对同一像素级别的图像进行还原，即只根据图像高级特征进行图像还原，因此容易造成图像细节的丢失，无法对复杂纹理的图像进行准确还原，进而无法根据还原后的图像与原始图像之间的差异，进行准确的缺陷定位。
发明内容
本申请实施例提供一种图像处理方法、装置、设备及存储介质，用于对复杂纹理的图像缺陷进行准确定位。
第一方面，本申请实施例提供一种图像处理方法，方法包括：
将待检测图像输入至预先训练的图像缺陷检测网络中，得到与待检测图像对应的不同像素级别的多个重构特征向量，其中，图像缺陷检测网络中包括多级特征提取网络和与多级特征提取网络一一对应的特征重构网络；
对多个重构特征向量分别进行归一化处理，得到与多个重构特征向量一一对应的第一特征图像；
对多个第一特征图像进行融合处理，得到第二特征图像；
从第二特征图像中分割出像素值不在预设像素区间的图像区域，得到待检测图像的缺陷区域。
第二方面，本申请实施例提供一种图像处理装置，装置包括：
检测模块，用于将待检测图像输入至预先训练的图像缺陷检测网络中，得到与待检测图像对应的不同像素级别的多个重构特征向量，其中，图像缺陷检测网络中包括多级特征提取网络和与多级特征提取网络一一对应的特征重构网络；
第一处理模块，用于对多个重构特征向量分别进行归一化处理，得到与多个重构特征向量一一对应的第一特征图像；
第二处理模块，用于对多个第一特征图像进行融合处理，得到第二特征图像；
确定模块，用于从第二特征图像中分割出像素值不在预设像素区间的图像区域，得到待检测图像的缺陷区域。
第三方面，本申请实施例提供了一种图像处理设备，设备包括：
处理器，以及存储有计算机程序指令的存储器；处理器读取并执行计算机程序指令，以实现如本申请实施例第一方面所提供的图像处理方法。
第四方面，本申请实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如本申请实施例第一方面所提供的图像处理方法。
本申请实施例提供的图像处理方法，将待检测图像输入至预先训练的图像缺陷检测网络中，确定与待检测图像对应的不同像素级别的多个重构特征向量，图像缺陷检测网络中包括多级特征提取网络和与所述多级特征提取网络一一对应的特征重构网络；对多个重构特征向量分别进行归一化处理，得到与多个重构特征向量一一对应的第一特征图像，并对多个第一特征图像进行融合处理，确定第二特征图像；从第二特征图像中分割出像素值不在预设像素区间的图像区域，得到待检测图像的缺陷区域。相比于现有技术，本申请实施例中提供的图像缺陷检测网络能够基于多级特征提取网络以及多级特征重构网络，确定与待检测图像对应的不同像素级别的多个重构特征向量，由于并非只对待检测图像进行单一像素级别的特征重构，因此避免了图像细节的丢失，进而能够基于多个重构特征向量对图像缺陷进行准确定位。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术提供的一种图像缺陷检测模型的结构示意图；
图2是现有技术提供的另一图像缺陷检测模型的结构示意图；
图3是本申请实施例提供的一种图像缺陷检测网络的结构示意图；
图4是本申请实施例提供的一种图像缺陷检测网络训练方法的流程示意图；
图5是本申请实施例提供的一种图像处理方法的流程示意图；
图6是本申请实施例提供的一种图像处理装置的流程示意图；
图7是本申请实施例提供的一种图像处理设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在工业产品的制造生产过程中，由于生产工艺的缺陷或其他人为因素，工件表面会产生划痕、裂纹等缺陷，这些缺陷极大的降低了工业产品的质量，影响了产品的正常使用，因此，通过图像缺陷检测的方式进行产品表面的缺陷检测。
近年来，基于无监督神经网络的图像缺陷检测算法的发展，图像缺陷检测在准确率方面不断提高。现有技术中，通过以下两种方式来对图像中缺陷区域进行定位：
一、如图1所示，将图像通过卷积编码器进行编码后，输出M×N个C维特征向量后，使用反卷积解码器还原图像，并比较还原后的图像与原图的差异，进行定位。
上述方法由于卷积自编码器其信息压缩幅度有限，携带了过多原图信息，为还原原始图像，模型只学会了从原图复制，造成在对负样本还原时，连同异常一起还原。
二、如图2所示，使用卷积编码器编码图像，输出M×N个C维特征向量后，在一个记忆单元中进行寻址，查找最相关的记忆向量，形成M×N×C维的记忆矩阵，并使用多个上采样层进行还原，比较还原后的图像与原始图像的差异，进行缺陷定位。
上述方法虽然通过引入记忆模块，使得图像还原时所依赖的都是正样本的记忆，不会连同异常一起还原，但依然存在如下技术缺陷：
1、由于训练卷积编码器模型时，采用L2损失函数进行模型优化，因此会形成平滑效应，造成还原后的特征向量与真实特征向量之间仍存在差距，进而生成的还原图像模糊。
2、由于对像素级别的图像进行还原，因此模型的训练时间较长。
3、由于只对同一像素级别的图像进行还原，即只根据图像高级特征进行图像还原，因此容易造成图像细节的丢失，无法对复杂纹理的图像进行准确还原。
4、像素级别的图像还原要求较高，因此要求模型能力足够强，在模型训练无法达到要求的情况下，无法对图像进行准确还原。
基于上述分析，现有方案二容易造成图像细节的丢失，无法对复杂纹理的图像进行准确还原，进而无法根据还原后的图像与原始图像之间的差异，进行准确的缺陷定位。
基于此，本申请实施例提供一种图像处理方法，能够基于预先训练的图像缺陷检测网络，对图像进行多种级别的重构，保留了不同尺度的特征向量，使得图像特征细节得到有效保留，对复杂纹理的图像特征还原更为精细，适用于更多复杂场景，提高了对复杂纹理图像的缺陷区域进行定位的准确性。
需要说明的是，本申请实施例提供的图像处理方法中，需要利用预先训练好的图像缺陷检测网络对图像进行特征提取与特征重构，因此，在利用图像缺陷检测网络进行图像处理之前，需要先训练好图像缺陷检测网络。因此，下面首先描述本申请实施例提供的图像缺陷检测网络的训练方法的具体实施方式。
本申请实施例提供一种图像缺陷检测网络的训练方法，在图像缺陷检测网络对图像特征还原过程中，为了排除噪声干扰，避免对缺陷区域图像特征直接复制的情况，得到更为干净的重构特征向量，在图像缺陷检测网络的训练过程中引入对抗机制，通过判别器网络与图像缺陷检测网络之间的对抗训练，有效消除还原的重构特征向量与真实特征向量之间的差距。
如图3所示，上述图像缺陷检测网络包括多级特征提取网络和与多级特征提取网络一一对应的特征重构网络，其中，多级特征重构网络包括级联的编码器网络、记忆单元网络以及解码器网络。
基于此，对上述图像缺陷检测网络以及判别器网络进行交替训练，直到损失函数值满足训练停止条件，得到训练后的图像缺陷检测网络。上述图像缺陷检测网络的训练方法，可以通过以下步骤来实现：
步骤一、获取训练样本集，上述训练样本集中的样本图像均为无缺陷的正样本。
需要说明的是，在无监督表面缺陷检测中，数据集被划分为正负样本，但不需要对数据集中的图像进行标注，在训练模型时仅利用正样本或者负样本，以此完成表面缺陷检测任务。其中，正样本是指无缺陷的图像，负样本是指带有缺陷的图像。
本申请实施例提供的图像缺陷检测网络的训练方法中，仅使用无缺陷的正样本图像作为训练样本图像。
步骤二、将训练样本集输入至待训练的图像缺陷检测网络中，确定与每一样本图像对应的多个样本重构特征向量。
具体地，针对每一样本图像执行以下步骤：
2.1、将样本图像输入至多级特征提取网络，对样本图像进行不同倍数的下采样处理，确定与样本图像对应的不同像素级别的多个样本原始特征向量。
具体地，多级特征提取网络包括多个级联的过渡层；
将样本图像输入至多级特征提取网络，得到与样本图像对应的不同像素级别的多个样本原始特征向量，可以包括：
将样本图像输入至多级特征提取网络中，每经过一个过渡层对样本图像下采样n倍，n大于1；
将经过不同数量过渡层的待检测图像，进行不同倍数的下采样处理，得到不同下采样倍数的特征向量；
根据不同下采样倍数的特征向量，得到与样本图像对应的不同像素级别的多个样本原始特征向量。
在一个示例中，多级特征提取网络是一个包含三组[Dense Block,TransitionLayer]块的卷积神经网络，每经过一个[Dense Block,Transition Layer]块，对上一次得到的特征向量下采样2倍，得到新的特征向量。使用时采用图像下采样4倍、8倍和16倍后的特征向量，形状分别为(N,C1,H/4,W/4)、(N,C2,H/8,W/8)和(N,C3,H/16,W/16)。将上述下采样4倍、8倍和16倍后的特征向量，作为样本原始特征向量。
上述多级特征提取网络对样本图像进行了不同级别的特征提取，保留不同尺度的样本特征向量，使得样本图像的特征细节不会被丢失，进而使得图像特征细节有效传递到解码器，从而对复杂纹理的图像特征还原更为精确。
2.2、将多个样本原始特征向量输入至多级特征重构网络中，对样本原始特征向量进行还原，得到与多个样本原始特征向量一一对应的样本重构特征向量。
其中，多级特征重构网络包括级联的编码器网络、记忆单元网络以及解码器网络。上述步骤具体可以包括：
2.2.1、将多个样本原始特征向量输入至编码器网络，得到与多个样本特征向量一一对应的样本查询向量，其中，样本查询向量维度小于所述样本原始特征向量维度。
在一个示例中，编码器网络包括由3层全连接层组成的全连接网络，其包括3种不同级别的编码器，第一级编码器输入维度为C1的向量，输出维度E1的查询向量；第二级编码器输入维度为C2的向量，输出维度E2的查询向量；第三级编码器输入维度为C3的向量，输出维度E3的查询向量。
2.2.2、将多个样本查询向量输入至记忆单元网络，得到与每一目标样本查询向量相似度最大的第二向量，目标样本查询向量为多个样本查询向量中的任一个。
具体地，将多个样本查询向量输入至记忆单元网络，确定与每一目标样本查询向量相似度最大的第二向量，可以包括：
针对每一目标样本查询向量执行以下步骤：
计算目标样本查询向量与每一记忆单元的余弦相似度；基于余弦相似度，配置每一记忆单元的权重；将权重最大的记忆单元中所维护的向量，作为与目标样本查询向量相似度最大的第二向量。
在一个示例中，记忆单元网络维护一个N×M大小的特征矩阵作为记忆，N表示记忆单元的数量，M表示记忆单元的维度。记忆单元输入样本查询向量，采用余弦相似度计算样本查询向量与各记忆单元的相似度，然后通过Softmax函数对记忆中的每个记忆单元分配权重，权重最大的记忆单元中所维护的特征向量将会被查询出来作为记忆单元的输出。其中，上述余弦相似度可以通过公式1来表示，Softmax函数可以通过公式2来表示。
Figure BDA0003181948770000081
Figure BDA0003181948770000082
其中，公式1中A、B均表示向量，Ai表示A向量中的第i个元素，Bi表示B向量中的第i个元素；公式2中Z表示C个向量构成的矩阵，Zd表示Z矩阵中的第d个向量。
2.2.3、将多个第二向量输入至解码器网络，对第二向量进行还原，得到与多个第二向量一一对应的样本重构特征向量。
在一个示例中，解码器包括由3层全连接层组成的全连接网络，同样包括3种不同级别的解码器，第一级解码器输入维度为E1的向量，输出维度为C1的重构特征向量；第二级解码器输入维度为(E2+C2)的向量，输出维度为C2的重构特征向量；第三级解码器输入维度为(E3+C3)的向量，输出维度为C3的重构特征向量。
需要说明的是，如图3所示的图像缺陷检测网络中，在第一级解码器后还连接上采样层，因此第二解码器的输入向量中的C2，是由第一级解码器输出的C1向量进行上采样处理后形成的。
上述上采样层包括由反卷积层、批量归一化层和激活层组成的卷积网络，用于对输入的特征向量执行2倍上采样。
步骤三、将多个样本重构特征向量输入至判别器网络，得到每一样本重构特征向量为真实特征向量的概率。
在一个示例中，判别器是包括3层全连接层组成的全连接网络，通过Sigmoid函数输出0-1之前的概率值，表示解码器生成的重构特征向量来自真实的特征提取网络提取的概率，其中，Sigmoid函数可以通过公式3来表示：
Figure BDA0003181948770000091
其中，x表示判别器的3层全连接网络的输出，其为标量。
步骤四、根据上述概率计算对抗损失，并根据对抗损失，得到图像缺陷检测网络的损失函数值。
为了消除还原的重构特征向量与真实特征向量之间的差距，本申请实施例中引入了对抗训练机制，因此在训练过程中，判别器网络的训练与图像缺陷检测网络的训练交替进行。
具体地，在第M次训练中，直接将对抗损失作为图像缺陷检测网络的损失函数值；
在第N次训练中，根据L1损失函数计算解码器的损失，得到特征重构损失；以及计算对抗损失和特征重构损失的加权和值，将加权和值作为损失函数值；
在M为奇数的情况下，N为偶数；或者，在M为偶数的情况下，N为奇数。
其中，对抗损失可以由公式4来表示，L1损失函数可以由公式5来表示。另外，本申请实施例中采用的L1损失函数相比于传统的L2损失函数，能够避免引起平滑效应，进一步减小重构特征向量与真实特征向量之间的差距。
Figure BDA0003181948770000092
Figure BDA0003181948770000093
其中，上述公式4中，E表示分布函数的期望值，Pdata代表真实样本的分布，Pz表示随机噪声，D(x)表示真实特征向量的概率，D(G(z))表示重构特征向量是真实特征向量的概率，x表示输入图像，z表示图像经由编码器编码后的特征，G是解码器，D是判别器。上述公式5中，x、y均表示输入图像，f表示整个重构网络，f(x)表示对图像x进行重构。
步骤五、在损失函数值不满足训练停止条件的情况下，调整图像缺陷检测网络的参数和/或判别器网络的参数，并利用样本图像训练待训练的图像缺陷检测网络，直至损失函数值满足训练停止条件，得到训练后的图像缺陷检测网络。
由于对判别器网络的训练，需冻结编码器、记忆单元和解码器的参数，对编码器、记忆单元和解码器的训练，需冻结判别器的参数。
因此在损失函数值不满足训练停止条件的情况下，第M次训练中，调整图像缺陷检测网络的参数；第N次训练中，调整判别器网络的参数。
按照上述公式4、公式5所示的损失函数优化图像缺陷检测网络，利用梯度下降算法反向更新网络参数，得到更新后的图像缺陷检测网络，直到损失函数值小于预设值，停止优化训练，确定训练后的图像缺陷检测网络。
需要说明，为了提高图像缺陷检测网络的准确度，该图像缺陷检测网络还可以在实际应用中不断地利用新的训练样本进行训练，以不断更新图像缺陷检测网络，提高图像缺陷检测网络的准确度，进而提高图像缺陷检测的准确率。
下面结合图4以一个具体实施例，对本申请实施例提供的图像缺陷检测网络训练方法的具体实施方式，进行详细说明。
如图4所示，S401，获取无缺陷样本图像。
S402，将样本图像输入至多级特征提取网络，对样本图像分别进行4倍、8倍和16倍的下采样处理，得到与样本图像对应的不同像素级别的三个样本原始特征向量。
S403，将三个样本原始特征向量输入至编码器网络，得到与三个样本特征向量一一对应的样本查询向量。
S404，将三个样本查询向量输入至记忆单元网络，通过记忆单元寻址，得到与三个样本查询向量一一对应的第二向量，第二向量是与样本查询向量相似度最大的向量。
S405，将三个第二向量输入至解码器网络，对第二向量进行还原，得到与三个第二向量一一对应的样本重构特征向量。
S406，将上述三个样本重构特征向量输入至判别器网络，得到每一样本重构特征向量为真实特征向量的概率。
S407，基于上述概率计算对抗损失loss_adv。
S408，判断当前训练的训练次数是否为奇数次，若是，执行S409，否则，执行S411。
S409，根据L1loss计算解码器的损失，得到特征重构损失loss_rec。
S410，计算总损失值：loss1＝loss_adv+loss_rec，执行S412。
S411，将对抗损伤作为总损失，总损失值：loss2＝loss_adv，执行S412。
S412，判断上述总损失值满足预设训练停止条件，若是，执行S414，否则执行S413。
S413，在总损失值为loss1的情况下，利用梯度下降法，调整判别器网络的参数；在总损失值为loss2的情况下，利用梯度下降法，调整编码器、记忆单元以及解码器的参数。调整结束后，返回S401。
S414，训练结束。
以上为本申请实施例提供的图像缺陷检测网络训练方法的具体实施方式，经上述训练得到的图像缺陷检测网络可应用于如下实施例提供的图像处理方法中。
下面结合附图5详细描述本申请提供的图像处理方法的具体实现方式。
如图5所示，本申请实施例提供一种图像处理方法，所述方法包括：
S501，将待检测图像输入至预先训练的图像缺陷检测网络中，得到与待检测图像对应的不同像素级别的多个重构特征向量，其中，图像缺陷检测网络中包括多级特征提取网络和与多级特征提取网络一一对应的特征重构网络。
基于多级特征提取网络对待检测图像进行了不同级别的特征提取，保留不同尺度的特征向量，使得样本图像的特征细节不会被丢失，进而将图像特征细节有效传递到特征提取网络，以对复杂纹理的图像特征还原更为精确，减少重构特征向量与真实特征向量之间的差异。
上述S501中得到待检测图像的多个重构特征向量，详见下面实施例，此处不作过多说明。
S502，对多个重构特征向量分别进行归一化处理，得到与多个重构特征向量一一对应的第一特征图像。
具体地，可以基于曼哈顿距离法，对上述不同级别的多个重构特征向量进行归一化处理，以得到对应的特征图像。
S503，对多个第一特征图像进行融合处理，得到第二特征图像。
上述S503具体可以包括：
将多个第一特征图像缩放至同一尺寸，得到多个第三特征图像；
将多个第三特征图像以像素单元逐一相乘的形式进行融合，确定第二特征图像。
需要说明的是，对多个第一特征图像进行缩放，可以均缩放至上述多个第一特征图像中最小图像对应的尺寸，也可以是其他预设尺寸；以及，对上述多个第三特征图像的融合处理，可以是以像素单元逐一相乘的形式，也可以是其他图像融合方式，本申请实施例对此均不作限定。
上述最终确定的第二特征图像，是根据多个不同像素级别的重构特征向量，经过一系列处理之后得到的，正是由于多个重构特征向量中保留了不同尺度的特征细节，因此在第二特征图像中可以同时兼顾图像中可能出现的大型缺陷和微小缺陷。
S504，从第二特征图像中分割出像素值不在预设像素区间的图像区域，得到待检测图像的缺陷区域。
本申请实施例提供的图像处理方法，能够基于预先训练的图像缺陷检测网络，对图像进行多种级别的特征重构，保留了不同尺度的特征向量，使得图像特征细节得到有效保留，对复杂纹理的图像特征还原更为精细，提高了对复杂纹理图像的缺陷区域进行定位的准确性。
在一些实施例中，上述S501具体可以包括：
将待检测图像输入至多级特征提取网络中，对待检测图像进行不同倍数的下采样处理，得到与待检测图像对应的不同像素级别的多个原始特征向量；
将多个原始特征向量输入至多级特征重构网络中，对原始特征向量进行还原，得到与多个原始特征向量一一对应的重构特征向量。
本申请实施例提供的图像处理方法，通过对图像特征进行还原，实现了语义级别的还原，而现有技术中通常是对图像进行像素级别的还原，因此有效避免了像素还原方法中带来的噪声，提高图像处理的能力。
在一些实施例中，多级特征重构网络包括级联的编码器网络、记忆单元网络以及解码器网络；
将多个原始特征向量输入至多级特征重构网络中，对原始特征向量进行还原，得到与多个原始特征向量一一对应的重构特征向量，可以包括：
将多个原始特征向量输入至编码器网络，得到与多个特征向量一一对应的查询向量，其中，查询向量维度小于原始特征向量维度；
将多个查询向量输入至记忆单元网络，得到多个记忆向量中与每一目标查询向量相似度最大的第一向量，目标查询向量为多个查询向量中的任一个，多个记忆向量为记忆单元网络中的向量；
将多个第一向量输入至解码器网络，对第一向量进行还原，得到与多个第一向量一一对应的重构特征向量。
本申请实施例提供的图像处理方法，引入记忆单元，使得图像特征还原时所依赖的都是正样本的记忆，不会连同图像缺陷一起还原，同时，基于正样本记忆，对于图像缺陷检测网络中新出现的缺陷类型，也可以准确检测。
在一些实施例中，多级特征提取网络包括多个级联的过渡层；
将待检测图像输入至多级特征提取网络，得到与待检测图像对应的不同像素级别的多个原始特征向量，可以包括：
将待检测图像输入至多级特征提取网络中，每经过一个过渡层对待检测图像下采样n倍，n大于1；
将经过不同数量过渡层的待检测图像，进行不同倍数的下采样处理，得到不同下采样倍数的特征向量；
根据不同下采样倍数的特征向量，得到与待检测图像对应的不同像素级别的多个原始特征向量。
在一个示例中，多级特征提取网络是一个包含三组[Dense Block,TransitionLayer]块的卷积神经网络，每经过一个[Dense Block,Transition Layer]块，对上一次得到的特征向量下采样2倍，得到新的特征向量。使用时采用图像下采样4倍、8倍和16倍后的特征向量，形状分别为(N,C1,H/4,W/4)、(N,C2,H/8,W/8)和(N,C3,H/16,W/16)。将上述下采样4倍、8倍和16倍后的特征向量，作为原始特征向量。
在一些实施例中，将多个查询向量输入至记忆单元网络，确定与每一目标查询向量相似度最大的第一向量，可以包括：
针对每一目标查询向量执行以下步骤：
计算目标查询向量与每一记忆单元的余弦相似度；
基于余弦相似度，配置每一记忆单元的权重；
将权重最大的记忆单元中所维护的向量，作为与目标查询向量相似度最大的第一向量。
在一个示例中，记忆单元网络维护一个N×M大小的特征矩阵作为记忆，N表示记忆单元的数量，M表示记忆单元的维度。记忆单元输入样本查询向量，采用余弦相似度计算样本查询向量与各记忆单元的相似度，然后通过Softmax函数对记忆中的每个记忆单元分配权重，权重最大的记忆单元中所维护的特征向量将会被查询出来作为记忆单元的输出。其中，上述余弦相似度可以通过公式1来表示，Softmax函数可以通过公式2来表示。
Figure BDA0003181948770000141
Figure BDA0003181948770000142
本申请实施例提供的图像处理方法，结合不同级别的记忆单元，可以逐步剔除掉与图像特征还原无关的信息，排除噪声干扰。依赖于记忆单元中的正样本特征向量，对图像原始特征进行还原，避免了对缺陷区域图像特征直接复制的情况。
在一些实施例中，特征提取网络可以包括卷积神经网络，卷积神经网络包括多个过渡层；
编码器网络包括第一全连接网络，第一全连接网络包括多个不同级别的编码器；
记忆单元网络包括多个记忆单元；
解码器网络包括第二全连接网络，第二全连接网络包括多个不同级别的解码器。
本申请实施例提供的图像处理方法，通过多尺度的特征提取网络、特征重构网络的连接，融合了高级到低级的语义特征，提升了图像缺陷检测网络的图像检测能力。
在一些实施例中，在获取待检测图像之前，方法还可以包括：
获取训练样本集，训练样本集中包括多个样本图像，多个样本图像均为无缺陷图像；
将训练样本集输入至待训练的图像缺陷检测网络中，确定与每一样本图像对应的多个样本重构特征向量；
将多个样本重构特征向量输入至判别器网络，得到每一样本重构特征向量为真实特征向量的概率；
根据概率，计算图像缺陷检测网络的对抗损失；
根据对抗损失，得到图像缺陷检测网络的损失函数值；
在损失函数值不满足训练停止条件的情况下，调整图像缺陷检测网络的参数和/或判别器网络的参数，并利用样本图像训练待训练的图像缺陷检测网络，直至损失函数值满足训练停止条件，得到训练后的图像缺陷检测网络。
本申请实施例提供的图像处理方法，为了排除噪声干扰，避免对缺陷区域图像特征直接复制的情况，得到更为干净的重构特征向量，在图像缺陷检测网络的训练过程中引入对抗机制，通过判别器网络与图像缺陷检测网络之间的对抗训练，有效消除还原的重构特征向量与真实特征向量之间的差距。
在一些实施例中，根据对抗损失，得到图像缺陷检测网络的损失函数值，可以包括：
在第M次训练中，将对抗损失作为图像缺陷检测网络的损失函数值；
在第N次训练中，根据L1损失函数确定解码器的损失，得到特征重构损失；以及计算对抗损失和特征重构损失的加权和值，将加权和值作为损失函数值；
在M为奇数的情况下，N为偶数；或者，在M为偶数的情况下，N为奇数。
本申请实施例中采用的L1损失函数相比于传统的L2损失函数，能够避免引起平滑效应，进一步减小重构特征向量与真实特征向量之间的差距。
在一些实施例中，在损失函数值不满足训练停止条件的情况下，调整图像缺陷检测网络的参数和/或判别器网络的参数，可以包括：
在第M次训练中，调整图像缺陷检测网络的参数；
在第N次训练中，调整判别器网络的参数。
上述对图像缺陷检测网络的训练过程，在本申请实施例提供的图像缺陷检测网络的训练方法中已经进行了详细说明，此处不再赘述。
基于上述图像处理方法的相同发明构思，本申请实施例还提供一种图像处理装置。
如图6所示，本申请实施例提供一种图像处理装置，装置包括：
检测模块601，用于将待检测图像输入至预先训练的图像缺陷检测网络中，得到与待检测图像对应的不同像素级别的多个重构特征向量，其中，图像缺陷检测网络中包括多级特征提取网络和与多级特征提取网络一一对应的特征重构网络；
第一处理模块602，用于对多个重构特征向量分别进行归一化处理，得到与多个重构特征向量一一对应的第一特征图像；
第二处理模块603，用于对多个第一特征图像进行融合处理，得到第二特征图像；
确定模块604，用于从第二特征图像中分割出像素值不在预设像素区间的图像区域，得到待检测图像的缺陷区域。
在一些实施例中，第二处理模块具体可以用于：
将多个第一特征图像缩放至同一尺寸，得到多个第三特征图像；
将多个第三特征图像以像素单元逐一相乘的形式进行融合，确定第二特征图像。
在一些实施例中，检测模块具体可以包括：
第一检测单元，用于将待检测图像输入至多级特征提取网络中，对待检测图像进行不同倍数的下采样处理，得到与待检测图像对应的不同像素级别的多个原始特征向量；
第二检测单元，用于将多个原始特征向量输入至多级特征重构网络中，对原始特征向量进行还原，得到与多个原始特征向量一一对应的重构特征向量。
在一些实施例中，多级特征重构网络包括级联的编码器网络、记忆单元网络以及解码器网络；第二检测单元具体可以用于：
将多个原始特征向量输入至编码器网络，得到与多个特征向量一一对应的查询向量，其中，查询向量维度小于原始特征向量维度；
将多个查询向量输入至记忆单元网络，得到多个记忆向量中与每一目标查询向量相似度最大的第一向量，目标查询向量为多个查询向量中的任一个，多个记忆向量为记忆单元网络中的向量；
将多个第一向量输入至解码器网络，对第一向量进行还原，得到与多个第一向量一一对应的重构特征向量。
在一些实施例中，第一检测单元具体可以用于：
将待检测图像输入至多级特征提取网络中，每经过一个过渡层对待检测图像下采样n倍，n大于1；
将经过不同数量过渡层的待检测图像，进行不同倍数的下采样处理，得到不同下采样倍数的特征向量；
根据不同下采样倍数的特征向量，得到与待检测图像对应的不同像素级别的多个原始特征向量。
在一些实施例中，第二检测单元具体可以用于：
针对每一目标查询向量执行以下步骤：
计算目标查询向量与每一记忆单元的余弦相似度；
基于余弦相似度，配置每一记忆单元的权重；
将权重最大的记忆单元中所维护的向量，作为与目标查询向量相似度最大的第一向量。
在一些实施例中，特征提取网络可以包括卷积神经网络，卷积神经网络包括多个过渡层；
编码器网络包括第一全连接网络，第一全连接网络包括多个不同级别的编码器；
记忆单元网络包括多个记忆单元；
解码器网络包括第二全连接网络，第二全连接网络包括多个不同级别的解码器。
在一些实施例中，装置还可以包括：
获取模块，用于获取训练样本集，训练样本集中包括多个样本图像，多个样本图像均为无缺陷图像；
第一训练模块，用于将训练样本集输入至待训练的图像缺陷检测网络中，得到与每一样本图像对应的多个样本重构特征向量；
第二训练模块，用于将多个样本重构特征向量输入至判别器网络，得到每一样本重构特征向量为真实特征向量的概率；
第一计算模块，用于根据概率，计算图像缺陷检测网络的对抗损失；
第二计算模块，用于根据对抗损失，得到图像缺陷检测网络的损失函数值；
调整模块，用于在损失函数值不满足训练停止条件的情况下，调整图像缺陷检测网络的参数和/或判别器网络的参数，并利用样本图像训练待训练的图像缺陷检测网络，直至损失函数值满足训练停止条件，得到训练后的图像缺陷检测网络。
在一些实施例中，第二计算模块具体可以用于：
在第M次训练中，将对抗损失作为图像缺陷检测网络的损失函数值；
在第N次训练中，根据L1损失函数确定解码器的损失，得到特征重构损失；以及计算对抗损失和特征重构损失的加权和值，将加权和值作为损失函数值；
在M为奇数的情况下，N为偶数；或者，在M为偶数的情况下，N为奇数。
在一些实施例中，调整模块具体可以用于：
在第M次训练中，调整图像缺陷检测网络的参数；
在第N次训练中，调整判别器网络的参数。
根据本申请实施例提供的图像处理装置的其他细节与以上结合图5描述的根据本申请实施例的图像处理方法类似，在此不再赘述。
图7示出了本申请实施例提供的图像缺陷检测的硬件结构示意图。
结合图5、图6描述的根据本申请实施例提供的图像处理方法和装置可以由图像处理设备来实现。图7是示出根据发明实施例的图像处理设备的硬件结构700示意图。
在图像处理设备中可以包括处理器701以及存储有计算机程序指令的存储器702。
具体地，上述处理器701可以包括中央处理器(Central Processing Unit，CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器702可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器702可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在一个实例中，存储器702可以包括可移除或不可移除(或固定)的介质，或者存储器702是非易失性固态存储器。存储器702可在综合网关容灾设备的内部或外部。
在一个实例中，存储器702可以是只读存储器(Read Only Memory，ROM)。在一个实例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器701通过读取并执行存储器702中存储的计算机程序指令，以实现图5所示实施例中的方法/步骤S501至S504，并达到图5所示实例执行其方法/步骤达到的相应技术效果，为简洁描述在此不再赘述。
在一个示例中，图像处理设备还可包括通信接口703和总线710。其中，如图7所示，处理器701、存储器702、通信接口703通过总线710连接并完成相互间的通信。
通信接口703，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线710包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(Accelerated Graphics Port，AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，EISA)总线、前端总线(Front Side Bus，FSB)、超传输(Hyper Transport，HT)互连、工业标准架构(Industry Standard Architecture，ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线710可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
本申请实施例提供的图像处理设备，能够基于多级特征提取网络以及多级特征重构网络，确定与待检测图像对应的不同像素级别的多个重构特征向量，由于并非只对待检测图像进行单一像素级别的特征重构，因此避免了图像细节的丢失，进而能够基于多个重构特征向量对图像缺陷进行准确定位。
另外，结合上述实施例中的图像处理方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种图像处理方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RadioFrequency，RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (13)

1.一种图像处理方法，其特征在于，所述方法包括：
将待检测图像输入至预先训练的图像缺陷检测网络中，得到与所述待检测图像对应的不同像素级别的多个重构特征向量，其中，所述图像缺陷检测网络中包括多级特征提取网络和与所述多级特征提取网络一一对应的特征重构网络；
对所述多个重构特征向量分别进行归一化处理，得到与所述多个重构特征向量一一对应的第一特征图像；
对多个所述第一特征图像进行融合处理，得到第二特征图像；
从所述第二特征图像中分割出像素值不在预设像素区间的图像区域，得到所述待检测图像的缺陷区域。
2.根据权利要求1所述的方法，其特征在于，所述对多个所述第一特征图像进行融合处理，得到第二特征图像，包括：
将所述多个第一特征图像缩放至同一尺寸，得到多个第三特征图像；
将所述多个第三特征图像以像素单元逐一相乘的形式进行融合，确定所述第二特征图像。
3.根据权利要求1所述的方法，其特征在于，所述将待检测图像输入至预先训练的图像缺陷检测网络中，得到与所述待检测图像对应的不同像素级别的多个重构特征向量，包括：
将所述待检测图像输入至所述多级特征提取网络中，对所述待检测图像进行不同倍数的下采样处理，得到与所述待检测图像对应的不同像素级别的多个原始特征向量；
将所述多个原始特征向量输入至所述多级特征重构网络中，对所述原始特征向量进行还原，得到与多个所述原始特征向量一一对应的重构特征向量。
4.根据权利要求3所述的方法，其特征在于，所述多级特征重构网络包括级联的编码器网络、记忆单元网络以及解码器网络；
所述将所述多个原始特征向量输入至所述多级特征重构网络中，对所述原始特征向量进行还原，得到与多个所述原始特征向量一一对应的重构特征向量，包括：
将所述多个原始特征向量输入至所述编码器网络，得到与所述多个特征向量一一对应的查询向量，其中，所述查询向量维度小于所述原始特征向量维度；
将多个所述查询向量输入至所述记忆单元网络，得到多个记忆向量中与每一目标查询向量相似度最大的第一向量，所述目标查询向量为多个查询向量中的任一个，所述多个记忆向量为所述记忆单元网络中的向量；
将多个所述第一向量输入至所述解码器网络，对所述第一向量进行还原，得到与多个所述第一向量一一对应的重构特征向量。
5.根据权利要求3所述的方法，其特征在于，所述多级特征提取网络包括多个级联的过渡层；
所述将所述待检测图像输入至所述多级特征提取网络中，对所述待检测图像进行不同倍数的下采样处理，得到与所述待检测图像对应的不同像素级别的多个原始特征向量，包括：
将所述待检测图像输入至所述多级特征提取网络中，每经过一个过渡层对所述待检测图像下采样n倍，所述n大于1；
将经过不同数量所述过渡层的待检测图像，进行不同倍数的下采样处理，得到不同下采样倍数的特征向量；
根据所述不同下采样倍数的特征向量，得到与所述待检测图像对应的不同像素级别的多个原始特征向量。
6.根据权利要求4所述的方法，其特征在于，所述将多个所述查询向量输入至所述记忆单元网络，得到多个记忆向量中与每一目标查询向量相似度最大的第一向量，包括：
针对每一目标查询向量执行以下步骤：
计算目标查询向量与每一记忆单元的余弦相似度；
基于所述余弦相似度，配置每一所述记忆单元的权重；
将权重最大的记忆单元中所维护的向量，作为与所述目标查询向量相似度最大的第一向量。
7.根据权利要求4所述的方法，其特征在于，
所述特征提取网络包括卷积神经网络，所述卷积神经网络包括多个过渡层；
所述编码器网络包括第一全连接网络，所述第一全连接网络包括多个不同级别的编码器；
所述记忆单元网络包括多个记忆单元；
所述解码器网络包括第二全连接网络，所述第二全连接网络包括多个不同级别的解码器。
8.根据权利要求2所述的方法，其特征在于，在所述获取待检测图像之前，所述方法还包括：
获取训练样本集，所述训练样本集中包括多个样本图像，所述多个样本图像均为无缺陷图像；
将所述训练样本集输入至待训练的图像缺陷检测网络中，得到与每一所述样本图像对应的多个样本重构特征向量；
将所述多个样本重构特征向量输入至判别器网络，得到每一所述样本重构特征向量为真实特征向量的概率；
根据所述概率，计算所述图像缺陷检测网络的对抗损失；
根据所述对抗损失，得到所述图像缺陷检测网络的损失函数值；
在所述损失函数值不满足训练停止条件的情况下，调整所述图像缺陷检测网络的参数和/或所述判别器网络的参数，并利用所述样本图像训练所述待训练的图像缺陷检测网络，直至所述损失函数值满足所述训练停止条件，得到训练后的图像缺陷检测网络。
9.根据权利要求8所述的方法，其特征在于，所述根据所述对抗损失，得到所述图像缺陷检测网络的损失函数值，包括：
在第M次训练中，将所述对抗损失作为所述图像缺陷检测网络的损失函数值；
在第N次训练中，根据L1损失函数确定所述解码器的损失，得到特征重构损失；以及计算所述对抗损失和所述特征重构损失的加权和值，将所述加权和值作为所述损失函数值；
在所述M为奇数的情况下，所述N为偶数；或者，在所述M为偶数的情况下，所述N为奇数。
10.根据权利要求9所述的方法，其特征在于，所述在所述损失函数值不满足训练停止条件的情况下，调整所述图像缺陷检测网络的参数和/或所述判别器网络的参数，包括：
在所述第M次训练中，调整所述图像缺陷检测网络的参数；
在所述第N次训练中，调整所述判别器网络的参数。
11.一种图像处理装置，装置包括：
检测模块，用于将待检测图像输入至预先训练的图像缺陷检测网络中，得到与所述待检测图像对应的不同像素级别的多个重构特征向量，其中，所述图像缺陷检测网络中包括多级特征提取网络和与多级特征提取网络一一对应的特征重构网络；
第一处理模块，用于对所述多个重构特征向量分别进行归一化处理，得到与所述多个重构特征向量一一对应的第一特征图像；
第二处理模块，用于对多个所述第一特征图像进行融合处理，得到第二特征图像；
确定模块，用于从所述第二特征图像中分割出像素值不在预设像素区间的图像区域，得到所述待检测图像的缺陷区域。
12.一种图像处理设备，其特征在于，所述设备包括：处理器，以及存储有计算机程序指令的存储器；所述处理器读取并执行所述计算机程序指令，以实现如权利要求1-10任意一项所述的图像处理方法。
13.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-10任意一项所述的图像处理方法。
CN202110849688.0A 2021-07-27 2021-07-27 一种图像处理方法、装置、设备及存储介质 Active CN113689383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110849688.0A CN113689383B (zh) 2021-07-27 2021-07-27 一种图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110849688.0A CN113689383B (zh) 2021-07-27 2021-07-27 一种图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113689383A true CN113689383A (zh) 2021-11-23
CN113689383B CN113689383B (zh) 2024-04-16

Family

ID=78577936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110849688.0A Active CN113689383B (zh) 2021-07-27 2021-07-27 一种图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113689383B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116233626A (zh) * 2023-05-05 2023-06-06 荣耀终端有限公司 图像处理方法、装置及电子设备
CN116309554A (zh) * 2023-05-12 2023-06-23 广东奥普特科技股份有限公司 缺陷检测网络的构建及缺陷检测方法、装置和设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040264787A1 (en) * 2000-05-05 2004-12-30 Jia Charles Chi Image processing decompression apparatus and method of using same different scaling algorithms simultaneously
WO2012031948A1 (en) * 2010-09-09 2012-03-15 Thomson Licensing Coding of depth or disparity images
CN111369550A (zh) * 2020-03-11 2020-07-03 创新奇智(成都)科技有限公司 图像配准与缺陷检测方法、模型、训练方法、装置及设备
CN111627015A (zh) * 2020-05-29 2020-09-04 联想(北京)有限公司 小样本缺陷识别方法、装置、设备及存储介质
WO2020235854A1 (ko) * 2019-05-17 2020-11-26 라온피플 주식회사 불량 이미지 생성 장치 및 방법
CN112330664A (zh) * 2020-11-25 2021-02-05 腾讯科技（深圳）有限公司 路面病害检测方法、装置、电子设备及存储介质
CN112634209A (zh) * 2020-12-09 2021-04-09 歌尔股份有限公司 一种产品缺陷检测方法和装置
CN112818997A (zh) * 2021-01-29 2021-05-18 北京迈格威科技有限公司 图像合成方法、装置、电子设备及计算机可读存储介质
CN112954399A (zh) * 2021-02-09 2021-06-11 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及计算机设备
CN113012107A (zh) * 2021-02-22 2021-06-22 江苏方天电力技术有限公司 电网缺陷检测方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040264787A1 (en) * 2000-05-05 2004-12-30 Jia Charles Chi Image processing decompression apparatus and method of using same different scaling algorithms simultaneously
WO2012031948A1 (en) * 2010-09-09 2012-03-15 Thomson Licensing Coding of depth or disparity images
WO2020235854A1 (ko) * 2019-05-17 2020-11-26 라온피플 주식회사 불량 이미지 생성 장치 및 방법
CN111369550A (zh) * 2020-03-11 2020-07-03 创新奇智(成都)科技有限公司 图像配准与缺陷检测方法、模型、训练方法、装置及设备
CN111627015A (zh) * 2020-05-29 2020-09-04 联想(北京)有限公司 小样本缺陷识别方法、装置、设备及存储介质
CN112330664A (zh) * 2020-11-25 2021-02-05 腾讯科技（深圳）有限公司 路面病害检测方法、装置、电子设备及存储介质
CN112634209A (zh) * 2020-12-09 2021-04-09 歌尔股份有限公司 一种产品缺陷检测方法和装置
CN112818997A (zh) * 2021-01-29 2021-05-18 北京迈格威科技有限公司 图像合成方法、装置、电子设备及计算机可读存储介质
CN112954399A (zh) * 2021-02-09 2021-06-11 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及计算机设备
CN113012107A (zh) * 2021-02-22 2021-06-22 江苏方天电力技术有限公司 电网缺陷检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHWU-HUEY YEN; HSIEN-YANG LI: ""Image Completion Using Sample Synthesis"", 《2017 IEEE 31ST INTERNATIONAL CONFERENCE ON ADVANCED INFORMATION NETWORKING AND APPLICATIONS (AINA)》, 8 May 2017 (2017-05-08) *
金阳;冯光;方益明;蔺陆军;夏凯;: "木材空气耦合超声图像的超分辨率重构方法", 福建电脑, no. 01, 25 January 2018 (2018-01-25) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116233626A (zh) * 2023-05-05 2023-06-06 荣耀终端有限公司 图像处理方法、装置及电子设备
CN116233626B (zh) * 2023-05-05 2023-09-15 荣耀终端有限公司 图像处理方法、装置及电子设备
CN116309554A (zh) * 2023-05-12 2023-06-23 广东奥普特科技股份有限公司 缺陷检测网络的构建及缺陷检测方法、装置和设备
CN116309554B (zh) * 2023-05-12 2023-08-22 广东奥普特科技股份有限公司 缺陷检测网络的构建及缺陷检测方法、装置和设备

Also Published As

Publication number Publication date
CN113689383B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN114120102A (zh) 边界优化的遥感图像语义分割方法、装置、设备及介质
CN110619618A (zh) 一种表面缺陷检测方法、装置及电子设备
CN110263666B (zh) 一种基于非对称多流的动作检测方法
CN113313810B (zh) 一种透明物体的6d姿态参数计算方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN108629370B (zh) 一种基于深度置信网络的分类识别算法及装置
CN111968095B (zh) 一种产品表面缺陷检测方法及系统及装置及介质
CN108764235B (zh) 目标检测方法、设备及介质
CN113689383A (zh) 一种图像处理方法、装置、设备及存储介质
CN111079539A (zh) 一种基于异常追踪的视频异常行为检测方法
CN116485779B (zh) 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN116579409A (zh) 基于重参数化的智能相机模型剪枝加速方法及加速系统
CN116522973A (zh) 基于深度学习图像修复网络的受损qr码图像修复方法、装置及设备
CN116468947A (zh) 刀具图像识别方法、装置、计算机设备及存储介质
CN115345806A (zh) 对象检测方法、装置、电子设备及可读存储介质
CN115601293A (zh) 对象检测方法、装置、电子设备及可读存储介质
CN114897214A (zh) 一种基于图形化处理的金属增材制造时间预测系统和方法
CN113269678A (zh) 接触网输电线路的故障点定位方法
CN111382761B (zh) 一种基于cnn的检测器、图像检测方法及终端
CN112183336A (zh) 表情识别模型训练方法、装置、终端设备及存储介质
CN117422689B (zh) 一种基于改进MS-PReNet和GAM-YOLOv7的雨天绝缘子缺陷检测方法
CN112052626B (zh) 一种神经网络自动设计系统和方法
CN112668600B (zh) 一种文本识别方法及装置
CN116524199B (zh) 一种基于PReNet渐进式网络的图像去雨方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant