CN114399505B - 工业检测中的检测方法、检测装置 - Google Patents

工业检测中的检测方法、检测装置 Download PDF

Info

Publication number
CN114399505B
CN114399505B CN202210298048.XA CN202210298048A CN114399505B CN 114399505 B CN114399505 B CN 114399505B CN 202210298048 A CN202210298048 A CN 202210298048A CN 114399505 B CN114399505 B CN 114399505B
Authority
CN
China
Prior art keywords
picture
discriminator
image
workpiece
wgan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210298048.XA
Other languages
English (en)
Other versions
CN114399505A (zh
Inventor
杭天欣
赵何
郑钧友
张志琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Zhiyun Tiangong Technology Co ltd
Original Assignee
Jiangsu Zhiyun Tiangong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Zhiyun Tiangong Technology Co ltd filed Critical Jiangsu Zhiyun Tiangong Technology Co ltd
Priority to CN202210298048.XA priority Critical patent/CN114399505B/zh
Publication of CN114399505A publication Critical patent/CN114399505A/zh
Application granted granted Critical
Publication of CN114399505B publication Critical patent/CN114399505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种工业检测中的检测方法、检测装置，涉及工业质检技术领域，所述方法包括：获取待检测的工件图片和标准图片；将工件图片输入WGAN网络的生成器G和FC层中，以获取工件图片和标准图片的单应性矩阵；根据单应性矩阵对工件图片进行仿射变换，以获取相应的配准图像；将配准图像作为输入送进WGAN网络的判别器D中，根据判别器D输出的判别结果获取配准图像；根据配准图像进行工业检测。本发明采用WGAN网络和FC层即可实现图像配准，不再依赖商业用途的算子，减少软件成本，且WGAN网络具备相对较少的模型训练时间，可以减少人力成本和时间成本，对CPU和GPU的资源要求也较低，鲁棒性、配准率均较高。

Description

工业检测中的检测方法、检测装置
技术领域
本发明涉及工业质检技术领域，具体涉及一种工业检测中的检测方法和一种工业检测中的检测装置。
背景技术
在工业检测领域，无论是缺陷检测还是尺寸检测，对工件成像后的照片进行图像配准是一个重要的环节，如果在工业产线上的工件不经过图像配准的环节，而直接进行缺陷检测或者尺寸检测，其检测结果会有很大的偏差，这将导致严重的后果。因此，有必要在其他后续检测工作之前，需要先对待检测的工件图片进行图像配准。
相关技术中，图像配准方法一般为：
1、视觉算法（如基于特征的匹配算法），此类方法多是利用OpenCV（一种跨平台计算机视觉和机器学习软件库）中的算子来实现特征的提取，并通过特征匹配实现图像配准，但该特征提取方式对CPU（Central Processing Unit，中央处理器）、GPU（GraphicsProcessing Unit，图形处理器）的资源要求高、处理速度慢、并且某些算子在商业用途收费高昂，一般使用一次算子即进行一次收费（即进行一次图像配准即进行一次收费），对于工件图片较多的工业质检采用此类方法成本太高。
2、模板匹配（如基于灰度图像的配准算法），然而由于工业生产中，工业相机光源并不是一直稳定，因此此类方法的配准率并不高。
3、利用无监督的深度学习模型对图像进行配准，由于模型的鲁棒性不足，所以在工业质检领域，此类模型有可能训练失败。
发明内容
为解决上述技术问题，本发明的第一个目的在于提出一种工业检测中的检测方法，该方法采用WGAN（Wasserstein-Generative Adversarial Networks，推土距离-生成对抗网络）网络和FC（Fully Connected，全连接）层即可实现图像配准，不再依赖商业用途的算子，减少软件成本，且WGAN网络具备相对较少的模型训练时间，可以减少人力成本和时间成本，对CPU和GPU的资源要求也较低，鲁棒性、配准率均较高。
本发明的第二个目的在于提出一种工业检测中的检测装置。
本发明采用的技术方案如下：
本发明第一方面的实施例提出了一种工业检测中的检测方法，包括以下步骤：获取待检测的工件图片和标准图片；将所述工件图片输入WGAN网络的生成器G和FC层中，以获取所述工件图片和标准图片的单应性矩阵；根据所述单应性矩阵对所述工件图片进行仿射变换，以获取相应的配准图像；将所述配准图像作为输入送进所述WGAN网络的判别器D中，根据判别器D输出的判别结果进行工业检测。
本发明上述提出的工业检测中的检测方法还可以具有如下附加技术特征：
根据本发明的一个实施例，所述WGAN网络采用以下方式训练：将训练集送入所述WGAN网络中代替随机噪声K，将标准图片送入所述WGAN网络中作为所述判别器D的训练标签，进行训练，以使所述训练集中的图片经过所述生成器G和FC层，生成所述训练集中的图片和标准图片的单应性矩阵M；根据所述单应性矩阵对所述训练集中的图片进行仿射变换，以获取相应的配准图像；配准图像和标准图片一同送入所述判别器D，以使所述判别器D生成判别结果并返回给所述生成器G；所述生成器G和所述判别器D进行对抗，不断训练迭代，获得训练后的所述WGAN网络。
根据本发明的一个实施例，所述判别器D的损失函数来自于推土机距离。
根据本发明的一个实施例，根据以下公式获取所述判别器D的损失：
Figure 164191DEST_PATH_IMAGE001
；其中，L是所述判别器D的损失，
Figure 194726DEST_PATH_IMAGE002
是真实样本分 布，
Figure 246996DEST_PATH_IMAGE003
是由生成器产生的样本分布，E表示数学期望，
Figure 450706DEST_PATH_IMAGE004
表示 WGAN网络中神经网络的拟 合函数。
根据本发明的一个实施例，将所述工件图片输入WGAN网络的生成器G和FC层中之前，还包括：将所述工件图片和所述标准图片进行灰度处理，以获取工件图片的灰度图和标准图片的灰度图；将所述工件图片的灰度图和所述标准图片的灰度图进行缩放和高斯滤波处理。
本发明第二方面的实施例提出了一种工业检测中的检测装置，包括：获取模块，所述获取模块用于获取待检测的工件图片和标准图片；输入模块，所述输入模块用于将所述工件图片输入WGAN网络的生成器G和FC层中，以获取所述工件图片和标准图片的单应性矩阵；变换模块，所述变换模块用于根据所述单应性矩阵对所述工件图片进行仿射变换，以获取相应的配准图像；判别模块，所述判别模块用于将所述配准图像作为输入送进所述WGAN网络的判别器D中，并获取判别器D输出的判别结果；检测模块，所述检测模块用于根据所述判别结果进行工业检测。
本发明上述提出的工业检测中的检测装置还可以具有如下附加技术特征：
根据本发明的一个实施例，上述的检测装置还可以包括：训练模块，所述训练模块用于采用以下方式训练所述WGAN网络：将训练集送入所述WGAN网络中代替随机噪声K，将标准图片送入所述WGAN网络中作为所述判别器D的训练标签，进行训练，以使所述训练集中的图片经过所述生成器G和FC层，生成所述训练集中的图片和标准图片的单应性矩阵M；根据所述单应性矩阵对所述训练集中的图片进行仿射变换，以获取相应的配准图像；配准图像和标准图片一同送入所述判别器D，以使所述判别器D生成判别结果并返回给所述生成器G；所述生成器G和所述判别器D进行对抗，不断训练迭代，获得训练后的所述WGAN网络。
根据本发明的一个实施例，所述判别器D的损失函数来自于推土机距离。
根据本发明的一个实施例，所述训练模块根据以下公式获取所述判别器D的损失：
Figure 384115DEST_PATH_IMAGE005
其中，L是所述判别器D的损失，
Figure 664180DEST_PATH_IMAGE006
是真实样本分布，
Figure 79112DEST_PATH_IMAGE007
为输入样本，
Figure 910015DEST_PATH_IMAGE008
是由生成器 产生的样本分布，E表示数学期望，
Figure 703790DEST_PATH_IMAGE009
表示WGAN网络中神经网络的拟合函数。
根据本发明的一个实施例，上述的检测装置还可以包括：还包括：预处理模块，所述预处理模块用于：将所述工件图片和所述标准图片进行灰度处理，以获取工件图片的灰度图和标准图片的灰度图；将所述工件图片的灰度图和所述标准图片的灰度图进行缩放和高斯滤波处理。
本发明的有益效果：
本发明采用WGAN网络和FC层即可实现图像配准，不再依赖商业用途的算子，减少软件成本，且WGAN网络具备相对较少的模型训练时间，可以减少人力成本和时间成本，对CPU和GPU的资源要求也较低，鲁棒性、配准率均较高。
附图说明
图1是根据本发明一个实施例的工业检测中的检测方法的流程图；
图2是根据本发明一个实施例的WGAN网络的训练原理图；
图3是根据本发明一个实施例的单应性矩阵的生成原理图；
图4是根据本发明一个实施例的工业检测中的检测装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据本发明一个实施例的工业检测中的检测方法的流程图，如图1所示，该方法包括以下步骤：
S1，获取待检测的工件图片和标准图片。
具体地，待检测的工件图片即工业产线上的待检测工件的原始成像图片，标准图片则为一副标准的工件的图片，即所有工件图片的配准模板，图像配准是通过仿射变换，将工件图片（原始图片，配准前）转换成接近标准图片的新工件图片（配准后）。
S2，将工件图片输入WGAN网络的生成器G和FC层中，以获取工件图片和标准图片的单应性矩阵M。
进一步地，WGAN网络采用以下方式训练：将训练集送入WGAN网络中代替随机噪声K，将标准图片送入WGAN网络中作为判别器D的训练标签，进行训练，以使训练集中的图片经过生成器G和FC层，生成训练集中的图片和标准图片的单应性矩阵M；根据单应性矩阵对训练集中的图片进行仿射变换，以获取相应的配准图像；配准图像和标准图片一同送入判别器D，以使判别器D生成判别结果并返回给生成器G；生成器G和判别器D进行对抗，不断训练迭代，获得训练后的WGAN网络。
具体地，采用WGAN网络作为基础模型，并在WGAN网络中加入FC层，具体可采用两个FC层，即FC1和FC2，即本发明的WGAN网络包括：生成器G、判别器D和FC1和FC2。
如图2所示，WGAN网络采用以下方式预先进行训练：
训练集A（待检测的工件图片组成的数据集）送入WGAN网络的生成器G中，代替随机噪声K；将标准图片B，送入WGAN网络的判别器D中，用作判别器D的训练标签，并开始训练。此处选择训练集A代替随机噪声K，是为了通过WGAN里的生成器G和额外的FC层，建立一个原始图片与变换矩阵的非线性关系。
训练集A中的图片I经过生成器G和FC层，将生成一个单应性矩阵M。将图片I通过单应性矩阵M，进行仿射变换，获得配准图像T。将配准图像T和标准图片B一同送入判别器D，判别器D会将判别结果返回给生成器G。经过D和G的对抗，不断训练迭代，获得训练后的WGAN网络。采用WGAN作为基础模型可以解决训练出的判别器和生成器不平衡状态的技术问题。
其中，如图3所示，其中通过生成器G和FC层获得单应性矩阵M的原理如下：
Figure 687181DEST_PATH_IMAGE010
；
Figure 684349DEST_PATH_IMAGE011
其中，I为训练集A中的图片（原图），G为生成器，*为卷积运算，FM为I经过G卷积运 算后的生成的特征图，其中，C为通道数量，n为自然数，
Figure 698704DEST_PATH_IMAGE012
为训练集A中的图片矩阵的元 素。
如图3所示，FM的大小可以为h*w*C，h代表高度，w代表宽度，C为通道数量，然后FM经过FC1输出1024*1的矩阵，再将FC1的输出输入FC2，FC2输出9*1的矩阵，再将9*1转换为3*3的矩阵即为单应性矩阵M，转换过程可参照下式所示：
Figure 91858DEST_PATH_IMAGE013
；
Figure 431835DEST_PATH_IMAGE014
其中，FC2与M的转换直接进行转换即可，矩阵中的元素不变，FC2中的M11、M12和M13即为M的第一行元素，FC2中的M21、M22和M23即为M的第二行元素，FC2中的M31、M32和M33即为M的第三行元素。
S3，根据单应性矩阵M对工件图片进行仿射变换，以获取相应的配准图像T。
仿射变换过程具体为：
Figure 910440DEST_PATH_IMAGE015
其中，M为单应性矩阵，一般为3*3的矩阵，
Figure 525223DEST_PATH_IMAGE016
为仿射变换后配准图像T中对应的 坐标位置；
Figure 28011DEST_PATH_IMAGE017
是仿射变换前工件图片中任意一点的坐标位置（工件图片的特征点位）。
S4，将配准图像T作为输入送进WGAN网络的判别器D中，根据判别器D输出的判别结果进行工业检测。
具体地，将步骤S3获取的配准图像T作为输入送进判别器D。如果判别器D输出的判别结果为是，则配准成功，则该配准图像将继续进入后续的目标检测模型进行工业检测；如果判断为否，则投入NG（No Good）物料盒，后续将被舍弃。
由此，采用WGAN网络和FC层即可实现图像配准，不再依赖商业用途的算子，减少软件成本，且WGAN网络具备相对较少的模型训练时间，可以减少人力成本和时间成本，对CPU和GPU的资源要求也较低，鲁棒性、配准率均较高。
根据本发明的一个实施例，判别器D的损失函数来自于推土机距离（Wasserstein）。推土机距离是由一个分布转变为另一个分布所需要的代价。计算过程如下：
假设数据集B中某图和生成的假图F都具有n个像素点，在第一个像素开始，
Figure 516718DEST_PATH_IMAGE018
和
Figure 222899DEST_PATH_IMAGE019
的代价分数
Figure 375794DEST_PATH_IMAGE020
为：
Figure 547404DEST_PATH_IMAGE021
其中F1和B1的值是对应图片的分割图中第一个像素的值。
推土机距离W则为：
Figure 291500DEST_PATH_IMAGE022
；n为正整数。
进一步地，根据本发明的一个实施例，根据以下公式获取判别器D的损失：
Figure 265404DEST_PATH_IMAGE023
；
其中，L是判别器D的损失，
Figure 674519DEST_PATH_IMAGE024
是真实样本分布，
Figure 880461DEST_PATH_IMAGE025
为输入样本，
Figure 546191DEST_PATH_IMAGE026
是由生成器产 生的样本分布，E表示数学期望，
Figure 584554DEST_PATH_IMAGE027
表示WGAN网络中神经网络的拟合函数。
根据本发明的一个实施例，将工件图片输入WGAN网络的生成器G和FC层中之前，还包括以下步骤：将工件图片和标准图片进行灰度处理，以获取工件图片的灰度图和标准图片的灰度图；将工件图片的灰度图和标准图片的灰度图进行缩放和高斯滤波处理。
具体地，在进行图像配准之前，为提高配准效果，还需对图片进行相关的预处理，可以将获取的工件图片和标准图片进行灰度处理，获得相关的灰度图，并将灰度图经过缩放处理，获得缩放图，然后进行高斯滤波操作，平滑图片。由此，可以提高后续模型的学习效率，减少操作数据量，提高产线效率。
综上所述，根据本发明实施例的工业检测中的检测方法，获取待检测的工件图片和标准图片，将工件图片输入WGAN网络的生成器G和FC层中，以获取工件图片和标准图片的单应性矩阵，根据单应性矩阵对工件图片进行仿射变换，以获取相应的配准图像，将配准图像作为输入送进WGAN网络的判别器D中，根据判别器D输出的判别结果获取配准图像，根据配准图像进行工业检测。本发明采用WGAN网络和FC层即可实现图像配准，不再依赖商业用途的算子，减少软件成本，且WGAN网络具备相对较少的模型训练时间，可以减少人力成本和时间成本，对CPU和GPU的资源要求也较低，鲁棒性、配准率均较高。
与上述的工业检测中的检测方法相对应，本发明还提出一种工业检测中的检测装置。由于本发明的装置实施例与上述的方法实施例相对应，对于装置实施例中未披露的细节可参照上述的方法实施例，本发明中不再进行赘述。
图4是根据本发明一个实施例的工业检测中的检测装置的方框示意图，如图4所示，该装置包括：获取模块1、输入模块2、变换模块3、判别模块4和检测模块5。
其中，获取模块1用于获取待检测的工件图片和标准图片；输入模块2用于将工件图片输入WGAN网络的生成器G和FC层中，以获取工件图片和标准图片的单应性矩阵；变换模块3用于根据单应性矩阵对工件图片进行仿射变换，以获取相应的配准图像；判别模块4用于将配准图像作为输入送进WGAN网络的判别器D中，并获取判别器D输出的判别结果；检测模块5用于根据判别结果进行工业检测。
根据本发明的一个实施例，上述的检测装置还包括：训练模块，训练模块用于采用以下方式训练WGAN网络：将训练集送入WGAN网络中代替随机噪声K，将标准图片送入WGAN网络中作为判别器D的训练标签，进行训练，以使训练集中的图片经过生成器G和FC层，生成训练集中的图片和标准图片的单应性矩阵M；根据单应性矩阵对训练集中的图片进行仿射变换，以获取相应的配准图像；配准图像和标准图片一同送入判别器D，以使判别器D生成判别结果并返回给生成器G；生成器G和判别器D进行对抗，不断训练迭代，获得训练后的WGAN网络。
根据本发明的一个实施例，判别器D的损失函数来自于推土机距离。
根据本发明的一个实施例，训练模块根据以下公式获取判别器D的损失：
Figure 610410DEST_PATH_IMAGE028
其中，L是判别器D的损失，
Figure 687169DEST_PATH_IMAGE029
是真实样本分布，
Figure 241910DEST_PATH_IMAGE030
为输入样本，
Figure 846197DEST_PATH_IMAGE031
是由生成器产 生的样本分布，E表示数学期望，
Figure 607568DEST_PATH_IMAGE032
表示WGAN网络中神经网络的拟合函数。
根据本发明的一个实施例，上述的检测装置还包括：预处理模块，预处理模块用于：将工件图片和标准图片进行灰度处理，以获取工件图片的灰度图和标准图片的灰度图；将工件图片的灰度图和标准图片的灰度图进行缩放和高斯滤波处理。
根据本发明实施例的工业检测中的检测装置，通过获取模块获取待检测的工件图片和标准图片，输入模块将工件图片输入WGAN网络的生成器G和FC层中，以获取工件图片和标准图片的单应性矩阵，变换模块根据单应性矩阵对工件图片进行仿射变换，以获取相应的配准图像，判别模块将配准图像作为输入送进WGAN网络的判别器D中，并获取判别器D输出的判别结果，检测模块根据判别结果进行工业检测。
由此，该装置采用WGAN网络和FC层即可实现图像配准，不再依赖商业用途的算子，减少软件成本，且WGAN网络具备相对较少的模型训练时间，可以减少人力成本和时间成本，对CPU和GPU的资源要求也较低，鲁棒性、配准率均较高。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种工业检测中的检测方法，其特征在于，包括以下步骤：
获取待检测的工件图片和标准图片；
将所述工件图片输入WGAN网络的生成器G和FC层中，以获取所述工件图片和标准图片的单应性矩阵；
根据所述单应性矩阵对所述工件图片进行仿射变换，以获取相应的配准图像；
将所述配准图像作为输入送进所述WGAN网络的判别器D中，根据判别器D输出的判别结果进行工业检测；
其中，所述WGAN网络采用以下方式训练：
将训练集送入所述WGAN网络中代替随机噪声K，将标准图片送入所述WGAN网络中作为所述判别器D的训练标签，进行训练，所述训练集中的图片经过所述生成器G卷积运算后生成特征图，将所述特征图输入FC层，生成所述训练集中的图片和标准图片的单应性矩阵M，所述FC层包括两个；
根据所述单应性矩阵对所述训练集中的图片进行仿射变换，以获取相应的配准图像；
配准图像和标准图片一同送入所述判别器D，以使所述判别器D生成判别结果并返回给所述生成器G；
所述生成器G和所述判别器D进行对抗，不断训练迭代，获得训练后的所述WGAN网络。
2.根据权利要求1所述的工业检测中的检测方法，其特征在于，所述判别器D的损失函数来自于推土机距离。
3.根据权利要求2所述的工业检测中的检测方法，其特征在于，根据以下公式获取所述判别器D的损失：
Figure DEST_PATH_IMAGE001
；
其中，L是所述判别器D的损失，
Figure DEST_PATH_IMAGE002
是真实样本分布，
Figure DEST_PATH_IMAGE003
为输入样本，
Figure DEST_PATH_IMAGE004
是由生成器产生的样本分布，E表示数学期望，
Figure DEST_PATH_IMAGE005
表示WGAN网络中神经网络的拟合函数。
4.根据权利要求1所述的工业检测中的检测方法，其特征在于，将所述工件图片输入WGAN网络的生成器G和FC层中之前，还包括：
将所述工件图片和所述标准图片进行灰度处理，以获取工件图片的灰度图和标准图片的灰度图；
将所述工件图片的灰度图和所述标准图片的灰度图进行缩放和高斯滤波处理。
5.一种工业检测中的检测装置，其特征在于，包括：
获取模块，所述获取模块用于获取待检测的工件图片和标准图片；
输入模块，所述输入模块用于将训练集送入WGAN网络中代替随机噪声K，将标准图片送入所述WGAN网络中作为判别器D的训练标签，进行训练，所述训练集中的图片经过生成器G卷积运算后生成特征图，将所述特征图输入和FC层，生成所述训练集中的图片和标准图片的单应性矩阵M，所述FC层包括两个；
变换模块，所述变换模块用于根据所述单应性矩阵对所述工件图片进行仿射变换，以获取相应的配准图像；
判别模块，所述判别模块用于将所述配准图像作为输入送进所述WGAN网络的判别器D中，并获取判别器D输出的判别结果；
检测模块，所述检测模块用于根据所述判别结果进行工业检测；
其中，训练模块用于采用以下方式训练所述WGAN网络：
将训练集送入所述WGAN网络中代替随机噪声K，将标准图片送入所述WGAN网络中作为所述判别器D的训练标签，进行训练，以使所述训练集中的图片经过所述生成器G卷积运算后生成特征图，将所述特征图输入FC层，生成所述训练集中的图片和标准图片的单应性矩阵M；
根据所述单应性矩阵对所述训练集中的图片进行仿射变换，以获取相应的配准图像；
配准图像和标准图片一同送入所述判别器D，以使所述判别器D生成判别结果并返回给所述生成器G；
所述生成器G和所述判别器D进行对抗，不断训练迭代，获得训练后的所述WGAN网络。
6.根据权利要求5所述的工业检测中的检测装置，其特征在于，所述判别器D的损失函数来自于推土机距离。
7.根据权利要求6所述的工业检测中的检测装置，其特征在于，所述训练模块根据以下公式获取所述判别器D的损失：
Figure DEST_PATH_IMAGE006
其中，L是所述判别器D的损失，
Figure DEST_PATH_IMAGE007
是真实样本分布，
Figure DEST_PATH_IMAGE008
为输入样本，
Figure DEST_PATH_IMAGE009
是由生成器产生的样本分布，E表示数学期望，
Figure DEST_PATH_IMAGE010
表示WGAN网络中神经网络的拟合函数。
8.根据权利要求5所述的工业检测中的检测装置，其特征在于，还包括：预处理模块，所述预处理模块用于：
将所述工件图片和所述标准图片进行灰度处理，以获取工件图片的灰度图和标准图片的灰度图；
将所述工件图片的灰度图和所述标准图片的灰度图进行缩放和高斯滤波处理。
CN202210298048.XA 2022-03-25 2022-03-25 工业检测中的检测方法、检测装置 Active CN114399505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210298048.XA CN114399505B (zh) 2022-03-25 2022-03-25 工业检测中的检测方法、检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210298048.XA CN114399505B (zh) 2022-03-25 2022-03-25 工业检测中的检测方法、检测装置

Publications (2)

Publication Number Publication Date
CN114399505A CN114399505A (zh) 2022-04-26
CN114399505B true CN114399505B (zh) 2022-06-28

Family

ID=81234503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210298048.XA Active CN114399505B (zh) 2022-03-25 2022-03-25 工业检测中的检测方法、检测装置

Country Status (1)

Country Link
CN (1) CN114399505B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272310B (zh) * 2022-09-26 2023-01-03 江苏智云天工科技有限公司 工件的缺陷检测方法及装置
CN115641337B (zh) * 2022-12-23 2023-04-07 中科慧远视觉技术(北京)有限公司 一种线状缺陷检测方法、装置、介质、设备及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738161A (zh) * 2019-10-12 2020-01-31 电子科技大学 一种基于改进生成式对抗网络的人脸图像矫正方法
WO2020131864A1 (en) * 2018-12-18 2020-06-25 Pathware Inc. Computational microscopy based-system and method for automated imaging and analysis of pathology specimens
US10839269B1 (en) * 2020-03-20 2020-11-17 King Abdulaziz University System for fast and accurate visual domain adaptation
CN112017182A (zh) * 2020-10-22 2020-12-01 北京中鼎高科自动化技术有限公司 一种工业级智能表面缺陷检测方法
CN112837356A (zh) * 2021-02-06 2021-05-25 湖南大学 一种基于wgan的无监督多视角三维点云联合配准方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11158069B2 (en) * 2018-12-11 2021-10-26 Siemens Healthcare Gmbh Unsupervised deformable registration for multi-modal images
CN111723611A (zh) * 2019-03-20 2020-09-29 北京沃东天骏信息技术有限公司 行人再识别方法、装置及存储介质
US11544928B2 (en) * 2019-06-17 2023-01-03 The Regents Of The University Of California Athlete style recognition system and method
CN113066088A (zh) * 2021-06-03 2021-07-02 常州微亿智造科技有限公司 工业检测中的检测方法、检测装置和存储介质
CN113554645B (zh) * 2021-09-17 2022-01-11 常州微亿智造科技有限公司 基于wgan的工业异常检测方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020131864A1 (en) * 2018-12-18 2020-06-25 Pathware Inc. Computational microscopy based-system and method for automated imaging and analysis of pathology specimens
CN110738161A (zh) * 2019-10-12 2020-01-31 电子科技大学 一种基于改进生成式对抗网络的人脸图像矫正方法
US10839269B1 (en) * 2020-03-20 2020-11-17 King Abdulaziz University System for fast and accurate visual domain adaptation
CN112017182A (zh) * 2020-10-22 2020-12-01 北京中鼎高科自动化技术有限公司 一种工业级智能表面缺陷检测方法
CN112837356A (zh) * 2021-02-06 2021-05-25 湖南大学 一种基于wgan的无监督多视角三维点云联合配准方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Fangneng Zhan 等.Scene Text Synthesis for Efficient and Effective Deep Network Training.《arXiv》.2019,1-8. *
Liqun Chen 等.Graph Optimal Transport for Cross-Domain Alignment.《arXiv》.2020,1-11. *
Shiyan Jiang 等.Image Registration Improved by Generative Adversarial Networks.《27th International Conference》.2021,26-35. *
宋枭 等.基于生成对抗网络的多模态可变形医学图像配准.《无线电工程》.2021,第51卷(第9期),999-1006. *
陈宇 等.基于Wasserstein Gan的无监督单模配准方法.《南方医科大学学报》.2021,第41卷(第9期),1366-1373. *
黄鹏 等.基于深度学习的图像配准方法综述.《杭州电子科技大学学报（自然科学版）》.2020,第40卷(第6期),37-44. *

Also Published As

Publication number Publication date
CN114399505A (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN114399505B (zh) 工业检测中的检测方法、检测装置
Li et al. Automatic crack detection and measurement of concrete structure using convolutional encoder-decoder network
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN115439694A (zh) 一种基于深度学习的高精度点云补全方法及装置
CN114550021B (zh) 基于特征融合的表面缺陷检测方法及设备
CN111915485B (zh) 一种特征点稀疏工件图像的快速拼接方法及系统
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN115439743A (zh) 一种泊车场景下精确提取视觉slam静态特征的方法
CN113744142A (zh) 图像修复方法、电子设备及存储介质
CN117274258B (zh) 主板图像的缺陷检测方法、系统、设备及存储介质
Yuan et al. Multiview scene image inpainting based on conditional generative adversarial networks
CN114612412B (zh) 三维点云数据的处理方法及其用途、电子设备、存储介质
CN113066088A (zh) 工业检测中的检测方法、检测装置和存储介质
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN115546139A (zh) 一种基于机器视觉的缺陷检测方法、装置及电子设备
CN117557565B (zh) 一种锂电池极片的检测方法及其装置
Luo et al. Waterdrop removal from hot-rolled steel strip surfaces based on progressive recurrent generative adversarial networks
CN114820541A (zh) 基于重构网络的缺陷检测方法
CN113673478A (zh) 基于深度全景拼接的港口大型设备检测与识别方法
CN117495712A (zh) 车身部件质量模型的生成式数据增强方法、系统及设备
CN113159158A (zh) 一种基于生成对抗网络的车牌矫正与重构方法及系统
CN116452556A (zh) 基于交叉特征融合的金属膜片表面缺陷检测方法
CN114821187A (zh) 一种基于判别学习的图像异常检测和定位方法及系统
JP7343336B2 (ja) 検査支援装置および検査支援方法
CN113743218A (zh) 一种车牌识别方法、车牌识别装置和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant