CN114943675A - 瑕疵样本数据增广方法、电子设备及存储介质 - Google Patents

瑕疵样本数据增广方法、电子设备及存储介质 Download PDF

Info

Publication number
CN114943675A
CN114943675A CN202110183369.0A CN202110183369A CN114943675A CN 114943675 A CN114943675 A CN 114943675A CN 202110183369 A CN202110183369 A CN 202110183369A CN 114943675 A CN114943675 A CN 114943675A
Authority
CN
China
Prior art keywords
flaw
training
sample
image
sample data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110183369.0A
Other languages
English (en)
Inventor
杨荣浩
郭锦斌
卢志德
王薇钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Futaihua Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Futaihua Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Futaihua Industry Shenzhen Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Futaihua Industry Shenzhen Co Ltd
Priority to CN202110183369.0A priority Critical patent/CN114943675A/zh
Priority to US17/573,842 priority patent/US20220253648A1/en
Publication of CN114943675A publication Critical patent/CN114943675A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请公开了一种瑕疵样本数据增广方法、电子设备及存储介质，涉及产品表面瑕疵检测技术领域。本申请的瑕疵样本数据增广方法包括：获取产品表面的正样本图像和瑕疵类别信息；将正样本图像和瑕疵类别信息输入到生成对抗网络，以产生瑕疵类别信息对应的瑕疵样本数据。本申请通过生成对抗网络产生设定瑕疵类别的瑕疵样本数据，能够控制瑕疵样本数据的类别分布，从而建立类别多样、样本数量均衡的瑕疵样本数据。

Description

瑕疵样本数据增广方法、电子设备及存储介质
技术领域
本申请涉及产品表面瑕疵检测技术领域，具体涉及一种瑕疵样本数据增广方法、电子设备及存储介质。
背景技术
表面瑕疵检测是精密零部件质量检测环节极其重要的步骤，检测过程中涉及平面度、是否存在瑕疵、边框整齐度、工件表面亮度等方面。检测产品表面瑕疵需要收集大量的瑕疵样本数据，但是因为瑕疵样本数据收集不易，很难建立类别多样、样本数量均衡的瑕疵样本数据。
发明内容
鉴于此，本申请提供一种瑕疵样本数据增广方法、电子设备及存储介质，能够产生设定瑕疵类别的瑕疵样本数据，从而建立类别多样、样本数量均衡的瑕疵样本数据。
本申请实施例一提供一种瑕疵样本数据增广方法，所述方法包括：获取产品表面的正样本图像和瑕疵类别信息；将所述正样本图像和所述瑕疵类别信息输入到生成对抗网络，以产生所述瑕疵类别信息对应的瑕疵样本数据。
本申请实施例二提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的程序，所述程序包括指令，所述指令被所述处理器执行时，实现本申请实施例一所述的瑕疵样本数据增广方法。
本申请实施例三提供一种存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述程序包括指令，所述指令可被一个或者多个处理器执行，以实现本申请实施例一所述的瑕疵样本数据增广方法。
本申请通过生成对抗网络产生设定瑕疵类别的瑕疵样本数据，能够控制瑕疵样本数据的类别分布，从而建立类别多样、样本数量均衡的瑕疵样本数据。
附图说明
图1是实施例一的瑕疵样本数据增广方法的流程图。
图2是实施例一的生成对抗网络的结构示意图。
图3是实施例一的训练生成对抗网络的流程图。
图4是实施例二的电子设备的结构示意图。
主要元件符号说明
20 生成对抗网络
21 自编码器
22 判别器
40 电子设备
41 存储器
42 处理器
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本申请，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。本申请实施例中公开的方法包括用于实现方法的一个或多个步骤或动作。方法步骤和/或动作可以在不脱离权利要求的范围的情况下彼此互换。换句话说，除非指定步骤或动作的特定顺序，否则特定步骤和/或动作的顺序和/或使用可以在不脱离权利要求范围的情况下被修改。
如本申请实施例中所用的，术语“确定”包含广泛的各种的动作。例如，“确定”可以包括运算、计算、处理、导出、研究、查询(例如，在表中、数据库中或另一个数据结构中查询)、判断等等。此外，“确定”可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等等。此外，“确定”可以包括解决、选择、挑选、建立等等。
检测产品表面瑕疵需要收集大量的瑕疵样本数据，但是瑕疵样本数据收集不易。通过少量瑕疵样本数据训练一生成对抗网络，能够产生大量的瑕疵样本数据。然而，生成对抗网络可能随机产生大量类别相同的瑕疵样本数据。同一类别的瑕疵样本数据一旦超过训练样本的上限，则多余的瑕疵样本数据即变成无效数据，从而导致内存资源的空耗。
基于此，本申请提供一种瑕疵样本数据增广方法、电子设备及存储介质，能够预设瑕疵类别，通过生成对抗网络产生特定瑕疵类别的瑕疵样本数据，从而能够控制瑕疵样本数据的类别分布，建立类别多样、样本数量均衡的瑕疵样本数据。
实施例一
参照图1，本申请实施例一提供一种瑕疵样本数据增广方法，包括如下步骤：
S11，获取产品表面的正样本图像和瑕疵类别信息。
可以理解，在本申请实施例中，可通过工业相机采集产品表面的正样本图像。所述正样本图像为仅包含检测目标的样本图像，瑕疵样本图像为包含检测目标和随机噪声的样本图像。
可以理解，在本申请实施例中，产品表面的瑕疵类别包括毛丝、杂质、划伤、碰伤、针孔等。在实际应用中，可通过大数据分析得到产品表面瑕疵的类别信息。
S12，将正样本图像和瑕疵类别信息输入到生成对抗网络。
在本申请实施例中，首先通过大数据分析可获取一瑕疵类别数据集，例如[毛丝，杂质，划伤，碰伤，针孔]，然后从所述瑕疵类别数据集中选取一瑕疵类别(比如毛丝)，将所述瑕疵类别和正样本图像输入到生成对抗网络，从而产生特定瑕疵类别的瑕疵样本数据。
S13，生成对抗网络输出与瑕疵类别信息对应的瑕疵样本数据。
本申请实施例一通过生成对抗网络产生设定瑕疵类别的瑕疵样本数据，能够控制特定瑕疵类别的样本数据大小，从而产生类别多样、样本数量均衡的瑕疵样本数据。
在一些实施例中，所述方法在执行步骤S12之前还包括如下步骤：构建生成对抗网络，所述生成对抗网络包括自编码器和判别器。
参照图2，在其中一个实施例中，一生成对抗网络20的结构示意图如图2所示。所述生成对抗网络20包括自编码器21和判别器22。其中，所述自编码器21用于根据输入的正样本图像和瑕疵类别信息产生瑕疵样本图像。所述判别器22用于判别所述自编码器21产生的瑕疵样本图像与输入到所述生成对抗网络20的真实瑕疵样本图像之间的相似度。所述相似度为判断所述自编码器21产生的瑕疵样本图像为真实瑕疵样本图像的概率，其取值范围为[0，1]。例如，若所述相似度取值为0，则说明所述判别器22判别所述自编码器21产生的瑕疵样本图像为假，即所述判别器22认定所述自编码器21产生的瑕疵样本图像与所述真实瑕疵样本图像不同。若所述相似度取值为1，则说明所述判别器22判别所述自编码器21产生的瑕疵样本图像为真，即所述判别器22将所述自编码器21产生的瑕疵样本图像认定为真实瑕疵样本图像。
传统的生成对抗网络包括生成器和判别器，所述生成器用于根据输入的随机噪声产生瑕疵样本图像，所述判别器用于对所述生成器产生的瑕疵样本图像进行真假判别。本实施例构建的生成对抗网络20，使用自编码器21取代生成器，能够将输入的正样本图像与瑕疵类别信息进行整合，产生与所述瑕疵类别信息相对应的瑕疵样本图像。
在另一些实施例中，所述方法在执行构建所述生成对抗网络的步骤之后，且在执行步骤S12之前，还包括训练所述生成对抗网络的步骤。具体地，所述生成对抗网络的步骤包括获取训练数据集，并将所述训练数据集输入到所述生成对抗网络，以对所述生成对抗网络进行训练。
其中，所述训练数据集包括产品表面的正样本训练图像和第一瑕疵样本训练图像、训练瑕疵类别信息及随机噪声，所述第一瑕疵样本训练图像标注有瑕疵类别。
可以理解，在本申请实施例中，所述第一瑕疵样本训练图像为真实瑕疵样本图像。所述训练瑕疵类别信息为训练所述生成对抗网络时预设的瑕疵类别。
参照图3，在一些实施例中，训练所述生成对抗网络，包括训练自编码器和训练判别器，具体包括如下步骤：
S31，将正样本训练图像、训练瑕疵类别信息及随机噪声输入到自编码器。
在本实施例中，所述正样本训练图像、所述训练瑕疵类别信息及所述随机噪声为所述自编码器的训练数据集。
S32，自编码器输出第二瑕疵样本训练图像。
可以理解，在本申请实施例中，所述第二瑕疵样本训练图像由所述自编码器生成，且所述第二瑕疵样本训练图像为与所述训练瑕疵类别信息相对应的瑕疵样本图像。
在本申请实施例中，所述自编码器的第一损失函数LA如公式(1)所示：
Figure BDA0002942067860000031
其中，E表示输出期望，z～pz(z)表示随机高斯噪声z的先验高斯分布，D(A(z|d|))表示所述判别器D在条件变量d的约束下对所述自编码器A的输出进行真假判别。
可以理解，在本实施例中，所述条件变量d为所述训练瑕疵类别信息。D(A(z|d|))的取值范围为(0，1)。
在本申请实施例中，采用所述第一损失函数训练所述自编码器。所述第一损失函数LA表示所述判别器将所述第二瑕疵样本图像判定为假的概率。所述第一损失函数LA的数值越小，说明所述判别器将所述第二瑕疵样本图像判定为假的概率越低，即表示所述自编码器生成的所述第二瑕疵样本图像的质量越高。
S33，将第二瑕疵样本训练图像和标注有瑕疵类别的第一瑕疵样本训练图像输入到判别器。
在本实施例中，所述第二瑕疵样本训练图像和所述第一瑕疵样本训练图像为所述判别器的训练数据集。
S34，判别器输出相似度信息。
在本实施例中，所述判别器接收来自于所述自编码器的第二瑕疵样本训练图像，对所述第二瑕疵样本训练图像和输入的第一瑕疵样本训练图像进行相似度判断。所述相似度信息为所述判别器输出的相似度数值。所述相似度数值为所述自编码器产生的瑕疵样本图像为真实瑕疵样本图像的概率，其取值范围为[0，1]。
在本申请实施例中，所述判别器的第二损失函数LD如公式(2)所示：
Figure BDA0002942067860000041
其中，t～pdata(t)表示背景目标训练集t的背景分布，D(t)表示所述判别器D对所述背景目标训练集t中的样本进行真假判别。
可以理解，在本实施例中，所述背景目标训练集t为所述第一瑕疵样本训练图像。D(t)的取值范围为(0，1)。
在本申请实施例中，采用所述第二损失函数训练所述判别器。所述第二损失函数LD表示所述判别器将所述第一瑕疵样本训练图像判定为真，且将所述第二瑕疵样本图像判定为假的概率。所述第二损失函数LD的数值越大，说明所述判别器将所述第一瑕疵样本训练图像判定为真，且将所述第二瑕疵样本图像判定为假的概率越高，即表示所述判别器判别瑕疵样本图像真伪的能力越强。
S35，根据相似度信息确认是否训练完成。若训练完成，则执行步骤S36。若否，则返回步骤S31。
在本申请实施例中，所述相似度信息可用于判断对所述生成对抗网络的训练是否达到预定的要求。
可以理解，在本实施例中，对所述自编码器和所述判别器进行迭代训练。迭代训练可预设迭代次数。在每次迭代训练之后，所述判别器均产生一个相似度数值，可根据所述相似度数值确认是否停止训练。例如，当所述判别器输出的相似度数值为0.5时，即所述判别器将所述自编码器生成的瑕疵样本图像认定为真实瑕疵样本图像的概率为0.5，则停止训练，保存当前的生成对抗网络。此时，所述判别器难以判别所述自编码器生成的瑕疵样本图像的真伪，即生成对抗网络可产生高质量的瑕疵样本图像。
S36，停止训练并保存当前的生成对抗网络。
在一些实施例中，可预设相似度阈值，也可预设一定的相似度阈值范围。所述相似度阈值或所述相似度阈值范围可根据实际应用场景进行调整。当所述判别器输出的相似度数值等于所述相似度阈值，或所述相似度数值处于所述相似度阈值范围，则停止训练，保存当前的生成对抗网络。
在另一些实施例中，在完成对所述生成对抗网络的训练之后，且在执行步骤S12之前，还包括优化所述生成对抗网络的步骤。具体地，可采用极小极大值算法优化所述生成对抗网络。
Figure BDA0002942067860000051
其中，D(t|d)表示所述判别器D在所述条件变量d的约束下对所述背景目标训练集t中的样本进行真假判别。所述目标函数
Figure BDA0002942067860000052
表示所述判别器将所述第一瑕疵样本训练图像判定为真，且将所述第二瑕疵样本图像判定为假的概率。
在本申请实施例中，优化所述生成对抗网络具体包括优化所述自编码器和优化所述判别器。具体地，优化所述自编码器时，保持所述判别器，对所述自编码器的第一损失函数做最小化处理，以提高所述自编码器生成的瑕疵样本图像的质量。优化所述判别器时，保持所述自编码器，对所述判别器的第二损失函数做最大化处理，以提高对所述自编码器生成的瑕疵样本图像的真伪判别能力。
本实施例采用极小极大值算法优化所述生成对抗网络，能够提高所述生成对抗网络的性能，以产生高质量的瑕疵样本图像。
实施例二
参照图4，本申请实施例二提供一种电子设备40，包括存储器41、处理器42以及存储在存储器41上并可在处理器42上运行的程序，程序包括指令，指令被处理器42执行时，实现本申请实施例一的瑕疵样本数据增广方法。
本申请实施例的电子设备40，处理器42可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器42是一种瑕疵样本数据增广方法的可运行装置的控制中心，利用各种接口和线路连接整个一种瑕疵样本数据增广方法的可运行装置的各个部分。
存储器41可用于存储计算机程序和/或模块，处理器42通过运行或执行存储在所述存储器41内的计算机程序和/或模块，以及调用存储在存储器41内的数据，实现一种瑕疵样本数据增广方法的可运行装置的各种功能。存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其它易失性固态存储器件。
可以理解，在本申请实施例中，电子设备40可以是智能电话、平板、个人计算机(personal computer，PC)、移动电话、视频电话、电子书阅读器、桌上型PC、膝上型PC、上网本、计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PortableMultimedia Player，PMP)、MPEG-1音频层3(MP3)播放器、移动医疗设备、相机和可穿戴设备中的至少一个。可穿戴设备可以包括附件类型(例如，手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式设备(Head-Mounted Device，HMD))、织物或服装集成类型(例如，电子服装)、身体安装类型(例如，皮肤垫或纹身)以及生物可植入类型(例如，可植入电路)中的至少一种。
实施例三
本申请实施例三提供一种存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现本申请实施例一的瑕疵样本数据增广方法。
本申请实施例的存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。
可以理解，本申请实施例二和实施例三中的部分技术特征和技术效果可参阅实施例一中相对应的技术特征及技术效果。
上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下做出各种变化。此外，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

Claims (10)

1.一种瑕疵样本数据增广方法，其特征在于，所述方法包括：
获取产品表面的正样本图像和瑕疵类别信息；
将所述正样本图像和所述瑕疵类别信息输入到生成对抗网络，以产生所述瑕疵类别信息对应的瑕疵样本数据。
2.如权利要求1所述的瑕疵样本数据增广方法，其特征在于，所述将所述正样本图像和所述瑕疵类别信息输入到生成对抗网络之前，所述方法还包括：
构建所述生成对抗网络，所述生成对抗网络包括自编码器和判别器。
3.如权利要求2所述的瑕疵样本数据增广方法，其特征在于，所述将所述正样本图像和所述瑕疵类别信息输入到生成对抗网络之前，所述方法还包括：
获取训练数据集，所述训练数据集包括所述产品表面的正样本训练图像和第一瑕疵样本训练图像、训练瑕疵类别信息及随机噪声，所述第一瑕疵样本训练图像标注有瑕疵类别；
采用所述训练数据集训练所述生成对抗网络。
4.如权利要求3所述的瑕疵样本数据增广方法，其特征在于，所述采用所述训练数据集训练所述生成对抗网络，包括：
采用所述正样本训练图像、所述训练瑕疵类别信息及所述随机噪声训练所述自编码器，以获取第二瑕疵样本训练图像；
采用所述第一瑕疵样本训练图像和所述第二瑕疵样本训练图像训练所述判别器，以获取相似度信息；
根据所述相似度信息确认是否训练完成。
5.如权利要求2至4任一项所述的瑕疵样本数据增广方法，其特征在于，所述将所述正样本图像和所述瑕疵类别信息输入到生成对抗网络之前，所述方法还包括：
采用极小极大值算法优化所述生成对抗网络。
6.如权利要求5所述的瑕疵样本数据增广方法，其特征在于，所述采用极小极大值算法优化所述生成对抗网络，包括：
对所述自编码器的第一损失函数做最小化处理；
对所述判别器的第二损失函数做最大化处理。
7.如权利要求6所述的瑕疵样本数据增广方法，其特征在于，所述第一损失函数为：
Figure FDA0002942067850000011
其中，E表示输出期望，z～pz(z)表示随机高斯噪声z的先验高斯分布，D(A(z|d|))表示所述判别器D在条件变量d的约束下对所述自编码器A的输出进行真假判别。
8.如权利要求7所述的瑕疵样本数据增广方法，其特征在于，所述第二损失函数为：
Figure FDA0002942067850000012
其中，t～pdata(t)表示背景目标训练集t的背景分布，D(t)表示所述判别器D对所述背景目标训练集t中的样本进行真假判别。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的程序，所述程序包括指令，其特征在于，所述指令被所述处理器执行时，实现如权利要求1至8任一项所述的瑕疵样本数据增广方法。
10.一种存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述程序包括指令，其特征在于，所述指令可被一个或者多个处理器执行，以实现如权利要求1至8任一项所述的瑕疵样本数据增广方法。
CN202110183369.0A 2021-02-09 2021-02-09 瑕疵样本数据增广方法、电子设备及存储介质 Pending CN114943675A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110183369.0A CN114943675A (zh) 2021-02-09 2021-02-09 瑕疵样本数据增广方法、电子设备及存储介质
US17/573,842 US20220253648A1 (en) 2021-02-09 2022-01-12 Method, apparatus, and non-transitory computer readable medium for augmenting defect sample data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110183369.0A CN114943675A (zh) 2021-02-09 2021-02-09 瑕疵样本数据增广方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114943675A true CN114943675A (zh) 2022-08-26

Family

ID=82703892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110183369.0A Pending CN114943675A (zh) 2021-02-09 2021-02-09 瑕疵样本数据增广方法、电子设备及存储介质

Country Status (2)

Country Link
US (1) US20220253648A1 (zh)
CN (1) CN114943675A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230153982A1 (en) * 2021-11-12 2023-05-18 Hitachi, Ltd. Damage transfer method with a region-based adversarial learning
CN117036226B (zh) * 2022-08-24 2024-08-02 腾讯科技（深圳）有限公司 基于人工智能的物品缺陷检测方法、装置及可读存储介质
CN117033976B (zh) * 2023-08-11 2024-08-20 黑龙江大学 基于数据增强和深度学习的碳钢管道电磁超声缺陷评估方法及设备
CN117078853B (zh) * 2023-08-18 2024-03-19 广东工业大学 一种基于数字孪生体的工件缺陷样本扩增方法及存储介质
CN118296504A (zh) * 2024-06-04 2024-07-05 国网江西省电力有限公司南昌供电分公司 一种基于机器视觉的密封圈品质检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796637A (zh) * 2019-09-29 2020-02-14 郑州金惠计算机系统工程有限公司 图像缺陷检测模型的训练、测试方法、装置及存储介质
CN110796174A (zh) * 2019-09-29 2020-02-14 郑州金惠计算机系统工程有限公司 多类型虚拟样本的生成方法、装置、电子设备及存储介质
CN111650204A (zh) * 2020-05-11 2020-09-11 安徽继远软件有限公司 基于级联目标检测的输电线路金具缺陷检测方法及系统
CN112017182A (zh) * 2020-10-22 2020-12-01 北京中鼎高科自动化技术有限公司 一种工业级智能表面缺陷检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180024968A1 (en) * 2016-07-22 2018-01-25 Xerox Corporation System and method for domain adaptation using marginalized stacked denoising autoencoders with domain prediction regularization
CN113711234B (zh) * 2019-03-15 2024-01-23 英威达纺织（英国）有限公司 纱线质量控制
US11961219B2 (en) * 2020-02-27 2024-04-16 KLA Corp. Generative adversarial networks (GANs) for simulating specimen images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796637A (zh) * 2019-09-29 2020-02-14 郑州金惠计算机系统工程有限公司 图像缺陷检测模型的训练、测试方法、装置及存储介质
CN110796174A (zh) * 2019-09-29 2020-02-14 郑州金惠计算机系统工程有限公司 多类型虚拟样本的生成方法、装置、电子设备及存储介质
CN111650204A (zh) * 2020-05-11 2020-09-11 安徽继远软件有限公司 基于级联目标检测的输电线路金具缺陷检测方法及系统
CN112017182A (zh) * 2020-10-22 2020-12-01 北京中鼎高科自动化技术有限公司 一种工业级智能表面缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHUANLONG NIU等: "Defect Image Sample Generation With GAN for Improving Defect Recognition", 《IEEE TRANSACTIONS ON AUTOMATION SCIENCE AND ENGINEERING》, 2 July 2020 (2020-07-02), pages 1611 - 1621 *

Also Published As

Publication number Publication date
US20220253648A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
CN114943675A (zh) 瑕疵样本数据增广方法、电子设备及存储介质
CN111461235B (zh) 音视频数据处理方法、系统、电子设备及存储介质
US10997460B2 (en) User identity determining method, apparatus, and device
EP3413221A1 (en) Risk assessment method and system
JP2018522343A (ja) 意思決定モデルを構築する方法、コンピュータデバイス及び記憶デバイス
CN111325237B (zh) 一种基于注意力交互机制的图像识别方法
CN111210402A (zh) 人脸图像质量评分方法、装置、计算机设备及存储介质
CN113052577A (zh) 一种区块链数字货币虚拟地址的类别推测方法及系统
US20220309101A1 (en) Accelerated large-scale similarity calculation
CN113158821A (zh) 基于多模态的眼部检测数据的处理方法、装置及终端设备
CN112559791A (zh) 一种基于深度学习的布匹分类检索方法
TWI713019B (zh) 資料標籤產生、模型訓練、事件識別方法和裝置
CN109993026A (zh) 亲属识别网络模型的训练方法及装置
CN113557528B (zh) 生成点云补全网络及点云数据处理方法、装置和系统
CN116171462A (zh) 对象序列的识别方法、网络训练方法、装置、设备及介质
TW202127312A (zh) 影像處理方法及存儲介質
Soydaner et al. Multi-task convolutional neural network for image aesthetic assessment
CN116340752A (zh) 一种面向预测性分析结果的数据故事生成方法及系统
CN115762530A (zh) 声纹模型训练方法、装置、计算机设备和存储介质
CN116957036A (zh) 伪造多媒体检测模型的训练方法、装置和计算设备
CN115049991A (zh) 共享设备位姿整齐度判断方法、装置、终端及介质
CN113963417A (zh) 人脸属性识别方法、终端及存储介质
TW202232088A (zh) 瑕疵樣本資料增廣方法、電子設備及存儲介質
Li et al. Sharpness and brightness quality assessment of face images for recognition
Pedziwiatr et al. Semantic object-scene inconsistencies affect eye movements, but not in the way predicted by contextualized meaning maps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination