CN116645571A - 瑕疵样本生成方法、装置、存储介质及电子设备 - Google Patents

瑕疵样本生成方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN116645571A
CN116645571A CN202310431611.0A CN202310431611A CN116645571A CN 116645571 A CN116645571 A CN 116645571A CN 202310431611 A CN202310431611 A CN 202310431611A CN 116645571 A CN116645571 A CN 116645571A
Authority
CN
China
Prior art keywords
flaw
sample
network
original
generate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310431611.0A
Other languages
English (en)
Inventor
李大钧
刘长磊
刘小奇
王广群
王承凯
祁伟
孙金龙
史明亮
刘海龙
刘乐
朱建成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guohua Energy Investment Co ltd
Zhongxin Hanchuang Beijing Technology Co Ltd
Original Assignee
Guohua Energy Investment Co ltd
Zhongxin Hanchuang Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guohua Energy Investment Co ltd, Zhongxin Hanchuang Beijing Technology Co Ltd filed Critical Guohua Energy Investment Co ltd
Priority to CN202310431611.0A priority Critical patent/CN116645571A/zh
Publication of CN116645571A publication Critical patent/CN116645571A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种瑕疵样本生成方法、装置、存储介质及电子设备，该方法包括：对原始缺陷样本进行变形处理，以生成原始瑕疵图像，提取原始瑕疵图像中的瑕疵区域，生成原始瑕疵数据集，基于渐进增长对抗生成PGGAN网络训练原始瑕疵数据集，以生成瑕疵块样本，将瑕疵块样本与原始无瑕疵样本进行区域及预定位的图像融合，生成目标瑕疵样本。从而采用PGGAN网络对原始瑕疵数据集进行训练学习，生成多样的瑕疵样本块，再将瑕疵样本块与原始无瑕疵样本进行融合，提高了扩增样本的多样性。

Description

瑕疵样本生成方法、装置、存储介质及电子设备
技术领域
本公开涉及样本扩增技术领域，具体地，涉及一种瑕疵样本生成方法、装置、存储介质及电子设备。
背景技术
在工业生产制造中，生产过程中的任何异常都会导致产品缺陷产生，及时识别产品缺陷模式是提高生产质量和生产效率的有效途径，所以缺陷检测具有十分重要的研究意义。
相关技术中，产品缺陷模式识别主要是通过机器学习方法进行的，如支持向量机、反向传播网络等。这些方法与用肉眼直接对产品缺陷进行识别相比，大大降低了工作量。但是这些早期方法存在以下不足：识别准确率低且需要大量的标签数据对模型进行训练。近年来随着深度学习的发展，利用卷积神经网络的特征提取能力，卷积神经网络在产品缺陷检测任务中得到了广泛的应用。
发明内容
本公开的目的是提供一种瑕疵样本生成方法、装置、存储介质及电子设备，以解决相关技术中扩增样本多样性低的技术问题。
为了实现上述目的，本公开实施例的第一方面提供一种瑕疵样本生成方法，所述方法包括：
对原始缺陷样本进行变形处理，以生成原始瑕疵图像；
提取所述原始瑕疵图像中的瑕疵区域，生成原始瑕疵数据集；
基于渐进增长对抗生成PGGAN网络训练所述原始瑕疵数据集，以生成瑕疵块样本；
将所述瑕疵块样本与原始无瑕疵样本进行区域及预定位的图像融合，生成目标瑕疵样本。
可选地，所述PGGAN网络包括生成网络和判别网络，所述基于渐进增长对抗生成PGGAN网络训练所述原始瑕疵数据集，以生成瑕疵块样本，包括：
将所述生成网络作为第一网络，基于随机取样数据，通过所述第一网络生成初始瑕疵块数据，其中所述随机取样数据为潜在空间中的随机样本；
将所述判别网络作为第二网络，根据所述原始瑕疵数据集对所述第二网络进行训练；
通过训练后的所述第二网络对所述初始瑕疵块数据进行判别，以生成返回数值；
在所述返回数值大于或等于设定阈值的情况下，根据所述初始瑕疵块数据和所述原始瑕疵数据集，生成所述瑕疵块样本。
可选地，所述方法还包括：
在所述返回数值小于所述设定阈值的情况下，基于所述原始瑕疵数据集对所述生成网络进行训练；
将训练后的所述生成网络作为所述第一网络，将训练后的所述判别网络作为第二网络，重复上述基于随机取样数据至生成返回数值的步骤，直至所述返回数值大于或等于所述设定阈值。
可选地，所述基于渐进增长对抗生成PGGAN网络训练所述原始瑕疵数据集，以生成瑕疵块样本，包括：
在所述原始瑕疵数据集对应的第一像素值小于设定像素阈值的情况下，通过邻近卷积网络对所述原始瑕疵数据集的图像分辨率进行加倍；
将加倍后的所述原始瑕疵数据集投射到RGB颜色空间中，以生成初始RGB值；
对所述初始RGB值进行平均池化生成目标RGB值；
根据所述目标RGB值，生成所述原始瑕疵数据集的第二像素值；
根据所述第一像素值和所述第二像素值，生成所述瑕疵块样本。
可选地，所述根据所述第一像素值和所述第二像素值，生成所述瑕疵块样本，包括：
获取所述PGGAN网络的训练次数；
根据所述训练次数，确定像素转换的线性权重值；
基于所述线性权重值对所述第一像素值和所述第二像素值进行结合，以生成所述瑕疵块样本。
可选地，所述将所述瑕疵块样本与原始无瑕疵样本进行区域及预定位的图像融合，生成目标瑕疵样本，包括：
获取所述原始无瑕疵样本的第一像素梯度场；
根据所述第一像素梯度场对所述瑕疵块样本的第二像素梯度场进行调整，生成目标瑕疵块样本；
基于所述瑕疵块样本在图像中的区域定位，通过泊松融合算法将所述目标瑕疵块样本融入所述原始无瑕疵样本中，以生成所述目标瑕疵样本。
可选地，所述变形处理包括：镜像处理、旋转处理、平移处理、扭曲处理、滤波处理、对比度调整处理中的至少一种。
根据本公开实施例的第二方面提供一种瑕疵样本生成装置，所述装置包括：
第一生成模块，用于对原始缺陷样本进行变形处理，以生成原始瑕疵图像；
第二生成模块，用于提取所述原始瑕疵图像中的瑕疵区域，生成原始瑕疵数据集；
第三生成模块，用于基于渐进增长对抗生成PGGAN网络训练所述原始瑕疵数据集，以生成瑕疵块样本；
第四生成模块，用于将所述瑕疵块样本与原始无瑕疵样本进行区域及预定位的图像融合，生成目标瑕疵样本。
根据本公开实施例的第三方面提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面中任一项所述方法的步骤。
根据本公开实施例的第四方面提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面中任一项所述方法的步骤。
通过上述技术方案，对原始缺陷样本进行变形处理，以生成原始瑕疵图像，提取原始瑕疵图像中的瑕疵区域，生成原始瑕疵数据集，基于渐进增长对抗生成PGGAN网络训练原始瑕疵数据集，以生成瑕疵块样本，将瑕疵块样本与原始无瑕疵样本进行区域及预定位的图像融合，生成目标瑕疵样本。从而采用PGGAN网络对原始瑕疵数据集进行训练学习，生成多样的瑕疵样本块，再将瑕疵样本块与原始无瑕疵样本进行融合，提高了扩增样本的多样性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种深度卷积生成对抗网络的结构示意图。
图2是根据一示例性实施例示出的一种瑕疵样本生成方法的流程图。
图3是根据一示例性实施例示出的一种瑕疵块样本的生成方法的流程图。
图4是根据一示例性实施例示出的一种瑕疵块样本生成方法的流程图。
图5是根据一示例性实施例示出的一种PGGAN训练流程图。
图6是根据一示例性实施例示出的一种瑕疵块样本生成方法的流程图。
图7是根据一示例性实施例示出的一种PGGAN网络架构的示意图。
图8是根据一示例性实施例示出的一种提高样本分辨率方法的示意图。
图9是根据一示例性实施例示出的一种瑕疵样本生成装置的框图。
图10是根据一示例性实施例示出的一种电子设备的框图。
图11是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
需要说明的是，本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
相关技术中，与机器学习方法相比，基于卷积神经网络的深度学习方法在缺陷识别领域具有更高的识别准确率和工作效率。但是这种方法和机器学习方法具有同样的缺点，首先是模型训练需要大量的标签数据，而具有缺陷模式标签的图像是不容易获取的，因为获取带有产品缺陷模式标签的图像需要人工监督，即需要大量有经验的专业人员进行人工标注，这是非常昂贵且耗时的。
在某些高度自动化的生产场景中，产品的良率特别高，收集缺陷样本非常耗时，而当前的用于缺陷检测的深度学习方法大多是基于大量缺陷样本建立模型，缺陷样本的缺乏导致模型难以上线。针对某些行业小批量生产场景，在完成缺陷样本收集前某种型号产品已经不再生产了，这种场景下大量的缺陷样本收集是不可能的。此外，由于缺陷是由生产过程中的非受控因素产生的，缺陷的形态是多种多样的，各种形态的样本很难收集完整，这也限制了深度学习在工业检测领域的应用。
增加样本主要有2个研究方向，数据增广和缺陷生成，其中数据增广在深度网络训练时为了防止过拟合已成为一个标准手段，站在工业检测的视角上看，数据增广是一种性价比比较高的扩增样本的手段，但因为目前数据增广的方法大多是基于一些传统图像处理方法，所以能仿真缺陷的位置和一些简单纹理变化，但无法仿真缺陷的形状和复杂纹理，所以数据增广一般作为一个基础手段，可以解决一部分小样本问题，对于一些简单场景是有帮助的。而要解决更复杂场景的样本生成问题，需要用缺陷生成算法。
示例的，图1是根据一示例性实施例示出的一种深度卷积生成对抗网络的结构示意图，如图1所述，深度卷积生成对抗网络DCGAN(Deep Convolutional GenerativeAdversarial Network)将计算机视觉领域的卷积神经网络CNN(Convolutional NeuralNetworks，卷积神经网络)与GAN(Generative adversarial network，生成对抗网络)结合起来，其为CNN的网络拓扑结构设置了一系列的限制来使得它可以稳定地训练，使用学到的特征表示进行图像分类，得到好的效果验证模型的特征表达能力。DCGAN的提出使GAN生成图像的质量有了保证，源于它对原始GAN做出的改进，首先判别器上使用步幅卷积和生成器上使用微步幅卷积代替池化。不同于一般CNN用来提取特征，DCGAN中的CNN结构需要生成图像，池化会忽略很多信息，而步幅卷积和微步幅卷积结构能够将大部分信息传给下一层，保证了生成图像的完整性和清晰度。其次引入BN(Batch Normalization，批标准化)操作，这部分解决了梯度消失的问题，因为BN操作解决初始化差的问题，使梯度传播到每一层，防止生成器把所有样本收敛到同一点。再者移除全连接层和使用不同的激活函数，生成器使用ReLU(Rectified Linear Unit，修正线性单元)激活函数，判别器使用leakyReLU激活函数。结果表明，DCGAN在工程上取得了非常好的效果，此后的GAN结构在对比时一般以它为标准，也证实了GAN结构在生成样本领域的能力。
因此基于DCGAN样本生成的小样本视觉外观瑕疵检测方法可以用于扩增外观瑕疵样本，该方法利用原始瑕疵块训练DCGAN模型，生成众多全新的同类型瑕疵块，再与原始图像进行融合，用于构建生成瑕疵图像数据集。
相关技术中，某些大背景小目标的瑕疵检测场景下(如风机瑕疵检测)，瑕疵目标比较小，提取的瑕疵块图像分辨率普遍比较低，DCGAN虽然有训练过程稳定，易收敛等优点，但是通过这些数据训练生成的图像分辨率比较低，不适用对图像分辨率要求比较高的场景。且DCGAN会出现模式坍塌的问题即生成器生成非常窄的分布，仅覆盖真实数据分布中的单一模式。生成器只能生成非常相似的样本，多样性不够。
基于上述问题，本申请提供一种瑕疵样本生成方法，图2是根据一示例性实施例示出的一种瑕疵样本生成方法的流程图，如图2所示，该方法包括以下步骤。
步骤S11，对原始缺陷样本进行变形处理，以生成原始瑕疵图像。
示例的，本实施例中样本扩增流程分为两个部分，在第一部分中将收集获得的原始缺陷样本进行普通的变形处理，生成原始瑕疵图像。其中原始缺陷样本为不同角度不用位置上的产品图像，可以基于缺陷识别模型对初始样本数据进行筛选，从中挑选出具有缺陷的原始缺陷样本。该缺陷可以包括局部模糊、图像不清晰、图像噪点显著、图像裂纹等。
可选地，在一种实施方式中，变形处理包括：镜像处理、旋转处理、平移处理、扭曲处理、滤波处理、对比度调整处理中的至少一种。
示例的，本实施例中在初始阶段从初始样本数据中筛选出原始缺陷样本后，可以先对该原始缺陷样本进行镜像处理、旋转处理、平移处理、扭曲处理、滤波处理、对比度调整处理等步骤，从而基于原始缺陷样本，生成多个原始瑕疵图像。基于该处理方式对原始缺陷样本进行调整，实现原始缺陷样本的简单扩增。
步骤S12，提取原始瑕疵图像中的瑕疵区域，生成原始瑕疵数据集。
值得一提的是，本实施例中扩增的目的在于扩增具有瑕疵的图像，以提高瑕疵样本的多样性和丰富度。因此，通过上述步骤生成原始瑕疵图像后，对原始瑕疵图像中的瑕疵区域进行识别，提取出各个图像中的瑕疵区域，生成原始瑕疵数据集。
步骤S13，基于渐进增长对抗生成PGGAN网络训练原始瑕疵数据集，以生成瑕疵块样本。
示例的，将原始瑕疵数据集输入至PGGAN(Progressive Growing Generativeadversarial network，渐进增长对抗生成)网络中，通过PGGAN网络对原始瑕疵数据集进行训练，生成瑕疵块样本。
示例的，图3是根据一示例性实施例示出的一种瑕疵块样本的生成方法的流程图，如图3所示，PGGAN网络是生成对抗网络的一个变种网络结构，PGGAN网络是非监督式学习的一种方法，PGGAN网络中包括生成网络和判别忘了，基于输入样本通过两个神经网络相互博弈的方式进行学习。如图3所示，瑕疵生成器G中配置有生成网络，该生成网络基于随机噪声Z从潜在空间(latent space)中随机取样作为输入，其输出结果需要尽量模仿输入训练集中的真实样本。瑕疵判别器D中配置有判别网络，该判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络的目的则是要使输出结果能尽可能地欺骗判别网络，而不被判别网络从真实样本中识别出来。两个网络之间相互对抗，在不满足输出条件的情况下，不断调整网络参数，最终目的是使判别网络无法判断生成网络的输出结果是否真实。
PGGAN通过瑕疵生成器G中的生成网络生成新的瑕疵块数据G(z)，而由鉴别器中的判别网络学习输入的原始瑕疵数据集后，来评估这些瑕疵快数据G(z)的真实性。循环这一步骤，直至算法认为生成的瑕疵块数据G(z)达到标准后，将瑕疵块数据G(z)和原始瑕疵数据集作为瑕疵块样本。其中，使用PGGAN网络创建新的合成图像，生成器会基于随机数返回样本图像。可以将生成的图像与从实际输入的真实数据集中获取的图像流一起送到判别器中。判别器同时接收真假图像，并基于图像流的真假返回一个介于0和1之间的数值，其中1代表真实，0代表假的，算法基于该数值确定生成的数据是否达到标准，示例的，通过算法对该数值进行判定，当数值小于0.9时，则确定生成的数据未达到标准，需要继续训练判别网络和生成网络；当数值大于或等于0.9时，则确定生成的数值达到标准，基于生成网络生成的数据以及输入的原始瑕疵数据集生成瑕疵块样本。
步骤S14，将瑕疵块样本与原始无瑕疵样本进行区域及预定位的图像融合，生成目标瑕疵样本。
示例的，将瑕疵块样本与原始无瑕疵样本进行区域及预定位的图像融合，基于各个瑕疵样本在初始图像中的位置，将瑕疵块样本融合到原始无瑕疵样本上，生成目标瑕疵样本。
可选地，在另一种实施方式中，上述步骤S14，包括：
获取原始无瑕疵样本的第一像素梯度场；
根据第一像素梯度场对瑕疵块样本的第二像素梯度场进行调整，生成目标瑕疵块样本；
基于瑕疵块样本在图像中的区域定位，通过泊松融合算法将目标瑕疵块样本融入原始无瑕疵样本中，以生成目标瑕疵样本。
示例的，本实施例中将生成的瑕疵块与原始无瑕疵样本进行图片融合，对于生成的瑕疵块数据集，同时采用了区域生长及预定位的样本集生成的方法，有效解决了瑕疵块与原始图像融合问题，增加了样本的多样性。其中，融合方法可以采用泊松融合(PoissonBlending)算法。泊松融合(Poisson Blending)算法用于将两幅图像“无缝”的融合起来，基本原理就是最优化一个方程，其本质是在保持原始无瑕疵样本图像对应融合边界像素的同时，以原始无瑕疵样本图像对应部分的梯度场作为指导，来生成瑕疵块样本对应融合区域内的像素。整体原则是使融合区域内生成像素的梯度场与原始无瑕疵样本图像对应融合部分像素的梯度场尽可能保持一致，反映到方程求解中则是减小梯度差异。示例的，可以让生成区域的拉普拉斯结果和原始无瑕疵样本图像中的拉普拉斯结果保持一致，且生成区域边界的值和原始无瑕样本图像在融合区域的边界值一致，通过泊松融合算法将瑕疵块样本图像无缝融合到原始无瑕疵样本图像上，生成目标瑕疵样本。
通过上述技术方案，对原始缺陷样本进行变形处理，以生成原始瑕疵图像，提取原始瑕疵图像中的瑕疵区域，生成原始瑕疵数据集，基于渐进增长对抗生成PGGAN网络训练原始瑕疵数据集，以生成瑕疵块样本，将瑕疵块样本与原始无瑕疵样本进行区域及预定位的图像融合，生成目标瑕疵样本。从而采用PGGAN网络对原始瑕疵数据集进行训练学习，生成多样的瑕疵样本块，再将瑕疵样本块与原始无瑕疵样本进行融合，提高了扩增样本的多样性。
图4是根据一示例性实施例示出的一种瑕疵块样本生成方法的流程图，如图4所示，PGGAN网络包括生成网络和判别网络，上述步骤S13，包括以下步骤。
步骤S131，将生成网络作为第一网络，基于随机取样数据，通过第一网络生成初始瑕疵块数据，其中随机取样数据为潜在空间中的随机样本。
示例的，本实施例中PGGAN网络中包括生成网络和判别网络，通过两个网络之间进行对抗来训练PGGAN网络，从而输出瑕疵块样本。本实施例中将生成网络作为第一网络，基于随机取样数据，通过第一网络生成初始瑕疵块数据，其中，随机取样数据为潜在空间中的随机样本。
步骤S132，将判别网络作为第二网络，根据原始瑕疵数据集对第二网络进行训练。
示例的，将判别网络作为第二网络，基于原始瑕疵数据集对第二网络进行训练，使第二网络能够识别原始瑕疵数据集的特征，方便第二网络对后续输入的数据进行真实性判别。
步骤S133，通过训练后的第二网络对初始瑕疵块数据进行判别，以生成返回数值。
示例的，将初始瑕疵块数据输入至训练后的第二网络中，基于训练后的第二网络来判别初始瑕疵块数据的真实性，并基于真实性生成返回数值。
步骤S134，在返回数值大于或等于设定阈值的情况下，根据初始瑕疵块数据和原始瑕疵数据集，生成瑕疵块样本。
示例的，当返回数值大于或等于设定阈值时，表示由第一网络生成的初始瑕疵块数据不能被训练后的第二网络识别，也即此时的初始瑕疵块数据达到输出标准，因此，基于初始瑕疵块数据和原始瑕疵数据集，生成瑕疵块样本。
可选地，在上述步骤S133之前，该方法还包括：
在返回数值小于设定阈值的情况下，基于原始瑕疵数据集对生成网络进行训练；
将训练后的生成网络作为第一网络，将训练后的判别网络作为第二网络，重复上述基于随机取样数据至生成返回数值的步骤，直至返回数值大于或等于设定阈值。
示例的，当返回数值小于设定阈值时，表示此时第一网络输出的初始瑕疵块数据未达到输出标准。此时需要让第一网络和第二网络继续进行对抗，以完善对应的神经网络。示例的，基于原始瑕疵数据集对生成网络进行训练，将训练后的生成网络作为第一网络，将训练后的判别网络作为第二网络，重复上述生成初始瑕疵数据集的过程。当第二网络生成的返回数值未达到设定阈值时，则通过上述步骤持续训练生成网络和判定网络，直至第二网络生成的返回数值大于或等于设定阈值为止。此时，基于当前第一网络输出的初始瑕疵块数据和原始瑕疵数据集，生成瑕疵块样本。
示例的，图5是根据一示例性实施例示出的一种PGGAN训练流程图，如图5所示，本实施例中PGGAN的训练流程是：首先初始化生成器G(Y)；基于生成器G(Y)生成样本：Y1、Y2、Y……Ym；输入PGGAN的样本为真实样本X1、X2、X3……Xm，该真实样本为正样本，生成样本是负样本，训练一个神经网络作为判别器D(X)，然后再用生成样本作为正样本去“迷惑”判别器D(X)，基于判别器D(X)的判别结果来更新生成器G(Y)，最终使基于生成器G(Y)生成的生成样本无法被判别器D(X)识别出真假，基于该生成样本和PGGAN的输入样本，生成目标块样本。
通过上述方式，通过PGGAN网络的生成网络和判别网络来训练输入的数据，使用简化的小批量标准差判别来提高生成图像多样性，使得生成的瑕疵样本块具有更加丰富多样。
图6是根据一示例性实施例示出的一种瑕疵块样本生成方法的流程图，如图6所示，上述步骤S14，包括以下步骤。
步骤S141，在原始瑕疵数据集对应的第一像素值小于设定像素阈值的情况下，通过邻近卷积网络对原始瑕疵数据集的图像分辨率进行加倍。
值得一提的是，当直接利用简单的GAN网络，训练生成高分辨率图像时，会因为生成图像的不清晰，导致GAN网络无法收敛。而使用LapGAN(Laplacian Pyramid，拉普拉斯生成对抗网络)或者SackGAN(Selective ACKnowledgment，选择性确定生成对抗网络)等生成网络，会使用到大量GANs结构，导致生成网络深度增加，训练时间变长。
因此，本实施例中采用渐进式增长生成对抗网络PGGAN网络，通过不固定生成对抗网络的网络结构，使其处于一个动态增长的状态，从而使得网络在训练时不断更新，在不增加网络深度的情况下生成高分辨率图像由于低分辨率下训练的特征图层对生成高分辨率的特征图层具有“预训练”作用，因此使训练速度得到了提高，训练的稳定性得到了增强。示例的，图7是根据一示例性实施例示出的一种PGGAN网络架构的示意图，如图7所示，PGGAN模型训练开始于有着一个4×4像素的低空间分辨率的生成器和判别器。随着训练的改善，通过逐渐向生成器和判别器网络中添加层，进而增加生成图片的空间分辨率，其中所有现存的层在过程中保持可训练性。这里N×N是指卷积层在N×N的空间分辨率上进行操作，这个方法使得在高分辨率上也能稳定合成并且加快了训练速度。
但在通过上述方法提高分辨率的过程中，也即从4×4的输出变为8×8的输出的过程中，网络层数的突变会造成GANs的急剧不稳定，使得GANs需要花费额外的时间从动荡状态收敛回平稳状态，这会影响模型训练的效率。因此为解决这一问题，PGGAN提出了一种平滑输出的方式。示例的，本实施例中当原始瑕疵数据集对应的第一像素值小于设定像素阈值时，通过邻近卷积网络对原始瑕疵数据集的图像分辨率按照设定增加倍数，对图像分辨率进行加倍。
步骤S142，将加倍后的原始瑕疵数据集投射到RGB颜色空间中，以生成初始RGB值。
示例的，将加倍后的原始瑕疵数据集投射到RGB颜色空间中，确定加倍后原始瑕疵数据集的初始RGB值。
步骤S143，对初始RGB值进行平均池化生成目标RGB值。
示例的，对加倍后的初始RGB值进行平均池化处理，缩放预设倍数生成目标RGB值，其中为保持原始瑕疵数据集的真实性，该缩放的预设倍数与上述设定增加倍数相同。
步骤S144，根据目标RGB值，生成原始瑕疵数据集的第二像素值。
示例的，对目标RGB值进行反向映射由RGB颜色空间反向投射到图像空间中，生成原始瑕疵数据集的第二像素值。
步骤S145，根据第一像素值和第二像素值，生成瑕疵块样本。
示例的，将第一像素值和第二像素值进行融合，生成瑕疵块样本。
可选地，在一种实施方式中，上述步骤S145，包括以下步骤：
获取PGGAN网络的训练次数；
根据训练次数，确定像素转换的线性权重值；
基于线性权重值对第一像素值和第二像素值进行结合，以生成瑕疵块样本。
值得一提的是，本实施例中为提升瑕疵图像的分辨率，需要在PGGAN网络中加入网络层，而网络层数的突变会造成GANs的急剧不稳定，使得GANs需要花费额外的时间从动荡状态收敛回平稳状态，这会影响模型训练的效率。因此，本实施例中基于PGGAN网络的训练次数，对网络层进行平滑增加。根据PGGAN网络的训练次数，设置像素转换的线性权重值，其中训练次数越多，对应的线性权重值越大，基于该线性权重值对第一像素值和第二像素值进行结合，生成瑕疵块样本。示例的，图8是根据一示例性实施例示出的一种提高样本分辨率方法的示意图，如图8所示，当把生成器和判别器的分辨率加倍时，会平滑的增强新的网络层。示例的，以从16×16像素的图片转换到32×32像素的图片为例，在转换(b)过程中，把在更高分辨率上操作的层视为一个残缺块，权重α从0到1线性增长。当α为0的时候，相当于图(a)中的像素转换情况，当α为1的时候，相当于图(c)中的像素转换情况。所以在转换过程中，生成样本的像素值是从16×16到32×32进行转换的。同理，对真实样本也做了类似的平滑过渡，也就是，在这个阶段的某个训练批次的真实样本为：X＝*(1-α)+*α。其中，上述图8中的2×和0.5×指利用最近邻卷积和平均池化分别对图片分辨率加倍和折半，toRGB表示将一个层中的特征向量投射到RGB颜色空间中，fromRGB正好是相反的过程，将RGB颜色空间中的RGB值反向投射到特征向量上；这两个过程都是利用1×1卷积；当训练判别器时，插入采样后的真实图片去匹配网络中的当前分辨率，在分辨率转换过程中，会在两张真实图片的分辨率之间插值，类似于将两个分辨率结合到一起，再用生成器输出。
PGGAN还使用简化的Mini-batch(梯度下降代码)判别来提高图像多样性。PGGAN计算小批量中每个空间位置的每个特征的标准差，然后将它们平均以产生单个标量值。它在鉴别器中的最新层之一处连接到所有空间位置和小批量。如果生成的图像与真实图像不具有相同的多样性，则该值将不同，因此将受到判别器的惩罚。
通过上述方式，采用PGGAN网络在即使通过学习低分辨率图像的基本特征来创建图像的基本部分的情况下，也可以生成高分辨率的图像，并且随着分辨率的提高和时间的推移，学习越来越多的细节，解决现有方案生成图像分辨率低的问题。由于每次前面的层已经训练好，所以会集中训练后添加的层，所以提高分辨率后，新的训练难度不会提高。低分辨率图像的训练不仅简单、快速，而且有助于更高级别的训练，使得整体训练速度更快。
图9是根据一示例性实施例示出的一种瑕疵样本生成装置的框图，如图9所示，该装置100包括：第一生成模块110、第二生成模块120、第三生成模块130和第四生成模块140。
第一生成模块110，用于对原始缺陷样本进行变形处理，以生成原始瑕疵图像；
第二生成模块120，用于提取原始瑕疵图像中的瑕疵区域，生成原始瑕疵数据集；
第三生成模块130，用于基于渐进增长对抗生成PGGAN网络训练原始瑕疵数据集，以生成瑕疵块样本；
第四生成模块140，用于将瑕疵块样本与原始无瑕疵样本进行区域及预定位的图像融合，生成目标瑕疵样本。
可选地，PGGAN网络包括生成网络和判别网络，基于渐进增长对抗生成PGGAN网络训练原始瑕疵数据集，以生成瑕疵块样本，包括：
将生成网络作为第一网络，基于随机取样数据，通过第一网络生成初始瑕疵块数据，其中随机取样数据为潜在空间中的随机样本；
将判别网络作为第二网络，根据原始瑕疵数据集对第二网络进行训练；
通过训练后的第二网络对初始瑕疵块数据进行判别，以生成返回数值；
在返回数值大于或等于设定阈值的情况下，根据初始瑕疵块数据和原始瑕疵数据集，生成瑕疵块样本。
可选地，方法还包括：
在返回数值小于设定阈值的情况下，基于原始瑕疵数据集对生成网络进行训练；
将训练后的生成网络作为第一网络，将训练后的判别网络作为第二网络，重复上述基于随机取样数据至生成返回数值的步骤，直至返回数值大于或等于设定阈值。
可选地，基于渐进增长对抗生成PGGAN网络训练原始瑕疵数据集，以生成瑕疵块样本，包括：
在原始瑕疵数据集对应的第一像素值小于设定像素阈值的情况下，通过邻近卷积网络对原始瑕疵数据集的图像分辨率进行加倍；
将加倍后的原始瑕疵数据集投射到RGB颜色空间中，以生成初始RGB值；
对初始RGB值进行平均池化生成目标RGB值；
根据目标RGB值，生成原始瑕疵数据集的第二像素值；
根据第一像素值和第二像素值，生成瑕疵块样本。
可选地，根据第一像素值和第二像素值，生成瑕疵块样本，包括：
获取PGGAN网络的训练次数；
根据训练次数，确定像素转换的线性权重值；
基于线性权重值对第一像素值和第二像素值进行结合，以生成瑕疵块样本。
可选地，将瑕疵块样本与原始无瑕疵样本进行区域及预定位的图像融合，生成目标瑕疵样本，包括：
获取原始无瑕疵样本的第一像素梯度场；
根据第一像素梯度场对瑕疵块样本的第二像素梯度场进行调整，生成目标瑕疵块样本；
基于瑕疵块样本在图像中的区域定位，通过泊松融合算法将目标瑕疵块样本融入原始无瑕疵样本中，以生成目标瑕疵样本。
可选地，变形处理包括：镜像处理、旋转处理、平移处理、扭曲处理、滤波处理、对比度调整处理中的至少一种。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图10是根据一示例性实施例示出的一种电子设备1000的框图。如图10所示，该电子设备1000可以包括：处理器1001，存储器1002。该电子设备1000还可以包括多媒体组件1003，输入/输出(I/O)接口1004，以及通信组件1005中的一者或多者。
其中，处理器1001用于控制该电子设备1000的整体操作，以完成上述瑕疵样本生成方法中的全部或部分步骤。存储器1002用于存储各种类型的数据以支持在该电子设备1000的操作，这些数据例如可以包括用于在该电子设备1000上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器1002可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件1003可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1002或通过通信组件1005发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口1004为处理器1001和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件1005用于该电子设备1000与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件1005可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备1000可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的瑕疵样本生成方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的瑕疵样本生成方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器1002，上述程序指令可由电子设备1000的处理器1001执行以完成上述的瑕疵样本生成方法。
图11是根据一示例性实施例示出的一种电子设备1100的框图。例如，电子设备1100可以被提供为一服务器。参照图11，电子设备1100包括处理器1122，其数量可以为一个或多个，以及存储器1132，用于存储可由处理器1122执行的计算机程序。存储器1132中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器1122可以被配置为执行该计算机程序，以执行上述的瑕疵样本生成方法。
另外，电子设备1100还可以包括电源组件1126和通信组件1150，该电源组件1126可以被配置为执行电子设备1100的电源管理，该通信组件1150可以被配置为实现电子设备1100的通信，例如，有线或无线通信。此外，该电子设备1100还可以包括输入/输出(I/O)接口1158。电子设备1100可以操作基于存储在存储器1132的操作系统。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的瑕疵样本生成方法的步骤。例如，该非临时性计算机可读存储介质可以为上述包括程序指令的存储器1132，上述程序指令可由电子设备1100的处理器1122执行以完成上述的瑕疵样本生成方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的瑕疵样本生成方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种瑕疵样本生成方法，其特征在于，所述方法包括：
对原始缺陷样本进行变形处理，以生成原始瑕疵图像；
提取所述原始瑕疵图像中的瑕疵区域，生成原始瑕疵数据集；
基于渐进增长对抗生成PGGAN网络训练所述原始瑕疵数据集，以生成瑕疵块样本；
将所述瑕疵块样本与原始无瑕疵样本进行区域及预定位的图像融合，生成目标瑕疵样本。
2.根据权利要求1所述的生成方法，其特征在于，所述PGGAN网络包括生成网络和判别网络，所述基于渐进增长对抗生成PGGAN网络训练所述原始瑕疵数据集，以生成瑕疵块样本，包括：
将所述生成网络作为第一网络，基于随机取样数据，通过所述第一网络生成初始瑕疵块数据，其中所述随机取样数据为潜在空间中的随机样本；
将所述判别网络作为第二网络，根据所述原始瑕疵数据集对所述第二网络进行训练；
通过训练后的所述第二网络对所述初始瑕疵块数据进行判别，以生成返回数值；
在所述返回数值大于或等于设定阈值的情况下，根据所述初始瑕疵块数据和所述原始瑕疵数据集，生成所述瑕疵块样本。
3.根据权利要求2所述的生成方法，其特征在于，所述方法还包括：
在所述返回数值小于所述设定阈值的情况下，基于所述原始瑕疵数据集对所述生成网络进行训练；
将训练后的所述生成网络作为所述第一网络，将训练后的所述判别网络作为第二网络，重复上述基于随机取样数据至生成返回数值的步骤，直至所述返回数值大于或等于所述设定阈值。
4.根据权利要求1所述的生成方法，其特征在于，所述基于渐进增长对抗生成PGGAN网络训练所述原始瑕疵数据集，以生成瑕疵块样本，包括：
在所述原始瑕疵数据集对应的第一像素值小于设定像素阈值的情况下，通过邻近卷积网络对所述原始瑕疵数据集的图像分辨率进行加倍；
将加倍后的所述原始瑕疵数据集投射到RGB颜色空间中，以生成初始RGB值；
对所述初始RGB值进行平均池化生成目标RGB值；
根据所述目标RGB值，生成所述原始瑕疵数据集的第二像素值；
根据所述第一像素值和所述第二像素值，生成所述瑕疵块样本。
5.根据权利要求4所述的生成方法，其特征在于，所述根据所述第一像素值和所述第二像素值，生成所述瑕疵块样本，包括：
获取所述PGGAN网络的训练次数；
根据所述训练次数，确定像素转换的线性权重值；
基于所述线性权重值对所述第一像素值和所述第二像素值进行结合，以生成所述瑕疵块样本。
6.根据权利要求1-5中任一项所述的生成方法，其特征在于，所述将所述瑕疵块样本与原始无瑕疵样本进行区域及预定位的图像融合，生成目标瑕疵样本，包括：
获取所述原始无瑕疵样本的第一像素梯度场；
根据所述第一像素梯度场对所述瑕疵块样本的第二像素梯度场进行调整，生成目标瑕疵块样本；
基于所述瑕疵块样本在图像中的区域定位，通过泊松融合算法将所述目标瑕疵块样本融入所述原始无瑕疵样本中，以生成所述目标瑕疵样本。
7.根据权利要求1-5中任一项所述的生成方法，其特征在于，所述变形处理包括：镜像处理、旋转处理、平移处理、扭曲处理、滤波处理、对比度调整处理中的至少一种。
8.一种瑕疵样本生成装置，其特征在于，所述装置包括：
第一生成模块，用于对原始缺陷样本进行变形处理，以生成原始瑕疵图像；
第二生成模块，用于提取所述原始瑕疵图像中的瑕疵区域，生成原始瑕疵数据集；
第三生成模块，用于基于渐进增长对抗生成PGGAN网络训练所述原始瑕疵数据集，以生成瑕疵块样本；
第四生成模块，用于将所述瑕疵块样本与原始无瑕疵样本进行区域及预定位的图像融合，生成目标瑕疵样本。
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。
CN202310431611.0A 2023-04-20 2023-04-20 瑕疵样本生成方法、装置、存储介质及电子设备 Pending CN116645571A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310431611.0A CN116645571A (zh) 2023-04-20 2023-04-20 瑕疵样本生成方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310431611.0A CN116645571A (zh) 2023-04-20 2023-04-20 瑕疵样本生成方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN116645571A true CN116645571A (zh) 2023-08-25

Family

ID=87614286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310431611.0A Pending CN116645571A (zh) 2023-04-20 2023-04-20 瑕疵样本生成方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN116645571A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372275A (zh) * 2023-11-02 2024-01-09 凯多智能科技(上海)有限公司 一种图像数据集扩充方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372275A (zh) * 2023-11-02 2024-01-09 凯多智能科技(上海)有限公司 一种图像数据集扩充方法、装置及电子设备

Similar Documents

Publication Publication Date Title
Hu et al. Learning semantic segmentation of large-scale point clouds with random sampling
CN110945528B (zh) 产生可用于检查半导体样品的训练集的方法及其系统
CN114008633A (zh) 用于检验人工神经网络的稳健性的方法和设备
JP6669741B2 (ja) 商品画像のセグメンテーション方法および装置
KR20210087874A (ko) 시편의 기계 학습 기반 결함 검출
CN116645571A (zh) 瑕疵样本生成方法、装置、存储介质及电子设备
US11348349B2 (en) Training data increment method, electronic apparatus and computer-readable medium
CN111488932A (zh) 一种基于帧率感知的自监督视频时-空表征学习方法
Lin et al. Deep learning-based image analysis framework for hardware assurance of digital integrated circuits
CN111782548B (zh) 一种软件缺陷预测数据处理方法、装置及存储介质
CN114170230B (zh) 基于可变形卷积与特征融合的玻璃缺陷检测方法与装置
CN114972216A (zh) 一种纹理表面缺陷检测模型的构建方法及其应用
KR20230073751A (ko) 레이아웃 기반의 동일 화풍 영상 생성 시스템 및 방법
CN117058554A (zh) 电力设备目标检测方法、模型训练方法和装置
CN116883916A (zh) 一种基于深度学习的会议异常行为检测方法及系统
CN114897214A (zh) 一种基于图形化处理的金属增材制造时间预测系统和方法
JP7070308B2 (ja) 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム
Zhang et al. Adaptive visual detection of industrial product defects
CN113706436A (zh) 一种基于自监督生成对抗学习背景建模的目标检测方法
Mohan et al. Panoptic Out-of-Distribution Segmentation
Li et al. Time-series vision transformer based on cross space-time attention for fault diagnosis in fused deposition modelling with reconstruction of layer-wise data
Deramgozin et al. Attention-Enabled Lightweight Neural Network Architecture for Detection of Action Unit Activation
TWI834916B (zh) 基於機器學習的取樣缺陷檢測
KR102550869B1 (ko) 유전 알고리즘 및 cnn을 이용한 물체 분류 및 집계 방법
Rachmawati et al. Fine-tuned cnn with data augmentation for 3d printer fault detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination