CN116563674A - 样本图像增强方法、系统、电子设备及可读存储介质 - Google Patents

样本图像增强方法、系统、电子设备及可读存储介质 Download PDF

Info

Publication number
CN116563674A
CN116563674A CN202310848694.3A CN202310848694A CN116563674A CN 116563674 A CN116563674 A CN 116563674A CN 202310848694 A CN202310848694 A CN 202310848694A CN 116563674 A CN116563674 A CN 116563674A
Authority
CN
China
Prior art keywords
data
sample image
test set
network model
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310848694.3A
Other languages
English (en)
Other versions
CN116563674B (zh
Inventor
马原
晏文仲
焦璐
田楷
陈立名
胡江洪
曹彬
黄金
陈秀睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fitow Tianjin Detection Technology Co Ltd
Original Assignee
Fitow Tianjin Detection Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fitow Tianjin Detection Technology Co Ltd filed Critical Fitow Tianjin Detection Technology Co Ltd
Priority to CN202310848694.3A priority Critical patent/CN116563674B/zh
Publication of CN116563674A publication Critical patent/CN116563674A/zh
Application granted granted Critical
Publication of CN116563674B publication Critical patent/CN116563674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种样本图像增强方法、系统、电子设备及可读存储介质，涉及样本数据增强领域，该方法对原始数据集进行可视化降维分析，并将新生成的数据集与原始数据集同时进行可视化降维分析后，使得生成数据符合原始真正缺陷数据的特征分布规律，实现了数据增强后数据分布规律的监控；通过使用多种生成对抗网络对数据进行重建，生成的数据分布规律符合原数据的分布，生成的数据集实现了在本质上进行数据增强的效果；最终可将样本图像的包含缺陷数据的聚类集合与无缺陷数据参考集合进行融合，生成样本图像的增强集合，实现了对样本图像数据特征的深层次挖掘，在将其用于模型训练过程中有利于提升模型的训练效果。

Description

样本图像增强方法、系统、电子设备及可读存储介质
技术领域
本发明涉及样本数据增强领域，尤其是涉及一种样本图像增强方法、系统、电子设备及可读存储介质。
背景技术
现如今，神经网络模型在样品缺陷检测的场景中得到广泛应用，因此模型的训练效果直接决定了缺陷检测的最终结果。但一些场景中样品的数据量较少，用于训练的样品数据缺乏，不同类别的缺陷数据收集不均衡，导致模型训练的数据量欠缺。通常样本图像的获取是利用2D相机对其进行简单拍摄，容易出现样品特征遗漏的情况。
现有技术中在训练样本数据量较少时，通常采用对样本图像进行平移翻转、调整HSV、将缺陷特征随机剪裁并粘贴到图像其它位置等方式来尽可能生成不同的样本图像，以增加数据量，但此类增强方式仅仅是对样本图像进行简单处理，无法对样本图像的数据特征进行进一步挖掘，导致训练数据性能较低，最终影响模型的训练效果。
发明内容
有鉴于此，本发明的目的在于提供一种样本图像增强方法、系统、电子设备及可读存储介质，该方法对原始数据集进行可视化降维分析，并将新生成的数据集与原始数据集同时进行可视化降维分析后，使得生成数据符合原始真正缺陷数据的特征分布规律，实现了数据增强后数据分布规律的监控；通过使用多种生成对抗网络对数据进行重建，生成的数据分布规律符合原数据的分布，生成的数据集实现了在本质上进行数据增强的效果；最终可将样本图像的包含缺陷数据的聚类集合与无缺陷数据参考集合进行融合，生成样本图像的增强集合，实现了对样本图像数据特征的深层次挖掘，在将其用于模型训练过程中有利于提升模型的训练效果。
第一方面，本发明实施例提供了一种样本图像增强方法，方法包括以下步骤：
获取待测工件的样本图像，并按照预设标注规则对样本图像进行标注，确定样本图像的测试集合和参考集合；其中，样本图像为待测工件在多个拍摄角度下获取的数字图像；
对测试集合进行数据降维处理后构建测试集合的近邻图，并利用近邻图对测试集合进行可视化绘制，生成测试集合的可视化图形；
将测试集合输入至已完成训练的对抗网络模型中，将对抗网络模型的生成器输出的数据输入至对抗网络模型的判别器后，获取对抗网络模型的判别器输出的测试集合的更新结果；
利用测试集合的更新结果对样本图像进行数据增强处理后，利用测试集合的可视化图形对样本图像进行聚类，得到样本图像的聚类集合；
将样本图像的聚类集合与参考集合进行插值运算后，生成样本图像的增强集合。
在一些实施方式中，获取待测工件的样本图像，并按照预设标注规则对样本图像进行标注，确定样本图像的测试集合和参考集合的步骤，包括：
根据待测工件的外形参数确定多个拍摄高度，并在拍摄高度下获取对应的样本图像；其中，拍摄高度下获取的数字图像包含待测工件的所有特征；
利用标注规则获取样本图像中包含的缺陷区域，利用缺陷区域的位置数据对样本图像进行截取，并根据截取得到缺陷区域图像生成测试集合；
利用缺陷区域的位置数据获取样本图像中对应的无缺陷区域，利用无缺陷区域的位置数据对样本图像进行截取，并根据截取得到无缺陷区域图像生成参考集合；其中，测试集合与参考集合的数据量相同。
在一些实施方式中，对测试集合进行数据降维处理后构建测试集合的近邻图，并利用近邻图对测试集合进行可视化绘制，生成测试集合的可视化图形的步骤，包括：
利用预设的生成树和分发树的流行逼近与投影的方式对测试集合的进行可视化降维，并利用局部敏感哈希森林对已更新的测试集合进行检索，得到测试集合的索引数据点；
根据索引数据点构建测试集合的C-K-NNG近邻图，并使用Kruskal算法在C-K-NNG近邻图中构建最小生成树；
通过最小生成树在构建过程中每个阶段属性局部最优解的贪心算法确定全局最优解，并利用开放式图形绘制框架对全局最优解进行可视化绘制，生成测试集合的可视化图形。
在一些实施方式中，将测试集合输入至已完成训练的对抗网络模型中，将对抗网络模型的生成器输出的数据输入至对抗网络模型的判别器后，获取对抗网络模型的判别器输出的测试集合的更新结果的步骤，包括：
从已完成训练的生成对抗GAN网络模型中获取对抗网络模型的生成器和判别器；
将测试集合输入至对抗网络模型中，控制对抗网络模型的生成器输出第一更新数据；
将第一更新数据输入至对抗网络模型的判别器，控制对抗网络模型的判别器输出第二更新数据；
利用第二更新数据确定测试集合的更新结果。
在一些实施方式中，利用测试集合的更新结果对样本图像进行数据增强处理后，利用测试集合的可视化图形对样本图像进行聚类，得到样本图像的聚类集合的步骤，包括：
利用测试集合的更新结果控制生成器和判别器的迭代参数，并根据生成器和判别器实时输出的数据确定实时数据集；
利用对抗网络模型对实时数据集进行数据增强处理，得到实时数据集对应的增强数据集；
将增强数据集与测试集合进行融合计算，得到样本图像的融合数据集，利用测试集合的可视化图形对融合数据集进行聚类，并通过可视化降维处理得到样本图像的聚类集合。
在一些实施方式中，将样本图像的聚类集合与参考集合进行插值运算后，生成样本图像的增强集合的步骤，包括：
将聚类集合中不满足参考集合的数据特征分布参数的样本图像进行舍弃，并更新样本图像的聚类集合；
利用聚类集合与参考集合进行插值运算，得到样本图像的增强集合。
在一些实施方式中，对抗网络模型在训练过程中，所用的损失函数为
其中，为判别器的数据；/>为生成器的数据；/>为误差函数；/>为期望计算；为真实数据样本数据分布；/> d为判别器训练参数；/>为每个样本；/>为每个样本对应的样本数据分布；/>为生成器中z变量对应的判别器训练参数数据。
第二方面，本发明实施例提供了一种样本图像增强系统，该系统包括以下模块：
初始化模块，用于获取待测工件的样本图像，并按照预设标注规则对样本图像进行标注，确定样本图像的测试集合和参考集合；其中，样本图像为待测工件在多个拍摄角度下获取的数字图像；
可视化图形生成模块，用于对测试集合进行数据降维处理后构建测试集合的近邻图，并利用近邻图对测试集合进行可视化绘制，生成测试集合的可视化图形；
误差判别结果获取模块，用于将测试集合输入至已完成训练的对抗网络模型中，将对抗网络模型的生成器输出的数据输入至对抗网络模型的判别器后，获取对抗网络模型的判别器输出的测试集合的更新结果；
聚类集合生成模块，用于利用测试集合的更新结果对样本图像进行数据增强处理后，利用测试集合的可视化图形对样本图像进行聚类，得到样本图像的聚类集合；
图像增强执行模块，用于将样本图像的聚类集合与参考集合进行插值运算后，生成样本图像的增强集合。
第三方面，发明实施例还提供一种电子设备，包括存储器、处理器，存储器中存储有可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述第一方面提到的样本图像增强方法的步骤。
第四方面，本发明实施例还提供一种可读存储介质，该可读存储介质上存储有计算机程序，其中，计算机程序被处理器运行时实现上述第一方面提到的样本图像增强方法的步骤。
本发明实施例带来了至少以下有益效果：
本发明提供了一种样本图像增强方法、系统、电子设备及可读存储介质，该方法首先获取待测工件的样本图像，并按照预设标注规则对样本图像进行标注，确定样本图像的测试集合和参考集合；其中，样本图像为待测工件在多个拍摄角度下获取的数字图像；然后对测试集合进行数据降维处理后构建测试集合的近邻图，并利用近邻图对测试集合进行可视化绘制，生成测试集合的可视化图形；再将测试集合输入至已完成训练的对抗网络模型中，将对抗网络模型的生成器输出的数据输入至对抗网络模型的判别器后，获取对抗网络模型的判别器输出的测试集合的更新结果；然后利用测试集合的更新结果对样本图像进行数据增强处理后，利用测试集合的可视化图形对样本图像进行聚类，得到样本图像的聚类集合；最后将样本图像的聚类集合与参考集合进行插值运算后，生成样本图像的增强集合。该方法对原始数据集进行可视化降维分析，并将新生成的数据集与原始数据集同时进行可视化降维分析后，使得生成数据符合原始真正缺陷数据的特征分布规律，实现了数据增强后数据分布规律的监控；通过使用多种生成对抗网络对数据进行重建，生成的数据分布规律符合原数据的分布，生成的数据集实现了在本质上进行数据增强的效果；最终可将样本图像的包含缺陷数据的聚类集合与无缺陷数据参考集合进行融合，生成样本图像的增强集合，实现了对样本图像数据特征的深层次挖掘，在将其用于模型训练过程中有利于提升模型的训练效果。
本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义的确定，或者通过实施本发明的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。
附图说明
图1为本发明实施例提供的一种样本图像增强方法的流程图；
图2为本发明实施例提供的一种样本图像增强方法中步骤S101的流程图；
图3为本发明实施例提供的一种样本图像增强方法中步骤S102的流程图；
图4为本发明实施例提供的一种样本图像增强方法中步骤S103的流程图；
图5为本发明实施例提供的一种样本图像增强方法中步骤S104的流程图；
图6为本发明实施例提供的一种样本图像增强方法中步骤S105的流程图；
图7为本发明实施例提供的一种样本图像增强系统的结构示意图；
图8为本发明实施例提供的一种电子设备的结构示意图。
图标：
710-初始化模块；720-可视化图形生成模块；730-误差判别结果获取模块；740-聚类集合生成模块；750-图像增强执行模块；
101-处理器；102-存储器；103-总线；104-通信接口。
具体实施方式
步骤S101，获取待测工件的样本图像，并按照预设标注规则对样本图像进行标注，确定样本图像的测试集合和参考集合；其中，样本图像为待测工件在多个拍摄角度下获取的数字图像。
待测工件的样本图像是在多个拍摄角度下拍摄得到的，得到的多个数字图像可以表征待测工件的所有特征。例如，在待测工件的高低两个角度进行拍摄，形成互补的样本图像。样本图像获取后按照标注规则对其进行标注，标注过程按照样本图像的缺陷类型来执行，从而得到以缺陷类型为依据的标注结果。测试集合和参考集合在标注前为原始数据集，标注完成后的原始数据集按照缺陷类型所对应的缺陷图像将样本图像分为测试集合和参考集合。
步骤S102，对测试集合进行数据降维处理后构建测试集合的近邻图，并利用近邻图对测试集合进行可视化绘制，生成测试集合的可视化图形。
对收集到的测试集合进行数据降维分析，可通过相关生成树和分发树的方式来对测试集合的缺陷数据进行可视化降维处理，从而构建测试集合的近邻图。随后利用近邻图之间的关联关系对测试集合进行可视化绘制，在可视化的过程中通过选择每个阶段的相关属性局部最优解的方式来获得全局最优解，从而完成测试集合的可视化绘制并生成对应的可视化图形。
步骤S103，将测试集合输入至已完成训练的对抗网络模型中，将对抗网络模型的生成器输出的数据输入至对抗网络模型的判别器后，获取对抗网络模型的判别器输出的测试集合的更新结果。
在对样本图像进行增强的过程中，使用对抗网络模型对样本图像的相关数据集合进行判别。对抗网络模型中设置有生成器和判别器，将测试集合输入至对抗网络模型后，将生成器输出的数据输入至判别器中得到测试集合的更新结果，而该误差判别结果可对生成器进行再优化。具体的说，生成器生成图像送入判别器，判别器判别结果反向更新生成器，直至判别器认为生成数据与最开始输入判别器的真实数据无差别，则生成器训练完成
步骤S104，利用测试集合的更新结果对样本图像进行数据增强处理后，利用测试集合的可视化图形对样本图像进行聚类，得到样本图像的聚类集合。
对抗网络模型在生成器和判别器的交替迭代过程中，最终得到测试集合的更新结果，通过对其进行数据增强处理后可实现对样本图像的优化。样本图像测试集合的更新结果完成数据增强后，利用测试集合的可视化图形对其进行可视化聚类分析，从而得到样本图像的聚类集合。
步骤S105，将样本图像的聚类集合与参考集合进行插值运算后，生成样本图像的增强集合。
聚类集合可理解为包含缺陷特征的样本图像数据集，而参考集合可理解为无缺陷特征的样本图像数据集，将二者进行插值融合运算后得到新的数据集，并将其作为样本图像的增强集合，从而完成对样本图像的增强过程。
在一些实施方式中，获取待测工件的样本图像，并按照预设标注规则对样本图像进行标注，确定样本图像的测试集合和参考集合的步骤S101，如图2所示，包括：
步骤S201，根据待测工件的外形参数确定多个拍摄高度，并在拍摄高度下获取对应的样本图像；其中，拍摄高度下获取的数字图像包含待测工件的所有特征。
步骤S202，利用标注规则获取样本图像中包含的缺陷区域，利用缺陷区域的位置数据对样本图像进行截取，并根据截取得到缺陷区域图像生成测试集合。
步骤S203，利用缺陷区域的位置数据获取样本图像中对应的无缺陷区域，利用无缺陷区域的位置数据对样本图像进行截取，并根据截取得到无缺陷区域图像生成参考集合；其中，测试集合与参考集合的数据量相同。
上述过程为数据准备过程，同一个工件在图像采集时，可从不同拍摄高度下进行拍摄，从而得到具有互补关系的样本图像的数字图像。外形参数作为待测工件的类别参数，用于确定图像采集时的拍摄高度数据。这些图像同时加入训练数据集后，按照预设标注规则对其进行标注，具体可通过人工标注也可通过自动化标注的形式来实现。标注结果包含样本图像的缺陷区域，利用缺陷区域的位置数据对样本图像进行截取，并根据截取得到缺陷区域图像生成测试集合。例如，在人工标注中，可将数据集中不同类别的缺陷框在原图上裁剪下来，作为测试集合；然后截取与测试集合相同数量的一部分无缺陷图像，作为参考集合。
在一些实施方式中，对测试集合进行数据降维处理后构建测试集合的近邻图，并利用近邻图对测试集合进行可视化绘制，生成测试集合的可视化图形的步骤S102，如图3所示，包括：
步骤S301，利用预设的生成树和分发树的流行逼近与投影的方式对测试集合的进行可视化降维，并利用局部敏感哈希森林对已更新的测试集合进行检索，得到测试集合的索引数据点；
步骤S302，根据索引数据点构建测试集合的C-K-NNG近邻图，并使用Kruskal算法在C-K-NNG近邻图中构建最小生成树；
步骤S303，通过最小生成树在构建过程中每个阶段属性局部最优解的贪心算法确定全局最优解，并利用开放式图形绘制框架对全局最优解进行可视化绘制，生成测试集合的可视化图形。
对收集到的数据集测试集合进行数据降维分析，具体可使用生成和分发树的流行逼近与投影的方式，对包含缺陷的测试集合进行可视化降维，得到流形逼近与投影结果。然后使用局部敏感哈希森林对上述结果进行检索，生成测试集合的索引数据点。然后，利用根据索引数据点构建C近似K近邻图（C-K-NNG），并使用Kruskal算法在C-K-NNG上构建最小生成树，获得可视化过程中通过选择每个阶段属性局部最优解的贪心算法以获得全局最优解，最后通过开放式图形绘制框架对测试集合进行可视化绘制，生成测试集合的可视化图形，实现图形可视化。
开放式图形绘制框架，可为OGDF(Open Graph Drawing Framework, 开放的网络图绘制框架)等，其可作为图形可视化过程中的基础库。
在一些实施方式中，将测试集合输入至已完成训练的对抗网络模型中，将对抗网络模型的生成器输出的数据输入至对抗网络模型的判别器后，获取对抗网络模型的判别器输出的测试集合的更新结果的步骤S103，如图4所示，包括：
步骤S401，从已完成训练的生成对抗GAN网络模型中获取对抗网络模型的生成器和判别器；
步骤S402，将测试集合和参考集合输入至对抗网络模型中，控制对抗网络模型的生成器输出第一更新数据；
步骤S403，将第一更新数据与参考集合输入至对抗网络模型的判别器，控制对抗网络模型的判别器输出第二更新数据；
步骤S404，利用第二更新数据确定测试集合的更新结果。
在样本图像的误差判别结果的生成过程中使用生成对抗网络GAN(GAN,Generative Adversarial Networks )网络模型，将包含缺陷的测试集合与不包含缺陷的参考集合共同作为数据集输入至GAN网络中。将测试集合和参考集合输入至生成对抗GAN网络模型后，控制生成器输出第一更新数据；然后将第一更新数据与参考集合共同送入判别器中进行判别，输出第二更新数据从而得到样本图像的误差判别结果。值得一提的是，第二更新数据可用于生成器的优化。
在一些实施方式中，利用测试集合的更新结果对样本图像进行数据增强处理后，利用测试集合的可视化图形对样本图像进行聚类，得到样本图像的聚类集合的步骤S104，如图5所示，包括：
步骤S501，利用测试集合的更新结果控制生成器和判别器的迭代参数，并根据生成器和判别器实时输出的数据确定实时数据集；
步骤S502，利用对抗网络模型对实时数据集进行数据增强处理，得到实时数据集对应的增强数据集；
步骤S503，将增强数据集与测试集合进行融合计算，得到样本图像的融合数据集，利用测试集合的可视化图形对融合数据集进行聚类，并通过可视化降维处理得到样本图像的聚类集合。
GAN网络在生成器和判别器的交替迭代中，利用误差判别结果获取生成器和判别器的迭代参数，并根据生成器和判别器实时输出的数据确定实时数据集。然后可使用基于GAN的方式进行数据增强，包括Cycle-GAN、Pro-GAN、Disco-GAN和DCGAN，得到实时数据集对应的增强数据集，从而只保留生成的高分辨率图像。
该实施方式中的原始数据集在已进行可视化降维处理后，将得到的样本图像的聚类集合再次进行可视化分析，使得生成数据符合原始真正缺陷数据的特征分布规律，实现了数据增强后数据分布规律的监控。
在一些实施方式中，将样本图像的聚类集合与参考集合进行插值运算后，生成样本图像的增强集合的步骤S105，如图6所示，包括：
步骤S601，将聚类集合中不满足参考集合的数据特征分布参数的样本图像进行舍弃，并更新样本图像的聚类集合；
步骤S602，利用聚类集合与参考集合进行插值运算，得到样本图像的增强集合。
聚类集合可理解为包含缺陷特征的样本图像数据集，经过舍弃处理后的聚类集合的融合计算效果更佳。利用聚类集合与参考集合进行插值运算后得到样本图像新的数据集，并最终得到样本图像的增强集合，具体可通过泊松融合的方式实现聚类集合与参考集合的插值运算。上述过程中利用数据降维可视化的方式对样本图像进行分析，并通过降维聚类的方式保留符合原始数据集数据特征分布的样本图像，并可通过泊松融合的方式将样本图像对应的聚类集合与参考集合进行线性插值融合，最终得到样本图像的增强集合。
在一些实施方式中，对抗网络模型在训练过程中，所用的损失函数为
其中，为判别器的数据；/>为生成器的数据；/>为误差函数；/>为期望计算；为真实数据样本数据分布；/> d为判别器训练参数；/>为每个样本；/>为每个样本对应的样本数据分布；/>为生成器中z变量对应的判别器训练参数。
通过上述实施例中提到的样本图像增强方法可知，该方法对原始数据集进行可视化降维分析，并将新生成的数据集进行可视化分析后，使得生成数据符合原始真正缺陷数据的特征分布规律，实现了数据增强后数据分布规律的监控；通过使用多种生成对抗网络对数据进行重建，生成的数据分布规律符合原数据的分布，生成的数据集实现了在本质上进行数据增强的效果；最终可将样本图像的包含缺陷数据的聚类集合与无缺陷数据参考集合进行融合，生成样本图像的增强集合，实现了对样本图像数据特征的深层次挖掘，在将其用于模型训练过程中有利于提升模型的训练效果。
对应于上述方法实施例，本发明实施例提供了一种样本图像增强系统；如图7所示，该系统包括以下模块：
初始化模块710，用于获取待测工件的样本图像，并按照预设标注规则对样本图像进行标注，确定样本图像的测试集合和参考集合；其中，样本图像为待测工件在多个拍摄角度下获取的数字图像；
可视化图形生成模块720，用于对测试集合进行数据降维处理后构建测试集合的近邻图，并利用近邻图对测试集合进行可视化绘制，生成测试集合的可视化图形；
误差判别结果获取模块730，用于将测试集合输入至已完成训练的对抗网络模型中，将对抗网络模型的生成器输出的数据输入至对抗网络模型的判别器后，获取对抗网络模型的判别器输出的测试集合的更新结果；
聚类集合生成模块740，用于利用测试集合的更新结果对样本图像进行数据增强处理后，利用测试集合的可视化图形对样本图像进行聚类，得到样本图像的聚类集合；
图像增强执行模块750，用于将样本图像的聚类集合与参考集合进行插值运算后，生成样本图像的增强集合。
在一些实施方式中，初始化模块710，还用于：根据待测工件的外形参数确定多个拍摄高度，并在拍摄高度下获取对应的样本图像；其中，拍摄高度下获取的数字图像包含待测工件的所有特征；利用标注规则获取样本图像中包含的缺陷区域，利用缺陷区域的位置数据对样本图像进行截取，并根据截取得到缺陷区域图像生成测试集合；利用缺陷区域的位置数据获取样本图像中对应的无缺陷区域，利用无缺陷区域的位置数据对样本图像进行截取，并根据截取得到无缺陷区域图像生成参考集合；其中，测试集合与参考集合的数据量相同。
在一些实施方式中，可视化图形生成模块720，还用于：利用预设的生成树和分发树的流行逼近与投影的方式对测试集合的进行可视化降维，并利用局部敏感哈希森林对已更新的测试集合进行检索，得到测试集合的索引数据点；根据索引数据点构建测试集合的C-K-NNG近邻图，并使用Kruskal算法在C-K-NNG近邻图中构建最小生成树；通过最小生成树在构建过程中每个阶段属性局部最优解的贪心算法确定全局最优解，并利用开放式图形绘制框架对全局最优解进行可视化绘制，生成测试集合的可视化图形。
在一些实施方式中，误差判别结果获取模块730，还用于：从已完成训练的生成对抗GAN网络模型中获取对抗网络模型的生成器和判别器；将测试集合输入至对抗网络模型中，控制对抗网络模型的生成器输出第一更新数据；将第一更新数据输入至对抗网络模型的判别器，控制对抗网络模型的判别器输出第二更新数据；利用第二更新数据确定测试集合的更新结果。
在一些实施方式中，聚类集合生成模块740，还用于：利用测试集合的更新结果控制生成器和判别器的迭代参数，并根据生成器和判别器实时输出的数据确定实时数据集；利用对抗网络模型对实时数据集进行数据增强处理，得到实时数据集对应的增强数据集；将增强数据集与测试集合进行融合计算，得到样本图像的融合数据集，利用测试集合的可视化图形对融合数据集进行聚类，并通过可视化降维处理得到样本图像的聚类集合。
在一些实施方式中，图像增强执行模块750，还用于：将聚类集合中不满足参考集合的数据特征分布参数的样本图像进行舍弃，并更新样本图像的聚类集合；利用聚类集合与参考集合进行插值运算，得到样本图像的增强集合。
在一些实施方式中，对抗网络模型在训练过程中，所用的损失函数为
其中，为判别器的数据；/>为生成器的数据；/>为误差函数；/>为期望计算；为真实数据样本数据分布；/> d为判别器训练参数；/>为每个样本；/>为每个样本对应的样本数据分布；/>为生成器中z变量对应的判别器训练参数数据。
通过上述实施例中提到的样本图像增强系统可知，该系统对原始数据集进行可视化降维分析，并将新生成的数据集进行可视化分析后，使得生成数据符合原始真正缺陷数据的特征分布规律，实现了数据增强后数据分布规律的监控；通过使用多种生成对抗网络对数据进行重建，生成的数据分布规律符合原数据的分布，生成的数据集实现了在本质上进行数据增强的效果；最终可将样本图像的包含缺陷数据的聚类集合与无缺陷数据参考集合进行融合，生成样本图像的增强集合，实现了对样本图像数据特征的深层次挖掘，在将其用于模型训练过程中有利于提升模型的训练效果。
本实施例提供的样本图像增强系统，与上述实施例提供的样本图像增强方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。为简要描述，实施例部分未提及之处，可参考前述样本图像增强方法实施例中相应内容。
本实施例还提供一种电子设备，该电子设备的结构示意图如图8所示，该设备包括处理器101和存储器102；其中，存储器102用于存储一条或多条计算机指令，一条或多条计算机指令被处理器执行，以实现上述样本图像增强方法。
图8所示的电子设备还包括总线103和通信接口104，处理器101、通信接口104和存储器102通过总线103连接。
其中，存储器102可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。总线103可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
通信接口104用于通过网络接口与至少一个用户终端及其它网络单元连接，将封装好的IPv4报文或IPv4报文通过网络接口发送至用户终端。
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器102，处理器101读取存储器102中的信息，结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种可读存储介质，该可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行前述实施例的样本图像增强方法的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以用软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种样本图像增强方法，其特征在于，所述方法包括以下步骤：
获取待测工件的样本图像，并按照预设标注规则对所述样本图像进行标注，确定所述样本图像的测试集合和参考集合；其中，所述样本图像为所述待测工件在多个拍摄角度下获取的数字图像；
对所述测试集合进行数据降维处理后构建所述测试集合的近邻图，并利用所述近邻图对所述测试集合进行可视化绘制，生成所述测试集合的可视化图形；
将所述测试集合输入至已完成训练的对抗网络模型中，将所述对抗网络模型的生成器输出的数据输入至所述对抗网络模型的判别器后，获取所述对抗网络模型的判别器输出的所述测试集合的更新结果；
利用所述测试集合的更新结果对所述样本图像进行数据增强处理后，利用所述测试集合的可视化图形对所述样本图像进行聚类，得到所述样本图像的聚类集合；
将所述样本图像的聚类集合与所述参考集合进行插值运算后，生成所述样本图像的增强集合。
2.根据权利要求1所述的样本图像增强方法，其特征在于，获取待测工件的样本图像，并按照预设标注规则对所述样本图像进行标注，确定所述样本图像的测试集合和参考集合的步骤，包括：
根据所述待测工件的外形参数确定多个拍摄高度，并在所述拍摄高度下获取对应的所述样本图像；其中，所述拍摄高度下获取的所述数字图像包含所述待测工件的所有特征；
利用所述标注规则获取所述样本图像中包含的缺陷区域，利用所述缺陷区域的位置数据对所述样本图像进行截取，并根据截取得到缺陷区域图像生成所述测试集合；
利用所述缺陷区域的位置数据获取所述样本图像中对应的无缺陷区域，利用所述无缺陷区域的位置数据对所述样本图像进行截取，并根据截取得到无缺陷区域图像生成所述参考集合；其中，所述测试集合与所述参考集合的数据量相同。
3.根据权利要求1所述的样本图像增强方法，其特征在于，对所述测试集合进行数据降维处理后构建所述测试集合的近邻图，并利用所述近邻图对所述测试集合进行可视化绘制，生成所述测试集合的可视化图形的步骤，包括：
利用预设的生成树和分发树的流行逼近与投影的方式对所述测试集合的进行可视化降维，并利用局部敏感哈希森林对已更新的测试集合进行检索，得到所述测试集合的索引数据点；
根据所述索引数据点构建所述测试集合的C-K-NNG近邻图，并使用Kruskal算法在所述C-K-NNG近邻图中构建最小生成树；
通过所述最小生成树在构建过程中每个阶段属性局部最优解的贪心算法确定全局最优解，并利用开放式图形绘制框架对所述全局最优解进行可视化绘制，生成所述测试集合的可视化图形。
4.根据权利要求1所述的样本图像增强方法，其特征在于，将所述测试集合输入至已完成训练的对抗网络模型中，将所述对抗网络模型的生成器输出的数据输入至所述对抗网络模型的判别器后，获取所述对抗网络模型的判别器输出的所述测试集合的更新结果的步骤，包括：
从已完成训练的生成对抗GAN网络模型中获取所述对抗网络模型的生成器和判别器；
将所述测试集合输入至所述对抗网络模型中，控制所述对抗网络模型的生成器输出第一更新数据；
将所述第一更新数据输入至所述对抗网络模型的判别器，控制所述对抗网络模型的判别器输出第二更新数据；
利用所述第二更新数据确定所述测试集合的更新结果。
5.根据权利要求1所述的样本图像增强方法，其特征在于，利用所述测试集合的更新结果对所述样本图像进行数据增强处理后，利用所述测试集合的可视化图形对所述样本图像进行聚类，得到所述样本图像的聚类集合的步骤，包括：
利用所述测试集合的更新结果控制所述生成器和所述判别器的迭代参数，并根据所述生成器和所述判别器实时输出的数据确定实时数据集；
利用所述对抗网络模型对所述实时数据集进行数据增强处理，得到所述实时数据集对应的增强数据集；
将所述增强数据集与所述测试集合进行融合计算，得到所述样本图像的融合数据集，利用所述测试集合的可视化图形对所述融合数据集进行聚类，并通过可视化降维处理得到所述样本图像的聚类集合。
6.根据权利要求1所述的样本图像增强方法，其特征在于，将所述样本图像的聚类集合与所述参考集合进行插值运算后，生成所述样本图像的增强集合的步骤，包括：
将所述聚类集合中不满足所述参考集合的数据特征分布参数的所述样本图像进行舍弃，并更新所述样本图像的所述聚类集合；
利用所述聚类集合与所述参考集合进行插值运算，得到所述样本图像的增强集合。
7.根据权利要求1所述的样本图像增强方法，其特征在于，所述对抗网络模型在训练过程中，所用的损失函数为
其中，为所述判别器的数据；/>为所述生成器的数据；/>为误差函数；/>为期望计算；为真实数据样本数据分布；/> d为判别器训练参数；/>为每个所述样本；/>为每个所述样本对应的样本数据分布；/>为所述生成器中z变量对应的判别器训练参数数据。
8.一种样本图像增强系统，其特征在于，所述系统包括以下模块：
初始化模块，用于获取待测工件的样本图像，并按照预设标注规则对所述样本图像进行标注，确定所述样本图像的测试集合和参考集合；其中，所述样本图像为所述待测工件在多个拍摄角度下获取的数字图像；
可视化图形生成模块，用于对所述测试集合进行数据降维处理后构建所述测试集合的近邻图，并利用所述近邻图对所述测试集合进行可视化绘制，生成所述测试集合的可视化图形；
误差判别结果获取模块，用于将所述测试集合输入至已完成训练的对抗网络模型中，将所述对抗网络模型的生成器输出的数据输入至所述对抗网络模型的判别器后，获取所述对抗网络模型的判别器输出的所述测试集合的更新结果；
聚类集合生成模块，用于利用所述测试集合的更新结果对所述样本图像进行数据增强处理后，利用所述测试集合的可视化图形对所述样本图像进行聚类，得到所述样本图像的聚类集合；
图像增强执行模块，用于将所述样本图像的聚类集合与所述参考集合进行插值运算后，生成所述样本图像的增强集合。
9.一种电子设备，其特征在于，包括：处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时实现上述权利要求1至7任一项所述的样本图像增强方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述权利要求1至7任一项所述的样本图像增强方法的步骤。
CN202310848694.3A 2023-07-12 2023-07-12 样本图像增强方法、系统、电子设备及可读存储介质 Active CN116563674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310848694.3A CN116563674B (zh) 2023-07-12 2023-07-12 样本图像增强方法、系统、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310848694.3A CN116563674B (zh) 2023-07-12 2023-07-12 样本图像增强方法、系统、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN116563674A true CN116563674A (zh) 2023-08-08
CN116563674B CN116563674B (zh) 2023-10-20

Family

ID=87488400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310848694.3A Active CN116563674B (zh) 2023-07-12 2023-07-12 样本图像增强方法、系统、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN116563674B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210150672A1 (en) * 2018-09-04 2021-05-20 Advanced New Technologies Co., Ltd. Method and apparatus for enhancing vehicle damage image on the basis of a generative adversarial network
CN113947706A (zh) * 2021-12-20 2022-01-18 四川师范大学 一种基于生成对抗网络的图像多样性增强方法与系统
US20220254145A1 (en) * 2021-02-09 2022-08-11 Hon Hai Precision Industry Co., Ltd. Method for generating defective image, electronic device using the same
CN114972273A (zh) * 2022-06-01 2022-08-30 合肥工业大学 流水化产品数据集增强方法、系统、设备及存储介质
CN115344735A (zh) * 2022-08-12 2022-11-15 电子科技大学 一种层次化对齐的图像文本检索方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210150672A1 (en) * 2018-09-04 2021-05-20 Advanced New Technologies Co., Ltd. Method and apparatus for enhancing vehicle damage image on the basis of a generative adversarial network
US20220254145A1 (en) * 2021-02-09 2022-08-11 Hon Hai Precision Industry Co., Ltd. Method for generating defective image, electronic device using the same
CN113947706A (zh) * 2021-12-20 2022-01-18 四川师范大学 一种基于生成对抗网络的图像多样性增强方法与系统
CN114972273A (zh) * 2022-06-01 2022-08-30 合肥工业大学 流水化产品数据集增强方法、系统、设备及存储介质
CN115344735A (zh) * 2022-08-12 2022-11-15 电子科技大学 一种层次化对齐的图像文本检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HUI WEN KHOO ETC.: ""Enhanced Radio Map Interpolation Method Based on Dimensionality Reduction and Clustering"", 《MDPI》 *

Also Published As

Publication number Publication date
CN116563674B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN110705583B (zh) 细胞检测模型训练方法、装置、计算机设备及存储介质
CN110379020B (zh) 一种基于生成对抗网络的激光点云上色方法和装置
CN112348765A (zh) 数据增强方法、装置、计算机可读存储介质及终端设备
CN111090712A (zh) 一种数据处理方法、装置、设备及计算机存储介质
CN116168351B (zh) 电力设备巡检方法及装置
CN109389659A (zh) Ppt中数学公式的渲染方法、装置、存储介质及终端设备
CN111598084B (zh) 缺陷分割网络训练方法、装置、设备及可读存储介质
CN114355467A (zh) 一种建立探测模型和基于多图像的轨道异物探测方法
CN114429640A (zh) 图纸分割方法、装置及电子设备
CN110599278B (zh) 聚合设备标识符的方法、装置和计算机存储介质
CN116563674B (zh) 样本图像增强方法、系统、电子设备及可读存储介质
CN109389972B (zh) 语义云功能的质量测试方法、装置、存储介质和设备
CN114913105A (zh) 激光点云融合方法、装置、服务器及计算机可读存储介质
CN111597096B (zh) 一种基准测试方法、系统及终端设备
CN110309335B (zh) 一种图片匹配方法、装置、设备及存储介质
CN114359352A (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN114511862A (zh) 表格识别方法、装置及电子设备
CN113192171A (zh) 一种基于云端渲染的三维效果图高效渲染方法及系统
CN111815654A (zh) 用于处理图像的方法、装置、设备和计算机可读介质
CN111243058A (zh) 物件模拟图像生成方法及计算机可读存储介质
CN111626919B (zh) 图像合成方法、装置、电子设备及计算机可读存储介质
CN116612474B (zh) 对象检测方法、装置、计算机设备及计算机可读存储介质
US11663753B1 (en) Generation of field productivity maps
CN116629459B (zh) 一种基于遥感和降水对水域淹没范围进行预测的方法
CN113055243B (zh) Dpi接口数据处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant