CN117809138A - 一种多余物检测图像数据集增强方法及系统 - Google Patents
一种多余物检测图像数据集增强方法及系统 Download PDFInfo
- Publication number
- CN117809138A CN117809138A CN202410199496.3A CN202410199496A CN117809138A CN 117809138 A CN117809138 A CN 117809138A CN 202410199496 A CN202410199496 A CN 202410199496A CN 117809138 A CN117809138 A CN 117809138A
- Authority
- CN
- China
- Prior art keywords
- image
- redundant
- representing
- redundancy
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 title abstract description 24
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 18
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 17
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 10
- 239000000047 product Substances 0.000 claims description 38
- 238000013136 deep learning model Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000002347 injection Methods 0.000 claims description 4
- 239000007924 injection Substances 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 3
- 239000012465 retentate Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 239000011859 microparticle Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- -1 wires Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及多余物检测技术领域，公开了一种多余物检测图像数据集增强方法及系统，该方法，包括以下步骤：S1，多余物背景图像库生成：获取不同类别的产品图像数据作为多余物背景图像库；S2，典型多余物库生成：获取不同类别的多余物图像数据作为典型多余物库；S3，背景图像易混淆区域识别：获取背景图像中多余物易混淆区域；S4，图像叠加合成：将多余物图像与背景图像进行叠加合成；S5，综合数据集增强：将叠加合成的图像数据和采集的含多余物的产品图像数据合并为一个训练数据集，并进行数据增强。本发明解决了现有技术存在的过拟合、泛化能力不足等问题。
Description
技术领域
本发明涉及多余物检测技术领域，具体是一种多余物检测图像数据集增强方法及系统。
背景技术
微波多芯片集成产品内部金属微颗粒多余物主要来源于生产装配过程中电气互联焊接、结构焊接、机械装配等环节产生的锡珠、导线、金丝、金属碎屑残留以及产品中脱落的元器件等，对产品带来了诸多质量安全隐患。在工业制造中人工智能图像识别技术已应用于产品缺陷检测、多余物检测、故障诊断等环节。针对光学或X光目检中依靠检验人员带来的检测主观偏差、易漏检的问题，专利CN202110984852.9公开了一种基于深度学习的X光高分辨率扫描图像下芯片多余物检测系统及方法，采用样本数据集训练得到的深度学习模型对CT扫描获取的待测件图像分析处理，实现了芯片内部多余物的检测。在基于人工智能图像目标检测的技术中，样本数据集的规模和质量对训练出的模型识别准确率具有十分重要影响。专利CN202210509914.5公开了一种样本数据增强方法及系统及装置及介质及目标分类方法，通过获取图像中目标对应的类激活图，来解决图像中类别信息表示不敏感的缺陷问题。专利CN202210849830.6公开了一种图像数据增强方法及系统，通过对图像中像素点聚类以分离目标前景和环境背景，再将目标前景分别拼接到不同的背景区域实现数据增强。专利CN1202010468756.4公开了样本图像数据增强方法、装置、电子设备及存储介质，通过对抗生产网络模型，解决小样本数据增强的问题，以及增强过程中对计算资源和模型调参需求量大的问题。
在微波多芯片集成产品实际生产制造中产品种类多、内部结构复杂各异，难以低成本大量获得高质量的金属微颗粒多余物图像数据，数据量相对匮乏、类别不平衡。上述技术未涉及多余物特征和产品图像背景特征提取及合成的增强数据方法，难以实现多余物特征与产品图像背景特征的组合多样性增强，特别在多余物体积小、被遮挡、与产品结构相似等场景下的样本数据无法得到有效增强，使得模型存在过拟合和泛化能力不足的问题。
发明内容
为克服现有技术的不足，本发明提供了一种多余物检测图像数据集增强方法及系统，解决现有技术存在的过拟合、泛化能力不足等问题。
本发明解决上述问题所采用的技术方案是：
一种多余物检测图像数据集增强方法，包括以下步骤：
S1，多余物背景图像库生成：获取不同类别的产品图像数据作为多余物背景图像库；
S2，典型多余物库生成：获取不同类别的多余物图像数据作为典型多余物库；
S3，背景图像易混淆区域识别：获取背景图像中多余物易混淆区域；
S4，图像叠加合成：将多余物图像与背景图像进行叠加合成；
S5，综合数据集增强：将叠加合成的图像数据和采集的含多余物的产品图像数据合并为一个训练数据集，并进行数据增强。
作为一种优选的技术方案，步骤S1中，产品图像的模式包括以下的一种或多种：位图模式、灰度模式、双色调模式、RGB模式、Lab模式。
作为一种优选的技术方案，步骤S2中，多余物图像数据包括多余物轮廓和色阶数据信息。
作为一种优选的技术方案，步骤S2中，获取不同类别的多余物图像数据的方式包括以下的一种或多种：人工分割、图像特征提取、自动语义分割提取。
作为一种优选的技术方案，步骤S3中，易混淆区域包括以下的一种或多种：背景图像、混淆区域、易混淆的多余物。
作为一种优选的技术方案，步骤S3中，对背景图像中的易混淆区域的选取采用深度学习模型进行识别判定，并得到区域位置坐标；其中，所述深度学习模型由标注了多余物易混淆区域的背景图像数据训练得到；
所述深度学习模型的损失计算公式为：
式中，表示目标的位置信息权重，/>表示网格阶数，/>表示每个网格的预测框的个数，/>表示网格的编号，/>表示预测框的编号，/>表示第i个网格的第j个预测框是否包含目标，/>表示预测框中心点宽度方向相对第i个网格的坐标，/>表示标签宽度方向相对第i个网格的坐标，/>表示第i个网格的预测框宽度，/>表示第i个网格的标签宽度，/>表示预测框中心点高度方向相对第i个网格的坐标，/>表示标签高度方向相对第i个网格的坐标，表示第i个网格的预测框高度，/>表示第i个网格的标签高度，/>表示第i个网格的第j个预测框不包含目标，/>表示第i个网格的预测置信度，/>表示第i个网格的标签置信度，表示非目标的位置信息权重，/>表示第i个网格是否包含目标，/>表示置信度，/>表示第i个网格的预测类别概率，/>表示第i个网格的标签类别概率。
作为一种优选的技术方案，步骤S4中，叠加合成采用以下的一种或多种算法：Mixup、CutMix、Mixmatch。
作为一种优选的技术方案，步骤S4中，叠加合成时，对多余物图像进行以下的一种或多种操作：随机多角度旋转、翻转、缩放、变形处理、色彩空间变换。
作为一种优选的技术方案，步骤S5中，数据增强包括以下的一种或多种操作：翻转处理、旋转处理、缩放处理、剪裁处理、平移处理、噪声注入处理。
一种多余物检测图像数据集增强系统，用于实现所述的一种多余物检测图像数据集增强方法，包括依次连接的以下模块：
多余物背景图像库生成模块：用以，获取不同类别的产品图像数据作为多余物背景图像库；
典型多余物库生成模块：用以，获取不同类别的多余物图像数据作为典型多余物库；
背景图像易混淆区域识别模块：用以，获取背景图像中多余物易混淆区域；
图像叠加合成模块：用以，将多余物图像与背景图像进行叠加合成；
综合数据集增强模块：用以，将叠加合成的图像数据和采集的含多余物的产品图像数据合并为一个训练数据集，并进行数据增强。
本发明相比于现有技术，具有以下有益效果：
本发明用以对微波多芯片集成产品内部结构复杂多样、多余物体积小、被遮挡、与产品结构相似等场景下的样本数据进行增强，实现低成本大批量获取有效样本数据，可针对性解决样本类别分布不平衡的问题，极大提升样本数据的多样性和广泛性，使用于多余物检测的深度学习模型可学习到更多多余物特征，提升模型识别的泛化能力和准确率。
附图说明
图1为本发明一个较佳实施例的方法流程图；
图2为本发明一个较佳实施例的逻辑功能模块框图；
图3为本发明一个较佳实施例的待检产品整幅原始图像中的典型多余物图像和背景图像及易混淆区域示意图；
图4为本发明一个较佳实施例的基于深度学习模型的易混淆区域识别原理图；
图5为深度学习模型的结构示意图；
图6为深度神经网络模型学习和推断易混淆区域过程示意图。
具体实施方式
下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。
实施例1
如图1至图6所示，本发明提出一种多余物检测图像数据集增强方法及系统。
1）多余物检测图像数据集增强方法，包括如下步骤：
步骤S1：获取不同类别的产品图像数据作为多余物背景图像库。
其中，产品图像数据来源于常规检验设备获取的典型产品光学图像或X光图像等数据，图像中可包含多余物，也可不包含多余物，作为多余物背景图像数据，建立多余物背景图像库。
其中，产品图像模式可以是位图模式、灰度模式、双色调模式、RGB模式、Lab模式等。
步骤S2：获取不同类别的多余物图像数据作为典型多余物库。
其中，多余物图像数据从具有多余物的待检产品整幅原始图像中获取，应包含多余物轮廓和色阶数据信息；获取的方式包括以下的一种或多种：通过人工分割、图像特征提取、自动语义分割提取；将获取的多余物图像数据以图像格式文件进行存储，建立典型多余物库。
步骤S3：获取背景图像中多余物易混淆区域。
其中，易混淆区域是指在识别过程中易出现多余物误识别、漏识别的图像区域，包含背景图像、混淆区域边界、易混淆目标对象等要素。
优选的，对背景图像中的易混淆区域的选取采用深度学习模型进行识别判定，以便自动快速得到区域边界和位置坐标。所述深度学习模型由标注了易混淆区域边界和位置坐标的背景图像数据训练得到。
其中，为更精确标准地标注易混淆区域以获得深度学习模型的训练样本数据，通过图像区域中对象的轮廓形状、相对背景的色阶值来进行特征刻画，以此评价与多余物的相似程度。轮廓形状相似度可以采用距离度量法和/或相关度量法计算，色阶值则采用灰度值度量，并均归一化为0到1的范围。在标注易混淆区域训练数据时，当轮廓形状相似度和色阶值均大于给定的阈值，如大于0.6，则该区域作为易混淆区域，在背景图像中被标注。
其中，深度学习模型的结构为YOLO模型框架，包含24个卷积层、2个全连接层，其中卷积层和全连接层的配置情况如图5所示，全连接层激活函数采用渗漏整流线性函数(LeakReLU)。卷积层用于提取输入图片中的易混淆区域的基本特征，全连接层用于回归得到表示易混淆区域位置坐标、置信度和类别概率的张量结果。
在初始训练该深度学习模型时，如图6所示，首先将待识别图像划分为N×N个网格，基于每个网格中心点生成横向和竖向两个随机大小的预测框，在深度学习模型对图像的每个网格识别过程中会得到1个11维的向量结果，表示易混淆区2个候选预测框的位置坐标、置信度和1个是易混淆区域的概率，因此一幅图像会输出2×N2个候选预测框。进一步再基于非极大值抑制选择概率和置信度乘积最大的候选预测框，与提前标注好的易混淆区域的边界和位置坐标、易混淆目标置信度、类别标签进行损失计算，进而对深度学习模型参数进行反向梯度训练。
在用完成训练的深度学习模型进行易混淆区域识别时，类似上述训练过程，模型分别对待检测图像的N×N个网格计算得到2×N2个候选预测框，然后提取概率和置信度乘积满足给定阈值的预测框，最终得到易混淆区域。
其中，损失计算公式如下:
由五项累加所得，其中B表示每个网格的预测框的个数，本模型为2；表示目标的位置信息权重，一般为5，/>表示非目标的位置信息权重，一般为0.5；/>表示第i个网格是否包含目标，/>第i个网格的第j个预测框是否包含目标，有则1，无则0；而/>则相反，表示第i个网格的第j个预测框不包含目标，无则1，有则0。式中第一行负责计算目标检测框中心点损失，第二行负责计算目标检测框宽高损失，第三、四行负责计算目标与非目标的置信度回归损失，第五行负责计算类别判断概率损失。
步骤S4：将多余物图像与背景图像进行叠加合成。
其中，多余物图像来源于步骤S2的典型多余物库，背景图像来源于步骤S1的背景图像库；应主要选择与混淆多余物具有相似特征的多余物图像，且添加在背景图像中的易混淆区域，可在易混淆区域内或区域周边随机位置添加。
其中，易混淆区域来源于步骤S3生成的数据；
其中，叠加合成方法应确保合成后多余物色阶信息不丢失，允许出现轮廓缺损、被遮挡的情况；背景图像色阶信息不改变，合成区域特征不丢失。合成算法可采用Mixup、CutMix、Mixmatch等算法，合成时对多余物图像进行随机多角度旋转、翻转、缩放、变形处理、色彩空间变换，生成合成后的图像数据和所叠加的多余物区域的标注框坐标数据。
步骤S5：将合成的图像数据和原始采集的包含多余物的图像数据合并为一个训练数据集，进行常规数据增强操作，包括以下的一种或多种：翻转处理、旋转处理、缩放处理、剪裁处理、平移处理、噪声注入处理等。
2）多余物检测图像数据集增强系统，包括多余物背景图像库生成模块、典型多余物库生成模块、背景图像易混淆区域识别模块、图像叠加合成模块、综合数据集增强模块；
所述多余物背景图像库生成模块用于从常规检验设备上获取待检产品图像，作为多余物背景图像，并提供库调用和管理功能；
所述典型多余物库生成模块用于从具有多余物的待检产品图像中获取多余物轮廓和色阶数据信息，形成典型多余物特征库进行管理；
所述背景图像易混淆区域识别模块用于从背景图像中识别出易发生多余物误识别、漏识别的图像区域；
所述图像叠加合成模块用于将典型多余物库中的多余物图像和背景图像库中的产品图像进行叠加合成，并生成合成后的图像数据和所叠加的多余物区域的标注框坐标数据；
所述综合数据集增强模块用于将叠加合成的图像数据和检验设备采集的含多余物的产品图像数据合并为一个训练数据集，并采用常规数据增强操作方法进行数据增强。
实施例2
如图1至图6所示，作为实施例1的进一步优化，在实施例1的基础上，本实施例还包括以下技术特征：
本发明公开的一种用于多余物视觉检测设备的智能化扩展方法、系统，总的流程如图1所示，包括：
S1，获取不同类别的产品图像数据作为多余物背景图像库；
S2，获取不同类别的多余物图像数据作为典型多余物库；
S3，获取背景图像中多余物易混淆区域；
S4，多余物图像与背景图像叠加合成；
S5，合成图像和原始采集图像数据合并增强。
S1，利用B1多余物背景图像库生成模块从X光检验设备中获取产品X光灰度图像，所获得的图像应具有较好的清晰度和对比度，图像放大倍率应与日常生产过程中使用倍率基本一致，确保产品结构和多余物人眼可见、可辨识，如图3所示获得的整幅图像数据，以备B3和B4模块使用。
S2，利用B2典型多余物库模块提供的B2-1和/或B2-2方式从具有多余物的待检产品整幅原始图像中提取多余物轮廓和色阶数据。以图3所示图像为例，从整幅原始检测图像中提取出多种典型多余物图像作为典型多余物库。在基于人工分割的提取方式下，用交互式图像编辑软件多边形勾勒出多余物轮廓，进而提取出多余物图像数据；若在基于自动语义分割的提取方式下，则采用全卷积网络（FCN）或反卷积网络（Deconv）或像素级分割网络（SegNet）或对称语义分割模型（U-net），由模型自动框出多余物轮廓，进而提取出多余物图像数据，极大省去人工工作量。
S3，利用B3背景图像易混淆区域识别模块，对B1模块得到的多余物背景图像库中的各图像进行识别处理，得到待叠加合成的易混淆区域。为便于采用模型自动识别，由人工对B1模块得到的多余物背景图像混淆区域标注得到样本数据，进而构建深度学习模型进行判定，如图4所示。本实施例的深度学习模型构建过程：首先以B1的多余物背景图像库为样本集，先对样本集中的易混淆区域进行人工标注，如图3所示易混淆区域，标注采用矩形选框的方式得到易混淆区域在图像中的角点坐标，并构建图像数据与角点坐标数据对应的训练样本数据集，以图像数据为输入和角点坐标数据为输出对目标检测卷积神经网络训练，实现对易混淆区域的位置和边界定位。
S4，利用B4图像叠加合成模块，先对待合成的图像模式进行校验与统一，然后对B2模块中的典型多余物图像进行旋转、缩放、色阶信息改变的图像变换处理，最后从B4-1合成算法库中选用合适的合成算法叠加合成到背景图像的易混淆区域。合成算法可选用以下的一种或多种：Mixup、CutMix、Mixmatch等，应确保合成后多余物色阶信息不丢失，允许出现轮廓缺损、被遮挡的情况。由于本实施例获取的图像来源于X光拍摄，故图像宜统一为灰度模式，在此模式下采用CutMix合成算法具有较好的效果。得到的样本图像实现了多余物特征和背景图像特征的多种组合。
S5，利用B5综合数据集增强模块将原始含多余物的图像数据和合成图像数据进行合并，然后对整幅图像采用剪裁、平移、缩放、变形、噪声注入进行数据增强，进一步扩充增加样本数据特征和样本量。
如上所述，可较好地实现本发明。
本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。
Claims (10)
1.一种多余物检测图像数据集增强方法，其特征在于，包括以下步骤：
S1，多余物背景图像库生成：获取不同类别的产品图像数据作为多余物背景图像库；
S2，典型多余物库生成：获取不同类别的多余物图像数据作为典型多余物库；
S3，背景图像易混淆区域识别：获取背景图像中多余物易混淆区域；
S4，图像叠加合成：将多余物图像与背景图像进行叠加合成；
S5，综合数据集增强：将叠加合成的图像数据和采集的含多余物的产品图像数据合并为一个训练数据集，并进行数据增强。
2.根据权利要求1所述的一种多余物检测图像数据集增强方法，其特征在于，步骤S1中，产品图像的模式包括以下的一种或多种：位图模式、灰度模式、双色调模式、RGB模式、Lab模式。
3.根据权利要求1所述的一种多余物检测图像数据集增强方法，其特征在于，步骤S2中，多余物图像数据包括多余物轮廓和色阶数据信息。
4.根据权利要求1所述的一种多余物检测图像数据集增强方法，其特征在于，步骤S2中，获取不同类别的多余物图像数据的方式包括以下的一种或多种：人工分割、图像特征提取、自动语义分割提取。
5.根据权利要求1所述的一种多余物检测图像数据集增强方法，其特征在于，步骤S3中，易混淆区域包括以下的一种或多种：背景图像、混淆区域、易混淆的多余物。
6.根据权利要求1所述的一种多余物检测图像数据集增强方法，其特征在于，步骤S3中，对背景图像中的易混淆区域的选取采用深度学习模型进行识别判定，并得到区域位置坐标；
其中，所述深度学习模型由标注了多余物易混淆区域的背景图像数据训练得到；
所述深度学习模型的损失计算公式为：
式中，表示目标的位置信息权重，/>表示网格阶数，/>表示每个网格的预测框的个数，/>表示网格的编号，/>表示预测框的编号，/>表示第i个网格的第j个预测框是否包含目标，/>表示预测框中心点宽度方向相对第i个网格的坐标，/>表示标签宽度方向相对第i个网格的坐标，/>表示第i个网格的预测框宽度，/>表示第i个网格的标签宽度，/>表示预测框中心点高度方向相对第i个网格的坐标，/>表示标签高度方向相对第i个网格的坐标，/>表示第i个网格的预测框高度，/>表示第i个网格的标签高度，/>表示第i个网格的第j个预测框不包含目标，/>表示第i个网格的预测置信度，/>表示第i个网格的标签置信度，/>表示非目标的位置信息权重，/>表示第i个网格是否包含目标，/>表示置信度，/>表示第i个网格的预测类别概率，/>表示第i个网格的标签类别概率。
7.根据权利要求1所述的一种多余物检测图像数据集增强方法，其特征在于，步骤S4中，叠加合成采用以下的一种或多种算法：Mixup、CutMix、Mixmatch。
8.根据权利要求1所述的一种多余物检测图像数据集增强方法，其特征在于，步骤S4中，叠加合成时，对多余物图像进行以下的一种或多种操作：随机多角度旋转、翻转、缩放、变形处理、色彩空间变换。
9.根据权利要求1至8任一项所述的一种多余物检测图像数据集增强方法，其特征在于，步骤S5中，数据增强包括以下的一种或多种操作：翻转处理、旋转处理、缩放处理、剪裁处理、平移处理、噪声注入处理。
10.一种多余物检测图像数据集增强系统，其特征在于，用于实现权利要求1至9任一项所述的一种多余物检测图像数据集增强方法，包括依次连接的以下模块：
多余物背景图像库生成模块：用以，获取不同类别的产品图像数据作为多余物背景图像库；
典型多余物库生成模块：用以，获取不同类别的多余物图像数据作为典型多余物库；
背景图像易混淆区域识别模块：用以，获取背景图像中多余物易混淆区域；
图像叠加合成模块：用以，将多余物图像与背景图像进行叠加合成；
综合数据集增强模块：用以，将叠加合成的图像数据和采集的含多余物的产品图像数据合并为一个训练数据集，并进行数据增强。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410199496.3A CN117809138B (zh) | 2024-02-23 | 2024-02-23 | 一种多余物检测图像数据集增强方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410199496.3A CN117809138B (zh) | 2024-02-23 | 2024-02-23 | 一种多余物检测图像数据集增强方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117809138A true CN117809138A (zh) | 2024-04-02 |
| CN117809138B CN117809138B (zh) | 2024-05-14 |
Family
ID=90431685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410199496.3A Active CN117809138B (zh) | 2024-02-23 | 2024-02-23 | 一种多余物检测图像数据集增强方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117809138B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040071363A1 (en) * | 1998-03-13 | 2004-04-15 | Kouri Donald J. | Methods for performing DAF data filtering and padding |
| CN110866472A (zh) * | 2019-11-04 | 2020-03-06 | 西北工业大学 | 一种无人机地面运动目标识别与图像增强系统及方法 |
| CN111145239A (zh) * | 2019-12-30 | 2020-05-12 | 南京航空航天大学 | 一种基于深度学习的飞机油箱多余物自动检测方法 |
| CN111881720A (zh) * | 2020-06-09 | 2020-11-03 | 山东大学 | 用于深度学习的数据自动增强扩充方法、识别方法及系统 |
| CA3070817A1 (en) * | 2020-01-31 | 2021-07-31 | Element Ai Inc. | Method of and system for joint data augmentation and classification learning |
| CN113506286A (zh) * | 2021-07-27 | 2021-10-15 | 西安电子科技大学 | 基于YOLOv5算法小样本数据集实现微波芯片缺陷检测方法 |
| CN113570534A (zh) * | 2021-07-30 | 2021-10-29 | 山东大学 | 一种用于深度学习的物品识别数据集扩充方法及系统 |
| CN114241256A (zh) * | 2021-11-30 | 2022-03-25 | 郑州信大先进技术研究院 | 基于神经网络的训练样本图像增强方法及系统 |
| CN115205626A (zh) * | 2022-06-24 | 2022-10-18 | 合肥工业大学 | 一种应用于涂层缺陷检测领域的数据增强方法 |
| CN115294424A (zh) * | 2022-08-17 | 2022-11-04 | 中国电子科技集团公司第五十四研究所 | 一种基于生成对抗网络的样本数据增强方法 |
| CN115908245A (zh) * | 2022-09-30 | 2023-04-04 | 成都飞机工业（集团）有限责任公司 | 航空材料表面细小缺陷检测方法、装置、设备及介质 |
| CN116563157A (zh) * | 2023-05-11 | 2023-08-08 | 南京理工大学 | 一种基于深度学习的面向空间卫星低照度图像增强方法 |
| CN116597275A (zh) * | 2023-05-19 | 2023-08-15 | 电子科技大学 | 一种基于数据增强的高速移动目标识别方法 |
| CN116935140A (zh) * | 2023-08-04 | 2023-10-24 | 北京邮电大学 | 基于油墨的奢侈品鉴定模型训练方法、鉴定方法及装置 |
| CN117495836A (zh) * | 2023-11-17 | 2024-02-02 | 苏州清风云技术有限公司 | 一种素色织物疵点检测方法 |
| CN117541770A (zh) * | 2022-07-29 | 2024-02-09 | 马上消费金融股份有限公司 | 数据增强方法、装置及电子设备 |
-
2024
- 2024-02-23 CN CN202410199496.3A patent/CN117809138B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040071363A1 (en) * | 1998-03-13 | 2004-04-15 | Kouri Donald J. | Methods for performing DAF data filtering and padding |
| CN110866472A (zh) * | 2019-11-04 | 2020-03-06 | 西北工业大学 | 一种无人机地面运动目标识别与图像增强系统及方法 |
| CN111145239A (zh) * | 2019-12-30 | 2020-05-12 | 南京航空航天大学 | 一种基于深度学习的飞机油箱多余物自动检测方法 |
| CA3070817A1 (en) * | 2020-01-31 | 2021-07-31 | Element Ai Inc. | Method of and system for joint data augmentation and classification learning |
| CN111881720A (zh) * | 2020-06-09 | 2020-11-03 | 山东大学 | 用于深度学习的数据自动增强扩充方法、识别方法及系统 |
| US20210383148A1 (en) * | 2020-06-09 | 2021-12-09 | Shandong University | Automatic data enhancement expansion method, recognition method and system for deep learning |
| CN113506286A (zh) * | 2021-07-27 | 2021-10-15 | 西安电子科技大学 | 基于YOLOv5算法小样本数据集实现微波芯片缺陷检测方法 |
| CN113570534A (zh) * | 2021-07-30 | 2021-10-29 | 山东大学 | 一种用于深度学习的物品识别数据集扩充方法及系统 |
| CN114241256A (zh) * | 2021-11-30 | 2022-03-25 | 郑州信大先进技术研究院 | 基于神经网络的训练样本图像增强方法及系统 |
| CN115205626A (zh) * | 2022-06-24 | 2022-10-18 | 合肥工业大学 | 一种应用于涂层缺陷检测领域的数据增强方法 |
| CN117541770A (zh) * | 2022-07-29 | 2024-02-09 | 马上消费金融股份有限公司 | 数据增强方法、装置及电子设备 |
| CN115294424A (zh) * | 2022-08-17 | 2022-11-04 | 中国电子科技集团公司第五十四研究所 | 一种基于生成对抗网络的样本数据增强方法 |
| CN115908245A (zh) * | 2022-09-30 | 2023-04-04 | 成都飞机工业（集团）有限责任公司 | 航空材料表面细小缺陷检测方法、装置、设备及介质 |
| CN116563157A (zh) * | 2023-05-11 | 2023-08-08 | 南京理工大学 | 一种基于深度学习的面向空间卫星低照度图像增强方法 |
| CN116597275A (zh) * | 2023-05-19 | 2023-08-15 | 电子科技大学 | 一种基于数据增强的高速移动目标识别方法 |
| CN116935140A (zh) * | 2023-08-04 | 2023-10-24 | 北京邮电大学 | 基于油墨的奢侈品鉴定模型训练方法、鉴定方法及装置 |
| CN117495836A (zh) * | 2023-11-17 | 2024-02-02 | 苏州清风云技术有限公司 | 一种素色织物疵点检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 林惠: "基于深度学习的芯片字符实时识别方法研究", 中国优秀硕士学位论文全文数据库信息科技辑, 15 January 2020 (2020-01-15), pages 135 - 435 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117809138B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112967243B (zh) | 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法 | |
| CN112734692B (zh) | 一种变电设备缺陷识别方法及装置 | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN111223088B (zh) | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 | |
| CN108416266B (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
| CN117115147B (zh) | 一种基于机器视觉的纺织品检测方法及系统 | |
| CN113920107A (zh) | 一种基于改进yolov5算法的绝缘子破损检测方法 | |
| CN110060237A (zh) | 一种故障检测方法、装置、设备及系统 | |
| CN110264444B (zh) | 基于弱分割的损伤检测方法及装置 | |
| CN113096119A (zh) | 晶圆缺陷分类的方法、装置、电子设备以及存储介质 | |
| CN117974601B (zh) | 基于模板匹配的硅片表面缺陷检测方法及系统 | |
| CN113962274A (zh) | 一种异常识别方法、装置、电子设备及存储介质 | |
| CN114549391A (zh) | 一种基于偏振先验的电路板表面缺陷检测方法 | |
| CN113313678A (zh) | 一种基于多尺度特征融合的精子形态学自动分析方法 | |
| CN115965578A (zh) | 一种基于通道注意力机制的双目立体匹配检测方法及装置 | |
| CN113343856A (zh) | 一种图像识别的方法及系统 | |
| CN117809138B (zh) | 一种多余物检测图像数据集增强方法及系统 | |
| US20230230224A1 (en) | Physics-informed anomaly detection in formed metal parts | |
| CN117237835A (zh) | 一种基于yolov7的货架安全自动检测方法及装置 | |
| CN114792300B (zh) | 一种基于多尺度注意力x光断针检测方法 | |
| CN115984712A (zh) | 基于多尺度特征的遥感图像小目标检测方法及系统 | |
| CN114972335A (zh) | 一种用于工业检测的图像分类方法、装置及计算机设备 | |
| CN116912670A (zh) | 基于改进yolo模型的深海鱼类识别方法 | |
| CN112581472B (zh) | 一种面向人机交互的目标表面缺陷检测方法 | |
| CN118675114B (zh) | 一种基于群体行为识别的危险行为告警方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |