CN117809138B - 一种多余物检测图像数据集增强方法及系统 - Google Patents

Abstract

本发明涉及多余物检测技术领域，公开了一种多余物检测图像数据集增强方法及系统，该方法，包括以下步骤：S1，多余物背景图像库生成：获取不同类别的产品图像数据作为多余物背景图像库；S2，典型多余物库生成：获取不同类别的多余物图像数据作为典型多余物库；S3，背景图像易混淆区域识别：获取背景图像中多余物易混淆区域；S4，图像叠加合成：将多余物图像与背景图像进行叠加合成；S5，综合数据集增强：将叠加合成的图像数据和采集的含多余物的产品图像数据合并为一个训练数据集，并进行数据增强。本发明解决了现有技术存在的过拟合、泛化能力不足等问题。

Description

一种多余物检测图像数据集增强方法及系统

技术领域

本发明涉及多余物检测技术领域，具体是一种多余物检测图像数据集增强方法及系统。

背景技术

微波多芯片集成产品内部金属微颗粒多余物主要来源于生产装配过程中电气互联焊接、结构焊接、机械装配等环节产生的锡珠、导线、金丝、金属碎屑残留以及产品中脱落的元器件等，对产品带来了诸多质量安全隐患。在工业制造中人工智能图像识别技术已应用于产品缺陷检测、多余物检测、故障诊断等环节。针对光学或X光目检中依靠检验人员带来的检测主观偏差、易漏检的问题，专利CN202110984852.9公开了一种基于深度学习的X光高分辨率扫描图像下芯片多余物检测系统及方法，采用样本数据集训练得到的深度学习模型对CT扫描获取的待测件图像分析处理，实现了芯片内部多余物的检测。在基于人工智能图像目标检测的技术中，样本数据集的规模和质量对训练出的模型识别准确率具有十分重要影响。专利CN202210509914.5公开了一种样本数据增强方法及系统及装置及介质及目标分类方法，通过获取图像中目标对应的类激活图，来解决图像中类别信息表示不敏感的缺陷问题。专利CN202210849830.6公开了一种图像数据增强方法及系统，通过对图像中像素点聚类以分离目标前景和环境背景，再将目标前景分别拼接到不同的背景区域实现数据增强。专利CN1202010468756.4公开了样本图像数据增强方法、装置、电子设备及存储介质，通过对抗生产网络模型，解决小样本数据增强的问题，以及增强过程中对计算资源和模型调参需求量大的问题。

在微波多芯片集成产品实际生产制造中产品种类多、内部结构复杂各异，难以低成本大量获得高质量的金属微颗粒多余物图像数据，数据量相对匮乏、类别不平衡。上述技术未涉及多余物特征和产品图像背景特征提取及合成的增强数据方法，难以实现多余物特征与产品图像背景特征的组合多样性增强，特别在多余物体积小、被遮挡、与产品结构相似等场景下的样本数据无法得到有效增强，使得模型存在过拟合和泛化能力不足的问题。

发明内容

为克服现有技术的不足，本发明提供了一种多余物检测图像数据集增强方法及系统，解决现有技术存在的过拟合、泛化能力不足等问题。

本发明解决上述问题所采用的技术方案是：

一种多余物检测图像数据集增强方法，包括以下步骤：

S1，多余物背景图像库生成：获取不同类别的产品图像数据作为多余物背景图像库；

S2，典型多余物库生成：获取不同类别的多余物图像数据作为典型多余物库；

S3，背景图像易混淆区域识别：获取背景图像中多余物易混淆区域；

S4，图像叠加合成：将多余物图像与背景图像进行叠加合成；

S5，综合数据集增强：将叠加合成的图像数据和采集的含多余物的产品图像数据合并为一个训练数据集，并进行数据增强。

作为一种优选的技术方案，步骤S1中，产品图像的模式包括以下的一种或多种：位图模式、灰度模式、双色调模式、RGB模式、Lab模式。

作为一种优选的技术方案，步骤S2中，多余物图像数据包括多余物轮廓和色阶数据信息。

作为一种优选的技术方案，步骤S2中，获取不同类别的多余物图像数据的方式包括以下的一种或多种：人工分割、图像特征提取、自动语义分割提取。

作为一种优选的技术方案，步骤S3中，易混淆区域包括以下的一种或多种：背景图像、混淆区域、易混淆的多余物。

作为一种优选的技术方案，步骤S3中，对背景图像中的易混淆区域的选取采用深度学习模型进行识别判定，并得到区域位置坐标；其中，所述深度学习模型由标注了多余物易混淆区域的背景图像数据训练得到；

所述深度学习模型的损失计算公式为：

式中，表示目标的位置信息权重，/>表示网格阶数，/>表示每个网格的预测框的个数，/>表示网格的编号，/>表示预测框的编号，/>表示第i个网格的第j个预测框是否包含目标，/>表示预测框中心点宽度方向相对第i个网格的坐标，/>表示标签宽度方向相对第i个网格的坐标，/>表示第i个网格的预测框宽度，/>表示第i个网格的标签宽度，/>表示预测框中心点高度方向相对第i个网格的坐标，/>表示标签高度方向相对第i个网格的坐标，表示第i个网格的预测框高度，/>表示第i个网格的标签高度，/>表示第i个网格的第j个预测框不包含目标，/>表示第i个网格的预测置信度，/>表示第i个网格的标签置信度，表示非目标的位置信息权重，/>表示第i个网格是否包含目标，/>表示置信度，/>表示第i个网格的预测类别概率，/>表示第i个网格的标签类别概率。

作为一种优选的技术方案，步骤S4中，叠加合成采用以下的一种或多种算法：Mixup、CutMix、Mixmatch。

作为一种优选的技术方案，步骤S4中，叠加合成时，对多余物图像进行以下的一种或多种操作：随机多角度旋转、翻转、缩放、变形处理、色彩空间变换。

作为一种优选的技术方案，步骤S5中，数据增强包括以下的一种或多种操作：翻转处理、旋转处理、缩放处理、剪裁处理、平移处理、噪声注入处理。

一种多余物检测图像数据集增强系统，用于实现所述的一种多余物检测图像数据集增强方法，包括依次连接的以下模块：

多余物背景图像库生成模块：用以，获取不同类别的产品图像数据作为多余物背景图像库；

典型多余物库生成模块：用以，获取不同类别的多余物图像数据作为典型多余物库；

背景图像易混淆区域识别模块：用以，获取背景图像中多余物易混淆区域；

图像叠加合成模块：用以，将多余物图像与背景图像进行叠加合成；

综合数据集增强模块：用以，将叠加合成的图像数据和采集的含多余物的产品图像数据合并为一个训练数据集，并进行数据增强。

本发明相比于现有技术，具有以下有益效果：

本发明用以对微波多芯片集成产品内部结构复杂多样、多余物体积小、被遮挡、与产品结构相似等场景下的样本数据进行增强，实现低成本大批量获取有效样本数据，可针对性解决样本类别分布不平衡的问题，极大提升样本数据的多样性和广泛性，使用于多余物检测的深度学习模型可学习到更多多余物特征，提升模型识别的泛化能力和准确率。

附图说明

图1为本发明一个较佳实施例的方法流程图；

图2为本发明一个较佳实施例的逻辑功能模块框图；

图3为本发明一个较佳实施例的待检产品整幅原始图像中的典型多余物图像和背景图像及易混淆区域示意图；

图4为本发明一个较佳实施例的基于深度学习模型的易混淆区域识别原理图；

图5为深度学习模型的结构示意图；

图6为深度神经网络模型学习和推断易混淆区域过程示意图。

具体实施方式

下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。

实施例1

如图1至图6所示，本发明提出一种多余物检测图像数据集增强方法及系统。

1）多余物检测图像数据集增强方法，包括如下步骤：

步骤S1：获取不同类别的产品图像数据作为多余物背景图像库。

其中，产品图像数据来源于常规检验设备获取的典型产品光学图像或X光图像等数据，图像中可包含多余物，也可不包含多余物，作为多余物背景图像数据，建立多余物背景图像库。

其中，产品图像模式可以是位图模式、灰度模式、双色调模式、RGB模式、Lab模式等。

步骤S2：获取不同类别的多余物图像数据作为典型多余物库。

其中，多余物图像数据从具有多余物的待检产品整幅原始图像中获取，应包含多余物轮廓和色阶数据信息；获取的方式包括以下的一种或多种：通过人工分割、图像特征提取、自动语义分割提取；将获取的多余物图像数据以图像格式文件进行存储，建立典型多余物库。

步骤S3：获取背景图像中多余物易混淆区域。

其中，易混淆区域是指在识别过程中易出现多余物误识别、漏识别的图像区域，包含背景图像、混淆区域边界、易混淆目标对象等要素。

优选的，对背景图像中的易混淆区域的选取采用深度学习模型进行识别判定，以便自动快速得到区域边界和位置坐标。所述深度学习模型由标注了易混淆区域边界和位置坐标的背景图像数据训练得到。

其中，为更精确标准地标注易混淆区域以获得深度学习模型的训练样本数据，通过图像区域中对象的轮廓形状、相对背景的色阶值来进行特征刻画，以此评价与多余物的相似程度。轮廓形状相似度可以采用距离度量法和/或相关度量法计算，色阶值则采用灰度值度量，并均归一化为0到1的范围。在标注易混淆区域训练数据时，当轮廓形状相似度和色阶值均大于给定的阈值，如大于0.6，则该区域作为易混淆区域，在背景图像中被标注。

其中，深度学习模型的结构为YOLO模型框架，包含24个卷积层、2个全连接层，其中卷积层和全连接层的配置情况如图5所示，全连接层激活函数采用渗漏整流线性函数(LeakReLU)。卷积层用于提取输入图片中的易混淆区域的基本特征，全连接层用于回归得到表示易混淆区域位置坐标、置信度和类别概率的张量结果。

在初始训练该深度学习模型时，如图6所示，首先将待识别图像划分为N×N个网格，基于每个网格中心点生成横向和竖向两个随机大小的预测框，在深度学习模型对图像的每个网格识别过程中会得到1个11维的向量结果，表示易混淆区2个候选预测框的位置坐标、置信度和1个是易混淆区域的概率，因此一幅图像会输出2×N²个候选预测框。进一步再基于非极大值抑制选择概率和置信度乘积最大的候选预测框，与提前标注好的易混淆区域的边界和位置坐标、易混淆目标置信度、类别标签进行损失计算，进而对深度学习模型参数进行反向梯度训练。

在用完成训练的深度学习模型进行易混淆区域识别时，类似上述训练过程，模型分别对待检测图像的N×N个网格计算得到2×N²个候选预测框，然后提取概率和置信度乘积满足给定阈值的预测框，最终得到易混淆区域。

其中，损失计算公式如下:

由五项累加所得，其中B表示每个网格的预测框的个数，本模型为2；表示目标的位置信息权重，一般为5，/>表示非目标的位置信息权重，一般为0.5；/>表示第i个网格是否包含目标，/>第i个网格的第j个预测框是否包含目标，有则1，无则0；而/>则相反，表示第i个网格的第j个预测框不包含目标，无则1，有则0。式中第一行负责计算目标检测框中心点损失，第二行负责计算目标检测框宽高损失，第三、四行负责计算目标与非目标的置信度回归损失，第五行负责计算类别判断概率损失。

步骤S4：将多余物图像与背景图像进行叠加合成。

其中，多余物图像来源于步骤S2的典型多余物库，背景图像来源于步骤S1的背景图像库；应主要选择与混淆多余物具有相似特征的多余物图像，且添加在背景图像中的易混淆区域，可在易混淆区域内或区域周边随机位置添加。

其中，易混淆区域来源于步骤S3生成的数据；

其中，叠加合成方法应确保合成后多余物色阶信息不丢失，允许出现轮廓缺损、被遮挡的情况；背景图像色阶信息不改变，合成区域特征不丢失。合成算法可采用Mixup、CutMix、Mixmatch等算法，合成时对多余物图像进行随机多角度旋转、翻转、缩放、变形处理、色彩空间变换，生成合成后的图像数据和所叠加的多余物区域的标注框坐标数据。

步骤S5：将合成的图像数据和原始采集的包含多余物的图像数据合并为一个训练数据集，进行常规数据增强操作，包括以下的一种或多种：翻转处理、旋转处理、缩放处理、剪裁处理、平移处理、噪声注入处理等。

2）多余物检测图像数据集增强系统，包括多余物背景图像库生成模块、典型多余物库生成模块、背景图像易混淆区域识别模块、图像叠加合成模块、综合数据集增强模块；

所述多余物背景图像库生成模块用于从常规检验设备上获取待检产品图像，作为多余物背景图像，并提供库调用和管理功能；

所述典型多余物库生成模块用于从具有多余物的待检产品图像中获取多余物轮廓和色阶数据信息，形成典型多余物特征库进行管理；

所述背景图像易混淆区域识别模块用于从背景图像中识别出易发生多余物误识别、漏识别的图像区域；

所述图像叠加合成模块用于将典型多余物库中的多余物图像和背景图像库中的产品图像进行叠加合成，并生成合成后的图像数据和所叠加的多余物区域的标注框坐标数据；

所述综合数据集增强模块用于将叠加合成的图像数据和检验设备采集的含多余物的产品图像数据合并为一个训练数据集，并采用常规数据增强操作方法进行数据增强。

实施例2

如图1至图6所示，作为实施例1的进一步优化，在实施例1的基础上，本实施例还包括以下技术特征：

本发明公开的一种用于多余物视觉检测设备的智能化扩展方法、系统，总的流程如图1所示，包括：

S1，获取不同类别的产品图像数据作为多余物背景图像库；

S2，获取不同类别的多余物图像数据作为典型多余物库；

S3，获取背景图像中多余物易混淆区域；

S4，多余物图像与背景图像叠加合成；

S5，合成图像和原始采集图像数据合并增强。

S1，利用B1多余物背景图像库生成模块从X光检验设备中获取产品X光灰度图像，所获得的图像应具有较好的清晰度和对比度，图像放大倍率应与日常生产过程中使用倍率基本一致，确保产品结构和多余物人眼可见、可辨识，如图3所示获得的整幅图像数据，以备B3和B4模块使用。

S2，利用B2典型多余物库模块提供的B2-1和/或B2-2方式从具有多余物的待检产品整幅原始图像中提取多余物轮廓和色阶数据。以图3所示图像为例，从整幅原始检测图像中提取出多种典型多余物图像作为典型多余物库。在基于人工分割的提取方式下，用交互式图像编辑软件多边形勾勒出多余物轮廓，进而提取出多余物图像数据；若在基于自动语义分割的提取方式下，则采用全卷积网络（FCN）或反卷积网络（Deconv）或像素级分割网络（SegNet）或对称语义分割模型（U-net），由模型自动框出多余物轮廓，进而提取出多余物图像数据，极大省去人工工作量。

S3，利用B3背景图像易混淆区域识别模块，对B1模块得到的多余物背景图像库中的各图像进行识别处理，得到待叠加合成的易混淆区域。为便于采用模型自动识别，由人工对B1模块得到的多余物背景图像混淆区域标注得到样本数据，进而构建深度学习模型进行判定，如图4所示。本实施例的深度学习模型构建过程：首先以B1的多余物背景图像库为样本集，先对样本集中的易混淆区域进行人工标注，如图3所示易混淆区域，标注采用矩形选框的方式得到易混淆区域在图像中的角点坐标，并构建图像数据与角点坐标数据对应的训练样本数据集，以图像数据为输入和角点坐标数据为输出对目标检测卷积神经网络训练，实现对易混淆区域的位置和边界定位。

S4，利用B4图像叠加合成模块，先对待合成的图像模式进行校验与统一，然后对B2模块中的典型多余物图像进行旋转、缩放、色阶信息改变的图像变换处理，最后从B4-1合成算法库中选用合适的合成算法叠加合成到背景图像的易混淆区域。合成算法可选用以下的一种或多种：Mixup、CutMix、Mixmatch等，应确保合成后多余物色阶信息不丢失，允许出现轮廓缺损、被遮挡的情况。由于本实施例获取的图像来源于X光拍摄，故图像宜统一为灰度模式，在此模式下采用CutMix合成算法具有较好的效果。得到的样本图像实现了多余物特征和背景图像特征的多种组合。

S5，利用B5综合数据集增强模块将原始含多余物的图像数据和合成图像数据进行合并，然后对整幅图像采用剪裁、平移、缩放、变形、噪声注入进行数据增强，进一步扩充增加样本数据特征和样本量。

如上所述，可较好地实现本发明。

本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (9)

1.一种多余物检测图像数据集增强方法，其特征在于，包括以下步骤：

S1，多余物背景图像库生成：获取不同类别的产品图像数据作为多余物背景图像库；

S2，典型多余物库生成：获取不同类别的多余物图像数据作为典型多余物库；

S3，背景图像易混淆区域识别：获取背景图像中多余物易混淆区域；

S4，图像叠加合成：将多余物图像与背景图像进行叠加合成；

S5，综合数据集增强：将叠加合成的图像数据和采集的含多余物的产品图像数据合并为一个训练数据集，并进行数据增强；

步骤S3中，对背景图像中的易混淆区域的选取采用深度学习模型进行识别判定，并得到区域位置坐标；

其中，所述深度学习模型由标注了多余物易混淆区域的背景图像数据训练得到；

所述深度学习模型的损失计算公式为：

式中，表示目标的位置信息权重，/>表示网格阶数，/>表示每个网格的预测框的个数，/>表示网格的编号，/>表示预测框的编号，/>表示第i个网格的第j个预测框是否包含目标，/>表示预测框中心点宽度方向相对第i个网格的坐标，/>表示标签宽度方向相对第i个网格的坐标，/>表示第i个网格的预测框宽度，/>表示第i个网格的标签宽度，/>表示预测框中心点高度方向相对第i个网格的坐标，/>表示标签高度方向相对第i个网格的坐标，/>表示第i个网格的预测框高度，/>表示第i个网格的标签高度，/>表示第i个网格的第j个预测框不包含目标，/>表示第i个网格的预测置信度，/>表示第i个网格的标签置信度，/>表示非目标的位置信息权重，/>表示第i个网格是否包含目标，/>表示置信度，/>表示第i个网格的预测类别概率，/>表示第i个网格的标签类别概率；

步骤S4中，多余物图像来源于步骤S2的典型多余物库，背景图像来源于步骤S1的多余物背景图像库；将与混淆多余物具有相似特征的多余物图像添加在背景图像中的多余物易混淆区域内。

2.根据权利要求1所述的一种多余物检测图像数据集增强方法，其特征在于，步骤S1中，产品图像的模式包括以下的一种或多种：位图模式、灰度模式、双色调模式、RGB模式、Lab模式。

3.根据权利要求1所述的一种多余物检测图像数据集增强方法，其特征在于，步骤S2中，多余物图像数据包括多余物轮廓和色阶数据信息。

4.根据权利要求1所述的一种多余物检测图像数据集增强方法，其特征在于，步骤S2中，获取不同类别的多余物图像数据的方式包括以下的一种或多种：人工分割、图像特征提取、自动语义分割提取。

5.根据权利要求1所述的一种多余物检测图像数据集增强方法，其特征在于，步骤S3中，易混淆区域包括以下的一种或多种：背景图像、混淆区域、易混淆的多余物。

6.根据权利要求1所述的一种多余物检测图像数据集增强方法，其特征在于，步骤S4中，叠加合成采用以下的一种或多种算法：Mixup、CutMix、Mixmatch。

7.根据权利要求1所述的一种多余物检测图像数据集增强方法，其特征在于，步骤S4中，叠加合成时，对多余物图像进行以下的一种或多种操作：随机多角度旋转、翻转、缩放、变形处理、色彩空间变换。

8.根据权利要求1至7任一项所述的一种多余物检测图像数据集增强方法，其特征在于，步骤S5中，数据增强包括以下的一种或多种操作：翻转处理、旋转处理、缩放处理、剪裁处理、平移处理、噪声注入处理。

9.一种多余物检测图像数据集增强系统，其特征在于，用于实现权利要求1至8任一项所述的一种多余物检测图像数据集增强方法，包括依次连接的以下模块：

多余物背景图像库生成模块：用以，获取不同类别的产品图像数据作为多余物背景图像库；

典型多余物库生成模块：用以，获取不同类别的多余物图像数据作为典型多余物库；

背景图像易混淆区域识别模块：用以，获取背景图像中多余物易混淆区域；

图像叠加合成模块：用以，将多余物图像与背景图像进行叠加合成；

综合数据集增强模块：用以，将叠加合成的图像数据和采集的含多余物的产品图像数据合并为一个训练数据集，并进行数据增强。