CN114399720A - 一种生产线上物品完整性检测方法及装置 - Google Patents

Abstract

本发明公开了一种生产线上物品完整性检测方法及装置，所述检测方法包括以下步骤：采集生产线现场图片，获取原始图片数据集；对所述原始图片数据集进行标记，获得标记图片数据集；将所述标记图片数据集输入至YOLOv3检测模型中进行目标检测，所述YOLOv3算法模型的主干网络采用Mobilenetv2架构对标记图片数据集进行深度可卷积处理；对深度可卷积处理的标记图片数据采用双向融合BiFPN进行特征信息融合；采用图像增强技术对特性信息融合后的标记图像数据集进行图像数据增强；将目标检测结果输出，并得出生产线物品的完整性信息。所述检测方法响应速度快，加强特征提取，提高小物品识别精度，在模型训练时，通过图片增强技术丰富训练样本，提高所述检测模型的检测精确度。

Description

一种生产线上物品完整性检测方法及装置

技术领域

本发明主要涉及图像检测技术领域，具体涉及一种生产线上物品完整性检测方法及装置。

背景技术

随着计算机算力和深度学习的不断发展，基于深度学习的物体检测方法在工程中得到广泛应用，主流的目标检测框架分为两阶段和一阶段两类，两阶段算法利用区域推荐网络对边界框进行分类和回归初筛后得到推荐框，利用推荐框在区域中截取，再次分类回归，最后通过非极大抑制完成对目标的检测，一阶段算法相对两阶段算法省去了区域推荐过程，通过颈部连接层对不同尺度的特征图进行融合，获得多尺度特征图，使用密集连接头对锚点框分类和回归，最后通过非极大抑制完成对目标的检测。

两阶段算法相比于单阶段目标检测框架多进行了一次分类和回归，其计算精度较一般单阶段算法高，然而其检测速度在工业上有明显劣势，难以满足生产线上的实时性要求，目前的物体检测一般采用YOLO(You Only Look Once)架构进行目标检测

目前的YOLOv3算法的主干网络使用深层网络架构(DarkNet53)，参数量庞大，不利于部署在移动端，而且缺乏使用图像增强技术，导致泛化性较低。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种生产线上物品完整性检测方法及装置，所述检测方法通过改进原始YOLOv3算法，采用轻量化卷积神经网络Mobilenetv2为主干网络，结合双向融合的BiFPN的网络结构，简化检测模型，响应速度快，加强特征提取，改善小物品的识别。

本发明提供了一种生产线上物品完整性检测方法，所述方法包括以下步骤：

采集生产线现场图片，获取原始图片数据集；

对所述原始图片数据集进行标记，获得标记图片数据集；

将所述标记图片数据集输入至YOLOv3检测模型中进行目标检测，所述将标记图片数据集输入至YOLOv3检测模型中进行目标检测包括：

所述YOLOv3算法模型的主干网络采用Mobilenetv2架构对所述标记图片数据集进行深度可卷积处理；

对深度可卷积处理的标记图片数据采用双向融合BiFPN进行特征信息融合；

采用图像增强技术对特性信息融合后的标记图像数据集进行图像数据增强；

将目标检测结果输出，并得出生产线物品的完整性信息。

进一步的，所述对原始图片数据集进行标记，获得标记图片数据集包括：

使用Labelimg软件对生产线现场图片中的生产线上物品进行标记，获得标记图片数据集。

进一步的，所述采用Mobilenetv2架构对所述标记图片数据集进行深度可卷积处理包括：对所述标记图片数据集依次进行第一次逐点卷积处理、深度空间卷积处理和第二次逐点卷积处理。

进一步的，所述双向融合BiFPN的融合公式为：

其中，w_i为施加relu激活函数后的值，w_i≥0，∈＝0.0001，I_i为各个特征层的特征值。

进一步的，所述采用图像增强技术对特性信息融合后的标记图像数据集进行图像数据增强，包括对所述特性信息融合后的标记图像数据集的图像进行水平翻转、裁剪、Mosaic数据增强、Mixup数据增强以及从亮度、饱和度上进行的数据增强。

所述Mosaic数据增强通过在所述特性信息融合后的标记图像数据集中选取四张标记图片进行翻转、缩放以及色域变化处理，保留所述四张图片上的生产线上物品特征信息，进行随机裁剪，获得处理后的图片；

设置图像框，将所述四张处理后图片以所述图像框的左上角位置为起始位置，按逆时针方向依次放置在所述图像框的四个转角位上，拼接成新的图像，获得Mosaic数据增强图像。所述Mixup数据增强包括在所述特性信息融合后的标记图像数据集随机选取两张图片，将所述两张图片根据混合公式按比例混合得到混合后的图片数据。

所述混合公式为：

其中，x_i，x_j为任意输入的两张图片，λ是符合β分布的参数，λ∈(0，1)。

进一步的，所述将目标检测结果输出，并得出生产线物品的完整性信息，包括：

将检测结果与预设的物品信息进行比较，判断生产线上物品是否齐全，若否，输出缺失物品信息。

本发明还提供了一种生产线上物品完整性检测装置，所述检测装置包括：

采集模块：用以采集生产线现场图片，获得原始图片数据集；

数据标记模块：用以对所述原始图片数据集进行标记，获得标记图片数据集；

检测模块：将所述标记图片数据集输入至YOLOv3检测模型中进行目标检测，所述将所述标记图片数据集输入至YOLOv3检测模型中进行目标检测包括：

所述YOLOv3算法模型的主干网络采用Mobilenetv2架构对所述标记图片数据集进行深度可卷积处理；

对深度可卷积处理的标记图片数据采用双向融合BiFPN进行特征信息融合；

采用图像增强技术对特性信息融合后的标记图像数据集进行图像数据增强；输出模块：将目标检测结果输出，并得出生产线物品的完整性信息。本发明提供了一种生产线上物品完整性检测方法及装置，所述检测方法通过改进原始YOLOv3架构，以Mobilenet-v2为主干网络，结合双向融合的BiFPN网络，简化检测模型，响应速度快，加强特征提取，改善小物品的识别，在构建检测模型时，通过图片增强技术，提高泛化性，能够适应不同的场景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中生产线上物品检测方法流程图；

图2是本发明实施例中BiFPN网络结构示意图；

图3是本发明实施例中生产线上物品完整性检测装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一：

图1示出了本发明实施例中生产线上物品完整性检测方法流程图，所述生产线上物品检测方法包括：

S11：采集生产线现场图片，获得原始图片数据集；

具体的，在生产线运作期间，通过图像采集设备采集生产线上同一位置在连续的一段时间内的物品图片，或者通过图像采集设备采集生产线上不同位置在同一时间的物品图片，整理成原始图片数据集。

S12：对所述原始图片数据集进行标记，获得标记图片数据集；

具体的，将原始图片数据集通过Labelimg软件对生产线现场图片中的生产线上物品进行标注，获得标记图片数据集。

进一步的，所述Labelimg软件是图形图像处理软件，可以识别图片中的物品，对图片中的物品进行框选和标识。

S13：将所述标记图片数据集输入至YOLOv3检测模型中进行目标检测。

具体的，所述将标记图片数据集输入至YOLOv3检测模型中进行目标检测包括：

所述YOLOv3算法模型的主干网络采用Mobilenetv2架构对所述标记图片数据集进行深度可卷积处理；

具体的，在原始YOLOv3网络架构基础上，以Mobilenet-v2为主干网络，代替原始主干网络DarkNet53。

所述Mobilenetv2是一种轻量级深层神经网络，其主要特点是使用了大量深度可分离卷积，大大减少了模型的参数量。除此之外，Mobilenetv2还引入了反向残差结构块，提升模型深度，解决网络深度增加时出现的梯度消失问题，与原始主干DarkNet53架构相比模型体积更小，速度更快。

进一步的，通过采用Mobilenetv2为主干网络，减少YOLOv3网络架构上的参数量，便于将所述检测模型搭载在移动端上，方便工作人员进行检测。

进一步的，所述采用Mobilenetv2架构对所述标记图片数据集进行深度可卷积处理包括：对所述标记图片数据集依次进行第一次逐点卷积处理、深度空间卷积处理和第二次逐点卷积处理。所述Mobilenetv2网络架构包括倒残差结构，所述倒残差结构包括三个卷积层，位于中间层的卷积层通道数多于其余两个卷积层。所述Mobilenetv2网络架构首先通过1＊1的逐点卷积层进行通道提升，增加特征通道数量，然后通过深度可分卷积3＊3空间卷积，再经过1＊1的逐点卷积层降低维度，深度可分卷积的计算量以及1＊1的卷积层在提升通道和减少通道的操作上计算量少，提升深度可分卷积的特征通道数，可以提升计算的准确性。

对深度可卷积处理的标记图片数据采用双向融合BiFPN进行特征信息融合；

进一步的，在所述YOLOv3检测模型上使用双向融合的BiFPN代替原始YOLOv3网络架构中的单向融合的FPN；

进一步的，所述BiFPN为一种加权双向特征金字塔网络，能够方便快捷地进行多尺度特征融合，通过在融合特征时对特征层引入权重系数。

由于不同大小的特征层有不同的分辨率，其对输出特征的贡献是不同的，因而有必要在特征融合时对特征层引入权重系数，从而更好地平衡不同尺度信息，所述双向融合的BiFPN的融合计算公式为：

其中，w_i为施加relu激活函数后的值，w_i≥0，∈＝0.0001，I_i为各个特征层的特征值。

具体的，图2示出了本发明实施例中BiFPN网络结构示意图，根据所述双向融合的BiFPN的融合计算公式，P4的融合公式为：

其中，

为第五层特征层的输入变量，

为第四层特征层的输入变量，

为第三层特征层输出变量，

为第四层特征层输出变量，

为第四层特征层的中间变量，Resize为上采样或下采样的值。

具体的，采用图像增强技术对特性信息融合后的标记图像数据集进行图像数据增强。所述图像增强技术包括：水平翻转、裁剪、Mosaic数据增强、Mixup数据增强以及从亮度、饱和度上进行的数据增强。

进一步的，通过所述水平翻转和裁剪的操作，扩充图片数据集，提高检测的准确性，调整亮度和饱和度，丰富样本，使得检测模型能够识别不同环境条件下的物品图片。

具体的，所述Mosaic数据增强是一种图片数据处理技术，所述Mosaic数据增强图片处理操作包括：所述Mosaic数据增强通过在所述特性信息融合后的标记图像数据集中选取四张标记图片进行翻转、缩放以及色域变化等处理，保留所述四张图片上的生产线上物品特征信息，进行随机裁剪，获得处理后的图片；

设置图像框，将所述四张处理后图片以所述图像框的左上角位置为起始位置，按逆时针方向依次放置在所述图像框的四个转角位上，拼接成新的图像，获得Mosaic数据增强图像。所述Mosaic数据增强能够丰富所述图片数据集的背景，充分利用计算资源，增加了样本多样性。

进一步的，所述Mosaic数据增强将不同的图片进行裁剪和拼接，丰富了图片的边界背景，在模型训练时，提高模型检测的准确性。

具体的，所述Mixup数据增强针对网络倾向于记忆训练样本而难以抵御分布外样本，如肉眼感官没有区别的对抗样本问题，采用邻域风险最小化原则，通过在所述特性信息融合后的标记图像数据集中随机选取两张图片，将所述两张图片根据混合公式按比例进行混合，得到一张新的训练图片，丰富样本数据的多样性，所述混合公式为：

其中，x_i，x_j为任意输入的两张图片，λ是符合β分布的参数，λ∈(0，1)。

进一步的，所述β分布指一组定义在(0，1)区间的连接概率分布。

具体的，将所述标记图片数据集进行图片数据增强的处理，丰富训练样本，提高所述检测模型的训练效果，提高所述检测模型的泛化性。

进一步的，通过所述Mixup数据增强提高模型的泛化性，经过所述Mixup数据增强训练的检测模型，能够在生产线现场出现物品堆叠或者相互阻挡的情况时，精准识别生产线上的物品。

具体的，所述检测模型在原始YOLOv3网络架构上改进，使用Mobilenetv2为主干网络，减少所述检测模型的参数，使得所述检测模型的响应速度加快，并且结合双向融合的BiFPN加强特征提取网络，改善了小物品的识别。

进一步的，采用YOLOv3网络为检测模型基础架构，以单阶段算法框架保证所述检测模型的检测速度，使用Mobilenetv2为主干网络，简化所述检测模型架构，提高所述模型的响应速度。

S14：将目标检测结果输出，并得出生产线物品的完整性信息。

具体的，所述检测模型输出检测结果，将所述检测结果与预设的物品信息进行比较，判断生产线上物品是否齐全，若否，输出生产线上缺失物品的信息。

进一步的，所述检测模型上预先设置有生产线上物品的信息，检测模型通过实时检测生产线上的物品，并将检测到的物品信息与预设的生产线上物品信息进行比较，实时判断生产线上物品是否齐全，便于生产人员工作生产。

本发明实施例提供一种基于YOLOv3检测模型的生产线上物品检测方法，通过采集现场生产线的图片，完成标识后输入改进后的YOLOv3检测模型，进行检测生产线上物品是否齐全，若否，输出缺失物品信息，所述改进后的YOLOv3检测模型，采用Mobilenetv2为主干网络，结合双向融合的BiFPN网络，使得所述检测模型响应速度快，可以实时检测生产线上物品的情况，检测精度提高，可以准确识别小物品。

实施例二：

图3示出了本发明实施例中一种生产线上物品完整性检测装置结构示意图，所述检测装置包括：

采集模块1：用以采集生产线现场图片，获得原始图片数据集；

具体的，所述采集模块1在生产线运作期间，通过图像采集设备采集生产线上同一位置在连续的一段时间内的物品图片，或者通过图像采集设备采集生产线上不同位置在同一时间的物品图片，整理成原始图片数据集。

进一步的，所述采集设备包括摄像头，所述摄像头可以固定在所述生产线上，或者所述摄像头可以设置在检测设备上。

数据标记模块2：用以对所述原始图片数据集进行标记，获得标记图片数据集；

具体的，所述图片标记模块2将所述采集模块1采集到的原始图片数据集，通过Labelimg软件对生产线现场图片中的生产线上物品进行标注，获得标记图片数据集。

进一步的，所述Labelimg软件是图像标识软件，可以识别图片中的物品，对图片中的物品进行框选和标识。

检测模块3：将所述标记图片数据集输入至YOLOv3检测模型中进行目标检测。

具体的，所述检测模型在原始YOLOv3网络架构上进行改进，使用Mobilenetv2为主干网络，简化架构，提高所述检测模型的响应速度，使得所述检测模型能够满足实时检测生产线物品的要求，结合双向融合的BiFPN加强特征提取网络，能够精准识别小物品。

将所述标记图片数据集输入所述YOLOv3网络模型上，通过所述Mobilenetv2模型上进行图片深度可分卷积处理，对深度可卷积处理的标记图片数据采用双向融合BiFPN进行特征信息融合，细化所述图片特征，经过图片数据增强技术对图片数据进行增强，便于检测识别。

输出模块4：将目标检测结果输出，并得出生产线物品的完整性信息。

具体的，所述模型将检测结果输出，并将所述检测结果与预设的物品信息进行比较，通过实时检测的物品信息和预设的物品信息比较判断生产线上的物品是否齐全，若否，则输出缺失物品信息。

本发明实施例中提供了一种生产线上物品完整性检测装置，所述检测装置设置在生产线现场上，通过改进YOLOv3检测模型，以Mobilenetv2为主干网络，结合双向融合的BiFPN，使得检测模型能够精准识别小物品，提高识别准确度，模型响应速度快，能够实时检测生产线上的物品。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，ReadOnly Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。

另外，以上对本发明实施例所提供的一种生产线上物品完整性检测方法及装置进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种生产线上物品完整性检测方法，其特征在于，所述方法包括以下步骤：

采集生产线现场图片，获取原始图片数据集；

对所述原始图片数据集进行标记，获得标记图片数据集；

将所述标记图片数据集输入至YOLOv3检测模型中进行目标检测，所述将所述标记图片数据集输入至YOLOv3检测模型中进行目标检测包括：

所述YOLOv3算法模型的主干网络采用Mobilenetv2架构对所述标记图片数据集进行深度可卷积处理；

对深度可卷积处理的标记图片数据采用双向融合BiFPN进行特征信息融合；

采用图像增强技术对特性信息融合后的标记图像数据集进行图像数据增强；

将目标检测结果输出，并得出生产线物品的完整性信息。

2.如权利要求1所述的生产线上物品完整性检测方法，其特征在于，所述对所述原始图片数据集进行标记，获得标记图片数据集包括：

使用Labelimg软件对生产线现场图片中的生产线上物品进行标记，获得标记图片数据集。

3.如权利要求1所述的生产线上物品完整性检测方法，其特征在于，所述采用Mobilenetv2架构对所述标记图片数据集进行深度可卷积处理包括：对所述标记图片数据集依次进行第一次逐点卷积处理、深度空间卷积处理和第二次逐点卷积处理。

4.如权利要求1所述的生产线上物品完整性检测方法，其特征在于，所述双向融合BiFPN的融合公式为：

其中，w_i为施加relu激活函数后的值，w_i≥0，∈＝0.0001，I_i为各个特征层的特征值。

5.如权利要求1所述的生产线上物品完整性检测方法，其特征在于，所述采用图像增强技术对特性信息融合后的标记图像数据集进行图像数据增强：包括：

对特性信息融合后的标记图像数据集进行水平翻转、裁剪、Mosaic数据增强、Mixup数据增强以及从亮度、饱和度上进行的数据增强。

6.如权利要求5所述的生产线上物品完整性检测方法，其特征在于，所述Mosaic数据增强通过在所述特性信息融合后的标记图像数据集中选取四张标记图片进行翻转、缩放以及色域变化处理，保留所述四张图片上的生产线上物品特征信息，进行随机裁剪，获得处理后的图片；

设置图像框，将所述四张处理后图片以所述图像框的左上角位置为起始位置，按逆时针方向依次放置在所述图像框的四个转角位上，拼接成新的图像，获得Mosaic数据增强图像。

7.如权利要求5所述的生产线上物品完整性检测方法，其特征在于，所述Mixup数据增强包括：在所述特性信息融合后的标记图像数据集中随机选取两张图片，将所述两张图片根据混合公式按比例混合得到混合后的图片数据。

8.如权利要求7所述的生产线上物品完整性检测方法，其特征在于，所述混合公式为：

其中，x_i，x_j为任意输入的两张图片，λ是符合β分布的参数，λ∈(0，1)。

9.如权利要求1所述的生产线上物品完整性检测方法，其特征在于，所述将目标检测结果输出，并得出生产线物品的完整性信息包括：

将检测结果与预设的物品信息进行比较，判断生产线上物品是否齐全，若否，输出缺失物品信息。

10.一种生产线上物品完整性检测装置，其特征在于，所述检测装置包括：

采集模块：用以采集生产线现场图片，获得原始图片数据集；

数据标记模块：用以对所述原始图片数据集进行标记，获得标记图片数据集；

检测模块：将所述标记图片数据集输入至YOLOv3检测模型中进行目标检测，所述将所述标记图片数据集输入至YOLOv3检测模型中进行目标检测包括：

所述YOLOv3算法模型的主干网络采用Mobilenetv2架构对所述标记图片数据集进行深度可卷积处理；

对深度可卷积处理的标记图片数据采用双向融合BiFPN进行特征信息融合；

采用图像增强技术对特性信息融合后的标记图像数据集进行图像数据增强；

输出模块：将目标检测结果输出，并得出生产线物品的完整性信息。

Images