CN113723217A - 一种基于yolo改进的物体智能检测方法及系统 - Google Patents

Abstract

本发明提供了一种基于yolo改进的物体智能检测系统，解决了现有的yolo网络不能检测物体摆放角度的问题。该方法包括：获取待测物体图片；将待测物体图片输入训练好的智能识别网络模型中，获取检测结果和对应的物体角度。所述智能识别网络模型基于深度学习框架Pytorch构建，以yolo网络模型为基础，采用Darknet‑53模型结构，包括53个卷积层、23个残差模块、5次降采样、3个不同尺度下的预测结果输出端以及设置在各预测结果输出端上的attention模块。本发明在原有yolov3网络的基础上，增加了attention模块，在不降低物体识别精度的条件下，完成对物体角度的检测，有利于机械抓手根据角度准确抓住物体。

Description

一种基于yolo改进的物体智能检测方法及系统

技术领域

本发明涉及一种基于yolo改进的物体智能检测方法及系统，属于智能检测技术领域。

背景技术

从2006年以来，在Hinton、Bengio、Lecun等人的引领下，大量深度学习的论文被发表，尤其是2012年，AlexNet在ImageNet图像识别比赛中一举夺得冠军，从此神经网络受到广泛关注。图像检测是计算机视觉领域的基础任务之一。传统的图像检测算法一般需要区域选择、特征提取、分类三个阶段，在预测精度和速度上都不是很理想。随着深度学习兴起，图像检测方向迎来了飞速发展。主流的检测算法分为两大类别，分别是one-stage检测算法和two-stage检测算法。

one-stage检测算法可以在一个stage直接产生类别概率和位置坐标值，不需要regionproposal阶段，典型的算法有yolo系列、SSD和centernet等。two-stage检测算法将检测问题划分为两个阶段，第一个阶段产生候选区域，包括目标物体的大概位置信息，然后在第二个阶段对候选区域进行分类和位置调整，典型的算法有R-CNN、Fast R-CNN和FasterR-CNN等。在速度上，one-stage的检测算法优于two-stage的检测算法，精度上略有不足。

当前图像检测算法实现了对物体的识别和定位效果，但对于物体的角度没有检测出。在需要使用机械抓手等设备抓住物体的时候，物体的角度对于机械抓手的摆放相当重要。

综上所述，如何在保证检测物体精度的同时检测出物体的角度是一个亟待解决的问题。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于yolo改进的物体智能检测方法及系统，能在不降低物体识别精度的条件下，完成对物体角度的检测。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种基于yolo改进的物体智能检测方法，包括以下步骤：

获取待测物体图片；

将待测物体图片输入训练好的智能识别网络模型中，获取检测结果和对应的物体角度；

所述智能识别网络模型以yolo网络模型为基础，在输出端上设有attention模块以识别物体角度。

进一步的，所述智能识别网络模型基于深度学习框架Pytorch构建，以yolo网络模型为基础，采用Darknet-53模型结构，包括53个卷积层、23个残差模块、5次降采样、3个不同尺度下的预测结果输出端以及设置在各预测结果输出端上的attention模块。

进一步的，所述3个不同尺度下的预测结果输出端的输出尺度分别为52*52、26*26、13*13。

进一步的，所述智能识别网络模型的训练方法包括：

采集物体图片形成数据集，利用数据增强方法对所述数据集进行扩充，并对所述数据集中的每一张图片标注物体的类被、位置以及角度信息，并将数据集分为训练集和测试集；

将训练集和测试集的图片输入到智能识别网络模型，进行训练和测试，得到训练好的智能识别网络模型。

进一步的，采集物体图片形成数据集，利用数据增强方法对所述数据集进行扩充的方法包括：

采集不同环境下、不同大小、不同角度、不同光照下的物体的图片作为数据集；

对所述数据集采用随机垂直翻转、随机旋转任意角度、随机缩放、随机水平翻转、水平平移和竖直平移的方法扩充数据集。

进一步的，将数据集分为训练集和测试集的方法包括：

将数据集打乱，按照9：1的比例随机划分为训练集和测试集。

进一步的，将训练集和测试集的图片输入到智能识别网络模型，进行训练和测试的方法包括：

将训练集中的图片统一缩放成416*416的大小，并将图片中的每一个像素值乘以1/255，使得像素值的大小在0，1之间；

对网络模型中的权重进行初始化，加载yolo网络模型的预训练权重；

将缩放后的图像数据输入到网络模型中，设置学习率初始值为0.001，批样本数为16，训练迭代100轮，保留最佳权重模型，得到训练好的智能识别网络模型。

进一步的，将待测物体图片输入训练好的智能识别网络模型中的方法包括：

将待检测的生活物体图片大小缩放成416*416，输入到训练好的智能识别网络模型中。

第二方面，本发明提供了一种基于yolo改进的物体智能检测系统，所述系统包括：

图片获取模块：用于获取待测物体图片；

检测输出模块：用于将待测物体图片输入训练好的智能识别网络模型中，获取检测结果和对应的物体角度；

所述智能识别网络模型基于深度学习框架Pytorch构建，以yolo网络模型为基础，采用Darknet-53模型结构，包括53个卷积层、23个残差模块、5次降采样、3个不同尺度下的预测结果输出端以及设置在各预测结果输出端上的attention模块。

第三方面，本发明提供一种基于yolo改进的物体智能检测系统，包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行根据第一方面所述方法的步骤。

与现有技术相比，本发明所达到的有益效果：

本发明在原有yolo网络模型的基础上，增加了attention模块，在不降低物体识别精度的条件下，完成对物体角度的检测，有利于机械抓手根据角度准确抓住物体。

附图说明

图1中(a)为一待测图片，(b)为(a)的相关标注信息输出示意图；

图1中(c)为另一待测图片，(d)为(c)的相关标注信息输出示意图；

图2为yolo网络结构示意图；

图3为attention模块示意图；

图4为添加attention模块的yolo网络示意图；

图5为本发明的方法流程图；

图6为智能检测系统框图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例一：

本实施例提供了一种基于yolo改进的物体智能检测方法，包括以下步骤：

获取待测物体图片；

将待测物体图片输入训练好的智能识别网络模型中，获取检测结果和对应的物体角度。

如图1所示，本实例采集了不同大小、角度、光照下的常见生活物品图片，如饮料瓶、纸盒等。使用数据增强方法，包括随机旋转任意角度、随机上下翻转、随机水平翻转等方法，扩充了数据集。使用标注软件如labelme、labelbox等开源工具，标注了每张图片中物体的位置、类别以及角度信息，并生成了xml格式文件。最后将数据集图片打乱，按照9:1的比例划分成训练集和测试集两部分。

图片中物体的角度信息以水平线为标准，物体向上倾斜则为正角度，反之向下倾斜为负角度，角度大小范围在-90度到90度之间，水平为0度，垂直为-90度或这90度。

如图2所示，本实施例的智能识别网络模型使用了yolo网络作为基础网络，使用深度学习框架Pytorch搭建了Darknet-53网络结构，含有53个卷积层，23个残差模块，5次降采样。由图2可知，yolo网络吸收了fpn网络的优点，有3个尺度的输出，分别52*52、26*26、13*13。不同的输出尺度下，对应着不同大小的物体，在一定程度上增强了对小物体的检测效果，比如，52*52这个尺度输出用于检测大型物体，26*26这个尺度输出用于检测中型物体，13*13则用于小型物体的检测。

网络中大量使用了BatchNormalization层和残差模块，并使用LeakyReLu作为激活函数，在预测支路上有张量拼接操作，实现方法是通过网络的中间层和中间层后某一层的上采样进行拼接。yolo网络权重的更新与bp神经网络一样采用的是梯度下降和反向传播。如下式为卷积层和池化层的梯度公式：

其中E表示矩阵乘积的结果，w_ij表示矩阵中的各个元素，v_ij具体的对应w_ij的矩阵元素，δ_ij为以v_ij为结果的梯度大小。

求出δ_ij和

的表达式如下式：

δ^l-1＝conv2(rot180(w^l),δ^l,'full')φ^l(v^l-1)

δ，w，v是矩阵形式，公式中，rot180()函数表示将矩阵w^l逆时针旋转180度，参数full表示完全的卷积运算。BatchNormalization层的计算如下：

其中输入x＝(x⁽¹⁾…x^(d))，

为批量归一化的输出，

分别为x的期望和均值。γ、β是引入的两个参数，来控制归一化的效果。ε为大于0的值，防止出现除数为0。y_i为BatchNormalization层的输出结果。

对于位置的预测采用了相对位置的方法，预测出框中心点相对于网格单元左上角的相对坐标，直接预测出(t_x,t_y,t_w,t_h),然后通过下面偏移公式计算得到框的位置和置信度。

t_x、t_y、t_w、t_h就是模型的预测输出，c_x、c_y分别表示网格的坐标，比如特征图的大小为13*13，那么网格有13*13个，第1行第1列的网格坐标c_x、c_y就是1、1；p_w和p_h表示预测前的框大小。b_x、b_y、b_w、b_h表示预测得到的物体框的中心坐标和对应的宽高大小。

如图3所示，本实例采用了attention模块作为yolo网络输出的后继，在yolo完成对物体的类别的位置和类别检测的基础上，检测出物体的角度信息。attention改进了RNN训练慢的缺点，利用self-attention机制快速并行训练。attention可以用来替代RNN和CNN的新的网络结构，它可以直接获取全局信息。attention的结构主要由两部分组成，分别为编码模块和解码模块。本实例采用了attention模块，用于检测图片中物体的角度信息。如图所示，对于attention模块，Q(query)、K(key)、V(value)三个矩阵来自同一输入,对应的就是进入的attention模块的输入矩阵。首先计算机Q与K的点积，为了防止结果过大，除以一个尺度标度

其中d_k为query和key向量的维度，最后通过softmax将结果归一化，再乘以矩阵V得到权重求和得表示。如下式：

如图4所示，为添加了attention模块yolo网络模型示意图。训练时，先冻结attention模块，加载在coco或者voc数据集上的预训练权重，也可从新开始训练模型，速度比加载了预训练权重的模型稍慢。加载完预训练模型后，将训练集中的图片统一缩放成416*416的大小，并将图片中的每一个像素值乘以1/255，使得像素值的大小在0，1之间。将缩放后的图像数据输入到网络模型中，设置学习率初始值为0.001，批样本数为16，训练迭代100轮，保留最佳权重模型。网络训练过程中，损失函数如下式：

假设网格数一共是S*S个，每个网格产生B个候选框。式子中，参数

分别表示中心坐标x，y真实值和预测值大小。参数

表示第i个网格的第j个框是否负责检测这个物体，如果负责检测物体，则值为1。同样的，I_ij ^nobj则表示第i个网格中的第j个框不负责检测物体。训练中参数置信度C表示真实值，C的取值由网格中框是否检测某个物体决定，如果负责检测，则值为1，反之，值为0。损失函数主要分成了两部分，分别是有物体和无物体。在没有物体损失部分还增加了权重系数。添加权重系数的是由于在一张图片中，大部分的内容是不包括物体的，为了让没有物体的计算部分贡献小于有物体的部分，必须选取一个合适的权重系统，让训练时网络倾向于有物体的部分，一般可取值为0.5、0.6等。对于角度的预测，采用了平方损失函数来计算，因为标注的角度大小在-90度到90度之间，所以训练时加上90度，最后乘以1/180，让角度值大小在0和1之间。实际预测结果时，会乘以180，再减去90度，反演出真是预测出的角度大小。训练时将训练图片统一缩放成416*416的大小，并将图片中的每一个像素值乘以1/255，使得像素值的大小在0，1之间。将缩放后的图像数据输入到网络模型中，设置学习率初始值为0.001，批样本数为16，训练迭代100轮，保留最佳权重模型。

训练好模型后，将待检测的图片缩放为416*416的大小，输入网络模型，加载最佳权重模型，得到检测结果并在终端打印出检测出各物体的角度信息。

实施例二：

本实施例提供一种基于yolo改进的物体智能检测系统，所述系统包括：

图片获取模块：用于获取待测物体图片；

检测输出模块：用于将待测物体图片输入训练好的智能识别网络模型中，获取检测结果和对应的物体角度。

所述智能识别网络模型基于深度学习框架Pytorch构建，以yolo网络模型为基础，采用Darknet-53模型结构，包括53个卷积层、23个残差模块、5次降采样、3个不同尺度下的预测结果输出端以及设置在各预测结果输出端上的attention模块。

实施例三：

本发明实施例还提供了一种基于yolo改进的物体智能检测系统，包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行实施例一所述方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于yolo改进的物体智能检测方法，其特征在于，包括以下步骤：

获取待测物体图片；

将待测物体图片输入训练好的智能识别网络模型中，获取检测结果和对应的物体角度；

所述智能识别网络模型以yolo网络模型为基础，在输出端上设有attention模块以识别物体角度。

2.根据权利要求1所述的基于yolo改进的物体智能检测方法，其特征在于，所述智能识别网络模型基于深度学习框架Pytorch构建，以yolo网络模型为基础，采用Darknet-53模型结构，包括53个卷积层、23个残差模块、5次降采样、3个不同尺度下的预测结果输出端以及设置在各预测结果输出端上的attention模块。

3.根据权利要求1所述的基于yolo改进的物体智能检测方法，其特征在于，所述3个不同尺度下的预测结果输出端的输出尺度分别为52*52、26*26、13*13。

4.根据权利要求1所述的基于yolo改进的物体智能检测方法，其特征在于，所述智能识别网络模型的训练方法包括：

采集物体图片形成数据集，利用数据增强方法对所述数据集进行扩充，并对所述数据集中的每一张图片标注物体的类被、位置以及角度信息，并将数据集分为训练集和测试集；

将训练集和测试集的图片输入到智能识别网络模型，进行训练和测试，得到训练好的智能识别网络模型。

5.根据权利要求1所述的基于yolo改进的物体智能检测方法，其特征在于，采集物体图片形成数据集，利用数据增强方法对所述数据集进行扩充的方法包括：

采集不同环境下、不同大小、不同角度、不同光照下的物体的图片作为数据集；

对所述数据集采用随机垂直翻转、随机旋转任意角度、随机缩放、随机水平翻转、水平平移和竖直平移的方法扩充数据集。

6.根据权利要求1所述的基于yolo改进的物体智能检测方法，其特征在于，将数据集分为训练集和测试集的方法包括：

将数据集打乱，按照9：1的比例随机划分为训练集和测试集。

7.根据权利要求1所述的基于yolo改进的物体智能检测方法，其特征在于，将训练集和测试集的图片输入到智能识别网络模型，进行训练和测试的方法包括：

将训练集中的图片统一缩放成416*416的大小，并将图片中的每一个像素值乘以1/255，使得像素值的大小在0，1之间；

对网络模型中的权重进行初始化，加载yolo网络模型的预训练权重；

将缩放后的图像数据输入到网络模型中，设置学习率初始值为0.001，批样本数为16，训练迭代100轮，保留最佳权重模型，得到训练好的智能识别网络模型。

8.根据权利要求1所述的基于yolo改进的物体智能检测方法，其特征在于，将待测物体图片输入训练好的智能识别网络模型中的方法包括：

将待检测的生活物体图片大小缩放成416*416，输入到训练好的智能识别网络模型中。

9.一种基于yolo改进的物体智能检测系统，其特征在于，所述系统包括：

图片获取模块：用于获取待测物体图片；

检测输出模块：用于将待测物体图片输入训练好的智能识别网络模型中，获取检测结果和对应的物体角度；

所述智能识别网络模型基于深度学习框架Pytorch构建，以yolo网络模型为基础，采用Darknet-53模型结构，包括53个卷积层、23个残差模块、5次降采样、3个不同尺度下的预测结果输出端以及设置在各预测结果输出端上的attention模块。

10.一种基于yolo改进的物体智能检测系统，其特征在于，包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行根据第一方面所述方法的步骤。

Images