CN114821408A - 基于旋转目标检测的包裹位置实时检测方法、装置、设备和介质 - Google Patents

Abstract

本发明公开了一种基于旋转目标检测的包裹位置实时检测方法、装置、计算机设备和存储介质，包括：根据获取的实时物流包裹图片得到数据集；根据数据集的特点，设计的旋转目标检测网络模型采用目标检测网络Yolov5作为基础架构，在特征融合Neck中，修改PANet结构为双向特征金字塔的特征融合网络Bi‑FPN，在Bi‑FPN中插入注意力机制，在检测层Head中调整检测头分支数以及增加角度分类输出和角度损失函数，根据增加的角度分类输出预测物流包裹的旋转矩形框；利用数据集对模型进行训练；将获取的视频流输入训练好的模型，根据输出包裹的实时状态信息，实现包裹单件分离。本发明提供的方法，不受包裹尺寸限制，检测精度高。

Description

基于旋转目标检测的包裹位置实时检测方法、装置、设备和 介质

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于旋转目标检测的包裹位置实时检测方法、装置、计算机设备和存储介质。

背景技术

随着电商以及物流行业的快速发展，交通运输日益便捷，使得快递物流行业业务量激增，快递包裹的类型和数量不断增多，包裹识别算法在物流环节中实时准确快速定位的需求越来越明显，企业需要提高包裹运送和分拣的效率，对物流配送速度和管理都带来很大的挑战。

目前，物流行业的包裹分拣通常采用成本低廉的人工分拣，但物流包裹数量巨大，使得工人工作量和劳动量大，并且效率低下。

随着计算机视觉技术在物流包裹单件分离的广泛应用，以及和图像采集、传送带等硬件设备的配合，大大提高包裹分拣效率，逐渐替代人工分拣方式。但是，现有的技术大多都是传统的测量方法，难以满足多品种、高精度的测量需求，而且需要配合多个2D相机或者多个3D相机，布设复杂要求高，包裹的实时准确检测缺少实用有效的解决方案。并且，要在2m/s运输速度的传送带上得到高分辨率高帧率低延时的图片，对3D相机要求很高，满足要求的相机成本昂贵，不利于大规模流水线上配置，严重影响分拣效率。

发明内容

为了解决上述现有技术的不足，本发明提供了一种基于旋转目标检测的包裹位置实时检测方法、装置、计算机设备和存储介质，该方法基于深度学习设计轻量化的旋转目标检测网络模型，不受包裹尺寸大小限制，检测精度高，具有快速性、准确性、稳定性与可维护性，并且对相机要求不高，降低了硬件设备的成本，为后续的控制物流包裹快速有序地分拣提供可靠的保障。

本发明的第一个目的在于提供一种基于旋转目标检测的包裹位置实时检测方法。

本发明的第二个目的在于提供一种基于旋转目标检测的包裹位置实时检测装置。

本发明的第三个目的在于提供一种计算机设备。

本发明的第四个目的在于提供一种存储介质。

本发明的第一个目的可以通过采取如下技术方案达到：

一种基于旋转目标检测的包裹位置实时检测方法，所述方法包括：

获取实时的物流包裹图片，根据所述物流包裹图片，得到数据集；

根据所述数据集的特点，设计旋转目标检测网络模型，包括：所述旋转目标检测网络模型采用目标检测网络Yolov5作为基础架构，在特征融合Neck中，修改PANet结构为双向特征金字塔的特征融合网络Bi-FPN，在特征融合网络Bi-FPN中插入注意力机制；在检测层Head中调整检测头分支数以及增加角度分类输出和角度损失函数，根据所述角度分类输出预测物流包裹的旋转矩形框；

利用所述数据集对旋转目标检测网络模型进行训练；

将获取的视频流输入训练好的旋转目标检测网络模型，输出包裹的实时状态信息；根据所述包裹的实时状态信息，实现包裹单件分离。

进一步的，所述特征融合网络Bi-FPN通过在同一尺度的输入节点和输出节点之间增加跳跃连接，为了在不增加额外计算的基础上，在相同层融合更多的特征，并能进行自顶向下和自底向上的双向特征融合，实现多尺度特征融合。

进一步的，所述在特征融合网络Bi-FPN中插入注意力机制，包括：

在特征融合网络Bi-FPN中插入多个注意力机制CBAM；

所述注意力机制CBAM在CSP模块与基础卷积CBL模块之间插入。

进一步的，所述在检测层Head中调整检测头分支数，包括：

基于所述数据集中未出现小目标包裹的特点，去掉检测层Head中负责预测较小尺寸的预测模块，根据实时的包裹在图片中的大小占比，保留适应大小的预测模块。

进一步的，对检测层Head保留的预测模块，增加角度分类输出维度，用来分类输出角度值；其中，所述角度为设定阈值；

将输出角度值与水平框表示的信息相结合，预测出包裹的旋转矩形框。

进一步的，所述角度损失函数为：使用二进制交叉熵和Logits损失函数计算输出角度值的损失；

所述设计旋转目标检测网络模型还包括修改置信度损失函数，具体为：

用旋转矩形框IOU代替水平框IOU作为置信度损失函数中的权重系数，使置信度损失与输出角度值相关联。

进一步的，所述设计旋转目标检测网络模型还包括改善非极大值抑制算法NMS，具体为：

使用结合角度信息的旋转矩形框IOU计算替换原基于水平框的IOU计算，过滤掉多余重叠的旋转预测框。

进一步的，利用所述数据集对旋转目标检测网络模型进行训练，包括：

利用K-mean聚类算法获取对应的锚框Anchor，进而更新特征图的锚框；

根据所述数据集样本量少的特点，所述旋转目标检测网络模型选择使用Adam优化器；

对所述旋转目标检测网络模型进行多尺度训练，通过设置不同的尺度，训练时每个迭代周期随机选择一种尺度的输入图片进行训练，增强模型鲁棒性，最后得到网络权重。

进一步的，在利用所述数据集对旋转目标检测网络模型进行训练前，对所述数据集进行预处理；

利用预处理后的数据集对旋转目标检测网络模型进行训练；

所述预处理包括数据清洗和数据增强，具体包括：

所述数据清洗是对劣质的、标注有误的图片进行排除和处理；

所述数据增强是针对所述数据集的特点与数据集中样本数量，采取数据增强方式或数据增广方法，增加数据集中样本的数量。

进一步的，所述根据所述物流包裹图片，得到数据集，包括：

对每个所述物流包裹图片进行标注，得到每个物流包裹的多边形角点坐标信息；

根据所述多边形角点坐标信息，获取最小外接矩形框的四个角点坐标；

将所述四个角点坐标转换为长边表示法；

将每个物流包裹的长边表示法作为一个样本，所有物流包裹的长边表示法构成样本的数据集。

本发明的第二个目的可以通过采取如下技术方案达到：

一种基于旋转目标检测的包裹位置实时检测装置，所述装置包括：

数据集获取模块，用于获取实时的物流包裹图片，根据所述物流包裹图片，得到数据集；

旋转目标检测网络模型设计模块，用于根据所述数据集的特点，设计旋转目标检测网络模型，包括：所述旋转目标检测网络模型采用目标检测网络Yolov5作为基础架构，在特征融合Neck中，修改PANet结构为双向特征金字塔的特征融合网络Bi-FPN，在特征融合网络Bi-FPN中插入注意力机制；在检测层Head中调整检测头分支数以及增加角度分类输出和角度损失函数，根据所述角度分类输出预测物流包裹的旋转矩形框；

旋转目标检测网络模型训练模块，用于利用所述数据集对旋转目标检测网络模型进行训练；

包裹实时状态检测模块，用于将获取的视频流输入训练好的旋转目标检测网络模型，输出包裹的实时状态信息；根据所述包裹的实时状态信息，实现包裹单件分离。

本发明的第三个目的可以通过采取如下技术方案达到：

一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的包裹位置实时检测方法。

本发明的第四个目的可以通过采取如下技术方案达到：

一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的包裹位置实时检测方法。

本发明相对于现有技术具有如下的有益效果：

基于包裹图片得到的数据集，设计轻量化的旋转目标检测网络模型，该网络模型不受包裹厚度尺寸大小限制，检测精度高，从而使本发明提供的方法具有快速性、准确性、稳定性与可维护性，并且对相机要求不高，降低了硬件设备的成本，为后续的控制物流包裹快速有序地分拣提供了可靠的保障。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例1的基于旋转目标检测的包裹位置实时检测方法的流程图。

图2为本发明实施例1的旋转目标检测网络模型的结构图。

图3为本发明实施例1的多特征融合器Bi-FPN的的结构图。

图4为本发明实施例2的基于旋转目标检测的包裹位置实时检测装置的结构框图。

图5为本发明实施例3的计算机设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。应当理解，描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

实施例1：

如图1所示，本实施例提供了一种基于旋转目标检测的包裹位置实时检测方法，包括以下步骤：

S101、获取实时的物流包裹图片，根据物流包裹图片，得到数据集。

进一步的，步骤S101包括：

(1)获取实时的物流包裹图片。

利用RGB相机获取实时的物流包裹图片。

具体的，利用传送带上方固定位置的RGB相机获取实时的物流包裹图片。

(2)根据物流包裹图片，得到数据集。

通过图像标注软件对每个物流包裹图片进行标注，得到每个物流包裹的多边形角点坐标信息；根据每个物流包裹的多边形角点坐标信息，获取每个物流包裹的最小外接矩形框的四个角点坐标；然后将每个物流包裹四个角点坐标转换为长边表示法(x_c,y_c,l_s,s_s,θ)，将每个物流包裹的长边表示法作为一个样本，以此获得具有角度方向信息的矩形框标注格式的样本，其中x_c、y_c为最小外接矩形框的中心点坐标，l_s为最小外接矩形框的最长边，s_s为矩形框的最短边，θ为横轴逆时针方向旋转到长边的夹角，角度为负。所有的样本构成数据集，即所有物流包裹的长边表示法构成数据集。

具体的，通过一款图形界面的图像标注软件Labelme，使用多种形式的图像数据标注方式之一的Create Polygon进行数据集的标注；根据前述标注得到的物流包裹多边形角点坐标信息，获取每个包裹的最小外接矩形框的四个角点坐标；然后将其转换为长边表示法(x_c,y_c,l_s,s_s,θ)作为一个样本，其中x_c、y_c为最小外接矩形框的中心点坐标，l_s为最小外接矩形框最长边，s_s为矩形框另一边，θ为横轴逆时针方向旋转到长边的夹角，角度为负，以此获得具有角度方向信息的矩形框标注格式的样本，所有的样本构成数据集。

S102、根据数据集特点，设计旋转目标检测网络模型。

(1)采用目标检测网络Yolov5作为旋转目标检测网络模型的基础架构，在基础架构上进行修改。

进一步的，步骤(1)具体包括：

(1-1)修改原有多尺度特征融合器FPN和PAN结合的PANet结构为双向特征金字塔网络Bi-FPN；

(1-2)添加轻量级的注意力机制CBAM；

(1-3)修改检测头Head，为网络预测头增加角度θ维度，具体添加180个角度分类通道，增加网络输出特征层数，使得每个锚框Anchor负责预测的参数数量为5+num_classes+angle_classes，其中数量5表示(x_c,y_c,longside,shortside,score)；

(1-4)修改检测头分支，保留一个检测分支，减少两个检测分支；

(1-5)将通过K-mean聚类算法从包裹数据集中锚框Anchor，应用于特征图上；

(1-6)改善非极大值抑制算法NMS，结合角度信息的矩形框IOU计算替换原基于水平框的IOU计算，过滤多余重叠的旋转预测框；

(1-7)损失函数部分，为新增添的角度分类输出维度增加角度分类损失BCEWithLogitsLoss，修改原有水平框置信度损失为旋转框置信度损失。

具体的，修改多尺度特征融合器Bi-FPN包括：修改原有多尺度特征融合器FPN和PAN结合的PANet结构为双向特征金字塔网络Bi-FPN，与Yolov5相结合时，只选择Bi-FPN五个节点中的三个节点，将骨干网络Backbone中P5_in、P4_in、P3_in连接输入至Bi-FPN，得到P5_out、P4_out、P3_out；Bi-FPN通过在同一尺度的输入节点Pn_in到输出节点Pn_out之间加一个跳跃连接，目的是为了位于相同层的输入节点和输出节点之间的连接能在不增加额外计算成本基础上融合更多的特征，并反复进行自顶向下和自底向上的双向特征融合，完成多尺度特征融合，最后输出至网络预测头。具体包括：将骨干网络提取的第3、4、5层特征作为特征融合网络Bi-FPN自底向上的3个输入节点的输入特征；对于第3层，当前层的中间特性由当前层的输入特征和第4层的中间特性进行加权融合得到，当前层的输出特征由当前层的输入特征与当前层的中间特性进行加权融合得到；对于第4层，当前层的中间特性由当前层的输入特征和第5层的中间特性进行加权融合得到，当前层的输出特征由当前层的输入特征、当前层的中间特性以及第3层的输出特性进行加权融合得到；对于第5层，当前层的中间特性为当前层的输入特征，输出特性由当前层的输入特征与第4层的输出特征加权融合得到。

具体的，添加注意力机制CBAM包括：在上述特征融合网络Bi-FPN中的每处跨阶段局部网络CSP模块与基础卷积CBL模块之间，添加轻量级的CBAM模块，一共三处，CBAM按顺序先通过通道维度再通过空间维度，依次且独立地推断出注意力映射图，然后将注意力映射图与输入特征映射相乘来进行自适应特征细化修饰，并配合进行端到端训练；

具体的，增加角度分类输出维度包括：在上述多尺度特征融合模块后的预测头最后输出部分，增添180维角度信息的输出，用0～179数值表示的角度值与水平框表示信息相结合预测出包裹的旋转矩形框；

具体的，调整检测头分支数包括：根据所述物流包裹数据集中普遍没出现小目标包裹特点，去掉原有预测头Head中的small size和middle size的Detect预测模块，根据真实场景下包裹在图片中的大小占比，保留适应大小的large size预测模块，从而减少后续不必要的非极大值抑制NMS计算，降低实际预测包裹目标的计算成本；

具体的，添加与修改损失函数包括：添加角度分类损失，使用二进制交叉熵和Logits损失函数计算角度分类的损失；用旋转框IOU代替水平框IOU作为置信度损失函数中的权重系数，使得置信度损失与角度预测结果相关联。

(2)旋转目标检测网络模型的结构。

具体的，如图2所示，旋转目标检测网络模型的基本架构分为三大部分，分别为骨干网络Backbone、特征融合Neck以及检测层Head。

(2-1)骨干网络Backbone。

在骨干网络Backbone中，使用轻量且具有很强特征提取能力的CSPDarknet53作为骨干网络，其中借鉴CSPNet的设计思路设计CSP结构，增强卷积学习能力，降低计算成本。

(2-2)特征融合Neck。

在特征融合Neck中，修改原有多尺度特征融合器FPN和PAN结合的PANet结构为双向特征金字塔网络Bi-FPN。

具体的，如图3所示，多尺度特征融合器Bi-FPN的三个输入节点，是从骨干网络提取的3-5层特征P3_in、P4_in、P5_in，P3_td是自上而下路径中第3层的中间特性，由P3_in与第四层的中间特性P4_td进行加权融合得到，P3_out是自下而上路径中第3层的输出特性，由P3_in与中间特性P3_td加权融合得到。规律是：输入特征会被反复应用自顶向下和自底向上的双向特征融合，并且同一尺度的输入会直接连接至输出节点，不增加计算成本的基础上增加特征融合，这些融合的特征被馈送到分类回归子网络。

在特征融合Neck中，添加轻量型的注意力机制CBAM，按顺序先通过通道注意力模块再通过空间注意力模块，分别进行通道与空间上的Attention。具体地，在特征融合网络Bi-FPN中三处插入注意力机制CBAM，每一处都在其CSP模块与基础卷积CBL模块之间添加，如图2所示。

(2-3)检测层Head。

如图2所示，检测层Head中保留了head P5的输出，去掉原有两个负责预测较小尺寸的head，降低计算成本；并且head P5输出维度中，为了增加角度信息的输出，添加180维，用来分类输出角度值，将其与水平框表示信息相结合，预测出包裹的旋转矩形框；并添加对应的角度分类损失来学习角度，后续的IOU操作将使用旋转IOU进行计算。

S103、利用数据集对旋转目标检测网络模型进行训练。

进一步的，步骤S103包括：

(1)利用数据集对旋转目标检测网络模型进行训练。

首先在上述物流包裹数据集上使用K-mean聚类算法获取对应锚框Anchor，更新应用于特征图的锚框；根据数据集样本量少的特点，选择使用对小型数据集训练有优势的Adam优化器训练；进行多尺度训练，通过设置几种不同尺度，训练时每个一定迭代周期随机选择一种尺度输入图片进行训练，增强模型鲁棒性；最后，训练并得到网络权重。

上述模型训练可以在服务器高性能的GPU上进行，参数设置：用K-mean聚类出合适的锚框Anchor，其中负责head P5的Anchor设置为[89，67]；优化器使用Adam，参数设置初始学习率为0.0035，momentum为0.93；启用多尺度训练；Batch_size为64，Epochs为300。

(2)对数据集进行预处理，利用预处理后数据集对旋转目标检测网络模型进行训练。

优选的，利用预处理后数据集对旋转目标检测网络模型进行训练，可以提高网络模型的训练效率。利用预处理后数据集对旋转目标检测网络模型进行训练的过程和S103中步骤(1)相同。

预处理包括数据清洗和数据增强。

数据清洗是对劣质的、标注有误的图片进行排除和处理。

数据增强是针对自制物流包裹数据集的特点与数量，采取对应解决方案的数据增强方式或数据增广方法，增加数据集的数量。数据增强包括Mosaic增强、Cutout马赛克增强、Mixup增强、HSV色域增强以及水平与垂直翻转增强等数据集增强或增广方式。

具体的，Mosaic增强，将四张样本图片按四个方向排好合为一张大样本图，然后对其进行随机旋转、缩放、平移、剪裁、透视等仿射变化，最后将图片拉伸为原始样本尺寸。

具体的，Cutout马赛克增强，随机使得样本图片中部分区域进行0像素的替换。

具体的，Mixup增强，随机将两张样本图片以一定的比例混合在一起；随机角度旋转增强，将样本图片以随机角度方向进行旋转，并拉伸图片尺寸保证图片中目标信息完整不丢失，改善数据集样本中角度不均衡的情况。

具体的，HSV色域增强以及水平与垂直翻转增强等数据集增强或增广方式。

S104、将相机获取的视频流输入训练好的旋转目标检测网络模型，输出包裹的实时状态信息；根据包裹的实时状态信息，控制包裹的运行速度，从而实现包裹单件分离。

(1)利用训练好的旋转目标检测网络模型，获得包裹的实时状态信息。

用上述训练好的旋转目标检测网络权重，输入为传送带上相机的视频流，输出传送带上实时的包裹数量信息和位置状态信息，可视化包裹旋转矩形框和角点数值，计算筛选出传送带向前传送方向上最靠前的第一个包裹，进行后续的控制分拣。

(2)根据包裹的实时状态信息，控制包裹的运行速度，从而实现包裹单件分离。

从上述网络模型输出的包裹位置坐标为相机坐标系中的坐标，需要转变为相对于传送带的真实世界坐标，具体的，以相机图像中心点表示的位置为原点，所形成的单位大小表示为图像单位像素表示的真实世界物理尺寸，如10毫米/像素，结合相机焦距参数完成相机坐标到实际空间坐标的换算，最后将转换后的实际坐标输入至传送带控制系统，控制最靠前的第一个包裹皮带调快运行，其余包裹所在皮带调慢或停止，以有序的控制包裹的前进与分离。

本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。

应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

实施例2：

如图4所示，本实施例提供了一种基于旋转目标检测的包裹位置实时检测装置，该装置包括数据集获取模块401、旋转目标检测网络模型设计模块402、旋转目标检测网络模型训练模块403和包裹实时状态检测模块404，其中：

数据集获取模块401，用于获取实时的物流包裹图片，根据所述物流包裹图片，得到数据集；

旋转目标检测网络模型设计模块402，用于根据所述数据集的特点，设计旋转目标检测网络模型，包括：所述旋转目标检测网络模型采用目标检测网络Yolov5作为基础架构，在特征融合Neck中，修改PANet结构为双向特征金字塔的特征融合网络Bi-FPN，在特征融合网络Bi-FPN中插入注意力机制；在检测层Head中调整检测头分支数以及增加角度分类输出和角度损失函数，根据所述角度分类输出预测物流包裹的旋转矩形框；

旋转目标检测网络模型训练模块403，用于利用所述数据集对旋转目标检测网络模型进行训练；

包裹实时状态检测模块404，用于将获取的视频流输入训练好的旋转目标检测网络模型，输出包裹的实时状态信息；根据所述包裹的实时状态信息，实现包裹单件分离。

本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

实施例3：

本实施例提供了一种计算机设备，该计算机设备可以为计算机，如图5所示，其通过系统总线501连接的处理器502、存储器、输入装置503、显示器504和网络接口505，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质506和内存储器507，该非易失性存储介质506存储有操作系统、计算机程序和数据库，该内存储器507为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器502执行存储器存储的计算机程序时，实现上述实施例1的包裹位置实时检测方法，如下：

获取实时的物流包裹图片，根据所述物流包裹图片，得到数据集；

根据所述数据集的特点，设计旋转目标检测网络模型，包括：所述旋转目标检测网络模型采用目标检测网络Yolov5作为基础架构，在特征融合Neck中，修改PANet结构为双向特征金字塔的特征融合网络Bi-FPN，在特征融合网络Bi-FPN中插入注意力机制；在检测层Head中调整检测头分支数以及增加角度分类输出和角度损失函数，根据所述角度分类输出预测物流包裹的旋转矩形框；

利用所述数据集对旋转目标检测网络模型进行训练；

将获取的视频流输入训练好的旋转目标检测网络模型，输出包裹的实时状态信息；根据所述包裹的实时状态信息，实现包裹单件分离。

实施例4：

本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的包裹位置实时检测方法，如下：

获取实时的物流包裹图片，根据所述物流包裹图片，得到数据集；

根据所述数据集的特点，设计旋转目标检测网络模型，包括：所述旋转目标检测网络模型采用目标检测网络Yolov5作为基础架构，在特征融合Neck中，修改PANet结构为双向特征金字塔的特征融合网络Bi-FPN，在特征融合网络Bi-FPN中插入注意力机制；在检测层Head中调整检测头分支数以及增加角度分类输出和角度损失函数，根据所述角度分类输出预测物流包裹的旋转矩形框；

利用所述数据集对旋转目标检测网络模型进行训练；

将获取的视频流输入训练好的旋转目标检测网络模型，输出包裹的实时状态信息；根据所述包裹的实时状态信息，实现包裹单件分离。

需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

综上所述，本发明提供的检测方法通过获取实时的物流包裹图片，得到数据集，根据数据集的特点，设计轻量化的旋转目标检测网络模型，该模型采用目标检测网络Yolov5为基础架构，修改原有多尺度特征融合器FPN和PAN结合的PANet结构为双向特征金字塔网络Bi-FPN，在网络Bi-FPN中添加轻量级的注意力机制CBAM；检测头Head部分，为网络预测头增加角度θ维度，添加180个角度分类通道，增加网络输出特征层数，使得每个锚框Anchor负责预测的参数数量为5+num_classes+angle_classes，其中数量5表示(xc,yc,longside,shortside,score)；并修改检测头Head部分的检测头分支：减少检测分支，保留适应大小的检测分支；将通过K-mean聚类算法从包裹数据集中锚框Anchor，应用于特征图上；改善非极大值抑制算法NMS，结合角度信息使用旋转框IOU替换原水平框IOU的计算，过滤多余重复的旋转预测框；损失函数部分，为新增添的角度分类输出维度增加角度分类损失BCEWithLogitsLoss，修改原有水平框置信度损失为旋转框置信度损失。由于本发明设计的模型不受包裹厚度尺寸大小限制，计算速度快，检测精度高，而且对相机的要求不高，为后续的控制物流包裹快速有序地分拣提供可靠的保障。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (10)

1.一种基于旋转目标检测的包裹位置实时检测方法，其特征在于，所述方法包括：

获取实时的物流包裹图片，根据所述物流包裹图片，得到数据集；

根据所述数据集的特点，设计旋转目标检测网络模型，包括：所述旋转目标检测网络模型采用目标检测网络Yolov5作为基础架构，在特征融合Neck中，修改PANet结构为双向特征金字塔的特征融合网络Bi-FPN，在特征融合网络Bi-FPN中插入注意力机制；在检测层Head中调整检测头分支数以及增加角度分类输出和角度损失函数，根据所述角度分类输出预测物流包裹的旋转矩形框；

利用所述数据集对旋转目标检测网络模型进行训练；

将获取的视频流输入训练好的旋转目标检测网络模型，输出包裹的实时状态信息；根据所述包裹的实时状态信息，实现包裹单件分离。

2.根据权利要求1所述的包裹位置实时检测方法，其特征在于，所述特征融合网络Bi-FPN通过在同一尺度的输入节点和输出节点之间增加跳跃连接，为了在不增加额外计算的基础上，在相同层融合更多的特征，并能进行自顶向下和自底向上的双向特征融合，实现多尺度特征融合。

3.根据权利要求1所述的包裹位置实时检测方法，其特征在于，所述在特征融合网络Bi-FPN中插入注意力机制，包括：

在特征融合网络Bi-FPN中插入多个注意力机制CBAM；

所述注意力机制CBAM在CSP模块与基础卷积CBL模块之间插入。

4.根据权利要求1所述的包裹位置实时检测方法，其特征在于，所述在检测层Head中调整检测头分支数，包括：

基于所述数据集中未出现小目标包裹的特点，去掉检测层Head中负责预测较小尺寸的预测模块，根据实时的包裹在图片中的大小占比，保留适应大小的预测模块。

5.根据权利要求4所述的包裹位置实时检测方法，其特征在于，对检测层Head保留的预测模块，增加角度分类输出维度，用来分类输出角度值；其中，所述角度为设定阈值；

将输出角度值与水平框表示的信息相结合，预测出包裹的旋转矩形框。

6.根据权利要求5所述的包裹位置实时检测方法，其特征在于，所述角度损失函数为：使用二进制交叉熵和Logits损失函数计算输出角度值的损失；

所述设计旋转目标检测网络模型还包括修改置信度损失函数，具体为：

用旋转矩形框IOU代替水平框IOU作为置信度损失函数中的权重系数，使置信度损失与输出角度值相关联。

7.根据权利要求6所述的包裹位置实时检测方法，其特征在于，所述设计旋转目标检测网络模型还包括改善非极大值抑制算法NMS，具体为：

使用结合角度信息的旋转矩形框IOU计算替换原基于水平框的IOU计算，过滤掉多余重叠的旋转预测框。

8.根据权利要求1所述的包裹位置实时检测方法，其特征在于，利用所述数据集对旋转目标检测网络模型进行训练，包括：

利用K-mean聚类算法获取对应的锚框Anchor，进而更新特征图的锚框；

根据所述数据集样本量少的特点，所述旋转目标检测网络模型选择使用Adam优化器；

对所述旋转目标检测网络模型进行多尺度训练，通过设置不同的尺度，训练时每个迭代周期随机选择一种尺度的输入图片进行训练，增强模型鲁棒性，最后得到网络权重。

9.根据权利要求1所述的包裹位置实时检测方法，其特征在于，在利用所述数据集对旋转目标检测网络模型进行训练前，对所述数据集进行预处理；

利用预处理后的数据集对旋转目标检测网络模型进行训练；

所述预处理包括数据清洗和数据增强，具体包括：

所述数据清洗是对劣质的、标注有误的图片进行排除和处理；

所述数据增强是针对所述数据集的特点与数据集中样本数量，采取数据增强方式或数据增广方法，增加数据集中样本的数量。

10.根据权利要求1-9任一项所述的包裹位置实时检测方法，其特征在于，所述根据所述物流包裹图片，得到数据集，包括：

对每个所述物流包裹图片进行标注，得到每个物流包裹的多边形角点坐标信息；

根据所述多边形角点坐标信息，获取最小外接矩形框的四个角点坐标；

将所述四个角点坐标转换为长边表示法；

将每个物流包裹的长边表示法作为一个样本，所有物流包裹的长边表示法构成样本的数据集。

Images