CN113343767A - 物流违规操作的识别方法、装置、设备和存储介质 - Google Patents

物流违规操作的识别方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN113343767A
CN113343767A CN202110510911.9A CN202110510911A CN113343767A CN 113343767 A CN113343767 A CN 113343767A CN 202110510911 A CN202110510911 A CN 202110510911A CN 113343767 A CN113343767 A CN 113343767A
Authority
CN
China
Prior art keywords
logistics
detection model
violation
target
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110510911.9A
Other languages
English (en)
Inventor
徐梦佳
李斯
杨周龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongpu Software Co Ltd
Original Assignee
Dongpu Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongpu Software Co Ltd filed Critical Dongpu Software Co Ltd
Priority to CN202110510911.9A priority Critical patent/CN113343767A/zh
Publication of CN113343767A publication Critical patent/CN113343767A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种物流违规操作的识别方法、装置、设备和存储介质，针对物流分拨中心对工作人员的违规行为不能有效监测的问题，通过采集物流分拨中心中包含工作人员跨越或踩踏流水线的历史图像，对历史图像进行处理，得到目标数据集；创建基于YOLOv5检测模型的目标检测模型；对目标检测模型进行训练，得到物流违规检测模型；基于物流违规检测模型，对待测图像进行识别，判断是否存在物流操作违规行为。实现自动检测物流操作违规行为，有效预防因工作人员的违规操作而产生安全风险及降低工作效率。

Description

物流违规操作的识别方法、装置、设备和存储介质
技术领域
本发明属于物流管理的技术领域，尤其涉及一种物流违规操作的识别方法、装置、设备和存储介质。
背景技术
近年来，网络购物规模的爆发式增长使物流快递行业快速发展。在操作上，流水线逐渐取代人工，无论是分拣还是输送，都离不开流水线的身影。
流水线在物流快递行业的应用主要有以下几个方面：
1.货物的分流及合流，多工位同样产品生产模式中，需要对产品进行集中操作，简化工人多工位操作的弊端使工作效率及模式提高，对产品的品质也能做到单点集中的管控。
2.货物的分拣，多品种产品区分处理，可以在分流及合流线基础上引入各种检测及区分仪器(例如：重量、温度、大小、湿度等)，并且可以在识别仪器的后端引入分流线，简化工人劳动强度，因为直接采用了仪器去辨识物品，稳定可靠性提高。
3.货物的输送及存储，主要体现在不易人工搬运、需要稳定输送及放置的货物，减少人工，并且提高输送的稳定性及效率，后端可引入立体仓储，货物的自动存放及取出安全稳定，对空间的节省也有很大作用。
虽然流水线简化了人工大部分工作，但是在货物的处理过程中，人工是不可或缺的。如流水线上各工位的运行情况需要人工协调与监察，便于物流工作的顺利进行及发现或处理流水线故障等事件。
由于快递行业每天包裹数量巨大，但是工作人员素质参差不齐，有的工作人员为了省时间、图方便跨越流水线或者从流水线上行走等违规现象，存在安全隐患。
发明内容
本发明的目的是提供一种物流违规操作的识别方法、装置、设备和存储介质，可自动检测物流操作违规行为，预防因工作人员的违规操作而产生安全风险及降低工作效率。
为解决上述问题，本发明的技术方案为：
一种物流违规操作的识别方法，包括：
采集物流分拨中心中包含工作人员跨越或踩踏流水线的历史图像，对历史图像进行处理，得到目标数据集；
创建YOLOv5检测模型，将YOLOv5检测模型的主干网络替换为GhostNet，得到目标检测模型；
基于目标数据集，对目标检测模型进行训练，得到物流违规检测模型；
基于物流违规检测模型，对待测图像进行识别，判断是否存在物流操作违规行为。
根据本发明一实施例，所述对历史图像进行处理，得到目标数据集进一步包括：
采用LabelImg工具对历史图像进行目标标注；
将目标标注后的历史图像按voc数据集的格式进行存储。
根据本发明一实施例，所述将目标标注后的历史图像按voc数据集的格式进行存储进一步包括：
创建voc数据集，将未标注的历史图像保存于JPEGImages文件夹中；
将标注后的历史图像保存于Annotations文件夹中；JPEGImages文件夹中的历史图像的名称与Annotations文件夹中的xml文件的名称一一对应；
在voc数据集的ImageSets\Main文件夹中建立四个txt文件，分别为 test.txt、train.txt、val.txt及trainval.txt，依次作为模型测试集、模型训练集、模型验证集及模型训练+验证集；按预设的比例分别为四个txt文件分配图像数据。
根据本发明一实施例，所述创建YOLOv5检测模型，将YOLOv5检测模型的主干网络替换为GhostNet，得到目标检测模型进一步包括：
依次创建Input、Backbone、Neck及Prediction网络结构，构成YOLOv5 检测模型；所述GhostNet包括Conv2d3x3及多个GhostBottleNeck模块；
将YOLOv5检测模型去掉预设部分的Backbone及Neck网络结构，将去掉的所述预设部分的Backbone及Neck网络结构替换为所述GhostNet中的 Conv2d3x3及多个GhostBottleNeck模块，得到目标检测模型。
根据本发明一实施例，所述基于目标数据集，对目标检测模型进行训练，得到物流违规检测模型进一步包括：
对目标检测模型的参数进行初始化，所述参数包括输入图像尺寸、初始学习率、GhostNet层类别种类以及卷积核的深度，并使用余弦退火策略降低初始学习率；
所述余弦退火策略的计算公式为：
Figure BDA0003060267420000031
其中，L表示学习率，i表示第i次训练，
Figure BDA0003060267420000032
分别表示第i次训练的学习率的最大值、最小值，Ni表示第i次训练中总的迭代次数，n表示第i次训练中第n次迭代，n＝1，…，N。
根据本发明一实施例，所述基于目标数据集，对目标检测模型进行训练，得到物流违规检测模型进一步包括：
将目标数据集按60％，30％及10％的比例，依次分为模型训练集，模型验证集及模型测试集；
将模型训练集、模型验证集及模型测试集输入目标检测模型中进行训练，在训练过程中，目标检测模型在初始锚框的基础上输出预测框，进而与真实框进行对比，计算误差，再反向更新，迭代网络参数，得到物流违规检测模型。
根据本发明一实施例，所述基于物流违规检测模型，对待测图像进行识别，判断是否存在物流操作违规行为进一步包括：
若检测到工作人员跨越或踩踏流水线，则存在物流操作违规行为，截取存在物流操作违规行为的图像，在物流分拨中心显示或播报。
一种物流违规操作的识别装置，包括：
数据处理模块，用于采集物流分拨中心中包含工作人员跨越或踩踏流水线的历史图像，对历史图像进行处理，得到目标数据集；
模型创建模块，用于创建YOLOv5检测模型，将YOLOv5检测模型的主干网络替换为GhostNet，得到目标检测模型；
模型训练模块，用于基于目标数据集，对目标检测模型进行训练，得到物流违规检测模型；
目标识别模块，用于基于物流违规检测模型，对待测图像进行识别，判断是否存在物流操作违规行为。
一种物流违规操作的识别设备，包括：
存储器和处理器，所述存储器中存储有指令，所述存储器和所述处理器通过线路互连；
所述处理器调用所述存储器中的所述指令，实现本发明一实施例中的物流违规操作的识别方法。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明一实施例中的物流违规操作的识别方法。
本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
1)本发明一实施例中的物流违规操作的识别方法，针对物流分拨中心对工作人员的违规行为不能有效监测的问题，通过采集物流分拨中心中包含工作人员跨越或踩踏流水线的历史图像，对历史图像进行处理，得到目标数据集；创建基于YOLOv5检测模型的目标检测模型；对目标检测模型进行训练，得到物流违规检测模型；基于物流违规检测模型，对待测图像进行识别，判断是否存在物流操作违规行为。实现自动检测物流操作违规行为，有效预防因工作人员的违规操作而产生安全风险及降低工作效率。
2)本发明一实施例中的物流违规操作的识别方法，将YOLOv5检测模型的主干网络替换为GhostNet，采用GhostNet以很小的代价生成许多能从原始特征发掘所需信息的“幻影”特征图(Ghost feature maps)，通过堆叠Ghost 模块得出Ghostbottleneck，进而搭建轻量级神经网络GhostNet，使用GhostNet可以获得图像更为显著的特征，提高物流操作违规行为的检测准确率。
3)本发明一实施例中的物流违规操作的识别方法，在对目标检测模型进行训练时，采用余弦退火(Cosine annealing)策略，通过余弦函数来降低学习率，余弦函数可随着x的增加余弦值首先缓慢下降，然后加速下降，再次缓慢下降。通过这种下降模式配合学习率，达到在模型训练初期学习率大，网络收敛迅速，在模型训练后期学习率小，使网络更好的收敛到最优解的目的。
4)本发明一实施例中的物流违规操作的识别方法，采用voc数据集的格式进行目标数据集的创建，对目标数据集的数据格式进行统一化及标准化，方便物流违规检测模型进行调用及训练，减少物流违规检测模型的图像处理时间，提高物流违规检测模型的输出效率。
附图说明
图1为本发明一实施例中的物流违规操作的识别方法；
图2为本发明一实施例中的YOLOv5检测模型的组成示意图；
图3为本发明一实施例中的GhostNet中卷积层的示意图；
图4为本发明一实施例中的Ghost module的示意图；
图5为本发明一实施例中的物流违规操作的识别装置的框图；
图6为本发明一实施例中的物流违规操作的识别设备的示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的一种物流违规操作的识别方法、装置、设备和存储介质作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。
实施例一
本实施例提供了一种物流违规操作的识别方法，请参看图1，该物流违规操作的识别方法包括以下步骤：
S1：采集物流分拨中心中包含工作人员跨越或踩踏流水线的历史图像，对历史图像进行处理，得到目标数据集；
S2：创建YOLOv5检测模型，将YOLOv5检测模型的主干网络替换为GhostNet，得到目标检测模型；
S3：基于目标数据集，对目标检测模型进行训练，得到物流违规检测模型；
S4：基于物流违规检测模型，对待测图像进行识别，判断是否存在物流操作违规行为。
本实施例采用基于YOLOv5+GhostNet的物流违规检测模型自动采集监控视频的图像，检测分拨中心工作人员的违规行为，无需专门的人员监督，节省了分拨中心的人力成本，有效防止因工作人员违规操作而产生安全风险及降低工作效率。
具体的，在步骤S1中，对历史图像进行处理，得到目标数据集进一步包括：
S201：采用LabelImg工具对历史图像进行目标标注；
S202：将目标标注后的历史图像按voc数据集的格式进行存储。
在步骤S201中，本实施例需采集物流分拨中心工作人员违规操作的图像，如跨越流水线、在流水线上行走等。将这些违规行为的图像作为历史图像，采集足够多的历史图像作为本实施例中的物流违规检测模型的训练样本。本实施例采集1000张历史图像作为训练样本，在模型训练之前，需对历史图像进行目标标记。本实施例采用LabelImg标注工具对历史图像进行目标标注，这里的目标包括脚、鞋子、流水线等特征。每张历史图像进行目标标注后，会得到一个xml文件，该xml文件中记载了图像的宽度、高度及标注目标。
在步骤S202中，由于本实施例中的YOLOv5模型的训练样本采用 voc2007数据集，因此，需要将历史图像按voc数据集的格式进行保存，该 voc数据集就作为本实施例中的目标数据集。具体包括以下步骤：
S301：创建voc数据集，将未标注的历史图像保存于JPEGImages文件夹中；
S302：将标注后的历史图像保存于Annotations文件夹中；JPEGImages文件夹中的历史图像的名称与Annotations文件夹中的xml文件的名称一一对应；
S303：在voc数据集的ImageSets\Main文件夹中建立四个txt文件，分别为test.txt、train.txt、val.txt及trainval.txt，依次作为模型测试集、模型训练集、模型验证集及模型训练+验证集；按预设的比例分别为四个txt文件分配图像数据。
也就是说，该voc数据集下包括以下文件夹：Annotations、ImageSets、JPEGImages、SegmentationClass、SegmentationObject。其中，JPEGImages文件夹用于存放安检装置中导出的历史图像，并将这些历史图像以“000001.jpg”的形式命名。Annotations文件夹用于存放类别标注后的图像。即将通过LabelImg标注工具生成的各个xml文件保存于Annotations文件夹中；并且，JPEGImages文件夹中的一张历史图像，对应Annotations文件夹中的一个同名的xml文件。ImageSets文件夹用于存放根据已生成的xml文件创建的trainval.txt、train.txt、test.txt、val.txt等文件。这四个txt文件可以存储于ImageSets文件夹下的Main文件夹中，其中test.txt表示模型测试集， train.txt表示模型训练集，val.txt表示模型验证集，trainval.txt表示模型训练+ 验证集。创建四个txt文件后，需要按预设的比例分别为这四个txt文件分配图像数据。本实施例中，将图像数据集中的50％的图像分配给trainval.txt文件，将图像数据集中剩下的50％的图像分配给test.txt文件，将trainval.txt文件中50％的图像分配给train.txt文件，将trainval.txt文件中剩下的50％的图像分配给val.txt文件。这四个txt文件中只存储图像的名称，格式如下：
000001
000002
000003
000004
以上，voc数据集就基本创建完成了。
在步骤S2中，创建YOLOv5检测模型，将YOLOv5检测模型的主干网络替换为GhostNet，得到目标检测模型进一步包括：
S401：依次创建Input、Backbone、Neck及Prediction网络结构，构成YOLOv5检测模型；创建包括Conv2d3x3及多个Ghost BottleNeck模块的GhostNet；
S402：将YOLOv5检测模型去掉预设部分的Backbone及Neck网络结构，将去掉的所述预设部分的Backbone及Neck网络结构替换为所述GhostNet中的Conv2d3x3及多个GhostBottleNeck模块，得到目标检测模型。
具体的，在步骤S401中，请参看图2，YOLOv5检测模型包括输入端 (Input)、Backbone、Neck及输出端(Prediction)四部分网络。其中，输入端(Input)对输入图像进行预处理，如计算初始锚框；BackBone用于图像特征提取；Neck用于多尺度特征融合；输出端(Prediction)用于目标检测，输出目标框的位置。
图2是YOLOv5检测模型的通用框架图，Yolov5共有四种模型用以满足不同的部署需求，分别是yolov5s，yolov5m，yolov5l，yolov5x，本实施例选用yolov5s作为物流违规检测模型的基本模型。该yolov5s在输入端Input 网络，通常需要输入3张608*608的图像。由于从视频中截取的图像的尺寸各异，因此，需要将不同尺寸的输入图像统一大小。本实施例首先采用高斯滤波器，去除输入图像的噪声(一些无关信息)。
高斯滤波器是一类根据高斯函数的形状来选择权值的线性平滑滤波器。高斯平滑滤波器对于抑制服从正态分布的噪声非常有效。对于图像处理来说，常用二维零均值离散高斯函数作平滑滤波器。其高斯函数为：
Figure 1
其中，σ为平滑参数，σ越大，高斯滤波器的频带就越宽，平滑程度就越好。
然后，将去除噪声后的图像进行Mosaic数据增强、自适应锚框计算及自适应图像缩放。
其中，由于小目标的平均精度(AP)一般比中目标和大目标低很多。而数据集中也包含大量的小目标，但比较麻烦的是小目标的分布并不均匀。根据2019年发布的论文《Augmentation for small object detection》记载，可知：
Min rectangle area Max rectangle area
Small object 0*0 32*32
Medium object 32*32 96*96
Large object 96*96 ∞*∞
可以看到小目标的定义是目标框的长宽0×0～32×32之间的物体。下面引用一用于YOLOv5模型训练的数据集，其小目标、中目标及大目标的占比如下：
Small Mid Large
Ratio of total boxes(％) 41.4 34.3 24.3
Ratio of images included(％) 52.3 70.7 83.0
在整个数据集中，小、中、大目标的占比并不均衡。如上表所示，该数据集中小目标占比达到41.4％，数量比中目标和大目标都要多。
本实施例采用Mosaic数据增强主要有以下优点：
1、丰富数据集：随机使用4张图片，随机缩放，再随机分布进行拼接，大大丰富了检测数据集，特别是随机缩放增加了很多小目标，让网络的鲁棒性更好。
2、减少GPU：虽然随机缩放，普通的数据增强也可以做，但考虑到很多人可能只有一个GPU，因此Mosaic增强训练时，可以直接计算4张图片的数据，使得一次训练所需的数据集的大小并不需要很大，一个GPU就可以达到比较好的效果。
自适应锚框计算，在YOLOv5算法中，针对不同的数据集，都会有初始设定长宽的锚框。每次训练时，自适应的计算不同训练集中的最佳锚框值。当然，如果觉得计算的锚框效果不是很好，也可以在代码中将自动计算锚框功能关闭。
自适应图像缩放，在常用的目标检测算法中，不同的图片长宽都不相同，因此常用的方式是将原始图片统一缩放到一个标准尺寸，再送入检测网络中。如YOLOv5算法中常用608*608尺寸。在项目实际使用时，很多图片的长宽比不同，因此缩放填充后，两端的黑边大小都不同，而如果填充的比较多，则存在信息冗余，影响推理速度。因此在YOLOv5的代码中(datasets.py的 letterbox函数)进行了修改，对原始图像自适应的添加最少的黑边。图像高度上两端的黑边变少了，在推理时，计算量也会减少，即目标检测速度会得到提升。
创建GhostNet模型，通常GhostNet模型包括卷积层、池化层以及全连接层，其中，卷积层包括多个Ghost BottleNeck模块。更详细地，GhostNet模型具体包括：Conv2d3x3、多个Ghost BottleNeck模块、Conv2dlxl、AvgPool 7x7、Conv2d lx1以及全连接层。本实施例主要采用GhostNet模型中的卷积层对图像特征进行提取。请参看图3，图中示出了GhostBottleNeck模块的结构示意图。Stride＝2的Ghost Bottleneck模块中具有学习特征与下采样的功能。 Ghost bottleneck模块的结构，很类似resnet结构，不同的是channel是先升维再降维。
在步骤S402中，将YOLOv5检测模型去掉预设部分的Backbone及Neck 网络结构，将去掉的所述预设部分的Backbone及Neck网络结构替换为所述GhostNet中的Conv2d3x3及多个Ghost BottleNeck模块，得到目标检测模型。
GhostNet模型引入了DepthWise卷积操作，即Ghost BottleNeck模块进行的相关操作。具体的，由于YOLOv5检测模型网络中的特征图之间存在冗余，相连接的两个框都展现出了特征图之间的相似性。所以对于相似的特征图可以不用常规的卷积操作进行获得，可以使用一个DepthWise卷积操作进行获得。如图4所示的Ghost module结构图，使用常规的卷积首先获得一半的特征图，然后在这一半的卷积上使用DepthWise卷积操作，从而获得另一部分特征图。进而很大程度的减少特征图之间的冗余，节省目标检测模型的计算量。
在YOLOv5检测模型的输出端，Prediction采用GIOU_Loss作为锚框的损失函数，输出目标框的位置。
该GIOU_Loss的表达式为：
Figure BDA0003060267420000101
其中，IOU为一常数，可取0.28；C为锚框的最小外接矩形，差集＝C-并集B。采用GIOU_Loss作为锚框的损失函数，增加了不同锚框间相交尺度的衡量方式。
在步骤S3中，基于目标数据集，对目标检测模型进行训练，得到物流违规检测模型进一步包括：
S501：对目标检测模型的参数进行初始化，所述参数包括输入图像尺寸、初始学习率、GhostNet层类别种类以及卷积核的深度，并使用余弦退火策略降低初始学习率；该余弦退火策略的计算公式为：
Figure BDA0003060267420000111
其中，L表示学习率，i表示第i次训练，
Figure BDA0003060267420000112
分别表示第i次训练的学习率的最大值、最小值，Ni表示第i次训练中总的迭代次数，n表示第i次训练中第n次迭代，n＝1，…，N。
实际应用中，根据训练要求和显卡性能约束，可将输入图像尺寸固定为 512*512，初始学习率设为0.0025，并使用学习率余弦退火的策略随着迭代次数按照余弦函数的形式降低学习率，在一个周期内从最大降到最小，周而复始。学习率决定着权值更新的速度，设置过高可能会使结果越过最优解，设置过小会使得损失下载速度过慢。修改GhostNet层类别种类为1，并相应修改GhostNet卷积核的深度为18。
在步骤S3中，对目标检测模型进行训练时，对目标数据集作以下处理：
S601：将目标数据集按60％，30％及10％的比例，依次分为模型训练集，模型验证集及模型测试集；
S602：将模型训练集、模型验证集及模型测试集输入目标检测模型中进行训练，在训练过程中，目标检测模型在初始锚框的基础上输出预测框，进而与真实框进行对比，计算误差，再反向更新，迭代网络参数，得到物流违规检测模型。
也就是说，创建好上述YOLOv5+GhostNet的目标检测模型后，将步骤 S1中得到的目标数据集进行分类，分为模型训练集、模型验证集、模型测试集，其图像数据量占整个目标数据集的比例依次为60％，30％，10％。对目标数据集的上述分类，可通过编写脚本代码实现。然后在目标检测模型中，修改需要训练的类别、epoch值及batch-size值等参数，即可进行训练。其中， epoch值表示整个数据集被训练的次数，batch-size值表示一次训练所需的样本数量。本实施例的目标数据集中共有1000个样本，设置batch-size为100，共训练10次，则epoch值为1。为了提高物品识别分类模型的物品识别正确率，可重复进行训练，直到物品识别正确率达到预设标准(如95％的正确率)。最终训练好的目标检测模型就作为本实施例中的物流违规检测模型。
在步骤S4中，基于物流违规检测模型，对待测图像进行识别，判断是否存在物流操作违规行为进一步包括：
S601：若检测到工作人员跨越流水线或踩踏流水线，则存在物流操作违规行为；
S602：截取存在物流操作违规行为的图像，在物流分拨中心显示或播报。
通常物流分拨中心会安装摄像头，对分拨中心的工作情况进行监控。因此，可从摄像头记录的视频中截取工作人员操作的图像。也可以安装DSS数字监控系统，将所有摄像头接入一个局域网中，通过DSS监控平台访问所有摄像头，截取工作人员操作的图像，将图像输入物流违规检测模型中，判断图像中是否存在违规行为。通常，在工作人员的活动区域，检测出烟头或烟嘴，就判定存在违规行为；或检测出工作人员玩手机，就判定存在违规行为。
在判定存在跨越流水线或踩踏流水线的违规行为后，截取该图像，并在物流分拨中心的显示屏上显示，或将该违规行为转化为音频，通过扬声器播报。提醒工作人员遵守规章制度，停止做出违规行为。
实施例二
本实施例提供了一种物流违规操作的识别装置，请参看图5，该物流违规操作的识别装置包括：
数据处理模块1，用于采集物流分拨中心中包含工作人员跨越或踩踏流水线的历史图像，对历史图像进行处理，得到目标数据集；
模型创建模块2，用于创建YOLOv5检测模型，将YOLOv5检测模型的主干网络替换为GhostNet，得到目标检测模型；
模型训练模块3，用于基于目标数据集，对目标检测模型进行训练，得到物流违规检测模型；
目标识别模块4，用于基于物流违规检测模型，对待测图像进行识别，判断是否存在物流操作违规行为。
上述数据处理模块1、模型创建模块2、模型训练模块3及目标识别模块 4的功能及实现方法均如上述实施例一中所述，在此不再赘述。
实施例三
上述实施例二从模块化功能实体的角度对本发明物流违规操作的识别装置进行描述，下面从硬件处理的角度对本发明物流违规操作的识别设备进行详细描述。
请参看图6，该物流违规操作的识别设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units， CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对物流违规操作的识别设备500中的一系列指令操作。
进一步地，处理器510可以设置为与存储介质530通信，在物流违规操作的识别设备500上执行存储介质530中的一系列指令操作。
物流违规操作的识别设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve、Vista等等。
本领域技术人员可以理解，图6示出的物流违规操作的识别设备结构并不构成对物流违规操作的识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质。该计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行实施例一中的物流违规操作的识别方法的步骤。
实施例二中的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件的形式体现出来，该计算机软件存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-only memory，ROM)、随机存取存储器(Random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置及设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。

Claims (10)

1.一种物流违规操作的识别方法，其特征在于，包括：
采集物流分拨中心中包含工作人员跨越或踩踏流水线的历史图像，对历史图像进行处理，得到目标数据集；
创建YOLOv5检测模型，将YOLOv5检测模型的主干网络替换为GhostNet，得到目标检测模型；
基于目标数据集，对目标检测模型进行训练，得到物流违规检测模型；
基于物流违规检测模型，对待测图像进行识别，判断是否存在物流操作违规行为。
2.如权利要求1所述的物流违规操作的识别方法，其特征在于，所述对历史图像进行处理，得到目标数据集进一步包括：
采用LabelImg工具对历史图像进行目标标注；
将目标标注后的历史图像按voc数据集的格式进行存储。
3.如权利要求2所述的物流违规操作的识别方法，其特征在于，所述将目标标注后的历史图像按voc数据集的格式进行存储进一步包括：
创建voc数据集，将未标注的历史图像保存于JPEGImages文件夹中；
将标注后的历史图像保存于Annotations文件夹中；JPEGImages文件夹中的历史图像的名称与Annotations文件夹中的xml文件的名称一一对应；
在voc数据集的ImageSets\Main文件夹中建立四个txt文件，分别为test.txt、train.txt、val.txt及trainval.txt，依次作为模型测试集、模型训练集、模型验证集及模型训练+验证集；按预设的比例分别为四个txt文件分配图像数据。
4.如权利要求1所述的物流违规操作的识别方法，其特征在于，所述创建YOLOv5检测模型，将YOLOv5检测模型的主干网络替换为GhostNet，得到目标检测模型进一步包括：
依次创建Input、Backbone、Neck及Prediction网络结构，构成YOLOv5检测模型；所述GhostNet包括Conv2d3x3及多个GhostBottleNeck模块；
将YOLOv5检测模型去掉预设部分的Backbone及Neck网络结构，将去掉的所述预设部分的Backbone及Neck网络结构替换为所述GhostNet中的Conv2d3x3及多个Ghost BottleNeck模块，得到目标检测模型。
5.如权利要求1所述的物流违规操作的识别方法，其特征在于，所述基于目标数据集，对目标检测模型进行训练，得到物流违规检测模型进一步包括：
对目标检测模型的参数进行初始化，所述参数包括输入图像尺寸、初始学习率、GhostNet层类别种类以及卷积核的深度，并使用余弦退火策略降低初始学习率；
所述余弦退火策略的计算公式为：
Figure FDA0003060267410000021
其中，L表示学习率，i表示第i次训练，
Figure FDA0003060267410000022
分别表示第i次训练的学习率的最大值、最小值，Ni表示第i次训练中总的迭代次数，n表示第i次训练中第n次迭代，n＝1，2，…，N。
6.如权利要求5所述的物流违规操作的识别方法，其特征在于，所述基于目标数据集，对目标检测模型进行训练，得到物流违规检测模型进一步包括：
将目标数据集按60％，30％及10％的比例，依次分为模型训练集，模型验证集及模型测试集；
将模型训练集、模型验证集及模型测试集输入目标检测模型中进行训练，在训练过程中，目标检测模型在初始锚框的基础上输出预测框，进而与真实框进行对比，计算误差，再反向更新，迭代网络参数，得到物流违规检测模型。
7.如权利要求1所述的物流违规操作的识别方法，其特征在于，所述基于物流违规检测模型，对待测图像进行识别，判断是否存在物流操作违规行为进一步包括：
若检测到工作人员跨越或踩踏流水线，则存在物流操作违规行为，截取存在物流操作违规行为的图像，在物流分拨中心显示或播报。
8.一种物流违规操作的识别装置，其特征在于，包括：
数据处理模块，用于采集物流分拨中心中包含工作人员跨越或踩踏流水线的历史图像，对历史图像进行处理，得到目标数据集；
模型创建模块，用于创建YOLOv5检测模型，将YOLOv5检测模型的主干网络替换为GhostNet，得到目标检测模型；
模型训练模块，用于基于目标数据集，对目标检测模型进行训练，得到物流违规检测模型；
目标识别模块，用于基于物流违规检测模型，对待测图像进行识别，判断是否存在物流操作违规行为。
9.一种物流违规操作的识别设备，其特征在于，包括：
存储器和处理器，所述存储器中存储有指令，所述存储器和所述处理器通过线路互连；
所述处理器调用所述存储器中的所述指令，实现如权利要求1-7中任意一项所述的物流违规操作的识别方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任意一项所述的物流违规操作的识别方法。
CN202110510911.9A 2021-05-11 2021-05-11 物流违规操作的识别方法、装置、设备和存储介质 Pending CN113343767A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110510911.9A CN113343767A (zh) 2021-05-11 2021-05-11 物流违规操作的识别方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110510911.9A CN113343767A (zh) 2021-05-11 2021-05-11 物流违规操作的识别方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN113343767A true CN113343767A (zh) 2021-09-03

Family

ID=77470671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110510911.9A Pending CN113343767A (zh) 2021-05-11 2021-05-11 物流违规操作的识别方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN113343767A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019246A (zh) * 2022-05-23 2022-09-06 四川大学 违规物品及异常行为的监测方法、装置、设备及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019246A (zh) * 2022-05-23 2022-09-06 四川大学 违规物品及异常行为的监测方法、装置、设备及系统

Similar Documents

Publication Publication Date Title
CN112686595A (zh) 物流操作违规行为的检测方法、装置、设备和存储介质
CN106909901B (zh) 从图像中检测物体的方法及装置
CN112419202B (zh) 基于大数据及深度学习的野生动物图像自动识别系统
CN111461101B (zh) 工服标志的识别方法、装置、设备及存储介质
CN113065609B (zh) 图像分类方法、装置、电子设备及可读存储介质
CN107748898A (zh) 文件分类方法、装置、计算设备及计算机存储介质
CN111144215A (zh) 图像处理方法、装置、电子设备及存储介质
CN110650170A (zh) 用于推送信息的方法和装置
CN113343767A (zh) 物流违规操作的识别方法、装置、设备和存储介质
CN111597845A (zh) 一种二维码检测方法、装置、设备及可读存储介质
JP6988995B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
CN112966687B (zh) 图像分割模型训练方法、装置及通信设备
CN111062388B (zh) 基于深度学习的广告文字的识别方法、系统、介质及设备
CN112990583A (zh) 一种数据预测模型的入模特征确定方法及设备
CN108446693B (zh) 待识别目标的标记方法、系统、设备及存储介质
CN108830302B (zh) 一种图像分类方法、训练方法、分类预测方法及相关装置
CN111324594A (zh) 用于粮食加工业的数据融合方法、装置、设备及存储介质
CN110807159A (zh) 数据标记方法、装置、存储介质及电子设备
CN115861610A (zh) 一种基于改进CondInst的砂石骨料图像的分割处理方法
CN110796381A (zh) 建模数据评价指标的处理方法、装置、终端设备及介质
CN114723516A (zh) 基于成单数据的用户相似度计算方法及系统
US20140136161A1 (en) Precise simulation of progeny derived from recombining parents
CN111612023A (zh) 一种分类模型构建方法及装置
CN117710756B (zh) 一种目标检测及模型训练方法、装置、设备、介质
CN113807445B (zh) 案卷复核方法、装置及电子装置、可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination