CN114782892A - 违规行为目标检测方法、装置、设备及存储介质 - Google Patents

违规行为目标检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114782892A
CN114782892A CN202210416504.6A CN202210416504A CN114782892A CN 114782892 A CN114782892 A CN 114782892A CN 202210416504 A CN202210416504 A CN 202210416504A CN 114782892 A CN114782892 A CN 114782892A
Authority
CN
China
Prior art keywords
target
picture data
model
training model
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210416504.6A
Other languages
English (en)
Inventor
熊郁衍
李斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongpu Software Co Ltd
Original Assignee
Dongpu Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongpu Software Co Ltd filed Critical Dongpu Software Co Ltd
Priority to CN202210416504.6A priority Critical patent/CN114782892A/zh
Publication of CN114782892A publication Critical patent/CN114782892A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种违规行为目标检测方法、装置、设备及存储介质，方法包括：获取违规行为的图片数据，进行预处理并标注后生成样本图片数据集；对样本图片数据集进行模型训练，对图片数据集进行检测，并生成第一目标训练模型；筛选出目标图片数据，将待训练的第一目标训练模型生成改进后的目标训练模型，根据图片数据集对改进后的训练模型进行模型训练，生成第二目标训练模型；判断传送介质周围是否存在操作不规范的人员，确定待检测图像的目标区域和非目标区域，分别根据预设的压缩率进行压缩，并通过深度学习目标检测模型，得到目标检测结果。规范分拨中心物流分拣场地中工作人员的操作标准，提高工作人员的安全性，减轻人工筛选图片的工作量。

Description

违规行为目标检测方法、装置、设备及存储介质
技术领域
本发明涉及物流技术领域，尤其涉及一种违规行为目标检测方法、装置、设备及存储介质。
背景技术
在物流的分拣场地中，需要大量自动化的传送带设备和操作人员共同配合完成货物的分拣工作，在传送设备的密集布置和操作人员跨越传送设备区域移动的情况下，操作人员因为疲劳或节省时间等原因，频繁发生靠、坐、躺、跨越传送设备的现象，而动态作业的传送设备可能导致与之接触的操作人员发生不稳定分离的各种危险状况，这需要监管人员通过对场地的摄像头拍照图片中筛选识别出危险违规的图片给予操作人员警示规范其行为，基于海量的图片筛选识别需要大量的人力完成耗费成本较大。
发明内容
本发明的目的是提供一种违规行为目标检测方法、装置、设备及存储介质。
本发明提供了一种违规行为目标检测方法，包括：
获取监控到包含传送介质周围人员违规行为的图片数据，对获取到的图片数据进行预处理并标注后生成样本图片数据集；
对所述样本图片数据集进行模型训练，对所述图片数据集进行检测识别得到识别结果，并生成第一目标训练模型；
根据所述第一目标训练模型筛选出目标图片数据，将待训练的所述第一目标训练模型生成改进后的目标训练模型，根据图片数据集对改进后的训练模型进行模型训练，生成第二目标训练模型；
基于所述第二目标训练模型，找到符合待检测条件的待检测图像，从中确定待检测图像的目标区域和非目标区域；
将所述目标区域和所述非目标区域分别根据不同压缩率进行压缩，并通过深度学习目标检测模型，得到目标检测结果。
优选地，所述将所述目标区域和所述非目标区域分别根据预设的压缩率进行压缩进一步包括：
将目标区域按照第一压缩率进行压缩，将非目标区域按照第二压缩率进行压缩，得到压缩后的待检测图像；并且所述第一压缩率小于所述第二压缩率。
优选地，所述将目标区域按照第一压缩率进行压缩，将非目标区域按照第二压缩率进行压缩，得到压缩后的待检测图像包括：
根据所述第一压缩率计算出所述目标区域对应的压缩后的尺寸信息或质量信息，输出第一压缩信息；
根据所述第二压缩率计算出所述非目标区域对应的压缩后的尺寸信息或质量信息，输出第二压缩信息；
根据所述第一压缩信息和所述第二压缩信息，对待处理区域进行等比压缩并进行批量处理，得到尺寸压缩后的待检测图像；
其中，所述第一压缩率和所述第二压缩率均包括尺寸压缩率或质量压缩率。
优选地，所述将待训练的所述第一目标训练模型生成改进后的目标训练模型是通过对初始化后的所述第一训练模型引入预设的空间注意力机制来实现的包括：
获取原始目标图片数据，并对所述原始目标图片数据进行特征提取；
通过空间转换器将所述原始目标图片数据中的空间域信息进行对应的空间变换，即通过旋转、缩放变换将局部图片中目标所在区域通过框盒提取；
将框图提取的图片数据通过空间转换器转换出特征图；
将所述特征图通过图像分类模型定位到目标所在区域，裁剪，进入部分注意力模型进行识别分类，输出进一步筛选后的目标图片数据。
优选地，所述将待训练的所述第一目标训练模型生成改进后的目标训练模型是通过对初始化后的所述第一训练模型引入预设的注意力机制来实现的包括：
输入目标图片数据的特征图，进行挤压操作，将空间维度进行特征压缩，即每个二维的特征图变成一个实数；
进行激励操作，通过特征参数为每个特征通道生成权重，特征参数被深度学习用来建模特征通道间的相关性；
将获取的每一个特征通道的权重应用于原来的每个特征通道，基于特定的任务，所述特定的任务包括对目标图片数据中传送介质周围人员违规行为的目标检测；
采用激活函数进行归一化处理，计算得到符合概率分布取值区间的注意力分配概率分布数值，生成注意力模型并应用于所述第二目标训练模型中。
优选地，所述对所述样本图片数据集进行模型训练，对所述图片数据集进行检测识别得到识别结果，并生成第一目标训练模型进一步包括：
基于YOLOv5目标检测框架对所述样本图片数据集进行模型训练，获得第一目标训练模型；
采用测试图片数据集对所述第一目标训练模型进行测试，并采用验证图片数据集对测试通过的第一目标训练模型进行验证，输出更新后的第一目标训练模型。
优选地，所述获取监控到包含传送介质周围人员违规行为的图片数据，对获取到的图片数据进行预处理并标注后生成样本图片数据集包括：
获取预设标准尺寸，并按照预设标准尺寸分别对从分拨中心监控到的图片数据进行尺寸校正，生成校正后的图片数据；
对校正后的图片数据进行降噪处理、色彩调整和数据增强处理，生成预处理后的图像数据；
通过预设标注工具或预设标注模型对预处理后的图像数据进行图像标注，生成样本图片数据集，所述样本图片数据集中的每张图片采用可扩展标记语言标注文件表示行为人位置信息；
按照预设比例将样本图片数据集随机划分为互不重叠的训练图片数据集、验证图片数据集和测试图片数据集。
本发明还提供了一种违规行为目标检测装置，包括：
采样及预处理模块，获取监控到包含传送介质周围人员违规行为的图片数据，对获取到的图片数据进行预处理并标注后生成样本图片数据集；
第一目标训练模型构建模块，对所述样本图片数据集进行模型训练，对所述图片数据集进行检测识别得到识别结果，并生成第一目标训练模型；
第二目标训练模型构建模块，根据所述第一目标训练模型筛选出目标图片数据，将待训练的所述第一目标训练模型生成改进后的目标训练模型，根据图片数据集对改进后的训练模型进行模型训练，生成第二目标训练模型；
获取待检测图像模块，基于所述第二目标训练模型，找到符合待检测条件的待检测图像，从中确定待检测图像的目标区域和非目标区域；
目标检测结果输出模块，将所述目标区域和所述非目标区域分别根据不同压缩率进行压缩，并通过深度学习目标检测模型，得到目标检测结果。
本发明还提供了一种违规行为目标检测设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行计算机可读指令时，实现所述的违规行为目标检测方法。
本发明还提供了一种计算机可读介质，存储计算机程序，所述计算机程序被一个或多个处理器执行时，实现所述的违规行为目标检测方法。
针对现有技术，本发明具有如下的有益效果：
一、本发明所提供的一种违规行为目标检测方法、装置、设备及存储介质，用于规范分拨中心物流分拣场地中工作人员的操作标准，提高工作人员的安全性，减轻人工筛选图片的工作量；
二、采用YOLOv5目标检测框架对样本图片数据集进行模型训练，有利于对物流分拨中心中传送带周围操作人员违规行为进行自动识别；
三、引入注意力机制得到改进后的训练模型，有利于更进一步地对目标自动检测识别；
四、基于深度学习目标检测模型，得到目标检测结果，提高目标检测精度。
附图说明
图1为本发明实施例中所述的违规行为目标检测步骤示意图；
图2为本发明实施例中所述获取监控到包含传送介质周围人员违规行为的图片数据，对获取到的图片数据进行预处理并标注后生成样本图片数据集的具体步骤示意图；
图3为本发明实施例中所述对所述样本图片数据集进行模型训练，对所述图片数据集进行检测识别得到识别结果，并生成第一目标训练模型的具体步骤示意图；
图4为本发明实施例中所述将待训练的所述第一目标训练模型生成改进后的目标训练模型的具体步骤部分示意图；
图5为本发明实施例中所述的注意力机制模块原理图；
图6为本发明实施例中采用的SE block架构原理图；
图7为本发明实施例中所述将待训练的所述将待训练的所述第一目标训练模型生成改进后的目标训练模型的具体步骤部分示意图；
图8为本发明实施例中采用的通道注意力机制模块示意图；
图9为本发明实施例中采用的空间注意力机制模块示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图1所示，本发明提供了一种违规行为目标检测方法，包括：
步骤S1：获取监控到包含传送介质周围人员违规行为的图片数据，对获取到的图片数据进行预处理并标注后生成样本图片数据集，得到训练图片数据集、验证图片数据集和测试图片数据集；
步骤S2：对所述样本图片数据集进行模型训练，对所述图片数据集进行检测识别得到识别结果，并生成第一目标训练模型；
步骤S3：根据所述第一目标训练模型筛选出目标图片数据，将待训练的所述第一目标训练模型生成改进后的目标训练模型，根据图片数据集对改进后的训练模型进行模型训练，生成第二目标训练模型；
步骤S4：基于所述第二目标训练模型，找到符合待检测条件的待检测图像，从中确定待检测图像的目标区域和非目标区域，
步骤S5：将所述目标区域和所述非目标区域分别根据不同压缩率进行压缩，并通过深度学习目标检测模型，得到目标检测结果。
本领域技术人员可以理解，采用本实施例的方法，可规范分拨中心物流分拣场地中工作人员的操作标准，提高工作人员的安全性，减轻人工筛选图片的工作量。
具体地，所述将所述目标区域和所述非目标区域分别根据不同压缩率进行压缩包括：
将所述目标区域按照第一压缩率进行压缩，将所述非目标区域按照第二压缩率进行压缩，得到压缩后的待检测图像将压缩后的待检测图像发送至边缘服务器；并且所述第一压缩率小于所述第二压缩率，根据训练后的模型参数生成训练后的深度学习目标检测模型；根据训练后的深度学习目标检测模型对压缩后的待检测图像进行目标检测，输出目标检测结果。
边缘服务器为用户提供一个进入网络的通道和与其它服务器设备通讯的功能，通常边缘服务器是一组完成单一功能的服务器，如防火墙服务器，高速缓存服务器，负载均衡服务器，DNS服务器等。对物联网而言，边缘计算技术取得突破，意味着许多控制将通过本地设备实现而无需交由云端，处理过程将在本地边缘计算层完成。这样将大大提升处理效率，减轻云端的负荷。由于更加靠近用户，还可为用户提供更快的响应，将需求在边缘端解决。
具体地，所述将目标区域按照第一压缩率进行压缩，将非目标区域按照第二压缩率进行压缩，得到压缩后的待检测图像包括：
根据所述第一压缩率计算出所述目标区域对应的压缩后的尺寸信息或质量信息，输出第一压缩信息；
根据所述第二压缩率计算出非目标区域对应的压缩后的尺寸信息或质量信息，输出第二压缩信息；
根据所述第一压缩信息和所述第二压缩信息，对待处理区域进行等比压缩并进行批量处理，得到尺寸压缩后的待检测图像；
其中，所述第一压缩率和所述第二压缩率均包括尺寸压缩率或质量压缩率。
具体地，如图2所示，所述获取监控到包含传送介质周围人员违规行为的图片数据，对获取到的图片数据进行预处理并标注后生成样本图片数据集包括：
步骤S11：获取预设标准尺寸，并按照预设标准尺寸分别对从分拨中心监控到的图片数据进行尺寸校正，生成校正后的图片数据；
步骤S12：对校正后的图片数据进行降噪处理、色彩调整和数据增强处理，生成预处理后的图像数据；
步骤S13：通过预设标注工具或预设标注模型对预处理后的图像数据进行图像标注，生成样本图片数据集，所述样本图片数据集中的每张图片采用可扩展标记语言标注文件表示行为人位置信息；
步骤S14：按照预设比例将样本图片数据集随机划分为互不重叠的训练图片数据集、验证图片数据集和测试图片数据集，预设比例为5:4:1。
具体地，如图3所示，所述对所述样本图片数据集进行模型训练，对所述图片数据集进行检测识别得到识别结果，并生成第一目标训练模型进一步包括：
步骤S21：基于YOLOv5目标检测框架对所述样本图片数据集进行模型训练，获得第一目标训练模型；
步骤S22：采用测试图片数据集对所述第一目标训练模型进行测试，并采用验证图片数据集对测试通过的第一目标训练模型进行验证，输出更新后的第一目标训练模型，有利于对物流分拨中心中传送带周围操作人员违规行为进行自动识别。
本领域技术人员可以理解，Yolov5的输入端采用了和Yolov4一样的Mosaic数据增强的方式。在Yolo算法中，针对不同的数据集，都会有初始设定长宽的锚框。在网络训练中，网络在初始锚框的基础上输出预测框，进而和真实框(groundtruth)进行比对，计算两者差距，再反向更新，迭代网络参数。Yolov5中将计算初始锚框的值是通过单独的程序运行的的功能嵌入到代码中，每次训练时，自适应的计算不同训练集中的最佳锚框值。控制的代码设置成False，每次训练时，不会自动计算。在Yolov5的代码中letterbox函数中进行了修改，对原始图像自适应的添加最少的黑边。图像高度上两端的黑边变少时，计算量也会减少，即目标检测速度会得到提升。第一步，计算缩放比例，原始缩放尺寸是416*416，都除以原始图像的尺寸后，可以得到0.52和0.69两个缩放系数，选择小的缩放系数。第二步：计算缩放后的尺寸，原始图片的长宽都乘以最小的缩放系数0.52，宽变成了416，而高变成了312。第三步：计算黑边填充数值，将416-312＝104，得到原本需要填充的高度。再采用取余数的方式，得到8个像素，再除以2，即得到图片高度两端需要填充的数值。以Yolov5s的结构为例，原始608*608*3的图像输入Focus结构，采用切片操作，先变成304*304*12的特征图，再经过一次32个卷积核的卷积操作，最终变成304*304*32的特征图。以Yolov5s网络为例，CSP1_X结构应用于Backbone主干网络，另一种CSP2_X结构则应用于Neck中。Yolov5的Neck结构中，采用借鉴CSPnet设计的CSP2结构，加强网络特征融合的能力。输出端：Yolov5中采用其中的CIOU_Loss损失函数做Bounding box边框回归的损失函数。采用Yolov5目标检测框架，分割后的小图，再输入目标检测网络中，对于最小目标像素的下限会大大降低。
具体地，如图4所示，所述将待训练的所述第一目标训练模型生成改进后的目标训练模型是通过对初始化后的所述第一训练模型引入预设的注意力机制来实现的包括：
步骤S310：获取原始目标图片数据，并对所述原始目标图片数据进行特征提取；
步骤S311：通过空间转换器将所述原始目标图片数据中的空间域信息进行对应的空间变换，即通过旋转、缩放变换将局部图片中目标所在区域通过框盒提取；
步骤S312：将框图提取的图片数据通过空间转换器转换出特征图；
步骤S313：将所述特征图通过图像分类模型定位到目标所在区域，裁剪，进入部分注意力模型进行识别分类，输出进一步筛选后的目标图片数据。
本领域技术人员可以理解，空间转换器(spatial transformer)的模块，将图片中的空间域信息做对应的空间变换，从而能将关键的信息提取出来。空间转换器则是注意力机制的实现，因为训练出的空间转换器能够找出图片信息中需要被关注的区域，同时这个转换器又能够具有旋转、缩放变换的功能，这样图片局部的重要信息能够通过变换而被框盒提取出来。本实施例采用的注意力机制分成三个部分：挤压(squeeze)，激励(excitation)，以及注意(scale)。通过引入新的架构单元Squeeze-and-Excitation块，采用的SE block如图5所示，首先Ftr这一步是转换操作，输入输出的定义如下表示，
Ftr:X→U,X∈RW′×H′×C′,U∈RW×H×C，
Ftr的公式如下：
Figure BDA0003606266650000111
Ftr得到的U就是图中的左边第二个三维矩阵，或者叫C个大小为H*W的特征图。而Uc表示U中第c个二维矩阵，下标c表示通道。接下来就是挤压操作，对应SE block结构图中的Fsq操作，公式如下，一个全局池化层(global average pooling)：
Figure BDA0003606266650000112
这一步的结果相当于表明该层C个特征图的数值分布情况，或者叫全局信息。挤压操作就是在得到U，多个特征图，之后采用全局平均池化操作对其每个特征图进行压缩，使其C个特征图最后变成1x1xC的实数数列。U即多个特征图可以被解释为局部描述子的集合。如图6所示，将特征交互，先压缩通道数，再重构回通道数，即通过激励操作，来全面捕获通道依赖性，使用了sigmoid激活函数，前面挤压得到的结果是z，这里先用W1乘以z，就是一个全连接层操作，W1的维度是C/r*C，这个r是一个缩放参数，这个参数的目的是为了减少通道个数从而降低计算量。又因为z的维度是1x1xC，所以W1输出的结果就是1x1xC/r；然后再经过一个δ函数，其中δ是指ReLU函数，输出的维度不变；然后再和W2相乘，和W2相乘也是一个全连接层的过程，W2的维度是C*C/r，因此输出的维度就是1x1xC；最后再经过sigmoid函数得到s，即表示U中C个特征图的权重，生成通道间0～1的注意力权重参数(attentionweights)，最后通过注意操作乘回原输入特征。
具体地，如图7所示，所述将待训练的所述第一目标训练模型生成改进后的目标训练模型是通过对初始化后的所述第一训练模型引入预设的注意力机制来实现的包括：
步骤S320：输入目标图片数据的特征图，进行挤压操作，将空间维度进行特征压缩，即每个二维的特征图变成一个实数；
步骤S321：进行激励操作，通过特征参数为每个特征通道生成权重，特征参数被深度学习用来建模特征通道间的相关性；
步骤S322：将获取的每一个特征通道的权重应用于原来的每个特征通道，基于特定的任务，所述特定的任务包括对目标图片数据中传送介质周围人员违规行为的目标检测；
步骤S323：采用激活函数进行归一化处理，计算得到符合概率分布取值区间的注意力分配概率分布数值，生成注意力模型并应用于所述第二目标训练模型中。
本实施例中，采用通道注意力机制和空间注意力机制，Convolutional BlockAttention Module(CBAM)表示卷积模块的注意力机制模块。是一种结合了空间(spatial)和通道(channel)的注意力机制模块。如图8所示，通道注意力：将输入的特征图，分别经过基于宽和高的全局最大池化和全局平均池化，然后分别经过MLP架构。将MLP输出的特征进行基于神经网络中张量操作的加和操作，再经过sigmoid激活操作，生成最终的通道注意力特征图。将该通道注意力特征图和输入的特征图做神经网络中张量操作乘法操作，生成空间注意力模块需要的输入特征。
如图9所示，空间注意力：将通道注意力模块输出的特征图作为本模块的输入特征图。首先做一个基于通道的全局最大池化和全局平均池化，然后将这2个结果基于通道做concat操作。然后经过一个卷积操作，降维为1个通道。再经过sigmoid激活函数生成空间注意力特征图。最后将该特征和该模块的输入特征做乘法，得到最终生成的特征。
实施例二
基于实施例一，本发明提供了一种违规行为目标检测装置，包括：
采样及预处理模块，获取监控到包含传送介质周围人员违规行为的图片数据，对获取到的图片数据进行预处理并标注后生成样本图片数据集；
第一目标训练模型构建模块，对所述样本图片数据集进行模型训练，对所述图片数据集进行检测识别得到识别结果，并生成第一目标训练模型；
第二目标训练模型构建模块，根据所述第一目标训练模型筛选出目标图片数据，将待训练的所述第一目标训练模型生成改进后的目标训练模型，根据图片数据集对改进后的训练模型进行模型训练，生成第二目标训练模型；
获取待检测图像模块，基于所述第二目标训练模型，找到符合待检测条件的待检测图像，从中确定待检测图像的目标区域和非目标区域；
目标检测结果输出模块，将所述目标区域和所述非目标区域分别根据不同压缩率进行压缩，并通过深度学习目标检测模型，得到目标检测结果。
本领域技术人员可以理解，采用本实施例的装置执行实施例一的方法，可规范分拨中心物流分拣场地中工作人员的操作标准，提高工作人员的安全性，减轻人工筛选图片的工作量。
实施例三
本发明提供了一种违规行为目标检测设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行计算机可读指令时，实现所述的违规行为目标检测方法。
本领域技术人员可以理解，基于实施例一的方法，采取如下步骤：
步骤一，获取多张分拨中心监控图片数据：
对获取的图片数据依次进行图片的预处理并标注，得到样本图片数据据，按照预设比例对样本图片数据集进行划分，得到训练图片数据集、验证图片数据集和测试图片数据集。
对多张分拨中心监控图片数据依次进行图片预处理并标注，得到样本图片数据集，按照预设比例对样本图片数据集进行划分，得到训练图片数据集、验证图片数据集和测试图片数据集，首先获取预设标准尺寸，并按照预设标准尺寸分别对多张分拨中心监控图片数据进行尺寸校正，得到多张校正后的图片数据；对多张校正后的图片数据依次进行降噪处理、色彩调整和数据增强处理，得到多张预处理后的图像数据；通过预设标注工具或预设标注模型对多张预处理后的图像数据进行图像标注，得到样本图片数据集，样本图片数据集中的每张图片采用可扩展标记语言标注文件表示行人位置信息；按照预设比例将样本图片数据集随机划分为互不重叠的训练图片数据集、验证图片数据集和测试图片数据集，预设比例为5:4:1。
步骤二，构建初始训练模型：
基于深度学习技术，采用YOLOv5目标检测框架对图片数据集进行模型训练，得到目标训练模型，并对测试图片数据集进行检测识别得到识别结果。构建初始训练模型，并对初始训练模型引入预设的注意力机制，得到改进后的训练模型，根据训练图片数据集和验证图片数据集对改进后的训练模型进行模型训练，得到目标训练模型。
步骤三，模型应用：
将训练后的模型用于指示分拨中心场地中传送介质周围是否存在操作不规范的人员。并将训练后的模型参数发送至服务器，通过终端设备，获取待检测图像，确定待检测图像的目标区域和非目标区域，将目标区域按照第一压缩率进行压缩，将非目标区域按照第二压缩率进行压缩，得到压缩后的待检测图像，将压缩后的待检测图像发送至边缘服务器，第一压缩率小于第二压缩率，通过边缘服务器，根据训练后的模型参数得到训练后的深度学习目标检测模型，根据训练后的深度学习目标检测模型对压缩后的待检测图像进行目标检测，得到目标检测结果，本技术方案能够提高目标检测精度。
实施例四
本发明还提供一种计算机可读存储介质，存储计算机程序，所述计算机程序被一个或多个处理器执行时，实现所述的违规行为目标检测方法。该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质。该计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行实施例一中违规行为目标检测的步骤。
本领域技术人员可以理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件的形式体现出来，该计算机软件存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等各种可以存储程序代码的介质。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种违规行为目标检测方法，其特征在于，包括：
获取监控到包含传送介质周围人员违规行为的图片数据，对获取到的图片数据进行预处理并标注后生成样本图片数据集；
对所述样本图片数据集进行模型训练，对所述图片数据集进行检测识别得到识别结果，并生成第一目标训练模型；
根据所述第一目标训练模型筛选出目标图片数据，将待训练的所述第一目标训练模型生成改进后的目标训练模型，根据所述图片数据集对改进后的训练模型进行模型训练，生成第二目标训练模型；
基于所述第二目标训练模型，找到符合待检测条件的待检测图像，从中确定待检测图像的目标区域和非目标区域；
将所述目标区域和所述非目标区域分别根据不同压缩率进行压缩，并通过深度学习目标检测模型，得到目标检测结果。
2.如权利要求1所述的一种违规行为目标检测方法，其特征在于，所述将所述目标区域和所述非目标区域分别根据不同压缩率进行压缩进一步包括：
将所述目标区域按照第一压缩率进行压缩，将所述非目标区域按照第二压缩率进行压缩，得到压缩后的待检测图像；并且所述第一压缩率小于所述第二压缩率。
3.如权利要求2所述的一种违规行为目标检测方法，其特征在于，所述将目标区域按照第一压缩率进行压缩，将非目标区域按照第二压缩率进行压缩，得到压缩后的待检测图像包括：
根据所述第一压缩率计算出所述目标区域对应的压缩后的尺寸信息或质量信息，输出第一压缩信息；
根据所述第二压缩率计算出非目标区域对应的压缩后的尺寸信息或质量信息，输出第二压缩信息；
根据所述第一压缩信息和所述第二压缩信息，对待处理区域进行等比压缩并进行批量处理，得到尺寸压缩后的待检测图像；
其中，所述第一压缩率和所述第二压缩率均包括尺寸压缩率或质量压缩率。
4.如权利要求1所述的一种违规行为目标检测方法，其特征在于，所述将待训练的所述第一目标训练模型生成改进后的目标训练模型是通过对初始化后的所述第一训练模型引入预设的空间注意力机制来实现的包括：
获取原始目标图片数据，并对所述原始目标图片数据进行特征提取；
通过空间转换器将所述原始目标图片数据中的空间域信息进行对应的空间变换，即通过旋转、缩放变换将局部图片中目标所在区域通过框盒提取；
将框图提取的图片数据通过空间转换器转换出特征图；
将所述特征图通过图像分类模型定位到目标所在区域，裁剪，进入部分注意力模型进行识别分类，输出进一步筛选后的目标图片数据。
5.如权利要求1所述的一种违规行为目标检测方法，其特征在于，所述将待训练的所述第一目标训练模型生成改进后的目标训练模型是通过对初始化后的所述第一训练模型引入预设的注意力机制来实现的包括：
输入目标图片数据的特征图，进行挤压操作，将空间维度进行特征压缩，即每个二维的特征图变成一个实数；
进行激励操作，通过特征参数为每个特征通道生成权重，特征参数被深度学习用来建模特征通道间的相关性；
将获取的每一个特征通道的权重应用于原来的每个特征通道，基于特定的任务，所述特定的任务包括对目标图片数据中传送介质周围人员违规行为的目标检测；
采用激活函数进行归一化处理，计算得到符合概率分布取值区间的注意力分配概率分布数值，生成注意力模型并应用于所述第二目标训练模型中。
6.如权利要求1所述的一种违规行为目标检测方法，其特征在于，所述对所述样本图片数据集进行模型训练，对所述图片数据集进行检测识别得到识别结果，并生成第一目标训练模型进一步包括：
基于YOLOv5目标检测框架对所述样本图片数据集进行模型训练，获得第一目标训练模型；
采用测试图片数据集对所述第一目标训练模型进行测试，并采用验证图片数据集对测试通过的第一目标训练模型进行验证，输出更新后的第一目标训练模型。
7.如权利要求1所述的一种违规行为目标检测方法，其特征在于，所述获取监控到包含传送介质周围人员违规行为的图片数据，对获取到的图片数据进行预处理并标注后生成样本图片数据集包括：
获取预设标准尺寸，并按照预设标准尺寸分别对从分拨中心监控到的图片数据进行尺寸校正，生成校正后的图片数据；
对校正后的图片数据进行降噪处理、色彩调整和数据增强处理，生成预处理后的图像数据；
通过预设标注工具或预设标注模型对预处理后的图像数据进行图像标注，生成样本图片数据集，所述样本图片数据集中的每张图片采用可扩展标记语言标注文件表示行为人位置信息；
按照预设比例将样本图片数据集随机划分为互不重叠的训练图片数据集、验证图片数据集和测试图片数据集。
8.一种违规行为目标检测装置，其特征在于，包括：
采样及预处理模块，获取监控到包含传送介质周围人员违规行为的图片数据，对获取到的图片数据进行预处理并标注后生成样本图片数据集；
第一目标训练模型构建模块，对所述样本图片数据集进行模型训练，对所述图片数据集进行检测识别得到识别结果，并生成第一目标训练模型；
第二目标训练模型构建模块，根据所述第一目标训练模型筛选出目标图片数据，将待训练的所述第一目标训练模型生成改进后的目标训练模型，根据图片数据集对改进后的训练模型进行模型训练，生成第二目标训练模型；
获取待检测图像模块，基于所述第二目标训练模型，找到符合待检测条件的待检测图像，从中确定待检测图像的目标区域和非目标区域；
目标检测结果输出模块，将所述目标区域和所述非目标区域分别根据不同压缩率进行压缩，并通过深度学习目标检测模型，得到目标检测结果。
9.一种违规行为目标检测设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行计算机可读指令时，实现如权利要求1至7中任意一项所述的违规行为目标检测方法。
10.一种计算机可读介质，存储计算机程序，其特征在于，所述计算机程序被一个或多个处理器执行时，实现如权利要求1至7中任意一项所述的违规行为目标检测方法。
CN202210416504.6A 2022-04-20 2022-04-20 违规行为目标检测方法、装置、设备及存储介质 Pending CN114782892A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210416504.6A CN114782892A (zh) 2022-04-20 2022-04-20 违规行为目标检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210416504.6A CN114782892A (zh) 2022-04-20 2022-04-20 违规行为目标检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114782892A true CN114782892A (zh) 2022-07-22

Family

ID=82430511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210416504.6A Pending CN114782892A (zh) 2022-04-20 2022-04-20 违规行为目标检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114782892A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206255A (zh) * 2023-01-06 2023-06-02 广州纬纶信息科技有限公司 基于机器视觉的危险区域人员监控方法与装置
CN117237993A (zh) * 2023-11-10 2023-12-15 四川泓宝润业工程技术有限公司 作业现场违规行为检测方法、装置、存储介质及电子设备
CN117423043A (zh) * 2023-12-18 2024-01-19 江苏中车数字科技有限公司 精益装配过程视觉检测方法、装置和系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206255A (zh) * 2023-01-06 2023-06-02 广州纬纶信息科技有限公司 基于机器视觉的危险区域人员监控方法与装置
CN116206255B (zh) * 2023-01-06 2024-02-20 广州纬纶信息科技有限公司 基于机器视觉的危险区域人员监控方法与装置
CN117237993A (zh) * 2023-11-10 2023-12-15 四川泓宝润业工程技术有限公司 作业现场违规行为检测方法、装置、存储介质及电子设备
CN117237993B (zh) * 2023-11-10 2024-01-26 四川泓宝润业工程技术有限公司 作业现场违规行为检测方法、装置、存储介质及电子设备
CN117423043A (zh) * 2023-12-18 2024-01-19 江苏中车数字科技有限公司 精益装配过程视觉检测方法、装置和系统
CN117423043B (zh) * 2023-12-18 2024-04-16 江苏中车数字科技有限公司 精益装配过程视觉检测方法、装置和系统

Similar Documents

Publication Publication Date Title
US10915741B2 (en) Time domain action detecting methods and system, electronic devices, and computer storage medium
US10943145B2 (en) Image processing methods and apparatus, and electronic devices
CN114782892A (zh) 违规行为目标检测方法、装置、设备及存储介质
US11861810B2 (en) Image dehazing method, apparatus, and device, and computer storage medium
CN111813997B (zh) 入侵分析方法、装置、设备及存储介质
CN109086779B (zh) 一种基于卷积神经网络的注意力目标识别方法
CN108229418B (zh) 人体关键点检测方法和装置、电子设备、存储介质和程序
US20230169555A1 (en) System and method for textual analysis of images
CN113869449A (zh) 一种模型训练、图像处理方法、装置、设备及存储介质
CN112668638A (zh) 一种图像美学质量评估和语义识别联合分类方法及系统
CN110555424A (zh) 港口集装箱布局检测方法、装置、设备及可读存储介质
CN113792623B (zh) 安检ct目标物识别方法和装置
CN111191507A (zh) 智慧社区的安全预警分析方法及系统
CN111178146A (zh) 基于人脸特征识别主播的方法及装置
CN106250871A (zh) 城市管理案件分类方法及装置
CN113065379B (zh) 融合图像质量的图像检测方法、装置、电子设备
Alaei et al. Document image quality assessment based on improved gradient magnitude similarity deviation
Herulambang et al. Comparison of SVM And BPNN methods in the classification of batik patterns based on color histograms and invariant moments
CN115240203A (zh) 业务数据处理方法、装置、设备及存储介质
CN115457466A (zh) 一种基于巡检视频的隐患检测方法、系统及电子设备
CN113469617A (zh) 快递爆仓识别方法、装置、设备及存储介质
CN112766419A (zh) 一种基于多任务学习的图像质量评估方法及装置
CN111523399A (zh) 敏感视频检测及装置
CN115294162B (zh) 目标识别方法、装置、设备及存储介质
CN113591829B (zh) 字符识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination