CN112597877A - 一种基于深度学习的厂区人员异常行为检测方法 - Google Patents
一种基于深度学习的厂区人员异常行为检测方法 Download PDFInfo
- Publication number
- CN112597877A CN112597877A CN202011514268.9A CN202011514268A CN112597877A CN 112597877 A CN112597877 A CN 112597877A CN 202011514268 A CN202011514268 A CN 202011514268A CN 112597877 A CN112597877 A CN 112597877A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- personnel
- frame
- optical flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 68
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 17
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 230000003287 optical effect Effects 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 230000002159 abnormal effect Effects 0.000 claims abstract description 15
- 238000004519 manufacturing process Methods 0.000 claims abstract description 15
- 230000008859 change Effects 0.000 claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000006399 behavior Effects 0.000 claims abstract description 6
- 238000005520 cutting process Methods 0.000 claims abstract description 4
- 238000012360 testing method Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 241001270131 Agaricus moelleri Species 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于深度学习的厂区人员异常行为检测方法，包括：基于YOLOv4网络训练厂区人员模型；设定抓图帧率和检测间隔；通过摄像头获取生产区域的实时视频流，按设定的抓图帧率和检测间隔抓取图像，并对图像进行预处理；加载训练好的厂区人员模型，对预处理后的图像进行厂区人员检测，得到一个或多个厂区人员区域的目标框；利用Sort多目标跟踪算法对目标框进行目标追踪，得到目标区域图像；裁剪目标区域图像，对裁剪图像进行灰度变换，转换为灰度图像；利用Horn‑Schunck光流法计算两次异常检测之间同一个框内灰度图像的变化幅度；根据变化幅度判定该人员行为是否异常。本发明判断结果准确，可提高监控的效率与可靠性。
Description
技术领域
本发明涉及智能监控技术领域，具体是一种基于深度学习的厂区人员异常行为检测方法。
背景技术
企业的安全、有序生产是国家经济持续发展和企业做大做强的关键，如何有效地做好生产场所的安全监控，做好安全防范，排除安全隐患，避免事故的发生，便成了安全生产中应长久关注的话题。
对于生产线，操作工人因误操作导致身体受伤，或者打盹、走神、闲聊、看手机等行为导致生产异常中断的情况经常发生。对于设备多、生产工艺复杂的生产车间，存在很多封闭区域的情况。在该区域内，当只有一个人在场作业且发生意外情况失去意识或无法移动(如晕倒)时，可能会因为无人发现而延误治疗以致情况恶化。
为保证高效、安全生产，目前主要是采用人工巡视的方式，岗位工人要7*24小时巡视所有生产线和封闭区域，效率低下，而且需要大量的人力、物力、财力。因此，迫切需要一种能自动发现这种异常情况并进行报警的检测方法。
发明内容
针对以上需求，本发明提供了一种基于深度学习的厂区人员异常行为检测方法，将最大限度的发挥视频监控技术的优势，做到视频图像人工智能分析判断，可节约大量的人力资源和成本，提高监控的效率与可靠性，对于工厂生产的安全运行及管理提供了重要的保障。
为实现上述目的，本发明提供了一种基于深度学习的厂区人员异常行为检测方法，包括以下步骤：
步骤一、基于YOLOv4网络训练厂区人员模型；
步骤二、设定抓图帧率r(单位：帧/秒)和检测间隔interval(单位：帧)；
步骤三、通过摄像头获取生产区域的实时视频流，按照步骤二设定的抓图帧率r和检测间隔interval抓取图像，并对图像进行预处理；
步骤四、加载训练好的厂区人员模型，对步骤三预处理后的图像进行厂区人员检测，得到一个或多个厂区人员区域的目标框；
步骤五、利用Sort多目标跟踪算法对目标框进行目标追踪，得到目标区域图像；
步骤六、裁剪目标区域图像，对裁剪图像进行灰度变换，转换为灰度图像；
步骤七、利用Horn-Schunck光流法计算两次异常检测之间同一个框内灰度图像的变化幅度；
步骤八、判断变化幅度是否小于阈值，如果小于阈值，则判定该人员行为异常，发出报警信息。
进一步地，所述步骤一基于YOLOv4网络训练厂区人员模型，包括以下步骤：
1)建立厂区人员专用数据集，按照9:1的比例划分训练集和测试集；
2)建立YOLOv4网络结构，以CSPdarknet53作为骨干网络，空间金字塔池化模块SPP和路径聚合网络模块PANet作为颈部，YOLOv3作为头部预测输出；
3)首先使用ImageNet大型数据集对2)步骤中得到的网络结构进行训练，得到预训练模型，然后再对网络结构进行特定训练参数设定；
4)使用训练集对预训练模型进行迭代训练，直到损失函数收敛，得到厂区人员检测模型；
5)使用上述测试集对厂区人员检测模型进行测试，并且判断是否符合要求，若不符合，继续进行4)步骤，继续进行迭代训练直到测试结果符合要求；
6)输出符合要求的厂区人员检测模型；
进一步地，所述步骤三中的对抓取图像进行预处理，包括以下步骤：
1)将图像由BGR转换为RGB格式；
2)将图像缩放为608*608的图像，并居中放置；
3)将图像由HWC转换为CHW格式。
进一步地，所述步骤五中利用Sort多目标跟踪算法对目标框进行目标追踪，分为以下步骤：
1)第一帧进来时，以检测到的目标初始化，并创建新的卡尔曼滤波跟踪器，标注ID；
2)后面帧进来时，先到卡尔曼滤波器中得到由前面帧BBox产生的状态预测和协方差预测，计算跟踪器列表中所有目标的状态预测与当前帧中检测到的BBox的IOU，再通过匈牙利算法分别得到所有目标IOU最大的唯一匹配(数据关联部分)，最后再去掉匹配值小于iou_threshold的匹配对；
假定目标框面积为A，预测框面积为B，则IOU计算方法如下：
3)针对匹配成功的目标，用当前帧中匹配到的目标检测BBox去更新卡尔曼滤波器的状态预测BBox，即用当前帧检测的BBox替换卡尔曼预测的Bbox，对于当前帧中没有匹配到的目标(两种情况：当前帧只有检测框，没有预测框；当前帧有预测框，但没有检测框)，重新初始化跟踪器。
进一步地，所述步骤六中的灰度变换具体步骤如下：
Gray＝0.29900*R+0.58700*G+0.11400*B，其中R是指该像素点的R分量，G是指该像素点的G分量，B是指该像素点的B分量，Gray是转换后的该像素点的灰度值。
进一步地，所述步骤七中两次异常检测的时间具体为：
假设当前时间为t，第一次检测在t时刻，第二次检测在t+interval/r时刻，对这两个时刻的图像进行异常检测。
进一步地，所述步骤七中利用Horn-Schunck光流法计算两次异常检测之间同一个框内灰度图像的变化幅度，具体包括以下过程：
图像中前景运动目标即人员的移动可以产生光流，根据运动目标的移动产生光流，光流方程为：
(Ix,Iy)(u,v)+It＝0
其中，
分别代表运动目标区域图像灰度函数关于x轴，y轴，t轴的偏导数，利用松弛方程计算光流场U＝(u,v)T：
其中，u、v分别表示光流场沿x、y两个方向的分量；
和
是均值，k是迭代次数，α为权重系数，可以根据导数求导的精度确定。α反映了对图像数据及平滑约束的可信度，当图像数据本身含有较大噪声时，此时需要加大α的值，相反，当输入图像含有较少的噪声时，此时可减小α的值。
光流场是一个二维矢量场，它反映了图像上每一像素点灰度的变化趋势，可看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场，它包含的信息即是各像素点的瞬时运动速度矢量信息。
计算每个像素点的光流场幅度Mof：
计算图像的光流场幅度总和S：
其中W为图像宽度，H为图像高度；
计算目标变化幅度F：
其中W为图像宽度，H为图像高度。
综上可知，与现有技术相比，实施本发明实施例的技术方案具有以下有益效果：
1)本发明采用YOLOv4方法作为运动目标的检测手段，利用了深度学习的相关知识，实时的对厂区人员异常行为进行监控。同时，由于训练样本的多样性，使得该方法抗噪能力较好，能适用于绝大部分实际监控场景。
2)本发明结合匈牙利算法和卡尔曼滤波算法对运动目标进行追踪，匈牙利算法追踪使得系统的运行速度有较大提升，卡尔曼滤波算法追踪大幅度降低了对厂区人员追踪的丢失率，保证对厂区人员的追踪效果。该方法对于目标的运动目标有较好的检测效果，并能够适应目标被短暂遮挡或者漏检、背景环境发生缓慢变化等情形。
3)本发明采用光流法进行运动目标检测，优点是无须了解场景的信息，就可以准确地检测识别运动日标位置，且在摄像机处于运动或抖动情况下仍然适用。而且光流不仅携带了运动物体的运动信息，而且还携带了有关景物三维结构的丰富信息，它能够在不知道场景的任何信息的情况下，检测出运动对象。
4)本发明充分利用GPU强大的并行计算能力并与CPU进行协同工作，更高效的利用硬件完成YOLOv4算法中大规模的、高并行度的计算，实现系统加速功能，提高了YOLOv4检测运动目标的准确率和速度，从而降低厂区人员异常行为的误检率，达到了实时检测的目的。
附图说明
图1是本发明基于深度学习的厂区人员异常行为检测方法其中一个实施例的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明实施例提供一种基于深度学习的厂区人员异常行为检测方法，包括以下步骤：
步骤一、基于YOLOv4网络训练厂区人员模型；具体包括如下步骤：
1)建立厂区人员专有数据集，按照9:1的比例划分训练集和测试集；
2)建立YOLOv4网络结构，以CSPdarknet53作为骨干网络，空间金字塔池化模块SPP和路径聚合网络模块PANet作为颈部，YOLOV3作为头部预测输出；
3)首先使用ImageNet大型数据集对2)步骤中得到的网络结构进行训练，得到预训练模型，然后再对网络结构进行特定训练参数设定；
4)使用训练集对预训练模型进行迭代训练，直到损失函数收敛，得到厂区人员检测模型；
5)使用上述测试集对厂区人员检测模型进行测试，并且判断是否符合要求，若不符合，继续进行4)步骤，继续进行迭代训练直到测试结果符合要求。
6)输出符合要求的厂区人员检测模型。
步骤二、设定抓图帧率r(单位：帧/秒)和检测间隔interval(单位：帧)；
步骤三、通过摄像头获取生产区域的实时视频流，按照步骤二设定的抓图帧率r和检测间隔interval抓取图像，并对图像进行预处理；其中对图像进行预处理包括以下步骤：
1)将图像由BGR转换为RGB格式；
2)将图像缩放为608*608的图像，并居中放置；
3)将图像由HWC转换为CHW格式。
步骤四、加载训练好的厂区人员模型，对步骤三预处理后的图像进行厂区人员检测，得到一个或多个厂区人员区域的目标框；
步骤五、利用Sort多目标跟踪算法对目标框进行目标追踪，得到目标区域图像。
多目标跟踪，即Multiple Object Tracking(MOT)，主要任务中是给定一个图像序列，找到图像序列中运动的物体，并将不同帧的运动物体进行识别，也就是给定一个确定准确的id，当然这些物体可以是任意的，如厂区人员、车辆、各种动物等等，而最多的研究是厂区人员跟踪，由于人是一个非刚体的目标，且实际应用中厂区人员检测跟踪更具有商业价值。
Sort全称为Simple Online And Realtime Tracking，它是一种简单的在线实时多目标跟踪算法。Sort算法把卡尔曼滤波(Kalman Filter)和匈牙利算法(Hungarianalgorithm)结合到一起，以检测作为关键组件，传播目标状态到未来帧中，将当前检测与现有目标相关联，并管理跟踪目标的生命周期。
卡尔曼滤波的一个典型实例是从一组有限的，包含噪声的，对物体位置的观察序列(可能有偏差)预测出物体位置的坐标及速度。但目标的位置、速度、加速度的测量值往往在任何时候都有噪声。
卡尔曼滤波利用目标的动态信息，设法去掉噪声的影响，得到一个关于目标位置的好的估计。这个估计可以是对当前目标位置的估计(滤波)，也可以是对于将来位置的估计(预测)，也可以是对过去位置的估计(插值或平滑)。
卡尔曼滤波简单来说就两个步骤：
1)是预测，这一步通常是根据上一时刻的估计值预测下一时刻的值，成为先验估计，同时这一步会预测下一时刻的误差，成为先验误差。
2)是更新，也称为矫正，这一步首先计算卡尔曼增益(一个权衡先验估计与测量值的权重)，再利用上一步的先验估计计算后验估计，同时更新先验误差到后验误差。
匈牙利算法是由匈牙利数学家Edmonds于1965年提出，因而得名。匈牙利算法是基于Hall定理中充分性证明的思想，它是部图匹配最常见的算法，该算法的核心就是寻找增广路径，它是一种用增广路径求二分图最大匹配的算法。
所述步骤五中利用Sort多目标跟踪算法对目标框进行目标追踪，具体包括以下步骤：
1)第一帧进来时，以检测到的目标初始化，并创建新的卡尔曼滤波跟踪器，标注ID；
2)后面帧进来时，先到卡尔曼滤波器中得到由前面帧Bbox(表征图形中对象位置的矩形框)产生的状态预测和协方差预测，计算跟踪器列表中所有目标的状态预测与当前帧中检测到的BBox的IOU(模型预测的Bbox和Groud Truth(表征训练数据中已经标注的矩形框)之间的交并比)，再通过匈牙利算法分别得到所有目标IOU最大的唯一匹配(数据关联部分)，最后再去掉匹配值小于iou阈值(iou_threshold)的匹配对；
假定目标框面积为A，预测框面积为B，则IOU计算方法如下：
3)针对匹配成功的目标，用当前帧中匹配到的目标检测BBox去更新卡尔曼滤波器的状态预测BBox，即用当前帧检测的BBox替换卡尔曼预测的Bbox，对于当前帧中没有匹配到的目标，重新初始化跟踪器。
步骤六、裁剪目标区域图像，对裁剪图像进行灰度变换，转换为灰度图像；其中灰度变换具体步骤如下：
Gray＝0.29900*R+0.58700*G+0.11400*B，其中R是指该像素点的R分量，G是指该像素点的G分量，B是指该像素点的B分量，Gray是转换后的该像素点的灰度值。
步骤七、利用Horn-Schunck光流法计算两次异常检测之间同一个框内灰度图像的变化幅度；所述步骤七中两次异常检测的时间具体为：假设当前时间为t，第一次检测在t时刻，第二次检测在t+interval/r时刻，对这两个时刻的图像进行异常检测。
光流法是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。
选取连续运动的两幅图像，图像上任一点在t时刻的亮度为E(x,y,t)，同时该点的水平及垂直方向上的运动速度为：
u＝dx/dt
v＝dy/dt
经过▽t时间间隔后，该点对应点亮度为E(x+Δx,y+Δy,t+Δt)，将移动后点的亮度由Taylor公式展开可得：
为了便于计算，忽略上式的二阶无穷小，并假设▽t很小，该点亮度恒定不变E(x,y,t)＝E(x+Δx,y+Δy,t+Δt)，则上式简化为：
令
表示图像中像素点灰度沿x，y，t方向的梯度，则可得：
Exu+EyV+Et＝0
光流法的核心就是求解该方程，计算得到u，v值。
光流估计的方法都是基于以下假设：图像灰度分布的变化完全是目标或者场景的运动引起的，也就是说，目标与场景的灰度不随时间变化。这使得光流方法抗噪声能力较差，其应用范围一般局限于目标与场景的灰度保持不变这个假设条件下。
稠密光流是一种针对图像或指定的某一片区域进行逐点匹配的图像配准方法，它计算图像上所有的点的偏移量，从而形成一个稠密的光流场。通过这个稠密的光流场，可以进行像素级别的图像配准。Horn-Schunck算法以及基于区域匹配的大多数光流法都属于稠密光流的范畴。
所述步骤七中利用Horn-Schunck光流法计算两次异常检测之间同一个框内灰度图像的变化幅度，具体包括以下过程：
图像中前景运动目标即人员的移动可以产生光流，根据运动目标的移动产生光流，光流方程为：
(Ix,Iy)(u,v)+It＝0
其中，
分别代表运动目标区域图像灰度函数关于x轴，y轴，t轴的偏导数，利用松弛方程计算光流场U＝(u,v)T：
其中，u、v分别表示光流场沿x、y两个方向的分量；
和
是均值，k是迭代次数，α为权重系数，可以根据导数求导的精度确定。α反映了对图像数据及平滑约束的可信度，当图像数据本身含有较大噪声时，此时需要加大α的值，相反，当输入图像含有较少的噪声时，此时可减小α的值。
光流场是一个二维矢量场，它反映了图像上每一像素点灰度的变化趋势，可看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场，它包含的信息即是各像素点的瞬时运动速度矢量信息。
计算每个像素点的光流场幅度Mof：
计算图像的光流场幅度总和S：
其中W为图像宽度，H为图像高度；
计算目标变化幅度F：
其中W为图像宽度，H为图像高度。
步骤八、判断变化幅度是否小于阈值，如果小于阈值，则判定该人员行为异常，发出报警信息。目标行为异常判定方法为：
其中F为目标变化幅度，threshold为阈值。
本发明结合匈牙利算法和卡尔曼滤波算法对运动目标进行追踪，匈牙利算法追踪使得系统的运行速度有较大提升，卡尔曼滤波算法追踪大幅度降低了对人员追踪的丢失率，保证对人员的追踪效果；本发明采用光流法进行运动目标检测，优点是无须了解场景的信息，就可以准确地检测识别运动日标位置，且在摄像机处于运动或抖动情况下仍然适用；本发明判断结果准确，可节约大量的人力资源和成本，提高监控的效率与可靠性，对于工厂生产的安全运行及管理提供了重要的保障。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (7)
1.一种基于深度学习的厂区人员异常行为检测方法，其特征在于，包括以下步骤：
步骤一、基于YOLOv4网络训练厂区人员模型；
步骤二、设定抓图帧率r和检测间隔interval；
步骤三、通过摄像头获取生产区域的实时视频流，按照步骤二设定的抓图帧率r和检测间隔interval抓取图像，并对图像进行预处理；
步骤四、加载训练好的厂区人员模型，对步骤三预处理后的图像进行厂区人员检测，得到一个或多个厂区人员区域的目标框；
步骤五、利用Sort多目标跟踪算法对目标框进行目标追踪，得到目标区域图像；
步骤六、裁剪目标区域图像，对裁剪图像进行灰度变换，转换为灰度图像；
步骤七、利用Horn-Schunck光流法计算两次异常检测之间同一个框内灰度图像的变化幅度；
步骤八、判断变化幅度是否小于阈值，如果小于阈值，则判定该人员行为异常，发出报警信息。
2.如权利要求1所述的基于深度学习的厂区人员异常行为检测方法，所述步骤一基于YOLOv4网络训练厂区人员模型，其特征在于，包括以下步骤：
1)建立厂区人员专用数据集，按照9:1的比例划分训练集和测试集；
2)建立YOLOv4网络结构，以CSPdarknet53作为骨干网络，空间金字塔池化模块SPP和路径聚合网络模块PANet作为颈部，YOLOv3作为头部预测输出；
3)首先使用ImageNet大型数据集对2)步骤中得到的YOLOv4网络结构进行训练，得到预训练模型，然后再对YOLOv4网络结构进行特定训练参数设定；
4)使用训练集对预训练模型进行迭代训练，直到损失函数收敛，得到厂区人员检测模型；
5)使用上述测试集对厂区人员检测模型进行测试，并且判断是否符合要求，若不符合，继续进行4)步骤，继续进行迭代训练直到测试结果符合要求；
6)输出符合要求的厂区人员检测模型。
3.如权利要求1所述的基于深度学习的厂区人员异常行为检测方法，所述步骤三中的对图像进行预处理，其特征在于，包括以下步骤：
1)将图像由BGR转换为RGB格式；
2)将图像缩放为608*608的图像，并居中放置；
3)将图像由HWC转换为CHW格式。
4.如权利要求1所述的基于深度学习的厂区人员异常行为检测方法，其特征在于，所述步骤五中利用Sort多目标跟踪算法对目标框进行目标追踪，包括以下步骤：
1)第一帧进来时，以检测到的目标初始化，并创建新的卡尔曼滤波跟踪器，标注ID；
2)后面帧进来时，先到卡尔曼滤波器中得到由前面帧BBox产生的状态预测和协方差预测，计算跟踪器列表中所有目标的状态预测与当前帧中检测到的BBox的IOU，再通过匈牙利算法分别得到所有目标IOU最大的唯一匹配，最后再去掉匹配值小于iou_threshold的匹配对；
假定目标框面积为A，预测框面积为B，则IOU计算方法如下：
3)针对匹配成功的目标，用当前帧中匹配到的目标检测BBox去更新卡尔曼滤波器的状态预测BBox，即用当前帧检测的BBox替换卡尔曼预测的Bbox，对于当前帧中没有匹配到的目标，重新初始化跟踪器。
5.如权利要求1所述的基于深度学习的厂区人员异常行为检测方法，其特征在于：所述步骤六中的灰度变换具体步骤如下：
Gray＝0.29900*R+0.58700*G+0.11400*B，其中R是指该像素点的R分量，G是指该像素点的G分量，B是指该像素点的B分量，Gray是转换后的该像素点的灰度值。
6.如权利要求1所述的基于深度学习的厂区人员异常行为检测方法，其特征在于：所述步骤七中两次异常检测的时间具体为：
假设当前时间为t，第一次检测在t时刻，第二次检测在t+interval/r时刻，对这两个时刻的图像进行异常检测。
7.如权利要求1所述的基于深度学习的厂区人员异常行为检测方法，其特征在于：所述步骤七中利用Horn-Schunck光流法计算两次异常检测之间同一个框内灰度图像的变化幅度，具体包括以下过程：
图像中前景运动目标即人员的移动可以产生光流，根据运动目标的移动产生光流，光流方程为：
(Ix,Iy)(u,v)+It＝0
其中，
分别代表运动目标区域图像灰度函数关于x轴，y轴，t轴的偏导数，利用松弛方程计算光流场U＝(u,v)T：
其中，u、v分别表示光流场沿x、y两个方向的分量；
和
是均值，k是迭代次数，α为权重系数，根据导数求导的精度确定；
光流场看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场，光流场包含的信息即是各像素点的瞬时运动速度矢量信息；
计算每个像素点的光流场幅度Mof：
计算图像的光流场幅度总和S：
其中W为图像宽度，H为图像高度；
计算目标变化幅度F：
其中W为图像宽度，H为图像高度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011514268.9A CN112597877A (zh) | 2020-12-21 | 2020-12-21 | 一种基于深度学习的厂区人员异常行为检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011514268.9A CN112597877A (zh) | 2020-12-21 | 2020-12-21 | 一种基于深度学习的厂区人员异常行为检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112597877A true CN112597877A (zh) | 2021-04-02 |
Family
ID=75199555
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011514268.9A Pending CN112597877A (zh) | 2020-12-21 | 2020-12-21 | 一种基于深度学习的厂区人员异常行为检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112597877A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408372A (zh) * | 2021-06-02 | 2021-09-17 | 东南大学 | 一种基于时空间特征的行人车辆异常行为检测方法 |
| CN113516070A (zh) * | 2021-07-08 | 2021-10-19 | 深圳喜为智慧科技有限公司 | 一种猪只点数方法 |
| CN113870304A (zh) * | 2021-12-07 | 2021-12-31 | 江西中业智能科技有限公司 | 异常行为检测与跟踪方法、装置、可读存储介质及设备 |
| CN114627339A (zh) * | 2021-11-09 | 2022-06-14 | 昆明物理研究所 | 茂密丛林区域对越境人员的智能识别跟踪方法及存储介质 |
| CN114780781A (zh) * | 2022-06-17 | 2022-07-22 | 中船重工(武汉)凌久高科有限公司 | 一种基于模糊聚类和非对称距离计算的乘积量化方法 |
| CN115346170A (zh) * | 2022-08-11 | 2022-11-15 | 北京市燃气集团有限责任公司 | 一种燃气设施区域的智能监控方法及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105554508A (zh) * | 2015-12-11 | 2016-05-04 | 南京昊烽信息科技有限公司 | 消除gop周期噪声效应的视频帧间篡改检测方法及系统 |
| CN106878704A (zh) * | 2017-02-14 | 2017-06-20 | 福建师范大学 | 基于光流周期特性的视频帧率上转篡改检测方法 |
| CN107358206A (zh) * | 2017-07-13 | 2017-11-17 | 山东大学 | 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法 |
| CN108062349A (zh) * | 2017-10-31 | 2018-05-22 | 深圳大学 | 基于视频结构化数据及深度学习的视频监控方法和系统 |
| CN110399808A (zh) * | 2019-07-05 | 2019-11-01 | 桂林安维科技有限公司 | 一种基于多目标跟踪的人体行为识别方法及系统 |
| CN111126152A (zh) * | 2019-11-25 | 2020-05-08 | 国网信通亿力科技有限责任公司 | 一种基于视频的多目标行人检测与跟踪的方法 |
| CN111523465A (zh) * | 2020-04-23 | 2020-08-11 | 中船重工鹏力（南京）大气海洋信息系统有限公司 | 基于摄像机标定及深度学习算法的船舶身份识别系统 |
| CN111539395A (zh) * | 2020-07-08 | 2020-08-14 | 浙江浙能天然气运行有限公司 | 一种基于光流法和支持向量机的挖掘机实时检测方法 |
| CN111601011A (zh) * | 2020-04-10 | 2020-08-28 | 全景智联(武汉)科技有限公司 | 一种基于视频流图像的自动告警方法及系统 |
| CN111598066A (zh) * | 2020-07-24 | 2020-08-28 | 之江实验室 | 一种基于级联预测的安全帽佩戴识别方法 |
| CN111814589A (zh) * | 2020-06-18 | 2020-10-23 | 浙江大华技术股份有限公司 | 部位识别方法以及相关设备、装置 |
-
2020
- 2020-12-21 CN CN202011514268.9A patent/CN112597877A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105554508A (zh) * | 2015-12-11 | 2016-05-04 | 南京昊烽信息科技有限公司 | 消除gop周期噪声效应的视频帧间篡改检测方法及系统 |
| CN106878704A (zh) * | 2017-02-14 | 2017-06-20 | 福建师范大学 | 基于光流周期特性的视频帧率上转篡改检测方法 |
| CN107358206A (zh) * | 2017-07-13 | 2017-11-17 | 山东大学 | 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法 |
| CN108062349A (zh) * | 2017-10-31 | 2018-05-22 | 深圳大学 | 基于视频结构化数据及深度学习的视频监控方法和系统 |
| CN110399808A (zh) * | 2019-07-05 | 2019-11-01 | 桂林安维科技有限公司 | 一种基于多目标跟踪的人体行为识别方法及系统 |
| CN111126152A (zh) * | 2019-11-25 | 2020-05-08 | 国网信通亿力科技有限责任公司 | 一种基于视频的多目标行人检测与跟踪的方法 |
| CN111601011A (zh) * | 2020-04-10 | 2020-08-28 | 全景智联(武汉)科技有限公司 | 一种基于视频流图像的自动告警方法及系统 |
| CN111523465A (zh) * | 2020-04-23 | 2020-08-11 | 中船重工鹏力（南京）大气海洋信息系统有限公司 | 基于摄像机标定及深度学习算法的船舶身份识别系统 |
| CN111814589A (zh) * | 2020-06-18 | 2020-10-23 | 浙江大华技术股份有限公司 | 部位识别方法以及相关设备、装置 |
| CN111539395A (zh) * | 2020-07-08 | 2020-08-14 | 浙江浙能天然气运行有限公司 | 一种基于光流法和支持向量机的挖掘机实时检测方法 |
| CN111598066A (zh) * | 2020-07-24 | 2020-08-28 | 之江实验室 | 一种基于级联预测的安全帽佩戴识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| HU XUEMIN等: "《Abnormal crowd behavior detection based on motion saliency map》", 《JOURNAL OF COMPUTER APPLICATIONS》, vol. 38, no. 4, 10 April 2018 (2018-04-10), pages 1164 - 9 * |
| 苏寒松等: "《基于神经网络的学生行为检测算法研究》", 《激光与光电子学进展》, vol. 57, no. 22, 30 November 2020 (2020-11-30), pages 221016 - 1 * |
| 金玥佟等: "《电力监控场景下基于光流特征点的目标跟踪算法》", 《电力科学与工程》, vol. 36, no. 5, 31 May 2020 (2020-05-31), pages 40 - 47 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408372A (zh) * | 2021-06-02 | 2021-09-17 | 东南大学 | 一种基于时空间特征的行人车辆异常行为检测方法 |
| CN113408372B (zh) * | 2021-06-02 | 2024-05-24 | 东南大学 | 一种基于时空间特征的行人车辆异常行为检测方法 |
| CN113516070A (zh) * | 2021-07-08 | 2021-10-19 | 深圳喜为智慧科技有限公司 | 一种猪只点数方法 |
| CN114627339A (zh) * | 2021-11-09 | 2022-06-14 | 昆明物理研究所 | 茂密丛林区域对越境人员的智能识别跟踪方法及存储介质 |
| CN114627339B (zh) * | 2021-11-09 | 2024-03-29 | 昆明物理研究所 | 茂密丛林区域对越境人员的智能识别跟踪方法及存储介质 |
| CN113870304A (zh) * | 2021-12-07 | 2021-12-31 | 江西中业智能科技有限公司 | 异常行为检测与跟踪方法、装置、可读存储介质及设备 |
| CN114780781A (zh) * | 2022-06-17 | 2022-07-22 | 中船重工(武汉)凌久高科有限公司 | 一种基于模糊聚类和非对称距离计算的乘积量化方法 |
| CN115346170A (zh) * | 2022-08-11 | 2022-11-15 | 北京市燃气集团有限责任公司 | 一种燃气设施区域的智能监控方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112597877A (zh) | 一种基于深度学习的厂区人员异常行为检测方法 | |
| CN113034548B (zh) | 一种适用于嵌入式终端的多目标跟踪方法及其系统 | |
| Yang et al. | Deep concrete inspection using unmanned aerial vehicle towards cssc database | |
| CN112883819A (zh) | 多目标跟踪方法、装置、系统及计算机可读存储介质 | |
| CN105913028B (zh) | 一种基于face++平台的人脸跟踪方法及其装置 | |
| CN112785628B (zh) | 一种基于全景视角检测跟踪的轨迹预测方法及系统 | |
| CN105374049B (zh) | 一种基于稀疏光流法的多角点跟踪方法及装置 | |
| Yang et al. | A robotic system towards concrete structure spalling and crack database | |
| CN103810696B (zh) | 一种目标对象图像检测方法及装置 | |
| Moradi et al. | Real-time defect detection in sewer closed circuit television inspection videos | |
| US11928813B2 (en) | Method and system for detecting change to structure by using drone | |
| CN116229052B (zh) | 一种基于孪生网络的变电站设备状态变化检测方法 | |
| Makino et al. | Moving-object detection method for moving cameras by merging background subtraction and optical flow methods | |
| CN110580708B (zh) | 一种快速移动检测方法、装置及电子设备 | |
| Saad et al. | StereoYolo+ DeepSORT: a framework to track fish from underwater stereo camera in situ | |
| KR100994722B1 (ko) | 카메라 핸드오프를 이용한 다중 카메라상의 연속적인 물체추적 방법 | |
| CN108446581A (zh) | 一种恶劣环境中的无人机检测方法 | |
| CN112818789A (zh) | 一种船只进出港的检测方法及装置 | |
| CN107452019A (zh) | 一种基于模型切换的目标检测方法、装置、系统及存储介质 | |
| CN116862832A (zh) | 一种基于三维实景模型的作业人员定位方法 | |
| CN107767366A (zh) | 一种输电线路拟合方法及装置 | |
| Srilekha et al. | A novel approach for detection and tracking of vehicles using Kalman filter | |
| CN115797770A (zh) | 考虑目标相对运动的连续图像目标检测方法、系统及终端 | |
| Huang et al. | Motion characteristics estimation of animals in video surveillance | |
| CN104182990B (zh) | 一种实时序列图像运动目标区域获取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: No. 718, Luoyu Road, Guanshan street, Hongshan District, Wuhan City, Hubei Province, 430074 Applicant after: China Shipbuilding Lingjiu High Tech (Wuhan) Co.,Ltd. Address before: No. 718, Luoyu Road, Guanshan street, Hongshan District, Wuhan City, Hubei Province, 430074 Applicant before: CSIC WUHAN LINGJIU HI TECH Co.,Ltd. Country or region before: China |