CN117456610B - 一种攀爬异常行为检测方法、系统及电子设备 - Google Patents
一种攀爬异常行为检测方法、系统及电子设备 Download PDFInfo
- Publication number
- CN117456610B CN117456610B CN202311764577.5A CN202311764577A CN117456610B CN 117456610 B CN117456610 B CN 117456610B CN 202311764577 A CN202311764577 A CN 202311764577A CN 117456610 B CN117456610 B CN 117456610B
- Authority
- CN
- China
- Prior art keywords
- convolution
- climbing
- module
- yolov5
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009194 climbing Effects 0.000 title claims abstract description 102
- 238000001514 detection method Methods 0.000 title claims abstract description 102
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 54
- 230000006399 behavior Effects 0.000 claims abstract description 45
- 230000004913 activation Effects 0.000 claims description 58
- 230000006870 function Effects 0.000 claims description 42
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 27
- 238000011176 pooling Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000003313 weakening effect Effects 0.000 claims 2
- 230000035945 sensitivity Effects 0.000 abstract description 7
- 238000007689 inspection Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000001737 promoting effect Effects 0.000 description 4
- 238000009795 derivation Methods 0.000 description 3
- 230000009545 invasion Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种攀爬异常行为检测方法、系统及电子设备，涉及检测识别技术领域；包括步骤1：改进YOLOv5网络模型中YOLOv5卷积模块，步骤2：制作YOLOv5网络模型相关数据集；步骤3：利用数据集训练并验证用于攀爬异常行为检测的YOLOv5网络模型；步骤4：采集实时视频数据，利用YOLOv5网络模型进行攀爬异常行为的判定；通过本发明重构YOLOv5网络的基本卷积单元，拓展了YOLOv5网络的网络层次，增强了网络特征的提取能力，有效地提高了YOLOv5网络模型对攀爬行为特征的敏感度，提高了检测精准度，可通过摄像头等设备进行自动安保巡查，节省人力、财力成本，避免存在安保巡查盲点。
Description
技术领域
本发明公开一种方法、系统及电子设备，涉及检测识别技术领域，具体的地说是一种攀爬异常行为检测方法、系统及电子设备。
背景技术
非允许闯入通常具有较强的目的性，更容易威胁到人们的生命财产安全以及社会安全，所以非允许闯入往往被列为安防系统的关键点。由于非允许闯入的方式可能很多，诸如蒙混闯入、翻越围墙强行进入等，现有安保方式主要为人为安保，需要耗费大量的人力、财力成本，往往需要协调大量的安保人员以及后勤保障人员进行安防检查，但仍容易存在盲点，引发安保风险。
发明内容
本发明针对现有技术的问题，提供一种攀爬异常行为检测方法、系统及电子设备，重构YOLOv5网络的基本卷积单元，拓展了YOLOv5网络的网络层次，增强了网络特征的提取能力，有效地提高了YOLOv5网络模型对攀爬行为特征的敏感度，提高了检测精准度，可通过摄像头等设备进行自动安保巡查，节省人力、财力成本，避免存在安保巡查盲点。
本发明提出的具体方案是：
本发明提供一种攀爬异常行为检测方法，包括：
步骤1：改进YOLOv5网络模型中YOLOv5卷积模块，其中所述YOLOv5卷积模块包括卷积单元、归一化层和Leaky ReLU激活函数，所述卷积单元包括卷积层、卷积注意力模块、h-swish激活模块和ReLU激活函数，通过卷积注意力模块利用最大池化算法和平均池化算法对特征图在通道和空间两个维度上进行压缩，调节特征权重,引导网络模型对关键特征的关注度，减弱无关特征的学习，通过h-swish激活模块减小计算开销并实现激活函数的非线性复杂程度；
步骤2：制作YOLOv5网络模型相关数据集；
步骤3：利用数据集训练并验证用于攀爬异常行为检测的YOLOv5网络模型；
步骤4：采集实时视频数据，利用YOLOv5网络模型进行攀爬异常行为的判定：
步骤41：获得预测结果的[x,y,w,h,c]数组，(x,y)代表检测目标的中心点坐标，(w,h)代表检测目标的宽和高，c代表标签类别的可信度，
步骤42：设置可信度阈值，对预测结果进行过滤，若c大于可信度阈值，则认为预测结果准确，否则认为是误检测，
步骤43：针对误检测引入二次判别，对误检测进行核实。
进一步，所述的一种攀爬异常行为检测方法中步骤2中，包括：抽取公开的照片以及模拟攀爬场景拍摄的照片，使用LabelImg软件将照片中的目标人物进行矩形框选并制作标签，将标签分为两类，一类表示攀爬行为标记为climb， 另一类表示正常行为标记为normal，完成照片标注形成数据集，并生成xml格式文件，将数据集按照训练集：测试集为9:1的比例进行划分，生成训练集和测试集。
进一步，所述的一种攀爬异常行为检测方法中步骤3中搭建YOLOv5网络模型的训练环境，其中硬件环境采用应用Ubuntu操作系统，内存为32G，采用NVIDIA GeForceGTX1080Ti 显卡进行YOLOv5网络模型训练，软件环境采用PyTorch框架，通过PyTorch的相关API进行损失函数的辅助训练，设置迭代训练200个周期，训练策略采用早停算法，设置验证集损失不下降的容忍度为20个周期。
进一步，所述的一种攀爬异常行为检测方法中步骤43中所述二次判别，包括：基于采集的视频数据的画面中墙体，设置墙体的位置红线，根据检测目标的中心点坐标(x,y)，判断中心点坐标是否已越过墙体的位置红线，如果越过则判定预测结果准确，否则判定为误检测。
本发明还提供一种攀爬异常行为检测系统，包括采集模块、模型训练模块和攀爬行为视频分析模块，
模型训练模块改进YOLOv5网络模型中YOLOv5卷积模块，其中所述YOLOv5卷积模块包括卷积单元、归一化层和Leaky ReLU激活函数，所述卷积单元包括卷积层、卷积注意力模块、h-swish激活模块和ReLU激活函数，通过卷积注意力模块利用最大池化算法和平均池化算法对特征图在通道和空间两个维度上进行压缩，调节特征权重,引导网络模型对关键特征的关注度，减弱无关特征的学习，通过h-swish激活模块减小计算开销并实现激活函数的非线性复杂程度；
制作YOLOv5网络模型相关数据集；
利用数据集训练并验证用于攀爬异常行为检测的YOLOv5网络模型；
采集模块采集实时视频数据，攀爬行为视频分析模块利用YOLOv5网络模型进行攀爬异常行为的判定：
步骤41：获得预测结果的[x,y,w,h,c]数组，(x,y)代表检测目标的中心点坐标，(w,h)代表检测目标的宽和高，c代表标签类别的可信度，
步骤42：设置可信度阈值，对预测结果进行过滤，若c大于可信度阈值，则认为预测结果准确，否则认为是误检测，
步骤43：针对误检测引入二次判别，对误检测进行核实。
进一步，所述的一种攀爬异常行为检测系统中模型训练模块抽取公开的照片以及模拟攀爬场景拍摄的照片，使用LabelImg软件将照片中的目标人物进行矩形框选并制作标签，将标签分为两类，一类表示攀爬行为标记为climb，另一类表示正常行为标记为normal，完成照片标注形成数据集，并生成xml格式文件，将数据集按照训练集：测试集为9:1的比例进行划分，生成训练集和测试集。
进一步，所述的一种攀爬异常行为检测系统中模型训练模块搭建YOLOv5网络模型的训练环境，其中硬件环境采用应用Ubuntu操作系统，内存为32G，采用NVIDIA GeForceGTX1080Ti 显卡进行YOLOv5网络模型训练，软件环境采用PyTorch框架，通过PyTorch的相关API进行损失函数的辅助训练，设置迭代训练200个周期，训练策略采用早停算法，设置验证集损失不下降的容忍度为20个周期。
进一步，所述的一种攀爬异常行为检测系统中步骤43中攀爬行为视频分析模块进行二次判别，包括：基于采集的视频数据的画面中墙体，设置墙体的位置红线，根据检测目标的中心点坐标(x,y)，判断中心点坐标是否已越过墙体的位置红线，如果越过则判定预测结果准确，否则判定为误检测。
进一步，所述的一种攀爬异常行为检测系统中所述检测系统的前端页面基于Vue架构搭建，通过后端获取视频数据渲染到前端页面上，实现界面显示，所述检测系统的后端基于Django架构搭建，将YOLOv5网络模型的运行程序封装为具名函数，供后端调度执行。
本发明还提供一种攀爬异常行为检测电子设备，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行所述的一种攀爬异常行为检测方法。
本发明的有益之处是：
本发明提供一种攀爬异常行为检测方法，针对围墙的攀爬异常行为进行检测识别，通过训练的用于攀爬行为检测的YOLOv5网络模型对视频帧实时分析处理，正确识别攀爬行为，其中本发明方法对现有的YOLOv5网络结构进行改进，通过引入CBAM注意力机制模块拓展网络层次，提高YOLOv5网络对攀爬行为特征的敏感度和检测准确度，通过引入h-swish激活模块，提高YOLOv5网络的正向计算速度以及反向梯度算法的求导速度，进而提升模型的预测速度，促使改进的YOLOv5模型能够针对实时视频帧及时地计算处理，保证算法的时效性及时指导安防人员采取应急措施，解决目前安防系统在外围非法入侵方面的盲点问题，有利于促进监管单位的信息化、数字化、智能化管理。
附图说明
图1是本发明涉及的YOLOv5卷积模块(CBL)和卷积单元(CCH)结构示意图。
图2是本发明涉及的攀爬检测判定流程示意图。
图3是本发明涉及的检测系统应用示意图。
图4是本发明涉及的检测系统的部署示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
本发明提供一种攀爬异常行为检测方法，包括：
步骤1：改进YOLOv5网络模型中YOLOv5卷积模块，其中所述YOLOv5卷积模块包括卷积单元、归一化层和LeakyReLU激活函数，所述卷积单元包括卷积层、卷积注意力模块、h-swish激活模块和ReLU激活函数，通过卷积注意力模块利用最大池化算法和平均池化算法对特征图在通道和空间两个维度上进行压缩，调节特征权重,引导网络模型对关键特征的关注度，减弱无关特征的学习，通过h-swish激活模块减小计算开销并实现激活函数的非线性复杂程度；
步骤2：制作YOLOv5网络模型相关数据集；
步骤3：利用数据集训练并验证用于攀爬异常行为检测的YOLOv5网络模型；
步骤4：采集实时视频数据，利用YOLOv5网络模型进行攀爬异常行为的判定：
步骤41：获得预测结果的[x,y,w,h,c]数组，(x,y)代表检测目标的中心点坐标，(w,h)代表检测目标的宽和高，c代表标签类别的可信度，
步骤42：设置可信度阈值，对预测结果进行过滤，若c大于可信度阈值，则认为预测结果准确，否则认为是误检测，
步骤43：针对误检测引入二次判别，对误检测进行核实。
本发明方法引入卷积注意力模块CBAM(Convolutional Block AttentionModule)和h-swish激活模块对YOLOv5网络的基本卷积单元进行重构，拓展了YOLOv5网络的网络层次，增强了网络特征的提取能力，有效地提高了YOLOv5网络模型对攀爬行为特征的敏感度，提高了检测精准度。
具体应用中，在本发明方法的一些实施例中，可参考实施例1：
一种攀爬异常行为检测方法，包括：
步骤1：改进YOLOv5网络模型中YOLOv5卷积模块，其中所述YOLOv5卷积模块包括卷积单元、归一化层和LeakyReLU激活函数，所述卷积单元包括卷积层、卷积注意力模块、h-swish激活模块和ReLU激活函数，通过卷积注意力模块利用最大池化算法和平均池化算法对特征图在通道和空间两个维度上进行压缩，调节特征权重,引导网络模型对关键特征的关注度，减弱无关特征的学习，通过h-swish激活模块减小计算开销并实现激活函数的非线性复杂程度。
其中卷积注意力模块(CBAM)是一种结合了空间和通道的注意力机制模块,通过最大池化算法和平均池化算法对特征图在通道和空间两个维度上进行压缩，多方向调节特征权重,引导网络模型提高对关键特征的关注度，减弱无关特征的学习，有利于提高复杂场景下攀爬行为的检测准确性。
h-swish激活模块是ReLU6激活函数和Swish激活函数的融合，摒弃了 Swish激活函数中过于复杂的Sigmoid 函数，替换为ReLU6激活函数，以较小的计算开销保证了激活函数的非线性复杂程度，大大提升了模型的计算速度和预测速度，有利于提高攀爬行为的预测速度，保证视频处理的实时性，在x表示为特征变量时，其相关计算公式可参考如下：
为了拓展YOLOv5的网络深度，提高YOLOv5网络模型在攀爬场景的鲁棒性和适应性，本发明方法将卷积注意力模块(CBAM)和h-swish激活模块嵌入到基本的卷积单元中，参考图1，其中，改进的YOLOv5卷积模块(CBL)主要由融合CBAM模块和h-swish模块的卷积单元(CCH)、归一化层(BN)、LeakyReLU激活函数三者组成,而CCH主要由卷积层(Conv)、卷积注意力模块(CBAM)、h-swish激活模块、ReLU激活函数构成，另外，卷积层(Conv)采用3x3大小的卷积核进行卷积运算，C in 为特征图的输入维度，C out 为特征图输出维度。
步骤2：制作YOLOv5网络模型相关数据集。
进一步，步骤2中，包括：抽取公开的照片以及模拟攀爬场景拍摄的照片共4860张图片，使用LabelImg软件将照片中的目标人物进行矩形框选并制作标签，将标签分为两类，一类表示攀爬行为标记为climb， 另一类表示正常行为标记为normal，完成照片标注形成数据集，并生成xml格式文件，将数据集按照训练集：测试集为9:1的比例进行划分，生成训练集和测试集。
步骤3：利用数据集训练并验证用于攀爬异常行为检测的YOLOv5网络模型。
进一步，步骤3中搭建YOLOv5网络模型的训练环境，其中硬件环境采用应用Ubuntu操作系统，内存为32G，采用NVIDIA GeForce GTX1080Ti 显卡进行YOLOv5网络模型训练，软件环境采用PyTorch框架，通过PyTorch的相关API进行损失函数的辅助训练，设置迭代训练200个周期，训练策略采用早停算法，设置验证集损失不下降的容忍度为20个周期，即损失函数在连续20个周期内无明显下降则模型训练提前终止，提高训练效率。
经结果验证，YOLOv5网络模型的攀爬检测精确度与改进的YOLOv5网络模型的攀爬检测精确度相比：在训练过程中，改进后YOLOv5网络模型对攀爬行为识别精确度更高且收敛速度更快，表明引入卷积注意力模块和h-swish激活模块后，提高了YOLOv5模型的特征提取能力，对攀爬行为识别具有更高的灵敏度，验证了本实施例中改进的YOLOv5网络模型的可行性。同时，针对改进的的YOLOv5网络模型，进行多场景适应性验证，通过现场模拟方式获取具有攀爬行为的图像，将获取图像输入到训练好的YOLOv5网络模型进行推演预测，根据预测结果，判定模型的鲁棒性和稳定性，如果模型的鲁棒性较差，则需要采集更大的数据集再次进行训练；如果模型的鲁棒性满足场景需求，那么该模型具备已应用条件。
步骤4：采集实时视频数据，利用YOLOv5网络模型进行攀爬异常行为的判定：
步骤41：获得预测结果的[x,y,w,h,c]数组，(x,y)代表检测目标的中心点坐标，(w,h)代表检测目标的宽和高，c代表标签类别的可信度。根据c可以判断攀爬检测的准确度，即c数值越低，攀爬检测结果的误检率就越高。
步骤42：设置可信度阈值，对预测结果进行过滤，若c大于可信度阈值，则认为预测结果准确，否则认为是误检测。比如可设置可信度阈值为8.0。
步骤43：针对误检测引入二次判别，对误检测进行核实。
例如，参考图2，根据改进的YOLOv5网络模型进行预测，获取预测结果的[x,y,w,h, c]数组，判断可信度c是否大于可信度阈值0.8，是则预测结果准确，认定为攀爬行为，进行报警，否则认为是误检测，利用位置红线判别，其中基于采集的视频数据的画面中墙体，设置墙体的位置红线，根据检测目标的中心点坐标(x,y)，判断中心点坐标（x,y）是否已越过墙体的位置红线，如果越过则判定预测结果准确，认定为攀爬行为，进行报警，否则判定为误检测。
实施例2
本发明还提供一种攀爬异常行为检测系统，包括采集模块、模型训练模块和攀爬行为视频分析模块，
模型训练模块改进YOLOv5网络模型中YOLOv5卷积模块，其中所述YOLOv5卷积模块包括卷积单元、归一化层和LeakyReLU激活函数，所述卷积单元包括卷积层、卷积注意力模块、h-swish激活模块和ReLU激活函数，通过卷积注意力模块利用最大池化算法和平均池化算法对特征图在通道和空间两个维度上进行压缩，调节特征权重,引导网络模型对关键特征的关注度，减弱无关特征的学习，通过h-swish激活模块减小计算开销并实现激活函数的非线性复杂程度；
制作YOLOv5网络模型相关数据集；
利用数据集训练并验证用于攀爬异常行为检测的YOLOv5网络模型；
采集模块采集实时视频数据，攀爬行为视频分析模块利用YOLOv5网络模型进行攀爬异常行为的判定：
步骤41：获得预测结果的[x,y,w,h,c]数组，(x,y)代表检测目标的中心点坐标，(w,h)代表检测目标的宽和高，c代表标签类别的可信度，
步骤42：设置可信度阈值，对预测结果进行过滤，若c大于可信度阈值，则认为预测结果准确，否则认为是误检测，
步骤43：针对误检测引入二次判别，对误检测进行核实。
上述系统内各模块间信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
同样地，本发明系统针对围墙的攀爬异常行为进行检测识别，通过训练的用于攀爬行为检测的YOLOv5网络模型对视频帧实时分析处理，正确识别攀爬行为，其中本发明系统对现有的YOLOv5网络结构进行改进，通过引入CBAM注意力机制模块拓展网络层次，提高YOLOv5网络对攀爬行为特征的敏感度和检测准确度，通过引入h-swish激活模块，提高YOLOv5网络的正向计算速度以及反向梯度算法的求导速度，进而提升模型的预测速度，促使改进的YOLOv5模型能够针对实时视频帧及时地计算处理，保证算法的时效性及时指导安防人员采取应急措施，解决目前安防系统在外围非法入侵方面的盲点问题，有利于促进监管单位的信息化、数字化、智能化管理。
此外，具体应用中，本发明系统可搭建相应的应用框架，比如搭建基于rtmp协议的流媒体服务器，并通过OBS Studio和VLC软件测试推送、拉取rtmp协议视频流，测试流媒体服务器的运行状态。搭建基于Vue架构的前端页面，通过该后端模块获取摄像头信息以及摄像头视频数据渲染到前端页面上，实现界面显示。搭建系统后端以及嵌入算法，基于Django架构搭建系统后端，完成与数据库、前端的数据服务，将融合卷积注意力机制YOLOv5算法程序封装为具名函数，方便后端完成算法模块的调度执行。
本发明系统部署，可参考附图4所示，本发明系统部署采用基于Nginx的集群化部署方案。该部署架构主要由主代理服务器、从代理服务器、静态资源服务器、文件存储服务器、流媒体服务器以及后端及算法服务器组成，其中，为了节约服务器资源，算法部分和系统后端部分部署在普通服务器上，形成后端及算法服务器；文件存储服务器保存攀爬行为检测模型识别出攀爬行为的视频帧；静态资源服务器管理前端页面的静态数据，如请求转发数据及响应数据；流媒体服务器提供视频流的推送和拉取服务；主、从代理服务器统筹请求的转发，并通过keepalived心跳检测机制实现主、从代理服务器切换，预防主代理服务器宕机，增加系统的鲁棒性。
本发明系统部署后，可以参考图3，可通过主代理服务器的注册登录模块请求注册及登录，若登录成功，则进入系统首页，通过攀爬行为视频分析模块获取摄像头列表，进入摄像头视频画面，通过视频请求接入检测算法接口，调用攀爬检测算法模型，即改进后的YOLOv5网络模型，进行是否为攀爬行为的结果判定，是则调用视频帧保存接口，将视频帧保存至文件存储服务器，并进行报警，将视频流推流至流媒体服务器，显示摄像头视频画面，否则也将视频流推流至流媒体服务器，显示摄像头视频画面。从系统首页退出系统。
实施例3
本发明还提供一种攀爬异常行为检测电子设备，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行所述的一种攀爬异常行为检测方法。
上述电子设备内的处理器的信息交互、执行可读程序过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
同样地，本发明的电子设备能够针对围墙的攀爬异常行为进行检测识别，通过训练的用于攀爬行为检测的YOLOv5网络模型对视频帧实时分析处理，正确识别攀爬行为，其中本发明电子设备内存储器存储了机器可读程序：对现有的YOLOv5网络结构进行改进，引入CBAM注意力机制模块拓展网络层次，提高YOLOv5网络对攀爬行为特征的敏感度和检测准确度，通过引入h-swish激活模块，提高YOLOv5网络的正向计算速度以及反向梯度算法的求导速度，进而提升模型的预测速度，促使改进的YOLOv5模型能够针对实时视频帧及时地计算处理，保证算法的时效性及时指导安防人员采取应急措施，解决目前安防系统在外围非法入侵方面的盲点问题，有利于促进监管单位的信息化、数字化、智能化管理。
需要说明的是，上述各流程和各系统结构中不是所有的步骤、模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。
Claims (10)
1.一种攀爬异常行为检测方法，其特征是包括：
步骤1：改进YOLOv5网络模型中YOLOv5卷积模块，其中所述YOLOv5卷积模块包括卷积单元、BN归一化层和Leaky ReLU激活函数，
改进所述卷积单元，所述卷积单元包括卷积层、卷积注意力模块、h-swish激活模块和ReLU激活函数，卷积层采用3x3大小的卷积核进行卷积运算，其中所述卷积单元内依次连接3*3卷积层、BN归一化层、ReLU激活函数、卷积注意力模块、3*3卷积层和h-swish激活模块，通过h-swish激活模块输出到依次连接的3*3卷积层、BN归一化层、RELU激活函数和卷积注意力模块，然后再将卷积注意力模块与第一个3*3卷积层的输出加权，加权后输出连接3*3卷积层，
通过卷积注意力模块利用最大池化算法和平均池化算法对特征图在通道和空间两个维度上进行压缩，调节特征权重,引导网络模型对关键特征的关注度，减弱无关特征的学习，通过h-swish激活模块减小计算开销并实现激活函数的非线性复杂程度；
步骤2：制作YOLOv5网络模型相关数据集；
步骤3：利用数据集训练并验证用于攀爬异常行为检测的YOLOv5网络模型；
步骤4：采集实时视频数据，利用YOLOv5网络模型进行攀爬异常行为的判定：
步骤41：获得预测结果的[x,y,w,h,c]数组，(x,y)代表检测目标的中心点坐标，(w,h)代表检测目标的宽和高，c代表标签类别的可信度，
步骤42：设置可信度阈值，对预测结果进行过滤，若c大于可信度阈值，则认为预测结果准确，否则认为是误检测，
步骤43：针对误检测引入二次判别，对误检测进行核实。
2.根据权利要求1所述的一种攀爬异常行为检测方法，其特征是步骤2中，包括：抽取公开的照片以及模拟攀爬场景拍摄的照片，使用LabelImg软件将照片中的目标人物进行矩形框选并制作标签，将标签分为两类，一类表示攀爬行为标记为climb， 另一类表示正常行为标记为normal，完成照片标注形成数据集，并生成xml格式文件，将数据集按照训练集：测试集为9:1的比例进行划分，生成训练集和测试集。
3.根据权利要求1所述的一种攀爬异常行为检测方法，其特征是步骤3中搭建YOLOv5网络模型的训练环境，其中硬件环境采用应用Ubuntu操作系统，内存为32G，采用NVIDIAGeForce GTX1080Ti 显卡进行YOLOv5网络模型训练，软件环境采用PyTorch框架，通过PyTorch的相关API进行损失函数的辅助训练，设置迭代训练200个周期，训练策略采用早停算法，设置验证集损失不下降的容忍度为20个周期。
4.根据权利要求1所述的一种攀爬异常行为检测方法，其特征是步骤43中所述二次判别，包括：基于采集的视频数据的画面中墙体，设置墙体的位置红线，根据检测目标的中心点坐标(x,y)，判断中心点坐标是否已越过墙体的位置红线，如果越过则判定预测结果准确，否则判定为误检测。
5.一种攀爬异常行为检测系统，其特征是包括采集模块、模型训练模块和攀爬行为视频分析模块，
模型训练模块改进YOLOv5网络模型中YOLOv5卷积模块，其中所述YOLOv5卷积模块包括卷积单元、归一化层和Leaky ReLU激活函数，
模型训练模块改进所述卷积单元，所述卷积单元包括卷积层、卷积注意力模块、h-swish激活模块和ReLU激活函数，卷积层采用3x3大小的卷积核进行卷积运算，其中所述卷积单元内依次连接3*3卷积层、BN归一化层、ReLU激活函数、卷积注意力模块、3*3卷积层和h-swish激活模块，通过h-swish激活模块输出到依次连接的3*3卷积层、BN归一化层、RELU激活函数和卷积注意力模块，然后再将卷积注意力模块与第一个3*3卷积层的输出加权，加权后输出连接3*3卷积层，
通过卷积注意力模块利用最大池化算法和平均池化算法对特征图在通道和空间两个维度上进行压缩，调节特征权重,引导网络模型对关键特征的关注度，减弱无关特征的学习，通过h-swish激活模块减小计算开销并实现激活函数的非线性复杂程度；
制作YOLOv5网络模型相关数据集；
利用数据集训练并验证用于攀爬异常行为检测的YOLOv5网络模型；
采集模块采集实时视频数据，攀爬行为视频分析模块利用YOLOv5网络模型进行攀爬异常行为的判定：
步骤41：获得预测结果的[x,y,w,h,c]数组，(x,y)代表检测目标的中心点坐标，(w,h)代表检测目标的宽和高，c代表标签类别的可信度，
步骤42：设置可信度阈值，对预测结果进行过滤，若c大于可信度阈值，则认为预测结果准确，否则认为是误检测，
步骤43：针对误检测引入二次判别，对误检测进行核实。
6.根据权利要求5所述的一种攀爬异常行为检测系统，其特征是模型训练模块抽取公开的照片以及模拟攀爬场景拍摄的照片，使用LabelImg软件将照片中的目标人物进行矩形框选并制作标签，将标签分为两类，一类表示攀爬行为标记为climb，另一类表示正常行为标记为normal，完成照片标注形成数据集，并生成xml格式文件，将数据集按照训练集：测试集为9:1的比例进行划分，生成训练集和测试集。
7.根据权利要求5所述的一种攀爬异常行为检测系统，其特征是模型训练模块搭建YOLOv5网络模型的训练环境，其中硬件环境采用应用Ubuntu操作系统，内存为32G，采用NVIDIA GeForce GTX1080Ti 显卡进行YOLOv5网络模型训练，软件环境采用PyTorch框架，通过PyTorch的相关API进行损失函数的辅助训练，设置迭代训练200个周期，训练策略采用早停算法，设置验证集损失不下降的容忍度为20个周期。
8.根据权利要求5所述的一种攀爬异常行为检测系统，其特征是步骤43中攀爬行为视频分析模块进行二次判别，包括：基于采集的视频数据的画面中墙体，设置墙体的位置红线，根据检测目标的中心点坐标(x,y)，判断中心点坐标是否已越过墙体的位置红线，如果越过则判定预测结果准确，否则判定为误检测。
9.根据权利要求5所述的一种攀爬异常行为检测系统，其特征是所述检测系统的前端页面基于Vue架构搭建，通过后端获取视频数据渲染到前端页面上，实现界面显示，所述检测系统的后端基于Django架构搭建，将YOLOv5网络模型的运行程序封装为具名函数，供后端调度执行。
10.一种攀爬异常行为检测电子设备，其特征是包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至4中任一项所述的一种攀爬异常行为检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311764577.5A CN117456610B (zh) | 2023-12-21 | 2023-12-21 | 一种攀爬异常行为检测方法、系统及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311764577.5A CN117456610B (zh) | 2023-12-21 | 2023-12-21 | 一种攀爬异常行为检测方法、系统及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117456610A CN117456610A (zh) | 2024-01-26 |
| CN117456610B true CN117456610B (zh) | 2024-04-12 |
Family
ID=89582175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311764577.5A Active CN117456610B (zh) | 2023-12-21 | 2023-12-21 | 一种攀爬异常行为检测方法、系统及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117456610B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113642474A (zh) * | 2021-08-17 | 2021-11-12 | 四川航天电液控制有限公司 | 一种基于yolov5的危险区域人员监控方法 |
| CN114913382A (zh) * | 2022-06-16 | 2022-08-16 | 安徽大学 | 一种基于CBAM-AlexNet卷积神经网络的航拍场景分类方法 |
| CN115719337A (zh) * | 2022-11-11 | 2023-02-28 | 无锡学院 | 一种风力涡轮机表面缺陷检测方法 |
| CN115880562A (zh) * | 2022-11-22 | 2023-03-31 | 大连大学 | 一种基于改进YOLOv5的轻量级目标检测网络 |
| CN116798118A (zh) * | 2023-05-08 | 2023-09-22 | 中国电子科技集团公司第十研究所 | 一种基于TPH-yolov5的异常行为检测方法 |
| CN116958769A (zh) * | 2023-07-27 | 2023-10-27 | 武汉市万睿数字运营有限公司 | 基于融合特征的翻越行为检测方法及相关装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112884760B (zh) * | 2021-03-17 | 2023-09-26 | 东南大学 | 近水桥梁多类型病害智能检测方法与无人船设备 |
-
2023
- 2023-12-21 CN CN202311764577.5A patent/CN117456610B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113642474A (zh) * | 2021-08-17 | 2021-11-12 | 四川航天电液控制有限公司 | 一种基于yolov5的危险区域人员监控方法 |
| CN114913382A (zh) * | 2022-06-16 | 2022-08-16 | 安徽大学 | 一种基于CBAM-AlexNet卷积神经网络的航拍场景分类方法 |
| CN115719337A (zh) * | 2022-11-11 | 2023-02-28 | 无锡学院 | 一种风力涡轮机表面缺陷检测方法 |
| CN115880562A (zh) * | 2022-11-22 | 2023-03-31 | 大连大学 | 一种基于改进YOLOv5的轻量级目标检测网络 |
| CN116798118A (zh) * | 2023-05-08 | 2023-09-22 | 中国电子科技集团公司第十研究所 | 一种基于TPH-yolov5的异常行为检测方法 |
| CN116958769A (zh) * | 2023-07-27 | 2023-10-27 | 武汉市万睿数字运营有限公司 | 基于融合特征的翻越行为检测方法及相关装置 |
Non-Patent Citations (2)
| Title |
|---|
| MGA-YOLO: A lightweight one-stage network for apple leaf disease detection;Yiwen Wang等;Frontiers in Plant Science;20220822;全文 * |
| 基于改进YOLOv5的轻量化无人机检测算法;彭艺 等;湖南大学学报(自然科学版);20230904;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117456610A (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10943145B2 (en) | Image processing methods and apparatus, and electronic devices | |
| CN111178183B (zh) | 人脸检测方法及相关装置 | |
| CN110853033B (zh) | 基于帧间相似度的视频检测方法和装置 | |
| US20230267735A1 (en) | Method for structuring pedestrian information, device, apparatus and storage medium | |
| KR102217253B1 (ko) | 행동패턴 분석 장치 및 방법 | |
| KR20180133379A (ko) | 비디오 리코딩 방법, 서버, 시스템 및 저장 매체 | |
| CN113052029A (zh) | 基于动作识别的异常行为监管方法、装置及存储介质 | |
| CN107122743B (zh) | 安防监控方法、装置和电子设备 | |
| CN110942456B (zh) | 篡改图像检测方法、装置、设备及存储介质 | |
| CN112507860A (zh) | 一种视频标注方法、装置、设备及存储介质 | |
| CN111652181B (zh) | 目标跟踪方法、装置及电子设备 | |
| CN113326773A (zh) | 识别模型训练方法、识别方法、装置、设备及存储介质 | |
| CN102902965A (zh) | 实现多目标跟踪的视频图像数据结构化描述处理的方法 | |
| CN108229281B (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
| CN115294528A (zh) | 一种行人安全监控方法及装置 | |
| CN115880765A (zh) | 区域入侵异常行为检测方法、装置及计算机设备 | |
| KR102364822B1 (ko) | 가려진 영역 복원 방법 및 장치 | |
| CN116189063B (zh) | 一种用于智能视频监控的关键帧优化方法及装置 | |
| CN111310595B (zh) | 用于生成信息的方法和装置 | |
| CN117456610B (zh) | 一种攀爬异常行为检测方法、系统及电子设备 | |
| EP4332910A1 (en) | Behavior detection method, electronic device, and computer readable storage medium | |
| CN116797814A (zh) | 智慧工地安全管理系统 | |
| CN113762017B (zh) | 一种动作识别方法、装置、设备及存储介质 | |
| CN113625864B (zh) | 基于物联网的虚拟场景展示方法、系统、设备和存储介质 | |
| Tian et al. | A Decision Support System for Power Components Based on Improved YOLOv4‐Tiny |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |