CN117876973B - 一种基于深度学习的园区安防监测方法及系统 - Google Patents

一种基于深度学习的园区安防监测方法及系统 Download PDF

Info

Publication number
CN117876973B
CN117876973B CN202410282838.8A CN202410282838A CN117876973B CN 117876973 B CN117876973 B CN 117876973B CN 202410282838 A CN202410282838 A CN 202410282838A CN 117876973 B CN117876973 B CN 117876973B
Authority
CN
China
Prior art keywords
layer
pedestrian
video stream
convolution
activation function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410282838.8A
Other languages
English (en)
Other versions
CN117876973A (zh
Inventor
阳柳
丁存怀
邵洋
何幸博
刘昱彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Shengyang Information Technology Co ltd
Original Assignee
Zhongke Shengyang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Shengyang Information Technology Co ltd filed Critical Zhongke Shengyang Information Technology Co ltd
Priority to CN202410282838.8A priority Critical patent/CN117876973B/zh
Publication of CN117876973A publication Critical patent/CN117876973A/zh
Application granted granted Critical
Publication of CN117876973B publication Critical patent/CN117876973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Nonlinear Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于深度学习的园区安防监测方法及系统，包括：S1：架设高清摄像头对园区门口进行视频采集，得到视频流；S2：对采集得到的视频流进行滤波及均衡化增强得到视频流；S3：对视频流使用单通道卷积神经网络进行目标检测得到行人画面视频流；S4：对行人画面视频流进行行人姿态检测，得到行人姿态连续变化信息；S5：对行人画面视频流进行人脸识别，得到行人脸部信息视频流，根据行人脸部信息视频流进行情感分析，得到行人情绪连续变化信息；S6：结合行人姿态连续变化信息和行人情绪连续变化信息判断是否可能发生闯入园区的非法行为，通过智能化算法判断是否存闯入，一旦识别出立即启动警报实现快速响应。

Description

一种基于深度学习的园区安防监测方法及系统
技术领域
本发明涉及安防监测领域，尤其涉及一种基于深度学习的园区安防监测方法及系统。
背景技术
随着社会的发展和技术的进步，园区安防监测成为了保障公共安全和企业安全的重要手段。传统的安防监测系统多依赖于基础的视频监控，主要通过人工观看视频流来判断是否存在安全隐患或非法行为，这种方法不仅劳动强度大，而且效率低下，尤其在面对大量视频数据时，人工判断的准确性和及时性难以保证。此外，传统监控系统难以对复杂场景下的行为进行有效识别和分析，如在夜间或视线受阻的环境下，其性能大打折扣。
近年来，深度学习技术的迅猛发展为安防监测领域带来了新的突破。通过利用深度学习模型自动分析视频流中的图像数据，不仅可以显著提高监测的准确性和效率，还能实现对复杂行为的智能识别和预判。然而，现有的基于深度学习的安防监测方法大多集中在单一方面的应用，如仅进行行人检测或车辆识别，缺乏对行人行为及其背后情绪的综合分析，从而无法全面评估潜在的安全风险。
发明内容
有鉴于当前园区安防监测技术的不足，本发明旨在提供一种基于深度学习的园区安防监测方法及系统，目的在于：1）高效精准的安防监控：通过使用高分辨率摄像头和深度学习技术，实现对园区门口的实时高清视频监控，以及通过滤波和均衡化增强技术优化视频质量，确保在各种光照条件下都能准确识别行人和其行为，大幅提高安防监控的效率和准确性；2）综合分析行人行为和情绪：创新性地引入行人姿态检测和情绪分析技术，结合人脸识别和情绪提取网络，不仅能检测行人的动作变化，还能理解其情绪状态，从而全面评估行人的意图和行为模式，为预判潜在的非法闯入行为提供更为准确的依据；智能预警和快速响应系统：构建一套集成高清摄像头、深度学习模型和警报系统的智能安防监测系统，能够在检测到潜在的安全威胁时自动触发警报并通知园区管理人员，实现对安全风险的快速响应，大幅增强园区的安全防护能力。
为实现上述目的，本发明提供的一种基于深度学习的园区安防监测方法，包括以下步骤：
步骤S1：在园区门口架设高清摄像头对园区门口进行视频采集，得到视频流；
步骤S2：对采集得到的视频流进行滤波及均衡化增强得到视频流/>；
步骤S3：对视频流使用单通道卷积神经网络/>进行目标检测得到行人画面视频流/>；
步骤S4：对行人画面视频流进行行人姿态检测，得到行人姿态连续变化信息；
步骤S5：对行人画面视频流进行人脸识别，得到行人脸部信息视频流/>，根据行人脸部信息视频流/>进行情感分析，得到行人情绪连续变化信息/>；
步骤S6：结合行人姿态连续变化信息和行人情绪连续变化信息/>判断是否可能发生闯入园区的非法行为，并提醒园区管理人员。
作为本发明的进一步改进方法：
可选的，所述步骤S1所述步骤S1中的高清摄像头需要具备3840x2160像素的分辨率，确保能够捕捉到极为细腻的图像细节，为后续的视频流处理和深度学习分析提供高清晰度的图像输入；具备红外夜视技术，保证在夜间或光线不足的环境下，摄像头仍能够清晰捕获视频流，这对于24小时不间断的园区安全监控至关重要，确保在任何光照条件下都不会漏掉任何异常事件；帧率大于30fps, 保证了视频流的流畅度和连贯性，使得动态监控更为准确无误；视角广度度，安装位置距地面3米，拍摄方向与水平方向夹角/>度，这样的高度既可以减少视线遮挡，又能保证安全性和稳定性；同时，拍摄方向与水平方向的夹角设计，旨在优化监控角度，确保能够捕捉到关键区域的每一个细节，无死角覆盖园区的重要出入口。
可选的，所述步骤S2中的滤波和均衡化增强是针对视频流的每一帧进行处理，滤波操作具体为：
其中，为滤波后图像的/>坐标处灰度值，/>为滤波前视频流/>每一帧图像的/>坐标处灰度值，/>，/>分别为滤波核的水平和竖直大小，/>为取中位数操作，/>为图像的/>坐标处灰度值，/>为图像的/>坐标处灰度值；
均衡化操作具体为：
其中，为均衡化后图像的/>坐标处灰度值，/>为图像的灰度级总数，为取整操作，/>为累积分布函数，具体为：
其中，为灰度级，/>为/>的直方图，具体为：
其中，为图像的长度方向像素数目，/>为图像的宽度方向像素数目，/>为的像素数。
可选的，所述步骤S3的单通道卷积神经网络，具体为：
网络接受单通道图像作为输入，这是基于安防监控通常在灰度模式下进行以节省计算资源的考虑。单通道输入不仅减少了数据处理的复杂性，还充分满足了行人检测的需求，确保了处理速度和准确性的平衡；第一层是卷积层，配置32个3x3大小的卷积核，步长设置为1，并使用ReLU作为激活函数，同时采用SAME填充；第二层是一个2x2窗口大小的最大池化层，步长设置为2；第三层是包含有64个3x3卷积核的卷积层，第五层增加到128个3x3卷积核，两者步长均设置为3，使用ReLU作为激活函数，采用SAME填充，第四、六层为与第二层配置相同的最大池化层；在经过连续的卷积和池化层之后，网络将最后一层池化层的输出扁平化为一维向量，然后再连接一个包含512个神经元的全连接层，同样应用ReLU激活函数；输出层的神经元数量为5，激活函数采用Sigmoid；
其中，为/>输出的视频流/>中包含的行人画面信息，/>为使用/>裁剪视频流/>中的行人画面，/>具体包含的信息为行人框的中心位置横坐标、纵坐标、框长度、框宽度、置信度，总共5个值，对应输出层5个神经元；
在网络的训练过程中，采用二元交叉熵损失函数来优化模型，这有助于处理二分类问题，即判断图像中是否存在行人。优化器选择了Adam，它是一种自适应学习率的优化算法，能够有效加快训练速度，提高模型收敛性能。
可选的，述步骤S4的行人姿态检测，包含以下步骤：
步骤S41，提取视频流中的行人边缘信息/>，具体为：
首先计算图像梯度和方向/>，具体为：
其中，为水平方向的梯度，/>为竖直方向的梯度；
其次，对于图像中的每个像素，根据梯度方向确定相邻像素，若该像素的梯度大于沿正负梯度方向上的两个邻近像素的梯度，则保留，否则将其设为0；
最后，定义梯度低阈值和梯度高阈值/>，遍历监测图像中所有像素的梯度值，若：
则认为该点一定属于边缘，若：
则认为该点一定不属于边缘，若：
则检索该点周围9个像素是否属于边缘，若存在属于的，认为该点属于边缘，否则认为该点不属于边缘/>；
步骤S42，设计并训练姿态检测网络；
步骤S43，根据行人边缘信息得到行人姿态连续变化信息/>，具体为：
其中，姿态特征点提取网络和特征点回归网络/>为/>的两个子网络；
具体为：
模型的起始部分是一个包含64个3x3卷积核的卷积层，使用ReLU作为激活函数，步长为1，且采用SAME填充方式，第二层是一个2x2窗口大小的最大池化层，步长设置为2，第三层为卷积层，配置了128个3x3卷积核，第五层为卷积层，卷积核数量增至256，第七层也为卷积层，卷积核数量增至256，第三、五、七层步长均设置为3，使用ReLU作为激活函数，采用SAME填充，第四、六层为2x2窗口大小的最大池化层，步长设置为1，最后，引入特征融合层，采用跳跃连接技术，将第三、五、七层的输出在此处融合，预测输出层通过Num个1x1卷积核产生Num个关键点置信图，每个置信图对应图像中一个关键点的位置分布；为平衡计算复杂度和识别准确率，设置Num=8；
在训练过程中，优化器选用Adam，使用均方误差损失函数来度量预测的置信图和真实的置信图之间的差异：
其中，是损失函数的值，/>是/>预测的第/>个关键点的置信图，/>是相应的真实置信图；
具体为：
模型的起始部分是一个包含Num个3x3卷积核的卷积层，使用ReLU作为激活函数，步长为1，且采用SAME填充方式，第二层为展平层，将第一层得到的特征展平为一维向量，第三层为全连接层，包含3个神经元，采用Softmax作为激活函数，最终输出结果为行人姿态连续变化信息；
在训练过程中，采用二元交叉熵损失函数，优化器选用Adam，它是一种自适应学习率的优化算法，能够有效加快训练速度，提高模型收敛性能。
可选的，所述步骤S5包含以下步骤：
步骤S51，设计并训练人脸识别网络，具体为：
网络接受单通道图像作为输入，第一层为卷积层，配置16个5x5大小的卷积核，步长设置为1，使用ReLU作为激活函数，采用VALID填充，第二层为2x2窗口大小的最大池化层，步长设置为2，第三、五层为卷积层，分别配置32个5x5卷积核和64个3x3卷积核，两者步长均设置为3，使用ReLU激活函数和SAME填充，第四、六层为2x2窗口大小的最大池化层，步长设置为1，网络将最后一层池化层的输出扁平化为一维向量，然后再连接一个包含256个神经元的全连接层，同样应用ReLU激活函数；输出层也为全连接层，神经元数量为5，激活函数采用Sigmoid；
在训练过程中，采用二元交叉熵损失函数，优化器选用Adam；
步骤S52，根据行人画面视频流得到行人脸部信息视频流/>，具体为；
其中，为/>输出的视频流/>中包含的行人脸部画面信息，/>为使用裁剪视频流/>中的行人脸部画面；/>具体包含的信息为行人脸部信息框的中心位置横坐标、纵坐标、框长度、框宽度、置信度，总共5个值，对应输出层5个神经元；
步骤S53，设计并训练情绪提取网络，具体为：
模型的起始部分是一个包含32个3x3卷积核的卷积层，使用ReLU作为激活函数，步长为1，且采用SAME填充方式，第二层为一个包含16个3x3卷积核的卷积层，使用ReLU作为激活函数，步长为1，且采用SAME填充方式，第三层一个包含8个3x3卷积核的卷积层，使用ReLU作为激活函数，步长为1，且采用SAME填充方式，第四层为展平层，将第三层得到的特征展平为一维向量，第五层为全连接层，包含2个神经元，采用Softmax作为激活函数，最终输出结果为行人情绪连续变化信息；
在训练过程中，采用均方误差损失函数，优化器选用Adam。
步骤S54，根据行人脸部信息视频流得到行人情绪连续变化信息/>，为：
具体包括两个指标：怒气值/>、紧张程度值/>，二者均为-1最小，1最大。
可选的，所述步骤S6包含以下步骤：
步骤S61，根据行人姿态连续变化信息解算行人行走速度/>及状态，状态分为静止、路过园区，面向园区慢速移动，面向园区快速移动；
步骤S62，根据行人状态，行走速度和情绪连续变化信息/>判断该人是否有闯入倾向，对于园区安防监测的闯入概率评估，综合考虑了行人的行走状态（如静止、慢速移动、快速移动）和行人的情绪变化（如怒气值和紧张程度），以此来预测行人是否具有非法闯入的倾向，具体为：
若行人状态为静止或路过园区，在静止或路过状态下，行人的情绪状态更具有预测价值，则闯入概率公式为：
若行人状态为慢速移动，若行人以较慢的速度移动，可能是在观察环境，怒气值结合行走速度/>对闯入概率的影响更为显著，因此怒气值和速度的组合被赋予更高的权重，而紧张程度/>的权重降低，闯入概率公式为：
若行人状态为快速移动，快速移动可能与紧张或急切的情绪有关，这种情绪状态可能与企图闯入的意图相关，因此闯入概率公式为：
若则判断该人有闯入倾向，立即启动警报系统，提醒园区管理人员。
本发明还提供了一种基于深度学习的园区安防监测系统，包括：
高清摄像头：用于实时监测园区门口视频流；
工控机：用于运行深度学习模型，进行各类数据处理；
警报系统：在判断有人有闯入倾向时提醒园区管理人员；
以实现上述一种基于深度学习的园区安防监测方法。
本发明提供的技术方案带来的有益效果至少包括：
提升视频监控的清晰度与覆盖范围：通过在园区门口安装具备高分辨率、红外夜视技术的高清摄像头，确保无论是白天还是夜晚，都能获得清晰的视频流，从而为后续的数据处理提供高质量的输入；
优化视频流的图像质量：采用滤波及均衡化增强技术对视频流进行预处理，改善视频质量，为深度学习模型分析提供更清晰、对比度更高的图像，从而提高模型的识别准确性；
实现高效准确的行人检测与姿态识别：通过构建单通道卷积神经网络和姿态检测网络，不仅能够从视频流中快速准确地识别出行人目标，还能进一步获取行人的姿态连续变化信息，为后续的行为分析提供重要依据；
融合情绪分析以增强预警准确性：结合人脸识别技术和情绪提取网络，从行人脸部信息中分析得到其情绪连续变化信息，通过情绪分析与姿态检测的结果结合，更全面地评估行人的行为模式和潜在意图；
智能化预警与实时响应：基于上述技术手段获取的综合信息，通过智能化算法判断是否存在潜在的非法闯入等安全威胁，一旦识别出有闯入倾向的行为，立即启动警报系统并通知园区管理人员，实现快速响应；
构建一体化的安防监测系统：整合高清摄像头、工控机、警报系统等硬件设备和深度学习模型，形成一套完整的园区安防监测系统，提高系统的可操作性和实际应用效率。
附图说明
图1为本发明一实施例的一种基于深度学习的园区安防监测方法的流程示意图。
具体实施方式
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
实施例1：
为了实现上述目的，本发明提供了一种公路路基填挖智能监控方法和系统，如图1所示包括以下步骤：
步骤S1：在园区门口架设高清摄像头对园区门口进行视频采集，得到视频流；所述的高清摄像头需要具备3840x2160像素的分辨率，具备红外夜视技术，帧率大于30fps,视角广度/>度，安装位置距地面3米，拍摄方向与水平方向夹角/>度。
步骤S2：对采集得到的视频流进行滤波及均衡化增强得到视频流/>；滤波操作具体为：
其中，为滤波后图像的/>坐标处灰度值，/>为滤波前视频流/>每一帧图像的/>坐标处灰度值，/>，/>分别为滤波核的水平和竖直大小，/>为取中位数操作，/>为图像的/>坐标处灰度值，/>为图像的坐标处灰度值；
均衡化操作具体为：
其中，为均衡化后图像的/>坐标处灰度值，/>为图像的灰度级总数，为取整操作，/>为累积分布函数，具体为：
其中，为灰度级，/>为/>的直方图，具体为：
其中，为图像的长度方向像素数目，/>为图像的宽度方向像素数目，/>为的像素数。
步骤S3：对视频流使用单通道卷积神经网络/>进行目标检测得到行人画面视频流/>；所述单通道卷积神经网络/>具体为：
网络接受单通道图像作为输入，第一层是卷积层，配置32个3x3大小的卷积核，步长设置为1，并使用ReLU作为激活函数，同时采用SAME填充；第二层是一个2x2窗口大小的最大池化层，步长设置为2；第三层是包含有64个3x3卷积核的卷积层，第五层增加到128个3x3卷积核，两者步长均设置为3，使用ReLU作为激活函数，采用SAME填充，第四、六层为与第二层配置相同的最大池化层；在经过连续的卷积和池化层之后，网络将最后一层池化层的输出扁平化为一维向量，然后再连接一个包含512个神经元的全连接层，同样应用ReLU激活函数；输出层的神经元数量为5，激活函数采用Sigmoid；
其中，为/>输出的视频流/>中包含的行人画面信息，/>为使用/>裁剪视频流/>中的行人画面；/>具体包含的信息为行人框的中心位置横坐标、纵坐标、框长度、框宽度、置信度；
在训练过程中，采用二元交叉熵损失函数，优化器选用Adam。
步骤S4：对行人画面视频流进行行人姿态检测，得到行人姿态连续变化信息；包含以下步骤：
步骤S41，提取视频流中的行人边缘信息/>，具体为：
首先计算图像梯度和方向/>，具体为：
其中，为水平方向的梯度，/>为竖直方向的梯度；
其次，对于图像中的每个像素，根据梯度方向确定相邻像素，若该像素的梯度大于沿正负梯度方向上的两个邻近像素的梯度，则保留，否则将其设为0；
最后，定义梯度低阈值和梯度高阈值/>，遍历监测图像中所有像素的梯度值，若：
则认为该点一定属于边缘，若：
则认为该点一定不属于边缘，若：
则检索该点周围9个像素是否属于边缘，若存在属于的，认为该点属于边缘，否则认为该点不属于边缘/>；
步骤S42，设计并训练姿态检测网络；
步骤S43，根据行人边缘信息得到行人姿态连续变化信息/>，具体为：
其中，和/>为/>的两个子网络；/>为姿态特征点提取网络，为特征点回归网络；/>具体为：
模型的起始部分是一个包含64个3x3卷积核的卷积层，使用ReLU作为激活函数，步长为1，且采用SAME填充方式，第二层是一个2x2窗口大小的最大池化层，步长设置为2，第三层为卷积层，配置了128个3x3卷积核，第五层为卷积层，卷积核数量增至256，第七层也为卷积层，卷积核数量增至256，第三、五、七层步长均设置为3，使用ReLU作为激活函数，采用SAME填充，第四、六层为2x2窗口大小的最大池化层，步长设置为1，最后，引入特征融合层，采用跳跃连接技术，将第三、五、七层的输出在此处融合，预测输出层通过Num个1x1卷积核产生Num个关键点置信图，每个置信图对应图像中一个关键点的位置分布；在训练过程中，使用均方误差损失函数来度量预测的置信图和真实的置信图之间的差异：
其中，是损失函数的值，/>是/>预测的第/>个关键点的置信图，/>是相应的真实置信图；
具体为：
模型的起始部分是一个包含Num个3x3卷积核的卷积层，使用ReLU作为激活函数，步长为1，且采用SAME填充方式，第二层为展平层，将第一层得到的特征展平为一维向量，第三层为全连接层，包含3个神经元，采用Softmax作为激活函数，最终输出结果为行人姿态连续变化信息；
在训练过程中，采用二元交叉熵损失函数，优化器选用Adam。
步骤S5：对行人画面视频流进行人脸识别，得到行人脸部信息视频流/>，根据行人脸部信息视频流/>进行情感分析，得到行人情绪连续变化信息/>；包含以下步骤：
步骤S51，设计并训练人脸识别网络，具体为：
网络接受单通道图像作为输入，第一层为卷积层，配置16个5x5大小的卷积核，步长设置为1，使用ReLU作为激活函数，采用VALID填充，第二层为2x2窗口大小的最大池化层，步长设置为2，第三、五层为卷积层，分别配置32个5x5卷积核和64个3x3卷积核，两者步长均设置为3，使用ReLU激活函数和SAME填充，第四、六层为2x2窗口大小的最大池化层，步长设置为1，网络将最后一层池化层的输出扁平化为一维向量，然后再连接一个包含256个神经元的全连接层，同样应用ReLU激活函数；输出层也为全连接层，神经元数量为5，激活函数采用Sigmoid；
在训练过程中，采用二元交叉熵损失函数，优化器选用Adam；
步骤S52，根据行人画面视频流得到行人脸部信息视频流/>，具体为；
其中，为/>输出的视频流/>中包含的行人脸部画面信息，/>为使用裁剪视频流/>中的行人脸部画面；
步骤S53，设计并训练情绪提取网络，具体为：
模型的起始部分是一个包含32个3x3卷积核的卷积层，使用ReLU作为激活函数，步长为1，且采用SAME填充方式，第二层为一个包含16个3x3卷积核的卷积层，使用ReLU作为激活函数，步长为1，且采用SAME填充方式，第三层一个包含8个3x3卷积核的卷积层，使用ReLU作为激活函数，步长为1，且采用SAME填充方式，第四层为展平层，将第三层得到的特征展平为一维向量，第五层为全连接层，包含2个神经元，采用Softmax作为激活函数，最终输出结果为行人情绪连续变化信息；
在训练过程中，采用均方误差损失函数，优化器选用Adam；
步骤S54，根据行人脸部信息视频流得到行人情绪连续变化信息/>，为：
具体包括两个指标：怒气值/>、紧张程度值/>。
步骤S6：结合行人姿态连续变化信息和行人情绪连续变化信息/>判断是否可能发生闯入园区的非法行为，包含以下步骤：
步骤S61，根据行人姿态连续变化信息解算行人行走速度/>及状态，状态分为静止、路过园区，面向园区慢速移动，面向园区快速移动；
步骤S62，根据行人状态，行走速度和情绪连续变化信息/>判断该人是否有闯入倾向，具体为：
若行人状态为静止或路过园区，则闯入概率公式为：
若行人状态为慢速移动，则闯入概率公式为：
若行人状态为快速移动，则闯入概率公式为：
若则判断该人有闯入倾向，立即启动警报系统，提醒园区管理人员。
实施例2：
本发明还提供了一种基于深度学习的园区安防监测系统，包括：
高清摄像头：用于实时监测园区门口视频流；
工控机：用于运行深度学习模型，进行各类数据处理；
警报系统：在判断有人有闯入倾向时提醒园区管理人员；
以实现上述一种基于深度学习的园区安防监测方法。
详细地，本发明实施例中所述一种基于深度学习的园区安防监测系统在使用时采用与上述的图1中所述的一种基于深度学习的园区安防监测方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于深度学习的园区安防监测方法，其特征在于，包括以下步骤：
步骤S1：架设高清摄像头对园区门口进行视频采集，得到视频流；
步骤S2：对采集得到的视频流进行滤波及均衡化增强得到视频流/>；
步骤S3：对视频流使用单通道卷积神经网络/>进行目标检测得到行人画面视频流/>；
步骤S4：对行人画面视频流进行行人姿态检测，得到行人姿态连续变化信息/>；
步骤S5：对行人画面视频流进行人脸识别，得到行人脸部信息视频流/>，根据行人脸部信息视频流/>进行情感分析，得到行人情绪连续变化信息/>；
包含以下步骤：
步骤S51，设计并训练人脸识别网络；
所述步骤S51的人脸识别网络，具体为：
网络接受单通道图像作为输入，第一层为卷积层，配置16个5x5大小的卷积核，步长设置为1，使用ReLU作为激活函数，采用VALID填充，第二层为2x2窗口大小的最大池化层，步长设置为2，第三、五层为卷积层，分别配置32个5x5卷积核和64个3x3卷积核，两者步长均设置为3，使用ReLU激活函数和SAME填充，第四、六层为2x2窗口大小的最大池化层，步长设置为1，网络将最后一层池化层的输出扁平化为一维向量，然后再连接一个包含256个神经元的全连接层，同样应用ReLU激活函数；输出层也为全连接层，神经元数量为5，激活函数采用Sigmoid；
在训练过程中，采用二元交叉熵损失函数，优化器选用Adam；
情绪提取网络，具体为：
模型的起始部分是一个包含32个3x3卷积核的卷积层，使用ReLU作为激活函数，步长为1，且采用SAME填充方式，第二层为一个包含16个3x3卷积核的卷积层，使用ReLU作为激活函数，步长为1，且采用SAME填充方式，第三层一个包含8个3x3卷积核的卷积层，使用ReLU作为激活函数，步长为1，且采用SAME填充方式，第四层为展平层，将第三层得到的特征展平为一维向量，第五层为全连接层，包含2个神经元，采用Softmax作为激活函数，最终输出结果为行人情绪连续变化信息；
在训练过程中，采用均方误差损失函数，优化器选用Adam；
步骤S52，根据行人画面视频流得到行人脸部信息视频流/>，具体为；
；
；
其中，为/>输出的视频流/>中包含的行人脸部画面信息，/>为使用/>裁剪视频流/>中的行人脸部画面；
步骤S53，设计并训练情绪提取网络；
步骤S54，根据行人脸部信息视频流得到行人情绪连续变化信息/>，为：
；
步骤S6：结合行人姿态连续变化信息和行人情绪连续变化信息/>判断是否可能发生闯入园区的非法行为，并进行预警。
2.如权利要求1所述的基于深度学习的园区安防监测方法，其特征在于，所述步骤S2中的滤波及均衡化增强是针对视频流的每一帧进行处理，滤波操作具体为：
其中，/>为滤波后图像的/>坐标处灰度值，/>为滤波前视频流/>每一帧图像的/>坐标处灰度值，/>，/>分别为滤波核的水平和竖直大小，/>为取中位数操作，/>为图像的/>坐标处灰度值，为图像的/>坐标处灰度值；
均衡化操作具体为：
其中，/>为均衡化后图像的/>坐标处灰度值，/>为图像的灰度级总数，/>为累积分布函数，/>为取整操作。
3.如权利要求1所述的基于深度学习的园区安防监测方法，其特征在于，所述步骤S3的单通道卷积神经网络，具体为：
网络接受单通道图像作为输入，第一层是卷积层，配置32个3x3大小的卷积核，步长设置为1，并使用ReLU作为激活函数，同时采用SAME填充；第二层是一个2x2窗口大小的最大池化层，步长设置为2；第三层是包含有64个3x3卷积核的卷积层，第五层增加到128个3x3卷积核，两者步长均设置为3，使用ReLU作为激活函数，采用SAME填充，第四、六层为与第二层配置相同的最大池化层；在经过连续的卷积和池化层之后，网络将最后一层池化层的输出扁平化为一维向量，然后再连接一个包含512个神经元的全连接层，同样应用ReLU激活函数；输出层的神经元数量为5，激活函数采用Sigmoid；
；
；
其中，为/>输出的视频流/>中包含的行人画面信息，/>为使用/>裁剪视频流/>中的行人画面；
在训练过程中，采用二元交叉熵损失函数，优化器选用Adam。
4.如权利要求1所述的基于深度学习的园区安防监测方法，其特征在于，所述步骤S4的行人姿态检测，包含以下步骤：
步骤S41，提取视频流中的行人边缘信息/>；
步骤S42，设计并训练姿态检测网络；
步骤S43，根据行人边缘信息得到行人姿态连续变化信息/>，具体为：
其中，/>和/>为/>的两个子网络。
5.如权利要求4所述的基于深度学习的园区安防监测方法，其特征在于，所述步骤S43中，姿态检测网络的子网络/>为姿态特征点提取网络，/>为特征点回归网络；具体为：
模型的起始部分是一个包含64个3x3卷积核的卷积层，使用ReLU作为激活函数，步长为1，且采用SAME填充方式，第二层是一个2x2窗口大小的最大池化层，步长设置为2，第三层为卷积层，配置了128个3x3卷积核，第五层为卷积层，卷积核数量增至256，第七层也为卷积层，卷积核数量增至256，第三、五、七层步长均设置为3，使用ReLU作为激活函数，采用SAME填充，第四、六层为2x2窗口大小的最大池化层，步长设置为1，最后，引入特征融合层，采用跳跃连接技术，将第三、五、七层的输出在此处融合，预测输出层通过Num个1x1卷积核产生Num个关键点置信图，每个置信图对应图像中一个关键点的位置分布；
在训练过程中，优化器选用Adam，使用均方误差损失函数来度量预测的置信图和真实的置信图之间的差异：
其中，/>是损失函数的值，/>是预测的第/>个关键点的置信图，/>是相应的真实置信图；
具体为：
模型的起始部分是一个包含Num个3x3卷积核的卷积层，使用ReLU作为激活函数，步长为1，且采用SAME填充方式，第二层为展平层，将第一层得到的特征展平为一维向量，第三层为全连接层，包含3个神经元，采用Softmax作为激活函数，最终输出结果为行人姿态连续变化信息；
在训练过程中，采用二元交叉熵损失函数，优化器选用Adam。
6.如权利要求1所述的基于深度学习的园区安防监测方法，其特征在于，所述步骤S54的行人情绪连续变化信息，具体包括两个指标：怒气值/>、紧张程度值/>。
7.如权利要求6所述的基于深度学习的园区安防监测方法，其特征在于，所述步骤S6包含以下步骤：
步骤S61，根据行人姿态连续变化信息解算行人行走速度/>及状态，状态分为静止、路过园区，面向园区慢速移动，面向园区快速移动；
步骤S62，根据行人状态，行走速度和情绪连续变化信息/>判断该人是否有闯入倾向，具体为：
若行人状态为静止或路过园区，则闯入概率公式为：若行人状态为慢速移动，则闯入概率公式为：/>若行人状态为快速移动，则闯入概率公式为：/>若/>则判断该人有闯入倾向，立即启动警报系统。
8.一种基于深度学习的园区安防监测系统，其特征在于，包括：
高清摄像头：用于实时监测园区门口视频流；
工控机：用于运行深度学习模型，进行各类数据处理；
警报系统：在判断有人有闯入倾向时提醒园区管理人员；
以实现如权利要求1-7任意一项所述的一种基于深度学习的园区安防监测方法。
CN202410282838.8A 2024-03-13 2024-03-13 一种基于深度学习的园区安防监测方法及系统 Active CN117876973B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410282838.8A CN117876973B (zh) 2024-03-13 2024-03-13 一种基于深度学习的园区安防监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410282838.8A CN117876973B (zh) 2024-03-13 2024-03-13 一种基于深度学习的园区安防监测方法及系统

Publications (2)

Publication Number Publication Date
CN117876973A CN117876973A (zh) 2024-04-12
CN117876973B true CN117876973B (zh) 2024-06-07

Family

ID=90590436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410282838.8A Active CN117876973B (zh) 2024-03-13 2024-03-13 一种基于深度学习的园区安防监测方法及系统

Country Status (1)

Country Link
CN (1) CN117876973B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169426A (zh) * 2017-04-27 2017-09-15 广东工业大学 一种基于深度神经网络的人群情绪异常检测和定位方法
CN206611514U (zh) * 2016-12-02 2017-11-03 刘昌永 一种基于脸部情绪识别的智能安防系统
CN107943276A (zh) * 2017-10-09 2018-04-20 广东工业大学 基于大数据平台的人体行为检测和预警
CN109034124A (zh) * 2018-08-30 2018-12-18 成都考拉悠然科技有限公司 一种智能监控方法及系统
CN109257569A (zh) * 2018-10-24 2019-01-22 广东佳鸿达科技股份有限公司 安防视频监控分析方法
CN109685039A (zh) * 2019-01-14 2019-04-26 博拉网络股份有限公司 一种训练人工智能摄像头识别特征物体的训练方法
CN111931633A (zh) * 2020-08-05 2020-11-13 珠海完全网络科技有限公司 一种基于视频识别的行为分析与微表情分析方法
CN112232211A (zh) * 2020-10-16 2021-01-15 山东科技大学 一种基于深度学习的智能视频监控系统
WO2021169209A1 (zh) * 2020-02-27 2021-09-02 平安科技（深圳）有限公司 一种基于语音及图像特征的异常行为识别方法、装置及设备
CA3136997A1 (en) * 2020-10-29 2022-04-29 10353744 Canada Ltd. RE-IDENTIFICATION METHOD FOR CREATING A DATABASE, APPARATUS, COMPUTER DEVICE AND STORAGE MEDIA

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230419965A1 (en) * 2022-06-22 2023-12-28 Cerence Operating Company Emotion detection in barge-in analysis

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206611514U (zh) * 2016-12-02 2017-11-03 刘昌永 一种基于脸部情绪识别的智能安防系统
CN107169426A (zh) * 2017-04-27 2017-09-15 广东工业大学 一种基于深度神经网络的人群情绪异常检测和定位方法
CN107943276A (zh) * 2017-10-09 2018-04-20 广东工业大学 基于大数据平台的人体行为检测和预警
CN109034124A (zh) * 2018-08-30 2018-12-18 成都考拉悠然科技有限公司 一种智能监控方法及系统
CN109257569A (zh) * 2018-10-24 2019-01-22 广东佳鸿达科技股份有限公司 安防视频监控分析方法
CN109685039A (zh) * 2019-01-14 2019-04-26 博拉网络股份有限公司 一种训练人工智能摄像头识别特征物体的训练方法
WO2021169209A1 (zh) * 2020-02-27 2021-09-02 平安科技（深圳）有限公司 一种基于语音及图像特征的异常行为识别方法、装置及设备
CN111931633A (zh) * 2020-08-05 2020-11-13 珠海完全网络科技有限公司 一种基于视频识别的行为分析与微表情分析方法
CN112232211A (zh) * 2020-10-16 2021-01-15 山东科技大学 一种基于深度学习的智能视频监控系统
CA3136997A1 (en) * 2020-10-29 2022-04-29 10353744 Canada Ltd. RE-IDENTIFICATION METHOD FOR CREATING A DATABASE, APPARATUS, COMPUTER DEVICE AND STORAGE MEDIA

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Toward Abnormal Trajectory and Event Detection in Video Surveillance;Serhan Coşar等;《EEE Transactions on Circuits and Systems for Video Technology》;20170331;第27卷(第3期);第683 - 695页 *
智能视频监控系统在监狱场所的应用;谢珏琪;;中国公共安全;20130831(第16期);第156-161页 *

Also Published As

Publication number Publication date
CN117876973A (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
Liu et al. Intelligent video systems and analytics: A survey
Tian et al. Robust detection of abandoned and removed objects in complex surveillance videos
AU2011349259B2 (en) Stopped object detection
Albiol et al. Detection of parked vehicles using spatiotemporal maps
US8294765B2 (en) Video image monitoring system
CN109872483B (zh) 一种入侵警戒光电监测系统及方法
KR102217253B1 (ko) 행동패턴 분석 장치 및 방법
Li et al. Decoupled appearance and motion learning for efficient anomaly detection in surveillance video
CN104519318A (zh) 图像监控系统和监视摄像机
WO2007064559A1 (en) Detection of abnormal crowd behavior
CN105354563A (zh) 结合深度和彩色图像的遮挡人脸检测预警装置及实现方法
KR102142315B1 (ko) 영상 분석 기반의 금융자동화기기 보안 시스템 및 그 방법
JP4764172B2 (ja) 画像処理による移動体候補の検出方法及び移動体候補から移動体を検出する移動体検出方法、移動体検出装置及び移動体検出プログラム
CN111046797A (zh) 一种基于人员和车辆行为分析的输油管线警戒方法
Davis et al. An adaptive focus-of-attention model for video surveillance and monitoring
Huang et al. Rapid detection of camera tampering and abnormal disturbance for video surveillance system
EP2447912B1 (en) Method and device for the detection of change in illumination for vision systems
Lalonde et al. A system to automatically track humans and vehicles with a PTZ camera
WO2022271468A1 (en) Techniques for improving an image readability using one or more patterns
CN113989732A (zh) 基于深度学习的实时监控方法、系统、设备和可读介质
KR20200060868A (ko) 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템
CN117745709A (zh) 一种铁路异物侵限检测方法、系统、设备及介质
CN117876973B (zh) 一种基于深度学习的园区安防监测方法及系统
Shammi et al. An automated way of vehicle theft detection in parking facilities by identifying moving vehicles in CCTV video stream
Chen et al. An intelligent virtual fence security system for the detection of people invading

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant