CN116229341A - 一种电子间视频监控可疑行为分析报警方法和系统 - Google Patents

一种电子间视频监控可疑行为分析报警方法和系统 Download PDF

Info

Publication number
CN116229341A
CN116229341A CN202211462970.4A CN202211462970A CN116229341A CN 116229341 A CN116229341 A CN 116229341A CN 202211462970 A CN202211462970 A CN 202211462970A CN 116229341 A CN116229341 A CN 116229341A
Authority
CN
China
Prior art keywords
video
people
suspicious
data
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211462970.4A
Other languages
English (en)
Inventor
杨国玉
丁朝晖
张伟
刘腾
车业蒙
许九坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Datang Corp Science and Technology Research Institute Co Ltd
Original Assignee
China Datang Corp Science and Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Datang Corp Science and Technology Research Institute Co Ltd filed Critical China Datang Corp Science and Technology Research Institute Co Ltd
Priority to CN202211462970.4A priority Critical patent/CN116229341A/zh
Publication of CN116229341A publication Critical patent/CN116229341A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Emergency Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种电子间视频监控可疑行为分析报警方法，包括：基于电子间视频摄像头和相机获得第一时间段内的视频源信息；解析视频源信息，将其拆分为多幅图像，并为每幅图像添加时间戳；基于每幅图像生成某一场景下的多个区块以及多个区块对应的区块能量图作为原始数据；基于原始数据建立神经网络基础模型；对神经网络基础模型进行训练获得用于最终实施可疑行为分析报警的神经网络模型；基于神经网络模型进行电子间视频监控可疑行为分析报警，还公开了对应的系统、电子设备及计算机可读存储介质。

Description

一种电子间视频监控可疑行为分析报警方法和系统
技术领域
本发明属于图像识别以及电子间监控技术领域，尤其涉及一种电子间视频监控可疑行为分析报警方法和系统。
背景技术
电子间监控目前所采用的智能视频分析系统以数字化、网络化视频监控为基础，用户可以设置某些特定的规则，系统识别不同的物体，同时识别目标行为是否符合这些规则，一旦发现监控画面中的异常情况，系统能够以最快和最佳的方式发出警报并提供有用信息，从而能够更加有效的协助安全人员处理危机，最大限度的降低误报和漏报现象。
然而，以上设计的智能视频分析系统及方法所设定的规则比较单一，视频的各帧图像之间的联系未建立有效的模型和规则，并且视频的信息量非常大，在系统识别过程中所消耗的算力巨大，无法确保一定能够提取到有用的信息，从大量视频中无法提取出有用的关键信息，无法降低视频图像分析的工作量，从而针对非法U盘、笔记本、手机等带入电子间等的可疑行为进行实时高可靠性高精准度的分析报警。
发明内容
本发明的目的是提供一种电子间视频监控可疑行为分析报警方法和系统，系统的核心技术为深度学习、人脸识别、目标检测等技术，使图像及图像描述之间建立关系，从而使计算机能够通过数字图像处理和分析来理解视频画面中的内容，达到自动分析和抽取视频源中关键信息的目的，从而能够从大量视频中提取出有用的关键信息，只为用户提供有问题的视频，所采用的人机交互监控方式，尤其实现可疑行为分析报警，用户只需要对产生告警的视频进行确认和处理，实现非法U盘、笔记本、手机等带入电子间监控。
本发明一方面提供了一种电子间视频监控可疑行为分析报警方法，包括：
S1，基于电子间视频摄像头和相机获得第一时间段内的视频源信息；解析视频源信息，将其拆分为多幅图像，并为每幅图像添加时间戳；基于每幅图像生成某一场景下的多个区块以及多个区块对应的区块能量图作为原始数据；
S2，基于所述原始数据建立神经网络基础模型；
S3，对所述神经网络基础模型进行训练获得用于最终实施可疑行为分析报警的神经网络模型；
S4，基于所述神经网络模型进行电子间视频监控可疑行为分析报警。
优选的，所述原始数据与五种电子间区域可疑行为对应，第一类为人群驻足视频数据，第二类为人群突然聚集视频数据，第三类为人群突然发散视频数据，第四类为在当前视频区域中，有少部分人的运动方向和大部分人的运动方向，速度不一致的视频数据，第五类为人群关联可疑行为数据，包括携带U盘和/或可移动终端设备。
优选的，所述S1包括：
首先，在摄像头和相机部署完成后，执行摄像头和相机初始化程序，对整个场景利用目标追踪算法划分区块，这样生成的图被称为区块划分图；
然后，加入时间因素，每隔100ms记录一下整个采集场景的区块划分图，连续的6张区块划分图作为一个整体；
最后，每隔100ms输出一张处理好的6通道的区块能量图，将每一个区块看成是一个像素点，像素值的大小为区块能量，以转化成一个6通道的新图，对新生成的6通道的新图的像素值进行归一化，得到最终的原始数据。
优选的，所述目标追踪算法包括：
(1)第一步，首先利用目标追踪算法对刚刚进入图像采集场景的行人进行追踪；
(2)第二步，记录行人在被追踪的当前帧的宽w1和高h1，得到采集图像这一行区块的宽w2＝2*w1和区块的高h2＝2*w2；在这一步骤中，对场景划分的区块结果具体表现为：算法在第一帧追踪到本次划分区块时追踪算法所追踪的目标后，建立目标所在位置的较粗区块，随后以同样的大小将整行区块划分出来；
(3)第三步，当行人走出所在区块时，判断是否走出图像采集区域，如果没有走出采集区域，则程序以相同的方式建立下一区块；
(4)第四步，直到整个图像采集场景都被区块划分，程序结束。
优选的，所述S2包括：
(1)基于BackBone模块进行特征提取，将图像中的物体信息通过卷积网络进行提取，用于目标检测；
(2)将图像分为高分辨率图像和低分辨率图像，包括基于Focus模块采用隔列采样和拼接的切片操作将高分辨率图像拆分成多个低分辨率的图片/特征图，其中Focus模块的层原理和PassThrough层类似；
(3)基于SPP模块进行空间金字塔池化，从而将任意大小的特征图转换成固定大小的特征向量；
(4)基于CSP_X模块增加残差结构可以增加层与层之间反向传播的梯度值，这是由于backbone是较深的网络，避免因为加深而带来的梯度消失，从而可以提取到更细粒度的特征并且不用担心网络退化；
(5)基于Neck模块对特征进行混合与组合，增强网络的鲁棒性，加强物体检测能力，并且将这些特征传递给Head层进行预测；
(6)在YOLO输出端输出最终的预测；
所述神经网络基础模型采用Bound i ng Box损失函数进行验证，以真实检测框和模型预测输出框的吻合程度，从而能够通过反向传播的方式优化所述神经网络基础模型；并基于NMS非极大值抑制判断相邻网格识别的是否是同一物体以消除掉多余检测框。
优选的，所述S3使用RBF神经元网络对数据进行训练，包括：
(1)首先，利用训练数据计算伪逆矩阵；
(2)然后，基于伪逆矩阵对测试数据进行预测并训练，包括：
确定输入向量X为[x1,x2,…x186]，186为区块能量图的每一个通道含有31个像素点，一共有6个通道；
确定输出向量Y为[y0,y1,y2,y3,y4]，如果y0为1，其余为0，则该区块能量图所对应的时间段内人群驻足；如果y1为1其余为0，则该区块能量图所对应的时间段内人群行为是异常行为中的人群突然聚集；如果y2为1其余为0，则该区块能量图所对应的时间段内人群行为是异常行为中的人群突然发散；如果y3为1其余为0，则该区块能量图所对应的时间段内人群行为是异常行为中的在当前视频区域中，有少部分人的运动方向和大部分人的运动方向，速度不一致；如果y4为1其余为0，则该区块能量图所对应的时间段内人群行为是异常行为中的人群关联可疑行为；
对输出层变量进行Softmax处理，得到结果S[s1,s2,s3,s4,s5]，即为RBF神经元网络判断当前行为是哪一种行为的概率；
确定中心点个数，其中中心点个数使得低维线性不可分的数据转化为高维变得线性可分得数据，本实施例中设置中心点个数为300；
初始化隐含层到输出层得连接权值，采用随机的初始化方法对隐藏层对输出层的权重进行初始化；
通过训练数据获得整个网络的权重参数，并获得用于最终实施可疑行为分析报警的神经网络模型。
优选的，所述S4包括：
(1)通过程序设置的参数判断当前监控区域是否为敏感区域；
(2)如果为敏感区域，程序执行人头计数算法判断当前监控场景中是否有人，如果有人直接向上层反馈报警信息，并通知安防人员，由安防人员判断出现在敏感区域的人群是否合法，并作出后续的相关处置措施；
(3)如果摄像头或相机没有部署在敏感区域，则生成当前时刻解决透视效应的区块能量图，在使用径向基神经元网络RBF处理区块能量图转化的数据来判断监控场景的人群是否发生了可疑行为，如果发生可疑行为则向上层反馈报警信息，由安防人员做出相应的处置措施，没有发生可疑行为则继续持续稳定的监控采集场景。
本发明的第二方面提供过一种电子间视频监控可疑行为分析报警系统，包括：
信息获取模块，用于基于电子间视频摄像头和相机获得第一时间段内的视频源信息；解析视频源信息，将其拆分为多幅图像，并为每幅图像添加时间戳；基于每幅图像生成某一场景下的多个区块以及多个区块对应的区块能量图作为原始数据，其中所述原始数据与本实施例定义的五种电子间区域可疑行为对应，第一类为人群驻足视频数据，第二类为人群突然聚集视频数据，第三类为人群突然发散视频数据，第四类为在当前视频区域中，有少部分人的运动方向和大部分人的运动方向，速度不一致的视频数据，第五类为人群关联可疑行为数据，包括携带U盘和/或可移动终端设备；
第一模型建立模块，用于基于所述原始数据建立神经网络基础模型；
模型训练模块，用于对所述神经网络基础模型进行训练获得用于最终实施可疑行为分析报警的神经网络模型；
分析报警模块，用于基于所述神经网络模型进行电子间视频监控可疑行为分析报警。
本发明的第三方面提供一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如第一方面所述的方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如第一方面所述的方法。
本发明提供的方法、装置、电子设备以及计算机可读存储介质，具有如下有益的技术效果：
通过区块能量图得到的新图带入径向基函数神经元网络后，能够以较高的概率判别人群聚集、人群发散等人群可疑行为，并且可通过图像从大量视频中提取出有用的关键信息，只为用户提供有问题的视频；通过人机交互监控方式实现可疑行为分析报警，用户只需要对产生告警的视频进行确认和处理，实现非法U盘、笔记本、手机等带入电子间的非典型人群可疑行为的监控，具体体现在：
(1)合理的划分了整个采集场景的区块，由于真实场景中距离相机远的区域和距离相机近的区域对于同样的人群变化来说，得到的衡量结果不一样，本发明在目标追踪算法的基础上划分出合理的区块的方法，解决了区块能量图受透视效应影响的问题。
(2)使用RBF神经元网络进行判断，进行两次转化生成RBF神经元网络能够处理的数据，第一次是把区块大小不一致的区块能量图转化为区块大小一致的区块能量图；第二次将大小一致的区块能量图转化为RBF神经元网络能够处理的数据，从而解决透视效应后得到的区块划分图中区块大小不一样的问题。
附图说明
图1为根据本发明优选实施例示出的电子间视频监控可疑行为分析报警方法流程图；
图2为根据本发明优选实施例示出的神经网络架构图；
图3为根据本发明优选实施例示出的电子间视频监控可疑行为分析报警系统结构图；
图4为本发明提供的电子设备一种实施例的结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例一
如图1所示，提供一种电子间视频监控可疑行为分析报警方法，包括：
S1，基于电子间视频摄像头和相机获得第一时间段内的视频源信息；解析视频源信息，将其拆分为多幅图像，并为每幅图像添加时间戳；基于每幅图像生成某一场景下的多个区块以及多个区块对应的区块能量图作为原始数据，其中所述原始数据与本实施例定义的五种电子间区域可疑行为对应，第一类为人群驻足视频数据，第二类为人群突然聚集视频数据，第三类为人群突然发散视频数据，第四类为在当前视频区域中，有少部分人的运动方向和大部分人的运动方向，速度不一致的视频数据，第五类为人群关联可疑行为数据，例如携带U盘和可移动终端设备。
包括：
首先，在摄像头和相机部署完成后，执行摄像头和相机初始化程序，对整个场景利用目标追踪算法划分区块，这样生成的图被称为区块划分图；
追踪算法能够在场景变化剧烈、目标存在遮挡等复杂条件下对目标进行持续稳定的追踪，不仅满足实时性，而且在正常测试集、目标存在遮挡测试集、摄像头旋转测试集都有较好的效果和突出的表现；
其中，利用目标追踪算法划分区块时，达到了使用同一个人作为参照物来划分整个场景区块的目的，目标追踪算法包括：
(1)第一步，首先利用目标追踪算法对刚刚进入图像采集场景的行人进行追踪；
(2)第二步，记录行人在被追踪的当前帧的宽w1和高h1，得到采集图像这一行区块的宽w2＝2*w1和区块的高h2＝2*w2；在这一步骤中，对场景划分的区块结果具体表现为：算法在第一帧追踪到本次划分区块时追踪算法所追踪的目标后，建立目标所在位置的较粗区块，随后以同样的大小将整行区块划分出来；
(3)第三步，当行人走出所在区块时，判断是否走出图像采集区域，如果没有走出采集区域，则程序以相同的方式建立下一区块；
(4)第四步，直到整个图像采集场景都被区块划分，程序结束。
然后，加入时间因素，每隔100ms记录一下整个采集场景的区块划分图，连续的6张区块划分图作为一个整体；
最后，每隔100ms输出一张处理好的6通道的区块能量图，将每一个区块看成是一个像素点，像素值的大小为区块能量，以转化成一个6通道的新图，对新生成的6通道的新图的像素值进行归一化，得到最终的原始数据。
由于图像被划分的各个区块所代表的意义完全一样，因此将区块划分图的每个区块看成同样大小，区块的值代表区块能量的大小，从而将区块划分图转化成了6个通道的区块能量图。可疑行为需要将整个监控场景作为一个整体研究，对于每个区块来说不仅能量信息为影响因素，每个区块的位置信息也是重要的因素，因为区块的能量和位置共同反映了人群的变化。原始数据生成过程中，是通过相同的相机部署在同一场景的同一位置采集到的，并且使用数据行数相同，每一行对应的区块数也相同的区块图。
S2，基于所述原始数据建立神经网络基础模型；
在原始数据生成完成之后，曾经尝试使用VGG卷积神经元网络处理生成的解决透视效应的区块能量图，即把6通道的区块能量图代入VGG16卷积神经元网络，没有取得较好的结果，这是由于自己生成的数据只有百级，目前没有开源的电子间区域人群可疑行为相关数据集。虽然理论上通过选择合理的激励函数、加大训练轮数、选择合理框架等可以解决只有少量的数据集的问题，但是在实验过程中一直存在训练集表现很好，但是在测试集结果很差的过拟合现象，因此本实施例使用传统的RBF神经元网络来处理区块能量图，并且在RBF神经元网络输出层后面添加Softmax层，最终模型能够很大程度上区分正常行为和人群可疑行为。
如图2所示，包括：
(1)基于BackBone模块进行特征提取，将图像中的物体信息通过卷积网络进行提取，用于目标检测；
(2)将图像分为高分辨率图像和低分辨率图像，包括基于Focus模块采用隔列采样和拼接的切片操作将高分辨率图像拆分成多个低分辨率的图片/特征图，其中Focus模块的层原理和PassThrough层类似；
(3)基于SPP模块进行空间金字塔池化，从而将任意大小的特征图转换成固定大小的特征向量；
(4)基于CSP_X模块增加残差结构可以增加层与层之间反向传播的梯度值，这是由于backbone是较深的网络，避免因为加深而带来的梯度消失，从而可以提取到更细粒度的特征并且不用担心网络退化；
(5)基于Neck模块对特征进行混合与组合，增强网络的鲁棒性，加强物体检测能力，并且将这些特征传递给Head层进行预测；
(6)在YOLO输出端输出最终的预测。
作为优选的实施方式，所述神经网络基础模型采用Bound i ng Box损失函数进行验证，以真实检测框和模型预测输出框的吻合程度，从而能够通过反向传播的方式优化所述神经网络基础模型；并基于NMS非极大值抑制判断相邻网格识别的是否是同一物体以消除掉多余检测框。
本实施例已经证实可以在多个数据集上快速收敛；模型可定制性强，特点是yo lov有点类似Eff i c i entNet网络的设计规则，(输入、宽度、深度)正负样本定义阶段采用了跨邻域网格的匹配策略。
S3，对所述神经网络基础模型进行训练获得用于最终实施可疑行为分析报警的神经网络模型；
本实施例使用RBF神经元网络对数据进行训练，包括：
(1)首先，利用训练数据计算伪逆矩阵；
(2)然后，基于伪逆矩阵对测试数据进行预测并训练，包括：
确定输入向量X为[x1,x2,…x186]，186为区块能量图的每一个通道含有31个像素点，一共有6个通道；
确定输出向量Y为[y0,y1,y2,y3,y4]，如果y0为1，其余为0，则该区块能量图所对应的时间段内人群驻足；如果y1为1其余为0，则该区块能量图所对应的时间段内人群行为是异常行为中的人群突然聚集；如果y2为1其余为0，则该区块能量图所对应的时间段内人群行为是异常行为中的人群突然发散；如果y3为1其余为0，则该区块能量图所对应的时间段内人群行为是异常行为中的在当前视频区域中，有少部分人的运动方向和大部分人的运动方向，速度不一致；如果y4为1其余为0，则该区块能量图所对应的时间段内人群行为是异常行为中的人群关联可疑行为；
对输出层变量进行Softmax处理，得到结果S[s1,s2,s3,s4,s5]，即为RBF神经元网络判断当前行为是哪一种行为的概率；
确定中心点个数，其中中心点个数使得低维线性不可分的数据转化为高维变得线性可分得数据，本实施例中设置中心点个数为300；
初始化隐含层到输出层得连接权值，采用随机的初始化方法对隐藏层对输出层的权重进行初始化；
通过训练数据获得整个网络的权重参数，并获得用于最终实施可疑行为分析报警的神经网络模型。
本实施例中，配置参数，调用trai n.py启动训练，包括如下参数，解释如下：
epochs：训练过程中整个数据集将被迭代的次数，根据显卡的参数对应调整；
batch-s i ze：启动权重更新需要浏览的图片数量，属于梯度下降的mi n i-batch，根据显卡的参数对应调整；
cfg：存储模型结构的配置文件；
data：存储训练、测试数据的文件；
img-s i ze：输入图片宽高，根据显卡的参数对应调整；
rect：进行矩形训练的参数；
resume：恢复最近保存的模型，开始训练；
nosave：仅保存最终checkpoi nt；
notest：仅测试最后的epoch；
evo l ve：进化超参数；
bucket：gsut i l bucket；
cache-images：缓存图像以加快训练速度；
wei ghts：权重文件路径；
name：重命名resu lts.txt to resu lts_name.txt
device：cuda设备参数,i.e.0或1,2,3或cpu；
adam：使用adam优化；
mu lt i-sca l e：多尺度训练，img-s i ze+/-50％；
s i ng l e-c l s：单类别的训练集。
根据自己的硬件配置修改参数，训练好的模型会被保存在目录下的runs/exp0/weights/l ast.pt和best.pt，详细训练数据保存在runs/exp0/resu lts.txt文件中。最终训练模型会出现2个，best.pt(做detect时用这个)和l ast.pt(最后一次训练模型)。利用tensorboard打开即可查看训练日志。
S4，基于所述神经网络模型进行电子间视频监控可疑行为分析报警，包括：
(1)通过程序设置的参数判断当前监控区域是否为敏感区域；
(2)如果为敏感区域，程序执行人头计数算法判断当前监控场景中是否有人，如果有人直接向上层反馈报警信息，并通知安防人员，由安防人员判断出现在敏感区域的人群是否合法，并作出后续的相关处置措施；
(3)如果摄像头或相机没有部署在敏感区域，则生成当前时刻解决透视效应的区块能量图，在使用径向基神经元网络RBF处理区块能量图转化的数据来判断监控场景的人群是否发生了可疑行为，如果发生可疑行为则向上层反馈报警信息，由安防人员做出相应的处置措施，没有发生可疑行为则继续持续稳定的监控采集场景。
本实施例中，训练结束在run文件夹下会生成PR_curve.png，其中PR曲线中的P代表的是preci s ion(精准率)，R代表的是reca l l(召回率)，其代表的是精准率与召回率的关系，一般情况下，将reca l l设置为横坐标，preci s ion设置为纵坐标。PR曲线下围成的面积即AP，所有类别AP平均值即Map。本实施例中初步算法的识别率采用通用数据集进行训练可达到85％，后续采集现场视频后再进行一轮特征训练，能进一步提高准确率。
实施例二
如图3所示，提供一种电子间视频监控可疑行为分析报警系统，包括：
信息获取模块101，用于基于电子间视频摄像头和相机获得第一时间段内的视频源信息；解析视频源信息，将其拆分为多幅图像，并为每幅图像添加时间戳；基于每幅图像生成某一场景下的多个区块以及多个区块对应的区块能量图作为原始数据，其中所述原始数据与本实施例定义的五种电子间区域可疑行为对应，第一类为人群驻足视频数据，第二类为人群突然聚集视频数据，第三类为人群突然发散视频数据，第四类为在当前视频区域中，有少部分人的运动方向和大部分人的运动方向，速度不一致的视频数据，第五类为人群关联可疑行为数据，包括携带U盘和/或可移动终端设备；
第一模型建立模块102，用于基于所述原始数据建立神经网络基础模型；
模型训练模块103，用于对所述神经网络基础模型进行训练获得用于最终实施可疑行为分析报警的神经网络模型；
分析报警模块104，用于基于所述神经网络模型进行电子间视频监控可疑行为分析报警。
本发明还提供了一种存储器，存储有多条指令，所述指令用于实现如实施例一所述的方法。
如图4所示，本发明还提供了一种电子设备，包括处理器301和与所述处理器301连接的存储器302，所述存储器302存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如实施例一所述的方法。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种电子间视频监控可疑行为分析报警方法，其特征在于，包括：
S1，基于电子间视频摄像头和相机获得第一时间段内的视频源信息；解析视频源信息，将其拆分为多幅图像，并为每幅图像添加时间戳；基于每幅图像生成某一场景下的多个区块以及多个区块对应的区块能量图作为原始数据；
S2，基于所述原始数据建立神经网络基础模型；
S3，对所述神经网络基础模型进行训练获得用于最终实施可疑行为分析报警的神经网络模型；
S4，基于所述神经网络模型进行电子间视频监控可疑行为分析报警。
2.根据权利要求1所述的一种电子间视频监控可疑行为分析报警方法，其特征在于，所述原始数据与五种电子间区域可疑行为对应，第一类为人群驻足视频数据，第二类为人群突然聚集视频数据，第三类为人群突然发散视频数据，第四类为在当前视频区域中，有少部分人的运动方向和大部分人的运动方向，速度不一致的视频数据，第五类为人群关联可疑行为数据，包括携带U盘和/或可移动终端设备。
3.根据权利要求1所述的一种电子间视频监控可疑行为分析报警方法，其特征在于，所述S1包括：
首先，在摄像头和相机部署完成后，执行摄像头和相机初始化程序，对整个场景利用目标追踪算法划分区块，这样生成的图被称为区块划分图；
然后，加入时间因素，每隔100ms记录一下整个采集场景的区块划分图，连续的6张区块划分图作为一个整体；
最后，每隔100ms输出一张处理好的6通道的区块能量图，将每一个区块看成是一个像素点，像素值的大小为区块能量，以转化成一个6通道的新图，对新生成的6通道的新图的像素值进行归一化，得到最终的原始数据。
4.根据权利要求3所述的一种电子间视频监控可疑行为分析报警方法，其特征在于，所述目标追踪算法包括：
(1)第一步，首先利用目标追踪算法对刚刚进入图像采集场景的行人进行追踪；
(2)第二步，记录行人在被追踪的当前帧的宽w1和高h1，得到采集图像这一行区块的宽w2＝2*w1和区块的高h2＝2*w2；在这一步骤中，对场景划分的区块结果具体表现为：算法在第一帧追踪到本次划分区块时追踪算法所追踪的目标后，建立目标所在位置的较粗区块，随后以同样的大小将整行区块划分出来；
(3)第三步，当行人走出所在区块时，判断是否走出图像采集区域，如果没有走出采集区域，则程序以相同的方式建立下一区块；
(4)第四步，直到整个图像采集场景都被区块划分，程序结束。
5.根据权利要求4所述的一种电子间视频监控可疑行为分析报警方法，其特征在于，所述S2包括：
(1)基于BackBone模块进行特征提取，将图像中的物体信息通过卷积网络进行提取，用于目标检测；
(2)将图像分为高分辨率图像和低分辨率图像，包括基于Focus模块采用隔列采样和拼接的切片操作将高分辨率图像拆分成多个低分辨率的图片/特征图，其中Focus模块的层原理和PassThrough层类似；
(3)基于SPP模块进行空间金字塔池化，从而将任意大小的特征图转换成固定大小的特征向量；
(4)基于CSP_X模块增加残差结构可以增加层与层之间反向传播的梯度值，这是由于backbone是较深的网络，避免因为加深而带来的梯度消失，从而可以提取到更细粒度的特征并且不用担心网络退化；
(5)基于Neck模块对特征进行混合与组合，增强网络的鲁棒性，加强物体检测能力，并且将这些特征传递给Head层进行预测；
(6)在YOLO输出端输出最终的预测；
所述神经网络基础模型采用Bounding Box损失函数进行验证，以真实检测框和模型预测输出框的吻合程度，从而能够通过反向传播的方式优化所述神经网络基础模型；并基于NMS非极大值抑制判断相邻网格识别的是否是同一物体以消除掉多余检测框。
6.根据权利要求5所述的一种电子间视频监控可疑行为分析报警方法，其特征在于，所述S3使用RBF神经元网络对数据进行训练，包括：
(1)首先，利用训练数据计算伪逆矩阵；
(2)然后，基于伪逆矩阵对测试数据进行预测并训练，包括：
确定输入向量X为[x1,x2,…x186]，186为区块能量图的每一个通道含有31个像素点，一共有6个通道；
确定输出向量Y为[y0,y1,y2,y3,y4]，如果y0为1，其余为0，则该区块能量图所对应的时间段内人群驻足；如果y1为1其余为0，则该区块能量图所对应的时间段内人群行为是异常行为中的人群突然聚集；如果y2为1其余为0，则该区块能量图所对应的时间段内人群行为是异常行为中的人群突然发散；如果y3为1其余为0，则该区块能量图所对应的时间段内人群行为是异常行为中的在当前视频区域中，有少部分人的运动方向和大部分人的运动方向，速度不一致；如果y4为1其余为0，则该区块能量图所对应的时间段内人群行为是异常行为中的人群关联可疑行为；
对输出层变量进行Softmax处理，得到结果S[s1,s2,s3,s4,s5]，即为RBF神经元网络判断当前行为是哪一种行为的概率；
确定中心点个数，其中中心点个数使得低维线性不可分的数据转化为高维变得线性可分得数据，本实施例中设置中心点个数为300；
初始化隐含层到输出层得连接权值，采用随机的初始化方法对隐藏层对输出层的权重进行初始化；
通过训练数据获得整个网络的权重参数，并获得用于最终实施可疑行为分析报警的神经网络模型。
7.根据权利要求6所述的一种电子间视频监控可疑行为分析报警方法，其特征在于，所述S4包括：
(1)通过程序设置的参数判断当前监控区域是否为敏感区域；
(2)如果为敏感区域，程序执行人头计数算法判断当前监控场景中是否有人，如果有人直接向上层反馈报警信息，并通知安防人员，由安防人员判断出现在敏感区域的人群是否合法，并作出后续的相关处置措施；
(3)如果摄像头或相机没有部署在敏感区域，则生成当前时刻解决透视效应的区块能量图，在使用径向基神经元网络RBF处理区块能量图转化的数据来判断监控场景的人群是否发生了可疑行为，如果发生可疑行为则向上层反馈报警信息，由安防人员做出相应的处置措施，没有发生可疑行为则继续持续稳定的监控采集场景。
8.一种电子间视频监控可疑行为分析报警系统，用于实施权利要求1-7任一所述的方法，其特征在于，包括：
信息获取模块，用于基于电子间视频摄像头和相机获得第一时间段内的视频源信息；解析视频源信息，将其拆分为多幅图像，并为每幅图像添加时间戳；基于每幅图像生成某一场景下的多个区块以及多个区块对应的区块能量图作为原始数据，其中所述原始数据与本实施例定义的五种电子间区域可疑行为对应，第一类为人群驻足视频数据，第二类为人群突然聚集视频数据，第三类为人群突然发散视频数据，第四类为在当前视频区域中，有少部分人的运动方向和大部分人的运动方向，速度不一致的视频数据，第五类为人群关联可疑行为数据，包括携带U盘和/或可移动终端设备；
第一模型建立模块，用于基于所述原始数据建立神经网络基础模型；
模型训练模块，用于对所述神经网络基础模型进行训练获得用于最终实施可疑行为分析报警的神经网络模型；
分析报警模块，用于基于所述神经网络模型进行电子间视频监控可疑行为分析报警。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如权利要求1-7任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如权利要求1-7任一所述的方法。
CN202211462970.4A 2022-11-21 2022-11-21 一种电子间视频监控可疑行为分析报警方法和系统 Pending CN116229341A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211462970.4A CN116229341A (zh) 2022-11-21 2022-11-21 一种电子间视频监控可疑行为分析报警方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211462970.4A CN116229341A (zh) 2022-11-21 2022-11-21 一种电子间视频监控可疑行为分析报警方法和系统

Publications (1)

Publication Number Publication Date
CN116229341A true CN116229341A (zh) 2023-06-06

Family

ID=86570330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211462970.4A Pending CN116229341A (zh) 2022-11-21 2022-11-21 一种电子间视频监控可疑行为分析报警方法和系统

Country Status (1)

Country Link
CN (1) CN116229341A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912596A (zh) * 2023-08-04 2023-10-20 无锡学院 一种多源数据归一化处理与融合的方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912596A (zh) * 2023-08-04 2023-10-20 无锡学院 一种多源数据归一化处理与融合的方法及系统
CN116912596B (zh) * 2023-08-04 2024-03-22 无锡学院 一种多源数据归一化处理与融合的方法及系统

Similar Documents

Publication Publication Date Title
CN110807385B (zh) 目标检测方法、装置、电子设备及存储介质
CN108764308B (zh) 一种基于卷积循环网络的行人重识别方法
CN111563557B (zh) 一种电力电缆隧道内目标检测的方法
Salimi et al. Visual-based trash detection and classification system for smart trash bin robot
CN110084165A (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN110826429A (zh) 一种基于景区视频的旅游突发事件自动监测的方法及系统
CN110135476A (zh) 一种个人安全装备的检测方法、装置、设备及系统
CN112541393A (zh) 一种基于深度学习的变电站人员检测方法及装置
CN114332749B (zh) 一种基于深度学习的采砂船采砂监控方法
CN111177469A (zh) 人脸检索方法及人脸检索装置
CN113128360A (zh) 基于深度学习的司机驾驶行为检测与识别方法
CN116229341A (zh) 一种电子间视频监控可疑行为分析报警方法和系统
CN112597964A (zh) 分层多尺度人群计数的方法
Ren et al. Towards efficient video detection object super-resolution with deep fusion network for public safety
Miao et al. Abnormal Behavior Learning Based on Edge Computing toward a Crowd Monitoring System
Tydén et al. Edge machine learning for animal detection, classification, and tracking
Badale et al. Deep fake detection using neural networks
CN112487961A (zh) 一种交通事故检测方法、存储介质及设备
CN115205786A (zh) 手机盗拍行为在线自动识别告警方法
CN116246200A (zh) 一种基于视觉识别的屏显信息偷拍检测方法及系统
Liu et al. Abnormal behavior analysis strategy of bus drivers based on deep learning
JP2022184761A (ja) 入力データにおける異常を検知するための概念
CN113822155A (zh) 一种聚类辅助的弱监督视频异常检测方法和装置
CN115909144A (zh) 一种基于对抗学习的监控视频异常检测方法及系统
Terdal et al. YOLO-Based Video Processing for CCTV Surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication