CN117197713A - 一种基于数字视频监控系统的提取方法 - Google Patents
一种基于数字视频监控系统的提取方法 Download PDFInfo
- Publication number
- CN117197713A CN117197713A CN202311157912.5A CN202311157912A CN117197713A CN 117197713 A CN117197713 A CN 117197713A CN 202311157912 A CN202311157912 A CN 202311157912A CN 117197713 A CN117197713 A CN 117197713A
- Authority
- CN
- China
- Prior art keywords
- module
- video
- sub
- control module
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 106
- 238000000605 extraction Methods 0.000 title claims abstract description 54
- 230000033001 locomotion Effects 0.000 claims abstract description 106
- 230000002159 abnormal effect Effects 0.000 claims abstract description 50
- 239000013598 vector Substances 0.000 claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 25
- 230000005856 abnormality Effects 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 3
- 238000007781 pre-processing Methods 0.000 claims description 24
- 238000005070 sampling Methods 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000013459 approach Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 2
- 230000008447 perception Effects 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 206010000117 Abnormal behaviour Diseases 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Alarm Systems (AREA)
Abstract
本发明提供了一种基于数字视频监控系统的提取方法，包括：视频控制模块、视频监控终端，视频控制模块与若干个视频监控终端连接；视频数据特征提取模块与异常检测模型建立模块连接，视频控制模块用于从视频监控终端获取图像数据并发送至主控模块；通过异常检测模型建立模块用于通过聚类的非参数模型对监控中心的训练视频流的运动特征向量进行建模，得到运动事件类别识别模型；本发明解决了不同视角下运动速度知觉不同的问题，异常检测模型建立模块通过基于聚类的非参数模型来对特征空间进行建模，解决了训练数据类别标签不清晰的问题，并在建模及检测的同时对模型进行在线更新，解决了异常事件定义模糊的问题及能够对多路数据进行综合处理。
Description
技术领域
本发明涉及视频监控技术领域。尤其是涉及一种基于数字视频监控系统的提取方法。
背景技术
视频监控是安全防范系统的重要组成部分，传统的监控系统包括前端摄像机、传输线缆、视频监控平台，摄像机可分为网络数字摄像机和模拟摄像机，可作为前端视频图像信号的采集，视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合。现有的视频监控系统通过将图像处理技术以及人工智能技术结合从容应对复杂环境及场景的各种事件检测，但是由于监控视频异常事件检测算法的目的是要理解视频数据中各种运动事件的具体意义，并对此进行相应的区分从而找出相应的异常运动事件向管理人员发出警报；现有技术中，异常事件定义模糊、训练数据类别标签不清楚、不同视角速度知觉不同；随着网络技术、计算机技术的发展和成熟，高科技为我们的生活带来了极大的便利，同时也提高了我们的生活质量和效率，传统的门卫值班和保安巡逻等治安管理手段已经不能适应新形式下住宅安全保障的需要，因此为了满足小区住户安全和科学系统化管理的需要，以及为了对随时发生的情况进行全面的，及时的了解和掌握，对意外情况能够做出正确判断，和及时的处理，便需要建立一个智能的、全面的、反应快速的小区安防系统，实现把一些隐患和危险遏制在萌芽状态，杜绝财产损失、以确保人员生命安全。但是上述方案中，各个监控单元独立工作，相互之间没有关联，小区监控中心的工作人员仍然需要人工对各个数据进行汇总分析，了解综合情况。
因此，有必要提供一种基于数字视频监控系统的提取方法。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例，在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
因此，本发明所要解决的技术问题是现阶段多个监控单元独立工作，相互之间没有关联，摄像头捕捉不精准，动捕技术难以精准，图像画质分辨率低，对异常检测模型的建立及主控模块对人员数量和广播控制模块喊话，在人体运动复杂性、定位及动作捕捉精度不够高传输画质分辨率低看不清以及最重要的基本算法本身的限制的问题。
为解决上述技术问题，本发明提供如下技术方案：一种基于数字视频监控系统的提取方法，其特征在于：包括视频控制模块、视频监控终端，视频控制模块与若干个视频监控终端连接；视频控制模块包括主控模块、视频微处理器、视频数据获取模块、视频数据预处理模块、视频数据特征提取模块、异常检测模型建立模块，视频数据获取模块与视频数据预处理模块连接，视频数据预处理模块与视频数据特征提取模块连接，视频数据特征提取模块与异常检测模型建立模块连接，视频控制模块用于从视频监控终端获取图像数据并发送至主控模块；
视频监控终端可以实时获取视频监控范围内的视频流的摄像机，若干个摄像机与视频微处理器及视频数据获取模块连接，通过无线网络连接到监控中心；视频数据预处理模块用于对若干个摄像机的视频流及监控中心的视频流进行预处理；
视频数据特征提取模块用于将多个摄像机的视频流和监控中心的训练视频流划分为多个示例，并提取每一示例的运动特征向量；视频数据特征提取模块包括目标划分子模块，目标划分子模块与图像包划分子模块连接，图像包划分子模块与多实例划分子模块连接，多实例划分子模块与时空块密集采样子模块连接，时空块密集采样子模块与光流特征计算子模块连接；其中，目标划分子模块用于根据时间序列对图像帧之间的前景运动图像的运动变化趋势进行分析，确定前景目标物体；图像包划分子模块用于将同一前景目标物体的视频流划分为一个图像包；多实例划分子模块用于对每个图像包进行多示例划分，得到N个示例流；时空块密集采样子模块用于对每个示例流按空间上从上到下、从左到右划分成互不重叠的块，以及按连续的时间序列重复采样，得到N个视频采集块；光流特征计算子模块用于对各视频采集块进行光流阈值计算，得到每个视频采集块对应的运动特征向量；
异常检测模型建立模块用于通过聚类的非参数模型对监控中心的训练视频流的运动特征向量进行建模，得到运动事件类别识别模型；运用slowfast算法以slow路径低帧速率操作捕捉空间语义，再以fast路径高帧速频以精细的时间分辨率捕捉运动实现精准捕捉；异常事件判定模块用于比较多个摄像机的视频流的运动特征向量与运动事件类别识别模型之间的差异性，利用faster-rcnn目标检测网络检测高分辨率变化图像中的行为，以及判定是否存在异常事件，并生成报警信息，所述报警信息实时发送至监控中心；
主控模块还用于根据图像数据判断监控区域内是否有人，如果无人，基于无人信息对应视频监控终端的位置和监控区域确定对应区域内的广播终端，向广播控制模块发送音量调节指令；广播控制模块还用于根据音量调节指令调低对应区域内的广播终端的音量。
作为本发明所述基于数字视频监控系统的提取方法的一种优选方案，所述主控模块内存储有音乐资源包，音乐资源包中包括若干年龄区间，以及每个年龄区间关联的专属音乐；监控区域内有人时，主控模块还用于判断人员数量，当人员数量小于第一阈值时，主控模块还用于分析当前人员的年龄，判断当前人员的年龄是否与音乐资源包中的同一年龄区间相匹配，如果匹配，向广播控制模块发送已匹配年龄区间关联的专属音乐；广播控制模块还用于控制对应区域内的广播终端播放已匹配年龄区间关联的专属音乐。
作为本发明所述基于数字视频监控系统的提取方法的一种优选方案，视频数据获取模块包括第一获取子模块和第二获取子模块，第一获取子模块与监控中心连接，第二获取子模块与多个摄像机连接；第一获取子模块用于获取监控中心的训练视频流作为训练视频数据集；第二获取子模块用于获取多个摄像机的视频流作为测试视频数据集。
作为本发明所述基于数字视频监控系统的提取方法的一种优选方案，视频数据预处理模块包括视频采样子模块，视频采样子模块与图像去噪子模块连接，图像去噪子模块与滤波子模块连接，滤波子模块与颜色空间转换子模块连接，颜色空间转换子模块与背景去除子模块连接，背景去除子模块与前景运动物体提取跟踪子模块连接；其中，视频采样子模块用于从视频中提取图像帧；图像去噪子模块用于通过CSF滤波器对每一图像帧进行去噪；滤波子模块用于通过高斯滤波器对视频中每一图像帧进行水平和垂直方向的多尺度划分处理；颜色空间转换子模块用于将每一图像帧从RGB颜色空间转换到HSV颜色空间；背景去除子模块用于去除子图像帧中的背景图像；前景运动物体提取跟踪子模块用于提取图像帧中的前景运动图像。
作为本发明所述基于数字视频监控系统的提取方法的一种优选方案，所述音乐资源包中还包括运动关联的专属音乐以及非运动关联的专属音乐；主控模块判断监控区域内有人时，还用于判断人员的活动状态，当人员的数量大于第一阈值，且活动状态为运动的人员与总人员数量的比值超过预设比值时，向广播控制模块发送运动关联的专属音乐，当人员的数量大于第一阈值，且活动状态为非运动的人员与总人员数量的比值超过预设比值时，向广播控制模块发送非运动关联的专属音乐；广播控制模块还用于控制对应区域内的广播终端播放运动关联的专属音乐或非运动关联的专属音乐。
作为本发明所述基于数字视频监控系统的提取方法的一种优选方案，异常检测模型建立模块包括建模子模块和更新子模块；其中，建模子模块用于通过聚类的非参数模型对监控中心的训练视频流的运动特征向量进行建模，得到运动事件类别识别模型；更新子模块用于通过深度学习网络生成深度特征对运动事件类别识别模型进行训练，在线更新运动事件类别识别模型；异常事件判定模块判定存在异常事件时，异常事件判定模块将多个摄像机的视频流的运动特征向量传输至异常检测模型建立模块，更新子模块将多个摄像机的视频流的运动特征向量通过深度学习网络输出对应的深度特征，对运动事件类别识别模型进行训练，对运动事件类别的更新和运动事件抽象描述的更新。
作为本发明所述基于数字视频监控系统的提取方法的一种优选方案，异常事件判定模块包括时间序列预测子模块，时间序列预测子模块与差异性对比子模块连接，差异性对比子模块与报警信息生成子模块连接；其中，时间序列预测子模块用于通过时间序列预测模型对多个摄像机的视频流的运动特征向量进行训练，筛选出异常的运动特征向量；差异性对比子模块用于在异常的运动特征向量与运动事件类别识别模型之间的差异性大于可接受阈值时，判定该运动事件为异常事件；报警信息生成子模块用于在差异性对比子模块判定存在异常事件时，产生报警信息通过无线网络发送至监控中心。
作为本发明所述基于数字视频监控系统的提取方法的一种优选方案，所述主控模块还用于根据电子地图判断监控区域内无人的视频监控终端1、以及其所有相邻视频监控终端2的监控区域内是否有人，如果无人，向广播控制模块发送关闭音量指令；广播控制模块还用于根据关闭音量指令关闭视频监控终端1对应区域内的广播终端。
作为本发明所述基于数字视频监控系统的提取方法的一种优选方案，所述电子地图上还标记有危险区域，监控区域内有人时，主控模块还用于判断是否存在人员靠近危险区域的情况，如果存在人员靠近危险区域的情况，向广播控制模块发送告警指令，广播控制模块还用于根据告警指令控制对应区域内的广播终端播放预设告警信息。
本发明的有益效果：将视频监控与危险报警相结合。在获取危险报警信息后，及时对危险位置对应视频监控终端的图像数据进行分析，判断监控区域内是否有人，如果有人，生成一级报警信息，便于工作人员立即疏散相关人员，保证相关人员的生命安全。如果没有人，生成二级报警信息，使工作人员可以将主要精力放在封堵漏洞等操作上；根据视频数据特征提取模块通过多示例划分并采用时间序列对连续帧之间的运动变化趋势进行建模，可以提取视频内容感知重要信息，并且实现算法在实际场景下指定异常行为检测的准确应用，解决了不同视角下运动速度知觉不同的问题，异常检测模型建立模块通过基于聚类的非参数模型来对特征空间进行建模，实现了视频监控中异常行为结果的判断和准确分类，解决了训练数据类别标签不清晰的问题，并在建模及检测的同时对模型进行在线更新，解决了异常事件定义模糊的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
其中：
图1为本发明提供的一种实施例所述基于数字视频监控系统的提取方法的逻辑框图；
图2为本发明提供的一种实施例所述基于数字视频监控系统的提取方法的结构示意图；
图3为本发明提供的一种实施例所述基于数字视频监控系统的提取方法的视频数据获取模块的结构示意图；
图4为本发明提供的一种实施例所述基于数字视频监控系统的提取方法的视频数据预处理模块的结构示意图；
图5为本发明提供的一种实施例所述基于数字视频监控系统的提取方法的异常检测模型建立模块的结构示意图；
图6为本发明提供的一种实施例所述基于数字视频监控系统的提取方法的异常判定模块的结构示意图；
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
再其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例1
参照图1～6，本发明第一个实施例，一种基于数字视频监控系统的提取方法，其特征在于：包括视频控制模块、视频监控终端，视频控制模块与若干个视频监控终端连接；视频控制模块包括主控模块、视频微处理器、视频数据获取模块、视频数据预处理模块、视频数据特征提取模块、异常检测模型建立模块，视频数据获取模块与视频数据预处理模块连接，视频数据预处理模块与视频数据特征提取模块连接，视频数据特征提取模块与异常检测模型建立模块连接，视频控制模块用于从视频监控终端获取图像数据并发送至主控模块；
视频监控终端可以实时获取视频监控范围内的视频流的摄像机，若干个摄像机与视频微处理器及视频数据获取模块连接，通过无线网络连接到监控中心；视频数据预处理模块用于对若干个摄像机的视频流及监控中心的视频流进行预处理；
视频数据特征提取模块用于将多个摄像机的视频流和监控中心的训练视频流划分为多个示例，并提取每一示例的运动特征向量；视频数据特征提取模块包括目标划分子模块，目标划分子模块与图像包划分子模块连接，图像包划分子模块与多实例划分子模块连接，多实例划分子模块与时空块密集采样子模块连接，时空块密集采样子模块与光流特征计算子模块连接；其中，目标划分子模块用于根据时间序列对图像帧之间的前景运动图像的运动变化趋势进行分析，确定前景目标物体；图像包划分子模块用于将同一前景目标物体的视频流划分为一个图像包；多实例划分子模块用于对每个图像包进行多示例划分，得到N个示例流；时空块密集采样子模块用于对每个示例流按空间上从上到下、从左到右划分成互不重叠的块，以及按连续的时间序列重复采样，得到N个视频采集块；光流特征计算子模块用于对各视频采集块进行光流阈值计算，得到每个视频采集块对应的运动特征向量；
异常检测模型建立模块用于通过聚类的非参数模型对监控中心的训练视频流的运动特征向量进行建模，得到运动事件类别识别模型；运用slowfast算法以slow路径低帧速率操作捕捉空间语义，再以fast路径高帧速频以精细的时间分辨率捕捉运动实现精准捕捉；异常事件判定模块用于比较多个摄像机的视频流的运动特征向量与运动事件类别识别模型之间的差异性，利用faster-rcnn目标检测网络检测高分辨率变化图像中的行为，以及判定是否存在异常事件，并生成报警信息，所述报警信息实时发送至监控中心；
主控模块还用于根据图像数据判断监控区域内是否有人，如果无人，基于无人信息对应视频监控终端的位置和监控区域确定对应区域内的广播终端，向广播控制模块发送音量调节指令；广播控制模块还用于根据音量调节指令调低对应区域内的广播终端的音量。主控模块内存储有电子地图，电子地图上标记有每个视频监控终端的位置和监控区域；视频控制模块用于从视频监控终端获取图像数据并发送至主控模块。本实施例中，视频监控终端采用摄像头。
主控模块还用于获取危险气体报警信息，危险气体报警信息包括泄露气体类型和泄露气体位置，主控模块还用于判断泄露气体位置是否有对应视频监控终端，如果有，根据对应视频监控终端的图像数据判断监控区域内是否有人，如果有人，生成一级报警信息，如果没人，生成二级报警信息。
其中：主控模块还用于获取周界报警信息，周界报警信息包括周界报警位置，主控模块还用于判断周界报警位置是否有对应视频监控终端，如果有，根据对应视频监控终端的图像数据判断监控区域内是否有人，如果有人，生成一级报警信息，如果没人，生成二级报警信息。智能视频监控系统包括设定的监控空间，实时获取所述监控空间范围内的视频流的多个摄像机，对多个摄像机的视频流进行处理的视频微处理器，以及与视频微处理器通过无线网络连接的监控中心；其中，视频微处理器包括视频数据获取模块，多个摄像机和监控中心分别与视频数据获取模块连接，视频数据获取模块与视频数据预处理模块连接，视频数据预处理模块与视频数据特征提取模块连接，视频数据特征提取模块与异常检测模型建立模块连接，异常检测模型建立模块与异常事件判定模块连接，异常事件判定模块分别与视频数据特征提取模块23和监控中心连接；视频数据获取模块用于获取多个摄像机的视频流和监控中心的训练视频流；视频数据预处理模块用于对多个摄像机的视频流和监控中心的训练视频流进行预处理；视频数据特征提取模块用于通过多示例划分的方法将多个摄像机的视频流和监控中心的训练视频流划分为多个示例，并提取每一示例的运动特征向量；异常检测模型建立模块用于通过聚类的非参数模型对监控中心的训练视频流的运动特征向量进行建模，得到运动事件类别识别模型；异常事件判定模块用于比较多个摄像机的视频流的运动特征向量与运动事件类别识别模型之间的差异性，判断多个摄像机的视频流的运动特征向量的运动事件类别，以及判定是否存在异常事件，并生成报警信息，所述报警信息实时发送至监控中心。
所述主控模块内存储有音乐资源包，音乐资源包中包括若干年龄区间，以及每个年龄区间关联的专属音乐；监控区域内有人时，主控模块还用于判断人员数量，当人员数量小于第一阈值时，主控模块还用于分析当前人员的年龄，判断当前人员的年龄是否与音乐资源包中的同一年龄区间相匹配，如果匹配，向广播控制模块发送已匹配年龄区间关联的专属音乐；广播控制模块还用于控制对应区域内的广播终端播放已匹配年龄区间关联的专属音乐。视频数据获取模块包括第一获取子模块和第二获取子模块，第一获取子模块与监控中心连接，第二获取子模块与多个摄像机连接；第一获取子模块用于获取监控中心的训练视频流作为训练视频数据集；第二获取子模块用于获取多个摄像机的视频流作为测试视频数据集。
视频数据预处理模块包括视频采样子模块，视频采样子模块与图像去噪子模块连接，图像去噪子模块与滤波子模块连接，滤波子模块与颜色空间转换子模块连接，颜色空间转换子模块与背景去除子模块连接，背景去除子模块与前景运动物体提取跟踪子模块连接；其中，视频采样子模块用于从视频中提取图像帧；图像去噪子模块用于通过CSF滤波器对每一图像帧进行去噪；F滤波器为点云地面点滤波(ClothSimulationFilter,CSF)；滤波子模块用于通过高斯滤波器对视频中每一图像帧进行水平和垂直方向的多尺度划分处理；颜色空间转换子模块用于将每一图像帧从RGB颜色空间转换到HSV颜色空间；背景去除子模块用于去除子图像帧中的背景图像；前景运动物体提取跟踪子模块用于提取图像帧中的前景运动图像。
异常检测模型建立模块包括建模子模块和更新子模块；其中，建模子模块用于通过聚类的非参数模型对监控中心的训练视频流的运动特征向量进行建模，得到运动事件类别识别模型；更新子模块用于通过深度学习网络生成深度特征对运动事件类别识别模型进行训练，在线更新运动事件类别识别模型；异常事件判定模块判定存在异常事件时，异常事件判定模块将多个摄像机的视频流的运动特征向量传输至异常检测模型建立模块，更新子模块将多个摄像机的视频流的运动特征向量通过深度学习网络输出对应的深度特征，对运动事件类别识别模型进行训练，对运动事件类别的更新和运动事件抽象描述的更新。异常事件判定模块包括时间序列预测子模块，时间序列预测子模块与差异性对比子模块连接，差异性对比子模块与报警信息生成子模块连接；其中，时间序列预测子模块用于通过时间序列预测模型对多个摄像机的视频流的运动特征向量进行训练，筛选出异常的运动特征向量；差异性对比子模块用于在异常的运动特征向量与运动事件类别识别模型之间的差异性大于可接受阈值时，判定该运动事件为异常事件；报警信息生成子模块用于在差异性对比子模块判定存在异常事件时，产生报警信息通过无线网络发送至监控中心。
视频数据预处理模块包含有图像去噪、滤波、颜色空间转换、视频采样、背景去除、前景运动物体提取跟踪等子模块，可以剔除监控视频当中一些不必要的信息，使得后续步骤不再需要考虑视频图像自身的各种干扰；或是对视频图像进行一些分割、分类等操作，为后续处理提供便利。所述主控模块还用于根据电子地图判断监控区域内无人的视频监控终端1、以及其所有相邻视频监控终端2的监控区域内是否有人，如果无人，向广播控制模块发送关闭音量指令；广播控制模块还用于根据关闭音量指令关闭视频监控终端1对应区域内的广播终端。异常检测模型建立模块24包括建模子模块241和更新子模块；其中，建模子模块用于通过聚类的非参数模型对监控中心的训练视频流的运动特征向量进行建模，得到运动事件类别识别模型；更新子模块用于通过深度学习网络生成深度特征对运动事件类别识别模型进行训练，在线更新运动事件类别识别模型。优选地，建模子模块通过K均值算法对运动特征向量进行聚类，将其聚类为多个运动事件。异常事件判定模块判定存在异常事件时，异常事件判定模块将多个摄像机1的视频流的运动特征向量传输至异常检测模型建立模块，更新子模块将多个摄像机1的视频流的运动特征向量通过深度学习网络输出对应的深度特征，对运动事件类别识别模型进行训练，对运动事件类别的更新和运动事件抽象描述的更新。异常检测模型建立模块对视频数据特征提取模块输出的运动特征向量进行学习，找出特征之间的相似性和差异处，并根据向量之间的相似性将代表相同或相似运动的特征归类到一起，形成一个个代表不同事件的事件簇。通过更新子模块在建模及检测的同时对模型进行在线更新，解决了异常事件定义模糊的问题。异常判定模块包括时间序列预测子模块、差异性对比子模块和报警信息生成子模块，在第一时间可预警场景监控清单之下的异常行为，达到监控异常行为实时预警及报警的功能。所述电子地图上还标记有危险区域，监控区域内有人时，主控模块还用于判断是否存在人员靠近危险区域的情况，如果存在人员靠近危险区域的情况，向广播控制模块发送告警指令，广播控制模块还用于根据告警指令控制对应区域内的广播终端播放预设告警信息。
主控模块还用于在广播终端播放音乐时，从广播终端关联的视频监控终端获取图像数据；在预设时间内，主控模块基于图像数据判断人经过监控区域时是否向广播终端所在位置观察，如果是，统计广播终端所在位置观察的人数量，如果人数量大于第二阈值，将对应广播终端标记为疑似故障广播终端，主控模块还判断在预设时间内标记的疑似故障广播终端的数量，如果数量小于或等于第三阈值，基于电子地图生成包含疑似故障广播终端位置的巡查信息。预设时间为10-60小时，本实施例中为30分钟。第二阈值为4-12人，具体人数可以根据对应位置的人流量设定。第三阈值可以根据广播终端的总量以及广播终端的历史故障率综合设定。
此外，为了提供示例性实施方案的简练描述，可以不描述实际实施方案的所有特征(即，与当前考虑的执行本发明的最佳模式不相关的那些特征，或于实现本发明不相关的那些特征)。
应理解的是，在任何实际实施方式的开发过程中，如在任何工程或设计项目中，可做出大量的具体实施方式决定。这样的开发努力可能是复杂的且耗时的，但对于那些得益于此公开内容的普通技术人员来说，不需要过多实验，所述开发努力将是一个设计、制造和生产的常规工作。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.一种基于数字视频监控系统的提取方法，其特征在于：包括视频控制模块、视频监控终端，视频控制模块与若干个视频监控终端连接；视频控制模块包括主控模块、视频微处理器、视频数据获取模块、视频数据预处理模块、视频数据特征提取模块、异常检测模型建立模块，视频数据获取模块与视频数据预处理模块连接，视频数据预处理模块与视频数据特征提取模块连接，视频数据特征提取模块与异常检测模型建立模块连接，视频控制模块用于从视频监控终端获取图像数据并发送至主控模块；
视频监控终端可以实时获取视频监控范围内的视频流的摄像机，若干个摄像机与视频微处理器及视频数据获取模块连接，通过无线网络连接到监控中心；视频数据预处理模块用于对若干个摄像机的视频流及监控中心的视频流进行预处理；
视频数据特征提取模块用于将多个摄像机的视频流和监控中心的训练视频流划分为多个示例，并提取每一示例的运动特征向量；视频数据特征提取模块包括目标划分子模块，目标划分子模块与图像包划分子模块连接，图像包划分子模块与多实例划分子模块连接，多实例划分子模块与时空块密集采样子模块连接，时空块密集采样子模块与光流特征计算子模块连接；其中，目标划分子模块用于根据时间序列对图像帧之间的前景运动图像的运动变化趋势进行分析，确定前景目标物体；图像包划分子模块用于将同一前景目标物体的视频流划分为一个图像包；光流特征计算子模块用于对各视频采集块进行光流阈值计算，得到每个视频采集块对应的运动特征向量；
异常检测模型建立模块用于通过聚类的非参数模型对监控中心的训练视频流的运动特征向量进行建模，得到运动事件类别识别模型；运用slowfast算法以slow路径低帧速率操作捕捉空间语义，再以fast路径高帧速频以精细的时间分辨率捕捉运动实现精准捕捉；异常事件判定模块用于比较多个摄像机的视频流的运动特征向量与运动事件类别识别模型之间的差异性，利用faster-rcnn目标检测网络检测高分辨率变化图像中的行为，以及判定是否存在异常事件，并生成报警信息，所述报警信息实时发送至监控中心；
主控模块还用于根据图像数据判断监控区域内是否有人，如果无人，基于无人信息对应视频监控终端的位置和监控区域确定对应区域内的广播终端，向广播控制模块发送音量调节指令；广播控制模块还用于根据音量调节指令调低对应区域内的广播终端的音量。
2.根据权利要求1所述基于数字视频监控系统的提取方法，其特征在于：所述主控模块内存储有音乐资源包，音乐资源包中包括若干年龄区间，以及每个年龄区间关联的专属音乐；监控区域内有人时，主控模块还用于判断人员数量，当人员数量小于第一阈值时，主控模块还用于分析当前人员的年龄，判断当前人员的年龄是否与音乐资源包中的同一年龄区间相匹配，如果匹配，向广播控制模块发送已匹配年龄区间关联的专属音乐；广播控制模块还用于控制对应区域内的广播终端播放已匹配年龄区间关联的专属音乐。
3.根据权利要求1所述基于数字视频监控系统的提取方法，其特征在于：视频数据获取模块包括第一获取子模块和第二获取子模块，第一获取子模块与监控中心连接，第二获取子模块与多个摄像机连接。
4.根据权利要求1所述基于数字视频监控系统的提取方法，其特征在于：视频数据预处理模块包括视频采样子模块，视频采样子模块与图像去噪子模块连接，图像去噪子模块与滤波子模块连接，滤波子模块与颜色空间转换子模块连接，颜色空间转换子模块与背景去除子模块连接，背景去除子模块与前景运动物体提取跟踪子模块连接；其中，视频采样子模块用于从视频中提取图像帧；图像去噪子模块用于通过CSF滤波器对每一图像帧进行去噪；滤波子模块用于通过高斯滤波器对视频中每一图像帧进行水平和垂直方向的多尺度划分处理；颜色空间转换子模块用于将每一图像帧从RGB颜色空间转换到HSV颜色空间；背景去除子模块用于去除子图像帧中的背景图像；前景运动物体提取跟踪子模块用于提取图像帧中的前景运动图像。
5.根据权利要求1所述基于数字视频监控系统的提取方法，其特征在于：所述音乐资源包中还包括运动关联的专属音乐以及非运动关联的专属音乐；主控模块判断监控区域内有人时，还用于判断人员的活动状态，当人员的数量大于第一阈值，且活动状态为运动的人员与总人员数量的比值超过预设比值时，向广播控制模块发送运动关联的专属音乐，当人员的数量大于第一阈值，且活动状态为非运动的人员与总人员数量的比值超过预设比值时，向广播控制模块发送非运动关联的专属音乐。
6.根据权利要求1所述基于数字视频监控系统的提取方法，其特征在于：异常检测模型建立模块包括建模子模块和更新子模块；其中，建模子模块用于通过聚类的非参数模型对监控中心的训练视频流的运动特征向量进行建模，得到运动事件类别识别模型；更新子模块用于通过深度学习网络生成深度特征对运动事件类别识别模型进行训练，在线更新运动事件类别识别模型；异常事件判定模块判定存在异常事件时，异常事件判定模块将多个摄像机的视频流的运动特征向量传输至异常检测模型建立模块，更新子模块将多个摄像机的视频流的运动特征向量通过深度学习网络输出对应的深度特征，对运动事件类别识别模型进行训练，对运动事件类别的更新和运动事件抽象描述的更新。
7.根据权利要求6所述基于数字视频监控系统的提取方法，其特征在于：异常事件判定模块包括时间序列预测子模块，时间序列预测子模块与差异性对比子模块连接，差异性对比子模块与报警信息生成子模块连接；其中，时间序列预测子模块用于通过时间序列预测模型对多个摄像机的视频流的运动特征向量进行训练，筛选出异常的运动特征向量；差异性对比子模块用于在异常的运动特征向量与运动事件类别识别模型之间的差异性大于可接受阈值时，判定该运动事件为异常事件；报警信息生成子模块用于在差异性对比子模块判定存在异常事件时，产生报警信息通过无线网络发送至监控中心。
8.根据权利要求1所述基于数字视频监控系统的提取方法，其特征在于：所述主控模块还用于根据电子地图判断监控区域内无人的视频监控终端1、以及其所有相邻视频监控终端2的监控区域内是否有人，如果无人，向广播控制模块发送关闭音量指令；广播控制模块还用于根据关闭音量指令关闭视频监控终端1对应区域内的广播终端。
9.根据权利要求8所述基于数字视频监控系统的提取方法，其特征在于：所述电子地图上还标记有危险区域，监控区域内有人时，主控模块还用于判断是否存在人员靠近危险区域的情况，如果存在人员靠近危险区域的情况，向广播控制模块发送告警指令，广播控制模块还用于根据告警指令控制对应区域内的广播终端播放预设告警信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311157912.5A CN117197713A (zh) | 2023-09-08 | 2023-09-08 | 一种基于数字视频监控系统的提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311157912.5A CN117197713A (zh) | 2023-09-08 | 2023-09-08 | 一种基于数字视频监控系统的提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117197713A true CN117197713A (zh) | 2023-12-08 |
Family
ID=88984465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311157912.5A Pending CN117197713A (zh) | 2023-09-08 | 2023-09-08 | 一种基于数字视频监控系统的提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197713A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117854014A (zh) * | 2024-03-08 | 2024-04-09 | 国网福建省电力有限公司 | 一种综合异常现象自动捕捉与分析方法 |
| CN117911930A (zh) * | 2024-03-15 | 2024-04-19 | 释普信息科技（上海）有限公司 | 一种基于智能视频监控的数据安全预警方法及装置 |
-
2023
- 2023-09-08 CN CN202311157912.5A patent/CN117197713A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117854014A (zh) * | 2024-03-08 | 2024-04-09 | 国网福建省电力有限公司 | 一种综合异常现象自动捕捉与分析方法 |
| CN117854014B (zh) * | 2024-03-08 | 2024-05-31 | 国网福建省电力有限公司 | 一种综合异常现象自动捕捉与分析方法 |
| CN117911930A (zh) * | 2024-03-15 | 2024-04-19 | 释普信息科技（上海）有限公司 | 一种基于智能视频监控的数据安全预警方法及装置 |
| CN117911930B (zh) * | 2024-03-15 | 2024-06-04 | 释普信息科技（上海）有限公司 | 一种基于智能视频监控的数据安全预警方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111967393B (zh) | 一种基于改进YOLOv4的安全帽佩戴检测方法 | |
| CN110428522B (zh) | 一种智慧新城的智能安防系统 | |
| Qin et al. | Applying the convolutional neural network deep learning technology to behavioural recognition in intelligent video | |
| CN105744232B (zh) | 一种基于行为分析技术的输电线路视频防外破的方法 | |
| US9652863B2 (en) | Multi-mode video event indexing | |
| CN117197713A (zh) | 一种基于数字视频监控系统的提取方法 | |
| CN110348312A (zh) | 一种区域视频人体动作行为实时识别方法 | |
| KR101748121B1 (ko) | 객체 인지 기반의 실시간 영상 검지 시스템 및 그 방법 | |
| CN111401311A (zh) | 一种基于图像检测的高空抛物识别方法 | |
| CN112866654B (zh) | 一种智能视频监控系统 | |
| Velastin et al. | A motion-based image processing system for detecting potentially dangerous situations in underground railway stations | |
| KR20200058260A (ko) | 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 및 그 장치의 구동방법 | |
| CN103108159A (zh) | 一种电力智能视频分析监控系统和方法 | |
| CN101727672A (zh) | 一种物体滞留/偷窃事件的检测、跟踪、识别方法 | |
| KR20060031832A (ko) | 실시간 행위분석 및 상황인지 기반 스마트 영상 보안시스템 | |
| CN103246896A (zh) | 一种鲁棒性车辆实时检测与跟踪方法 | |
| CN103152558B (zh) | 基于场景识别的入侵检测方法 | |
| CN112613361A (zh) | 一种安防监控用的智能化行为分析系统 | |
| CN114357243A (zh) | 一种海量实时视频流多级分析及监控系统 | |
| CN113095160B (zh) | 基于人工智能和5g的电力系统人员安全行为识别方法及系统 | |
| CN117475269A (zh) | 基于视频监测系统设备的异常信号识别方法及系统 | |
| Shuoyan et al. | Abnormal behavior detection based on the motion-changed rules | |
| CN114332736A (zh) | 一种电力场所消防安全风险分析方法及系统 | |
| CN112004056A (zh) | 一种抗干扰能力强的智能视频分析方法 | |
| CN115953740B (zh) | 一种基于云端的安防控制方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |