CN115331155A - 一种海量视频监控点位出图状态检测方法及系统 - Google Patents
一种海量视频监控点位出图状态检测方法及系统 Download PDFInfo
- Publication number
- CN115331155A CN115331155A CN202211256836.9A CN202211256836A CN115331155A CN 115331155 A CN115331155 A CN 115331155A CN 202211256836 A CN202211256836 A CN 202211256836A CN 115331155 A CN115331155 A CN 115331155A
- Authority
- CN
- China
- Prior art keywords
- point
- video monitoring
- training
- state
- point location
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供一种海量视频监控点位出图状态检测方法及系统，涉及视频监控技术领域，包括：获取本级视频监控装置中摄像机点位特征数据；对摄像机点位特征数据进行预处理；构建基于深度学习的海量视频监控点位出图状态预测网络模型；对预测网络模型进行训练；使用测试集对模型进行评价，优化训练参数，最终获得训练完成的出图状态预测模型；使用出图状态预测模型对摄像机点位特征数据进行预测、分级及检测。本发明实现对海量视频监控点位出图状态的预测和分级，而后根据分级结果制定检测策略，再采用传统检测方式进行精细化检测，从而提高大规模联网视频监控系统监控点位出图状态检测的质量效率，同时降低资源占用。
Description
技术领域
本发明涉及视频监控技术领域，尤其涉及一种基于深度学习的海量视频监控点位出图状态检测方法及系统。
背景技术
随着智慧城市以及智能监控信息系统的广泛使用，很多地区接入视频监控点位数量逐年增加，规模不断扩大，各行业公共视频监控系统正处于小规模分散部署、局部联网到大规模集成联网共享的高速发展阶段。
目前各主要行业视频监控点位数量已达到十万数量级以上，面对点位数量如此庞大的视频监控系统，传统视频监控故障检测方法存在如下问题：
（1）采用并发视频抽帧的逐点检测方式进行故障诊断，会造成巡检周期长，检测结果时效性差的问题，而且无法做到实时的进行检测，导致检测结果时效性差，同时，该方法资源占用多，影响本级和下级视频监控平台视频调阅性能，易造成视频卡顿和平台稳定性下降。
（2）基于国标心跳状态的检测方式，对于复杂拓扑结构的视频监控系统，检测准确性低，无法对检测数据进行有效的编码，造成数据处理混乱，而且对于拓扑结构的视频监控网络，更容易造成上报数据准确率低，参考意义有限。
发明内容
为了克服上述现有技术中的不足，本发明提供一种基于深度学习的海量视频监控点位出图状态检测方法，方法资源占用低且快速准确，可以有效解决检测结果时效性、准确性和系统稳定性差的问题。
海量视频监控点位出图状态检测方法包括：
S1、构建数据采集机制，获取本级视频监控装置中摄像机点位特征数据；
S2、对摄像机点位特征数据进行预处理；
S3、构建基于深度学习的海量视频监控点位出图状态预测网络模型；
S4、对预测网络模型进行训练；
按预设比例划分为训练集和测试集，将训练集输入到出图状态预测网络进行训练，通过梯度反向传播进行训练，采用小批量梯度下降方式迭代优化目标函数，满足一定条件后停止训练；使用测试集对模型进行评价，优化训练参数，最终获得训练完成的出图状态预测模型；
S5、使用出图状态预测模型对摄像机出图状态进行预测、分级及检测。
进一步需要说明的是， S1还包括：S11、在后台系统或数据表格中获取视频监控系统国标基础字段数据；S12、从全量视频监控点位中随机抽取预设数量的点位进行基于直播流协议的视频流抽帧抽取，记录成功抽帧的监控点位编码和抽帧时间；统计并存储视频监控点位历史成功出图次数和最近出图时间对应的两个字段数据；S13、在全量点位中随机抽取10%以上的点位，循环反复进行视频流抽帧检测，获得并记录点位ID和抽帧检测结果。此外该过程结束后，根据本次抽样检测结果计算全量点位总体出图率的点估计值和在95%置信水平下的置信区间。
进一步需要说明的是，S11中字段数据包括：国标ID、组织编码、摄像机类型、录像存储位置、经纬度坐标、点位创建时间、点位更新时间以及心跳状态。
进一步需要说明的是，S12中24小时循环随机抽取预设数量的点位进行基于直播流协议的视频流抽帧检测；
将抽帧时间划分成预设个时间段，对每段时间的抽帧结果进行统计，获得点位历史成功出图次数和最近出图时间。
进一步需要说明的是，S2还包括：
S21、对分类变量进行编码；
S22、对数值变量进行预处理；
S23、采用Z-Score对所有特征数据进行标准化。
进一步需要说明的是，S21的编码方式包括：
经纬度编码：添加经纬度字段，通过缺失值过滤和空间分析，将经纬度坐标缺失和与行政区划不一致的点位编码为0，其余编码为1；
组织编码：将点位组织编码进行字符串排序，并进行整数编码，如此编码可体现视频监控点位所属组织的邻近关系；
其他分类变量编码：摄像机类型、存储位置、心跳状态、抽帧检测结果均采用整数编码；
心跳状态在编码前设置为更新一次，以保证数据准确性。
进一步需要说明的是，S22的预处理方式包括：
设置点位创建时长：当前时间与点位创建时间的差值，单位为小时；
设置点位更新时差：点位更新时间与创建时间的差值，单位为小时；
设置点位最近出图时差：当前时间与步骤12）所述最近出图时间的差值，单位为小时。
进一步需要说明的是，S3还包括：
构建前馈神经网络，模型预测的目标数据为是否出图；
输出层采用Sigmoid激活函数；
隐层采用ReLU激活函数；
损失函数采用二值交叉熵。
进一步需要说明的是，S5还包括：
S51、将预处理后的全量视频监控点位数据输入至出图状态预测模型中，进行前向的计算，得到出图概率的预测值；
S52、将全量点位按出图概率的预测值降序排序，按比率截取点位，该比率为S13所计算的全量点位总体出图率的点估计值，而后将截取的点位预测为可出图点位，其余预测为不可出图点位；
S53、将全量点位按出图概率的预测值降序排序，按比率截取点位，该比率的下界和上界分别为S13所计算的置信区间的左右端点，对截取的点位再进行视频抽帧检测，并对预测结果进行修正；
S54、输出点位编码和预测出图结果。
本发明还提供一种海量视频监控点位出图状态检测系统，系统包括：数据采集模块、数据预处理模块、预测网络构建模块、模型训练模块以及状态检测模块；
数据采集模块，用于获取本级视频监控装置中摄像机点位特征数据；
数据预处理模块，用于对摄像机点位特征数据进行预处理；
预测网络构建模块，用于构建基于深度学习的海量视频监控点位出图状态预测网络模型；
模型训练模块，用于对预测网络模型进行训练；按预设比例划分为训练集和测试集，将训练集输入到出图状态预测网络进行训练，通过梯度反向传播进行训练，采用小批量梯度下降方式迭代优化目标函数，满足一定条件后停止训练；使用测试集对模型进行评价，优化训练参数，最终获得训练完成的出图状态预测模型；
状态检测模块，用于使用出图状态预测模型对摄像机点位特征数据进行预测、分级及检测。
从以上技术方案可以看出，本发明具有以下优点：
本发明提供的海量视频监控点位出图状态检测方法可以检测大规模联网视频监控系统，方法将深度学习技术与传统检测技术相结合，可有效解决现有视频监控故障检测方法巡检周期长、时效性差、准确性差、占用资源多的问题，从而显著提升视频监控系统故障检测质量效率和运维水平，使视频监控系统更好地服务于使用者和管理者。
本发明根据点位出图概率预测值和总体出图率的点估计值，将全量视频监控点预测为可出图点位和不可出图点位，提高了检测效率，保证巡检时效性。可以对置信区间内的低可信度预测点位再进行视频抽帧检测，进一步对预测结果进行修正，可以提升视频监控点的检测准确性，能够及时排查出故障，提升运维水平。
附图说明
为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为海量视频监控点位出图状态检测方法流程图；
图2为海量视频监控点位出图状态检测方法实施例流程图；
图3为前馈神经网络结构图；
图4为ROC曲线图。
具体实施方式
如图1所示，本发明提供一种海量视频监控点位出图状态检测方法中所提供的图示仅以示意方式说明本发明的基本构想，本发明的目的在于通过对视频监控系统国标基础数据、历史出图状态、在线抽检结果数据进行特征提取，并构建神经网络进行模型训练，实现对海量视频监控点位出图状态的预测和分级，而后根据分级结果制定检测策略，再采用传统检测方式进行精细化检测，从而提高大规模联网视频监控系统监控点位出图状态检测的质量效率，同时降低资源占用。
本发明提供的海量视频监控点位出图状态检测方法可以基于人工智能技术对关联的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用装置。
如图1示出了本发明的海量视频监控点位出图状态检测方法的较佳实施例的流程图。海量视频监控点位出图状态检测方法应用于一个或者多个终端机中，所述终端机是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital SignalProcessor，DSP)、嵌入式设备等。
终端机可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant， PDA)、交互式网络电视(Internet Protocol Television，IPTV)等。
终端机还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云。
终端机可以通过与摄像机基于网络通信连接，所使用的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。
下面将结合图1至3来详细阐述本发明的海量视频监控点位出图状态检测方法，方法包括：
S1、构建数据采集机制，获取本级视频监控装置中摄像机点位特征数据；
本发明提供的实施例中，S1还包括：
S11、在后台系统或数据表格中获取视频监控系统国标基础字段数据，字段数据包括：国标ID、组织编码、摄像机类型、录像存储位置、经纬度坐标、点位创建时间、点位更新时间以及心跳状态；
S12、获取视频监控点位历史成功出图次数和最近出图时间对应的两个字段数据；
从全量视频监控点位中随机抽取预设数量的点位进行基于直播流协议的视频流抽帧抽取，记录成功抽帧的监控点位编码和抽帧时间；
其中，抽取的方式可以是24小时循环机抽取预设数量的点位，进行基于直播流协议的视频流抽帧抽取；将抽帧时间划分成预设个时间段，对每段时间的抽帧结果进行统计，获得点位历史成功出图次数和最近出图时间。
直播流协议可以采用RTSP、RTMP、HLS、或厂商私有协议等。
S13、在全量点位中随机抽取10%以上的点位，循环反复进行视频流抽帧检测，获得并记录点位ID和抽帧检测结果。抽帧检测结果为成功或失败。该过程完全结束后，根据本次抽样检测结果计算全量点位总体出图率的点估计值和在95%置信水平下的置信区间。
S2、对摄像机点位特征数据进行预处理；
本步骤还包括：
S21、对分类变量进行编码；
分类变量编码包括：
经纬度编码：添加经纬度字段，通过缺失值过滤和空间分析，将经纬度坐标缺失和与行政区划不一致的点位编码为0，其余编码为1；
组织编码：将点位组织编码进行字符串排序，并进行整数编码，如此编码可体现视频监控点位所属组织的邻近关系；
其他分类变量编码：摄像机类型、存储位置、心跳状态、抽帧检测结果均采用整数编码；
心跳状态在编码前设置为更新一次。
S22、对数值变量进行预处理；
预处理方式包括：
设置点位创建时长：当前时间与点位创建时间的差值，单位为小时；
设置点位更新时差：点位更新时间与创建时间的差值，单位为小时；
设置点位最近出图时差：当前时间与步骤12）所述最近出图时间的差值，单位为小时。
S23、采用Z-Score对所有特征数据进行标准化。
S3、构建基于深度学习的海量视频监控点位出图状态预测网络模型；
本发明中，构建前馈神经网络（Feedforward Neural Network，FNN），模型预测的目标数据为“是否出图”，是一个二元分类问题，输出层采用Sigmoid激活函数；隐层采用ReLU激活函数；损失函数（Loss Function）采用二值交叉熵（Binary Cross Entropy）。
S4、对预测网络模型进行训练；
按预设比例划分为训练集和测试集，将训练集输入到出图状态预测网络进行训练，通过梯度反向传播进行训练，采用小批量梯度下降方式迭代优化目标函数，满足一定条件后停止训练；使用测试集对模型进行评价，不断优化训练参数（时期、批量大小、迭代次数等），最终保存模型，获得训练好的出图状态预测模型。
S5、使用出图状态预测模型对摄像机点位出图状态进行预测、分级及检测。
本发明提供的实施方式中，步骤S5还包括：
S51、将预处理后的全量视频监控点位数据输入至出图状态预测模型中，进行前向的计算，得到出图概率的预测值；
S52、将全量点位按出图概率的预测值降序排序，按比率截取点位，该比率为S13所计算的总体出图率点估计值，而后将截取的点位预测为可出图点位，其余预测为不可出图点位；
S53、将全量点位按出图概率的预测值降序排序，按比率截取点位，该比率的下界和上界分别为S13所计算的置信区间的左右端点，对截取的点位再进行视频抽帧检测，并对预测结果进行修正；
S54、输出点位编码和预测出图结果。
本发明提供的海量视频监控点位出图状态检测方法可以检测大规模联网视频监控系统，方法将深度学习技术与传统检测技术相结合，可有效解决现有视频监控故障检测方法巡检周期长、时效性差、准确性差、占用资源多的问题，从而显著提升视频监控系统故障检测质量效率和运维水平，使视频监控系统更好地服务于使用者和管理者。
进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例中的具体实施过程，提供了另一种海量视频监控点位出图状态检测方法，相关技术中，例如可以采用机器学习方法、深度学习方法等实现检测方法，不同方法适用的范围不同。深度学习是机器学习的子集，不排除还有除深度学习以外的训练模型，可以达到近似效果。例如机器学习中的支持向量机（SVM）方法。
具体来讲，本发明的实施例针对某20万路点位视频监控平台，使用本发明方法启动点位出图状态检测，过程如图2所示，包括以下步骤：
S101、数据采集：获取本级视频监控系统摄像机点位特征数据，包括：
11）国标基础数据采集：调用平台API接口，获取20万条视频监控摄像机国标（GB/T28181-2016）基础数据，字段包括：国标ID、组织编码、摄像机类型、录像存储位置、经纬度坐标、点位创建时间、点位更新时间、心跳状态；
12）历史出图状态采集；
流程如图3所示，每次从20万视频监控点位中随机抽取10个点位进行基于RTSP协议的视频流抽帧，记录成功抽帧的监控点位国标ID和抽帧时间；上述过程全时段24小时循环运行；
13）在线抽检：在步骤12）运行7天后，从20万视频监控点位中随机抽样2万个（10%），进行视频流抽帧巡检，循环4次，并记录点位ID和抽帧检测结果，抽帧检测结果为1表示成功，0表示失败，4次中某点位成功次数≥1，则记为“1”。在2万点位中，抽帧检测结果为1的占比为48.16%，则全量点位总体出图率的点估计值为48.16%，95%置信区间为[47.81%,48.71%]。
S102、数据预处理：对步骤1）所述特征数据进行预处理，包括：
21）分类变量编码，包括：
经纬度编码：添加“经纬度”字段，通过缺失值过滤和空间分析，将经纬度坐标缺失和与行政区划不一致的点位编码为0，其余编码为1；
组织编码：将点位组织编码进行字符串排序，并进行整数编码，如此编码可体现视频监控点位所属组织的邻近关系；
摄像机类型编码：按国标（GB/T28181-2016）进行整数编码；存储位置：整数编码，0-无存储、1-设备存储、2-中心存储、3-中心和设备存储；心跳状态：整数编码，0-无心跳、1-有心跳；抽帧检测结果：整数编码，0-抽帧失败、1-抽帧成功。
22）数值变量预处理
点位创建时长：计算当前时间与点位创建时间的差值，单位为小时；
点位更新时差：计算点位更新时间与创建时间的差值，单位为小时；
点位最近出图时差：对步骤12）的抽帧结果进行统计，获得点位历史成功出图次数和最近出图时间，计算当前时间与最近出图时间的差值，单位为小时。
23）采用Z-Score对所有特征数据进行标准化。
S103、构建基于深度学习的海量视频监控点位出图状态预测网络。
31）构建前馈神经网络（FNN），网络结构如图3所示，配置输入层神经元数量为9，输入数据字段分别为组织编码、摄像机类型、存储位置、心跳状态、是否有经纬度、点位创建时长、点位更新时差、点位历史成功出图次数、点位最近出图时差；
32）设置3个隐层，每层神经元个数10，激活函数为ReLU；
33）设置输出层，目标数据为“抽帧检测结果”，神经元个数为2，激活函数为Sigmoid，损失函数为二值交叉熵（Binary Cross Entropy）。
S104、模型训练和测试；
实施过程采用TensorFlow深度学习框架。实验分为训练阶段和测试阶段。将步骤13）所述2万点位作为训练集和测试集，划分训练集和测试集比例3:1，将训练集输入到出图状态预测网络进行训练，通过梯度反向传播进行训练，选择Adam进行梯度算法优化，采用小批量梯度下降方式迭代优化目标函数，时期（epochs）设置为200次，每批80个点位；
使用测试集对模型进行评价，如图4所示，不断优化训练参数（时期、批量大小等），最终保存模型，获得训练好的出图状态预测模型。
S105、预测、分级和精细化检测；
51）将预处理后的全量视频监控点位数据输入至出图状态预测模型，进行前向的计算，即可得到出图概率的预测值；
52）将全量点位按出图概率的预测值降序排序，截取前48.16%的点位，并将这部分点位的出图状态预测为可出图，其余预测为不可出图；
53）将全量点位按出图概率的预测值降序排序，自前向后截取[47.81%,48.71%]的点位，对截取的点位再进行视频抽帧检测，并对预测结果进行修正，进一步提高预测结果的精度；
54）输出点位编码、预测出图结果。
本发明提供的这种基于深度学习的海量视频监控点位出图状态检测方法，用于检测大规模联网视频监控系统，该方法将深度学习技术与传统检测技术相结合，可有效解决现有视频监控故障检测方法巡检周期长、时效性差、准确性差、占用资源多的问题，从而显著提升视频监控系统故障检测质量效率和运维水平，使视频监控系统更好地服务于使用者和管理者。
基于上述方法本发明还提供一种海量视频监控点位出图状态检测系统，系统包括：数据采集模块、数据预处理模块、预测网络构建模块、模型训练模块以及状态检测模块；
数据采集模块，用于获取本级视频监控装置中摄像机点位特征数据；
数据预处理模块，用于对摄像机点位特征数据进行预处理；
预测网络构建模块，用于构建基于深度学习的海量视频监控点位出图状态预测网络模型；
模型训练模块，用于对预测网络模型进行训练；按预设比例划分为训练集和测试集，将训练集输入到出图状态预测网络进行训练，通过梯度反向传播进行训练，采用小批量梯度下降方式迭代优化目标函数，满足一定条件后停止训练；使用测试集对模型进行评价，优化训练参数，最终获得训练完成的出图状态预测模型；
状态检测模块，用于使用出图状态预测模型对摄像机点位特征数据进行预测、分级及检测。
本发明提供的海量视频监控点位出图状态检测系统将深度学习中前馈神经网络方法应用于大规模联网视频监控系统摄像机设备检测；系统从视频监控国标基础数据和历史检测数据中分析提取了与出图状态有显著关联性的特征，用于模型训练。相关特征主要包括：摄像机类型、录像存储位置、有无经纬度、心跳状态、组织编码、点位创建时长、点位更新时差、历史出图次数、历史最近出图时间。
本发明提供的海量视频监控点位出图状态检测系统构建前馈神经网络（Feedforward Neural Network，FNN），将出图状态检测问题转化为一个二元分类问题，输出层采用Sigmoid激活函数；隐层采用ReLU激活函数；损失函数（Loss Function）采用二值交叉熵（Binary Cross Entropy）。将预处理后的全量视频监控点位数据输入至出图状态预测模型中，进行前向的计算，得到出图概率的预测值；
之后根据点位出图概率预测值和总体出图率的点估计值，将全量视频监控点预测为可出图点位和不可出图点位；对置信区间内的低可信度预测点位再进行视频抽帧检测，进一步对预测结果进行修正；输出点位编码和预测出图结果。从而显著提升视频监控系统故障检测质量效率和运维水平，使视频监控系统更好地服务于使用者和管理者。
本发明提供的海量视频监控点位出图状态检测系统中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本发明提供的海量视频监控点位出图状态检测系统中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，或其它的形式连接。
本发明提供的海量视频监控点位出图状态检测方法是结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种海量视频监控点位出图状态检测方法，其特征在于，方法包括：
S1、构建数据采集机制，获取本级视频监控装置中摄像机点位特征数据；
S2、对摄像机点位特征数据进行预处理；
S3、构建基于深度学习的海量视频监控点位出图状态预测网络模型；
S4、对预测网络模型进行训练；
按预设比例划分为训练集和测试集，将训练集输入到出图状态预测网络进行训练，通过梯度反向传播进行训练，采用小批量梯度下降方式迭代优化目标函数，满足一定条件后停止训练；使用测试集对模型进行评价，优化训练参数，最终获得训练完成的出图状态预测模型；
S5、使用出图状态预测模型对摄像机出图状态进行预测、分级及检测。
2.根据权利要求1所述的海量视频监控点位出图状态检测方法，其特征在于， S1还包括：
S11、在后台系统或数据表格中获取视频监控系统国标基础字段数据；
S12、从全量视频监控点位中随机抽取预设数量的点位进行基于直播流协议的视频流抽帧抽取，记录成功抽帧的监控点位编码和抽帧时间；统计并存储视频监控点位历史成功出图次数和最近出图时间对应的两个字段数据；
S13、在全量点位中随机抽取10%以上的点位，循环反复进行视频流抽帧检测，获得并记录点位ID和抽帧检测结果；
根据本次抽样检测结果计算全量点位总体出图率的点估计值和在95%置信水平下的置信区间。
3.根据权利要求2所述的海量视频监控点位出图状态检测方法，其特征在于，
S12中24小时循环随机抽取预设数量的点位进行基于直播流协议的视频流抽帧检测；
将抽帧时间划分成预设个时间段，对每段时间的抽帧结果进行统计，获得点位历史成功出图次数和最近出图时间。
4.根据权利要求2所述的海量视频监控点位出图状态检测方法，其特征在于，
字段数据包括：国标ID、组织编码、摄像机类型、录像存储位置、经纬度坐标、点位创建时间、点位更新时间以及心跳状态。
5.根据权利要求2所述的海量视频监控点位出图状态检测方法，其特征在于，
S2还包括：
S21、对分类变量进行编码；
S22、对数值变量进行预处理；
S23、采用Z-Score对所有特征数据进行标准化。
6.根据权利要求5所述的海量视频监控点位出图状态检测方法，其特征在于，
S21的分类方式包括：
经纬度编码：添加经纬度字段，通过缺失值过滤和空间分析，将经纬度坐标缺失和与行政区划不一致的点位编码为0，其余编码为1；
组织编码：将点位组织编码进行字符串排序，并进行整数编码，如此编码可体现视频监控点位所属组织的邻近关系；
其他分类变量编码：摄像机类型、存储位置、心跳状态、抽帧检测结果均采用整数编码；
心跳状态在编码前设置为更新一次。
7.根据权利要求5所述的海量视频监控点位出图状态检测方法，其特征在于，
S22的预处理方式包括：
设置点位创建时长：当前时间与点位创建时间的差值，单位为小时；
设置点位更新时差：点位更新时间与创建时间的差值，单位为小时；
设置点位最近出图时差：当前时间与步骤12）所述最近出图时间的差值，单位为小时。
8.根据权利要求1或2所述的海量视频监控点位出图状态检测方法，其特征在于，
S3还包括：
构建前馈神经网络，模型预测的目标数据为是否出图；
输出层采用Sigmoid激活函数；
隐层采用ReLU激活函数；
损失函数采用二值交叉熵。
9.根据权利要求2所述的海量视频监控点位出图状态检测方法，其特征在于，
S5还包括：
S51、将预处理后的全量视频监控点位数据输入至出图状态预测模型中，进行前向的计算，得到出图概率的预测值；
S52、将全量点位按出图概率的预测值降序排序，按比率截取点位，比率为S13所计算的全量点位总体出图率的点估计值，而后将截取的点位预测为可出图点位，其余预测为不可出图点位；
S53、将全量点位按出图概率的预测值降序排序，按比率截取点位，比率的下界和上界分别为S13所计算的置信区间的左右端点，对截取的点位再进行视频抽帧检测，并对预测结果进行修正；
S54、输出点位编码和预测出图结果。
10.一种海量视频监控点位出图状态检测系统，其特征在于，系统采用如权利要求1至9任意一项所述的海量视频监控点位出图状态检测方法；
系统包括：数据采集模块、数据预处理模块、网络构建模块、模型训练模块以及状态检测模块；
数据采集模块，用于获取本级视频监控装置中摄像机点位特征数据；
数据预处理模块，用于对摄像机点位特征数据进行预处理；
网络构建模块，用于构建基于深度学习的海量视频监控点位出图状态预测网络模型；
模型训练模块，用于对预测网络模型进行训练；按预设比例划分为训练集和测试集，将训练集输入到出图状态预测网络进行训练，通过梯度反向传播进行训练，采用小批量梯度下降方式迭代优化目标函数，满足一定条件后停止训练；使用测试集对模型进行评价，优化训练参数，最终获得训练完成的出图状态预测模型；
状态检测模块，用于使用出图状态预测模型对摄像机点位特征数据进行预测、分级及检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211256836.9A CN115331155B (zh) | 2022-10-14 | 2022-10-14 | 一种海量视频监控点位出图状态检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211256836.9A CN115331155B (zh) | 2022-10-14 | 2022-10-14 | 一种海量视频监控点位出图状态检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115331155A true CN115331155A (zh) | 2022-11-11 |
| CN115331155B CN115331155B (zh) | 2023-02-03 |
Family
ID=83915023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211256836.9A Active CN115331155B (zh) | 2022-10-14 | 2022-10-14 | 一种海量视频监控点位出图状态检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115331155B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116860296A (zh) * | 2023-07-13 | 2023-10-10 | 深圳市紫辰星新能源有限公司 | 一种固态电池包远程升级的应用方法及系统 |
Citations (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101118434A (zh) * | 2006-08-03 | 2008-02-06 | 松下电工株式会社 | 异常监控设备 |
| KR101694072B1 (ko) * | 2015-10-30 | 2017-01-06 | 박창식 | 지하철 승하차 상황 안내 영상표출 장애 제어 시스템 |
| CN106709511A (zh) * | 2016-12-08 | 2017-05-24 | 华中师范大学 | 基于深度学习的城市轨道交通全景监控视频故障检测方法 |
| CN107506695A (zh) * | 2017-07-28 | 2017-12-22 | 武汉理工大学 | 视频监控设备故障自动检测方法 |
| CN110626389A (zh) * | 2019-10-23 | 2019-12-31 | 河南蓝信科技有限责任公司 | Atp主机前面板视频监测系统 |
| CN110855976A (zh) * | 2019-10-08 | 2020-02-28 | 南京云计趟信息技术有限公司 | 摄像头异常检测方法、装置及终端设备 |
| CN110866512A (zh) * | 2019-11-21 | 2020-03-06 | 南京大学 | 一种基于视频分类的监控摄像机遮挡检测方法 |
| CN111275253A (zh) * | 2020-01-15 | 2020-06-12 | 中国地质大学（武汉） | 融合深度学习和误差校正的径流概率性预测方法及系统 |
| CN111709265A (zh) * | 2019-12-11 | 2020-09-25 | 深学科技(杭州)有限公司 | 基于注意力机制残差网络的摄像监控状态分类方法 |
| CN111934426A (zh) * | 2020-07-24 | 2020-11-13 | 国网河北省电力有限公司 | 一种基于大数据的电网设备趋势性故障预警系统 |
| CN112115024A (zh) * | 2020-09-03 | 2020-12-22 | 上海上讯信息技术股份有限公司 | 一种用于故障预测神经网络模型的训练方法与设备 |
| CN112153373A (zh) * | 2020-09-23 | 2020-12-29 | 平安国际智慧城市科技股份有限公司 | 明厨亮灶设备的故障识别方法、装置及存储介质 |
| CN112257643A (zh) * | 2020-10-30 | 2021-01-22 | 天津天地伟业智能安全防范科技有限公司 | 一种基于视频流的抽烟行为和打电话行为识别方法 |
| CN112584135A (zh) * | 2020-12-15 | 2021-03-30 | 平安国际智慧城市科技股份有限公司 | 监控设备故障识别方法、装置、设备及存储介质 |
| CN112766128A (zh) * | 2021-01-12 | 2021-05-07 | 浙江大华技术股份有限公司 | 交通信号灯检测方法、装置和计算机设备 |
| CN112906775A (zh) * | 2021-02-05 | 2021-06-04 | 深圳市芯聚智科技有限公司 | 一种设备故障预测方法及系统 |
| CN113184017A (zh) * | 2021-04-16 | 2021-07-30 | 中国铁路上海局集团有限公司合肥电务段 | 一种atp视频监控与智能识别分析系统 |
| CN113420601A (zh) * | 2021-05-27 | 2021-09-21 | 南方电网调峰调频发电有限公司 | 异常场景的监控方法、装置、计算机设备和存储介质 |
| CN113762329A (zh) * | 2021-07-06 | 2021-12-07 | 山东钢铁股份有限公司 | 一种大型轧机状态预测模型的构建方法及构建系统 |
| CN113806198A (zh) * | 2021-09-18 | 2021-12-17 | 广东技术师范大学 | 一种基于深度学习的系统状态诊断方法 |
| CN113850242A (zh) * | 2021-11-30 | 2021-12-28 | 北京中超伟业信息安全技术股份有限公司 | 一种基于深度学习算法的仓储异常目标检测方法及系统 |
| CN114062511A (zh) * | 2021-10-24 | 2022-02-18 | 北京化工大学 | 一种基于单传感器的航空发动机早期损伤声发射智能识别方法 |
| CN114095725A (zh) * | 2022-01-19 | 2022-02-25 | 上海兴容信息技术有限公司 | 一种判断摄像头是否异常的方法和系统 |
| CN114237087A (zh) * | 2021-11-09 | 2022-03-25 | 深圳市移动力量科技有限公司 | 监控系统预警方法、装置及计算机可读存储介质 |
| CN114494931A (zh) * | 2021-11-05 | 2022-05-13 | 福建超智集团有限公司 | 一种针对视频图像故障的智能分类处理方法和系统 |
| CN114626450A (zh) * | 2022-03-07 | 2022-06-14 | 蔚来汽车科技(安徽)有限公司 | 摄像头异常状况检测方法、系统和计算机可读存储介质 |
| CN115019209A (zh) * | 2022-06-20 | 2022-09-06 | 福建省海峡智汇科技有限公司 | 一种基于深度学习的电力杆塔状态检测的方法及系统 |
| CN115115030A (zh) * | 2022-06-24 | 2022-09-27 | 平安科技（深圳）有限公司 | 系统监控方法、装置、电子设备及存储介质 |
-
2022
- 2022-10-14 CN CN202211256836.9A patent/CN115331155B/zh active Active
Patent Citations (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101118434A (zh) * | 2006-08-03 | 2008-02-06 | 松下电工株式会社 | 异常监控设备 |
| KR101694072B1 (ko) * | 2015-10-30 | 2017-01-06 | 박창식 | 지하철 승하차 상황 안내 영상표출 장애 제어 시스템 |
| CN106709511A (zh) * | 2016-12-08 | 2017-05-24 | 华中师范大学 | 基于深度学习的城市轨道交通全景监控视频故障检测方法 |
| CN107506695A (zh) * | 2017-07-28 | 2017-12-22 | 武汉理工大学 | 视频监控设备故障自动检测方法 |
| CN110855976A (zh) * | 2019-10-08 | 2020-02-28 | 南京云计趟信息技术有限公司 | 摄像头异常检测方法、装置及终端设备 |
| CN110626389A (zh) * | 2019-10-23 | 2019-12-31 | 河南蓝信科技有限责任公司 | Atp主机前面板视频监测系统 |
| CN110866512A (zh) * | 2019-11-21 | 2020-03-06 | 南京大学 | 一种基于视频分类的监控摄像机遮挡检测方法 |
| CN111709265A (zh) * | 2019-12-11 | 2020-09-25 | 深学科技(杭州)有限公司 | 基于注意力机制残差网络的摄像监控状态分类方法 |
| CN111275253A (zh) * | 2020-01-15 | 2020-06-12 | 中国地质大学（武汉） | 融合深度学习和误差校正的径流概率性预测方法及系统 |
| CN111934426A (zh) * | 2020-07-24 | 2020-11-13 | 国网河北省电力有限公司 | 一种基于大数据的电网设备趋势性故障预警系统 |
| CN112115024A (zh) * | 2020-09-03 | 2020-12-22 | 上海上讯信息技术股份有限公司 | 一种用于故障预测神经网络模型的训练方法与设备 |
| CN112153373A (zh) * | 2020-09-23 | 2020-12-29 | 平安国际智慧城市科技股份有限公司 | 明厨亮灶设备的故障识别方法、装置及存储介质 |
| CN112257643A (zh) * | 2020-10-30 | 2021-01-22 | 天津天地伟业智能安全防范科技有限公司 | 一种基于视频流的抽烟行为和打电话行为识别方法 |
| CN112584135A (zh) * | 2020-12-15 | 2021-03-30 | 平安国际智慧城市科技股份有限公司 | 监控设备故障识别方法、装置、设备及存储介质 |
| CN112766128A (zh) * | 2021-01-12 | 2021-05-07 | 浙江大华技术股份有限公司 | 交通信号灯检测方法、装置和计算机设备 |
| CN112906775A (zh) * | 2021-02-05 | 2021-06-04 | 深圳市芯聚智科技有限公司 | 一种设备故障预测方法及系统 |
| CN113184017A (zh) * | 2021-04-16 | 2021-07-30 | 中国铁路上海局集团有限公司合肥电务段 | 一种atp视频监控与智能识别分析系统 |
| CN113420601A (zh) * | 2021-05-27 | 2021-09-21 | 南方电网调峰调频发电有限公司 | 异常场景的监控方法、装置、计算机设备和存储介质 |
| CN113762329A (zh) * | 2021-07-06 | 2021-12-07 | 山东钢铁股份有限公司 | 一种大型轧机状态预测模型的构建方法及构建系统 |
| CN113806198A (zh) * | 2021-09-18 | 2021-12-17 | 广东技术师范大学 | 一种基于深度学习的系统状态诊断方法 |
| CN114062511A (zh) * | 2021-10-24 | 2022-02-18 | 北京化工大学 | 一种基于单传感器的航空发动机早期损伤声发射智能识别方法 |
| CN114494931A (zh) * | 2021-11-05 | 2022-05-13 | 福建超智集团有限公司 | 一种针对视频图像故障的智能分类处理方法和系统 |
| CN114237087A (zh) * | 2021-11-09 | 2022-03-25 | 深圳市移动力量科技有限公司 | 监控系统预警方法、装置及计算机可读存储介质 |
| CN113850242A (zh) * | 2021-11-30 | 2021-12-28 | 北京中超伟业信息安全技术股份有限公司 | 一种基于深度学习算法的仓储异常目标检测方法及系统 |
| CN114095725A (zh) * | 2022-01-19 | 2022-02-25 | 上海兴容信息技术有限公司 | 一种判断摄像头是否异常的方法和系统 |
| CN114626450A (zh) * | 2022-03-07 | 2022-06-14 | 蔚来汽车科技(安徽)有限公司 | 摄像头异常状况检测方法、系统和计算机可读存储介质 |
| CN115019209A (zh) * | 2022-06-20 | 2022-09-06 | 福建省海峡智汇科技有限公司 | 一种基于深度学习的电力杆塔状态检测的方法及系统 |
| CN115115030A (zh) * | 2022-06-24 | 2022-09-27 | 平安科技（深圳）有限公司 | 系统监控方法、装置、电子设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| D.MANNO等: "Deep learning strategies for automatic fault diagnosis in photovoltaic systems by thermographic images", 《ENERGY CONVERSION AND MANAGEMENT》 * |
| 徐青: "云制造服务远程视频监控及其状态信息提取方法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 李福卫: "基于深度学习的图像采集前端异常检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 汤俊儿: "视频监控系统常见异常检测技术研究及应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116860296A (zh) * | 2023-07-13 | 2023-10-10 | 深圳市紫辰星新能源有限公司 | 一种固态电池包远程升级的应用方法及系统 |
| CN116860296B (zh) * | 2023-07-13 | 2024-04-09 | 深圳市紫辰星新能源有限公司 | 一种固态电池包远程升级的应用方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115331155B (zh) | 2023-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114362367B (zh) | 面向云边协同的输电线路监测系统和方法、识别系统和方法 | |
| CN110135319A (zh) | 一种异常行为检测方法及其系统 | |
| CN111526119B (zh) | 异常流量检测方法、装置、电子设备和计算机可读介质 | |
| CN111046027B (zh) | 时间序列数据的缺失值填充方法和装置 | |
| US20140279779A1 (en) | System and method for detecting platform anomalies through neural networks | |
| CN109242033A (zh) | 晶片缺陷模式分类方法及装置、存储介质、电子设备 | |
| Du et al. | GAN-based anomaly detection for multivariate time series using polluted training set | |
| CN106803799B (zh) | 一种性能测试方法和装置 | |
| CN110287316A (zh) | 一种告警分类方法、装置、电子设备及存储介质 | |
| CN115331155B (zh) | 一种海量视频监控点位出图状态检测方法及系统 | |
| CN111368980A (zh) | 状态检测方法、装置、设备及存储介质 | |
| CN113886181B (zh) | 应用于AIOps故障预警的动态阈值预测方法、设备及介质 | |
| CN114722281B (zh) | 基于用户画像及用户选课行为的培训课程配置方法、装置 | |
| CN110211121A (zh) | 用于推送模型的方法和装置 | |
| CN109871749A (zh) | 一种基于深度哈希的行人重识别方法和装置、计算机系统 | |
| CN114385869A (zh) | 检测数据异常的方法、装置、存储介质及计算机设备 | |
| CN115423225A (zh) | 一种基于大数据的渔港作业管理方法及系统 | |
| Gulati et al. | Challenges and responses towards sustainable future through machine learning and deep learning | |
| CN108921012B (zh) | 一种利用人工智能芯片处理图像视频帧的方法 | |
| CN111949501A (zh) | It系统运行风险监控方法及装置 | |
| CN114510592A (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| KR102317855B1 (ko) | 프로젝트 분석을 위한 사용자 인터페이스 | |
| CN113536975A (zh) | 一种基于多尺度混合维度网络的目标检测方法及系统 | |
| Kong et al. | Model of Enterprise Information Software System (EISS) Based on Grey Relational Modelling and GANs | |
| Hagenmeyer | Incorporating Unsupervised Deep Learning into Meta Learning for Energy Time Series Forecasting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |