CN116708763B - 视频监控系统故障诊断方法及系统 - Google Patents

视频监控系统故障诊断方法及系统 Download PDF

Info

Publication number
CN116708763B
CN116708763B CN202310980478.4A CN202310980478A CN116708763B CN 116708763 B CN116708763 B CN 116708763B CN 202310980478 A CN202310980478 A CN 202310980478A CN 116708763 B CN116708763 B CN 116708763B
Authority
CN
China
Prior art keywords
information
video
quality
low
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310980478.4A
Other languages
English (en)
Other versions
CN116708763A (zh
Inventor
卞辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qinyuan Jiangsu Technology Co ltd
Original Assignee
Qinyuan Jiangsu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qinyuan Jiangsu Technology Co ltd filed Critical Qinyuan Jiangsu Technology Co ltd
Priority to CN202310980478.4A priority Critical patent/CN116708763B/zh
Publication of CN116708763A publication Critical patent/CN116708763A/zh
Application granted granted Critical
Publication of CN116708763B publication Critical patent/CN116708763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本公开提供一种视频监控系统故障诊断方法及系统，涉及视频诊断技术领域，包括获取目标摄像头在多个时间段的视频信息，根据预先选定的小波基函数按照预设的分解层数对所述视频信息对应的低频图像信息进行小波分解；基于预设的视频质量评价模型提取进行小波分解后低频图像信息的子带图像质量特征，确定所述视频信息对应的评价质量信息；若所述评价质量信息不满足预设视频质量要求，则基于所述目标摄像头在多个时间段的视频信息，通过预设的视频异常诊断模型，提取所述视频信息的时间序列信息，结合所述子带图像质量特征以及所述时间序列信息确定所述视频信息对应的异常类别。

Description

视频监控系统故障诊断方法及系统
技术领域
本公开涉及视频诊断技术，尤其涉及一种视频监控系统故障诊断方法及系统。
背景技术
现如今视频监控技术日趋成熟，随之而来视频监控技术应用在很多方面，如智慧城市建设、城市交通以及社区医院等。在城市交通中视频监控具有重要的作用，从视频监控设备中提取视频图像，进而获取交通状况或者进行车牌识别，车辆追踪等操作。而在一个大型的监控视频系统中需要大量的摄像头来进行实施监控，例如在城市交通中所需摄像头不计其数，从而管理人员需要面对大量的视频图像，若当对视频图像进行处理前视频图像质量出现问题，那么这将会影响后续操作，因为视频图像质量对于人类从摄像头中获取充分和准确的信息具有重要意义。在监控视频图像中质量的异常类型众多，常见的如视频图像模糊，视频亮度异常，噪声异常，偏色等；当监控视频图像出现质量问题时而不能及时解决有可能带来严重的后果，如从摄像头获取的视频图像，由于出现质量问题，无法得到准确的视频图像信息，极大的降低了监控效果。
CN201210315878.5，视频质量诊断系统及方法，包括移动终端视频采集子系统以及视频质量诊断子系统，所述移动终端视频采集子系统用于对视频数据进行采集，然后对所述视频数据进行编码后发送给所述视频质量诊断子系统，并对所接收到的诊断报告进行反馈；所述视频质量诊断子系统用于将所接收到的视频数据进行解码之后对视频质量进行诊断，并将诊断报告发送给所述移动终端视频采集子系统。
CN201811135467.1，一种视频质量诊断系统及方法，通过视频源获取单元获取待检测的摄像机的视频帧，并将视频帧发送至视频质量诊断单元；视频质量诊断单元根据接收的视频帧以及每个待检测的摄像机的每类检测项目的检测阈值，通过每类检测项目对应的检测算法对视频帧进行诊断；用户通过终端页面来查看有问题的摄像机的诊断结果；用户对诊断结果进行确认，如果认为视频质量正常而系统诊断异常，则将诊断结果加入到误检结果库中；视频质量诊断单元中的定时自学习模块根据误检结果库中的数据对摄像机的检测阈值进行修正。本发明能够大大降低视频质量诊断的误检率和漏检率，准确判断摄像机的视频质量。
现有技术的方案对于视频质量所涵盖的类型检测均较为宽泛，难以针对每一种视频质量问题进行针对性检测，导致实际的检测效果并不理想。并且只是单纯地进行质量检测，对于存在质量有问题的视频，无法进行异常分类，难以用于后续异常处理。
发明内容
本公开实施例提供一种视频监控系统故障诊断方法及系统，能够至少解决现有技术中部分问题，也即如上所述的技术问题。
本公开实施例的第一方面，
提供一种视频监控系统故障诊断方法，包括：
获取目标摄像头在多个时间段的视频信息，根据预先选定的小波基函数按照预设的分解层数对所述视频信息对应的低频图像信息进行小波分解；
基于预设的视频质量评价模型提取进行小波分解后低频图像信息的子带图像质量特征，确定所述视频信息对应的评价质量信息；
若所述评价质量信息不满足预设视频质量要求，则基于所述目标摄像头在多个时间段的视频信息，通过预设的视频异常诊断模型，提取所述视频信息的时间序列信息，结合所述子带图像质量特征以及所述时间序列信息确定所述视频信息对应的异常类别，其中，所述视频异常诊断模型基于3D卷积神经网络和长短期记忆网络组合构建而成。
在一种可选的实施方式中，
所述基于预设的视频质量评价模型提取进行小波分解后低频图像信息的子带图像质量特征，确定所述视频信息对应的评价质量信息包括：
基于目标摄像头在多个时间段获取的视频信息逐帧进行频域分解，将所述视频信息分解为多个低频图像信息；
根据预先选定的小波基函数按照预设的分解层数对所述多个低频图像信息进行小波分解，确定所述低频图像信息对应的多种尺度的频带系数；
基于预设的视频质量评价模型提取进行小波分解后低频图像信息的子带图像质量特征并对所述子带图像质量特征进行降维处理，为降维处理后的所述子带图像质量特征分配对应的权重系数，结合所述频带系数以及进行小波分解后低频图像信息中像素的平均值，确定所述视频信息对应的评价质量信息。
在一种可选的实施方式中，
所述结合所述频带系数以及进行小波分解后低频图像信息中像素的平均值，确定所述视频信息对应的评价质量信息包括：
；
其中，Q表示所述评价质量信息，N表示小波分解后的低频图像信息的子带数量，W i 表示降维处理后的子带图像质量特征的权重系数，F i 表示第i个子带图像质量特征，L表示进行小波分解后低频图像信息中像素的平均值，表示频带系数，f(t)表示t时刻多个低频图像信息，/>表示小波基函数，a、b分别表示尺度和位移系数。
在一种可选的实施方式中，
在为降维处理后的所述子带图像质量特征分配对应的权重系数之前，所述方法还包括训练视频质量评价模型：
基于预先获取的训练数据集，输入待训练的视频质量评价模型中，确定与所述训练数据集对应的初始评价质量信息，根据所述初始评价质量信息以及所述训练数据集对应的目标输出值，确定所述初始评价质量信息与所述目标输出值的输出均方误差值；
基于反向传播算法以及梯度下降优化算法，并引入学习因子，连续调整所述待训练的视频质量评价模型的输入层与隐藏层的第一权重，以及隐藏层与输出层的第二权重，直至所述输出均方误差值满足预设阈值。
在一种可选的实施方式中，
所述基于反向传播算法以及梯度下降优化算法，并引入学习因子，连续调整所述待训练的视频质量评价模型的输入层与隐藏层的第一权重，以及隐藏层与输出层的第二权重如下公式所示：
；
；
；
；
；
；
其中，HiddenLayer表示隐藏层的输出结果，X表示输入层的特征向量，H1、H2分别表示输入层与隐藏层之间的第一权重和隐藏层与输出层之间的第二权重，OutputLayer表示输出层的预测结果；
其中，R1、R2分别表示隐藏层和输出层的误差项，表示更新的第二权重，/>表示更新的第一权重，LR表示学习因子，Q s 表示真实评价质量信息，Q表示视频质量评价模型输出的评价质量信息。
在一种可选的实施方式中，
所述通过预设的视频异常诊断模型，提取所述视频信息的时间序列信息，结合所述子带图像质量特征以及所述时间序列信息确定所述视频信息对应的异常类别包括：
通过所述视频异常诊断模型的3D卷积层和池化层提取所述视频信息的第一时间序列信息；
将所述第一时间序列信息输入所述视频异常诊断模型的长短期记忆网络，确定所述第一时间序列信息对应的时间序列隐藏状态，并对所述时间序列隐藏状态进行平均池化，确定第二时间序列信息；
融合所述第一时间序列信息和所述第二时间序列信息，确定综合时间序列信息，将所述时间序列信息和所述子带图像质量特征输入所述视频异常诊断模型的分类器中，确定所述视频信息对应的异常类别。
本公开实施例的第二方面，
提供一种视频监控系统故障诊断系统，包括：
第一单元，用于获取目标摄像头在多个时间段的视频信息，根据预先选定的小波基函数按照预设的分解层数对所述视频信息对应的低频图像信息进行小波分解；
第二单元，用于基于预设的视频质量评价模型提取进行小波分解后低频图像信息的子带图像质量特征，确定所述视频信息对应的评价质量信息；
第三单元，用于若所述评价质量信息不满足预设视频质量要求，则基于所述目标摄像头在多个时间段的视频信息，通过预设的视频异常诊断模型，提取所述视频信息的时间序列信息，结合所述子带图像质量特征以及所述时间序列信息确定所述视频信息对应的异常类别，其中所述视频异常诊断模型基于3D卷积神经网络和长短期记忆网络组合构建而成。
本公开实施例的第三方面，
提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
本公开实施例的第四方面，
提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
本申请实施例的有益效果可以参考具体实施方式中技术特征对应的技术效果，在此不再赘述。
附图说明
图1为本公开实施例视频监控系统故障诊断方法的流程示意图；
图2为本公开实施例视频监控系统故障诊断系统的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
下面以具体地实施例对本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本公开实施例视频监控系统故障诊断方法的流程示意图，如图1所示，所述方法包括：
S101. 获取目标摄像头在多个时间段的视频信息，根据预先选定的小波基函数按照预设的分解层数对所述视频信息对应的低频图像信息进行小波分解；
S102. 基于预设的视频质量评价模型提取进行小波分解后低频图像信息的子带图像质量特征，确定所述视频信息对应的评价质量信息；
示例性地，假设有一个包含100个视频的数据集，每个视频时长为5秒，帧率为25fps，分辨率1920x1080像素，同时，选定小波基函数为Daubechies小波函数，预设分解层数为3；将每个视频分割成帧序列，并统一帧率为25fps。将视频的每一帧序列分解为低频图像信息和多个高频子带，其中低频图像信息包含视频的大致结构，高频子带包含细节信息。
基于预设的视频质量评价模型，该模型用于提取小波分解后低频图像信息的子带图像质量特征，并确定视频信息对应的评价质量信息。对每个视频的小波分解后的低频图像信息进行特征提取，包括计算每个子带的图像质量特征，如PSNR、SSIM等。将提取的子带图像质量特征结合成视频的整体质量信息。可以使用加权平均或其他方法将子带图像质量特征融合，得到视频的评价质量信息。
实际应用中，图像质量客观评价就是通过设计能精确评价和自动感知图像质量的计算模型，用来实现可以描述的标准体系下的图像质量评价。其最终目标是想要用计算机主导的系统去代替人类视觉系统去感知和识别图像，图像质量客观评价一般是利用不同模型来测试多个影响影像质量因素的表现，用这些质量因素刻画质量的等级或评分，再采用模型获得图像质量的量化值与人类主观观测值一致性的好坏来做评估。
传统图像质量客观评价方法的分析，存在如下缺陷：
1、需要参考图像。图像质量分析的前提是存在标准质量的图像与测试图像进行对比，标准质量的确定和来源不容易确定。传统客观质量评价方法无法在没有图参考图像的情况下生效，是其中一个重要的局限。
2、评价目标很单一，传统的图像质量客观评价方法针对的评价目标较为单一，往往只是较少的故障类型，基本是一种参考对应一种故障，检测图像是否模糊、压缩后是否信息丢失、是否存在噪声等较少的单一特征。监控视频图像存在的故障异常问题是多样化的，场景是多变的，故障类型也存在多种并发现象。在实际运用中应用传统的检测方法，无法将图像偏色、亮度异常、图像模糊、雪花噪声干扰、滚屏、画面抖动、画面冻结、信号缺失、帧丢失等多种异常都诊断出。还有，监控视频画面内容一般都是持续变化的系列图像，很难为所有视频帧画面设定固定的参考图像。
在一种可选的实施方式中，
基于目标摄像头在多个时间段获取的视频信息逐帧进行频域分解，将所述视频信息分解为多个低频图像信息；
根据预先选定的小波基函数按照预设的分解层数对所述多个低频图像信息进行小波分解，确定所述低频图像信息对应的多种尺度的频带系数；
基于预设的视频质量评价模型提取进行小波分解后低频图像信息的子带图像质量特征并对所述子带图像质量特征进行降维处理，为降维处理后的所述子带图像质量特征分配对应的权重系数，结合所述频带系数以及进行小波分解后低频图像信息中像素的平均值，确定所述视频信息对应的评价质量信息。
示例性地，本公开实施例可以通过从目标摄像头获取多个时间段的视频帧，对每一帧进行预处理操作，例如灰度化、归一化等，以便进行频域分解；可以使用小波变换将所述视频信息分解为多个高频图像信息和低频图像信息。根据需要，可以选择保留或丢弃一部分高频成分，通过滤波操作，将高频成分进行处理，使得图像中的细节和纹理信息减少，从而得到多个低频图像信息；对滤波后的频谱进行逆变换，例如逆小波变换，以恢复图像的频域表示。对每一帧进行重建操作，将低频图像信息进行组合，得到完整的图像。
将目标摄像头获取的视频信息逐帧进行频域分解，并将其分解为多个低频图像信息，这样做可以提取图像中的低频成分，得到图像的整体结构和大致信息，同时减少图像中的细节和高频噪声。
进一步地，可以根据预先选定的小波基函数按照预设的分解层数对所述多个低频图像信息进行小波分解，确定所述低频图像信息对应的多种尺度的频带系数。
通过将低频图像信息与不同的频带滤波器进行卷积运算，得到不同方向和尺度的频带系数，具体的小波滤波器由所选定的小波基函数决定，不同的小波基函数具有不同的滤波器响应。其中，小波基函数有多种，例如Daubechies小波、Haar小波、Symlet小波等。
可选地，基于预设的视频质量评价模型提取进行小波分解后低频图像信息的子带图像质量特征并对所述子带图像质量特征进行降维处理，为降维处理后的所述子带图像质量特征分配对应的权重系数，结合所述频带系数以及进行小波分解后低频图像信息中像素的平均值，确定所述视频信息对应的评价质量信息。
在一种可选的实施方式中，
所述结合所述频带系数以及进行小波分解后低频图像信息中像素的平均值，确定所述视频信息对应的评价质量信息包括：
；
其中，Q表示所述评价质量信息，N表示小波分解后的低频图像信息的子带数量，W i 表示降维处理后的子带图像质量特征的权重系数，F i 表示第i个子带图像质量特征，L表示进行小波分解后低频图像信息中像素的平均值，表示频带系数，f(t)表示t时刻多个低频图像信息，/>表示小波基函数，a、b分别表示尺度和位移系数。
本申请实施例的视频质量评价模型可以包括特征提取网络和特征降维网络以及权重分配网络，其中，特征提取网络可以提取低频图像信息的子带图像质量特征，本公开实施例中，子带图像质量特征包括图像噪音、图像蜕化度、图像对比度、图像亮度以及图像调制传递值中至少一种。特征降维网络将每一个视频帧的空间特征进行降维，从而减少模型的计算量。权重分配网络根据各个子带图像质量特征对图像质量的贡献程度，分配对应的权重系数。
通过小波分解后的低频图像信息的子带图像质量特征提取，可以获取图像在不同尺度的频带中的质量信息，能够综合考虑图像的结构、纹理和细节等方面的特征，提高对视频质量的综合评估能力；结合频带系数和进行小波分解后低频图像信息中像素的平均值，可以考虑图像的整体能量和亮度信息，这提供了对图像的全局特征进行评价，有助于综合考虑图像的亮度平衡和整体对比度等方面的质量因素。
在一种可选的实施方式中，
在为降维处理后的所述子带图像质量特征分配对应的权重系数之前，所述方法还包括训练视频质量评价模型：
基于预先获取的训练数据集，输入待训练的视频质量评价模型中，确定与所述训练数据集对应的初始评价质量信息，根据所述初始评价质量信息以及所述训练数据集对应的目标输出值，确定所述初始评价质量信息与所述目标输出值的输出均方误差值；
基于反向传播算法以及梯度下降优化算法，并引入学习因子，连续调整所述待训练的视频质量评价模型的输入层与隐藏层的第一权重，以及隐藏层与输出层的第二权重，直至所述输出均方误差值满足预设阈值。
示例性地，收集或生成包含视频质量信息和目标输出值的训练数据集，确定用于训练的特征提取网络、特征降维网络和权重分配网络的架构和参数设置，输入训练数据集到特征提取网络，获取特征表示；输入特征表示到特征降维网络，将其降维为较低维度的子带图像质量特征；输入降维后的特征到权重分配网络，计算评价质量信息并与目标输出值进行比较，得到初始评价质量信息与目标输出值的输出均方误差。
示例性地，待训练的视频质量评价模型包含一个输入层、一个隐藏层和一个输出层，使用sigmoid激活函数作为隐藏层和输出层的激活函数。随机初始化输入层与隐藏层之间的第一权重，和隐藏层与输出层之间的第二权重；使用均方误差（Mean Squared Error，MSE）作为损失函数来度量训练误差；
其中，损失函数可以如下公式所示：
；
其中，M表示训练样本的数量，Q sj 表示第j个真实评价质量信息，Q j 表示第j个评价质量信息，也即模型输出的评价质量信息。
对于每个训练样本，通过输入层和隐藏层，计算输出层的预测结果：
；
；
其中，HiddenLayer表示隐藏层的输出结果，X表示输入层的特征向量，H1、H2分别表示输入层与隐藏层之间的第一权重和隐藏层与输出层之间的第二权重，OutputLayer表示输出层的预测结果。
进一步地，计算输出层和隐藏层之间的梯度，然后根据梯度和学习因子来更新权重参数：
；
；
；
；
其中，R1、R2分别表示隐藏层和输出层的误差项，表示更新的第二权重，/>表示更新的第一权重，LR表示学习因子。
重复进行前向传播和反向传播，更新权重参数，直至训练误差达到预设阈值或达到最大迭代次数。训练完成后，得到训练好的视频质量评价模型，可以用于对新的视频进行质量评估。
基于反向传播算法和梯度下降优化算法，连续调整网络的权重参数；更新特征提取网络的输入层与隐藏层之间的权重，使其能够更好地提取相关的特征；更新特征降维网络的隐藏层与输出层之间的权重，以减少特征的维度并保留关键信息；更新权重分配网络的隐藏层与输出层之间的权重，以获得更准确的评价质量信息；迭代计算输出均方误差值，并与预设阈值进行比较，直至满足预设阈值。通过优化权重参数，模型可以更好地拟合训练数据，并学习到数据中的特征和模式；引入学习因子可以控制梯度下降优化算法中的学习率，学习率的选择对模型的训练非常重要；通过自适应学习率，可以根据训练过程中的损失值情况自动调整学习率的大小，避免过大或过小的学习率导致训练过程不稳定或过慢。梯度下降优化算法可以在每次迭代时根据梯度方向更新权重参数，使得模型更快地收敛，结合自适应学习率，可以在保证收敛性的同时，提高训练效率。
使用训练数据集进行迭代训练，持续调整网络权重，直到模型收敛或达到预设训练轮数。在训练过程中，可以使用交叉验证或验证集进行模型的验证和调优；在模型训练完成后，可以使用独立的测试数据集对模型进行评估，检验其在未见过的数据上的性能。
S103. 若所述评价质量信息不满足预设视频质量要求，则基于所述目标摄像头在多个时间段的视频信息，通过预设的视频异常诊断模型，提取所述视频信息的时间序列信息，结合所述子带图像质量特征以及所述时间序列信息确定所述视频信息对应的异常类别。
示例性地，所述视频异常诊断模型基于3D卷积神经网络和长短期记忆网络组合构建而成。将步骤S102中得到的视频评价质量信息与预设的视频质量要求进行对比，如果视频的评价质量信息不满足预设的要求，说明视频可能存在异常情况，需要进一步进行异常诊断。视频异常诊断模型从视频信息中提取时间序列信息，并结合子带图像质量特征来判断视频是否属于异常类别。该模型可以由多个部分组成，包括3D卷积神经网络用于时间序列特征提取，子带图像质量特征的融合层，以及异常分类器。异常分类器可以是全连接层、支持向量机（SVM）或其他分类器，根据具体任务和数据情况选择合适的分类器。通过异常分类器对视频进行分类，判断其是否属于异常类别。
其中，3D卷积神经网络，该网络将同时处理视频帧的空间和时间信息，3D卷积核能够在时间维度上对视频帧序列进行卷积操作，从而捕捉时间上的特征。使用3D卷积层和池化层来提取视频帧序列中的时空特征，3D卷积核将同时考虑相邻帧之间的空间和时间关系，从而更好地捕获视频的时空信息。
在序列化的特征上添加LSTM层，LSTM的关键特性是它具有三个门（输入门、输出门和遗忘门），使其能够学习和记忆长期的时间依赖关系。LSTM会自动学习要保留和遗忘哪些时间步长上的信息，从而更好地捕捉时序信息。
LSTM层将依次处理序列化的特征，并在每个时间步长上输出一个隐藏状态，这些隐藏状态捕获了视频帧序列中的时序信息。可以使用LSTM层最后一个时间步的隐藏状态或者将所有时间步的隐藏状态进行平均或池化来获得最终的时空特征表示。
在一种可选的实施方式中，
所述通过预设的视频异常诊断模型，提取所述视频信息的时间序列信息，结合所述子带图像质量特征以及所述时间序列信息确定所述视频信息对应的异常类别包括：
通过所述视频异常诊断模型的3D卷积层和池化层提取所述视频信息的第一时间序列信息；
将所述第一时间序列信息输入所述视频异常诊断模型的长短期记忆网络，确定所述第一时间序列信息对应的时间序列隐藏状态，并对所述时间序列隐藏状态进行平均池化，确定第二时间序列信息；
融合所述第一时间序列信息和所述第二时间序列信息，确定综合时间序列信息，将所述时间序列信息和所述子带图像质量特征输入所述视频异常诊断模型的分类器中，确定所述视频信息对应的异常类别。
示例性地，假设数据集包括1000个视频样本，每个视频有10帧，帧大小为128x128像素，可以通过提取视频的时间序列信息和子带图像质量特征，结合一个预设的3D CNN和LSTM模型来进行视频异常分类。
可以标注每个视频的异常类别，形成带有异常标签的训练数据集；将每个视频分割成10帧的序列，将每帧调整为128x128像素大小；构建3D卷积神经网络，包括若干卷积层和池化层，用于从视频帧序列中提取时空特征；将每个视频的10帧序列输入3D CNN，得到第一时间序列信息，即3D CNN的输出特征，将3D CNN输出的特征序列输入到LSTM层中，LSTM层可以捕捉视频帧序列之间的长期时间依赖关系，并输出时间序列的隐藏状态。
对LSTM输出的时间序列隐藏状态进行平均池化，得到第二时间序列信息。平均池化可以降低时间序列的维度，同时保留重要的时序特征。
将第一时间序列信息和第二时间序列信息进行融合，可以使用简单的连接或其他融合方法，得到综合时间序列信息。
将融合后的时间序列信息和子带图像质量特征一起输入到异常分类器中，异常分类器可以是全连接层，用于将时空特征和子带图像质量特征结合起来，进行视频异常分类。
使用训练数据集对整个网络进行训练，包括3D CNN、LSTM、融合层和异常分类器；使用交叉熵损失函数衡量分类误差，并结合反向传播算法和梯度下降优化算法，调整模型的权重参数，使其逐渐收敛。对测试数据集中的视频进行异常分类，根据预测结果映射到异常类别，识别视频是否存在异常。
通过结合3D CNN和LSTM网络，可以更全面地提取视频的时空特征，3D CNN能够捕捉视频帧序列之间的空间和时间关系，而LSTM则能更好地处理视频的长期时间依赖关系，通过这种方式，可以有效地利用视频的时空信息，提高特征的表达能力；将子带图像质量特征与时间序列信息进行融合，能够综合考虑视频帧序列的质量和时序信息，这样可以更准确地评估视频的质量，对于异常视频的分类更加可靠；通过识别视频中的异常情况，可以及时发现视频质量问题或其他异常情况。这对于视频监控、视频内容检测等场景非常重要，一旦发现异常，可以及时采取相应的处理措施，保障视频质量或其他重要应用的可靠性。
本公开实施例的第二方面，
提供一种视频质量诊断系统，图2为本公开实施例视频监控系统故障诊断系统的结构示意图，包括：
第一单元，用于获取目标摄像头在多个时间段的视频信息，根据预先选定的小波基函数按照预设的分解层数对所述视频信息对应的低频图像信息进行小波分解；
第二单元，用于基于预设的视频质量评价模型提取进行小波分解后低频图像信息的子带图像质量特征，确定所述视频信息对应的评价质量信息；
第三单元，用于若所述评价质量信息不满足预设视频质量要求，则基于所述目标摄像头在多个时间段的视频信息，通过预设的视频异常诊断模型，提取所述视频信息的时间序列信息，结合所述子带图像质量特征以及所述时间序列信息确定所述视频信息对应的异常类别，其中所述视频异常诊断模型基于3D卷积神经网络和长短期记忆网络组合构建而成。
本公开实施例的第三方面，
提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
本公开实施例的第四方面，
提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。
最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (7)

1.一种视频监控系统故障诊断方法，其特征在于，包括：
获取目标摄像头在多个时间段的视频信息，根据预先选定的小波基函数按照预设的分解层数对所述视频信息对应的低频图像信息进行小波分解；
基于预设的视频质量评价模型提取进行小波分解后低频图像信息的子带图像质量特征，确定所述视频信息对应的评价质量信息；
若所述评价质量信息不满足预设视频质量要求，则基于所述目标摄像头在多个时间段的视频信息，通过预设的视频异常诊断模型，提取所述视频信息的时间序列信息，结合所述子带图像质量特征以及所述时间序列信息确定所述视频信息对应的异常类别，其中，所述视频异常诊断模型基于3D卷积神经网络和长短期记忆网络组合构建而成；
所述基于预设的视频质量评价模型提取进行小波分解后低频图像信息的子带图像质量特征，确定所述视频信息对应的评价质量信息包括：
基于目标摄像头在多个时间段获取的视频信息逐帧进行频域分解，将所述视频信息分解为多个低频图像信息；
根据预先选定的小波基函数按照预设的分解层数对所述多个低频图像信息进行小波分解，确定所述低频图像信息对应的多种尺度的频带系数；
基于预设的视频质量评价模型提取进行小波分解后低频图像信息的子带图像质量特征并对所述子带图像质量特征进行降维处理，为降维处理后的所述子带图像质量特征分配对应的权重系数，结合所述频带系数以及进行小波分解后低频图像信息中像素的平均值，确定所述视频信息对应的评价质量信息；
所述结合所述频带系数以及进行小波分解后低频图像信息中像素的平均值，确定所述视频信息对应的评价质量信息包括：
；
其中，Q表示所述评价质量信息，N表示小波分解后的低频图像信息的子带数量，W i 表示降维处理后的子带图像质量特征的权重系数，F i 表示第i个子带图像质量特征，L表示进行小波分解后低频图像信息中像素的平均值，表示频带系数，f(t)表示t时刻多个低频图像信息，/>表示小波基函数，a、b分别表示尺度和位移系数。
2.根据权利要求1所述的方法，其特征在于，在为降维处理后的所述子带图像质量特征分配对应的权重系数之前，所述方法还包括训练视频质量评价模型：
基于预先获取的训练数据集，输入待训练的视频质量评价模型中，确定与所述训练数据集对应的初始评价质量信息，根据所述初始评价质量信息以及所述训练数据集对应的目标输出值，确定所述初始评价质量信息与所述目标输出值的输出均方误差值；
基于反向传播算法以及梯度下降优化算法，并引入学习因子，连续调整所述待训练的视频质量评价模型的输入层与隐藏层的第一权重，以及隐藏层与输出层的第二权重，直至所述输出均方误差值满足预设阈值。
3.根据权利要求2所述的方法，其特征在于，所述基于反向传播算法以及梯度下降优化算法，并引入学习因子，连续调整所述待训练的视频质量评价模型的输入层与隐藏层的第一权重，以及隐藏层与输出层的第二权重如下公式所示：
；
；
；
；
；
；
其中，HiddenLayer表示隐藏层的输出结果，X表示输入层的特征向量，H1、H2分别表示输入层与隐藏层之间的第一权重和隐藏层与输出层之间的第二权重，OutputLayer表示输出层的预测结果；
其中，R1、R2分别表示隐藏层和输出层的误差项，表示更新的第二权重，/>表示更新的第一权重，LR表示学习因子，Q s 表示真实评价质量信息，Q表示视频质量评价模型输出的评价质量信息。
4.根据权利要求1所述的方法，其特征在于，所述通过预设的视频异常诊断模型，提取所述视频信息的时间序列信息，结合所述子带图像质量特征以及所述时间序列信息确定所述视频信息对应的异常类别包括：
通过所述视频异常诊断模型的3D卷积层和池化层提取所述视频信息的第一时间序列信息；
将所述第一时间序列信息输入所述视频异常诊断模型的长短期记忆网络，确定所述第一时间序列信息对应的时间序列隐藏状态，并对所述时间序列隐藏状态进行平均池化，确定第二时间序列信息；
融合所述第一时间序列信息和所述第二时间序列信息，确定综合时间序列信息，将所述时间序列信息和所述子带图像质量特征输入所述视频异常诊断模型的分类器中，确定所述视频信息对应的异常类别。
5.一种视频监控系统故障诊断系统，其特征在于，包括：
第一单元，用于获取目标摄像头在多个时间段的视频信息，根据预先选定的小波基函数按照预设的分解层数对所述视频信息对应的低频图像信息进行小波分解；
第二单元，用于基于预设的视频质量评价模型提取进行小波分解后低频图像信息的子带图像质量特征，确定所述视频信息对应的评价质量信息；
第三单元，用于若所述评价质量信息不满足预设视频质量要求，则基于所述目标摄像头在多个时间段的视频信息，通过预设的视频异常诊断模型，提取所述视频信息的时间序列信息，结合所述子带图像质量特征以及所述时间序列信息确定所述视频信息对应的异常类别，其中所述视频异常诊断模型基于3D卷积神经网络和长短期记忆网络组合构建而成；
所述基于预设的视频质量评价模型提取进行小波分解后低频图像信息的子带图像质量特征，确定所述视频信息对应的评价质量信息包括：
基于目标摄像头在多个时间段获取的视频信息逐帧进行频域分解，将所述视频信息分解为多个低频图像信息；
根据预先选定的小波基函数按照预设的分解层数对所述多个低频图像信息进行小波分解，确定所述低频图像信息对应的多种尺度的频带系数；
基于预设的视频质量评价模型提取进行小波分解后低频图像信息的子带图像质量特征并对所述子带图像质量特征进行降维处理，为降维处理后的所述子带图像质量特征分配对应的权重系数，结合所述频带系数以及进行小波分解后低频图像信息中像素的平均值，确定所述视频信息对应的评价质量信息；
所述结合所述频带系数以及进行小波分解后低频图像信息中像素的平均值，确定所述视频信息对应的评价质量信息包括：
；
其中，Q表示所述评价质量信息，N表示小波分解后的低频图像信息的子带数量，W i 表示降维处理后的子带图像质量特征的权重系数，F i 表示第i个子带图像质量特征，L表示进行小波分解后低频图像信息中像素的平均值，表示频带系数，f(t)表示t时刻多个低频图像信息，/>表示小波基函数，a、b分别表示尺度和位移系数。
6.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至4中任意一项所述的方法。
7.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至4中任意一项所述的方法。
CN202310980478.4A 2023-08-07 2023-08-07 视频监控系统故障诊断方法及系统 Active CN116708763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310980478.4A CN116708763B (zh) 2023-08-07 2023-08-07 视频监控系统故障诊断方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310980478.4A CN116708763B (zh) 2023-08-07 2023-08-07 视频监控系统故障诊断方法及系统

Publications (2)

Publication Number Publication Date
CN116708763A CN116708763A (zh) 2023-09-05
CN116708763B true CN116708763B (zh) 2023-11-21

Family

ID=87843678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310980478.4A Active CN116708763B (zh) 2023-08-07 2023-08-07 视频监控系统故障诊断方法及系统

Country Status (1)

Country Link
CN (1) CN116708763B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363763A (zh) * 2019-07-23 2019-10-22 上饶师范学院 图像质量评价方法、装置、电子设备及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230024037A1 (en) * 2021-07-21 2023-01-26 Avago Technologies International Sales Pte. Limited Methods for non-reference video-quality prediction

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363763A (zh) * 2019-07-23 2019-10-22 上饶师范学院 图像质量评价方法、装置、电子设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的视频监控质量诊断研究;赵志鹏;《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》;正文第三、四章，图4.7 *

Also Published As

Publication number Publication date
CN116708763A (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
Mittal et al. No-reference image quality assessment in the spatial domain
Narwaria et al. SVD-based quality metric for image and video using machine learning
Wang et al. Information content weighting for perceptual image quality assessment
Sheikh et al. An information fidelity criterion for image quality assessment using natural scene statistics
Ma et al. Reduced-reference image quality assessment in reorganized DCT domain
Fan et al. No reference image quality assessment based on multi-expert convolutional neural networks
Rouse et al. Analyzing the role of visual structure in the recognition of natural image content with multi-scale SSIM
George et al. A survey on different approaches used in image quality assessment
Liu et al. A perceptually relevant no-reference blockiness metric based on local image characteristics
Zhang et al. An algorithm for no-reference image quality assessment based on log-derivative statistics of natural scenes
CN112597864B (zh) 一种监控视频异常检测方法及装置
CN111723773B (zh) 遗留物检测方法、装置、电子设备及可读存储介质
CA2784926A1 (en) Method and system for determining a quality measure for an image using a variable number of multi-level decompositions
CN112419203B (zh) 基于对抗网络的扩散加权图像压缩感知恢复方法及装置
CN111369548A (zh) 一种基于生成对抗网络的无参考视频质量评价方法及装置
He et al. A visual residual perception optimized network for blind image quality assessment
Wu et al. Visual structural degradation based reduced-reference image quality assessment
Rouse et al. Image utility assessment and a relationship with image quality assessment
CN107944497A (zh) 基于主成分分析的图像块相似性度量方法
CN114707577A (zh) 一种基于自对抗变分自编码器的异常检测方法及系统
Morzelona Human visual system quality assessment in the images using the IQA model integrated with automated machine learning model
CN104657996B (zh) 基于非线性归一化的拉普拉斯‑高斯信号的图像质量评价方法
CN117671396A (zh) 施工进度的智能监控预警系统及方法
CN116708763B (zh) 视频监控系统故障诊断方法及系统
CN113011399A (zh) 基于生成协同判别网络的视频异常事件检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant