CN112261386B - 一种视频高速帧差备份系统 - Google Patents

一种视频高速帧差备份系统 Download PDF

Info

Publication number
CN112261386B
CN112261386B CN202011498655.8A CN202011498655A CN112261386B CN 112261386 B CN112261386 B CN 112261386B CN 202011498655 A CN202011498655 A CN 202011498655A CN 112261386 B CN112261386 B CN 112261386B
Authority
CN
China
Prior art keywords
live
frame
image frame
action image
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011498655.8A
Other languages
English (en)
Other versions
CN112261386A (zh
Inventor
涂家勇
刘卫华
孙武峰
潘涛
艾锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optical Valley Technology Co ltd
Original Assignee
Optical Valley Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optical Valley Technology Co ltd filed Critical Optical Valley Technology Co ltd
Priority to CN202011498655.8A priority Critical patent/CN112261386B/zh
Publication of CN112261386A publication Critical patent/CN112261386A/zh
Application granted granted Critical
Publication of CN112261386B publication Critical patent/CN112261386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种视频高速帧差备份系统。包括：目标提取模块，用于提取所在场景的实景图像帧中感兴趣目标包围框；刷新率控制模块，用于根据实时获得的感兴趣目标包围框的属性、场景热成像中异常温度、场景内的声音、场景内监控对象的出风口风速对视频刷新率进行实时反馈控制；帧差备份模块，用于对实景图像帧进行帧差备份，帧差备份根据感兴趣目标包围框、热成像温度异常ROI及声音异常区域进行帧差备份。利用本发明，提高了帧差备份的效率，降低了帧差备份的存储空间。

Description

一种视频高速帧差备份系统
技术领域
本发明涉及视频处理、计算机视觉技术领域，具体涉及一种视频高速帧差备份系统。
背景技术
摄像头的使用越来越普及，成为各行业监控环节的必需设备。然而摄像头会存在故障情况，如果设备出现故障，就会导致视频显示中断或者黑屏，导致数据丢失。因此，对视频进行实时高效地备份，保证视频数据的完整，十分必要。一些方法利用关键帧检测方法来进行帧差传输。这些方法虽然能够取得一些图像压缩效果，但是压缩率较低，而且在机房等特定环境下备份效果较差。
发明内容
本发明针对上述现有技术存在的缺陷，提出一种视频高速帧差备份系统。
一种视频高速帧差备份系统，该系统应用于计算机机房视频监控中，监控对象包括服务器，系统包括：
目标提取模块，用于提取所在场景的实景图像帧中感兴趣目标包围框；
刷新率控制模块，用于根据实时获得的感兴趣目标包围框的属性、场景热成像中异常温度、场景内的声音、场景内监控对象的出风口风速对视频刷新率进行实时反馈控制，视频刷新率为相机的刷新率；
帧差备份模块，用于进行帧差备份，帧差备份包括：
将实景图像帧中感兴趣目标包围框区域与背景关键帧相应区域相减得到第一差值矩阵；
将场景热成像中温度异常ROI映射到实景图像帧，得到实景图像帧中热成像映射ROI，并将热成像映射ROI与背景关键帧相应区域相减得到第二差值矩阵；
将场景内声音异常区域在实景图像帧的成像区域与背景关键帧相应区域相减得到第三差值矩阵；
根据场景内声音异常区域在实景图像帧的成像区域与热成像映射ROI的交叉区域，得到第二差值矩阵与第三差值矩阵的交叉矩阵；
将第一差值矩阵、感兴趣目标包围框的位置信息、实景图像帧的时间戳关联存储，并标记第一异常类型；
将交叉矩阵、交叉区域的位置信息、实景图像帧的时间戳关联存储，若交叉矩阵中低于帧差阈值的元素个数大于设定数量则标记第七异常类型，否则标记第六异常类型。
进一步地，所述刷新率控制模块，用于根据实时获得的感兴趣目标包围框的属性、场景热成像中异常温度、场景内的声音、场景内监控对象的出风口风速对视频刷新率进行实时反馈控制包括：
根据刷新率控制模型的输出结果对视频刷新率进行实时反馈控制；其中，刷新率控制模型：
Figure 182537DEST_PATH_IMAGE001
，
Figure 896415DEST_PATH_IMAGE002
即相机的刷新率，
Figure 958043DEST_PATH_IMAGE003
为四舍五入函数，
Figure 884411DEST_PATH_IMAGE004
为感兴趣目标包围框的数量，
Figure 229942DEST_PATH_IMAGE005
分别为感兴趣目标包围框的宽和高，
Figure 583563DEST_PATH_IMAGE006
为包围框的平均宽、平均高，
Figure 395136DEST_PATH_IMAGE007
表示场景热成像中温度最高的第k个温度值，K表示温度最高的温度值个数，
Figure 125195DEST_PATH_IMAGE008
为用于测量监控对象出风口风速的第
Figure 325232DEST_PATH_IMAGE009
个风速计读数，
Figure 600487DEST_PATH_IMAGE010
为第
Figure 885975DEST_PATH_IMAGE009
个拾音器采集到的声音的振幅值，
Figure 154145DEST_PATH_IMAGE011
为监控对象个数，
Figure 208689DEST_PATH_IMAGE012
为权重因子，
Figure 920424DEST_PATH_IMAGE013
为刷新率调节系数。
进一步地，所述帧差备份还包括：
将第二差值矩阵、热成像映射ROI的位置信息、实景图像帧的时间戳关联存储，若第二差值矩阵中低于帧差阈值的元素个数大于设定数量则标记第四异常类型，否则标记第二异常类型；
将第三差值矩阵、场景内声音异常区域在实景图像帧的成像区域的位置信息、实景图像帧的时间戳关联存储，若第三差值矩阵中低于帧差阈值的元素个数大于设定数量则标记第五异常类型，否则标记第三异常类型。
进一步地，所述异常类型的危险级别关系包括：第七异常类型的危险级别高于第六异常类型，第六异常类型的危险级别高于第五异常类型、第四异常类型，第五异常类型、第四异常类型的危险级别高于第二异常类型、第三异常类型。
进一步地，所述帧差备份还包括：
S1：计算交叉区域与热成像映射ROI的面积比值，计算交叉区域与场景内声音异常区域在实景图像帧的成像区域的面积比值，若两个面积比值中存在一个比值大于第二阈值，则合并热成像ROI、场景内声音异常区域在实景图像帧的成像区域以及对应的第二差值矩阵、第三差值矩阵，得到合并区域、合并差值矩阵；
S2：将合并区域对应的合并差值矩阵、合并区域的位置信息、合并区域中包含的热成像ROI或场景内声音异常区域在实景图像帧的成像区域的位置信息、异常类型、实景图像帧的时间戳关联存储；将未经合并的热成像映射ROI的位置信息、对应的第二差值矩阵、实景图像帧的时间戳关联存储，并标记第二异常类型或第四异常类型；将未经合并的场景内声音异常区域在实景图像帧的成像区域的位置信息、对应的第三差值矩阵、实景图像帧的时间戳关联存储，并标记第三异常类型或第五异常类型。
进一步地，所述目标提取模块当不存在曝光异常时提取所在场景的实景图像帧中感兴趣目标包围框。
进一步地，该系统还包括：
异常曝光检测模块，用于将实景图像帧变换至HSV空间，计算实景图像帧序列中所有实景图像帧的明度均值，若实景图像帧序列中存在一实景图像帧与其后一实景图像帧明度均值之差的绝对值大于第一阈值，则判断实景图像帧序列存在曝光异常。
进一步地，所述提取所在场景的实景图像帧中感兴趣目标包围框基于目标提取神经网络实现，目标提取神经网络的输出包括目标关键点热力图、目标包围框的宽、高。
进一步地，所述拾音器位于监控对象上，所述风速计设于监控对象出风口附近。
进一步地，所述场景内声音异常区域在实景图像帧的成像区域的获取方式具体为：
根据拾音器的分布将场景划分为多个声音监测区域，相应地，场景的实景图像帧也被划分为多个成像区域，每一个声音器的声音监测区域对应实景图像帧的一个成像区域；
若设定时间段内拾音器所得平均振幅值大于第三阈值，则该拾音器所在声音监测区域为声音异常区域，该拾音器对应的实景图像帧的成像区域即场景内声音异常区域在实景图像帧的成像区域。
本发明与现有技术相比，具有以下有益效果：
通过HSV颜色空间，有效地分析了图像的亮度特征，以最大可能地减少因相机曝光造成备份数据的大量冗余。基于感兴趣目标包围框帧差备份、热成像温度异常ROI帧差备份、场景内声音异常区域帧差备份，相比整体帧差，筛选掉了视频帧的冗余数据，提高了压缩率和帧差备份的效率，降低帧差备份的存储空间；而且，帧差数据更丰富且类型清楚，危险级别清楚，提高了相应类型的视频数据恢复效率，在机房等特定环境下备份效果更好，更方便监控。根据刷新率控制模型实时控制视频刷新率，降低了监控相机功耗，提高异常情况下的备份数据量，从而提高了备份数据的有效性，有助于高效完整还原对应异常类型的异常图像数据。
附图说明
图1为本发明系统的框架图；
图2为声音信号检测区域划分示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种视频高速帧差备份系统。主要对采集的视频图像进行筛选备份，通过检测视频帧的感兴趣目标包围框，并根据感兴趣目标包围框的属性、场景热成像、场景内声音信号、风速来调节相机的刷新率，起到视频数据自动调节作用，并且基于热成像温度异常处的ROI及声音异常处的图像进行帧差备份。图1为本发明系统的框架图。下面通过具体实施例来进行说明。
实施例1：
一种视频高速帧差备份系统，包括目标提取模块、刷新率控制模块、帧差备份模块。
目标提取模块，用于提取所在场景的实景图像帧中感兴趣目标包围框。
以机房场景进行举例说明。通过相机采集视频图像，得到大量视频数据。对视频数据进行采样，得到图像数据，以减少计算的数据量。对于不同的相机而言，其采集的视频通常帧率不同。通常来说，视频的信息是高度冗余的，因此要进行采样。采样的频率实施者可根据具体的应用场景来定。例如，对于相机采集的视频帧率
Figure 693208DEST_PATH_IMAGE014
而言，设定采样率为5，即该相机采集的视频1秒有30张图片（视频帧），采样率为5表示一秒内只取5张图像，即每6hz采集一张图像。本发明中，刷新率由刷新率控制模型的实时控制，可针对不同的刷新率段设置采样率。视频数据包括实景视频、热成像视频，因此包括实景图像帧、场景热成像。
为了提高备份数据的有效性，防止异常情况下的数据干扰本发明的帧差备份系统，本发明系统还包括异常曝光检测模块，用于将实景图像帧变换至HSV空间，计算实景图像帧序列中所有实景图像帧的明度均值，若实景图像帧序列中存在一实景图像帧与其后一实景图像帧明度均值之差的绝对值大于第一阈值，则判断实景图像帧序列存在曝光异常。具体地，计算实景图像帧序列中所有实景图像帧的明度均值，初始化曝光异常变量为0；若当前实景图像帧与后一实景图像帧明度均值之差的绝对值大于第一阈值且曝光异常变量为0，则置曝光异常变量为1，判断实景图像帧序列存在曝光异常。
HSV是一种比较直观的颜色模型，这个模型中颜色的参数分别是：色调（H, Hue），饱和度（S, Saturation），明度（V, Value）。对采样后的实景图像帧进行颜色空间变换，转换到HSV空间，步骤如下。首先，将图像进行归一化，即值变为[0,1]之间。
Figure 499490DEST_PATH_IMAGE015
；
Figure 674119DEST_PATH_IMAGE016
；
Figure 291176DEST_PATH_IMAGE017
。计算结果可能出现
Figure 551256DEST_PATH_IMAGE018
，因此进行以下计算：
Figure 161229DEST_PATH_IMAGE019
。HSV各通道取值范围为：
Figure 190365DEST_PATH_IMAGE020
。之所以选取HSV空间是因为该空间可以很好的表示颜色的明亮程度，对于分析图像曝光有很大作用。对于图像进行亮度分析，得到亮度值：
Figure 512412DEST_PATH_IMAGE021
，即求V通道图像的平均值。
Figure 259788DEST_PATH_IMAGE022
即该图像的亮度值。
由于相机硬件的原因，会存在图像曝光异常的现象，因此用图像的亮度值来进行异常判断，其方法如下：对于实景图像帧序列进行亮度分析，当序列内存在亮度值骤降或骤升时，认定实景图像帧序列存在曝光异常的图像。即当亮度值差值的绝对值大于阈值时，认定该图像存在异常。对于第S张图像，分析亮度值为S1，第S+1张图像亮度值为S2，则异常判断公式如下：
Figure 673452DEST_PATH_IMAGE023
，第一阈值G用于亮度骤变判断，经验值为0.2。具体示例如下：对于实景图像帧序列的每两张图像都进行亮度分析。当序列中存在骤变时，认定该段序列存在异常，然后对下一段实景图像帧序列进行分析。当不存在异常时，进行实景图像帧的感兴趣目标提取，得到包围框。
感兴趣目标据场景及应用需求而定。在本实施例机房场景下通常感兴趣目标包括人。本发明提取所在场景的实景图像帧中感兴趣目标基于目标提取神经网络实现，目标提取神经网络的输出包括目标关键点热力图、目标包围框的宽、高。
在训练目标提取神经网络之前，首先对训练数据集进行标签的制作。训练图像包括机房场景下采集的实景图像帧。对训练图像内的人标注其中心点位置及包围框的宽、高信息，通过高斯核针对人体中心点位置进行卷积，得到人体中心点热力图。人体中心点热力图中的每个热斑都有(x, y, w, h)信息，x、y即人体中心点坐标，w、h为包围框的宽、高。具体的细节，如高斯核半径的选取等，实施者可以根据实施场景调整。
然后，对目标提取神经网络进行训练，其训练过程如下：将训练数据集与人体中心点热力图经过归一化处理，即将图片矩阵变为[0,1]之间的浮点数，以便模型更好地收敛。将处理后的训练图像与标签数据送到网络中进行训练，以预测机房场景下人体的位置信息(人体中心点坐标及包围框宽、高)。目标提取编码器对输入的归一化的图像数据进行特征提取，输出为特征图；目标提取解码器对目标提取编码器产生的特征图进行上采样与特征提取，输入为目标提取编码器产生的特征图，输出为两个，一是人体中心点热力图，二是包围框宽、高。损失函数采用中心点预测损失与人体大小损失的加权和。中心点损失的数学公式如下：
Figure 307827DEST_PATH_IMAGE024
，其中，
Figure 781533DEST_PATH_IMAGE025
和
Figure 750626DEST_PATH_IMAGE026
是超参数，通过人为经验设定，
Figure 702402DEST_PATH_IMAGE027
是图像中人体中心点数量。
Figure 722442DEST_PATH_IMAGE028
为预测的人体中心点热力图中坐标位置（x，y）的值，
Figure 367050DEST_PATH_IMAGE029
真值图中位置（x，y）的值。人体大小损失的数学公式如下：
Figure 823439DEST_PATH_IMAGE030
。
Figure 578905DEST_PATH_IMAGE027
是图像中人的数量，
Figure 922293DEST_PATH_IMAGE031
为预测的包围框宽、高，
Figure 737802DEST_PATH_IMAGE032
为真值包围框的宽、高。总的损失函数即：
Figure 681487DEST_PATH_IMAGE033
，其中，
Figure 240645DEST_PATH_IMAGE034
为权重，优选地，取0.1。通过训练好的目标提取神经网络即可得到人体中心点热力图和包围框宽、高，然后对热力图进行后处理，即找峰值点，即可得到人体包围框，即感兴趣目标包围框。
网络的模块结构是多样化的，本发明网络属于CenterNet目标检测网络，编码器解码器可参加用Hourglass104预训练网络来提取特征，最终实施者也可利用其它的目标检测网络进行二次训练，如Yolo系列等。
刷新率控制模块，用于根据实时获得的感兴趣目标包围框的属性、场景热成像中异常温度、场景内的声音、场景内监控对象的出风口风速对视频刷新率进行实时反馈控制。本实施例设定为计算机机房场景，监控对象包括服务器。相机刷新率会随着包围框数量、包围框大小、热成像
Figure 966768DEST_PATH_IMAGE035
的温度均值、服务器平均风速、服务器平均声音振幅的增大而增大。最终通过调节视频序列在时间上的刷新率达到控制码率的目的。
场景热成像，是部署在机房环境下对机房环境进行监控的热像仪实时获得的场景热像，热成像可直接表征温度。将热成像像素值与温度值标定，即可根据热成像像素值获得对应的温度值。热成像应与普通相机拍摄画面对齐，实施者也可直接采用热成像双光谱摄像机。
监控对象的出风口风速，由风速计测得。热力式风速计，是将流速信号转变为电信号的一种测速仪器，可用来测试机房内环境的风速。本实施例中，热力式风速计布置在服务器出风口处，以检测服务器散热的风速，每台服务器布置一个，得到热力式风速计读数，读数代表服务器散热处的风速大小，单位为m/s。
场景内声音信息，由拾音器测得。拾音器，外置在服务器处，用来获取每一个服务器的声音信息。声音信号检测区域划分示意图如图2所示，图2所示整个区域为相机监控区域，相机监控区域内布置有两台服务器，由于拾音器为单声道，因此每台服务器上布置一个拾音器，用以监控服务器的声音，并将整个区域划分为两个区域，即区域A、区域B，若相机监控区域有3台服务器，则拾音器也要有3个，划分的区域也是3个。
刷新率控制模型具体如下：
Figure 422020DEST_PATH_IMAGE001
，
Figure 118580DEST_PATH_IMAGE002
即相机的刷新率，
Figure 966582DEST_PATH_IMAGE004
为包围框的数量，
Figure 799409DEST_PATH_IMAGE005
分别为图像内包围框的宽、高，
Figure 691141DEST_PATH_IMAGE006
为包围框的平均宽、平均高(举例，如存在三个包围框，长高分别为[150,100]、[125,150]、[235,200]，则包围框平均宽为170，平均高为150)，
Figure 874998DEST_PATH_IMAGE036
为场景热成像温度
Figure 526690DEST_PATH_IMAGE035
中的超参数，
Figure 948444DEST_PATH_IMAGE007
表示场景热成像中温度最高的第k个温度值，K表示温度最高的温度值个数，
Figure 276657DEST_PATH_IMAGE008
为用于测量监控对象出风口风速的第
Figure 432963DEST_PATH_IMAGE009
个风速计读数，
Figure 137614DEST_PATH_IMAGE010
为第
Figure 679454DEST_PATH_IMAGE009
个拾音器采集到的声音的振幅值，
Figure 444148DEST_PATH_IMAGE011
即服务器的个数，同时也能代表拾音器、热力式风速计的个数，
Figure 813381DEST_PATH_IMAGE012
为权重因子。热力式风速计读数为所述图像采集时刻的数值，拾音器采集声音的振幅值为采集时刻N秒内的平均振幅值，以N=1为例，如19点3分5秒采集，则拾音器采集声音的振幅值应为19点3分5秒至19点3分6秒，该一秒内声音的平均振幅值。
Figure 56144DEST_PATH_IMAGE003
为四舍五入取整函数。
Figure 452490DEST_PATH_IMAGE013
为刷新率调节系数。在相机分辨率为
Figure 122506DEST_PATH_IMAGE037
下，拾音器数据为16bit(即每个采样点的值应该在（0~2^16-1即：0~65535）范围内)，
Figure 987825DEST_PATH_IMAGE012
的优选值分别为5、0.05、0.2、10、0.0007。
Figure 34278DEST_PATH_IMAGE013
优选值为1.25。上述刷新率控制模型各参数的采样时间应当一致。例如，实施者可以设置1s进行一次刷新率反馈控制，也可以设置10s进行一次刷新率反馈控制。上述刷新率控制模型可以获得异常情况下的详细数据，为异常分析提供丰富的视频数据，提高异常分析的精度。为了兼顾异常分析精度与存储容量，本发明还提供一种刷新率控制模型：
Figure 550710DEST_PATH_IMAGE038
=
Figure 142360DEST_PATH_IMAGE039
，其中，
Figure 744242DEST_PATH_IMAGE040
为刷新率调节系数，
Figure 328808DEST_PATH_IMAGE041
为刷新率调节的监控窗口尺寸，该模型表征各因素变化率越大，刷新率越高。
Figure 965325DEST_PATH_IMAGE040
可以根据实施场景自行设置。在此提供一种实施方式，当监控窗口尺寸为10s时，
Figure 993455DEST_PATH_IMAGE040
优选值为12。
帧差备份模块，用于对实景图像帧进行帧差备份，帧差备份包括：将实景图像帧中感兴趣目标包围框区域与背景关键帧相应区域相减得到第一差值矩阵；将场景热成像中温度异常ROI映射到实景图像帧，得到实景图像帧中热成像映射ROI，并将热成像映射ROI与背景关键帧相应区域相减得到第二差值矩阵；将场景内声音异常区域在实景图像帧的成像区域与背景关键帧相应区域相减得到第三差值矩阵；根据场景内声音异常区域在实景图像帧的成像区域与热成像映射ROI的交叉区域，得到第二差值矩阵与第三差值矩阵的交叉矩阵；将第一差值矩阵、感兴趣目标包围框的位置信息、实景图像帧的时间戳关联存储，并标记第一异常类型；将交叉矩阵、交叉区域的位置信息、实景图像帧的时间戳关联存储，若交叉矩阵中低于帧差阈值的元素个数大于设定数量则标记第七异常类型，否则标记第六异常类型。在机房场景下，当声音异常且温度异常时，服务器出现异常的可能性更大，其异常类型的危险级别也更高。因此使用交叉矩阵来定义更高级别的异常等级，而若交叉矩阵中的低于帧差阈值的像素数量高于设定数量，则说明场景内没有对象发生变化，此种情况是最危险的，服务器本身出现异常的可能性更大，若低于帧差阈值的像素数量不高于设定数量，则说明可能是场景发生变化造成服务器运行异常，例如堆积物堵住了出风口。因此，本发明根据上述因素，分别对帧差备份的不同差值矩阵标记了不同异常类型，不同异常类型表征了不同危险级别，提高了相应级别备份数据的恢复效率，同时也可以为监管人员提供不同程度的危险提示信息。优选地，帧差阈值设为20。
帧差备份还包括：将第二差值矩阵、热成像映射ROI的位置信息、实景图像帧的时间戳关联存储，若第二差值矩阵中低于帧差阈值的元素个数大于设定数量则标记第四异常类型，否则标记第二异常类型；将第三差值矩阵、场景内声音异常区域在实景图像帧的成像区域的位置信息、实景图像帧的时间戳关联存储，若第三差值矩阵中低于帧差阈值的元素个数大于设定数量则标记第五异常类型，否则标记第三异常类型。异常类型的危险级别关系包括：第七异常类型的危险级别高于第六异常类型，第六异常类型的危险级别高于第五异常类型、第四异常类型，第五异常类型、第四异常类型的危险级别高于第二异常类型、第三异常类型。本发明进一步限定了其他异常类型之间的危险级别关系，所述危险级别关系的确定方法与帧差阈值相关，若低于帧差阈值的像素数量高于设定数量，则说明可能是服务器本身故障导致服务器运行异常，否则可能是场景变化造成服务器运行异常，例如堆积物堵住出风口，堆积物堆在了服务器上影响散热等等。
背景关键帧中应不存在任何感兴趣目标，可人为设定。背景关键帧应基于不同时间来认定，如7-19点，设定一张关键帧图像作为该时段帧差的背景帧图像，19-7点，设定另一张关键帧图像作为该时段帧差的背景关键帧图像。当检测到感兴趣目标时，基于包围框进行帧差备份。将实景图像帧中感兴趣目标包围框区域与背景关键帧相应区域相减得到第一差值矩阵并进行存储，存储的信息还包括该感兴趣目标在实景图像帧的位置及该实景图像帧在视频中的时间戳。
对于场景热成像同样基于温度异常区域来进行帧差备份。温度异常定义为场景热成像的任一点温度值大于设定阈值，即认定该点存在异常，并基于先验ROI区域大小对相机采集图像相应位置进行裁剪，最后进行帧差备份。ROI区域大小可定为9*9、13*13等，温度异常值点作为ROI区域的中心点。即，将场景热成像中温度异常ROI映射到实景图像帧，得到热成像映射ROI，并将热成像映射ROI与背景关键帧相应区域相减得到第二差值矩阵。
对于声音异常区域，同样进行帧差备份，其规则为指定时间段内声音的平均振幅值大于第三阈值。统计每一个拾音器每
Figure 817055DEST_PATH_IMAGE042
秒内声音的平均振幅值
Figure 205311DEST_PATH_IMAGE043
，当
Figure 178559DEST_PATH_IMAGE043
大于阈值时（认定声音存在异常），进行区域图像的帧差。如图2所示，当拾音器
Figure 361278DEST_PATH_IMAGE044
统计的
Figure 937753DEST_PATH_IMAGE043
大于阈值时，进行区域
Figure 129700DEST_PATH_IMAGE044
图像的帧差备份。在16bit下，第三阈值设置的经验值为8000。即，将场景内声音异常区域在实景图像帧中的成像区域与背景关键帧相应区域相减得到第三差值矩阵。
为了降低备份存储空间，提高备份效率，帧差备份还包括：
S1：计算交叉区域与热成像映射ROI的面积比值，计算交叉区域与声音异常区域在实景图像帧的成像区域的面积比值，若两个面积比值中存在一个比值大于第二阈值，则合并热成像ROI、声音异常区域在实景图像帧的成像区域以及对应的第二差值矩阵、第三差值矩阵，得到合并区域、合并差值矩阵。优选地，第二阈值设为0.5。
S2：将合并区域对应的合并差值矩阵、合并区域的位置信息、合并区域中包含的热成像ROI或声音异常区域在实景图像帧的成像区域的位置信息、异常类型、实景图像帧的时间戳关联存储；将未经合并的热成像映射ROI的位置信息、对应的第二差值矩阵、实景图像帧的时间戳关联存储；将未经合并的声音异常区域在实景图像帧的成像区域的位置信息、对应的第三差值矩阵、实景图像帧的时间戳关联存储。
至此，即完成视频的高速帧差备份存储。存储的内容可依据背景关键帧、差值矩阵以及位置信息、时间戳等来恢复为原视频图像，可通过逆运算实现视频恢复。
以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频高速帧差备份系统，其特征在于，该系统应用于计算机机房视频监控中，监控对象包括服务器，该系统包括：
目标提取模块，用于提取所在场景的实景图像帧中感兴趣目标包围框；
刷新率控制模块，用于根据实时获得的感兴趣目标包围框的属性、场景热成像中异常温度、场景内的声音、场景内监控对象的出风口风速对视频刷新率进行实时反馈控制，视频刷新率为相机的刷新率；
帧差备份模块，用于进行帧差备份，帧差备份包括：
将实景图像帧中感兴趣目标包围框区域与背景关键帧相应区域相减得到第一差值矩阵；
将场景热成像中温度异常ROI映射到实景图像帧，得到实景图像帧中热成像映射ROI，并将热成像映射ROI与背景关键帧相应区域相减得到第二差值矩阵；
将场景内声音异常区域在实景图像帧的成像区域与背景关键帧相应区域相减得到第三差值矩阵；
根据场景内声音异常区域在实景图像帧的成像区域与热成像映射ROI的交叉区域，得到第二差值矩阵与第三差值矩阵的交叉矩阵；
将第一差值矩阵、感兴趣目标包围框的位置信息、实景图像帧的时间戳关联存储，并标记第一异常类型；
将交叉矩阵、交叉区域的位置信息、实景图像帧的时间戳关联存储，若交叉矩阵中低于帧差阈值的元素个数大于设定数量则标记第七异常类型，否则标记第六异常类型。
2.如权利要求1所述的系统，其特征在于，所述刷新率控制模块，用于根据实时获得的感兴趣目标包围框的属性、场景热成像中异常温度、场景内的声音、场景内监控对象的出风口风速对视频刷新率进行实时反馈控制包括：
根据刷新率控制模型的输出结果对视频刷新率进行实时反馈控制；其中，刷新率控制模型：
Figure 676677DEST_PATH_IMAGE001
，
Figure 295877DEST_PATH_IMAGE002
即相机的刷新率，
Figure 110381DEST_PATH_IMAGE003
为四舍五入函数，
Figure 840439DEST_PATH_IMAGE004
为感兴趣目标包围框的数量，
Figure 40477DEST_PATH_IMAGE005
分别为感兴趣目标包围框的宽和高，
Figure 581310DEST_PATH_IMAGE006
为包围框的平均宽、平均高，
Figure 132377DEST_PATH_IMAGE007
表示场景热成像中温度最高的第k个温度值，K表示温度最高的温度值个数，
Figure 666127DEST_PATH_IMAGE008
为用于测量监控对象出风口风速的第
Figure 471403DEST_PATH_IMAGE009
个风速计读数，
Figure 697985DEST_PATH_IMAGE010
为第
Figure 205190DEST_PATH_IMAGE011
个拾音器采集到的声音的振幅值，
Figure 296292DEST_PATH_IMAGE012
为监控对象个数，
Figure 470922DEST_PATH_IMAGE013
为权重因子，
Figure 868405DEST_PATH_IMAGE014
为刷新率调节系数。
3.如权利要求1所述的系统，其特征在于，所述帧差备份还包括：
将第二差值矩阵、热成像映射ROI的位置信息、实景图像帧的时间戳关联存储，若第二差值矩阵中低于帧差阈值的元素个数大于设定数量则标记第四异常类型，否则标记第二异常类型；
将第三差值矩阵、场景内声音异常区域在实景图像帧的成像区域的位置信息、实景图像帧的时间戳关联存储，若第三差值矩阵中低于帧差阈值的元素个数大于设定数量则标记第五异常类型，否则标记第三异常类型。
4.如权利要求3所述的系统，其特征在于，所述异常类型之间的危险级别关系包括：第七异常类型的危险级别高于第六异常类型，第六异常类型的危险级别高于第五异常类型、第四异常类型，第五异常类型、第四异常类型的危险级别高于第二异常类型、第三异常类型。
5.如权利要求1所述的系统，其特征在于，所述帧差备份还包括：
S1：计算交叉区域与热成像映射ROI的面积比值，计算交叉区域与场景内声音异常区域在实景图像帧的成像区域的面积比值，若两个面积比值中存在一个比值大于第二阈值，则合并热成像ROI、场景内声音异常区域在实景图像帧的成像区域以及对应的第二差值矩阵、第三差值矩阵，得到合并区域、合并差值矩阵；
S2：将合并区域对应的合并差值矩阵、合并区域的位置信息、合并区域中包含的热成像ROI或场景内声音异常区域在实景图像帧的成像区域的位置信息、异常类型、实景图像帧的时间戳关联存储；将未经合并的热成像映射ROI的位置信息、对应的第二差值矩阵、实景图像帧的时间戳关联存储，并标记第二异常类型或第四异常类型；将未经合并的场景内声音异常区域在实景图像帧的成像区域的位置信息、对应的第三差值矩阵、实景图像帧的时间戳关联存储，并标记第三异常类型或第五异常类型。
6.如权利要求1所述的系统，其特征在于，所述目标提取模块当不存在曝光异常时提取所在场景的实景图像帧中感兴趣目标包围框。
7.如权利要求6所述的系统，其特征在于，该系统还包括：
异常曝光检测模块，用于将实景图像帧变换至HSV空间，计算实景图像帧序列中所有实景图像帧的明度均值，若实景图像帧序列中存在一实景图像帧与其后一实景图像帧明度均值之差的绝对值大于第一阈值，则判断实景图像帧序列存在曝光异常。
8.如权利要求1所述的系统，其特征在于，所述提取所在场景的实景图像帧中感兴趣目标包围框基于目标提取神经网络实现，目标提取神经网络的输出包括目标关键点热力图、目标包围框的宽、高。
9.如权利要求2所述的系统，其特征在于，所述拾音器位于监控对象上，所述风速计设于所述监控对象出风口附近。
10.如权利要求1所述的系统，其特征在于，所述场景内声音异常区域在实景图像帧的成像区域的获取方式具体为：
根据拾音器的分布将场景划分为多个声音监测区域，相应地，场景的实景图像帧也被划分为多个成像区域，每一个拾音器的声音监测区域对应实景图像帧的一个成像区域；
若设定时间段内拾音器所得平均振幅值大于第三阈值，则该拾音器所在声音监测区域为声音异常区域，该拾音器对应的实景图像帧的成像区域即场景内声音异常区域在实景图像帧的成像区域。
CN202011498655.8A 2020-12-17 2020-12-17 一种视频高速帧差备份系统 Active CN112261386B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011498655.8A CN112261386B (zh) 2020-12-17 2020-12-17 一种视频高速帧差备份系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011498655.8A CN112261386B (zh) 2020-12-17 2020-12-17 一种视频高速帧差备份系统

Publications (2)

Publication Number Publication Date
CN112261386A CN112261386A (zh) 2021-01-22
CN112261386B true CN112261386B (zh) 2021-03-09

Family

ID=74225404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011498655.8A Active CN112261386B (zh) 2020-12-17 2020-12-17 一种视频高速帧差备份系统

Country Status (1)

Country Link
CN (1) CN112261386B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118555357B (zh) * 2024-07-24 2024-10-22 浙江大华技术股份有限公司 一种视频拼接存储方法、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002204445A (ja) * 2001-11-06 2002-07-19 Mitsubishi Heavy Ind Ltd 可視カメラ・赤外線カメラ併用型異常検知装置
CN104284154A (zh) * 2014-10-16 2015-01-14 四川君逸易视科技有限公司 Atm机房环境综合采集仪
CN108419045A (zh) * 2018-02-11 2018-08-17 浙江大华技术股份有限公司 一种基于红外热成像技术的监控方法及装置
CN110261007A (zh) * 2019-07-11 2019-09-20 南京工业大学 一种应用无线温度传感器和无人机精确定位的数据机房局部热点探测系统及方法
CN111784026A (zh) * 2020-05-28 2020-10-16 国网信通亿力科技有限责任公司 基于云边端协同感知的变电站电气设备全方位体检系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9643722B1 (en) * 2014-02-28 2017-05-09 Lucas J. Myslinski Drone device security system
US10080500B2 (en) * 2014-10-09 2018-09-25 Flir Systems, Inc. Systems and methods for monitoring sun exposure
US20200296301A1 (en) * 2019-03-15 2020-09-17 Savox Communications Oy Ab (Ltd) Image processing arrangement
CN209945580U (zh) * 2019-07-11 2020-01-14 南京工业大学 一种应用无线温度传感器和无人机精确定位的数据机房局部热点探测系统
CN111654601A (zh) * 2020-05-14 2020-09-11 高蓓 监控大面积多监控目标的装置
CN111882696A (zh) * 2020-07-31 2020-11-03 广东电网有限责任公司 一种机房巡检智能机器人及其巡检方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002204445A (ja) * 2001-11-06 2002-07-19 Mitsubishi Heavy Ind Ltd 可視カメラ・赤外線カメラ併用型異常検知装置
CN104284154A (zh) * 2014-10-16 2015-01-14 四川君逸易视科技有限公司 Atm机房环境综合采集仪
CN108419045A (zh) * 2018-02-11 2018-08-17 浙江大华技术股份有限公司 一种基于红外热成像技术的监控方法及装置
CN110261007A (zh) * 2019-07-11 2019-09-20 南京工业大学 一种应用无线温度传感器和无人机精确定位的数据机房局部热点探测系统及方法
CN111784026A (zh) * 2020-05-28 2020-10-16 国网信通亿力科技有限责任公司 基于云边端协同感知的变电站电气设备全方位体检系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
电子信息系统机房运行维护环境检测及评价研究;孙兰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150515;全文 *

Also Published As

Publication number Publication date
CN112261386A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
Liu et al. Automatic cloud detection for all-sky images using superpixel segmentation
CN109299703B (zh) 对鼠情进行统计的方法、装置以及图像采集设备
JP4494649B2 (ja) 基準映像を用いることなくデジタル映像の品質を推定する方法と装置
CN109167997B (zh) 一种视频质量诊断系统及方法
CN108900864B (zh) 基于运动轨迹的全参考视频质量评价方法
US10229481B2 (en) Automatic defective digital motion picture pixel detection
CN107197233A (zh) 基于边缘计算模型的监控视频数据质量评测方法及装置
CN111882810A (zh) 一种火灾识别与预警方法及其系统
CN109583355B (zh) 一种基于边界选择的人流统计的装置和方法
CN112367520B (zh) 基于人工智能的视频质量诊断系统
CN102469302A (zh) 应用于影像监控的可适应光线变化的背景模型学习系统
CN102340620B (zh) 基于马氏距离的视频图像背景检测方法
CN111683221B (zh) 嵌入矢量红线数据的自然资源实时视频监测方法及系统
CN112703532A (zh) 图像处理方法、装置、设备及存储介质
CN112261386B (zh) 一种视频高速帧差备份系统
CN116388379A (zh) 一种变电站远程红外智能巡检方法及系统
CN109905670A (zh) 一种多级平台监控系统
CN102510437B (zh) 基于rgb分量分布的视频图像背景检测方法
CN117764936A (zh) 显示屏异常检测方法、装置、设备及存储介质
CN102509076B (zh) 基于主成分分析的视频图像背景检测方法
CN115118934A (zh) 一种直播效果监控处理方法及系统
CN112183310B (zh) 冗余监控画面过滤及无效监控画面筛选的方法及系统
WO2022005274A1 (en) A system and method for detecting a moving object in a dynamic environment from a sequence of captured images
CN118247715B (zh) 一种基于实时视频监控的流媒体磁盘存储方法
CN118570708B (zh) 一种视频智能分析方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A video high-speed frame difference backup system

Effective date of registration: 20210928

Granted publication date: 20210309

Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd.

Pledgor: Optical Valley Technology Co.,Ltd.

Registration number: Y2021420000109