CN111582076A - 一种基于像素运动智能感知的画面冻结检测方法 - Google Patents

Abstract

本发明公开了一种基于像素运动智能感知的画面冻结检测方法，属于视频图像诊断技术领域，包括如下步骤：获取摄像机视频流检测序列和50帧图片；利用高斯滤波核卷积对应的50帧图片；利用深度学习建立网络模型，并使该模型通过结合图片上下帧的动态信息，对图片中微小的像素运动进行放大，并输出运动放大的灰度图；针对步骤3中输出的灰度图通过公式0.299×R+0.587×G+0.114×B，得到每个视频帧的亮度信息，并对灰度图利用DIS光流进行动态分析，结果是得到多张光流场图像。本发明通过利用深度学习构建模型对图片中微小的像素运动进行放大，然后利用光流法去捕捉图像被放大的动态信息，解决了现有方法中对场景的依赖性，适用于更多的应用场合且拥有较高的准确率。

Description

一种基于像素运动智能感知的画面冻结检测方法

技术领域

本发明涉及一种画面冻结检测方法，特别是涉及一种基于像素运动智能感知的画面冻结检测方法，属于视频图像诊断技术领域。

背景技术

视频冻结，即IP摄像机因为网络的干扰或者在视频传输过程中系统的故障引起的视频画面冻结，具体表现可为视频画面不变时间在不停变化，或者是时间和视频的画面都没有发生任何的变化。并且这种情况需要存在一定时长的时间才认定为该摄像机发生了视频画面冻结。对于偶尔发生的短暂的视频画面冻结现象，应该排除在视频冻结之外。

视频画面冻结诊断的基础是算法是否能判断出画面存在细微的变化以区别一个场景不变的画面，这需要对比前后多帧的图像变化。现有的技术中判断视频是否发生冻结的方法主要有利用像素直方图统计变化和判断图片画面相似度的程度。但是这些方法判断准确度都不是非常高。其中判断直方图统计变化是根据前后帧的图片像素信息来判断视频画面是不是发生冻结，这种方法对于微小的变化并不是非常明显，因此有时很容易会对没有物体运动的画面误检为冻结。判断图片相似度的方法主要是根据同一像素位置的差异值T，对连续获得的视频帧做差分，统计变化的像素个数，达到一定的比例后，就认为当前帧画面发生变化，否则认为当前帧冻结，累计N帧后判定监控画面冻结，该方法对于复杂的环境没有很好的适应性，因此测试环境一多，对于阈值的设定就会变得极为依赖。

发明内容

本发明的主要目的是为了解决现有技术的不足，而提供一种基于像素运动智能感知的画面冻结检测方法。

本发明的目的可以通过采用如下技术方案达到：

一种基于像素运动智能感知的画面冻结检测方法，包括如下步骤：

步骤1：获取摄像机视频流检测序列和50帧图片；

步骤2：利用高斯滤波核卷积对应的50帧图片；

步骤3：利用深度学习建立网络模型，并使该模型通过结合图片上下帧的动态信息，对图片中微小的像素运动进行放大，并输出运动放大的灰度图；

步骤4：针对步骤3中输出的灰度图通过公式0.299×R+0.587×G+0.114×B，得到每个视频帧的亮度信息，并对灰度图利用DIS光流进行动态分析，结果是得到多张光流场图像；

步骤5：将得到的光流场转换到HSV颜色空间，其中光流中的数值用不同的颜色去区分；

步骤6：设置阈值T1，利用T1判断HSV中颜色是否发生变化，若发生变化的像素大于T1则判定该图像中存在运动物体，反之，则判定为冻结；

步骤7：排除50帧中偶然的因素，额外增设了阈值T2，其中T2是用来比较发生冻结的比率，

M表示发生冻结的帧数，若radio>T2则认为在该50帧视频中发生了冻结，若radio<T2则认为在该50帧视频中是正常的。

优选的，在步骤2中，所述高斯滤波核采用3x3的高斯滤波器。

优选的，所述高斯滤波核卷积的具体实现是：用一个大小为2×N+1的模板称积核或掩模，依次扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度替代模板中心像素点的灰度值其中模板中的权重值符合二维的高斯分布，高斯分布公式如下：

优选的，在步骤3中，放大是指采用放大技术，放大技术是一种从视频到视频的滤波处理，能够使能够看到在视频中肉眼看不到的微小的运动。

优选的，在步骤3中，具体流程分为：

设计编码器进行形状特征和纹理特征的提取，给定前后帧输入X_a和X_b，通过网络获得它们各自独特的形状特征M_a和M_b，和相对应的纹理特征V_a和V_b对纹理特征进行运动放大；

把前后帧对应的形状特征输入到操作器网络G_m(·)，G_m(·)表示为G_m(M_a,M_b,α)＝M_α+h(α·g(M_b-M_a))，其中g(·)代表3×3卷积，并且h(·)是一个3×3卷积，在它的后面跟着一个3×3的残差模块；

解码器网络，在该网络中主要是模拟一个金字塔重构融合的过程，将修改放大后的形状特征M_a以及前帧的纹理特征V_a送入编码器网络，由此产生运动的放大帧；

最后将输出的放大帧通过步骤4将生成图片转换成关于图像亮度的图，并将亮度图输入到步骤5。

优选的，在步骤4中，所述公式0.299×R+0.587×G+0.114×B中，R代表的是对应图像中红色通道中的像素强度，G代表对应图像中绿色通道中的像素强度，B代表对应图像在蓝色通通道中的像素强度。

优选的，在步骤5中，色斑颜色的深浅代表像素运动的速率，白色则代表画面中无运动中的像素。

优选的，步骤5中，利用了DIS光流算法，其中光流就是指空间运动物体在观测成像平面上的像素运动的瞬时速度。

本发明的有益技术效果：按照本发明的基于像素运动智能感知的画面冻结检测方法，利用深度学习构建模型对图片中微小的像素运动进行放大，然后利用光流法去捕捉图像被放大的动态信息，解决了现有方法中对场景的依赖性，适用于更多的应用场合且拥有较高的准确率。

附图说明

图1为本发明方法结构的基本流程图；

图2为本发明方法运动放大模型网络结构图；

图3为本发明方法运动放大模型中的编码器网络结构；

图4为本发明方法运动放大模型中的操作器网络结构；

图5为本发明方法运动放大模型中的解码器网络结构。

具体实施方式

为使本领域技术人员更加清楚和明确本发明的技术方案，下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1-图5所示，本实施例提供的基于像素运动智能感知的画面冻结检测方法，包括如下步骤：

步骤1：获取摄像机视频流检测序列和50帧图片；

步骤2：利用高斯滤波核卷积对应的50帧图片；

步骤3：利用深度学习建立网络模型，并使该模型通过结合图片上下帧的动态信息，对图片中微小的像素运动进行放大，并输出运动放大的灰度图；

步骤4：针对步骤3中输出的灰度图通过公式，得到每个视频帧的亮度信息，并对灰度图利用DIS光流进行动态分析，结果是得到多张光流场图像；光流场图像代表像素的运动信息

步骤5：将得到的光流场转换到HSV颜色空间，其中光流中的数值用不同的颜色去区分；

步骤6：设置阈值T1，利用T1判断HSV中颜色是否发生变化，若发生变化的像素大于T1则判定该图像中存在运动物体，反之，则判定为冻结；

步骤7：排除50帧中偶然的因素，额外增设了阈值T2，其中T2是用来比较发生冻结的比率，

M表示发生冻结的帧数，若radio>T2则认为在该50帧视频中发生了冻结，若radio<T2则认为在该50帧视频中是正常的。

在步骤2中，高斯滤波核采用3x3的高斯滤波器。3×3的高斯滤波器来平滑的待处理的图像帧，减小了图像中的细小噪声对后续算法的影响。其中高斯滤波的过程其实就是对整幅图像进行加权平均操作的过程。滤波后图像上每一个像素的灰度值大小，由其本身和邻域内的其他像素共同决定。高斯滤波核卷积的具体实现是：用一个大小为2×N+1的模板称积核或掩模，依次扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度替代模板中心像素点的灰度值其中模板中的权重值符合二维的高斯分布，高斯分布公式如下：

在步骤3中，放大是指采用放大技术，放大技术是一种从视频到视频的滤波处理，能够使能够看到在视频中肉眼看不到的微小的运动，具体流程分为：

设计编码器进行形状特征和纹理特征的提取，给定前后帧输入X_a和X_b，通过网络获得它们各自独特的形状特征M_a和M_b，和相对应的纹理特征V_a和V_b对纹理特征进行运动放大；把前后帧对应的形状特征输入到操作器网络G_m(·)，G_m(·)表示为G_m(M_a,M_b,α)＝M_α+h(α·g(M_b-M_a))，其中g(·)代表3×3卷积，并且h(·)是一个3×3卷积，在它的后面跟着一个3×3的残差模块；解码器网络，在该网络中主要是模拟一个金字塔重构融合的过程，将修改放大后的形状特征以及前帧的纹理特征送入编码器网络，由此产生运动的放大帧；最后将输出的放大帧通过步骤4将生成图片转换成关于图像亮度的图，并将亮度图输入到步骤5。

在步骤4中，公式0.299×R+0.587×G+0.114×B中，R代表的是对应图像中红色通道中的像素强度，G代表对应图像中绿色通道中的像素强度，B代表对应图像在蓝色通通道中的像素强度。

在步骤5中，色斑颜色的深浅代表像素运动的速率，白色则代表画面中无运动中的像素。利用了DIS光流算法，其中光流就是指空间运动物体在观测成像平面上的像素运动的瞬时速度。为了能够更加明显的看到物体像素在图像帧中的变化，在步骤5中利用了DIS光流算法。其中所谓的光流就是指空间运动物体在观测成像平面上的像素运动的瞬时速度。对光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的运动。研究光流场的目的就是为了从图片序列中近似得到不能直接得到的运动场即每个像素点的速度向量

其中利用光流法的前提就有首要的三个假设：相邻帧之间的亮度恒定；相邻帧之间的物体运动微小；保持空间一致性；即，同一子图像的像素点具有相同的运动；根据前两个假设，就可以得到：I(x,y,t)＝I(x+dx,y+dy,t+dt)，利用一阶泰勒级数展开可得：

即：I_xdx+I_ydy+I_tdt＝0

令

可得：

根据假设就可得：

即：

计算得出

就是所需要的像素的速度向量

之后把计算出来的像素速度以矩阵的形式存储就可以得到的像素运动的光流场图像。然后就把光流场的矩阵图像转换到HSV颜色空间，做了改处理，不但可以可视化像素运动的速度大小，还可以经过一定的操作去量化图片中运动的像素。利用阈值化参数T1来判定该图像中像素运动的个数，判断相邻图片之间是都发生了冻结现象。为了提高算法的鲁棒性，还设置了参数T2，该参数是用来衡量冻结帧在总的帧数里面所占的比例。若高于T2则就说明在该视频片段中发生了冻结现象。的算法只要通过两个可调节的阈值就可判断成是否发生冻结，适用于更多的场景，且有极高的准确率。

在本实施例中，如图1-图5所示，本实施例提供的一种基于像素运动智能感知的画面冻结检测方法的工作过程如下：

步骤1：从当前IP摄像机中获取当前画面的50帧图像视频；

步骤2：由于现在的图像中会很很多细小的噪声，为了防止噪声对后续网络输入的影响，使用了大小约为3x3大小的高斯滤波器去平滑获得的50帧视频图像。

其中高斯滤波器卷积核中的权重值符合二维的高斯分布

x，y代表的就是核中相对的坐标，σ代我表们人为设置的标准差。

步骤3：将在步骤2中已经去噪的图像视频帧送入已经训练好的运动放大模型之中，得到运动放大图像；

本实施方法中的运动放大模型主要由三部分构成：编码器网络、操作器网络和解码器网络。该图模型主要是表示模型训练阶段的网络模型，在训练过程中主要就是通过学习前后两视频帧X_a，X_b的空间运动特征的差异，然后通过操作器网络以一个放大因子α来放大前后帧的运动大小，之后把放大的运动叠加到原来X_b中；最后就得到了运动放大后的帧Y。

对于编码器网络，它的输入是已经处理过的视频图像帧，输入的尺寸是H×W×3，经过两个卷积网络模块和三个残差网络模块生成了具有纹理特征和形状特征的特征向量，为了区分它们，该网络又引出两路分支子网络，目的就是为了得到前后帧X_a和X_b，更细致的纹理特征V_a和V_b，以及形状特征M_a和M_b。

对于操作器网络，把从编码器网络输出的前后帧的形状特征输入到操作器网络中，主要的过程就是模拟带通滤波器以及像素特征的运动放大和权重叠加。其中为了增加网络的非线性，提高网络的表达能力，以及更好地模拟带通滤波器的功能，该网络的处理就是在网络中增加了g(·)，h(·)网络运算因为在网络运算中添加了非线性的激活函数Relu。

该网络的表达式：G_m(M_a,M_b,α)＝M_α+h(α·g(M_b-M_a))

其中g(·)表示的是3x3卷积后面加上Relu激活函数；

h(·)表示的是3x3残差卷积模块。

对于解码器网络，主要为了融合前面已经进行处理的形状放大特征M_a以及相应的纹理特征V_a。该网络的主要流程就是输入放大的形状特征和纹理特征，对他们进行特征通道融合，经过9个残差卷积模块可以有效的防止梯度弥散，然后通过上采样将尺寸规划到指定尺寸，之后再利用卷积网络提取高层的语义信息提高特征表达表达能力，输出得到的运动放大图。

步骤4：将步骤3中输出的运动放大图输入到DIS光流算法中，利用光流法输出所需要的像素光流场；

在该步骤中，需要利用光流法计算图像中每个像素的速度矢量

这里的速度是个矢量，不仅有运动大小信息，还包括了像素的运动信息。要利用光流法是有前提假设：1相邻帧之间的亮度恒定；2相邻视频帧的取帧时间连续，或者说相邻帧之间物体之间的运动比较微小。根据假设可以得到恒等式：I(x,y,t)＝I(x+dx,y+dy,t+dt)，

该式子一阶泰勒公式展开得到

即：I_xdx+I_ydy+I_tdt＝0，令

得到，

即：

假设在(u,v)的一个微小的局部领域内，它的亮度是恒定的，那么：

即：

计算光流的目的就是使得

最小。

求得

就是所需要的在点的速度矢量。因此在计算光流的时候需要把每一张相邻的运动放大视频帧送入到的光流法法之后，最后就可求得每一个像素点于相邻视频帧的光流图即像素是否发生运动的判别方式。

步骤5：在该步骤中把输出的光流图转换到HSV颜色空间，并且在该HSV颜色空间中S通道代表着色斑颜色深浅，即代表像素运动速率，白色代表物体无运动。

将HSV颜色空间直接二值化S通道一衡量相邻帧中运动的像素个数，并设置了阈值T₁来判断该帧图片是否发生冻结，若运动的参数大于T₁,则判定该相邻图片未发生冻结；再设置一个二级阈值T₂用来判断所取视频流中发生冻结的帧数，若该累计冻结的视频帧数小于T₂，则视频片段未发生冻结，反之，则该段时间视频发生冻结。

综上所述，在本实施例中，按照本实施例的基于像素运动智能感知的画面冻结检测方法，本实施例提供的基于像素运动智能感知的画面冻结检测方法，试图直接使用深度卷积神经网络从已有样本中学习滤波器。在该训练过程中，按照一定的运动系数、尺度系数等特性仔细地设计了一个人工合成的数据集，该数据集可以很好地捕捉视频中小的运动，用两帧图像作为输入就可以训练。总体的过程就是通过网络来学习前后帧例如用，表示的是在两个编码器的输入，之后利用这两帧的空间特征差异的特征差就可以求得；然后利用对感兴趣区域部分的运动特征进行运动放大，并且叠加到初始的空间特征中；把叠加后的帧用，其中该深度像素运动放大网络模型主要是由编码器Encode、操作器Manipulator、解码器Decoder三部分组成。

以上所述，仅为本发明进一步的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其构思加以等同替换或改变，都属于本发明的保护范围。

Claims (8)

1.一种基于像素运动智能感知的画面冻结检测方法，其特征在于，包括如下步骤：

步骤1：获取摄像机视频流检测序列和50帧图片；

步骤2：利用高斯滤波核卷积对应的50帧图片；

步骤3：利用深度学习建立网络模型，并使该模型通过结合图片上下帧的动态信息，对图片中微小的像素运动进行放大，并输出运动放大的灰度图；

步骤4：针对步骤3中输出的灰度图通过公式0.299×R+0.587×G+0.114×B，得到每个视频帧的亮度信息，并对灰度图利用DIS光流进行动态分析，结果是得到多张光流场图像；

步骤5：将得到的光流场转换到HSV颜色空间，其中光流中的数值用不同的颜色去区分；

步骤6：设置阈值T1，利用T1判断HSV中颜色是否发生变化，若发生变化的像素大于T1则判定该图像中存在运动物体，反之，则判定为冻结；

步骤7：排除50帧中偶然的因素，额外增设了阈值T2，其中T2是用来比较发生冻结的比率，

M表示发生冻结的帧数，若radio>T2则认为在该50帧视频中发生了冻结，若radio<T2则认为在该50帧视频中是正常的。

2.如权利要求1所述的一种基于像素运动智能感知的画面冻结检测方法，其特征在于，在步骤2中，所述高斯滤波核采用3x3的高斯滤波器。

3.如权利要求2所述的一种基于像素运动智能感知的画面冻结检测方法，其特征在于，所述高斯滤波核卷积的具体实现是：用一个大小为2×N+1的模板称积核或掩模，依次扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度替代模板中心像素点的灰度值其中模板中的权重值符合二维的高斯分布，高斯分布公式如下：

4.如权利要求1所述的一种基于像素运动智能感知的画面冻结检测方法，其特征在于，在步骤3中，放大是指采用放大技术，放大技术是一种从视频到视频的滤波处理，能够使能够看到在视频中肉眼看不到的微小的运动。

5.如权利要求1所述的一种基于像素运动智能感知的画面冻结检测方法，其特征在于，在步骤3中，具体流程分为：

设计编码器进行形状特征和纹理特征的提取，给定前后帧输入X_a和X_b，通过网络获得它们各自独特的形状特征M_a和M_b，和相对应的纹理特征V_a和V_b对纹理特征进行运动放大；

把前后帧对应的形状特征输入到操作器网络G_m(·)，G_m(·)表示为G_m(M_a,M_b,α)＝M_α+h(α·g(M_b-M_a))，其中g(·)代表3×3卷积，并且h(·)是一个3×3卷积，在它的后面跟着一个3×3的残差模块；

解码器网络，在该网络中主要是模拟一个金字塔重构融合的过程，将修改放大后的形状特征M_a以及前帧的纹理特征V_a送入编码器网络，由此产生运动的放大帧；

最后将输出的放大帧通过步骤4将生成图片转换成关于图像亮度的图，并将亮度图输入到步骤5。

6.如权利要求1所述的一种基于像素运动智能感知的画面冻结检测方法，其特征在于，在步骤4中，所述公式0.299×R+0.587×G+0.114×B中，R代表的是对应图像中红色通道中的像素强度，G代表对应图像中绿色通道中的像素强度，B代表对应图像在蓝色通通道中的像素强度。

7.如权利要求1所述的一种基于像素运动智能感知的画面冻结检测方法，其特征在于，在步骤5中，色斑颜色的深浅代表像素运动的速率，白色则代表画面中无运动中的像素。

8.如权利要求1所述的一种基于像素运动智能感知的画面冻结检测方法，其特征在于，步骤5中，利用了DIS光流算法，其中光流就是指空间运动物体在观测成像平面上的像素运动的瞬时速度。

Images