CN103067702B - 一种用于具有静止画面视频的视频浓缩方法 - Google Patents

Abstract

本发明涉及一种用于具有静止画面视频的视频浓缩方法，属于视频压缩技术领域。首先逐帧处理待浓缩视频，利用基于高斯混合的运动检测方法，确定视频帧中所有像素点的初始判定状态，再对其进行空域滤波处理以确定最终判定状态，比较视频帧中最终判定状态为运动状态的像素点数目与阈值的大小关系，得到视频帧的初始判定状态，待逐帧处理完成，对所有视频帧的初始判定状态进行时域滤波，得到其最终判定状态，去除其中静止状态的视频帧，得到浓缩后的视频。本方法在最大化保有信息量的前提下大幅降低视频数据量，为存储、传输带来便利，同时浓缩视频以方便观看者高效进行信息提取。且还具有浓缩程度灵活易控、缓慢变化环境下鲁棒性高等优点。

Description

一种用于具有静止画面视频的视频浓缩方法

技术领域

本发明涉及一种用于具有静止画面视频的视频浓缩方法，属于视频压缩技术领域。

背景技术

数字视频之所以需要压缩，是因为它原来的形式占用的空间大得惊人。视频经过压缩后,存储时会更方便。数字视频压缩以后并不影响作品的最终视觉效果，因为它只影响人的视觉不能感受到的那部分视频。例如,有数十亿种颜色,但是只能辨别大约1024种。因为觉察不到一种颜色与其邻近颜色的细微差别，所以也就没必要将每一种颜色都保留下来。还有一个冗余图像的问题—如果在一个60秒的视频作品中每帧图像中都有位于同一位置的同一把椅子，那就没有必要在每帧图像中都保存这把椅子的数据了，总之，压缩视频实质上就是去掉感觉不到的那部分数据的过程。

现有的视频压缩方法主要集中在通过一定的编码方法去除视频冗余，从而达到降低存储、传输数据量的作用，典型方法如预测编码、统计编码(熵编码)、变换编码等。

通常现有的视频压缩格式综合利用以上各种压缩编码方法以获得较高的数据压缩比，最为著名的是H.264，由国际电信联盟（ITU-T）所制定的新一代的视频压缩标准。H.264最具价值的部分无疑是更高的数据压缩比。在同等的图像质量条件下，H.264的数据压缩比能比当前DVD系统中使用的MPEG-2高2-3倍，比MPEG-4高1.5-2倍。正因为如此，经过H.264压缩的视频数据，在网络传输过程中所需要的带宽更少，也更加经济。

视频中真正向观看者传达信息的是运动的画面而非静止画面。从信息论的角度而言，由静止画面组成的视频片段中，由于静止帧的可预测性，其并不能消除任何观看者的不确定性，从而不能提供任何信息。对于试图从视频中获取一定信息观看者而言，静止画面占用了观看者的观看时间，属于无用片段。现有的视频压缩方法以对于这一部分静止画面的处理方法是利用帧间预测进行时域冗余压缩，解码播放时尽量恢复这一静止片段，这样的处理方式确实带来了存储和传输上的码率增益，但是从观看者的角度而言，解码播放的这一部分的视频内容分散其观看精力，占用其观看时间却没有提供任何信息。具体以监控视频为例进行说明。

随着平安城市等大型项目的开展，监控视频的压缩处理受到越来越大的关注，每天产生的庞大的数字视频数据量以及由此引发的巨大的网络传输压力、数据处理压力，成为了大型监控系统架设过程中必须要给予着重考虑的关键问题。目前监控视频处理中的一些核心内容仍然离不开人工辅助操作，比如如果需要从很多段的监控视频中找到能够提供关键信息的几帧核心视频内容，那么则需要将视频调出播放，人工观测标注，再对关键视频片段进行后续处理。人工标注的过程漫长而繁琐，因为监控视频大部分时间片段所能提供的信息很有限，尤其考虑到大部分监控摄像头固定，拍摄所得监控视频中存在大量连续静止的画面，这一部分画面基本不能向观看者提供任何信息，但为了不错过核心内容，随便跳过一些视频片段又不是一种可行的方案，整体而言，这种工作模式效率较低，限制了监控视频的处理速度，加重了安防部门视频处理的负担。现有的视频压缩方法对这一问题束手无策，因为其不会改变视频时长，无法将视频的信息量进行汇集浓缩。

发明内容

本发明的目的是提出一种用于具有静止画面视频的视频浓缩方法，利用监控视频等具有静止画面的视频在视频内容上具有冗余性的特点，进行视频编码后的进一步浓缩。使得此类视频在内容上更加精简，加快观看视频者检索视频的速度。

本发明提出的具有静止画面视频的视频浓缩方法包括以下步骤：

（1）从输入待浓缩视频中读取一个视频帧G；

（2）利用基于高斯混合的运动检测方法，确定视频帧G中像素点的初始判定状态，包括以下步骤：

（2-1）设定一个判定阈值T，T的取值范围在0-1之间，按照高斯背景模型，对视频帧G中的每一像素点(x,y)处的像素亮度I^G(x,y)进行判断，若像素点(x,y)处的像素亮度I^G(x,y)符合下式：

则像素点(x,y)符合高斯背景模型，判定像素点(x,y)为背景点，像素点(x,y)的初始判定状态为静止状态，

若则像素点(x,y)不符合高斯背景模型，判定像素点(x,y)为前景点，即像素点(x,y)的初始判定状态为运动状态，

其中u(x,y)为与每个像素点(x,y)相对应的高斯背景模型的均值参数，d为与每个像素点(x,y)相对应的高斯背景模型的方差参数；

（2-2）根据当前视频帧G的像素亮度I^G(x,y)，对高斯背景模型中的参数进行更新，使u(t+1,x,y)=a*u(t,x,y)+(1-a)*I^G(x,y)，d保持不变，

其中u(t,x,y)为t时刻像素点(x,y)处高斯背景模型的均值参数，a为更新参数，a的取值范围在0-1之间；

（3）对步骤（2）的像素点的初始判定状态进行空域滤波处理，确定相应像素点的最终判定状态，具体过程包括以下步骤；

（3-1）以f(x,y)表示视频帧G中第x行、第y列上的像素点的初始判定状态，若该像素点的初始判定状态为运动状态，则使f(x,y)=1，若该像素点的初始判定状态为静止状态，则使f(x,y)=0；

（3-2）以g(x,y)表示视频帧G中第x行、第y列上的像素点滤波后的最终判定状态，若滤波后g(x,y)=1，则判定该像素点的最终判定状态为运动状态，若滤波后g(x,y)=0，则判定该像素点的最终判定状态为静止状态；

（3-3）根据步骤（2）确定的像素点的初始判定状态，对视频帧G中的所有像素点的初始判定状态进行滤波处理，若像素点(x,y)的上、下、左、右四个点的初始判定状态同时为运动状态，则像素点(x,y)的最终判定状态为运动状态，若像素点(x,y)的上、下、左、右四个点中的任何一个点的初始判定状态不为运动状态，则像素点(x,y)的最终判定状态为静止状态，即：

若f(x-1,y)=1且f(x+1,y)=1且f(x,y-1)=1且f(x,y+1)=1，则g(x,y)=1；若f(x-1,y)≠1或f(x+1,y)≠1或f(x,y-1)≠1或f(x,y+1)≠1,则g(x,y)=0；

（4）初始判定视频帧G运动状态的步骤说明如下：设定一个运动帧中运动像素数目的阈值A，A的取值范围在0.01XY和0.5XY之间，其中X为视频帧G的总行数，Y为视频帧G的总列数，根据步骤（3）得到的g(x,y)的值，对视频帧G中所有像素点的g(x,y)的值求和，得到视频帧G中最终判定状态为运动状态的所有像素点的数目和S，即：将S与阈值A进行比较，若S＞A，则判定视频帧G的初始判定状态为运动状态，若S≤A，则判定视频帧G的初始判定状态为静止状态；

（5）重复步骤（1）-（4），得到待浓缩视频中所有视频帧的初始判定状态；

（6）对上述待浓缩视频中所有视频帧的初始判定状态进行时域平滑滤波，得到待浓缩视频中所有视频帧的最终判定状态，包括以下步骤：

（6-1）以F(t)表示待浓缩视频中第t帧的初始判定状态，若第t帧的初始判定的运动状态，则F(t)=1，若第t帧为初始判定的静止状态，则F(t)=0；

（6-2）以H(t)表示视频中第t帧的最终判定状态，若H(t)=1表示该帧的最终判定状态为运动状态，若H(t)=0表示该帧的最终判定状态为静止状态；

（6-3）设定一个时域滤波的窗口大小参数m，取值范围为20和1000之间，设定一个确定最终判定状态的阈值M，范围在0.05*m和0.5*m之间，根据步骤（5）得到的待浓缩视频中所有视频帧的初始判定状态，对待浓缩视频中所有视频帧的初始判定状态进行时域滤波处理，并将时域滤波处理结果与阈值M进行比较，若则H(t)=1，该视频帧的最终判定状态为运动状态，若则H(t)=0，该视频帧的最终判定状态为静止状态；

（7）将待浓缩视频中的最终判定状态为静止状态的视频帧去除，得到浓缩后的视频。

本发明提出的用于具有静止画面视频的视频浓缩方法，其优点是：

1、本发明方法针对用户需要从视频中提取有用信息这一应用场景，去除了无法提供任何有用信息的静止视频片段，这样相比于传统压缩方法，进一步减小了视频数据量。该方法能够在最大化保有信息量的前提下大幅降低视频数据量，为存储、传输带来便利，大大减轻视频存储、传输压力，同时浓缩视频内容，为观看者提供便利，使其能够更加高效地进行信息提取。

2、本发明方法非常灵活，可以根据用户需要，通过调整对应高斯背景模型的阈值，设定该方法将视频帧判定为运动状态的灵敏度，阈值越大，灵敏度越大，越容易将视频帧判定为运动状态，阈值越小，灵敏度越小，越容易将视频帧判定为静止状态，这种灵敏度的调节可以使用户有效控制浓缩的程度，故用户可以根据实际需要灵活调整，非常方便。

3、本发明方法采用了高斯背景模型，该模型对于背景具有很好的表示能力，因此本方法在环境缓慢变化，诸如光照、风等对画面造成影响的情况下，具有很好的鲁棒性，即并不会因为这些缓慢变化而发生静止与运动的错误判断。

附图说明

图1是本发明提出的用于具有静止画面视频的视频浓缩方法的流程框图。

具体实施方式

本发明提出的用于具有静止画面视频的视频浓缩方法，其流程框图如图1所示，包括以下步骤：

（1）从输入待浓缩视频中读取一个视频帧G；

（2）利用基于高斯混合的运动检测方法，确定视频帧G中像素点的初始判定状态，目前，运动物体检测的问题主要分为两类，摄像机固定和摄像机运动，而本发明所讨论的问题集中在摄像机固定的问题中（保证了具有一定比例静止画面），背景的变化是缓慢的，而且大都是由光照、风等等造成的影响，所以可以采用高斯背景模型法，通过对背景建模，然后对一幅给定图像判定各个像素点是否符合该模型，符合则判为背景点，否则为前景点，根据此法区分前景、背景像素点，从而分离前景和背景，一般来说，前景就是运动物体，背景就是静止物体，从而达到区分运动像素点与静止像素点，进行运动物体检测的目的，

单分布高斯背景模型认为，对一个背景图像，特定像素亮度的分布满足高斯分布，即对背景图像B，像素点(x,y)的亮度I^B(x,y)满足：

I^B(x,y)~N(u,d)

即I^B(x,y)服从均值为u，方差为d的高斯分布，这样背景模型的每个像素属性包括两个参数：平均值u和方差d。对于一幅给定的图像G，如果像素点(x,y)的亮度I^G(x,y)满足

则像素点(x,y)符合高斯背景模型，判定像素点(x,y)为背景点，像素点(x,y)的初始判定状态为静止状态，

若则像素点(x,y)不符合高斯背景模型，判定像素点(x,y)为前景点，即像素点(x,y)的初始判定状态为运动状态，

利用上述方法确定视频帧G中像素点的初始判定状态包括以下步骤：

（2-1）设定一个判定阈值T，T的取值范围在0-1之间，通常0.7是一个比较好的阈值选择，按照高斯背景模型，对视频帧G中的每一像素点(x,y)处的像素亮度I^G(x,y)进行判断，若像素点(x,y)处的像素亮度I^G(x,y)符合下式：

则像素点(x,y)符合高斯背景模型，判定像素点(x,y)为背景点，像素点(x,y)的初始判定状态为静止状态，

若则像素点(x,y)不符合高斯背景模型，判定像素点(x,y)为前景点，即像素点(x,y)的初始判定状态为运动状态，

其中u(x,y)为与每个像素点(x,y)相对应的高斯背景模型的均值参数，d为与每个像素点(x,y)相对应的高斯背景模型的方差参数；

（2-2）根据当前视频帧G的像素亮度I^G(x,y)，对高斯背景模型中的参数进行更新，使u(t+1,x,y)=a*u(t,x,y)+(1-a)*I^G(x,y)，d保持不变，

其中u(t,x,y)为t时刻像素点(x,y)处高斯背景模型的均值参数，a为更新参数，a的取值范围在0-1之间；

更新参数表示背景变化的速度，a越大，背景更新越慢，a越小，背景更新越快，一般情况下，不更新d参数，即点(x,y)对应的高斯背景模型的方差参数，实验中发现更不更新d，效果变化不大。

（3）对步骤（2）的像素点的初始判定状态进行空域滤波处理，确定相应像素点的最终判定状态，具体过程包括以下步骤；

（3-1）以f(x,y)表示视频帧G中第x行、第y列上的像素点的初始判定状态，若该像素点的初始判定状态为运动状态，则使f(x,y)=1，若该像素点的初始判定状态为静止状态，则使f(x,y)=0；

（3-2）以g(x,y)表示视频帧G中第x行、第y列上的像素点滤波后的最终判定状态，若滤波后g(x,y)=1，则判定该像素点的最终判定状态为运动状态，若滤波后g(x,y)=0，则判定该像素点的最终判定状态为静止状态；

（3-3）根据步骤（2）确定的像素点的初始判定状态，对视频帧G中的所有像素点的初始判定状态进行滤波处理，若像素点(x,y)的上、下、左、右四个点的初始判定状态同时为运动状态，则像素点(x,y)的最终判定状态为运动状态，若像素点(x,y)的上、下、左、右四个点中的任何一个点的初始判定状态不为运动状态，则像素点(x,y)的最终判定状态为静止状态，即：

若f(x-1,y)=1且f(x+1,y)=1且f(x,y-1)=1且f(x,y+1)=1，则g(x,y)=1；若f(x-1,y)≠1或f(x+1,y)≠1或f(x,y-1)≠1或f(x,y+1)≠1,则g(x,y)=0；

（4）初始判定视频帧G运动状态的步骤说明如下：设定一个运动帧中运动像素数目的阈值A，A的取值范围为0.01XY～0.5XY，A＝0.05XY是一个比较好的阈值选择，其中X为视频帧G的总行数，Y为视频帧G的总列数，根据步骤（3）得到的g(x,y)的值，对视频帧G中所有像素点的g(x,y)的值求和，得到视频帧G中最终判定状态为运动状态的所有像素点的数目和S，即：将S与阈值A进行比较，若S＞A，则判定视频帧G的初始判定状态为运动状态，若S≤A，则判定视频帧G的初始判定状态为静止状态；

（5）重复步骤（1）-（4），得到待浓缩视频中所有视频帧的初始判定状态；

（6）对上述待浓缩视频中所有视频帧的初始判定状态进行时域平滑滤波，得到待浓缩视频中所有视频帧的最终判定状态，包括以下步骤：

（6-1）以F(t)表示待浓缩视频中第t帧的初始判定状态，若第t帧的初始判定的运动状态，则F(t)=1，若第t帧为初始判定的静止状态，则F(t)=0；

（6-2）以H(t)表示视频中第t帧的最终判定状态，若H(t)=1表示该帧的最终判定状态为运动状态，若H(t)=0表示该帧的最终判定状态为静止状态；

（6-3）设定一个时域滤波的窗口大小参数m，取值范围为20和1000之间，一般取100，设定一个确定最终判定状态的阈值M，范围在0.05*m和0.5*m之间，一般取0.1*m，根据步骤（5）得到的待浓缩视频中所有视频帧的初始判定状态，对待浓缩视频中所有视频帧的初始判定状态进行时域滤波处理，并将时域滤波处理结果与阈值M进行比较，若则H(t)=1，该视频帧的最终判定状态为运动状态，若则H(t)=0，该视频帧的最终判定状态为静止状态，上述滤波的思路为在某一帧附近开一个大小为m的窗口，考察该帧临近的m帧是否初始判定的状态为运动状态，如果m帧中初始判定的状态为运动状态的帧的数目超过确定最终判定状态的阈值M，则该帧的最终判定状态为运动状态，如果m帧中初始判定的状态为运动状态的帧的数目不超过确定最终判定状态的阈值M，则该帧的最终判定状态为静止状态；

（7）将待浓缩视频中的最终判定状态为静止状态的视频帧去除，得到浓缩后的视频。

Claims (1)

1.一种用于具有静止画面视频的视频浓缩方法，其特征在于该方法包括以下步骤：

(1)从输入待浓缩视频中读取一个视频帧G；

(2)利用基于高斯混合的运动检测方法，确定视频帧G中像素点的初始判定状态，包括以下步骤：

(2-1)设定一个判定阈值T，T的取值范围在0-1之间，按照高斯背景模型，对视频帧G中的每一像素点(x,y)处的像素亮度I^G(x,y)进行判断，若像素点(x,y)处的像素亮度I^G(x,y)符合下式：

$e^{\frac{-{[I^G(x,y)-u(x,y)]}^2}{2d^2}}>T$

则像素点(x,y)符合高斯背景模型，判定像素点(x,y)为背景点，像素点(x,y)的初始判定状态为静止状态，

若则像素点(x,y)不符合高斯背景模型，判定像素点(x,y)为前景点，即像素点(x,y)的初始判定状态为运动状态，

其中u(x,y)为与每个像素点(x,y)相对应的高斯背景模型的均值参数，d为与每个像素点(x,y)相对应的高斯背景模型的方差参数；

(2-2)根据当前视频帧G的像素亮度I^G(x,y)，对高斯背景模型中的参数进行更新，使u(t+1,x,y)＝a*u(t,x,y)+(1-a)*I^G(x,y)，d保持不变，

其中u(t,x,y)为t时刻像素点(x,y)处高斯背景模型的均值参数，a为更新参数，a的取值范围在0-1之间；

(3)对步骤(2)的像素点的初始判定状态进行空域滤波处理，确定相应像素点的最终判定状态，具体过程包括以下步骤：

(3-1)以f(x,y)表示视频帧G中第x行、第y列上的像素点的初始判定状态，若该像素点的初始判定状态为运动状态，则使f(x,y)＝1，若该像素点的初始判定状态为静止状态，则使f(x,y)＝0；

(3-2)以g(x,y)表示视频帧G中第x行、第y列上的像素点滤波后的最终判定状态，若滤波后g(x,y)＝1，则判定该像素点的最终判定状态为运动状态，若滤波后g(x,y)＝0，则判定该像素点的最终判定状态为静止状态；

(3-3)根据步骤(2)确定的像素点的初始判定状态，对视频帧G中的所有像素点的初始判定状态进行滤波处理，若像素点(x,y)的上、下、左、右四个点的初始判定状态同时为运动状态，则像素点(x,y)的最终判定状态为运动状态，若像素点(x,y)的上、下、左、右四个点中的任何一个点的初始判定状态不为运动状态，则像素点(x,y)的最终判定状态为静止状态，即：

若f(x-1,y)＝1且f(x+1,y)＝1且f(x,y-1)＝1且f(x,y+1)＝1，则g(x,y)＝1；若f(x-1,y)≠1或f(x+1,y)≠1或f(x,y-1)≠1或f(x,y+1)≠1,则g(x,y)＝0；

(4)初始判定视频帧G运动状态的步骤说明如下：设定一个运动帧中运动像素数目的阈值A，A的取值范围在0.01XY和0.5XY之间，其中X为视频帧G的总行数，Y为视频帧G的总列数，根据步骤(3)得到的g(x,y)的值，对视频帧G中所有像素点的g(x,y)的值求和，得到视频帧G中最终判定状态为运动状态的所有像素点的数目和S，即：将S与阈值A进行比较，若S＞A，则判定视频帧G的初始判定状态为运动状态，若S≤A，则判定视频帧G的初始判定状态为静止状态；

(5)重复步骤(1)-(4)，得到待浓缩视频中所有视频帧的初始判定状态；

(6)对上述待浓缩视频中所有视频帧的初始判定状态进行时域平滑滤波，得到待浓缩视频中所有视频帧的最终判定状态，包括以下步骤：

(6-1)以F(t)表示待浓缩视频中第t帧的初始判定状态，若第t帧的初始判定的运动状态，则F(t)＝1，若第t帧为初始判定的静止状态，则F(t)＝0；

(6-2)以H(t)表示视频中第t帧的最终判定状态，若H(t)＝1表示该帧的最终判定状态为运动状态，若H(t)＝0表示该帧的最终判定状态为静止状态；

(6-3)设定一个时域滤波的窗口大小参数m，取值范围为20和1000之间，设定一个确定最终判定状态的阈值M，范围在0.05*m和0.5*m之间，根据步骤(5)得到的待浓缩视频中所有视频帧的初始判定状态，对待浓缩视频中所有视频帧的初始判定状态进行时域滤波处理，并将时域滤波处理结果与阈值M进行比较，若则H(t)＝1，该视频帧的最终判定状态为运动状态，若则H(t)＝0，该视频帧的最终判定状态为静止状态；

(7)将待浓缩视频中的最终判定状态为静止状态的视频帧去除，得到浓缩后的视频。