CN103826125B - 用于已压缩监控视频的浓缩分析方法和装置 - Google Patents

Abstract

本发明是关于一种用于已压缩监控视频的浓缩分析方法，其核心方法包括以下步骤：步骤S1，对已压缩监控视频进行部分解码，解码出帧间预测信息；步骤S2，帧间预测信息的特征信息预处理；步骤S3，基于帧间运动矢量的压缩域背景建模；步骤S4，基于背景建模的物理空白帧删除；步骤S5，对压缩域运动对象序列进行提取；及步骤S6，删除虚拟空白帧，在压缩域获得浓缩视频的生成方案。本发明还提供一种用于已压缩监控视频的浓缩分析装置。借由本发明，可以对压缩域监控视频进行浓缩分析处理，减少解码和分析上的时间花费，实现对监控视频的快速浓缩分析。

Description

用于已压缩监控视频的浓缩分析方法和装置

技术领域

本发明涉及一种监控视频的浓缩分析方法和装置，特别是涉及一种用于已压缩监控视频的浓缩分析方法和装置。

背景技术

监控视频存储数据量的迅速上升，给监控视频的存储、分析与浏览带来了前所未有的压力。虽然目前已经有不少高效的监控视频编码技术应用到监控视频的编码中，但是如何能够实现这些存储视频的快速分析，仍然是学术界和工业界亟待解决的一个问题。

近年来，监控视频的像素域智能视频分析已经成为计算机视觉界最为热门的研究领域之一。高斯混合背景建模技术也常常被作为基础技术应用于智能视频分析，该技术可以通过对监控视频逐像素点或逐处理单元地进行混合高斯建模，计算出后续像素点或处理单元隶属于前景运动对象或背景场景的概率，从而得到监控视频中运动对象的所在区域。

另外，由于历史监控视频通常是经过压缩后才进行存储和传输的，而将这种压缩的数据解码还原到像素域上再进行运动对象提取和监控视频分析，既费时又费力。因此，近些年来，压缩域运动对象提取和视频分析逐渐成为了安防监控领域的另一研究热点。在压缩域进行运动对象分割，仅需从视频码流中部分解码出运动矢量(Motion Victor,MV)、块划分和离散余弦转换(Discrete Cosine Transformation,DCT)系数等压缩域信息，避免了解码过程中耗时的运动补偿和参考帧重建过程，从而与像素域相比，在解码时间上有明显的提升。但是，由于压缩域可以利用的信息有限，无论是运动对象提取效果还是监控视频的分析精度，都与像素域存在一定的差距，为了提升压缩域的处理性能，众多研究者们也不断提出了自己的压缩域监控视频处理方法。

此外，由于人们对社会公共安全的需求日益提高，每天都会有数以百万计的监控摄像机在社区、医院、街道、商场内昼夜不停的拍摄，并且由于互联网带宽的增加、电子摄像技术的成熟和存储成本的降低刺激了监控行业的发展，监控视频本身的清晰度也越来越高。监控视频数量和清晰度的大幅增加带来的海量数据使得其浏览和存储成为一个非常棘手的问题。一方面，完整浏览长达几天的视频会耗费大量时间和人力，而快进又容易导致重要信息的遗漏；另一方面，监控视频的大部分帧中并没有运动对象，很多浏览时间会被白白浪费，即使出现了运动对象，也往往分布非常稀疏，每帧的画面空间存在很大冗余。所以，视频的时空域冗余需要通过方法来合理消除。因此，近年来视频浓缩技术[Pritch Y,Rav-Acha A,Peleg S.Nonchronological video synopsis and indexing[J].PatternAnalysis and Machine Intelligence,IEEE Transactions on,2008,30(11):1971-1984.]越来越被学术界和工业界所重视，该技术可以对有较多时空域冗余的监控视频进行冗余去除和浓缩浏览。最终将原始视频中不同时间、不同区域出现的运动对象在浓缩视频中同时显示，实现快速浏览。

但是，在目前的实际项目应用中，绝大部分需要做浓缩浏览的监控视频都是已编码压缩好的历史视频。而传统视频浓缩方法在处理已压缩的监控视频时，首先要对视频进行解压缩即解码，然后再对重建的像素域视频进行视频浓缩，最后才能显示到客户端，其中的视频流解码与像素域处理工作非常耗时，难以满足实际应用中对海量历史视频进行快速处理与浏览的需求。

因此，急需一种可以用于已压缩监控视频的浓缩分析方法和装置，以满足实际需求。

发明内容

本发明的目的在于提供一种用于已压缩监控视频的浓缩分析方法和装置，可以对压缩域监控视频进行浓缩分析处理，减少解码和分析上的时间花费，实现对监控视频的快速浓缩分析。

本发明的目的是采用以下技术方案来实现的。本发明提供一种用于已压缩监控视频的浓缩分析方法，其包括以下步骤：步骤S1，对已压缩监控视频进行部分解码，解码出帧间预测信息；步骤S2，帧间预测信息的特征信息预处理；步骤S3，基于帧间运动矢量的压缩域背景建模；步骤S4，基于背景建模的物理空白帧删除；步骤S5，对压缩域运动对象序列进行提取；及步骤S6，删除虚拟空白帧，在压缩域获得浓缩视频的生成方案。

本发明的目的还可采用以下技术措施进一步实现。

前述的用于已压缩监控视频的浓缩分析方法，其中在步骤S1中，如果已压缩监控视频是加扰的，还要对其进行去扰处理，再解码出帧间预测信息。

前述的用于已压缩监控视频的浓缩分析方法，其中该步骤S2包括以下步骤：步骤S21，读取监控视频的帧间预测信息；步骤S22，对帧间运动矢量信息进行中值滤波；以及步骤S23，归一化分割宏块为4*4子块。

前述的用于已压缩监控视频的浓缩分析方法，其中该步骤S3采取的背景建模方式包括两种：基于运动矢量局部二值模式的标量背景建模或基于运动矢量的矢量背景建模。

前述的用于已压缩监控视频的浓缩分析方法，其中在步骤S5中，进行的是基于图割的运动对象序列的提取。

前述的用于已压缩监控视频的浓缩分析方法，其中在步骤S6中，删除虚拟空白帧涉及两种删除模式：水平条带删除模式和垂直条带删除模式。

前述的用于已压缩监控视频的浓缩分析方法，其采用图形处理器(GraphicProcessing Unit,GPU)与中央处理器(Central Processing Unit,CPU)结合的方式，其中该步骤S3的背景建模使用基于图形处理器的算法程序实现，其他步骤使用基于中央处理器的算法程序实现。

本发明的目的还采用以下技术方案来实现的。本发明提供一种用于已压缩监控视频的浓缩分析装置，包括：解码模块，对已压缩监控视频进行部分解码，解码出帧间预测信息；预处理模块，对帧间预测信息进行特征信息预处理；背景建模模块，基于帧间运动矢量，进行压缩域背景建模；第一删除模块，在背景建模中或背景建模后，对物理空白帧进行删除；提取模块，对运动对象序列进行提取；第二删除模块，对虚拟空白帧进行删除，在压缩域获得浓缩视频的生成方案。

本发明的目的还可采用以下技术措施进一步实现。

前述的用于已压缩监控视频的浓缩分析装置，其还包括去扰模块，对加扰的已压缩监控视频进行去扰处理，以解码出帧间预测信息。

前述的用于已压缩监控视频的浓缩分析装置，其采用图形处理器(GraphicProcessing Unit,GPU)与中央处理器(Central Processing Unit,CPU)结合的方式，其中该背景建模模块的背景建模使用基于图形处理器的算法程序实现，其他模块使用基于中央处理器的算法程序实现。

借由上述技术方案，本发明的用于已压缩监控视频的浓缩分析方法和装置至少具有下列优点及有益效果：借由本发明，可以对压缩域监控视频进行浓缩分析处理，减少解码和分析上的时间花费，实现对监控视频的快速浓缩分析。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。

附图说明

图1：为本发明的用于已压缩监控视频的浓缩分析方法的流程图。

图2：为MVLBP的计算原理图。

图3(a)：为一个使用图割对3×3×2图像进行分割的简单实例。

图3(b)：为图割后，某一帧中的运动对象分割效果图。

图3(c)：为图割后，整个序列中的某一运动对象序列的分割效果图。

图4：为压缩域浓缩视频生成过程中的主观效果示意图。

图5(a)：为虚拟空白帧的水平条带删除模式。

图5(b)：为虚拟空白帧的垂直条带删除模式。

图6：为本发明的用于已压缩监控视频的浓缩分析装置的结构示意图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种用于已压缩监控视频的浓缩分析方法和装置的具体实施方式、结构、特征及其功效，详细说明如后。

参阅图1所示，为本发明的用于已压缩监控视频的浓缩分析方法的流程图；其中，该用于已压缩监控视频的浓缩分析方法包括以下步骤：

步骤S1，对已压缩监控视频进行部分解码，解码出帧间预测信息；

一般情况下，原始已压缩监控视频码流包括帧内预测信息、帧间预测信息和残差信息，当这些信息全部被解码后，即可组合重构出原始视频。当全部解码时，是将码流全部解码并重建出原始视频；而当部分解码时，只解码出部分信息，如帧间预测信息。

如果已压缩监控视频是加扰的，还要对其进行去扰处理，再解码出帧间预测信息。其中，不同的厂家提供不同格式的监控视频码流，又各厂家因为产品战略等方面的需求，通常会将监控视频码流加扰为自有的监控视频码流。这样，加扰后的自有监控视频码流不能使用H.264或MPEG4的通用解码器进行解码。故在部分解码之前，要对加扰后的自有监控视频码流进行去扰处理。

步骤S2，帧间预测信息的特征信息预处理；

特征信息预处理是一个去除非特征信息，提高算法执行效率的过程。其中，运动矢量(MV)预处理是特征信息预处理的主要工作。通过对运动矢量预处理，可以消弱甚至消除矢量噪声，获得较为准确的运动矢量，为后续运动对象块选取、区域去噪等做准备。H.264编码标准中，运动矢量是通过运动估计获得的，并不能完全反映运动对象的实际运动，而后续的编码量化、外界环境变化也可能引入噪声矢量，所以需要对运动矢量进行预处理，来提高运动矢量的可靠性。

H.264标准的帧间预测模式中，每个宏块可以有四种不同的分隔方式：1个16*16,2个16*8,2个8*16,4个8*8。而8*8模式的每个子宏块还可以进一步用四种方式再进行分隔：1个8*8，2个4*8,2个8*4,4个4*4。视频编码过程在块划分模式选择中，H.264的编码器为每个视频帧的每个宏块选择了最佳的分隔尺寸，在帧间视频内容变化小的区域选择大尺寸的16*16分隔，在帧间运动区域选择更细腻的小尺寸分隔，这样的块划分方式使得各划分块的帧间预测性能大大提高。

具体来说，该步骤S2还包括以下步骤：步骤S21，读取监控视频的帧间预测信息；步骤S22，对帧间运动矢量信息进行中值滤波，去除噪声运动矢量；及步骤S23，对帧间宏块进行统一处理，归一化分割宏块为4*4子块。(具体参考文献：Zeng W,Du J,Gao W,etal.Robust moving object segmentation on H.264/AVC compressed video using theblock-based MRF model[J].Real-Time Imaging,2005,11(4):290-299.)

步骤S3，基于帧间运动矢量的压缩域背景建模；

相比较基于聚类、分类等的运动对象提取算法，基于背景建模的运动对象提取算法对于监控视频的分析和处理而言有着明显的优势：首先背景建模算法计算复杂度较低，且易于实现；其次，监控视频的背景通常静止不变，就算变化，通常对于某个摄像头而言其在某个时间段内的背景通常也是固定不变的。在本发明中，主要针对压缩域帧间运动矢量信息进行背景建模，而可采取的背景建模方式包括两种：基于运动矢量局部二值模式(Motion Vector based Local Binary Pattern,MVLBP)的标量背景建模和基于运动矢量(Motion Vector,MV)的矢量背景建模。

第一种：基于MVLBP的标量背景建模。

运动矢量(MV)是一个矢量，因此与传统的基于像素域像素值(标量)的背景建模方法存在不同，为此在本发明中，首先通过引入像素域的局部二值模式(Local BinaryPatterns，LBP)特征，将运动矢量转化为一个标量，然后再进行背景建模。(可参考文献：Wang T,Liang J,Wang X,et al.Background Modeling Using Local Binary Patternsof Motion Vector[C]//Visual Communications and Image Processing(VCIP),2012IEEE.IEEE,2012:1-5.)

在H.264标准中，每个宏块都可以被划分为不同大小的子块，且每个子块通常都对应一个MV和一个参考帧。其中，MV是专门用来指示正在编码的当前块和参考帧中的参考块的对应位置的矢量。

参阅图2所示，局部二值模式(LBP)特征是基于MV场中每个子块提取出来的，且相邻块是按照块划分来选择的。这里的MV使用的是步骤S22进行去噪滤波后的MV，并不是步骤S23归一化到4*4子块后的MV。也就是说，围绕在当前块D₀四周的相邻块D₁-D₈都是基于压缩后监控视频的真实块划分。如果D_i块的MV幅值MVi大于当前块D₀的MV幅值，那么就设其为1；反之则为0。在本发明中，首先寻找当前块的四个顶角方向对应的四个块，其次再寻找与当前块的四条边相接的4领域。顶角方向的块是唯一确定的。而与当前块的四条边相接的块可能有以下两种情况。第一种情况：邻接块唯一确定，包括邻接块大于中心块的情况，如D₇-D₈；第二种情况：邻接块不只一个，如块D₂，可以对一个方向所有邻接块的MV值求均值。接着从左上角的块开始按顺时针方向遍历所有的邻接块。最后，以4*4块划分精度，使用每个4*4块的MVLBP标量值，对监控视频在压缩域进行背景建模。

第二种：基于MV的矢量背景建模。

在本发明中，背景建模还可以直接基于MV的矢量值进行背景建模。这里使用的是步骤S23归一化到4*4子块后的MV，而不是步骤S22后仅仅进行去噪滤波后的MV。具体来说，运动矢量MV是通过在运动估计过程中比较相邻帧像素值的相似性而得到的对块的运动趋势的估计。考虑到运动对象的运动剧烈程度在某种程度上可以通过MV分量值来表示，那么可以根据每个4*4块的MV分量值利用背景建模的方法来提取初始的运动对象区域。

在本发明中，在压缩域进行MV的矢量背景建模，可以引入高斯混合模型来对背景建模。(具体可参见文献：Xie D,Huang Z,Wang S,et al.Moving Objects Segmentationfrom Compressed Surveillance Video Based on Motion Estimation[C]//PatternRecognition(ICPR),201221st International Conference on.IEEE,2012:3132-3135.)

对于一个坐标为(x₀；y₀)的4×4块，MV的观测序列为A(x₀；y₀；t)，t＝1,2,3…T，用K个高斯密度函数Φ(μ_k，σ_k)，k＝1,2,3…K对其赋值。那么每个高斯密度函数的每个输入的4×4块观测值A(x；y；t)的概率可以由以下函数得出：

其中μ_k(x，y，t-1)和σ_k(x，y，t-1)是更新后的对于第(t-1)帧在(x；y)位置的第个高斯密度函数的均值和方差。

此外，为了更好的处理动态背景的问题，利用多模态背景建模来处理动态背景的影响。首先，利用相应的且归一化为1的权重w_k,t，k＝1,2,3…k对每个MV处理都加权估计k个密度函数。将这k个概率密度函数按照对应的权重从小到大进行排列。然后在当前状态下，首先如下确定背景密度函数的数量：

其中T_b是表明有多少数据被作为背景的阈值。接下来，之后输出的每个高斯密度的4×4块观测值的概率由P_r(A_t)表示：

因此，可以通过将观测块At的概率值与一个阈值Ts相比较就能初步判定该块为前景还是背景。此外，在处理每一帧时，在获得每一帧的背景建模结果的同时，还需要根据建模结果对当前帧每个处理单元的均值和方差等参数进行更新，再计算下一帧的背景建模结果。(对背景建模的处理和更新过程可参考文献：Stauffer C,Grimson W E L.Adaptivebackground mixture models for real-time tracking[C]//Computer Vision andPattern Recognition,1999.IEEE Computer Society Conference on.IEEE,1999,2.)

在实际工作中，基于MVLBP的标量背景建模和基于MV的矢量背景建模只需要选择一种方案进行实现即可。由于局部二值模式(LBP)计算可以理解为一种滤波操作，因此MVLBP标量背景建模方法对于MV噪声较大的测试序列；但对于噪声较小的测试序列，则是MV矢量背景建模方法,有更高的精确度和召回率综合性能。

步骤S4，基于背景建模的物理空白帧删除；

在基于背景建模的对象序列初始化阶段，可以发现部分帧中并没有出现运动对象的可能，即该类帧的每个背景建模单元的背景概率都大于前景概率。这种整帧都没有出现运动对象可能的帧，我们称之为“物理空白帧”，如图4所示。为了后续对运动对象序列的提取，在背景建模中或背景建模后，对物理空白帧进行删除。

步骤S5，对压缩域运动对象序列进行提取；

经过上述的背景建模及物理空白帧删除后，在进行压缩域视频浓缩前，要对压缩域运动对象序列进行提取。

在本发明中，主要是利用图割模型进行运动对象序列(队列)的提取。图像分割问题可以描述为对图像中各处理单元进行二元(前景和背景)标记的组合优化过程。而图割模型的核心思想在于构造一个能量函数，然后通过加权图的映射和网络流理论的运用，将标记问题的全局最优化求解转化为对应加权图的最大流/最小割问题。我们定义如下形式的能量函数：

其中，L＝{L_p|p∈P}是图像P的一个标记，Dp(Lp)表示观察到的处理单元和其真实表示之间差异的惩罚函数，表示在空域上相邻单元之间差异的惩罚函数。表示MV指向的在时域上相邻单元之间差异的惩罚函数。

如图3(a)、图3(b)及图3(c)所示，图3(a)为一个使用图割对3×3×2图像进行分割的简单实例，图3(b)为图割后，某一帧中的运动对象分割效果图，图3(c)为图割后，整个序列中的某一运动对象序列的分割效果图。该图3(c)中，因为骑自行车和走路的两个运动对象存在相交，因此被分割到了一个运动对象序列中。由加权图像映射理论定义的能量函数中的各分量可以按照相应的加权图像被映射。原始图像I(x；y)被映射为一个具有双极点的加权图G＝(V，ε)，它包括一系列的节点V和连接它们的权值边ε。其中，节点对应于图像中的单元点和称作极点的附加点。这些极点与标记值集合L_p相对应，比如源极点S表示前景标记，而汇极点T表示背景标记。另外，ε中有三种类型的权值边，分别是n-link、s-link、t-link。其中，n-link连接单元点与极点，其权值描述了对单元点进行对应标记的合理性，对应于能量函数(4)中的Dp(Lp)，如图3(a)中S或T节点与各单元点相连的边所示；s-link连接空域相邻的单元点，其权值描述了空域相邻单元点的相似性，对应于能量函数(4)中的如图3(a)中同一层内各椭圆节点间互连的边所示；t-link连接根据MV指向的时域相连的单元点，其权值描述了时域相邻单元点的连续性，对应于能量函数(4)中的如图3(a)所示的各层间单元点的连线。

在各边的权值赋值阶段，使用模糊数学中的钟形隶属度函数对由混合高斯背景建模得到的概率密度值进行的隶属度划分，从而对Dp(Lp)进行赋值。首先根据钟形隶属度函数的定义，一个4×4块是背景的概率为：

其中P(MV_t)为当前4*4处理单元，背景建模后属于背景的概率值，T_d为设定的概率阈值。则其是前景的概率为：

P_fg(P(MV_t))＝1-P_bg(P(MV_t))……(6)

则定义观察到的单元和其真实表示之间差异的惩罚函数Dp(Lp)为用前景概率减背景概率的绝对值表示，如下：

D_p(L_p)＝|1-2P_bg(P(MV_t))|……(7)

对于邻接单元之间差异的惩罚函数用邻接单元间的MV的欧氏距离的倒数来表示，定义如下：

其中：

Dis²(p，q)＝(MV_x(x_p，y_p，t_p)-MV_x(x_q，y_q，t_q))²+(MV_y(x_p，y_p，t_p)-MV_y(x_q，y_q，t_q))²，T_s为相似性参数。此外，时域邻接单元差异的惩罚函数如下：

其中R_p,r(MV_t)是当前4×4块的残差信息在离散余弦变换后所占的比特数。

为了能够交互式地提供关于前景和背景的先验知识，如图3(a)所示，需要标记一些前景和背景的种子点，进而影响n-link边的权值计算。则由式(5)和(6)概率值的大小可知某4×4块初始状态是背景还是前景，从而生成背景和前景的种子点。通过以上的方式,能量函数(4)就被映射到了一个S-T结构的加权图中。于是，如图3(a)所示，可以使用网络流的最大流/最小割理论，通过对加权图G进行全局S-T最小割运算实现能量函数的最小化，将运动对象序列边缘上的点，进行了更加精确的前景、背景划分，进而得到如图3(b)所示的最优运动对象分割和如图3(c)所示的最优运动对象序列分割。

步骤S6，删除虚拟空白帧，在压缩域获得浓缩视频的生成方案。

在基于图割的运动对象序列提取过程中，同时删除“虚拟空白帧”，最终在压缩域获得浓缩视频的生成方案。如图4所示，在删除“物理空白帧”的基础上，如果想进一步缩短视频长度生成浓缩视频，就需要删除“虚拟空白视帧”，组成这些帧的像素点可以不在同一个物理帧上，但是为了保证浓缩视频在显示时的正确性，要保证每次删除掉的像素点按对应的空域位置接到一起后正好可以组成一帧。

如图5(a)和图5(b)所示，为了降低删除“虚拟空白帧”时的算法复杂度，本发明采用条带化的虚拟空白帧确定模式，即水平条带删除模式和垂直条带删除模式，用以代替逐点的虚拟帧确定模式。这样水平条带的像素集合可表示为(x；y；t(x))，其中x＝1,……,W，且y＝1,……,H；对于所有x＝1,……,W-1，都有|t(x+l)-t(x)|＝γ1，其中71参数控制虚拟帧的时间跨度。同理，在垂直模式中，要求待删除的像素点集合中，时间轴坐标t的取值仅仅与垂直坐标y的取值有关，这样垂直条带的像素集合可表示为(x；y；t(y))，其中x＝1,……,W，且y＝1,……,H。对所有y＝1,……,H-1有|t(y+1)-t(y)|≤γl，其中γ1仍然为控制了虚拟帧时间跨度的参数。

这样生成浓缩视频的过程，可以看成是一个“虚拟空白帧”的删除过程，其中在水平条带模式和垂直条带模式下的删除代价分别为：

其中C(x；y；t)为该像素点为前景的指示函数，当该点在图割后被判定为前景点则其取值为1，当被判定为背景点则取值为0。同时，为了能进一步缩短浓缩视频的长度，在删除虚拟空白帧时，允许一定程度的运动对象时序错乱，同时引入了时序代价函数E_t，用以限制运动对象的时序错乱程度。假设在原始视频中对象序列b的出现要早于另一个对象序列b′，时序代价函数的公式如下：

其中和是对象b和b′在浓缩视频中的映射，是对象b的结束时间，是对象b′在浓缩视频中的出现时间。σ_time是定义两个对象时域重叠程度的参数。因此，浓缩分析过程可以表示为一个如下的最优最小化问题：

其中，M表示最终的浓缩视频生成方案，γ²为时域代价函数的调整参数，T_f是指示函数的最小值。

另外，本发明的用于已压缩监控视频的浓缩分析方法采用图形处理器(GraphicProcessing Unit,GPU)与中央处理器(Central Processing Unit,CPU)结合的方式，其中该步骤S2的背景建模使用基于图形处理器的算法程序实现，其他步骤使用基于中央处理器CPU的算法程序实现。这样可以加快浓缩分析的速度，缩短时间，同时保证视频浓缩分析的质量。

参阅图6所示，为本发明的用于已压缩监控视频的浓缩分析装置的结构示意图。该用于已压缩监控视频的浓缩分析装置进行浓缩分析的方法就是上述的用于已压缩监控视频的浓缩分析方法，在此不再赘述。该装置包括解码模块1、预处理模块2、背景建模模块3、第一删除模块4、提取模块5及第二删除模块6；其中，该解码模块1用于对已压缩监控视频进行部分解码，解码出帧间预测信息；该预处理模块2用于对部分解码出的帧间预测信息进行特征信息预处理；该背景建模模块3可以基于帧间运动矢量，进行压缩域背景建模，尤其是基于MVLBP的标量背景建模和基于MV的矢量背景建模；该第一删除模块4在背景建模中或背景建模后，对物理空白帧进行删除；该提取模块5对压缩域运动对象序列进行提取，特别是基于图割的压缩域运动对象序列提取；该第二删除模块6在压缩域运动对象序列提取的基础上对虚拟空白帧进行删除，从而在压缩域获得浓缩视频的生成方案。

另外，该用于已压缩监控视频的浓缩分析装置还包括去扰模块7，如果已压缩监控视频是加扰的，要对加扰的已压缩监控视频进行去扰处理，以解码出帧间预测信息。

此外，该用于已压缩监控视频的浓缩分析装置采用图形处理器(GraphicProcessing Unit,GPU)与中央处理器(Central Processing Unit,CPU)结合的方式，其中的背景建模模块使用基于图形处理器的算法程序实现，其他步骤使用基于中央处理器CPU的算法程序实现，这样可以加快浓缩分析的速度，缩短时间，同时保证视频浓缩分析的质量。

实际应用中，在压缩域获得浓缩视频生成方案的基础上，对获得的浓缩视频进行标记，成为浓缩分析后的视频码流；再经过完全解码，可以进行各种形式的监控视频的浓缩浏览，例如检索浏览和可伸缩浏览(可参考专利，专利名称；一种支持视频可伸缩浏览的视频编解码方法和装置；专利号：201110346398.0)。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (6)

1.一种用于已压缩监控视频的浓缩分析方法，其特征在于其包括以下步骤：

步骤S1，对已压缩监控视频进行部分解码，解码出帧间预测信息；

步骤S2，帧间预测信息的特征信息预处理；其中步骤S2包括以下步骤：

步骤S21，读取监控视频的帧间预测信息；

步骤S22，对帧间运动矢量信息进行中值滤波，去除噪声运动矢量；

步骤S23，对帧间宏块进行统一处理，归一化分割宏块为4*4子块；

步骤S3，针对压缩域帧间运动矢量信息进行背景建模，其包括基于运动矢量局部二值模式的标量背景建模或基于运动矢量的矢量背景建模；

步骤S4，基于背景建模的物理空白帧删除；

步骤S5，基于图割模型对压缩域运动对象序列进行提取；及

步骤S6，采用水平条带删除模式和垂直条带删除模式删除虚拟空白帧，在压缩域获得浓缩视频的生成方案。

2.根据权利要求1所述的用于已压缩监控视频的浓缩分析方法，其特征在于其中在步骤S1中，如果已压缩监控视频是加扰的，还要对其进行去扰处理，再解码出帧间预测信息。

3.根据权利要求1所述的用于已压缩监控视频的浓缩分析方法，其特征在于其采用图形处理器与中央处理器结合的方式，其中该步骤S3的背景建模使用基于图形处理器的算法程序实现，其他步骤使用基于中央处理器的算法程序实现。

4.一种用于已压缩监控视频的浓缩分析装置，其特征在于其包括：

解码模块，对已压缩监控视频进行部分解码，解码出帧间预测信息；

预处理模块，对帧间预测信息进行特征信息预处理，其包括：

读取监控视频的帧间预测信息；对帧间运动矢量信息进行中值滤波，去除噪声运动矢量；对帧间宏块进行统一处理，归一化分割宏块为4*4子块；

背景建模模块，针对压缩域帧间运动矢量信息进行背景建模，其包括基于运动矢量局部二值模式的标量背景建模或基于运动矢量的矢量背景建模；

第一删除模块，在背景建模中或背景建模后，对物理空白帧进行删除；

提取模块，基于图割模型对运动对象序列进行提取；

第二删除模块，采用水平条带删除模式和垂直条带删除模式对虚拟空白帧进行删除，在压缩域获得浓缩视频的生成方案。

5.根据权利要求4所述的用于已压缩监控视频的浓缩分析装置，其特征在于其还包括去扰模块，对加扰的已压缩监控视频进行去扰处理，以解码出帧间预测信息。

6.根据权利要求4所述的用于已压缩监控视频的浓缩分析装置，其特征在于其采用图形处理器与中央处理器结合的方式，其中该背景建模模块的背景建模使用基于图形处理器的算法程序实现，其他模块使用基于中央处理器的算法程序实现。