CN102395030A - 基于视频压缩码流的运动分析方法、码流转换方法及其装置 - Google Patents

Abstract

本发明涉及安防视频监控，公开了一种基于视频压缩码流的运动分析方法、码流转换方法及其装置。本发明中，从视频压缩码流中提取帧中宏块的总比特数或残差比特数；对当前宏块在最近M帧中对应位置宏块的总比特数或残差比特数进行加权平均，计算得到背景值；计算当前宏块的总比特数或残差比特数与背景值的差值，如果差值大于预先设定的第一阈值，则判定为检测到运动物体。对当前宏块在最近M帧中对应位置宏块的总比特数或残差比特数等宏块信息加权平均背景建模和对背景差值匹配结果阈值判断，进行运动分析，无需计算帧间宏块的编码图像，计算量小且对编码码流和场景适应性强。

Description

基于视频压缩码流的运动分析方法、码流转换方法及其装置

技术领域

本发明涉及安防视频监控，特别涉及一种视频处理技术。

背景技术

随着视频监控技术的飞速发展，用户对监控系统的要求也越来越高，很显著的一点就是希望监控系统能够提供更多的智能化的功能。在众多的智能化功能中，视频运动分析功能是很基本也是很重要的一项智能化功能。所谓视频运动分析，就是指在特定的视频场景，检测视频画面中特定区域的画面变化和移动的物体，并且排除正常光线变化和噪声带来的干扰，为后续的报警，目标分类和目标跟踪提供有用的信息。

现有的视频码流运动分析技术中，如中国专利号为03103526.4的专利公开了一种基于帧间编码图像平均大小的方法，该专利采用计算帧间编码帧的平均大小，以及帧的平均大小的变化率来检测运动信息。本发明的发明人发现，首先，由于在编码码流中，由于码率控制模块的影响，即使是静止的前后两帧码流，所采用的量化系数差别有可能较大，从而引起前后两帧码流大小差别较大，而该方法只能对于所有帧采用同一个量化系数编码且存在大量运动物体的视频进行有效检测，对于上述情况，该方法会造成错误的运动判断。其次，在视频中如果存在缓慢的运动物体，且运动物体大小占整个画面大小的比重较小，采用同样的量化系数编码这个序列，每一帧的码流大小不会发生明显变化，所以该方法也无法对这种情况进行有效检测。最后，该方法是基于整幅图像的码流大小进行判断的，虽然可以检测出视频中是否有运动，但是无法检测出发生运动的区域，也无法检测物体运动的方向。总之该方法只能做为简单的运动检测，不能适应各种编码码流和各种场景。

本发明的发明人还发现，现有技术中基于编码端的信息来进行视频运动分析的方法，编码端所能够提供的信息和所能承受的计算量有限，准确度不高，因此这类方法的对视频场景要求比较苛刻，大多只能应用于简单的室内场景，不能应用于复杂的室外场景。同样，基于解码图像来进行视频运动分析的方法，这类方法通过解码压缩码流，计算出解码图像，然后统计解码图像像素的一些特征，根据这些特征进行运动分析。这类方法的缺点是计算解码图像和对解码图像进行运动分析需要大量的计算和需要较多的存储空间，很难达到实时处理的效果，另外一方面，由于解码图像大多已经失真，所以，处理的准确度也不高。

本发明的发明人还发现，对于现有实现码流转换的方法及其不足，目前有以下几种：其一，双码流方法，这类方法的编码端除了编码一路正常分辨率、帧率的码流之外，还编码一路较低分辨率或帧率的码流，所编码的两路码流分别用来存储和网络转发。由于需要编码两路码流，增加了编码端负荷，也增加了编码端到接收端的传输负荷，而且较低分辨率或帧率的码流可能导致关键信息缺失。其二，转码存储方法，这类方法将接收到的码流通过特定算法转换到更低分辨率或帧率的码流，以减少码流存储时所需的存储空间。这种方法在接收设备端增加了转码环节，需要消耗较大运算量，同时转码后的码流由于帧率和分辨率低，不可避免地造成图像信息的丢失。其三，码流抽取方法，这类方法从视频码流中抽取出一些做为参考的帧或场对应的编码码流，丢弃不做参考的其他帧或场对应的编码码流。这种方法相对上面两种方法运算量较小，但仍然存在信息缺失的问题，因为所丢弃的帧可能含有关键的运动信息。

另外，在监控领域，IP摄像机能够提供越来越大分辨率和高帧率的图像用于提供更多信息，但视频码流也随之更高，为网络带宽及存储带来很大压力。

所以，如何做到更有效适应性更强且宽泛的视频运动分析，同时能够减少网络带宽及其存储所带来的压力，是亟待解决的问题。

发明内容

本发明的目的在于提供一种基于视频压缩码流的运动分析方法、码流转换方法及其装置，无需计算帧间宏块的编码图像，计算量小且对编码码流和场景适应性强。

为解决上述技术问题，本发明的实施方式公开了一种基于视频压缩码流的运动分析方法，包括以下步骤：

从视频压缩码流中提取帧中宏块的总比特数或残差比特数；

对当前宏块在最近M帧中对应位置宏块的总比特数或残差比特数进行加权平均，计算得到背景值，其中M为自然数；

计算当前宏块的总比特数或残差比特数与背景值的差值，如果差值大于预先设定的第一阈值，则判定为检测到运动物体。

本发明的实施方式还公开了一种基于视频压缩码流的码流转换方法，包括以下步骤：

根据上文所述的运动分析方法对视频压缩码流进行运动分析；

如果运动分析判定为检测到运动物体，则输出检测到运动物体的图像组的码流，否则仅输出未检测到运动物体的图像组中代表I帧图像的码流。

本发明的实施方式还公开了一种基于视频压缩码流的运动分析装置，包括以下单元：

第一提取单元，用于从视频压缩码流中提取帧中宏块的总比特数或残差比特数；

加权单元，用于对当前宏块在最近M帧中对应位置宏块的第一提取单元提取的总比特数或残差比特数进行加权平均，计算得到背景值，其中M为自然数；

计算单元，用于计算当前宏块的总比特数或残差比特数与加权单元计算得到的背景值的差值；

第一判断单元，用于判断所述计算单元计算得到的差值是否大于预先设定的第一阈值，若是，则判定为检测到运动物体。

本发明的实施方式还公开了一种基于视频压缩码流的码流转换装置，包括以下部分：

上文所述的运动分析装置；

运动码流输出单元，用于如果运动分析单元运动分析判定为检测到运动物体，则输出检测到运动物体的图像组的码流，否则仅输出未检测到运动物体的图像组中代表I帧图像的码流。

本发明实施方式与现有技术相比，主要区别及其效果在于：

对P帧或B帧中的当前宏块在最近M帧中对应位置宏块的总比特数或残差比特数等宏块信息加权平均背景建模和对背景差值匹配结果阈值判断，进行运动分析，无需计算帧间宏块的编码图像，计算量小且对编码码流和场景适应性强。

根据I帧宏块信息重建I帧图像，以及根据P和/或B帧宏块信息归一化处理、背景建模和模型匹配，无需计算帧间宏块的编码图像且基于压缩码流宏块信息的背景建模方法对编码码流和场景适应性强，能够检测图像中发生运动的区域和方向，计算量小，且可以简单有效地排除各种场景中的噪声和光线影响，应对各种复杂室内外场景，快速获得运动区域和运动方向。

仅对I帧图像进行重建而不对P或B帧进行重建，节省计算量，可以省略一些不严重影响I图像质量的过程，例如环路滤波。

码流转换结合运动分析结果对视频压缩码流进行筛选或转码，以减轻视频压缩码流日益增加带来的网络带宽压力和存储压力。

码流转换直接利用运动分析的结果进行码流转换，无需耗费大量计算，且能保持原有的图像信息，缓解码流日益增长带来的存储和网络带宽压力。

进一步地，在视频码流压缩过程中对残差信息进行重映射，可以消除因不同量化算法量化系数的差别而带来的影响，进一步提高运动分析的准确率。

进一步地，将宏块的类型归并为帧内宏块和帧间宏块的归一化处理，以及重映射处理为宏块信息预处理过程，使得宏块信息形成统一的表达形式，便于后续运动分析。

进一步地，使用运动矢量作为补充的判断标准，可以进一步提高运动分析的准确率。

进一步地，通过对不同类型宏块的运动矢量的加权平均筛选，获取当前宏块的运动矢量，形成运动矢量的统一表达形式，便于后续的运动分析处理。

进一步地，在基于视频压缩码流运动分析方法增加指定区域的宏块判断，可以在视频数据自动快速定位指定区域的宏块，如果不是指定区域的宏块，就不进行后续背景值的计算，这样节省了不必要的系统开销。

进一步地，在基于视频压缩码流运动分析方法增加指定方向运动矢量判断，可以在视频数据自动快速定位指定方向的宏块，如果不是指定方向的宏块，就不进行后续背景值的计算，这样节省了不必要的系统开销，在视频压缩运动分析实际应用中节省时间和精力。

进一步地，仅对P帧或B帧进行宏块信息归一化处理、背景建模和通过背景模型进行运动物体检测，能够检测图像中发生运动的区域和方向，计算量小，可以简单有效地排除各种场景中的噪声和光线影响，应对各种复杂室内外场景，快速获得指定运动区域和运动方向，节省计算量。

附图说明

图1是本发明第一实施方式中一种基于视频压缩码流的运动分析方法的流程示意图；

图2是本发明第二实施方式中一种基于视频压缩码流的运动分析方法的流程示意图；

图3是本发明第三实施方式中一种基于视频压缩码流的运动分析方法的流程示意图；

图4是本发明第三实施方式中步骤305提取当前宏块的运动矢量的子步骤流程示意图；

图5是本发明第三实施方式中一种基于视频压缩码流的运动分析方法的宏块信息示意图；

图6是本发明第三实施方式中一种基于视频压缩码流的运动分析方法的宏块信息示意图；

图7是本发明第三实施方式中一种基于视频压缩码流的运动分析方法的流程示意图；

图8是本发明第四实施方式中一种基于视频压缩码流的运动分析方法的流程示意图；

图9是本发明第五实施方式中一种基于视频压缩码流的码流转换方法的流程示意图；

图10是本发明第五实施方式中一种基于视频压缩码流的码流转换方法的流程示意图；

图11是本发明第五实施方式中一种基于视频压缩码流的码流转换方法的流程示意图；

图12是本发明第六实施方式中一种基于视频压缩码流的运动分析装置的结构示意图；

图13是本发明第七实施方式中一种基于视频压缩码流的运动分析装置的结构示意图；

图14是本发明第八实施方式中一种基于视频压缩码流的运动分析装置的结构示意图；

图15是本发明第八实施方式中一种基于视频压缩码流的运动分析装置的结构示意图；

图16是本发明第九实施方式中一种基于视频压缩码流的运动分析装置的结构示意图；

图17是本发明第十实施方式中一种基于视频压缩码流的码流转换装置的结构示意图；

图18是本发明第十实施方式中一种基于视频压缩码流的码流转换装置的结构示意图。

图19是本发明第十实施方式中一种基于视频压缩码流的码流转换装置的结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种基于视频压缩码流的运动分析方法。图1是该基于视频压缩码流的运动分析方法的流程示意图。如图1所示，该基于视频压缩码流的运动分析方法包括以下步骤：

在步骤101中，从视频压缩码流中提取帧中宏块的总比特数或残差比特数，帧(Frame)是在视频压缩码流中逐行扫描视频的基本单位，场(Field)是隔行扫描视频的所有奇数行或所有偶数行组成的基本单位，一幅视频图像(Picture)可以是一帧也可以是一场。以帧为单位处理视频的速率称为帧率。像素是数字图像的基本单位，一个像素是图像上的一个采样点，表征这个位置图像的光强等信息。一幅黑白图像由横向x纵向y呈二维排列的(X，Y)个亮度采样点组成，X称为水平分辨率，Y称为垂直分辨率，或统称分辨率。一幅彩色图像由表征亮度、色度等信息的若干个二维平面组成，一般是亮度Y、蓝色差Cb和红色差Cr三个平面。

视频压缩算法中，由于邻近时刻的图像可能存在大量相似的区域，其中一幅图像能够以另一幅(或几幅)图像作为参考，压缩前者时只需要处理其与后者之间的差异部分，以减少数据量。这种编码方式称为帧间编码。而对于一幅图像的全部或局部，不使用如上所述的帧间编码方式，则称为帧内编码。帧内编码的数据不采用时间维度上的其它数据进行参考。如H.264/AVC所定义视频压缩标准的算法，为目前国际上安防视频监控应用的主流视频压缩算法。

在视频编码时，每幅图像被划分成互不重叠的16×16个亮度像素及其对应区域色度像素的宏块(Macro Block)，作为视频编码处理时的基本单元。一般来说，亮度块为16×16大小的像素块，而两个色度图像像素块的大小依据其图像的采样格式而定，如：对于YUV420采样图像，色度块为8×8大小的像素块。每个图象中，若干宏块被排列成片的形式，逐个宏块进行编码，组织成连续的视频码流。其中宏块信息包括宏块类型，编码总比特数，运动矢量、宏块量化系数等等，也可以将该宏块划分为子宏块作为视频编码的基本单元，比如16×8、8×16、8×8，4×4，本发明不限制处理单元为16×16的块，可以以子划分为单位应用本方法，其中，帧内(Intra)宏块为通过帧内编码方式形成的宏块，帧间(Inter)宏块为使用帧间编码方式形成的宏块。。

在视频编码时为了去除时间冗余，使用帧间编码方式编码宏块，使用该宏块与之前(或前后)图像中差异最小位置的运动偏移来表示运动矢量(Motion Vecotor，简称“MV”)。在二维图像平面上，这种偏移即运动矢量，表示为(MVx，MVy)两个方向的分量，可以包括运动方向等信息参数。

由于并不是每一个宏块都能够在之前(或前后)图像中找到完全相同的位置，因此除了运动偏移外，往往还存在一个反映每个像素具体差异值的信息，即残差或者残差比特数。

为滤除部分人眼不敏感的信息和减少数据量，在编码中对残差信息存在一个使用量化系数(Quantization Parameter，简称“QP”)进行量化的一个步骤。但是量化会带来失真，一般量化系数即用于量化的参数，该参数越大，引起图像的失真也越大。

只使用帧内编码的一幅图像的码流称为I帧码流，该码流能够不依赖于之前的码流解码获得图像。视频压缩码流解码时必须要从某个I图像开始。在视频监控应用时，I图像一般在码流中以一定间隔出现，如1秒或数秒，以利于如播放视频时的滚动条拖动等随机访问和接入。

图像的全部或部分区域会使用帧间编码的图像的码流，该码流称为P帧或B帧，解码时需要依赖之前码流才能解码获得图像。由于使用了之前数据作为参考，P帧或B帧压缩效率高于I帧。

一个I图像及其后直到下一个I图像之前的所有P帧或B帧图像组成的视频码流称为一个图像组(Group of Picture，简称“GOP”)。

类似上面所提到的I图像和P图像或者B图像，在P/B图像中的每个宏块可以分类为帧内(Intra)宏块和帧间(Inter)宏块。I图像中只有帧内(Intra)宏块，其中，帧内(Intra)宏块为通过帧内编码方式形成的宏块，帧间(Inter)宏块为使用帧间编码方式形成的宏块。

此后进入步骤102，对当前宏块在最近M帧中对应位置宏块的总比特数或残差比特数进行加权平均，计算得到背景值，其中M为自然数。

对P帧或B帧中的当前宏块在最近M帧中对应位置宏块的总比特数或残差比特数等宏块信息加权平均背景建模和对背景差值匹配结果阈值判断，进行运动分析，无需计算帧间宏块的编码图像，计算量小且对编码码流和场景适应性强。

仅对I帧图像进行重建而不对P或B帧进行重建，节省计算量，可以省略一些不严重影响I图像质量的过程，例如环路滤波。

此后进入步骤103，计算当前宏块的总比特数或残差比特数与背景值的差值。

计算当前宏块的总比特数或残差比特数block_rsd与背景值bg_avg_rsd的差值rsd_dif，其残差比特数与背景值的差值衡量方法可以采用两者的当前宏块的残差比特数block_rsd与背景值bg_avg_rsd的绝对差值rsd_dif＝|block_rsd-bg_avg_rsd|，但不限于此绝对值衡量方法，也可以是其差值的平方根值等。

此后进入步骤104，判断当前宏块的总比特数或残差比特数与背景值的差值是否大于预先设定的第一阈值。

若当前宏块的总比特数或残差比特数与背景值的差值大于预先设定的第一阈值，则进入步骤105；否则结束本流程。

在步骤105中，判定总比特数或残差比特数与背景值的差值大于预先设定的第一阈值的当前宏块为检测到运动物体，此后结束本流程。

本发明第二实施方式涉及一种基于视频压缩码流的运动分析方法。

第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于：在视频码流压缩过程中对残差信息进行量化，在视频图像失真对运动分析影响不明显的情况下，可以滤除部分人眼不敏感的信息以及减少数据量，提高压缩效果。将宏块的类型归并为帧内宏块和帧间宏块的归一化处理，以及重映射处理为宏块信息预处理过程，使得宏块信息形成统一的表达形式，便于后续运动分析。

在上述步骤101从视频压缩码流中提取帧中宏块的总比特数或残差比特数的步骤之后，还包括以下步骤：

根据视频压缩码流的压缩标准定义的量化算法，将宏块的总比特数或残差比特数重映射为与量化系数无关的总比特数或残差比特数。

且在重映射的步骤之前，还包括以下步骤：

根据视频压缩码流的压缩标准，将宏块的类型归并为帧内宏块和帧间宏块。

在重映射的步骤中，根据视频压缩码流的压缩标准定义的量化算法和宏块的类型，将宏块的总比特数或残差比特数重映射为与量化系数无关的总比特数或残差比特数。

作为本发明的一个优选实施例，图2是该基于视频压缩码流的运动分析方法的流程示意图。如图2所示的基于视频压缩码流的运动分析方法，具体地说：

在步骤201中，从视频压缩码流中提取帧中宏块的总比特数或残差比特数；

此后进入步骤202，根据视频压缩码流的压缩标准，将宏块的类型归并为帧内宏块和帧间宏块。

在本发明的某些实施方式中，对M帧中宏块的帧内宏块和帧间宏块进行合并，也可以称为对M帧中宏块的帧内宏块和帧间宏块进行宏块类型归一化处理。

此后进入步骤203，根据视频压缩码流的压缩标准定义的量化算法，将宏块的总比特数或残差比特数重映射为与量化系数无关的总比特数或残差比特数。

此后进入步骤204，对当前宏块在最近M帧中对应位置宏块的总比特数或残差比特数进行加权平均，计算得到背景值，其中M为自然数。

对当前宏块在最近M帧中对应位置宏块的残差比特数进行加权平均可以通过以下方式进行：

$\mathrm{bg}\_\mathrm{avg}\_\mathrm{rsd}\left(k\right)={\mathrm{\Σ}}_{i=0}^{m-1}\mathrm{\ω}(k-i)\×\mathrm{block}\_\mathrm{rsd}(k-i);$

其中，bg_avg_rsd(k)表示当前宏块在最近M帧中对应位置宏块的残差比特数为加权平均后的残差比特数，k表示时域的当前时刻，block_rsd(k-i)表示时域的前i时刻同一位置宏块的残差比特数，m为一个正整数，表示对M帧中对应位置宏块的残差比特数进行加权平均，ω(k-i)为M帧中对应位置宏块的残差比特数权重，且需要满足

ω(k-i)≥0。

对P帧或B帧中的当前宏块在最近M帧中对应位置宏块的总比特数或残差比特数等宏块信息加权平均背景建模和对背景差值匹配结果阈值判断，进行运动分析，无需计算帧间宏块的编码图像，计算量小且对编码码流和场景适应性强。

此后进入步骤205，计算当前宏块的总比特数或残差比特数与背景值的差值。

计算当前宏块的总比特数或残差比特数block_rsd与背景值bg_avg_rsd的差值rsd_dif，其残差比特数与背景值的差值衡量方法可以采用两者的当前宏块的残差比特数block_rsd与背景值bg_avg_rsd的绝对差值rsd_dif＝|block_rsd-bg_avg_rsd|，但不限于此绝对值衡量方法，也可以是其差值的平方根值等。

此后进入步骤206，判断当前宏块的总比特数或残差比特数与背景值的差值是否大于预先设定的第一阈值。

若当前宏块的总比特数或残差比特数与背景值的差值大于预先设定的第一阈值，则进入步骤207；否则结束本流程。

在步骤207中，判定总比特数或残差比特数与背景值的差值大于预先设定的第一阈值的当前宏块为检测到运动物体，此后结束本流程。

本发明第三实施方式涉及一种基于视频压缩码流的运动分析方法。

第三实施方式在第一实施方式的基础上进行了改进，主要改进之处在于：在计算当前宏块的总比特数或残差比特数与背景值的差值之后对该差值进行三重阈值判断，进一步提高运动分析准确率。通过对不同类型宏块的运动矢量的加权平均筛选，获取当前宏块的运动矢量，形成运动矢量的统一表达形式，便于后续的运动分析处理。

具体地说：

在上述步骤103计算当前宏块的总比特数或残差比特数与背景值的差值的步骤之前，还包括以下步骤：

从视频压缩码流中提取帧中宏块的运动矢量。

在上述步骤103计算当前宏块的总比特数或残差比特数与背景值的差值的步骤之后，还包括以下步骤：

如果差值大于预先设定的第三阈值且当前宏块运动矢量大于预先设定的第二阈值，则判定为检测到运动物体，第一阈值大于或等于第三阈值。

在本发明的其他某些实施方式中，运动矢量大小衡量方法也可以是其绝对值，如采用水平分量和处置分量的绝对值和或者平方和开根号。

在本发明的其他某些实施方式中，上述阈值在具体实施时，可以预先设定，也可以根据场景类型、噪声强度和用户输入的灵敏度参数进行动态生成或者调整，一般地，噪声强度越大阈值越大，灵敏度参数越高，阈值越小。

从视频压缩码流中提取帧中宏块的运动矢量的步骤之前，还包括以下步骤：

根据视频压缩码流的压缩标准，将宏块的类型归并为帧内宏块和帧间宏块。

从视频压缩码流中提取帧中宏块的运动矢量的步骤中，还包括以下子步骤：

当前宏块为帧间宏块且被划分为多个子宏块时，则对各个子宏块的运动矢量加权平均，获取当前宏块的运动矢量。

当前宏块为帧内宏块时，则对帧内宏块周围帧间宏块的运动矢量加权平均，获取当前宏块的运动矢量。

作为本发明的一个优选实施例，图3是该基于视频压缩码流的运动分析方法的流程示意图。如图3所示的基于视频压缩码流的运动分析方法，具体地说：

在步骤301中，从视频压缩码流中提取帧中宏块的总比特数或残差比特数。

此后进入步骤302，根据视频压缩码流的压缩标准，将宏块的类型归并为帧内宏块和帧间宏块。

在本发明的某些实施方式中，对M帧中宏块的帧内宏块和帧间宏块进行合并，也可以称为对M帧中宏块的帧内宏块和帧间宏块进行宏块类型归一化处理。

此后进入步骤303，根据视频压缩码流的压缩标准定义的量化算法，将宏块的总比特数或残差比特数重映射为与量化系数无关的总比特数或残差比特数。

此后进入步骤304，对当前宏块在最近M帧中对应位置宏块的总比特数或残差比特数进行加权平均，计算得到背景值，其中M为自然数。

对当前宏块在最近M帧中对应位置宏块的残差比特数进行加权平均可以通过以下方式进行：

$\mathrm{bg}\_\mathrm{avg}\_\mathrm{rsd}\left(k\right)={\mathrm{\Σ}}_{i=0}^{m-1}\mathrm{\ω}(k-i)\×\mathrm{block}\_\mathrm{rsd}(k-i);$

其中，bg_avg_rsd(k)表示当前宏块在最近M帧中对应位置宏块的残差比特数为加权平均后的残差比特数，k表示时域的当前时刻，block_rsd(k-i)表示时域的前i时刻同一位置宏块的残差比特数，m为一个正整数，表示对M帧中对应位置宏块的残差比特数进行加权平均，ω(k-i)为M帧中对应位置宏块的残差比特数权重，且需要满足

ω(k-i)≥0。

对P帧或B帧中的当前宏块在最近M帧中对应位置宏块的总比特数或残差比特数等宏块信息加权平均背景建模和对背景差值匹配结果阈值判断，进行运动分析，无需计算帧间宏块的编码图像，计算量小且对编码码流和场景适应性强。

此后进入步骤305，从视频压缩码流中提取帧中宏块的运动矢量。

此后进入步骤306，计算当前宏块的总比特数或残差比特数与背景值的差值。

计算当前宏块的总比特数或残差比特数block_rsd与背景值bg_avg_rsd的差值rsd_dif，其残差比特数与背景值的差值衡量方法可以采用两者的当前宏块的残差比特数block_rsd与背景值bg_avg_rsd的绝对差值rsd_dif＝|block_rsd-bg_avg_rsd|，但不限于此绝对值衡量方法，也可以是其差值的平方根值等。

此后进入步骤307，判断当前宏块的总比特数或残差比特数与背景值的差值是否大于预先设定的第一阈值。

若当前宏块的总比特数或残差比特数与背景值的差值不大于预先设定的第一阈值，则进入步骤308；否则，进入步骤310。

在步骤308中，判断当前宏块的总比特数或残差比特数与背景值的差值是否大于第三阈值，其中第一阈值大于或等于第三阈值；

若当前宏块的总比特数或残差比特数与背景值的差值大于第三阈值，则进入步骤309；否则，结束本流程；

在步骤309中，若当前宏块的总比特数或残差比特数与背景值的差值大于第三阈值，则判断步骤305提取的当前宏块运动矢量是否大于第二阈值；

若当前宏块的总比特数或残差比特数与背景值的差值大于预先设定的第三阈值且当前宏块运动矢量大于预先设定的第二阈值，则进入步骤310；否则，结束本流程；

在步骤310中，若步骤308判定当前宏块的总比特数或残差比特数与背景值的差值大于预先设定的第三阈值且步骤309判定当前宏块运动矢量大于预先设定的第二阈值，或者步骤307判定当前宏块的总比特数或残差比特数与背景值的差值大于预先设定的第一阈值，其中，第一阈值大于或等于第三阈值，则判定为检测到运动物体，此后结束本流程。

在本发明的其他实施方式中，执行步骤301的同时可以并行执行步骤305，即从视频压缩码流中提取帧中宏块的总比特数或残差比特数，且提取当前宏块的运动矢量。

图4是该基于视频压缩码流的运动分析方法的流程示意图。如图4所示的基于视频压缩码流的运动分析方法，在上述步骤305提取当前宏块的运动矢量中，还包括以下子步骤，具体地说：

在步骤401中，判断当前宏块是否为帧间宏块。

若当前宏块为帧间宏块，则进入步骤402；否则，进入步骤404；

在步骤402中，若当前宏块为帧间宏块，则继续判断为帧间宏块的当前宏块是否被划分为过个子宏块。

若当前宏块为帧间宏块且被划分为多个子宏块时，则进入步骤403；否则，进入上述步骤306。

在步骤403中，若当前宏块为帧间宏块且被划分为多个子宏块，则对各个子宏块的运动矢量加权平均，获取当前宏块的运动矢量，此后进入上述步骤306。

在本发明的其他某些实施方式中，对为帧间宏块的当前宏块各个子宏块运动矢量加权平均，获取当前宏块的运动矢量，可以取各个子宏块运动矢量的最大值、最小值或者中值等，一个帧间宏块只保留一个运动矢量作为当前宏块为帧间宏块的运动矢量。同样对为帧内宏块的当前宏块且没有运动矢量，对其周围帧间宏块的运动矢量加权平均，获取运动矢量，也可以取各个帧间宏块的运动矢量的最大值、最小值或者中值等。

在步骤404中，因为宏块类型已经在上述步骤302中归并为只含帧间宏块或者帧内宏块的类型，则对于上述步骤401判定为帧内宏块的情形之下，则对帧内宏块周围帧间宏块的运动矢量加权平均，获取当前宏块的运动矢量，此后进入上述步骤306。

作为本发明的一个优选例，具体实施方式如下所述：

先依照如图5所示的基于视频压缩码流的运动分析方法从压缩码流中提取P帧或B帧的宏块信息，再生成如图6所示预处理后的宏块信息，其中预处理包括提取帧中宏块编码类型归一化、提取帧中宏块的总比特数或残差比特数进行与量化系数相关重映射和运动矢量筛选。目前主流的几个基于混合编码框架的视频压缩标准，如MPEG2、MPEG4、H.264等，在宏块类型定义、量化、运动矢量细分方面有所不同。预处理对这些不同类型的宏块信息进行筛选和重映射，形成统一的表达形式。

在对宏块类型进行归并的步骤中，不同压缩标准在帧内(Intra)宏块、帧间(Inter)宏块大类型下，还细分了很多子类型，将这些子类型归并成一个宏块类型mb_type，宏块类型mb_type为帧内(Intra)宏块、帧间(Inter)宏块两种类型，处理完的宏块类型记为block_type。同时，不同的宏块类型mb_type对下文的提取帧中宏块的总比特数mb_bits重映射也有改变。

在根据压缩标准定义的量化算法对提取帧中宏块的总比特数mb_bits进行重映射的步骤中，因为各种压缩标准的量化曲线和算法不同，导致宏块量化编码后产生的提取帧中宏块的总比特数或残差比特数mb_bits也不相同，所以需要进行重映射，使提取帧中宏块差别的度量从与量化系数相关的压缩比特转换到与量化系数无关的图像残差。记重映射后的宏块残差比特数为block_rsd。重映射的方法为提取帧中宏块的总比特数mb_bits分别乘以一个与量化系数呈单调递增曲线的权重值W(或者量化系数)，曲线由各压缩标准的量化算法定义，并受到宏块类型mb_type的影响，如帧内(Intra)宏块和帧间(Inter)宏块映射曲线不同。

当帧间(Inter)宏块被划分为多个子块时，对运动矢量MV进行筛选，筛选方法可以是对各子块运动矢量MV的加权平均，也可以取各子块运动矢量MV的最大值、最小值或中值等。总之，一个帧间(Inter)宏块只保留一个运动矢量MV作为宏块运动矢量，需要注意的是当一个宏块为帧内(Intra)宏块时，编码码流中没有运动矢量信息，此时帧内(Intra)宏块的运动矢量可以采用其周围帧间(Inter)宏块的加权平均值。记筛选后的宏块运动矢量为block_mv。

作为本发明的一个优选实施例，图7是该基于视频压缩码流的运动分析方法的流程示意图。具体地说：

在步骤701中，判断当前宏块总比特数或残差比特数与背景值之差值是否大于第一阈值。

若当前宏块总比特数或残差比特数与背景值之差值大于第一阈值，则进入步骤704；否则，进入步骤702；

在步骤702中，若当前宏块总比特数或残差比特数与背景值之差值不大于第一阈值，则继续当前宏块总比特数或残差比特数与背景值之差值大于第三阈值，其中第一阈值大于或者等于第三阈值。

若是，则进入步骤703；否则，进入步骤706。

在步骤703中，若当前宏块总比特数或残差比特数与背景值之差值不大于第一阈值且大于第三阈值，则继续判断当前宏块运动矢量是否大于第二阈值。

若是，则进入步骤704；否则，进入步骤706。

在步骤704中，若当前宏块总比特数或残差比特数与背景值之差值不大于第一阈值且大于第三阈值，且当前宏块的运动矢量大于第二阈值，则判定该当前宏块为检测到运动物体的宏块。

此后进入步骤705，判定该检测到运动物体的宏块为运动块，此后进入步骤707。

在步骤706中，对于当前宏块总比特数或残差比特数与背景值之差值不大于第一阈值且不大于第三阈值，和/或当前宏块的运动矢量不大于第二阈值，则判定该当前宏块为静止块。

此后进入步骤707，输出静止块和/或运动块的判定结果。

本发明第四实施方式涉及一种基于视频压缩码流的运动分析方法。

第四实施方式在第一实施方式的基础上进行了改进，主要改进之处在于：在基于视频压缩码流运动分析方法增加指定区域和/或指定方向的宏块判断，可以在视频数据自动快速定位指定区域和/或指定方向的宏块，如果不是指定区域和/或指定方向的宏块，就不进行后续背景值的计算，这样节省了不必要的系统开销，在视频压缩运动分析实际应用中节省时间和精力。

仅对P帧或B帧进行宏块信息归一化处理、背景建模和通过背景模型进行运动物体检测，能够检测图像中发生运动的区域和方向，计算量小，可以简单有效地排除各种场景中的噪声和光线影响，应对各种复杂室内外场景，快速获得指定运动区域和运动方向。同时，仅对I帧图像进行重建而不对P或B帧进行重建，节省计算量，可以省略一些不严重影响I图像质量的过程，例如环路滤波。具体地说：

在上述步骤102计算得到背景值的步骤之前，还包括以下步骤：

判断当前宏块是否为指定的区域中的宏块，如果是则进入计算得到背景值的步骤，否则结束对当前宏块的检测。

在本发明的其他某些实施方式中，该基于视频压缩码流的运动分析方法并不仅限于只对视频压缩码流中帧指定区域进行运动分析，当对运动物体的连续性要求比较高的时候，该基于视频压缩码流的运动分析方法可以对一个或者多个视频帧图像帧进行运动分析检测，或者默认为视频帧是全画面区域。

上述步骤102计算得到背景值的步骤之前，还包括以下步骤：

判断当前宏块运动矢量的方向与指定方向的夹角是否小于预定门限，如果是则进入计算得到背景值的步骤，否则结束对当前宏块的检测。

在本发明的其他某些实施方式中，该基于视频压缩码流的运动分析方法并不仅限于只对视频压缩码流中帧指定运动方向进行运动分析，也可以默认为任意方向的运动物体。

判断运动方向是否为用户感兴趣方向的方法可以为计算两个方向的夹角，如果夹角小于一定阀值则认为这两个方向一致，否则认为这两个方向不一致。

在上述101步骤从视频压缩码流中提取帧中宏块的总比特数或残差比特数的步骤之前，还包括以下步骤：

判断当前帧的类型。

如果是B帧或P帧，则进入从视频压缩码流中提取帧中宏块的总比特数或残差比特数的步骤。

如果是I帧，则重建该I帧的图像，并根据重建的I帧图像进行运动分析。

作为本发明的一个优先实施例，图8是该基于视频压缩码流的运动分析方法的流程示意图。如图8所示的该基于视频压缩码流的运动分析方法，具体的说：

在步骤801中，判断当前帧的类型是B帧或P帧还是I帧。

若是I帧，则进入步骤810；若是B帧或P帧，则进入步骤802。

在步骤802中，提取当前B帧或P帧中的宏块总比特数或者残差比特数。

此后进入步骤803，从视频压缩码流中提取帧中宏块的总比特数或残差比特数。

此后进入步骤804，判断当前B帧或P帧中的当前宏块运动矢量的方向与指定方向的夹角是否小于预定门限。

若当前B帧或P帧中的当前宏块运动矢量的方向与指定方向的夹角小于预定门限，则进入步骤805；否则结束本流程。

在步骤805中，判断当前B帧或P帧中的当前宏块是否为指定区域的宏块。

若是，则进入步骤806；否则结束本流程。

在步骤806中，对当前B帧或P帧中的当前宏块的总比特数或者残差比特数加权平均，获取背景值。

此后进入步骤807，计算当前B帧或P帧中的当前宏块的总比特数或者残差比特数与背景值的差值。

此后进入步骤808，判断上述差值是否大于第一阈值。

若是，则进入步骤809；否则结束本流程。

在步骤809中，判定该宏块为检测到运动物体的宏块，此后结束本流程。

在步骤810中，对于步骤801判定为I帧的图像进行重建。

此后进入步骤811，根据上述重建的I帧图像进行运动分析，此后结束本流程。

本发明第五实施方式涉及一种基于视频压缩码流的码流转换方法。图9是该基于视频压缩码流的码流转换方法的流程示意图。如图9所示，该基于视频压缩码流的码流转换方法包括以下步骤：

在步骤901中，根据上文中任一种运动分析方法对视频压缩码流进行运动分析。

码流转换直接利用运动分析的结果进行码流转换，无需耗费大量计算，且能保持原有的图像信息，缓解码流日益增长带来的存储和网络带宽压力。

在本发明的其他实施方式中，该基于视频压缩码流的运动分析方法可以对I帧中的宏块进行运动分析，从而判断出比较缓慢的运动。但也可以不对I帧中的宏块进行运动分析。

此后进入步骤902中，根据步骤901根据上文中任一种运动分析方法对视频压缩码流进行运动分析的分析结果，判断是否检测到运动物体。

如果判定检测到运动物体，则进入步骤903；否则进入步骤904。

在步骤903中，如果运动分析判定为检测到运动物体，则输出检测到运动物体的图像组的码流，此后结束此流程。

在步骤904中，如果运动分析判定为未检测到运动物体，则输出未检测到运动物体图像组中代表I帧图像码流，此后结束本流程。

在本发明的其他某些实施例中，代表I帧图像的码流可以是GOP中原始的I帧码流，也可以是对重建的I帧图像进行转码后的码流。

作为本发明的优选实施例，该基于视频压缩码流的码流转换方法以GOP为单位进行码流转换。

作为本发明的一个优选实施例，图10是该基于视频压缩码流的码流转换方法的流程示意图。如图10所示，该基于视频压缩码流的码流转换方法包括以下步骤：

在步骤1001中，根据上文中任一种运动分析方法对视频压缩码流进行运动分析判定结果，判断GOP内码流是否存在运动信息。

若存在运动，则进入步骤1002；否则进入步骤1003；

在步骤1002中，若存在运动信息，则保留原始码流中存在运动信息的GOP码流用于码流转换的输出。

在步骤1003中，若不存在运动信息，则对不存在运动信息的重建I帧图像进行转压缩用于码流转换的输出。

作为本发明的优选实施方式，图11是该基于视频压缩码流的码流转换方法的流程示意图。如图11所示，该基于视频压缩码流的码流转换方法包括以下步骤：

在步骤1101中，输入视频压缩码流。

此后进入步骤1102，进行视频压缩码流解析。

此后进入步骤1103，判断视频元压缩码流进行解析结果是I帧还是P帧或者B帧。

若是I帧，则进入步骤1104；若是P帧或者B帧，则进入步骤1106。

在步骤1104中，对I帧图像进行重建。

此后进入步骤1105，对重建之后的I帧图像进行运动分析，此后进入步骤1107。

在步骤1106中，对P帧或者B帧图像进行运动分析。

此后进入步骤1107，根据对上述P帧或者B帧图像和对重建之后的I帧图像进行运动分析结果，判断是否检测到运动物体。

若检测到运动物体，则进入步骤1108；否则进入步骤1109。

在步骤1108中，对存在运动物体的视频压缩码流进行码流转换处理，此后进入步骤1110。

在步骤1109中，则对不存在运动信息的重建I帧图像进行码流转换处理，此后进入步骤1110。

在步骤1110中，判断视频码流是否全部处理完毕。

若视频压缩码流未全部处理完毕，则返回步骤1101，继续视频压缩码流的输入；否则结束本流程。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable Array Logic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。

本发明第六实施方式涉及一种基于视频压缩码流的运动分析装置。图12是该基于视频压缩码流的运动分析装置的结构示意图。如图12所示，该基于视频压缩码流的运动分析装置包括以下单元：

第一提取单元，用于从视频压缩码流中提取帧中宏块的总比特数或残差比特数。

加权单元，用于对当前宏块在最近M帧中对应位置宏块的第一提取单元提取的总比特数或残差比特数进行加权平均，计算得到背景值，其中M为自然数。

计算单元，用于计算当前宏块的总比特数或残差比特数与加权单元计算得到的背景值的差值。

第一判断单元，用于判断所述计算单元计算得到的差值是否大于预先设定的第一阈值，若是，则判定为检测到运动物体。

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第七实施方式涉及一种基于视频压缩码流的运动分析装置。图13是该基于视频压缩码流的运动分析装置的结构示意图。

第七实施方式在第六实施方式的基础上进行了改进，主要改进之处在于：增加重映射单元，在视频码流压缩过程中对残差信息进行量化，在视频图像失真对运动分析影响不明显的情况下，可以滤除部分人眼不敏感的信息以及减少数据量，提高压缩效果。增加第一归并单元将宏块的类型归并为帧内宏块和帧间宏块的归一化处理，以及重映射处理为宏块信息预处理过程，使得宏块信息形成统一的表达形式，便于后续运动分析。具体地说：

还包括以下单元：

重映射单元，用于根据视频压缩码流的压缩标准定义的量化算法，将第一提取单元提取的宏块的总比特数或残差比特数重映射为与量化系数无关的总比特数或残差比特数。该重映射单元，根据视频压缩码流的压缩标准定义的量化算法，将第一提取单元提取的宏块总比特数或残差比特数重映射为与量化系数无关的总比特数或残差比特数。

第一归并单元，用于根据视频压缩码流的压缩标准，将宏块的类型归并为帧内宏块和帧间宏块。该第一归并单元，根据视频压缩码流的压缩标准，将宏块的类型归并为帧内宏块和帧间宏块，之后，上述重映射单元根据量化算法和归并好的宏块类型进行重映射。

上述重映射单元，还用于根据视频压缩码流的压缩标准定义的量化算法和第一归并单元归并的宏块的类型，将宏块的总比特数或残差比特数重映射为与量化系数无关的总比特数或残差比特数。

上述第六具体实施方式中，加权单元对当前宏块在最近M帧中对应位置宏块的残差比特数进行加权平均可以通过以下方式进行：

$\mathrm{bg}\_\mathrm{avg}\_\mathrm{rsd}\left(k\right)={\mathrm{\Σ}}_{i=0}^{m-1}\mathrm{\ω}(k-i)\×\mathrm{block}\_\mathrm{rsd}(k-i);$

其中，bg_avg_rsd(k)表示当前宏块在最近M帧中对应位置宏块的残差比特数为加权平均后的残差比特数，k表示时域的当前时刻，block_rsd(k-i)表示时域的前i时刻同一位置宏块的残差比特数，m为一个正整数，表示对M帧中对应位置宏块的残差比特数进行加权平均，ω(k-i)为M帧中对应位置宏块的残差比特数权重，且需要满足

ω(k-i)≥0。

第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。

本发明第八实施方式涉及一种基于视频压缩码流的运动分析装置。图14是该基于视频压缩码流的运动分析装置的结构示意图。

第八实施方式在第六实施方式的基础上进行了改进，主要改进之处在于：在所述计算单元计算差值之后增加三重阈值判断单元对差值进行三重阈值判断，可以提高运动分析结果的准确率。增加第二归并单元将宏块的类型归并为帧内宏块和帧间宏块的归一化处理，以及上述重映射单元重映射处理为宏块信息预处理过程，使得宏块信息形成统一的表达形式，便于后续运动分析。如图14所示，该基于视频压缩码流的运动分析装置还，包括以下单元，具体地说：

所述第二提取单元，用于从视频压缩码流中提取帧中宏块的运动矢量。

第二判断单元，用于判断所述第二提取单元提取的当前宏块运动矢量是否大于预先设定的第二阈值。

第三判断单元，用于在所述第二判断单元判定当前宏块运动矢量大于预先设定的第二阈值时，判断计算单元计算得到的差值是否大于预先设定的第三阈值，若是，则判定为检测到运动物体，其中，第一阈值大于或等于第三阈值。

第二归并单元，用于在所述第二提取单元从视频压缩码流中提取帧中宏块的运动矢量之前，根据视频压缩码流的压缩标准，将宏块的类型归并为帧内宏块和帧间宏块。

其中，如图15所示，该基于视频压缩码流的运动分析装置中的所述第二提取单元，包括以下子模块：

宏块类型判断子模块，用于判断当前宏块是所述第一或第二归并单元归并的帧间宏块还是帧内宏块。

子宏块类型判断子模块，用于当所述宏块类型判断子模块判定当前宏块为帧间宏块时，判断该帧间宏块是否被划分为多个子宏块。

第一矢量加权子模块，用于当宏块类型判断子模块判定当前宏块为帧间宏块且子宏块类型判断子模块判定该帧间宏块被划分为多个子宏块时，对各个子宏块的运动矢量加权平均，获取当前宏块的运动矢量。

第二矢量加权子模块，用于当宏块类型判断子模块判定当前宏块为帧内宏块时，则对帧内宏块周围帧间宏块的运动矢量加权平均，获取当前宏块的运动矢量。

在本发明的其他某些实施方式中，对为帧间宏块的当前宏块各个子宏块运动矢量加权平均，获取当前宏块的运动矢量，可以取各个子宏块运动矢量的最大值、最小值或者中值等，一个帧间宏块只保留一个运动矢量作为当前宏块为帧间宏块的运动矢量。同样对为帧内宏块的当前宏块，对其周围帧间宏块的运动矢量加权平均，获取运动矢量，也可以取各个帧间宏块的运动矢量的最大值、最小值或者中值等。

第三实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第三实施方式互相配合实施。第三实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第三实施方式中。

本发明第九实施方式涉及一种基于视频压缩码流的运动分析装置。图16是该基于视频压缩码流的运动分析装置的结构示意图。

第九实施方式在第六实施方式的基础上进行了改进，主要改进之处在于：在基于视频压缩码流运动分析方法增加区域判断单元进行指定区域的宏块判断，可以在视频数据自动快速定位指定区域的宏块，如果不是指定区域的宏块，就不进行后续背景值的计算，这样节省了不必要的系统开销。在基于视频压缩码流运动分析方法增加方向单元用于指定方向运动矢量判断，可以在视频数据自动快速定位指定方向的宏块，如果不是指定方向的宏块，就不进行后续背景值的计算，这样节省了不必要的系统开销，在视频压缩运动分析实际应用中节省时间和精力。仅对P帧或B帧进行宏块信息归一化处理、背景建模和通过背景模型进行运动物体检测，能够检测图像中发生运动的区域和方向，计算量小，可以简单有效地排除各种场景中的噪声和光线影响，应对各种复杂室内外场景，快速获得指定运动区域和运动方向，仅对I帧图像进行重建而不对P或B帧进行重建，节省计算量，可以省略一些不严重影响I图像质量的过程，例如环路滤波。如图16所示，该基于视频压缩码流的运动分析装置还包括以下单元，具体地说：

区域判断单元，用于在加权单元计算得到的背景值之前，判断当前宏块是否为指定的区域中的宏块，如果是则进入加权单元计算得到背景值的步骤，否则结束对当前宏块的检测。

在本发明的其他某些实施方式中，该基于视频压缩码流的运动分析方法并不仅限于只对视频压缩码流中帧指定区域进行运动分析，当对运动物体的连续性要求比较高的时候，该基于视频压缩码流的运动分析方法可以对一个或者多个视频帧图像帧进行运动分析检测，或者默认为视频帧是全画面区域。

方向判断单元，用于在加权单元计算得到的背景值之前，判断当前宏块运动矢量的方向与指定方向的夹角是否小于预定门限，如果是则进入加权单元计算得到背景值的步骤，否则结束对当前宏块的检测。

判断运动方向是否为用户感兴趣方向的方法是指计算两个方向的夹角，如果夹角小于一定阀值则认为这两个方向一致，否则认为这两个方向不一致。

本发明的其他某些实施方式中，该基于视频压缩码流的运动分析方法并不仅限于只对视频压缩码流中帧指定运动方向进行运动分析，也可以默认为任意方向的运动物体。

还包括以下单元：

帧类型判断单元，用于判断当前帧的类型，如果帧类型判断单元判定当前帧为B帧或P帧，则进入第一提取单元从视频压缩码流中提取帧中宏块的总比特数或残差比特数的步骤。

重建单元，用于如果帧类型判断单元判定当前帧为I帧，则重建该I帧的图像。

I帧运动分析单元，用于根据重建单元重建的I帧图像进行运动分析。

在本发明的其他实施方式中，该基于视频压缩码流的运动分析方法可以对I帧中的宏块进行运动分析，从而判断出比较缓慢的运动。但也可以不对I帧中的宏块进行运动分析。

第四实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第四实施方式互相配合实施。第四实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第四实施方式中。

本发明第十实施方式涉及一种基于视频压缩码流的码流转换装置。图17是该基于视频压缩码流的码流转换装置的结构示意图。如图17所示，该基于视频压缩码流的码流转换装置，包括以下部分：

运动分析装置，用于根据上文中任一种运动分析方法对视频压缩码流进行运动分析。

运动码流输出单元，用于如果运动分析单元运动分析判定为检测到运动物体，则输出检测到运动物体的图像组的码流，否则仅输出未检测到运动物体的图像组中代表I帧图像的码流。

作为本发明的优选实施例，该基于视频压缩码流的码流转换装置以GOP为单位进行码流转换。

同时，由于码流转换直接利用运动分析的结果进行码流转换，无需耗费大量计算，且能保持原有的图像信息，缓解码流日益增长带来的存储和网络带宽压力。

代表I帧图像的码流可以是GOP中原始的I帧码流，也可以是对重建的I帧图像进行转码后的码流。

作为本发明的一个优选实施例，图18是本发明第十实施方式中一种基于视频压缩码流的码流转换装置的结构示意图。如图18所示，该基于视频压缩码流的码流转换装置包括以下单元，具体地说：

码流缓冲单元，用于接收和存储一个GOP的码流，并将GOP中各图像对应的码流分别发送给信息提取单元和码流转换单元。

信息提取单元，用于根据视频压缩标准的规定解析码流，所述视频码流压缩标准包括现今主流的MPEG2、MPEG4、H.264等，没有局限性。在解析码流的过程中提取每个宏块所对应的信息，以供后续运动分析使用。

信息处理单元，用于对所述信息提取单元提取的P帧或者B帧图像的宏块信息进行预处理，包括宏块类型归一化、宏块总比特数或者残差比特数重映射和运动矢量筛选。目前主流的几个基于混合编码框架的视频压缩标准，如MPEG2、MPEG4、H.264等，在宏块类型细分定义、量化、运动矢量细分上有所不同。信息处理单元对这些不同进行筛选和重映射，形成统一的表达形式。具体方法是：

对宏块定义进行合并。不同压缩标准在Intra、Inter宏块大类型下还细分了很多子类型，将这些子类型归并成一个mb_type，mb_type为Intra、Inter两种类型，处理完的宏块类型记为block_type。同时，不同的mb_type对下文的宏块总比特数mb_bits重映射也有改变。

根据压缩标准定义的量化算法对宏块总比特数mb_bits进行重映射。各压缩标准的量化曲线和算法不同，导致宏块量化编码后产生的比特数mb_bits也不相同，需要进行重映射，使宏块差别的度量从与量化系数相关的压缩比特转换到与量化系数无关的图像残差。记重映射后的宏块残差为block_rsd。重映射的方法为各宏块的总比特数mb_bits分别乘以一个与量化系数呈单调递增曲线的权重值W(QP)，曲线由各压缩标准的量化算法定义，并受到宏块类型mb_type的影响，如Intra宏块和Inter宏块映射曲线不同。

当Inter宏块被划分为多个子块时，对MV进行筛选，筛选方法可以是对各子块MV的加权平均，也可以取各子块MV的最大值、最小值或中值等。总之，一个Inter宏块只保留一个MV做为宏块运动矢量，需要注意的是当一个宏块为Intra块时编码码流中没有运动矢量信息，此时Intra块的运动矢量可以采用其周围Inter块的加权平均值。记筛选后的宏块运动矢量为block_mv。

I图像重建单元，用于重建I图像，其实现方法由各视频压缩标准规定，属于成熟技术，由于本发明不重建P帧或B帧图像，也就是I图像不会用于参考造成漂移，因此在对图像质量没有重大影响的前提下，某些步骤可以不完全依据视频压缩标准进行，例如H.264的环路滤波可以省略。

I图像运动分析单元，用于所述I图像重建单元重建后的I图像进行运动分析，由于当前I图像和已经解码重建的I图像构成了一个图像序列，因此可以使用传统的视频移动侦测算法或基于像素的背景建模目标分割算法进行运动分析。

用户信息输入单元，用于接收并且存储用户输入的信息，所称用户信息是指用户指定的将进行运动分析的图像区域，这个区域是整幅图像的所有宏块或者是若干个区域包含的宏块位置。所称用户信息还包括每个宏块用户感兴趣的运动方向以及运动分析灵敏度参数，灵敏度参数用来计算后续处理的一些阀值。感兴趣区域、方向默认可以是全画面区域、任意方向，灵敏度也可以使用默认推荐值，此时这些参数用户不必输入。

P或B图像运动分析单元，用于基于信息处理单元处理完的宏块信息对每个宏块进行运动分析，包括背景建模、背景模型匹配和利用用户信息和模型匹配结果判决宏块是否发生用户感兴趣的运动，并向码流转换单元传送判决结果。

码流转换单元，用于完成对码流的转换工作。

作为本发明的优选实施例，图19是本发明第十实施方式中一种基于视频压缩码流的码流转换装置的结构示意图。如图19所示，该基于视频压缩码流的码流转换装置中的上述P或B图像运动分析单元包括以下子单元，具体地说：

背景模型初始化子单元，用于对第一幅P/B图像进行运动分析前，对背景模型参数进行初始化，每个宏块的背景模型参数包括背景残差均值bg_avg_rsd，bg_avg_rsd的初始化值为一个正数，例如采用第一幅图像当前宏块的block_rsd。

背景模型匹配子单元，用于首先计算当前宏块block_rsd与背景bg_avg_rsd的差异rsa_dif，rsa_dif的衡量方法可以采用两者的绝对差值rsd_dif＝|block_rsd-bg_avg_rsd|，但不限于此衡量方法，如果rsd_dif大于预先设定的阀值TH1则判定当前块为运动块，否则计算当前宏块的运动矢量block_mv的绝对值mv_abs，判断mv_abs是否小于预先设定的阀值TH2，如果是则判定当前块为静止块，否则判断rsd_dif是否大与阀值TH3，如果是则判定当前块为运动块，否则判定当前块为静止块。所称运动矢量绝对值为矢量大小的衡量方法。

背景模型更新子单元，用于在完成一个宏块的运动判决后，对背景模型参数进行更新，背景模型参数bg_avg_rsd的优选更新方法为当前位置宏块在时域上的block_rsd的加权平均。

运动信息输出子单元，用于利用用户信息和背景模型匹配子单元的匹配结果进行运动信息的输出，如果一个宏块在背景模型匹配子单元中被判决为运动块，则判断其是否在用户感兴趣区域内，同时判断其运动方向是否为用户感兴趣的运动方向，最后将判决后的运动信息传送给背景模型匹配子单元。

在视频监控领域，用户往往关注的是画面中的运动景物及其运动特征，而对于很多监控场景，画面中大部分时间不存在运动物体或运动物体的运动特征不是用户所关心的特征，这时如果将大部分静止的码流丢弃而保存发生感兴趣运动的码流片段，将会大量减少码流存储和发送所需的存储空间和网络带宽。这也是本发明提出的基于运动分析的码流转换装置的优点。

第五实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第五实施方式互相配合实施。第五实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第五实施方式中。

需要说明的是，本发明各设备实施方式中提到的各单元或者模块都是逻辑单元或者模块，在物理上，一个逻辑单元或者模块可以是一个物理单元或者模块，也可以是一个物理单元或者模块的一部分，还可以以多个物理单元或者模块的组合实现，这些逻辑单元或者模块本身的物理实现方式并不是最重要的，这些逻辑单元或者模块所实现的功能的组合是才解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元或者模块引入，这并不表明上述设备实施方式并不存在其它的单元或者模块。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (20)

1.一种基于视频压缩码流的运动分析方法，其特征在于，包括以下步骤：

从视频压缩码流中提取帧中宏块的总比特数或残差比特数；

对当前宏块在最近M帧中对应位置宏块的总比特数或残差比特数进行加权平均，计算得到背景值，其中M为自然数；

计算当前宏块的总比特数或残差比特数与背景值的差值，如果差值大于预先设定的第一阈值，则判定为检测到运动物体。

2.根据权利要求1所述的基于视频压缩码流的运动分析方法，其特征在于，在所述从视频压缩码流中提取帧中宏块的总比特数或残差比特数的步骤之后，还包括以下步骤：

根据所述视频压缩码流的压缩标准定义的量化算法，将宏块的总比特数或残差比特数重映射为与量化系数无关的总比特数或残差比特数。

3.根据权利要求2所述的基于视频压缩码流的运动分析方法，其特征在于，在所述重映射的步骤之前，还包括以下步骤：

根据所述视频压缩码流的压缩标准，将宏块的类型归并为帧内宏块和帧间宏块；

在所述重映射的步骤中，

根据所述视频压缩码流的压缩标准定义的量化算法和宏块的类型，将宏块的总比特数或残差比特数重映射为与量化系数无关的总比特数或残差比特数。

4.根据权利要求1所述的基于视频压缩码流的运动分析方法，其特征在于，所述对当前宏块在最近M帧中对应位置宏块的残差比特数进行加权平均可以通过以下方式进行：

$\mathrm{bg}\_\mathrm{avg}\_\mathrm{rsd}\left(k\right)={\mathrm{\Σ}}_{i=0}^{m-1}\mathrm{\ω}(k-i)\×\mathrm{block}\_\mathrm{rsd}(k-i);$

其中，bg_avg_rsd(k)表示当前宏块在最近M帧中对应位置宏块的残差比特数为加权平均后的残差比特数，k表示时域的当前时刻，block_rsd(k-i)表示时域的前i时刻同一位置宏块的残差比特数，m为一个正整数，表示对M帧中对应位置宏块的残差比特数进行加权平均，ω(k-i)为M帧中对应位置宏块的残差比特数权重，且需要满足ω(k-i)≥0。

5.根据权利要求1所述的基于视频压缩码流的运动分析方法，其特征在于，在所述计算当前宏块的总比特数或残差比特数与背景值的差值的步骤之前，还包括以下步骤：

从视频压缩码流中提取帧中宏块的运动矢量；

在所述计算当前宏块的总比特数或残差比特数与背景值的差值的步骤之后，还包括以下步骤：

如果所述差值大于预先设定的第三阈值且当前宏块运动矢量大于预先设定的第二阈值，则判定为检测到运动物体，所述第一阈值大于或等于所述第三阈值；

6.根据权利要求5所述的基于视频压缩码流的运动分析方法，其特征在于，所述从视频压缩码流中提取帧中宏块的运动矢量的步骤之前，还包括以下步骤：

根据所述视频压缩码流的压缩标准，将宏块的类型归并为帧内宏块和帧间宏块；

所述从视频压缩码流中提取帧中宏块的运动矢量的步骤中，还包括以下子步骤：

当所述当前宏块为帧间宏块且被划分为多个子宏块时，则对各个子宏块的运动矢量加权平均，获取所述当前宏块的运动矢量；

当所述当前宏块为帧内宏块时，则对所述帧内宏块周围帧间宏块的运动矢量加权平均，获取所述当前宏块的运动矢量。

7.根据权利要求1至6中任一项所述的基于视频压缩码流的运动分析方法，其特征在于，所述计算得到背景值的步骤之前还包括以下步骤：

判断当前宏块是否为指定的区域中的宏块，如果是则进入所述计算得到背景值的步骤，否则结束对当前宏块的检测。

8.根据权利要求6所述的基于视频压缩码流的运动分析方法，其特征在于，所述计算得到背景值的步骤之前还包括以下步骤：

判断当前宏块运动矢量的方向与指定方向的夹角是否小于预定门限，如果是则进入所述计算得到背景值的步骤，否则结束对当前宏块的检测。

9.根据权利要求1至6中任一项所述的基于视频压缩码流的运动分析方法，其特征在于，在所述从视频压缩码流中提取帧中宏块的总比特数或残差比特数的步骤之前，还包括以下步骤：

判断当前帧的类型；

如果是B帧或P帧，则进入所述从视频压缩码流中提取帧中宏块的总比特数或残差比特数的步骤；

如果是I帧，则重建该I帧的图像，并根据重建的I帧图像进行运动分析。

10.一种基于视频压缩码流的码流转换方法，其特征在于，包括以下步骤：

根据权利要求1至9中任一条所述的运动分析方法对视频压缩码流进行运动分析；

如果所述运动分析判定为检测到运动物体，则输出检测到运动物体的图像组的码流，否则仅输出未检测到运动物体的图像组中代表I帧图像的码流。

11.一种基于视频压缩码流的运动分析装置，其特征在于，包括以下单元：

第一提取单元，用于从视频压缩码流中提取帧中宏块的总比特数或残差比特数；

加权单元，用于对当前宏块在最近M帧中对应位置宏块的所述第一提取单元提取的总比特数或残差比特数进行加权平均，计算得到背景值，其中M为自然数；

计算单元，用于计算当前宏块的总比特数或残差比特数与所述加权单元计算得到的背景值的差值；

第一判断单元，用于判断所述计算单元计算得到的差值是否大于预先设定的第一阈值，若是，则判定为检测到运动物体。

12.根据权利要求11所述的基于视频压缩码流的运动分析装置，其特征在于，还包括以下单元：

重映射单元，用于根据所述视频压缩码流的压缩标准定义的量化算法，将所述第一提取单元提取的宏块的总比特数或残差比特数重映射为与量化系数无关的总比特数或残差比特数。

13.根据权利要求11所述的基于视频压缩码流的运动分析装置，其特征在于，还包括以下单元：

第一归并单元，用于根据所述视频压缩码流的压缩标准，将宏块的类型归并为帧内宏块和帧间宏块；

所述重映射单元，还用于根据所述视频压缩码流的压缩标准定义的量化算法和所述第一归并单元归并的宏块的类型，将宏块的总比特数或残差比特数重映射为与量化系数无关的总比特数或残差比特数。

14.根据权利要求11所述的基于视频压缩码流的运动分析装置，其特征在于，所述加权单元对当前宏块在最近M帧中对应位置宏块的残差比特数进行加权平均可以通过以下方式进行：

$\mathrm{bg}\_\mathrm{avg}\_\mathrm{rsd}\left(k\right)={\mathrm{\Σ}}_{i=0}^{m-1}\mathrm{\ω}(k-i)\×\mathrm{block}\_\mathrm{rsd}(k-i);$

其中，bg_avg_rsd(k)表示当前宏块在最近M帧中对应位置宏块的残差比特数为加权平均后的残差比特数，k表示时域的当前时刻，block_rsd(k-i)表示时域的前i时刻同一位置宏块的残差比特数，m为一个正整数，表示对M帧中对应位置宏块的残差比特数进行加权平均，ω(k-i)为M帧中对应位置宏块的残差比特数权重，且需要满足ω(k-i)≥0。

15.根据权利要求11所述的基于视频压缩码流的运动分析装置，其特征在于，还包括以下单元：

所述第二提取单元，用于从视频压缩码流中提取帧中宏块的运动矢量；

第二判断单元，用于判断所述第二提取单元提取的当前宏块运动矢量是否大于预先设定的第二阈值；

第三判断单元，用于在所述第二判断单元判定当前宏块运动矢量大于预先设定的第二阈值时，判断所述计算单元计算得到的差值是否大于预先设定的第三阈值，若是，则判定为检测到运动物体，所述第一阈值大于或等于所述第三阈值。

16.根据权利要求15所述的基于视频压缩码流的运动分析装置，其特征在于，还包括以下单元：

第二归并单元，用于在所述第二提取单元从视频压缩码流中提取帧中宏块的运动矢量之前，根据所述视频压缩码流的压缩标准，将宏块的类型归并为帧内宏块和帧间宏块；

所述第二提取单元，包括以下子模块：

宏块类型判断子模块，用于判断当前宏块是所述第一或第二归并单元归并的帧间宏块还是帧内宏块；

子宏块类型判断子模块，用于当所述宏块类型判断子模块判定当前宏块为帧间宏块时，判断该帧间宏块是否被划分为多个子宏块；

第一矢量加权子模块，用于当所述宏块类型判断子模块判定当前宏块为帧间宏块且所述子宏块类型判断子模块判定该帧间宏块被划分为多个子宏块时，对各个子宏块的运动矢量加权平均，获取所述当前宏块的运动矢量；

第二矢量加权子模块，用于当所述宏块类型判断子模块判定当前宏块为帧内宏块时，则对所述帧内宏块周围帧间宏块的运动矢量加权平均，获取所述当前宏块的运动矢量。

17.根据权利要求11至16中任一项所述的基于视频压缩码流的运动分析装置，其特征在于，还包括以下单元：

区域判断单元，用于在所述加权单元计算得到的背景值之前，判断当前宏块是否为指定的区域中的宏块，如果是则进入所述加权单元计算得到背景值的步骤，否则结束对当前宏块的检测。

18.根据权利要求16所述的基于视频压缩码流的运动分析装置，其特征在于，还包括以下单元：

方向判断单元，用于在所述加权单元计算得到的背景值之前，判断当前宏块运动矢量的方向与指定方向的夹角是否小于预定门限，如果是则进入所述加权单元计算得到背景值的步骤，否则结束对当前宏块的检测。

19.根据权利要求11至16中任一项所述的基于视频压缩码流的运动分析装置，其特征在于，还包括以下单元：

帧类型判断单元，用于判断当前帧的类型，如果所述帧类型判断单元判定当前帧为B帧或P帧，则进入所述第一提取单元从视频压缩码流中提取帧中宏块的总比特数或残差比特数的步骤；

重建单元，用于如果所述帧类型判断单元判定当前帧为I帧，则重建该I帧的图像；

I帧运动分析单元，用于根据所述重建单元重建的I帧图像进行运动分析。

20.一种基于视频压缩码流的码流转换装置，其特征在于，包括以下部分：

如权利要求11至19中任一项所述的运动分析装置；

运动码流输出单元，用于如果所述运动分析单元运动分析判定为检测到运动物体，则输出检测到运动物体的图像组的码流，否则仅输出未检测到运动物体的图像组中代表I帧图像的码流。

Images