CN101505426A - 压缩域的运动检测方法及装置 - Google Patents

Abstract

本发明公开了压缩域的运动检测方法及装置。方法包括：对于MPEG4视频流中的P帧和B帧中的每个宏块，判断该宏块是否为不编码宏块或者该宏块的运动矢量小于阈值，若是，确定该宏块为背景块；否则，查找该宏块的参考块；根据参考帧中与该参考块重合的原始宏块的DCT DC系数，计算该参考块的DC系数，将参考块的DC系数作为该宏块的DC系数；计算该宏块的帧间DC系数差的四次矩，若该四次矩大于预设值，则确定该宏块为运动块，否则，确定该宏块为背景块。本发明提高了压缩域中的运动检测精度。

Description

压缩域的运动检测方法及装置

技术领域

本发明涉及视频处理技术领域，具体涉及压缩域的运动检测方法及装置。

背景技术

随着视频监控系统的普及，移动侦测技术得到了越来越多的应用。视频移动侦测摄像头巧妙地将报警与监控结合到了一起。它除了可以通过电视机或监视器进行图像监控外，还通过前端的嵌入式智能分析模块，对监控到的视频信号进行智能分析，一旦觉察到画面内容有变化，它就会发出报警音或提示音，同时还可输出联动信号以触发录像机等相关设备工作。通常情况下，视频中的运动目标检测是指将视频帧按一定的标准分割成区域，从视频序列中分割和提取运动对象的一种技术。

针对视频的运动目标检测技术主要分两类：像素域算法和压缩域算法。基于像素域的检测算法已经比较成熟，而压缩域的检测算法尚处于发展阶段。由于大量的多媒体数据是以压缩形式存储和传输的，所以研究压缩域中的视频运动目标检测算法有很大的实用价值。

目前，最常见的压缩域中的视频运动目标检测算法是基于运动矢量的运动目标检测方法，其基本思想是：从第四代运动图像专家组(MPEG4，MovingPicture Experts Group 4)视频流中直接获得P、B帧中的各宏块的运动矢量，如果该宏块为不编码宏块或宏块的运动矢量小于阈值，则该宏块属于背景块，否则属于运动块。这种仅利用运动矢量来检测运动目标的方法，会有噪声的干扰，误差较大。

发明内容

本发明提供一种压缩域的运动检测方法及装置，以提高运动检测的精度。

本发明的技术方案是这样实现的：

一种压缩域的运动检测方法，该方法包括：

A、对于MPEG4视频流中的P帧和B帧中的每个宏块，判断该宏块是否为不编码宏块或者该宏块的运动矢量小于阈值，若是，确定该宏块为背景块；否则，执行步骤B；

B、查找该宏块的参考块；根据参考帧中与该参考块重合的原始宏块的离散余弦变换直流系数DC，计算该参考块的DC系数，将参考块的DC系数作为该宏块的DC系数；计算该宏块的帧间DC系数差的四次矩，若该四次矩大于预设值，则确定该宏块为运动块，否则，确定该宏块为背景块。

所述根据参考帧中与该参考块重合的原始宏块的DC系数，计算该参考块的DC系数包括：

$D\left(B_r\right)=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}\frac{w_i{h}_i}{64}D\left(B_i\right)$

其中，D(B_r)为参考块的DC系数，B_i为与参考块重合的原始宏块，i＝1，2，3，4，D(B_i)为原始宏块B_i的DC系数；w_i为参考块与B_i重合部分的宽度，h_i为参考块与B_i重合部分的高度。

所述计算该宏块的帧间DC系数差的四次矩包括：

将一大小与该宏块相同的窗口按照预设范围以预设步长在该宏块周围移动，计算各移动窗口的帧间DC系数差；

计算所有移动窗口的帧间DC系数差的均值；

根据各移动窗口的帧间DC系数差以及所有移动窗口的帧间DC系数差的均值，计算该宏块的帧间DC系数差的四次矩。

所述预设步长为：横向步长等于该宏块的宽度，纵向步长等于该宏块的高度，所述预设范围为：以该宏块为中心，宽度等于该宏块宽度的3倍，高度等于该宏块高度的3倍的范围，

所述计算各移动窗口的帧间DC系数差为：

d(B_i)＝D_t(B_i)-D_t-1(B_i)

其中，i为整数，且1≤i≤9，其中B₅即为该宏块，d(B_i)为第i个窗口的帧间DC系数差，D_t(B_i)为第i个窗口在当前帧的DC系数，D_t-1(B_i)为第i个窗口在前一帧的DC系数。

所述计算该宏块的帧间DC系数差的四次矩为：

$m_4\left(B_c\right)=\frac{1}{9}\underset{i=1}{\overset{9}{\mathrm{\Σ}}}{(d\left(B_i\right)-\stackrel{\‾}{d})}^4$

其中，m₄(B_c)为该宏块的帧间DC系数差的四次矩，d表示所有移动窗口的帧间DC系数差的均值。

步骤B所述预设值为：预设常数与当前背景模型的均方差的平方的乘积。

所述预设常数的取值范围为60～90。

所述步骤B之后进一步包括：将当前帧中检测为运动块的所有宏块进行形态学滤波，确定每个连通区域为一个运动目标。

一种压缩域的运动检测装置，该装置包括：

初检模块，对于MPEG4视频流中的P帧和B帧中的每个宏块，判断该宏块是否为不编码宏块或者该宏块的运动矢量小于阈值，若是，确定该宏块为背景块；否则，将该宏块标识发送给细检模块；

细检模块，接收宏块标识，查找该宏块的参考块；根据参考帧中与该参考块重合的原始宏块的离散余弦变换DC系数，计算该参考块的DC系数，将该参考块的DC系数作为该宏块的DC系数；计算该宏块的帧间DC系数差的四次矩，若该四次矩大于预设值，则确定该宏块为运动块，否则，确定该宏块为背景块。

所述细检模块包括：

帧间DC系数差计算模块，接收宏块标识，确定该宏块的参考块；根据参考帧中与该参考块重合的原始宏块的DC系数，计算该参考块的DC系数，将该参考块的DC系数作为该宏块的DC系数；将一大小与该宏块相同的窗口按照预设范围以预设步长在该宏块周围移动，计算各移动窗口的帧间DC系数差，计算所有移动窗口的帧间DC系数差的均值，将各移动窗口的帧间DC系数差和所有移动窗口的帧间DC系数差的均值发送给检测模块；

检测模块，根据各移动窗口的帧间DC系数差以及所有移动窗口的帧间DC系数差的均值，计算该宏块的帧间DC系数差的四次矩，若该四次矩大于预设值，则确定该宏块为运动块，否则，确定该宏块为背景块。

与现有技术相比，本发明对于MPEG4视频流中的P帧和B帧中的每个宏块，判断该宏块是否为不编码宏块或者该宏块的运动矢量小于阈值，若是，确定该宏块为背景块；否则，查找该宏块的参考块；根据参考帧中与该参考块重合的原始宏块的DCT DC系数，计算该参考块的DC系数，将该参考块的DC系数作为该宏块的DC系数；计算该宏块的帧间DC系数差的四次矩，若该四次矩大于预设值，则确定该宏块为运动块，否则，确定该宏块为背景块。本发明将运动矢量与DC系数结合来检测运动目标，充分利用了MPEG4视频流中蕴含的信息，降低了运动目标检测的误差，同时，根据与参考块重合的原始宏块的DC系数来计算宏块的DC系数，也减少了计算DC系数的运算量，有利于对视频流中的运动目标进行实时跟踪。

附图说明

图1为本发明实施例提供的压缩域的运动检测流程图；

图2为本发明实施例提供的计算参考块的DC系数的示意图；

图3为本发明实施例提供的压缩域的运动检测装置的组成图；

图4为本发明实施例提供的细检模块的组成图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

图1为本发明实施例提供的压缩域的运动检测流程图，如图1所示，其具体步骤如下：

步骤101：接收MPEG4视频流。

步骤102：若当前帧为P帧或B帧，则对当前帧中的每个宏块，判断该宏块是否满足：为不编码宏块或者该宏块的运动矢量小于预设阈值，若是，执行步骤108；否则，执行步骤103。

步骤103：根据当前宏块B_c的运动矢量，计算该宏块B_c的参考块B_r在参考帧中的位置，确定参考帧中与参考块B_r重合的原始宏块B₁、B₂、B₃、B₄。

步骤104：根据参考帧中与参考块B_r重合的原始宏块B₁、B₂、B₃、B₄的DC系数，计算参考块B_r的离散余弦变换(Discrete Cosine Transform)直流系数(DC，Direct Coefficient)D(B_r)，令D(B_c)＝D(B_r)。

$D\left(B_r\right)=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}\frac{w_i{h}_i}{64}D\left(B_i\right)---\left(1\right)$

其中，D(B_i)为原始宏块B_i(i＝1，2，3，4)的DC系数；w_i(i＝1，2，3，4)为B_r与B_i重合部分的宽度，h_i(i＝1，2，3，4)为B_r与B_i重合部分的高度；D(B_c)为当前宏块的DC系数。

原始宏块B₁、B₂、B₃、B₄位于I帧中，其DC系数D(B_i)(i＝1，2，3，4)可以直接从压缩视频流中得到。

如图2所示，B_c为当前宏块，M_c为B_c的运动矢量，B_r为M_c的参考块，B_r与B₁、B₂、B₃、B₄重合，如：B_r与B₁重合部分的宽度为w₁、高度为h₁，则B_r的DC系数D(B_r)可采用公式(1)由B₁、B₂、B₃、B₄的系数得到。

步骤105：将一个大小与当前宏块B_c相同的窗口按照预设范围以预设步长在B_c周围移动，计算每个移动窗口的帧间DC系数差。

通常窗口的移动范围为(Top_left-W，Top_right-H)，(Bottom_right+W，Bottom_right+H)，移动步长为(W，H)。其中，(Top_left，Top_right)为B_c的左上端点，(Bottom_right，Bottom_right)为B_c的右下端点，W，H分别为B_c的宽度和高度，移动步长为(W，H)表示窗口的横向移动步长为W，纵向移动步长为H，这样可以看出：移动窗口的数目N＝9。

每个移动窗口的帧间DC系数差可通过如下公式得到：

d(B_i)＝D_t(B_i)-D_t-1(B_i)

其中，t表示当前帧，t-1表示前一帧，i＝1，2，...，9，其中B₁、B₂、B₃、B₄，B₆、B₇、B₈表示B_r周围的8个窗口，B₅即为B_c。d(B_i)为第i个窗口的帧间DC系数差，D_t(B_i)为第i个窗口在当前帧的DC系数，D_t-1(B_i)为第i个窗口在前一帧的DC系数。每个窗口在当前帧的DC系数都可通过公式(1)得到，即：可由与该窗口重合的4个原始宏块的DC系数得到。若前一帧为I帧，则每个窗口在前一帧的DC系数可直接从视频流中得到；若前一帧不为I帧，则每个窗口在前一帧的DC系数可通过公式(1)得到。

步骤106：计算当前宏块B_c的帧间DC系数差的四次矩m₄(B_c)。

$m_4\left(B_c\right)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(d\left(B_i\right)-\stackrel{\‾}{d})}^4$

其中， $\stackrel{\‾}{d}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}d\left(B_i\right),$ 表示移动窗口的帧间DC系数差均值，通常N＝9。

步骤107：判断m₄(B_c)>m0是否成立，若是，执行步骤109；否则，执行步骤108。

m0为预设阈值，通常m0＝cσ_t ²，其中，c为常数，通常取值范围为60～90，σ_t为当前背景模型的均方差。

步骤108：确定当前宏块为背景块。

步骤109：确定当前宏块为运动块。

将当前帧中检测为运动块的所有宏块进行形态学滤波，每个连通区域为一个运动目标。

图3为本发明实施例提供的压缩域的运动检测装置的组成图，如图3所示，其主要包括：初检模块31和细检模块32，其中：

初检模块31：接收MPEG4视频流，对于MPEG4视频流中的P帧和B帧中的每个宏块，判断该宏块是否为不编码宏块或者该宏块的运动矢量小于阈值，若是，确定该宏块为背景块；否则，将该宏块标识发送给细检模块32。

细检模块32：接收初检模块31发来的宏块标识，查找该宏块标识对应宏块的参考块；根据参考帧中与该参考块重合的原始宏块的DC系数，计算该参考块的DC系数，将该参考块的DC系数作为该宏块的DC系数；计算该宏块的帧间DC系数差的四次矩，若该四次矩大于预设值，则确定该宏块为运动块，否则，确定该宏块为背景块。

如图4所示，细检模块32可包括：帧间DC系数差计算模块321和检测模块322，其中：

帧间DC系数差计算模块321：接收初检模块31发来的宏块标识，查找该宏块标识对应宏块的参考块；根据参考帧中与该参考块重合的原始宏块的DC系数，计算该参考块的DC系数，将该参考块的DC系数作为该宏块的DC系数；将一大小与该宏块相同的窗口按照预设范围以预设步长在该宏块周围移动，计算各移动窗口的帧间DC系数差，计算所有移动窗口的帧间DC系数差的均值，将各移动窗口的帧间DC系数差和所有移动窗口的帧间DC系数差的均值发送给检测模块322。

检测模块322：根据帧间DC系数差计算模块321发来的各移动窗口的帧间DC系数差以及所有移动窗口的帧间DC系数差的均值，计算该宏块的帧间DC系数差的四次矩，若该四次矩大于预设值，则确定该宏块为运动块，否则，确定该宏块为背景块。

以上所述仅为本发明的过程及方法实施例，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1、一种压缩域的运动检测方法，其特征在于，该方法包括：

A、对于第四代运动图像专家组MPEG4视频流中的P帧和B帧中的每个宏块，判断该宏块是否为不编码宏块或者该宏块的运动矢量小于阈值，若是，确定该宏块为背景块；否则，执行步骤B；

B、查找该宏块的参考块；根据参考帧中与该参考块重合的原始宏块的离散余弦变换直流系数DC，计算该参考块的DC系数，将参考块的DC系数作为该宏块的DC系数；计算该宏块的帧间DC系数差的四次矩，若该四次矩大于预设值，则确定该宏块为运动块，否则，确定该宏块为背景块。

2、如权利要求1所述的方法，其特征在于，所述根据参考帧中与该参考块重合的原始宏块的DC系数，计算该参考块的DC系数包括：

$D\left(B_r\right)=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}\frac{w_i{h}_i}{64}D\left(B_i\right)$

其中，D(B_r)为参考块的DC系数，B_i为与参考块重合的原始宏块，i＝1，2，3，4，D(B_i)为原始宏块B_i的DC系数；w_i为参考块与B_i重合部分的宽度，h_i为参考块与B_i重合部分的高度。

3、如权利要求1或2所述的方法，其特征在于，所述计算该宏块的帧间DC系数差的四次矩包括：

将一大小与该宏块相同的窗口按照预设范围以预设步长在该宏块周围移动，计算各移动窗口的帧间DC系数差；

计算所有移动窗口的帧间DC系数差的均值；

根据各移动窗口的帧间DC系数差以及所有移动窗口的帧间DC系数差的均值，计算该宏块的帧间DC系数差的四次矩。

4、如权利要求3所述的方法，其特征在于，所述预设步长为：横向步长等于该宏块的宽度，纵向步长等于该宏块的高度，所述预设范围为：以该宏块为中心，宽度等于该宏块宽度的3倍，高度等于该宏块高度的3倍的范围，

所述计算各移动窗口的帧间DC系数差为：

d(B_i)＝D_t(B_i)-D_t-1(B_i)

其中，i为整数，且1≤i≤9，其中B₅即为该宏块，d(B_i)为第i个窗口的帧间DC系数差，D_t(B_i)为第i个窗口在当前帧的DC系数，D_t-1(B_i)为第i个窗口在前一帧的DC系数。

5、如权利要求4所述的方法，其特征在于，所述计算该宏块的帧间DC系数差的四次矩为：

$m_4\left(B_c\right)=\frac{1}{9}\underset{i=1}{\overset{9}{\mathrm{\Σ}}}{(d\left(B_i\right)-\stackrel{\‾}{d})}^4$

其中，m₄(B_c)为该宏块的帧间DC系数差的四次矩，d表示所有移动窗口的帧间DC系数差的均值。

6、如权利要求1或2所述的方法，其特征在于，步骤B所述预设值为：预设常数与当前背景模型的均方差的平方的乘积。

7、如权利要求6所述的方法，其特征在于，所述预设常数的取值范围为60～90。

8、如权利要求1或2所述的方法，其特征在于，所述步骤B之后进一步包括：将当前帧中检测为运动块的所有宏块进行形态学滤波，确定每个连通区域为一个运动目标。

9、一种压缩域的运动检测装置，其特征在于，该装置包括：

初检模块，对于MPEG4视频流中的P帧和B帧中的每个宏块，判断该宏块是否为不编码宏块或者该宏块的运动矢量小于阈值，若是，确定该宏块为背景块；否则，将该宏块标识发送给细检模块；

细检模块，接收宏块标识，查找该宏块的参考块；根据参考帧中与该参考块重合的原始宏块的离散余弦变换DC系数，计算该参考块的DC系数，将该参考块的DC系数作为该宏块的DC系数；计算该宏块的帧间DC系数差的四次矩，若该四次矩大于预设值，则确定该宏块为运动块，否则，确定该宏块为背景块。

10、如权利要求9所述的装置，其特征在于，所述细检模块包括：

帧间DC系数差计算模块，接收宏块标识，确定该宏块的参考块；根据参考帧中与该参考块重合的原始宏块的DC系数，计算该参考块的DC系数，将该参考块的DC系数作为该宏块的DC系数；将一大小与该宏块相同的窗口按照预设范围以预设步长在该宏块周围移动，计算各移动窗口的帧间DC系数差，计算所有移动窗口的帧间DC系数差的均值，将各移动窗口的帧间DC系数差和所有移动窗口的帧间DC系数差的均值发送给检测模块；

检测模块，根据各移动窗口的帧间DC系数差以及所有移动窗口的帧间DC系数差的均值，计算该宏块的帧间DC系数差的四次矩，若该四次矩大于预设值，则确定该宏块为运动块，否则，确定该宏块为背景块。

Images