CN101321287B - 基于运动目标检测的视频编码方法 - Google Patents

Abstract

本发明公开了一种基于运动目标检测的视频编码方法，它先对视频图像中的运动目标进行检测，根据检测结果将图像分为运动区和静止区，再对静止区图像采用以下一种或一种以上的方法进行编码处理：a.调整帧间预测编码模式选择时的SKIP模式的率失真优化策略，提高选择SKIP模式的概率；b.对静止区图像进行去噪滤波预处理；c.利用静止区生成一幅背景图像作为新增的参考图像。本发明是一种在混合编码框架中添加运动目标检测单元的方法，其优点是可在不降低运动区域图像质量的条件下，降低整幅图像压缩后的码流，提高视频传输、存储的效率。

Description

基于运动目标检测的视频编码方法

技术领域

本发明属于数字视频编码和数字视频分析领域，特别涉及一种利用视频检测结果提高视频编码性能的方法。 

背景技术

视频监控是安全防范行业中的一个重要组成部分。随着视频监控系统规模的扩大，监视场点的不断增多，长时间监控累积的数据是十分庞大的，存放和检索数据需要付出极大的成本，因此必须对视频信息进行高效压缩，有效利用网络资源，降低数据存储设备的存储量和复杂度。 

对大规模视频监控系统来说，由于人力、场地和设备等资源有限，不可能对所有视频进行在线监视，需要采用运动目标视频检测和报警等技术辅助人工监视，及时发出报警信号，并记录视频事件。视频编码技术的发展使压缩性能有了很大的提高，且大多数是基于块的预测和变换混合的编码技术，如H.264/AVC、MPEG4、AVS。考虑到视频监控通常有较多静止区域等特点，可利用视频检测得到的静止区和运动区，提高静止区的编码效率，降低码率而不影响运动目标的清晰度。但以MPEG-4为代表的基于视频对象的压缩编码技术由于其对目标的提取必须准确，一般不能用于实时视频编码。MPEG-4在用于视频监控或实时通信时，一般不作目标分割，只将整幅图像作为一个视频对象。H.264和AVS等视频编码标准引入了一些更细致的编码方法，提高了压缩比，但其基本框架仍是基于块的预测和变换混合的编码。利用不变的背景图像作为参考图像能提高视频编码效率，但现有的提取真实背景的方法并不能利用解码重建图像生成，背景图像图像需要单独传输。 

H.264或AVS等新的视频编码技术提供了很好的压缩性能。但是在智能监控系统，以及视频会议、可视电话中，在静止区域，每帧并不能提供更多的有用信息，且由于受噪声，或是环境细微变化影响形成的码流数据占了视频码流的很大一部分。因此，如果能对其进行处理，或采用更有效的视频编码方法，既能不降低重要区域的图像质量，又能减少压缩后的码流数据，则能更好地满足应用需要。 

发明内容

本发明的目的是针对智能化视频监控应用，提出了一种在混合编码框架中添加运动目标检测单元的方法，该方法区别对待静止图像区域和运动图像区域，通过改变静止区域的编码策略，并进行视频处理，从而减少静止区域的码流，在不降低运动区域图像质量的条件下，可降低整幅图像压缩后的码流，提高视频传输、存储的效率。本发明特别适合在视频监控、可视电话和视频会议等场合的应用。

本发明主要提出了针对视频编码的改进方案。其中所述的视频处理包括引入基于视频的运动目标检测单元，根据检测结果将图像分为运动区和静止区，并对静止区图像采用以下三种方法中的一种或一种以上的方法进行编码处理：对由运动目标检测单元确定的静止区域进行帧间滤波；对静止区域调整预测编码模式策略，增加静止区域宏块选择SKIP模式(即作为SKIP宏块，不对残差数据进行编码)的概率；创建并维护一个背景图像作为附加的参考图像。采用上述一种或一种以上的方法进行编码处理的本质都是通过提高静止区压缩效率来提高编码的效率，该方法实质上是以静止区域图像质量的较小下降换取编码效率的大幅度提高，这是对原有的基于预测和变换编码技术的改进。 

本发明提出的区分静止区域和运动区域与MPEG-4中基于对象编码的不同之处在于，本发明并不要求对运动物体有完整、准确无误的分割，编码仍然以块为单位，所以并不会因运动区域提取不准确而导致的视频编码内容的错误。 

本发明提出的基于运动目标检测的视频编码方法中静止宏块的模式选择策略，适用于MPEG-4、H.264/AVC、AVS、H.263、MPEG-2等基于帧间预测和变换编码技术的编码。本发明提出的方法需要一个运动目标检测单元，用于确定运动区域和静止区域。 

运动目标检测单元是以像素为单位的，在混合编码框架中是以块为单位的。如果宏块中包含运动区域像素，则认为该宏块是运动宏块，否则为静止宏块。对于运动宏块，本系统采用原有的模式选择方式对其进行编码。对于静止宏块，如果当前帧是I帧，则按原有的编码模式进行帧内编码，如果当前帧是P帧或B帧，则使用新的模式决策。 

在新的模式决策中，计算当前宏块SKIP模式的率失真，第一种方法是如果该率失真小于某个阈值，就直接选择SKIP模式；第二种方法是将该SKIP模式率失真值乘以一个缩小因子或者减去一个缩小因子，从而减小静止宏块的SKIP模式的率失真，增加静止宏块选择SKIP模式的概率。 

为了更合理地计算缩小因子，统计以前帧每个静止宏块的最小率失真与该宏块的未经缩小的SKIP模式率失真之比值r，并将其离散化，形成比值r的分布直方图或累积分布直方图，为了便于理解和计算，可形成(1-比值r)的累积分布直方图。预先设定一个希望静止区选用SKIP模式的比例，利用该比例和分布直方图，便可得到对应该比例的比值，将其作为当前帧静止区SKIP模式率失真的缩小因子。SKIP模式的率失真乘以缩放因子就可用于率失真优化比较。缩小因子可每帧计算，并用于下一帧编码；也可隔几帧计算一次，用于后继P帧或B帧的编码，或P帧计算得到的缩小因子只用于后继P帧，B帧计算得到的缩小因子只用于后继B帧。这里希望静止宏块以一定比例采用SKIP模式，保留了一部分静止宏块不采用SKIP模式编码，是因为考虑如下情况：所检测到的静止区可能是被运动目标遮挡重现的静止区域；静止区域也可能有误检测；静止区域可能发生缓慢的光照变化。 

计算需要减去的缩小因子的方法与计算作为乘子的缩小因子的方法类似，所不同的是统计以前帧每个静止宏块的未经缩小的SKIP模式率失真与该宏块的最小率失真之差，并对其离散化，形成差值分布直方图或差值累积分布直方图。再根据预设的静止宏块选用SKIP模式的比例，从分布直方图上确定缩小因子。 

这里所说的SKIP模式是指对残差不需要编码的模式，只需要较少的码流数据。 

这里所说的以前帧可以是当前帧的前一帧或前多帧，为了计算方便，通常可只用前一帧。 

在编码端，本发明还提出了将帧间滤波应用于被检测为静止区域像素的方法，对当前静止区像素，如果前一帧也是静止区像素，则进行帧间去噪滤波。帧间滤波的目的是去除噪声，可以是低通滤波、中值滤波等多种形式。一种简单的方案是采用线性帧间滤波器： 

X_n′＝aX_n-1′+(1-a)X_n         (1) 

其中X_n是当前像素值，X_n′是当前帧像素经滤波后的值，X_n-1′是对应前一帧像素滤波后或未经滤波的值，a是一个取值在0和1间的滤波系数。如果当前帧是新的静止区，即对应前一帧为非静止区，或即使对应前一帧为静止区，但与当前帧差别较大，则不进行帧间滤波，成为未经滤波的像素值。 

本发明还提出了利用运动目标检测结果来生成背景图像，并利用所生成的背景图像进行预测的方法。在选择背景图像作为参考图像时，运动矢量的模一般为零。如果规定用背景图像作为参考图像时运动矢量只能为零，则可不在码流中传输运动矢量。在考虑摄像机抖动时，背景图像作为参考图像时的运动矢量也可不为零。 

背景图像的生成与维护策略如下：若当前帧为I帧，则将I帧重建图像作为背景图像的初始值；若当前帧不是I帧，且当前宏块为静止宏块，则背景图像用当前宏块的重建值进行更新；否则背景图像不更新。这里所说的当前宏块的重建值可以是经过环路滤波的重建值，也可以是未经过环路滤波的重建值，只要解码端与编码端一致即可。 

在当前帧不是I帧，且当前宏块为静止宏块时，背景图像的更新方式为： 

1)若当前像素编码时参考了背景图像，且当前宏块用背景图像预测的残差小于一设定阈 值，说明当前宏块与原背景宏块图像来自相同的被摄背景物体，背景图像像素值按下式进行更新： 

$B_n=w{B}_{n-1}+(1-w){\hat{X}}_n---\left(2\right)$

其中B_n-1和B_n分别是更新前后的背景图像像素值， 

是当前图像重建值，w是加权因子，根据图像帧类型(B、P)和宏块预测残差情况取不同的值，w的取值可预先设定或在码流中传输，可根据w的适用范围在序列头或图像头中传输，还可以随用于生成背景图像的帧数的增加而增加，但不超过1。 

一种特殊的情形：在上述(2)式中，当w取1时，则不更新背景图像；如果在编码B帧时取w＝1，则B帧不参与对背景图像的更新；当w取0时，更新后的背景图像像素值用当前图像重建值完全取代。 

2)若当前像素编码时未参考背景图像或用背景图像预测的残差超过一个设定阈值，则背景图像像素值用当前宏块像素重建值代替，并在码流中指示当前宏块为新背景块，这是因为原背景图像存贮器中对应的像素值与新的检测到的背景差异过大，已不再是背景像素值。这里所说的用背景图像预测的残差表示与背景图像的差异程度，可以用各像素的误差平方和或绝对值和计算。 

在编码过程中，若w不为1，则用上述方法生成的背景图像只作为静止宏块的新增参考图像，对于包含有运动区像素的运动宏块，不应该用背景图像作参考图像。只有w＝1时，即用背景图像作参考图像时，(2)式为不对背景图像进行更新，运动宏块才能用背景图像作参考图像。这是为了避免解码端误用运动宏块对背景图像进行更新。 

若编码时采用了背景图像作为增加的参考图像，则解码须采用相同的方法重建背景图像。上述视频编码时采用的背景图像，可在解码时用完全相同的方法生成与维护：若当前帧为I帧，则将I帧作为背景图像的初始值；若当前帧不是I帧，且当前宏块在码流中被指示为新背景宏块，则对应背景图像像素值用当前宏块重建像素值代替；否则，若当前帧不是I帧，且当前像素编码时参考了背景图像，则背景图像像素值被当前宏块重建值更新。所述的背景图像像素值被当前宏块重建值更新可以按下式进行： 

$B_n=w{B}_{n-1}+(1-w){\hat{X}}_n---\left(3\right)$

其中B_n-1和B_n分别是更新前后的背景图像像素值， 

是当前图像重建值，w是加权因子，根据图像帧类型(B、P)和宏块预测残差情况取不同的值，w的取值必须与编码端完全相同：w的取值可以是预先设定，或通过解析视频流得到，还可以与编码端用同样的方式随用于生 成背景图像的帧数的增加而增加，但不超过1。 

这里所说的当前宏块的重建值可以是经过环路滤波的重建值，也可以是未经过环路滤波的重建值，但必须与编码时完全一致。 

需要说明的是，基于运动检测的静止宏块的模式选择策略、静止区域像素的去噪滤波预处理方法，以及背景图像帧生成和使用方法，可以独立使用，也可以组合使用，组合使用时会有更好的效果。 

附图说明

图1为本发明的一种基于运动目标检测的视频编码框架； 

图2为一种基于运动目标检测的静止宏块SKIP模式率失真优化的阈值方法流程图； 

图3为一种基于运动目标检测的静止宏块SKIP模式的率失真值缩小方法流程图； 

图4为一种基于运动目标检测的静止宏块SKIP模式的率失真值减小方法流程图； 

图5为一种基于运动目标检测的编码端生成背景参考图像的流程图； 

图6为一种基于运动目标检测的解码端生成背景参考图像的流程图； 

图7为静止宏块的最小率失真与SKIP模式率失真之比值的累积分布图。 

具体实施方式

本发明的基于运动目标检测的视频编码方法，适用于MPEG-4、H.264/AVC、AVS、H.263、MPEG-2等基于帧间预测和变换编码技术的编码，可改进编码效率。下面，结合附图1至6详细说明本发明： 

基于运动目标检测的视频编码方法的整体编码框架如附图1所示，整体的编码框架是在原MPEG-4、H.264/AVC、AVS、H.263、MPEG-2等混合视频编码框架的基础上增加了静止区滤波单元、运动目标检测单元和背景图像参考帧单元。当前帧经过运动目标检测单元检测后，分为运动区域和静止区域，静止区滤波单元只对静止区域作帧间滤波，对活动区域不作滤波，静止区滤波单元的输出作为将被编码的当前帧图像；根据运动目标检测单元的检测结果，确定当前宏块是运动宏块还是静止宏块，输入运动估计/运动补偿单元，对于静止宏块，采用帧间预测编码时调整选择SKIP模式的率失真优化策略；框架中还增加了一个背景图像参考帧单元，用于生成、更新和存储背景图像，并将其作为参考图像，它根据运动目标检测单元的检测结果，更新背景图像。 

1、在帧间预测编码模式选择时调整SKIP模式的率失真优化策略 

在帧间预测编码模式选择时，调整SKIP模式的率失真优化策略有两种实施方式，一是将得到的静止宏块SKIP模式的率失真值直接与一个阈值比较；二是将静止宏块SKIP模式的率失真值缩小，再与其他模式的率失真值比较。 

附图2所示为静止宏块SKIP模式的率失真优化的阈值方法，将得到的静止宏块SKIP模式的率失真值直接与一个阈值比较，从而确定是否选用SKIP编码模式的流程： 

1)对输入图像进行运动目标检测，将图像分为静止区和运动区； 

2)若当前图像采用I帧编码方式，则按原帧内编码方式进行编码； 

3)否则逐个输入宏块，并进行编码： 

a、确定当前宏块是否是静止宏块。如果宏块中有像素属于运动区域，该宏块为运动宏块，否则，该宏块为静止宏块； 

b、如果当前宏块为运动宏块，则按原率失真优化编码方式进行编码； 

c、如果当前宏块为静止宏块，则计算该宏块的SKIP模式率失真； 

若SKIP模式率失真小于一预定的阈值T，则按SKIP模式进行编码，否则按原率失真优化方式进行编码； 

4)如果当前图像全部宏块编码完成，则当帧图像编码完成，输出码流；否则输入下一宏块继续编码。 

这里SKIP模式是指不对残差进行编码的模式，如P帧或B帧中的SKIP模式。 

附图3所示为静止宏块SKIP模式的率失真值缩小的方法，将得到的静止宏块SKIP模式的率失真值缩小，再与其他模式的率失真值比较，从而确定是否选用SKIP编码模式的流程： 

1)对输入图像进行运动目标检测，将图像分为静止区和运动区； 

2)若当前图像采用I帧编码方式，则按原帧内编码方式进行编码； 

3)否则逐个输入宏块，并进行编码： 

a、计算各模式的率失真； 

b、确定是否是静止宏块。如果宏块中有像素属于运动区域，该宏块为运动宏块，否则，该宏块为静止宏块； 

c、如果当前宏块为运动宏块，则按原率失真优化方式进行编码； 

d、如果当前宏块为静止宏块，则 

d1.计算最佳模式的率失真与SKIP模式率失真之比值r，并统计(1-比值r)的累积分布； 

d2.将当前宏块SKIP模式的率失真乘以缩小因子，其它模式的率失真值不变； 

d3.对宏块按率失真优化策略选择编码模式，其中SKIP模式的率失真值已缩小； 

d4.对当前宏块进行编码； 

4)如果当前图像全部宏块编码完成，则当帧图像编码完成，输出码流；否则输入下一宏块进行编码。 

5)根据d1所得的(1-比值r)的累积分布，计算用于下一帧的缩小因子。若为减小计算量，缩小因子可隔数帧计算一次，跳过的帧可不作最佳模式的率失真与SKIP模式率失真之比值的分布的统计，或用多帧进行联合统计。 

上述算法流程中，d1统计最佳模式的率失真与SKIP模式率失真之比值的分布是指将该比值先量化后统计，如用0.1或0.01为量化步长。 

附图4所示为静止宏块SKIP模式的率失真值减小的方法，将得到的静止宏块SKIP模式的率失真值减小，再与其他模式的率失真值比较。与附图3所示算法流程的差别在于：(1)将d1改为：统计SKIP模式率失真与最佳模式的率失真之差值的分布；(2)将d2改为：将当前宏块SKIP模式的率失真减去一缩小因子，其它模式的率失真值不变；将5)改为：根据d1所得的SKIP模式率失真与最佳模式的率失真之差值的分布，计算用于下一帧的缩小因子。同样，算法流程中，d1统计SKIP模式率失真与最佳模式的率失真之差值的分布是指将该差值先量化后统计，如用0.1为量化步长。 

附图7静止宏块的最小率失真与SKIP模式率失真之比值的累积分布图的一个例子，横坐标为静止宏块的最小率失真与SKIP模式率失真之比值，纵坐标为该比值在前一帧或前几帧图上的累积概率。如果希望90％的静止宏块采用SKIP模式编码，则从图7中可知，(1-比值r)应为0.3，即比值r＝0.7，这就是估算得到的静止宏块SKIP模式率失真的缩小因子，即静止宏块SKIP模式率失真乘以0.7才进行率失真优化比较。类似地，可估算静止宏块SKIP模式的率失真值减小方法的减去的缩小因子。 

2、对静止区域进行滤波的方法 

对静止区域的滤波是一种图像编码的前处理技术，它利用运动目标检测结果，只在当前静止区像素对应前一帧也是静止区时进行。实际操作时，可只在前一帧也是静止区，且前一帧与当前帧差值较小时进行滤波，这避免了前后帧不同背景时帧间滤波引起的模糊现象。需要指出的是滤波系数a越大，则滤波强度越大，但a应小于1，在实用时为了便于计算，a的取值可以为2^-n的倍数，其中n为正整数，从而除法可用位移操作代替。一般地，n可取3～5。 

3、编码端生成背景参考图像的方法 

附图5为编码端生成背景参考图像的流程图，该方法的执行步骤如下： 

1)输入一帧图像，对该帧图像进行运动目标检测，将图像分为静止区和运动区。 

2)输入图像中的一个宏块，对该宏块进行编码，并获得其重建图像，即重建宏块。对每个宏块进行如下步骤3)操作。 

3)若当前图像帧是I帧编码方式，则将该重建宏块作为背景图像内容； 

否则，若当前宏块不是仅包含静止区的静止宏块，不更新背景图像； 

否则，若当前宏块是仅包含静止区的静止宏块： 

a)若用背景图像作参考图像，且用背景图像预测的残差不超过一设定值，则按(2)式更新背景图像； 

b)否则将当前重建宏块存入背景图像帧存，即代替背景图像相应宏块的值，并在码流中指示当前宏块为新的背景图像宏块。 

4)全部宏块编码结束，输出编码码流。 

一种在码流中指示当前宏块为新的背景图像宏块的方法是，在一帧图像或一个条带编码数据的后面，给出当前图像或当前条带中的所有新背景宏块的索引信息或位置信息，如采用一维或二维游程码进行编码。 

4、解码端生成背景参考图像的方法 

附图6为解码端生成背景参考图像的流程图，该方法的执行步骤如下： 

1)输入视频码流，对图像中的宏块进行解码； 

2)若当前图像帧是I帧，则将该重建宏块值作为背景图像内容； 

否则若当前宏块指示为背景宏块，则将该重建宏块值作为背景图像内容； 

否则若当前宏块参考背景图像，即以背景图像为参考图像，则按(3)式更新背景图像存储器中的背景图像宏块； 

否则不更新背景图像。 

3)若当前帧全部宏块解码结束，输出重建图像帧，否则转1)，对下一宏块解码。 

无论在编码端或解码端，所生成的背景图像均作为一个增加的参考图像用于图像编码或解码。 

Claims (7)

1.一种基于运动目标检测的视频编码方法，它利用帧间预测和变换编码技术对视频图像进行压缩，其特征在于，它还对视频图像中的运动目标进行检测，根据检测结果将图像分为运动区和静止区，对静止区图像采用以下一种或一种以上的方法进行编码处理：

1)调整帧间预测编码模式选择时的SKIP模式的率失真优化策略，提高选择SKIP模式的概率，SKIP模式是指不对残差进行编码的模式；

2)利用静止区生成一幅背景图像作为新增的参考图像；

所述的调整帧间预测编码模式选择时SKIP模式的率失真优化策略为如下二种方法之一：

1a)对只含静止区像素不含运动区像素的静止宏块，设定一个阈值，若该宏块SKIP模式的率失真小于该阈值时，则直接采用SKIP模式；

1b)对只含静止区像素不含运动区像素的静止宏块，对SKIP模式的率失真进行缩小变换，增加当前静止宏块选择SKIP模式的概率；

所述的利用静止区生成一幅背景图像作为新增的参考图像的步骤为：

2a)输入图像中的一个宏块，对该宏块进行编码，并获得其重建图像，即重建宏块；对每个宏块进行如下步骤b操作；

2b)若当前图像帧是I帧编码方式，则将该重建宏块作为背景图像内容；

否则，若当前宏块不是仅包含静止区的静止宏块，不更新背景图像；

否则，若当前宏块是仅包含静止区的静止宏块：

i)若用背景图像作参考图像，且用背景图像预测的残差不超过一设定值，则更新背景图像；

ii)否则将当前重建宏块存入背景图像帧存，即代替背景图像相应宏块的值，并在码流中指示当前宏块为新的背景图像宏块；

2c)全部宏块编码结束，输出编码码流。

2.如权利要求1所述的基于运动目标检测的视频编码方法，其特征在于，所述的对SKIP模式的率失真进行缩小变换，是指将SKIP模式的率失真乘以或减去一个缩小因子。

3.如权利要求1所述的基于运动目标检测的视频编码方法，其特征在于，所述的增加当前静止宏块选择SKIP模式的概率的方法是，统计以前帧静止区图像块的最小率失真与SKIP模式率失真之比值或差值的分布，并设定一希望静止区选用SKIP模式的比例，利用该比例和上述的比值或差值的分布，确定当前帧静止区SKIP模式率失真的缩小因子。

4.如权利要求1所述的基于运动目标检测的视频编码方法，其特征在于，在当前帧不是I帧、且当前宏块为静止宏块时，所述的背景图像的更新方法为，若当前像素编码时参考了背景图像，且当前宏块用背景图像预测的残差小于一阈值，则背景图像像素值按下式进行更新：

$B_n=w{B}_{n-1}+(1-w){\hat{X}}_n$

其中B_n-1和B_n分别是更新前后的背景图像像素值，

是当前图像重建值，w是加权因子，w根据图像帧类型(B、P)和宏块预测残差情况的不同而取不同的值。

5.如权利要求1所述的基于运动目标检测的视频编码方法，其特征在于，所述的在码流中指示当前宏块为新背景宏块的方法为，在一帧图像或一个条带的编码数据中，给出当前图像或当前条带中的所有新背景宏块的索引信息或位置信息。

6.一种基于运动目标检测的视频解码方法，它对利用权利要求1所述的基于运动目标检测的视频编码方法，利用静止区生成一幅背景图像作为新增参考图像进行压缩编码的视频图像进行解码，其特征在于，它具有一背景图像存储器，其中存放的背景图像作为附加参考图像，视频解码步骤如下：

1)输入视频码流，对图像中的宏块进行解码；

2)若当前图像帧是I帧，则将该重建宏块值作为背景图像内容；

否则若当前宏块指示为背景宏块，则将该重建宏块值作为背景图像内容；

否则若当前宏块参考背景图像，即以背景图像为参考图像，则更新背景图像存储器中的背景图像宏块；

否则不更新背景图像；

3)若当前帧全部宏块解码结束，输出重建图像帧，否则转1)，对下一宏块解码。

7.如权利要求6所述的基于运动目标检测的视频解码方法，其特征在于，在当前帧不是I帧，且当前像素编码时参考了背景图像时，所述的背景图像像素值被当前宏块重建值更新的方法为按下式进行更新：

$B_n=w{B}_{n-1}+(1-w){\hat{X}}_n$

其中B_n-1和B_n是分别是更新前后的背景图像像素值，

是当前图像重建值，w是加权因子，w根据图像帧类型(B、P)和宏块预测残差情况的不同取不同的值。

Images