CN101232619A - 嵌入帧内编码块的视频编码方法 - Google Patents

Abstract

本发明公开了一种嵌入帧内编码块的视频编码方法，每隔固定帧间隔在前向预测帧(P帧)给定区域内进行强制帧内编码，参考该强制帧内编码块进行预测所重建的宏块作为优先参考块，若宏块编码用的参考块像素均在帧内编码块或优先参考块内，则该重建的宏块仍为优先参考块。所述优先参考块可从有嵌入帧内编码块的帧开始被重建。本发明适用于视频监控和视频会议，可在保证随机访问点间隔的前提下增大I帧间隔，从而减少了比特开销。

Description

嵌入帧内编码块的视频编码方法

技术领域

本发明属于数字视频压缩编解码技术领域，更具体地讲，涉及利用嵌入帧内编码块降低比特率的视频编码方法。

背景技术

视频信号由于信息量大，传输网络带宽要求高，给传输和存储都带来了很大的不便，因此实际应用中往往需要进行压缩编码。

传统的视频编码标准如H.261，H.263，H.264、MPEG-1，MPEG-2，MPEG-4等都是混合编码框架之上的。而混合编码框架是综合利用了预测，变换以及熵编码的方法。传统编码标准中都包含有帧内编码帧，即I帧，和帧间编码帧，即P帧和B帧。I帧的主要编码过程如下：对原始图像数据分宏块作帧内预测，对宏块的原始数据和预测数据的残差作二维空间变换；然后在变换域中对变换系数进行量化；最后对量化后的系数进行熵编码。P帧、B帧的主要编码过程如下：采用基于运动补偿的帧间估计或采用基于空间相关性的帧内预测，将预测后得到的残差做二维空间变换；然后在变换域中对变换系数进行量化；量化后的系数进行熵编码。P帧在编码过程中参考了I帧或以前P帧的信息，B帧将参考前后的I帧或P帧，但P的信息最初是采用了I帧作预测帧。若用户接收的视频码流没有包含I帧的信息，则采用P帧编码的图像将不能正确复原。因此在解码端码流能正确解码的起点是I帧。

传统的视频编码方法以固定间隔插入I帧编码，确保了能在接收到I帧编码数据后正确解码。I帧成为一个随机访问点，而对一帧图像进行I帧编码的比特通常是P帧编码的比特的数倍以上。对于视频监控或视频会议应用，I帧间隔越长，则意味着新接入的客户端可能需要等待更多的时间才能解码出正常图像，因此希望减小I帧间隔，但减小I帧间隔，意味着增加I帧数量，将大幅增加码率。综合考虑到降低比特率和随机访问正确解码的延迟，视频监控I帧间隔常设置为2秒左右，在信道较窄时，间隔为更长些。

在视频监控或视频会议等应用中，通常用户对图像中一个或多个区域感兴趣，用户对这些感兴趣区域的正确复原能力和用户接入到正确解码的延迟有很高的要求，而对图像内其他非感兴趣区域的用户接入后能正确解码的延迟的要求并不苛刻。减小I帧间隔的编码方法较好地满足了用户对接入后能正确解码的延迟的要求，但是该方法比特率高，对传输码流的网络带宽要求高，也容易出现网络堵塞和丢包现象，从而在解码端造成解码错误。如果将I帧间隔设置为更大的值，用户接入后能正确解码的延迟将增加，在实际的应用中用户将难以忍受过大的延时。

本发明针对这种情况，给出了一种在I帧之间每隔m帧图像对图像内一个或多个选定区域做强制帧内编码，同时将对整幅图像做帧内编码(I帧)的间隔增大为n(n＞m)的视频编码方法。该方法能够满足用户对感兴趣区域接入后能正确解码延迟的要求，并且降低了码率。

发明内容

本发明主要解决传统的插入固定帧间隔的I帧编码的视频编码方法产生的编码码流大以及码流量短时剧增造成网络堵塞的问题，为此，本发明提供了一种每隔固定帧间隔的给定区域强制帧内编码，并在其后的宏块编码模式选择中优先选取参考强制帧内编码宏块信息的预测模式作为最佳预测模式的视频编码方法。本发明可以加大视频码流中I帧的间隔，从而降低码率，同时使解码端图像中用户感兴趣区域或经检测得到的运动目标区域，在随机接入后正确解码的延迟时间减少。本发明特别适合在视频监控、可视电话和视频会议中应用。

本发明提出的嵌入帧内编码块的视频编码方法，每隔n帧图像对整幅图像做帧内编码(I帧)，其特征在于：从I帧开始，对每隔m帧的P帧图像(m小于n)的选定区域内嵌入强制帧内编码块，该强制帧内编码块的宏块编码仅参考本区域内像素的信息；对不含强制帧内编码块的P帧或B帧编码时，其选定区域内的宏块编码仅参考当前帧选定区域内、参考帧中强制帧内编码块内、或参考帧中优先参考块内的像素信息。

更为具体的，本发明的嵌入帧内编码块的视频编码方法主要包括如下三项技术：固定帧间隔的给定区域强制帧内编码方法；设置和更新宏块优先参考标志的方法；优先采用优先参考块中的像素进行预测的方法。其中：

本发明的固定帧间隔的给定区域强制帧内编码方法，具体为：视频编码过程中，对每隔m帧的P帧图像(m小于n)的选定区域做强制I宏块编码，此类区域的强制I宏块编码不能在编码过程中参考其他帧的信息或当前帧其他区域的信息，以确保此类区域的码流在解码端能独立解码。所述选定区域是用户选定的感兴趣区域、经检测得到的包含运动物体目标的区域或缺省选定区域。

对不含强制帧内编码块的P帧或B帧编码时，其选定区域内的宏块编码仅参考当前帧选定区域内、参考帧中强制帧内编码块内、或参考帧中优先参考块内的像素信息。所述选定区域内的宏块编码不参考前一强制帧内编码帧以前的参考帧。

对于优先参考块，本发明还设计了一种设置和更新其优先参考标志的方法，具体为：每个参考帧设有一个相应的优先参考块标志存贮器，其每个存贮器单元存放对应每个宏块的优先参考块标志，用于指示对应宏块是否为优先参考块。在I帧编码完成后，该I帧对应的优先参考块标志存贮器设置为优先参考标志，表示I帧所有宏块均为优先参考块。在除I帧以外其它可作为参考帧的帧编码前，将其对应的优先参考块标志存贮器单元均置为非优先参考标志，表示这些帧的宏块暂不作为优先参考块，编码过程中，若其某宏块为优先参考块，则该宏块对应的优先参考块标志存贮器设为优先参考标志；非I帧的参考帧的优先参考块标志存贮器单元也可在编码过程中根据对应宏块是否为优先参考块而更新。

非I帧的参考帧的优先参考块标志存贮器单元也可在编码过程中根据对应宏块是否为优先参考块而更新。

所谓的优先参考块是指帧内编码帧的所有宏块、强制帧内编码块内的宏块、参考帧内编码帧(I帧)或仅参考强制帧内编码帧中的强制帧内编码块内像素编码和重建的宏块、仅参考优先参考块像素编码和重建的宏块。

本发明的优先采用优先参考块中的像素进行预测的方法，具体为：在对宏块编码时，首先判断是否存在一个或多个预测模式仅参考了参考帧优先参考块中的像素，如果存在此类预测模式，则设置此类预测模式为当前宏块的优先预测模式。否则当前宏块做传统的预测编码。若当前宏块存在优先预测模式，且优先预测模式中的代价函数(cost)最小值小于阈值TH1，则确定该具有最小代价函数值的预测模式作为当前宏块的最佳预测模式，可跳过其他非优先预测模式的计算。上述的代价函数是绝对误差和(SAD)或率失真优化(RDO)函数。若优先预测模式中的cost最小值大于等于TH1，则将其进行如下调整：cost’＝cost-TH2或cost’＝cost*α，其中TH2是一正数，α是一个小于1的正数，若优先预测模式中的cost’小于一般预测模式中的cost，则确定优先预测模式为当前宏块的最佳预测模式，否则确定cost值最小的一般预测模式作为最佳预测模式。上述cost可以是率失真优化(RDO)函数值，或仅仅是绝对误差和(SAD)。

以上过程中采用了阈值TH1，可以略去部分非优先预测模式的计算，从而减小了编码的运算复杂度；采用阈值TH2，保证了宏块编码优先参考有优先参考标志的宏块，从而在解码端有更多的图像内容能利用给定区域强制帧内编码码流独立解码和正确重建。

本发明的又一目的是提供了另一种嵌入帧内编码块的视频编码方法，其特征在于，从I帧开始，对每隔m帧的P帧图像(m小于n)中的选定区域内嵌入强制帧内编码块，该强制帧内编码块的宏块编码仅参考本区域内像素的信息；强制帧内参考帧以后、下一个I帧以前的前向预测帧和双向预测帧的选定区域内宏块仅参考本帧选定区域内或参考帧内相同区域内的重建像素。所述方法省去了优先参考标志的设置和更新过程，限定了前向预测帧和双向预测帧的选定区域内宏块的运动搜索的范围。

附图说明

图1为本发明的视频编码方法的流程图；

图2为本发明图1中的强制帧内编码帧的编码流程图；

图3为本发明图1中的一般帧的编码流程图；

图4为本发明图2和图3中的宏块优先编码选择和编码流程图。

具体实施方式

本发明提出的嵌入帧内编码块的视频编码方法，结合附图详细说明如下：本发明的嵌入帧内编码块的视频编码方法过程如图1、图2、图3、图4所示，是一种每隔固定帧间隔对P帧图像嵌入强制帧内编码块，并在其后的宏块编码模式选择中优先选取仅参考强制帧内编码块像素信息的预测模式作为最佳预测模式的视频编码方法，减少了比特开销。

本发明的视频编码方法总流程如图1所示，具体实现步骤如下：

1)开始，设置对给定区域强制帧内编码的帧间隔为m，输入一帧图像，开始编码。

2)如果当前帧是I帧，则采用帧内编码方法完成当前帧的编码，并把I帧对应的优先参考块标志存贮器单元设置为优先参考标志，转至步骤5，否则转到步骤3。

3)如果当前帧为B帧，则对选定区域内的宏块采用仅参考当前帧和参考帧中的优先参考块的双向预测编码，对选定区域外的宏块采用常规的双向预测编码，转至步骤5，否则转到步骤4。

4)如果当前帧为P帧且是强制帧内编码帧(即需要对选定区域强制帧内编码的帧)，则调用图2所示强制帧内编码帧编码及其优先参考标志的设置流程，转至步骤5；否则调用图3所示的一般P帧编码及其宏块优先参考标志设置流程，转至步骤5。

5)若还有图像需要编码，则重新输入一帧图像，转第2步，否则编码结束。

上述算法中的强制帧内编码帧编码及其优先参考标志的设置流程如图2所示，具体步骤如下：

1)强制帧内编码帧编码开始，并清除参考帧宏块的优先参考标志，读入一个宏块。

2)如果当前宏块是选定区域内宏块，则对当前宏块做仅参考选定区域内宏块的像素信息的帧内预测编码，并把当前帧的选定区域内宏块的优先参考块标志存贮器单元设置为优先参考标志；否则调用如图4所示的宏块优先编码模式选择和编码流程。

3)若还有宏块需要编码，则再读入一帧图像，转第2步，否则编码结束。

上述算法中的一般P帧编码及其宏块优先参考标志设置流程如图3所示，具体步骤如下：

1)一般P帧编码开始，读入一个宏块。

2)如果当前宏块是选定区域内的宏块，则预测编码仅参考具有优先参考块标志的宏块，并把当前宏块对应的优先参考块标志存贮器单元设置为优先参考标志，否则做如图4所示的宏块优先编码模式选择和编码。

3)若还有宏块需要编码，则再读入一个宏块，转第2步，否则编码结束。

上述算法中的宏块优先编码模式选择和编码流程如图4所示，具体步骤如下：

1)宏块优先编码模式选择和编码开始。

2)如果存在仅参考优先参考宏块的优先预测模式，则计算宏块的优先预测模式cost，转至步骤3；否则计算各种预测模式，按照最佳预测模式编码，当前宏块编码结束。

3)如果优先预测模式的最小cost值小于阈值TH1，则设置cost最小的预测模式为最佳预测模式并编码，并把当前宏块对应的优先参考块标志存贮器单元设置为优先参考标志，当前宏块编码结束；否则计算非优先预测模式cost，转至步骤4。

4)如果优先预测模式最小cost值减去阈值TH2或乘预定的因子α后的结果小于非优先预测模式cost值的最小值，则设置优先预测模式cost最小的预测模式为最佳预测模式并对当前宏块编码，并把当前宏块对应的优先参考快标志存贮器单元设置为优先参考标志，当前宏块编码结束；否则选取非优先预测模式cost值最小的预测模式做为最佳预测模式，并完成当前宏块编码。

上述算法中阈值TH1是预先确定的，或是通过已编码相邻宏块的cost值计算得到的，如取当前宏块的左边或上边宏块的cost值。

最后，还需要指出的是，本发明不限于上述实施方式。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (10)

1.一种嵌入帧内编码块的视频编码方法，每隔n帧图像对整幅图像做帧内编码(I帧)，其特征在于：从I帧开始，对每隔m帧的P帧图像(m小于n)的选定区域内嵌入强制帧内编码块，该强制帧内编码块的宏块编码仅参考本区域内像素的信息；对不含强制帧内编码块的P帧或B帧编码时，其选定区域内的宏块编码仅参考当前帧选定区域内、参考帧中强制帧内编码区内、或参考帧中优先参考块内的像素信息。

2.如权利要求1所述的嵌入帧内编码块的视频编码方法，其特征在于，所述优先参考块是指帧内编码帧的所有重建宏块、强制帧内编码块内的重建宏块、参考帧内编码帧或仅参考强制帧内编码帧中的强制帧内编码块内像素编码和重建的宏块、仅参考优先参考块像素编码和重建的宏块。

3.如权利要求1所述的嵌入帧内编码块的视频编码方法，其特征在于，所述选定区域是用户选定的感兴趣区域、经检测得到的包含运动物体目标的区域或缺省选定区域。

4.如权利要求1所述的嵌入帧内编码块的视频编码方法，其特征在于，所述选定区域内的宏块编码不参考前一强制帧内编码帧以前的参考帧。

5.如权利要求1所述的嵌入帧内编码块的视频编码方法，其特征在于，在进行P帧或B帧编码时，优先采用优先参考块中的像素进行预测。

6.如权利要求5所述的嵌入帧内编码块的视频编码方法，其特征在于，所述优先采用优先参考块中的像素进行预测的方法是指在参考帧上进行运动搜索时，若被参考像素均在优先参考块中，且其代价函数小于某阈值TH1，则提前终止运动搜索算法，直接采用这些像素进行预测。

7.如权利要求5所述的嵌入帧内编码块的视频编码方法，其特征在于，所述优先采用优先参考块中的像素进行预测的方法是指在参考帧上进行运动搜索时，若被参考像素均在优先参考块中，则其代价函数值减去一正数，或乘以一小于1的正系数，使其被优先参考。

8.如权利要求1-7任一项所述的嵌入帧内编码块的视频编码方法，其特征在于，每个参考帧设有一个相应的优先参考块标志存贮器，其每个存贮器单元存放对应每个宏块的优先参考块标志信息，用于指示对应宏块是否为优先参考块。

9.如权利要求8所述的嵌入帧内编码块的视频编码方法，其特征在于，在I帧编码完成后，该帧对应的优先参考块标志存贮器所有单元均设置为优先参考标志；在除I帧以外其它可作为参考帧的帧编码前，将其对应的优先参考块标志存贮器单元均置为非优先参考标志，表示这些帧的宏块暂不作为优先参考块，编码过程中，若其某宏块为优先参考块，则该宏块对应的优先参考块标志存贮器设为优先参考标志；非I帧的参考帧的优先参考块标志存贮器单元也可在编码过程中根据对应宏块是否为优先参考块而更新。

10.一种嵌入帧内编码块的视频编码方法，每隔n帧图像对整幅图像做帧内编码(I帧)，其特征在于，从I帧开始，对每隔m帧的P帧图像(m小于n)中的选定区域内嵌入强制帧内编码块，该强制帧内编码块的宏块编码仅参考本区域内像素的信息；强制帧内参考帧以后、下一个I帧以前的前向预测帧和双向预测帧的选定区域内宏块仅参考本帧选定区域内或参考帧内相同区域内的重建像素。

Images