CN101888552B - 一种基于局部补偿的跳帧编解码方法和装置 - Google Patents

Abstract

本发明提供一种基于局部补偿的跳帧编解码方法及装置，对跳帧帧组的前后帧进行图像匹配，将图像插值生成的中间图像与跳帧图像进行对比，根据插值中间图像与相同位置的跳帧图像对应的相同位置的区域的相似度高低程度，对插值中间图像的局部区域是否需要编码作出判决，将编码区域限定在一帧的局部区域，避免对整帧进行编码，从而节省了码率开销，能够在显著节省码率开销的同时，又能保持较佳的图像主观质量。

Description

一种基于局部补偿的跳帧编解码方法和装置

技术领域

本发明属于视频图像压缩技术领域，尤其涉及基于图像插值的一种基于局部补偿的跳帧编解码方法和装置。

背景技术

图像插值在视频压缩中有着广泛的应用，最典型的就是视频跳帧编码，如图1所示，通过在编码端跳帧减少编码帧数，以降低码率；在解码端利用解码图像，运用图像插值技术生成被跳过位置的图像，以恢复帧率。

图像插值的前提是进行图像匹配，而图像匹配的核心在于其所采用的运动模型。由于自然物体运动的复杂性，任何一种运动模型均难以做到百分之百准确，必然会出现模型失效的情形。而模型失效所生成的中间图像会出现严重失真，甚至是错误的，不仅降低图像的客观质量，也严重影响了某些图像的主观质量，大大降低整个视频序列的视觉效果。而对于一个鲁棒的编码系统来说，必须保证整个视频序列的解码图像主观质量的连续性。

针对匹配模型失效的问题，可采用自适应跳帧的编码方法，如图2-(a)中，帧1为运动缓慢的帧，跳过此帧，不对其进行编码；帧2为运动激烈的帧，对其进行编码。图2-(b)中，帧1’由其前后两帧插值得到，即在编码端检测待编码帧与前一帧的运动激烈程度，若运动缓慢，则跳过当前帧，若运动较为激烈，则对当前帧进行完整编码。该方法减少了运动模型失效所发生的概率，使得解码端的图像插值均针对运动较为缓慢的图像帧，能得到较好的插值图像。但是在很多情况下，一帧待编码图像中，不同物体的运动激烈程度不同，可能运动较大的物体只存在于某一个局部区域，而大部分为缓慢运动，此时若对整帧进行编码，会造成不必要的码率开销。对于运动缓慢的区域，图像匹配插值能够基本还原被跳过图像中的相应区域的内容；对于运动激烈区域，图像匹配模型可能会失效，导致相应区域内容错误或失真。

发明内容

本发明提出一种基于图像插值的带局部补偿的跳帧编解码方法和装置，其仅对插值图像的失真或者错误区域进行补偿编码，通过传送一定的比特改善失真或错误区域的图像质量。

为达到上述目的，本发明提出一种基于局部补偿的跳帧编解码方法，包括编码方法：

步骤A：对跳帧图像帧组的前后帧进行图像匹配，利用图像插值生成插值中间图像，将所述的插值中间图像作为相同位置的待编码中间图像的参考图像；

步骤B：将插值中间图像与相同位置的待编码中间图像进行对比，若插值中间图像的某一区域与待编码中间图像中对应区域的相似度较高，则待编码中间图像中的该区域可由插值中间图像中对应的区域代替，不对该区域进行编码；若插值中间图像的某一区域与待编码中间图像中对应区域的相似度较低，则对待编码中间跳帧图像中的该区域进行补偿编码。

解码方法：根据编码端的输出码流中的局部补偿跳跃标志信息，决定当前帧的待解码区域的解码恢复方法，若为预测解码，则对局部补偿区域通过解码恢复得到，若为图像插值，则由前后帧匹配插值生成无局部补偿的区域得到。

所述的步骤B涉及到自适应跳帧编码的判决包括以下步骤：

步骤B1：计算出待编码中间图像与插值中间图像对应的相同位置区域之间的匹配误差；

步骤B2：将所述的匹配误差与匹配误差阈值做比较，若匹配误差小于匹配误差阈值，则认为待编码中间图像与插值中间图像对应的相同位置区域匹配，作出不编码的判决；若匹配误差大于匹配误差阈值，则认为待编码中间图像与插值中间图像对应的相同位置区域不匹配，作出编码的判决。

一种基于局部补偿的跳帧编解码装置，所述的编码装置包括依次连接的接收单元、匹配插值单元、判决单元和局部补偿单元，其中，

接收单元：用于接收各个输入图像；

匹配插值单元：包括图像匹配模块和图像插值模块，该图像匹配模块用于对输入图像中的跳帧帧组的前后帧进行图像匹配，该图像插值模块用于利用图像插值生成中间图像，并将该中间图像作为待编码中间图像的参考图像；

判决单元，用于判决插值中间图像与待编码中间图像的对应区域的相似程度，并对待编码中间图像中的该区域作出是否需要局部补偿编码的判决；

局部补偿单元：用于对所述需要局部补偿编码的区域做补偿编码处理；

所述的解码装置包括依次连接的接收单元、局部补偿判决单元、解码恢复单元和输出单元，其中，

接收单元：用于接收编码端的输出码流；

局部补偿判决单元：根据接收单元接收到的编码端的输出码流中的局部补偿跳跃标志信息，决定当前帧的待解码区域的恢复方法；

解码恢复单元：包括预测解码模块和图像插值模块，该预测解码模块用于对局部补偿区域的预测解码处理，图像匹配插值模块用于匹配插值生成无局部补偿的区域；

输出单元：用于输出经解码处理后的图像。

所述的判决单元用于计算出插值中间图像与待编码中间图像对应区域的匹配误差，若该匹配误差小于匹配误差阈值，则判断该对应区域相似程度高，对待编码中间图像的该区域不进行编码；若匹配误差大于匹配误差阈值，则判断该对应区域相似程度低，对待编码中间图像的该区域进行补偿编码。

本发明一种基于局部补偿的跳帧编解码方法和装置，一方面弥补了图像匹配模型失效的缺陷，改善了插值图像的主观和客观质量；另一方面，仅需要较少的比特对失真或错误区域进行编码，将编码区域限定在一帧的局部区域，避免对整帧进行编码，从而节省了码率开销，同时具有较佳的图像主观质量。

附图说明

图1是习知的基于图像插值的视频压缩的原理图；

图2是习知的自适应跳帧编解码的原理图；

图3是本发明一种跳帧编解码方法的工作原理图；

图4是本发明一种跳帧编码方法的流程图；

图5是本发明一种跳帧编码方法的跳帧编码框图；

图6是本发明中实施例的带局部补偿的跳帧编码流程图；

图7是本发明一种跳帧编码装置的结构示意图；

图8是本发明一种跳帧解码装置的结构示意图；

图9是本发明一种跳帧编码方法中间图像的说明图。

以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

本发明提出的一种基于图像插值的跳帧编解码方法和装置中，将直接跳过的不进行编码的帧称为S帧，带局部补偿的编码帧称为F帧；将直接跳帧编码的帧结构称为ISPSP，带局部补偿的跳帧编码的帧结构称为IFPFP。对于I帧和P帧，编码方式与传统视频编码标准中规定的I、P帧相同，如H.264。对于F帧，则采用自适应的带局部补偿的编码。

图3为本发明带局部补偿的自适应跳帧编解码的原理图。图3-(a)中，编码端的帧1为运动缓慢的帧，跳过此帧，不对其进行编码；帧2为运动剧烈的帧，对帧2中的各个区域分别进行局部补偿判决，假设子块a为运动剧烈区域，则将该区域判决为需要局部补偿的区域，对此子块a进行编码，删除帧2中除子块a外其他被认为是运动缓慢区域，对该运动缓慢区域不予进行编码。图3-(b)中，解码端的帧1’由其前后帧插值得到，帧2’除子块a外的区域由其前后帧插值得到，该子块a通过解码恢复得到。

如图4所示，本发明提出一种基于局部补偿的跳帧编码方法，包括以下几个步骤：

步骤401，对跳帧帧组的前后帧进行图像匹配，用以插值出中间图像；

步骤402，将经图像插值后生成的插值中间图像与待编码中间图像进行对比；

步骤403，根据插值中间图像与待编码中间图像对应的相同位置的区域的相似度高低程度，对待编码中间图像的局部区域是否需要补偿编码作出判决。

在所述的步骤403中，对待编码中间图像的局部区域是否需要补偿编码作出判决，这样就能将编码区域限定在一帧的局部区域，而不是对整帧进行编码，从而节省了码率开销。

在所述的步骤401中所涉及的图像匹配方法，优先采用CPF匹配算法，但不限于该方法。

如图5所示，带局部补偿的跳帧编码包括以下具体步骤：

步骤501，对I帧或P帧的重建图像进行CPF图像匹配，用以插值出中间图像，由于CPF图像匹配能够较好地表达物体真实运动，故本发明优先考虑采用CPF图像匹配算法。

步骤502，中间参考帧的生成。为区别于双向预测B帧和直接跳帧编码的S帧，本发明将带局部补偿的跳帧编码帧称为F帧，但不限于使用该名称。将步骤502中插值生成的插值中间图像称为FR帧，将FR帧作为F帧的插值参考图像，当作F帧中的内容是否需要进行编码的衡量尺度。

类似于直接跳帧编码的ISPSP帧结构，将带局部补偿的跳帧编码帧结构称为IFPFP。对于I帧和P帧，如图5中右边所示的编码模块，采用与H.264相同的编码方式，也可以采用MPEG2、MPEG4、H.263、Real、VC1等编码方案。

步骤503，局部补偿判决。对于F帧中的某一区域，若其与FR帧中对应区域的相似度较高，则该区域可由FR帧中对应的区域代替，图5中F_skip_flag表示F帧中该区域的跳跃标志位，F_skip_flag＝1表示该区域不需要进行编码，解码端同样通过FR帧的对应区域恢复；若F帧的原始输入图像中的某一区域与其FR帧中对应区域的相似度较低，则可认为FR帧中的该区域为匹配模型(本实施例为CPF模型)失效或者不准确的区域，此时F_skip_flag＝0，对该区域进行类似于传统B帧方式的编码，也可以用I、P帧方式的编码。

作为具体实施案例，本发明采用客观信噪比PSNR作为匹配误差的判决准则，即作为自适应局部补偿跳帧编码的判决准则。本发明实施例中，F帧中的编码区域采用宏块(MB)为单位。具体可以通过以下步骤实现：

1)令B_i为F帧中的第i个宏块，BR_i为FR帧中对应相同位置的宏块。PSNR(FR)为FR的客观信噪比，以F为参照图像；PSNR(BR_i)表示宏块BR_i的客观信噪比，以B_i为参照图像块。match_flag(BR_i)表示BR_i的失配标识位，即图像匹配模型在宏块BR_i中的有效性，1表示匹配，0表示失配。

${\mathrm{match}}_{-}\mathrm{flag}\left({\mathrm{BR}}_i\right)=\left\{\begin{array}{ccc}1& \mathrm{if}& \mathrm{PSNR}\left({\mathrm{BR}}_i\right)\≥{\mathrm{PSNR}}_{\mathrm{thr}1}\\ 0& \mathrm{else}& \end{array}\right.$

其中，PSNR_thr1为信噪比阈值

2)PSNR_thr1的取值与匹配概率ρ相关，ρ的定义如下：

$\mathrm{\ρ}=\frac{\underset{i}{\mathrm{\Σ}}{\mathrm{match}}_{-}\mathrm{flag}\left({\mathrm{BR}}_i\right)}{{\mathrm{total}}_{-}{\mathrm{MB}}_{-}\mathrm{num}}$

total_MB_num为一幅图像内的所有宏块数目，具体实现中，根据指定的ρ，将所有宏块的信噪比直方图化，即可以得到相应的PSNR_thr1。

3)PSNR(FR)表示整幅图像的平均信噪比，当某一宏块的信噪比PSNR(BR_i)远小于PSNR(FR)时，该宏块发生失配的可能性就越大，因此引入另一个信噪比阈值PSNR_thr2，

PSNR_thr2＝PSNR(FR)-ΔSNR

其中，ΔPSNR为失配宏块信噪比与平均信噪比的最小距离。

4)取两个信噪比阈值的较小值为最终的信噪比判决阈值PSNR_thr，即：

PSNR_thr＝min(PSNR_thr1，PSNR_thr2)

5)宏块BR_i的跳跃标志位判决如下：

$F_{-}{\mathrm{skip}}_{-}\mathrm{flag}\left(B_i\right)=\left\{\begin{array}{ccc}1& \mathrm{if}& \mathrm{PSNR}\left({\mathrm{BR}}_i\right)\≥{\mathrm{PSNR}}_{\mathrm{thr}}\\ 0& \mathrm{else}& \end{array}\right.$

若F_skip_flag(B_i)＝0，则对宏块B_i按照传统B帧方式进行编码，也可以用I帧和P帧方式的编码；反之，不需要对其进行编码，只需要传递标志位F_skip_flag(B_i)＝1。

图6是实施例的带局部补偿的跳帧编码流程图。在图6所示实例中，F帧中的编码区域采用宏块为单位，跳跃编码以宏块为单位逐个进行判决。根据宏块的跳跃标志位F_skip_flag决定是否要对其进行编码。

本发明一种基于局部补偿的跳帧编码方法，包括以下具体步骤：

步骤A：对跳帧帧组的前后帧进行图像匹配，利用图像插值生成插值中间图像，将所述的插值中间图像作为相同位置的待编码中间图像的参考图像，所述的插值中间图像可以是一帧，也可以是多帧；

步骤B：将所述的插值中间图像与待编码中间图像进行对比，若插值中间图像的某一区域与待编码中间图像中对应区域的相似度较高，则待编码中间图像中的该区域可由插值中间图像中对应的区域代替，不对待编码中间图像的该区域进行编码；若插值中间图像的某一区域与待编码中间图像中对应区域的相似度较低，则对待编码中间图像的该区域进行补偿编码；该补偿编码不限于采用传统I、P、B帧的编码方法，可以采用其他任何的编码方法。

所述步骤B涉及到自适应跳帧编码的判决包括以下步骤：

步骤B1：计算出待编码中间图像与插值中间图像对应的相同位置区域之间的匹配误差；

步骤B2：将步骤B1得到的匹配误差与匹配误差阈值做比较，若匹配误差小于匹配误差阈值，则认为待编码中间图像与插值中间图像对应的相同位置区域匹配，作出不编码的判决；若匹配误差大于匹配误差阈值，则认为待编码中间图像与插值中间图像对应的相同位置区域不匹配，作出编码的判决。

在步骤B中，匹配区域的选定不限定至任一特定大小或格式。

在步骤B中，若插值中间图像的某一区域与待编码中间图像中对应区域的相似度较低时，对待编码中间图像的该区域进行补偿编码，即可采用单向预测编码、双向预测编码、以及帧内编码。

本发明一种基于局部补偿的跳帧解码方法，包括以下具体步骤：

根据编码端的输出码流中的局部补偿跳跃标志信息，决定当前帧的待解码区域的解码恢复方法，若为预测解码，则对局部补偿区域通过解码恢复得到，若为图像插值，则由前后帧匹配插值生成无局部补偿的区域得到。

如图7所示，为本发明一种基于局部补偿的跳帧编码装置，主要包括依次连接的接收单元11、匹配插值单元12、判决单元13和局部补偿单元14，其中，

接收单元11：用于接收各个输入图像；

匹配插值单元12：包括图像匹配模块121和图像插值模块122，该图像匹配模块121用于对跳帧帧组的前后帧进行图像匹配；该图像插值模块122用于利用图像插值生成插值中间图像，并将该插值中间图像作为待编码中间图像的参考图像；

判决单元13，用于判决插值中间图像与待编码中间图像的对应区域的相似程度，并对待编码中间图像中的该区域作出是否需要局部补偿编码的判决；

局部补偿单元14：用于对所述需要局部补偿编码的区域做补偿编码处理。

优选的，所述判决单元13计算出插值中间图像与待编码中间图像对应区域的匹配误差diff，若小于匹配误差阈值diff_thr，则判断该对应区域相似程度高，对待编码中间图像的该区域不进行编码；若匹配误差diff大于匹配误差阈值diff_thr，则判断该对应区域相似程度低，对待编码中间图像的该区域进行编码。

如图8所示，为本发明一种基于局部补偿的跳帧解码装置，主要包括依次连接的接收单元21、局部补偿判决单元22、解码恢复单元23，输出单元24，其中，

接收单元21：用于接收编码端的输出码流；

局部补偿判决单元22：根据接收单元21接收到的编码端的输出码流中的局部补偿跳跃标志信息，决定当前帧的待解码区域的恢复方法；

解码恢复单元23：包括预测解码模块231和图像匹配插值模块232，该预测解码模块231用于对局部补偿区域的预测解码处理，图像匹配插值模块232用于匹配插值生成无局部补偿的区域；

输出单元24：用于输出经解码处理后的图像。

图9为本发明一种跳帧编码方法中间图像的说明图，I与P，P与P之间的中间图像即跳帧的数目可以不止一帧，可由多帧组成，称为一个帧组GOF，如图9中包含帧组GOF1，GOF2……。如图9所示，GOF1中帧都为直接被跳过的S帧，而GOF2中含待编码中间图像F帧。GOF1，GOF2分别含n1，n2帧中间图像，n1，n2不限定在某具体值。

下面分析图5所示的方案所能达到的效果：基于CPF匹配的带局部补偿的跳帧编码，在低码率，图像客观质量与H.264的B帧相当，主观质量好于B帧，码率节省约5.8％；在中等码率，图像主观质量略好于H.264的B帧，客观PSNR则低于B帧，码率节省约5-15％；在高码率，主观质量略低于B帧，客观质量则不如B帧，码率节省约10-20％。

本发明提出的一种基于局部补偿的跳帧编解码方法和装置，一方面弥补了图像匹配模型失效的缺陷，改善了插值图像的主观和客观质量；另一方面，仅需要较少的比特对失真或错误区域进行编码，相比于B帧编码，可节省较为可观的码率开销，同时具有较佳的图像主观质量，因此，适合于视频监控，无线视频通信等带宽有限的场合。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于局部补偿的跳帧编解码方法，其特征在于：

编码方法包括以下具体步骤：

步骤A：对待编码的中间图像组的前后帧进行图像匹配，利用图像插值生成插值中间图像，将所述的插值中间图像作为相同位置的待编码中间图像的参考图像；

步骤B：将插值中间图像与相同位置的待编码中间图像进行对比，若插值中间图像的某一区域与待编码中间图像中对应区域的相似度较高，则待编码中间图像中的该区域可由插值中间图像中对应的区域代替，不对该区域进行补偿编码；若插值中间图像的某一区域与待编码中间图像中对应区域的相似度较低，则对待编码中间图像中的该区域进行补偿编码；

解码方法：根据编码端的输出码流中的局部补偿跳跃标志信息，决定当前帧中各个区域的解码恢复方法，若为预测解码，则通过对该区域进行局部补偿解码，恢复该区域的图像值；若为图像插值，则通过前后帧匹配插值，恢复该区域的图像值。

2.如权利要求1所述的一种基于局部补偿的跳帧编解码方法，其特征在于，所述的步骤B涉及到自适应跳帧编码的判决包括以下步骤：

步骤B1：计算出待编码中间图像与插值中间图像对应的相同位置区域之间的匹配误差；

步骤B2：将所述的匹配误差与匹配误差阈值做比较，若匹配误差小于匹配误差阈值，则认为待编码中间图像与插值中间图像对应的相同位置区域匹配，作出不补偿编码的判决；若匹配误差大于匹配误差阈值，则认为待编码中间图像与插值中间图像对应的相同位置区域不匹配，作出补偿编码的判决。

3.一种基于局部补偿的跳帧编解码装置，其特征在于：所述的编码装置包括依次连接的接收单元、匹配插值单元、判决单元和局部补偿单元，其中，

接收单元：用于接收各个输入图像；

匹配插值单元：包括图像匹配模块和图像插值模块，该图像匹配模块用于对输入图像中的跳帧帧组的前后帧进行图像匹配；该图像插值模块用于利用图像插值生成插值中间图像，并将该插值中间图像作为相同位置的待编码中间图像的参考图像；

判决单元，用于判决插值中间图像与待编码中间图像的对应区域的相似程度，并对待编码中间图像中的该区域作出是否需要局部补偿编码的判决；

局部补偿单元：用于对所述需要局部补偿的区域做补偿编码处理；

所述的解码装置包括依次连接的接收单元、局部补偿判决单元、解码恢复单元和输出单元，其中，

接收单元：用于接收编码端的输出码流；

局部补偿判决单元：根据接收单元接收到的编码端的输出码流中的局部补偿跳跃标志信息，决定当前帧的各个区域的恢复方法；

解码恢复单元：包括预测解码模块和图像匹配插值模块，若当前区域的恢复方法为预测解码，则预测解码模块对当前区域进行预测解码，恢复当前区域的图像值；若当前区域的恢复方法为图像插值，则图像匹配插值模块对该区域进行匹配插值，恢复当前区域的图像值；

输出单元：用于输出经解码处理后的图像。

4.根据权利要求3所述一种基于局部补偿的跳帧编解码装置，其特征在于：所述的判决单元用于计算出插值中间图像与相同位置的待编码中间图像对应区域的匹配误差，若该匹配误差小于匹配误差阈值，则判断该对应区域相似程度高，对待编码中间图像的该区域作出不需要局部补偿编码的判决；若匹配误差大于匹配误差阈值，则判断该对应区域相似程度低，对待编码中间图像的该区域作出需要局部补偿编码的判决。

Images