CN102196256B - 一种视频编码方法及装置 - Google Patents

Abstract

本发明公开了一种视频编码方法及装置，所述视频编码装置包括I帧编码模块和P帧编码模块，I帧编码模块用于进行下采样I帧编码，并根据对应的多个下采样子帧进行重建合成得到原始分辨率的重建I帧。P帧编码模块用于进行下采样P帧编码，通过非对称分辨率运动补偿和残差上采样进行重建得到原始分辨率的重建P帧。与现有方法相比，本发明采用下采样I帧、下采样P帧编码，在编码前直接将原视频图像分辨率降低，并在降低分辨率子帧的基础上进行预测，并重建为原始分辨率的视频图像。因此，对于视频编码最耗时的帧内预测、运动估计、模式选择等模块的操作大幅降低，显著降低了视频编码的计算复杂度，在低位率情况下编码效率还有所提高。

Description

一种视频编码方法及装置

技术领域

本发明属于视频处理技术领域，尤其涉及一种视频编码方法及装置。 

背景技术

在过去的几十年里，视频领域的两大国际组织ISO-MPEG与ITU已经相继推出了一系列视频压缩标准如MPEG-1、MPEG-2和MPEG-4以及H.261、H.263、H.263+、H.264/AVC等，中国也于2002年成立“数字视音频编解码技术标准化工作组”即AVS组织，2005年完成并已成为国家标准。这些标准不断地提高了视频编码效率，也推动了多媒体产业的发展。 

H.264/AVC与之前的编码标准相比，具有更好的编码效率，但与之相对应的是其计算复杂度也是成倍增加，这对视频编解码终端尤其是嵌入式处理平台提出了更高的挑战。为了降低H.264/AVC的计算复杂度，人们对其中计算复杂度最高的运动估计、运动补偿以及在此基础上的模式选择过程做了大量的优化和改进，提出了很多优化算法等。 

但这些研究主要是针对模块本身，在此基础上进一步降低模块计算复杂度的空间有限，而且这些研究并未充分考虑在编码端如何减少这些模块的调用次数，如减少需要进行运动估计、运动补偿和模式选择的宏块数量等。 

现有编码技术对应的视频编码序列如图1所示，如图所示，编码序列由关键帧I帧(图示I₀)以及多个P帧(图示P₁，P₂，…，P₄，…)。I帧为帧内编码帧，在一个图片群(GOP，Group of Pictures)中只有一个I帧，该帧压缩比通常较低。它只利用帧内的空间相关性进行压缩，解码时也无须参考其他帧数据就可重构完整图像。 

P帧为前向预测编码帧，在I帧或P帧的参考帧中找出P帧“某块”的运动矢量和预测残差，取变换量化后的预测残差和运动矢量一起传送。在接 收端根据运动矢量从参考帧中找出该块的预测块并与差值相加以得到该块的重建值，从而可得到完整的P帧。 

但是，现有H.264编码标准的I帧编码方法需要计算9种不同方向上的预测值，算法开销大，同时去除数据冗余能力弱，压缩比较低。 

此外，在现有H.264编码技术的P帧编码中，并未充分考虑在编码端如何减少这些模块的调用次数，如减少运动估计及运动补偿模块的调用次数等。因此，造成现有P帧编码方法计算复杂度高、编码耗时大等问题。 

发明内容

本发明的目的旨在至少解决现有技术中的上述问题之一。 

为此，本发明的实施例提出一种能够大幅降低编码复杂度的视频编码方法及装置。 

根据本发明的一个方面，本发明实施例提出了一种视频编码方法，所述视频编码方法包括以下步骤：按照视频编码序列对输入视频的待编码I帧、待编码P帧依次进行相应的编码。其中对待编码I帧的编码包括：a)对所述待编码I帧进行下采样，以降低输入视频的原始分辨率得到对应的多个子帧；b)根据所述多个子帧进行重建得到原始分辨率的重建I帧，以作为下一待编码帧的参考帧。对待编码P帧的编码包括：c)选择预定部分的待编码P帧进行下采样，以得到输入视频的原始分辨率降低为预定倍数的下采样帧；d)根据所述下采样帧进行重建，以得到所选择待编码P帧对应的原始分辨率的重建P帧。 

根据本发明进一步的实施例，所述步骤b包括：b1)从所述多个子帧中选择一个子帧作为基础子帧进行帧内编码，并获得重建的基础子帧；b2)通过所述重建基础子帧对剩余的子帧进行帧间预测编码，并获得对应的重建非基础子帧；以及b3)将所述重建基础子帧与所述重建非基础子帧合成得到所述原始分辨率的重建I帧。 

根据本发明进一步的实施例，所述步骤b2包括：b21)利用剩余的子帧与所述重建基础子帧进行差值预测，以得到对应的残差；以及b22)对所述残差进行变换、量化、反量化、反变换以及差值预测补偿，得到所述重 建非基础子帧。 

根据本发明再一步的实施例，所述步骤b21包括：计算所述剩余子帧的均值；分别将每个剩余子帧与所述均值进行相减，以得到对应的各子帧第一残差；以及将所述均值与所述重建基础子帧进行相减，以得到对应的第二残差。所述步骤b22包括：将所述第二残差进行变换、量化、反量化、反变换，并与所述重建基础子帧进行相加，以得到第一重建非基础子帧；以及将各个所述第一残差与所述第一重建非基础子帧分别相加，以得到所述重建非基础子帧。 

根据本发明进一步的实施例，所述步骤a包括：将所述待编码I帧中的每一个像素划分到四个子帧中，形成水平和垂直分辨率减半的左上、右上、左下、右下的4个子帧。 

根据本发明进一步的实施例，所述步骤d包括：d1)将所述下采样帧在帧内预测编码Intra和帧间预测编码Inter编码模式之间进行模式选择；d2)对于被选择为Intra模式的宏块，进行帧内预测编码和上采样，以获得原始分辨率大小的重建Intra宏块；d3)对于被选择为Inter模式的宏块，利用原始分辨率大小的参考帧进行帧间预测编码，非对称分辨率的运动补偿和残差上采样，以获得原始分辨率的重建Inter宏块；以及d4)利用所述重建Intra宏块与所述重建Inter宏块组成原始分辨率的重建P帧。 

根据本发明进一步的实施例，所述步骤d2包括：d21)对所述宏块进行帧内预测、变换、量化、反量化、反变换以及帧内预测补偿，以得到具有所述降低分辨率大小的重建Intra宏块；以及d22)对所述重建Intra宏块进行整体上采样，以得到所述具有原始分辨率大小的重建Intra宏块。 

根据本发明进一步的实施例，所述步骤d3包括：d31)利用所述参考帧对所述宏块进行运动估计和运动补偿，以得到对应的运动矢量和残差，以及确定所述宏块在所述参考帧中的位置；d32)根据所述位置将所述运动矢量进行等值上采样，以等值扩充一个所述运动矢量为对应所述倍数的多个运动矢量；d33)对所述残差进行整体上采样，以得到对应原始分辨率大小的上采样残差；以及d34)将所述上采样残差与所述多个运动矢量对应提取的参考块相加，得到所述重建Inter宏块。 

根据本发明进一步的实施例，所述步骤c包括：将所述待编码P帧进行行、列各1/2的下采样，以得到为原始分辨率1/4大小的所述下采样帧。 

根据本发明进一步的实施例，自第一个待编码P帧开始，每隔一或两个帧选择所述预定部分的待编码P帧。所述重建P帧可以不作为下一待编码帧的参考帧。 

根据本发明的另一方面，本发明的实施例提出一种视频编码装置，所述视频编码装置包括I帧编码模块和P帧编码模块，所述I帧编码模块用于对输入视频的待编码I帧进行下采样I帧编码，所述P帧编码模块用于对输入视频的待编码P帧进行下采样P帧编码。 

其中，所述I帧编码模块包括：第一下采样单元，所述第一下采样单元对所述待编码I帧进行下采样，以降低输入视频的原始分辨率得到对应的多个子帧；I帧重建单元，所述重建单元根据所述多个子帧进行重建得到原始分辨率的重建I帧，以作为下一待编码帧的参考帧。 

所述P帧编码模块包括：第二下采样单元，所述第二下采样单元选择预定部分的待编码P帧进行下采样，以得到输入视频的原始分辨率降低为预定倍数的下采样帧；P帧重建单元，所述P帧重建单元根据所述下采样帧进行重建，以得到所选择待编码P帧对应的原始分辨率的重建P帧。 

根据本发明进一步的实施例，所述I帧重建单元包括：第一重建子单元，所述第一重建子单元用于从所述多个子帧中选择一个子帧作为基础子帧进行帧内编码，并获得重建的基础子帧；第二重建子单元，所述第二重建子单元通过所述重建基础子帧对剩余的子帧进行帧间预测编码，并获得对应的重建非基础子帧；以及合成子单元，所述合成子单元用于将所述重建基础子帧与所述重建非基础子帧进行空域合成得到所述原始分辨率的重建I帧。 

根据本发明再一步的实施例，所述第二重建子单元利用剩余的子帧与所述重建基础子帧进行差值预测，以得到对应的残差；以及对所述残差进行变换、量化、反量化、反变换以及差值预测补偿，得到所述重建非基础子帧。进一步地，所述第二重建子单元包括：残差计算单元，所述残差计算单元计算所述剩余子帧的均值；分别将每个剩余子帧与所述均值进行相 减，以得到对应的各子帧第一残差；以及将所述均值与所述重建基础子帧进行相减，以得到对应的第二残差；子帧重建单元，所述子帧重建单元将所述第二残差进行变换、量化、反量化、反变换，并与所述重建基础子帧进行相加，以得到第一重建非基础子帧；以及将各个所述第一残差与所述第一重建非基础子帧分别相加，以得到所述重建非基础子帧。 

根据本发明进一步的实施例，所述第一下采样单元将所述待编码I帧中的每一个像素划分到4个子帧中，以形成水平和垂直分辨率减半的左上、右上、左下、右下的4个子帧。 

根据本发明进一步的实施例，所述P帧重建单元包括：模式选择子单元，所述模式选择子单元用于将所述下采样帧的宏块编码模式在Intra/Inter之间进行模式选择；Intra编码子单元，所述Intra编码子单元对所述下采样帧中被选择为Intra模式的宏块进行帧内预测，并在重建时整体上采样，以获得原始分辨率大小的重建Intra宏块；Inter编码子单元，所述Inter编码子单元利用原始分辨率大小的参考帧对所述下采样帧中被选择为Inter模式的宏块进行帧间预测编码，非对称分辨率的运动补偿和残差上采样，以获得原始分辨率的重建Inter宏块；以及合成子单元，所述合成子单元利用所述重建Intra宏块与所述重建Inter宏块组成原始分辨率的重建P帧。 

根据本发明进一步的实施例，所述Intra编码子单元对所述宏块进行帧内预测、变换、量化、反量化、反变换以及帧内预测补偿，得到具有所述降低分辨率大小的重建Intra宏块；以及对所述重建Intra宏块进行整体上采样，以得到所述具有原始分辨率大小的重建Intra宏块。 

根据本发明进一步的实施例，所述Inter编码子单元包括：Inter编码单元，所述Inter编码单元利用所述参考帧对所述宏块进行运动估计和运动补偿，以得到对应的运动矢量和残差，以及确定所述宏块在所述参考帧中的位置；运动矢量上采样单元，所述运动矢量上采样单元将所述运动矢量进行等值上采样，以等值扩充一个所述运动矢量为对应所述倍数的多个运动矢量；残差上采样单元，所述残差上采样单元将所述残差进行整体上采样，以得到对应原始分辨率大小的上采样残差；以及Inter宏块重建单元，所述Inter宏块重建单元将所述上采样残差与所述多个运动矢量对应提取的参考 块相加，以得到所述重建Inter宏块。 

根据本发明进一步的实施例，所述第二下采样单元将所述待编码P帧进行行、列各1/2的下采样，以得到为原始分辨率1/4大小的所述下采样帧。 

根据本发明进一步的实施例，所述第二下采样单元自第一个待编码P帧开始，每隔一或两个帧选择所述预定部分的待编码P帧。 

本发明采用下采样I帧、下采样P帧和传统P帧编码，直接在编码前将原视频图像分辨率降低。这样，对于后面最耗时的帧内预测、运动估计、模式选择等模块的操作随之大幅降低。 

而且，本发明思想与现有的快速算法不存在冲突，可以在现有快速算法的基础上再次大幅降低编码复杂度，同时保持编码质量不降低。 

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。 

附图说明

本发明的上述和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中： 

图1为现有编码技术对应的视频编码序列示意图； 

图2为本发明实施例的视频编码装置对应I帧编码模块的结构方框图； 

图3为本发明实施例的视频编码装置对应P帧编码模块的结构方框图； 

图4为本发明实施例的Inter宏块运动估计示意图； 

图5为本发明实施例的Inter宏块运动补偿原理示意图； 

图6为传统P帧Inter宏块运动补偿原理示意图； 

图7为本发明实施例的视频编码装置总体构架示意图； 

图8为本发明实施例的待编码帧下采样示意图； 

图9为本发明实施例的视频编码序列示意图； 

图10为本发明实施例的视频编码方法总体流程图； 

图11为本发明实施例的I帧编码步骤流程图； 

图12为本发明实施例的P帧编码步骤流程图； 

图13(a)至13(e)为本发明与现有编码方法的R-D曲线对比图。 

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。 

针对现有主流编码标准的I帧和P帧编码存在的问题，本发明提出了一种涉及新型I帧编码和新型P帧编码的视频编码装置及方法，以解决现有I帧编码技术中去除数据冗余能力弱，算法时间开销大进而编码效率低，以及现有P帧编码技术中计算复杂度高、编码耗时过大等问题。 

在本发明一个实施例中，本发明的视频编码装置可以包括I帧编码模块和P帧编码模块。I帧编码模块和P帧编码模块分别用于对输入视频的待编码I帧、P帧进行对应的编码，下面将结合图2和图3的实施例，分别对本发明的I帧编码模块以及P帧编码模块的结构和工作原理作出详细说明。 

在本发明一个实施例中，I帧编码模块可以包括下采样单元、第一重建单元、第二重建单元以及合成单元。即，I帧编码模块结合下采样I帧编码，在传统视频编码序列的I帧下采样基础上进行帧预测和重建。 

具体来说，下采样单元用于对输入视频的待编码I帧进行下采样，以降低输入视频的原始分辨率得到对应的多个子帧。 

第一重建单元从多个子帧中选择一个子帧作为基础子帧进行帧内编码，以获得重建的基础子帧，第二重建单元通过重建基础子帧对剩余的子帧进行帧间预测编码，获得对应的重建非基础子帧。 

最后，由合成单元将重建基础子帧与重建非基础子帧进行空域合成，从而得到原始分辨率的重建I帧，以作为下一帧的待编码P帧的参考帧。 

现在，参考图2，该图为本发明实施例I帧编码单元的结构方框图。 

如图2所示，输入视频的待编码I帧首先输入到下采样单元10中，对待编码I帧进行下采样，进而降低该I帧的原始分辨率。这里，可以得到分辨率为例如原始分辨率1/4大小的4个子帧，并选择其中的一个作为基础子帧，以在后续步骤中用来对其余3个子帧进行预测。 

在一个实施例中，下采样单元10执行的下采样可以如图8所示，例如 按照隔行、隔列的原则将原始分辨率的待编码I帧中的每一个像素划分到4个子帧中，形成水平和垂直分辨率减半的左上、右上、左下、右下4个子帧(即下采样I帧)。并且，例如选择左上子帧作为基础子帧。 

对于例如左上的基础子帧，由第一重建单元按照传统帧内编码方法，对其进行帧内预测、变换、量化、反量化、反变换以及帧内预测补偿等，以得到对应的重建基础子帧。在图2实施例中，上述操作可以由帧内预测单元12、变换单元14、量化单元16、反量化单元18及反变换单元20等分别对应执行。最后，如图1虚线箭头所示得到基础子帧的重建值。 

在得到基础子帧的重建值之后，第二重建单元利用该重建基础子帧对剩余的子帧进行帧间编码预测，以获得这些剩余子帧对应的重建值，即重建非基础子帧。 

具体来说，第二重建单元利用剩余的子帧与基础子帧重建值进行差值预测，以得到对应的残差；然后，对该残差进行变换、量化、反量化、反变换以及差值预测补偿，以得到对应重建非基础子帧。 

在图2实施例中，上述操作可以通过残差计算单元26、变换单元14、量化单元16、反量化单元18及反变换单元20等分别对应执行。 

具体来说，残差计算单元26计算这些剩余子帧的均值，分别将每个剩余子帧与上述均值进行相减，以得到各个剩余子帧对应的第一残差。然后，将上述均值再与基础子帧重建值进行相减，以得到对应的第二残差。 

接着，在通过变换单元14、量化单元16、反量化单元18及反变换单元20将得到的第二残差进行变换、量化、反量化、反变换之后，残差计算单元26将对应得到的残差值与基础子帧重建值进行相加，接着再与将各个剩余子帧与其均值对应的残差，即第一残差分别相加，这样则得到剩余子帧的重建值。 

最后，由合成单元22将得到的重建子帧(包括重建基础子帧与重建非基础子帧)进行空域合成，得到原始分辨率大小的重建I帧，即新型的下采样I帧，以作为后续编码的参考帧。 

在本发明实施例中，I帧编码模块还可以包括熵编码单元24。量化单元16进行并行处理，一路将量化操作后输出的基础子帧或非基础子帧对应 的残差输入给反量化单元18进行子帧重建，另一路输入到熵编码单元24中，以进行熵编码并输出压缩码流。 

对于P帧编码模块，在本发明一个实施例中，P帧编码模块可以包括下采样单元、模式选择单元、帧内预测编码(Intra)单元、帧间预测编码(Inter)单元以及合成单元。 

具体来说，下采样单元用于选择预定部分的待编码P帧进行下采样，以降低输入视频的原始分辨率，得到分辨率降低为原始分辨率预定倍数的下采样帧。 

在一个实施例中，下采样单元可以自第一个待编码P帧开始，每隔一或两个帧选择预定部分的待编码P帧进行下采样，并由模式选择单元、Intra编码单元、Inter编码单元以及合成单元按照后续步骤执行相应的帧预测和重建。 

对于未选择部分的待编码P帧，P帧编码模块按照视频编码序列对其执行传统的P帧编码，并且已编码的P帧可以作为下一待编码帧的参考帧。 

下面，将对P帧编码模块的下采样P帧编码给出详细描述。 

在下采样单元选择预定部分的待编码P帧并进行下采样之后，模式选择单元将得到的下采样帧的宏块编码模式在Intra/Inter之间进行选择，其中由Intra编码单元对下采样帧中被选择为Intra模式的宏块进行帧内预测和上采样，以获得原始分辨率大小的重建Intra宏块。并且，由Inter编码单元利用原始分辨率大小的参考帧，对下采样帧中被选择为Inter模式的宏块进行帧间预测编码，采用非对称分辨率的运动补偿技术和残差块上采样，以获得原始分辨率的重建Inter宏块。 

最后，由合成单元则将重建Intra宏块与重建Inter宏块组成原始分辨率的重建P帧。 

现在参考图3，下面将结合该图对本发明实施例的P帧编码单元结构及工作原理进行详细描述。 

如图3所示，输入视频的待编码P帧首先输入到下采样单元30中，从而对待编码P帧进行下采样，进而降低该P帧的原始分辨率。 

在一个实施例中，下采样单元30执行的下采样可以如图3所示，这里， 下采样单元30可以对待编码P帧执行行、列各1/2的下采样，从而得到为原始分辨率1/4倍数大小的下采样帧。 

下采样单元30的下采样原理可以如图3所示，按照隔行、隔列的原则将原始分辨率的待编码P帧中的每一个像素划分到四个子帧中，形成水平和垂直分辨率减半的左上、右上、左下、右下4个子帧(即下采样P帧)。这里，仅需要在其中一个下采样P帧的基础上进行后续的编码。当然，该子帧可以是划分的多个子帧中的任意一个。 

在得到下采样帧之后，由Intra编码单元和Inter编码单元对下采样帧划分的宏块进行Intra/Inter编码。通常将下采样帧划分为16x16大小的宏块，通过后续对每个宏块进行编码，从而完成对该下采样帧的编码。 

这种情况下，每个宏块仍然有4种16x16帧内预测模式，9种4x4帧内预测模式，以及skip、16x16、16x8，8x16，8x8，8x4，4x8，4x4等8种帧间预测分块模式。 

因此，在对宏块进行对应编码之前，首先针对对下采样帧的所有宏块，由P帧编码模块的帧内预测单元31和运动估计单元38分别进行帧内预测和帧间预测，并根据其分别对应的代价函数计算单元52及54得到的代价结果，由模式选择单元56确定适合帧内预测的宏块部分(Intra宏块)与适合帧间预测的宏块部分(Inter宏块)。这里，模式选择单元对应的宏块编码模式选择判断可以是现有的选择方法。 

之后，Intra编码单元与Inter编码单元分别根据每个宏块对应的预测模式，进行对应的帧内编码或帧间编码。 

对于采用Intra编码模式的部分宏块，Intra编码单元对宏块进行帧内预测、变换、量化、反量化、反变换以及帧内预测补偿，首先得到对应下采样分辨率，即降低分辨率大小的重建Intra宏块(也可称作为第一重建Intra宏块，对应16x16大小)，然后再对该重建Intra宏块进行整体上采样，以得到对应原始分辨率大小的重建Intra宏块(也可称作为第二重建Intra宏块，对应32x32大小)。 

在图3实施例中，上述操作可以由帧内预测单元31、变换单元32、量化单元34、反量化单元44、反变换单元46、帧内预测重建单元49及重建 块整体上采样单元48等分别对应执行。 

另外，对于采用Inter编码模式的部分宏块，Inter编码单元利用参考帧对宏块进行运动估计和运动补偿。 

如图3所示，Inter编码单元包括运动估计单元38和运动补偿单元40，以分别得到对应的残差和运动矢量，并确定宏块在参考帧中的位置。估计单元38的参考帧为原始分辨率大小的前一帧已编码I帧或P帧。 

关于运动估计单元38对下采样帧的Inter宏块进行运动估计的示意图可以参考图4的本发明实施例。 

例如，对于分辨率降低为原始分辨率1/4倍数的下采样帧f_t ^1/4(对应当前编码帧，时刻Time＝t)，运动估计单元38结合参考帧f_t-1(对应前一编码帧，时刻Time＝t-1)可计算得到其对于的运动矢量MV。并且运动补偿单元40通过估计单元38计算得到的运动矢量MV，可以确定该宏块在参考帧f_t-1中的位置。 

但是，由于下采样帧的分辨率已经降低，因此还需要将该宏块对应的运动矢量进行上采样。运动矢量(MV)上采样单元42用于将每个宏块对应的一个运动矢量计算值进行等值上采样，以等值扩充一个运动矢量为对应分辨率缩小倍数的多个运动矢量。 

关于运动矢量上采样单元42的非对称分辨率运动补偿(即，运动矢量上采样)原理，下面结合图5和图6的实施例作出说明。其中，图5为本发明实施例的Inter宏块运动补偿原理示意图，图6为传统P帧Inter宏块运动补偿原理示意图。 

例如，对于图5所示降低1/4倍数分辨率大小且选自待编码P帧左上方的下采样帧f_t ^1/4，需要利用非对称分辨率的运动补偿，对宏块的运动矢量进行等值上采样，以等值扩充为4个运动矢量。即，以运动估计得到的一个运动矢量同时提取对应本宏块右上、左下、右下位置的3个位置的参考块，使本宏块的右上、左下、右下方的宏块具有相同的运动矢量。这样，将下采样帧f_t ^1/4对应的16x16大小的宏块扩充为32x32大小，即为具有本宏块2×2倍大小的原始分辨率重建帧f_t。 

如此，便可在参考帧中提取出该宏块2×2倍大小的参考块，从而使得 参考块具有了原始分辨率大小。 

从图5和图6右侧所示的上、下两帧可知，传统P帧Inter宏块的运动补偿与运动估计对应帧为同等分辨率，而从图5可知，本发明的Inter宏块的运动补偿与运动估计对应帧为非对称分辨率帧。 

此外，在运动估计单元38得到残差之后，通过变换单元32、量化单元34将残差进行变换、量化。接着，由反量化单元44、反变换单元46再对量化后的残差进行反量化、反变换。然后输入到残差上采样单元47中，以对得到的残差进行残差整体上采样，从而得到对应原始分辨率大小的上采样残差。 

然后，如图3所示，将运动矢量上采样单元42对应上采样运动矢量提取的参考块与上采样单元47在Inter模式下输出的上采样残差相加，从而得到对应原始分辨率的Inter宏块重建值，即重建Inter宏块。 

最后，合成单元50将重建Inter宏块与重建块整体上采样单元48在Intra预测时输出的原始分辨率的重建Intra宏块进行组成，从而得到原始分辨率的重建P帧，即新型的R帧。 

在一个实施例中，为了避免视频信息丢失太多，更好地保证图像质量，新型R帧可以不作为下一待编码帧的参考帧。 

在本发明实施例中，P帧编码模块还可以包括熵编码单元36，用于进行数据熵编码，并输出对应的压缩码流。在帧内预测时得到的残差经变化单元32和量化单元34进行变换及量化之后，输入到熵编码单元36中，以进行熵编码并输出压缩码流。并且，在帧间预测时，运动估计单元38获得的残差和运动矢量也输入到熵编码单元36中。 

关于本发明实施例的视频编码装置总体构架如图7所示，该图的各个单元与图2和图3中的对应单元具有相同的功能，这里不再赘述。 

从图中可以看出，对于输入视频A，按照现有视频编码序列若为第一帧的I帧，则由I帧编码模块对应的下采样单元(第一采样单元53)进行1/4分辨率的下采样，从而得到基础子帧a1和其余的子帧a2～a4。 

然后，通过帧内预测单元58、变化单元64、量化单元66、反量化单元68、反变换单元70及合成单元76等完成对应的下采样I帧编码，并得 到重建视频B。如图所示，该重建I帧视频B可以作为后续待编码帧的参考帧。 

在输入视频A的当前帧为P帧，则由P帧编码模块对应的第二下采样单元55按照预定的设置，选择是否对该当前P帧进行下采样，以执行对应的下采样P帧编码。 

若是，则由模式选择单元(图7中未显示)、运动估计单元62、运动补偿单元60、帧内预测单元58、变化单元64、量化单元66、反量化单元68、反变换单元70、残差上采样单元72、运动矢量上采样单元74及合成单元76等，完成对应的下采样P帧编码，并得到重建视频B。如图所示，该重建P帧(也称作R帧)视频B不作为后续待编码帧的参考帧。 

若不需要对该当前P帧进行下采样编码，则按照传统P帧编码方法，由模式选择单元(图7中未显示)、运动估计单元62、运动补偿单元60、变化单元64、量化单元66、反量化单元68、反变换单元70及滤波单元76，完成对应的P帧编码，并得到重建视频B。如图所示，该重建P帧视频B可以作为后续待编码帧的参考帧。 

I帧编码模块和P帧编码模块在编码过程中得到的残差量化数据、运动矢量等可以输入到熵编码单元80中。 

通过上述编码，例如可以得到如图9所示实施例的视频编码序列。其中I₀为I帧编码模块得到的重建帧，P₁、P₃及P₆为P帧编码模块按照传统P编码得到的重建帧，R₂、R₄及R₅为P帧编码模块进行下采样编码得到的重建帧。 

下面，参考图10，该图给出了本发明实施例的视频编码方法。如图所示，该方法包括以下步骤：首先，输入视频的编码序列(步骤302)。然后，根据编码控制参数和编码帧序号判断输入视频的当前待编码帧类型(步骤304)，以根据编码帧类型对输入视频的待编码帧进行相应的编码。 

其中，判断当前编码帧为I帧，则对应进行下采样I帧编码(步骤306)。该步骤具体包括：对输入视频的待编码I帧进行下采样，以降低输入视频的原始分辨率得到对应的多个子帧；从多个子帧中选择一个子帧作为基础子帧进行帧内编码，并获得重建的基础子帧；通过重建基础子帧对剩余的 子帧进行帧间预测编码，并获得对应的重建非基础子帧；以及将重建基础子帧与重建非基础子帧合成得到原始分辨率的重建I帧，以作为下一帧的待编码P帧的参考帧。 

关于下采样I帧编码的具体步骤，下文中将给出详细描述。 

若判断为P帧，接着判断其前一帧是否为I帧(步骤308)。若是，则以前一帧的下采样编码I帧为参考帧，对其采用传统P帧编码方法进行编码。若不是，则确定该P帧对应的视频编码序列位置，根据预定间隔执行编码(步骤312)。 

例如，可以自I帧之后的第一个待编码P帧开始，每隔一或两个P帧选择预定部分的待编码P帧进行下采样P帧编码(步骤314)。 

该步骤具体包括：将待编码P帧进行下采样，以得到分辨率降低为原始分辨率预定倍数的下采样帧。然后，将下采样帧在Intra和Inter编码模式之间进行模式选择。其中，对于下采样帧中被选择为Intra的宏块，进行帧内预测编码和上采样，以获得原始分辨率大小的重建Intra宏块；对于采样帧中被选择为Inter的宏块，利用原始分辨率大小的参考帧对Inter的宏块进行帧间预测编码，非对称分辨率的运动补偿和残差块上采样，以获得原始分辨率的重建Inter宏块。最后，利用重建Intra宏块与重建Inter宏块组成原始分辨率的重建P帧。 

关于下采样P帧编码的具体步骤，下文中将给出详细描述。 

对于视频编码序列中其他剩余部分的P帧，则按照传统P帧进行编码(步骤310)，这里不再赘述。 

在各种编码步骤得到的数据后，输出码流(步骤316)，并判断是否所有的视频帧编码是否完成(步骤318)。若是则结束，否则重复步骤304到318。 

下面，将结合图11-12对本发明的I帧编码步骤和P帧编码步骤作出详细说明。 

首先参考图11，该图为本发明实施例的I帧编码步骤流程图。 

如图所示，首先获取输入视频对应的待编码I帧(步骤102)，并对待编码I帧进行下采样(步骤104)，从而得到降低分辨率的多个子帧，例如 分辨率为原始分辨率1/4大小的4个子帧。并选择其中的一个作为基础子帧，以在后续步骤中用来对其余的非基础子帧进行预测。 

接着，判断当前处理的子帧是否为基础子帧(步骤106)。若是基础子帧，则按照传统帧内编码方法，首先进行帧内预测(步骤108)、变换(步骤110)、量化(步骤112)。 

在一个实施例中，此时可以对量化后得到的数据进行并行处理(步骤114)，一路数据进行熵编码(步骤134)，并输出压缩码流(步骤136).另一路则转到步骤116以用于后续的子帧重建。即，对量化后的基础子帧进行反量化(步骤116)、反变换(步骤118)，并进行帧内预测补偿以实现基础子帧重建(步骤122)，进而得到重建基础子帧。 

若在步骤106中判断当前处理的是非基础子帧的其余子帧，则转到步骤132进行差值预测。在步骤132中，差值预测是计算这些剩余子帧的均值，分别将每个剩余子帧与上述均值进行相减，以得到对应的各个第一残差。然后，将上述均值再与基础子帧重建值进行相减，以得到对应的第二残差。 

然后将得到的第二残差进行变换(步骤110)、量化(步骤112)，以及并行处理(步骤114)。同样地，这里并行处理的数据一路进行熵编码(步骤134)并输出压缩码流(步骤136)，另一路则转到步骤116进行重建。 

即，对量化后的子帧残差进行反量化(步骤116)、反变换(步骤118)，然后将对应得到的残差值与基础子帧重建值进行相加，接着再与将各个剩余子帧与其均值对应的残差，即第一残差分别相加，这样则得到当前非基础子帧的重建值(步骤124)。 

在每次当前子帧重建步骤之后，进一步判断所有下采样所划分子帧的编码是否完成(步骤126)。若还有子帧未编码，则转到步骤106继续编码；若所有的子帧(包括基础子帧和非基础子帧)都编码完成，则转到步骤128。 

即，将原始分辨率I帧下采样划分得到的多个子帧的重建值进行空域合成，以得到原始分辨率大小的重建I帧。然后，输出对应的I帧重建值(步 骤130)，以作为后续编码的参考帧。 

其中，步骤104中所述下采样步骤可以按照隔行、隔列的原则将待编码I帧中的每一个像素划分到4个子帧中，形成水平和垂直分辨率减半的左上、右上、左下、右下子帧，并选择左上子帧作为基础子帧，对其余3个子帧进行预测。 

本发明通过如上方式实现I帧编码，获得一种新型的下采样I帧，可以有效利用帧间预测，充分消除数据冗余，能够改善现有I帧编码方法中去除数据冗余能力弱，算法时间开销大等问题。并且，本发明能够在保持重建质量不降的情况下，将编码时间降低约70％左右。此外，本发明的下采样I帧编码还能够有效减弱传统I帧编码的块效应，从而提高了重建图像的主观质量。 

下面，结合图12对本发明实施例的P帧编码步骤的具体流程给出详细描述。 

首先，获取输入视频对应的待编码P帧(步骤202)，将待编码P帧进行下采样(步骤204)，从而得到降低分辨率的多个子帧，例如分辨率为原始分辨率1/4倍数大小的4个子帧。具体地，可以将待编码P帧进行行、列各1/2的下采样。这里，仅需要从划分的多个子帧中选择任意一个作为后续编码的下采样帧，例如选择左上的子帧。 

在得到下采样帧之后，对下采样帧划分的宏块进行Intra/Inter编码。通常将该下采样帧进行宏块划分(步骤205)，从而划分为16x16大小的宏块。通过后续对每个宏块进行编码，从而完成对该下采样帧的编码。 

其中每个宏块仍然有4中16x16帧内预测模式，9种4x4帧内预测模式，除skip模式外，有16x16、16x8，8x16，8x8，8x4，4x8，4x4等7种帧间预测分块模式。 

在对宏块进行对应编码之前，首先针对下采样帧的所有宏块，判断下采样帧对应的划分宏块中哪些采用帧内编码，哪些采用帧间编码(步骤206)。 

具体地，针对对下采样帧的所有宏块，分别进行帧内预测和帧间预测，并根据两种预测模式下分别对应的代价函数计算结果，确定适合帧内预测 的Intra宏块与适合帧间预测的Inter宏块。 

对于采用帧内编码的Intra宏块，转至步骤208；否则转至步骤210。 

在执行帧内编码时，首先进行下采样帧的帧内预测(步骤208)，并且对帧内预测得到的残差进行变换(步骤214)、量化(步骤216)。然后分为两路并行处理(步骤218)，一路进行熵编码(步骤220)，输出压缩码流(步骤222)；另一路转到步骤224进行Intra宏块的重建。 

在Intra宏块的重建过程中，首先对步骤216量化后的残差进行反量化(步骤224)、反变换(步骤226)。然后，进行帧内预测重建，得到对应下采样分辨率，即降低分辨率大小的重建Intra宏块(步骤230)，并对该重建宏块进行整体上采样(步骤232)，得到原始分辨率大小的重建Intra宏块。 

对采用帧间预测的Inter宏块进行运动估计(步骤210)和运动补偿(步骤212)，其参考帧为待编码P帧前一帧且为原始分辨率大小的I帧或已编码P帧。 

首先通过步骤210，得到该宏块对应的残差和运动矢量。并且，通过步骤212，可以根据运动估计获得的运动矢量计算获得该宏块在参考帧中的位置。 

然后，将运动估计步骤中得到的残差进行变换(步骤214)、量化(步骤216)，之后分为两路并行处理，一路将运动矢量和量化后的残差进行熵编码(步骤220)，并输出压缩码流(步骤222)，另一路转到步骤224进行宏块的重建。 

在Inter宏块的重建时，首先对量化后的残差进行反变换(步骤224)、反量化(步骤226)，然后在判断为帧间预测对应残差(步骤228)时，对得到的残差进行残差上采样(步骤234)，得到对应原始分辨率大小的上采样残差。 

在运动补偿时，除利用运动矢量计算本宏块在参考帧中的位置外，还需根据下采样帧帧分辨率降低的倍数，进行运动矢量上采样(步骤236)，即将该运动矢量等值扩充为多个运动矢量。 

例如，对于降低1/4倍数分辨率大小且选自待编码P帧左上方的下采 样帧，需要利用非对称分辨率的运动补偿，对宏块的运动矢量进行等值上采样，以等值扩充为4个运动矢量，即以运动估计得到的一个运动矢量同时提取对应本宏块右上、左下、右下位置的3个位置的参考块，使本宏块的右上、左下、右下方的宏块具有相同的运动矢量，这样便可在参考帧中提取出本宏块2×2大小的参考块，从而使得参考块具有了原始分辨率大小。 

这时，将运动矢量上采样后的多个运动矢量对应提取的参考块与步骤234得到的残差上采样后的残差进行相加，从而得到对应原始分辨率的Inter宏块重建值。 

最后，将重建的Intra宏块和重建的Inter宏块组成原始分辨率大小的重建P帧(可以定义为R帧)，该帧可以不再作为后续编码的参考帧。 

本发明通过如上方式实现P帧编码，也可以称作下采样P帧编码，可获得一种新型的R帧。本发明直接在编码前将原视频图像分辨率降低，这样，对于最耗时的运动估计和运动补偿部分，其计算复杂度基本上为原始分辨率帧的1/4，而编码性能几无损失，因此本发明编码能有效降低计算复杂度，从而提高P帧编码效率。 

下面结合具体实施例的实验结果，进一步说明本发明采用下采样I帧编码和下采样P帧编码的有益结果。 

该仿真测试平台是基于H.264/AVC编码软件基础上，对其按照本发明的视频编码方式进行改进。测试条件如下： 

测试序列：container.cif，coastguard.cif，paris.cif，silent.cif，mother.cif。测试帧数：均为200帧。帧率：30帧/秒。序列组成：H.264AVC，I...20P；该测试为下采样I帧、传统P帧以及下采样P帧(R帧)的混合分辨率编码：I帧，R帧，P帧，...R帧，P帧；RDO(率失真优化)：开。 

表1是两种编码方式的编码性能对比，通过28，32，36，40四个量化参数(QP)值得到的Δbitrate(比特率之差)及ΔPSNR(峰值信噪比之差)，通过对比可以看出，采用了本发明下采样I、P帧编码的混合分辨率编码序列，其性能大体与H.264/AVC编码序列相当。 

另外，从图13(a)至13(e)中的各序列的R-D(率失真)曲线对比可以看出，在低比特率的情况下，混合分辨率编码性能甚至要稍好于H.264/AVC。随着码率的上升，两种编码方式有一个交叉点，在高比特率情况下，混合分辨率编码性能比H.264/AVC稍有下降。 

表1本发明采用下采样混合编码与现有H.264/AVC编码性能对比 

表2给出了两种编码方式的编码时间对比，在相同编码软件基础上，编码时间可以较明显的反映出计算复杂度。可以很明显的看出，在每个P帧之后插入一个下采样P帧(R帧)的混合分辨率编码，与H.264/AVC相比，所有序列都减少了40％左右的编码时间，编码效率大大提高。 

表2本发明采用下采样混合编码与现有H.264/AVC的平均编码时间对比 

由上实验结果可以看出，本发明采用下采样I帧、下采样P帧和传统P帧编码能有效降低计算复杂度，同时，编码性能几无损失。 

本发明直接在编码前将原视频图像分辨率降低，这样，对于后面最耗时的帧内预测、运动估计、模式选择等模块的操作随之大幅降低。而且，本发明思想与现有的快速算法不存在冲突，可以在现有快速算法的基础上再次大幅降低编码复杂度，同时保持编码质量不降低。 

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。 

Claims (14)

1.一种视频编码方法，其特征在于，所述视频编码方法包括以下步骤：

按照视频编码序列对输入视频的待编码I帧、待编码P帧依次进行相应的编码；其中

对待编码I帧的编码包括：

a)对所述待编码I帧进行下采样，以降低输入视频的原始分辨率得到对应的多个子帧；

b)从所述多个子帧中选择一个子帧作为基础子帧进行帧内编码，并获得重建基础子帧；

计算剩余的子帧的均值；

分别将每个剩余子帧与所述均值进行相减，以得到对应的各子帧第一残差；将所述均值与所述重建基础子帧进行相减，以得到对应的第二残差；

将所述第二残差进行变换、量化、反量化、反变换，并与所述重建基础子帧进行相加，以得到第一重建非基础子帧；将各个所述第一残差与所述第一重建非基础子帧分别相加，以得到重建非基础子帧；

将所述重建基础子帧与所述重建非基础子帧合成得到原始分辨率的重建I帧，以作为下一待编码帧的参考帧；

对待编码P帧的编码包括：

c)选择预定部分的待编码P帧进行下采样，以得到输入视频的原始分辨率降低为预定倍数的下采样帧；

d)根据所述下采样帧进行重建，以得到所选择待编码P帧对应的原始分辨率的重建P帧。

2.如权利要求1所述的视频编码方法，其特征在于，所述步骤a包括：

将所述待编码I帧中的每一个像素划分到四个子帧中，形成水平和垂直分辨率减半的左上、右上、左下、右下的4个子帧。

3.如权利要求1所述的视频编码方法，其特征在于，所述步骤d包括：

d1)将所述下采样帧在帧内预测编码Intra和帧间预测编码Inter编码模式之间进行模式选择；

d2)对于被选择为Intra模式的宏块，进行帧内预测编码和上采样，以获得原始分辨率大小的重建Intra宏块；

d3)对于被选择为Inter模式的宏块，利用原始分辨率大小的参考帧进行帧间预测编码，非对称分辨率的运动补偿和残差上采样，以获得原始分辨率的重建Inter宏块；以及

d4)利用所述重建Intra宏块与所述重建Inter宏块组成原始分辨率的重建P帧。

4.如权利要求3所述的视频编码方法，其特征在于，所述步骤d2包括：

d21)对所述宏块进行帧内预测、变换、量化、反量化、反变换以及帧内预测补偿，以得到具有所述降低分辨率大小的重建Intra宏块；以及

d22)对所述重建Intra宏块进行整体上采样，以得到所述具有原始分辨率大小的重建Intra宏块。

5.如权利要求3或4所述的视频编码方法，其特征在于，所述步骤d3包括：

d31)利用所述参考帧对所述宏块进行运动估计和运动补偿，以得到对应的运动矢量和残差，以及确定所述宏块在所述参考帧中的位置；

d32)根据所述位置将所述运动矢量进行等值上采样，以等值扩充一个所述运动矢量为对应所述倍数的多个运动矢量；

d33)对所述残差进行整体上采样，以得到对应原始分辨率大小的上采样残差；以及

d34)将所述上采样残差与所述多个运动矢量对应提取的参考块相加，得到所述重建Inter宏块。

6.如权利要求3所述的视频编码方法，其特征在于，所述步骤c包括：

将所述待编码P帧进行行、列各1/2的下采样，以得到为原始分辨率1/4大小的所述下采样帧。

7.如权利要求1所述的视频编码方法，其特征在于，自第一个待编码P帧开始，每隔一或两个帧选择所述预定部分的待编码P帧，其中所述重建P帧不作为下一待编码帧的参考帧。

8.一种视频编码装置，其特征在于，所述视频编码装置包括I帧编码模块和P帧编码模块，

所述I帧编码模块用于对输入视频的待编码I帧进行编码，所述I帧编码模块包括：

第一下采样单元，所述第一下采样单元对所述待编码I帧进行下采样，以降低输入视频的原始分辨率得到对应的多个子帧；

第一重建子单元，所述第一重建子单元用于从所述多个子帧中选择一个子帧作为基础子帧进行帧内编码，并获得重建基础子帧；

第二重建子单元，包括残差计算单元和子帧重建单元；所述残差计算单元计算剩余子帧的均值；分别将每个剩余子帧与所述均值进行相减，以得到对应的各子帧第一残差；以及将所述均值与所述重建基础子帧进行相减，以得到对应的第二残差；所述子帧重建单元将所述第二残差进行变换、量化、反量化、反变换，并与所述重建基础子帧进行相加，以得到第一重建非基础子帧；以及将各个所述第一残差与所述第一重建非基础子帧分别相加，以得到重建非基础子帧；

合成子单元，所述合成子单元用于将所述重建基础子帧与所述重建非基础子帧进行空域合成得到原始分辨率的重建I帧，以作为下一待编码帧的参考帧；

所述P帧编码模块用于对输入视频的待编码P帧进行编码，所述P帧编码模块包括：

第二下采样单元，所述第二下采样单元选择预定部分的待编码P帧进行下采样，以得到输入视频的原始分辨率降低为预定倍数的下采样帧；

P帧重建单元，所述P帧重建单元根据所述下采样帧进行重建，以得到所选择待编码P帧对应的原始分辨率的重建P帧。

9.如权利要求8所述的视频编码装置，其特征在于，所述第一下采样单元将所述待编码I帧中的每一个像素划分到4个子帧中，以形成水平和垂直分辨率减半的左上、右上、左下、右下的4个子帧。

10.如权利要求8所述的视频编码装置，其特征在于，所述P帧重建单元包括：

模式选择子单元，所述模式选择子单元用于将所述下采样帧的宏块编码模式在Intra/Inter之间进行模式选择；

Intra编码子单元，所述Intra编码子单元对所述下采样帧中被选择为Intra模式的宏块进行帧内预测，并在重建时整体上采样，以获得原始分辨率大小的重建Intra宏块；

Inter编码子单元，所述Inter编码子单元利用原始分辨率大小的参考帧对所述下采样帧中被选择为Inter模式的宏块进行帧间预测编码，非对称分辨率的运动补偿和残差上采样，以获得原始分辨率的重建Inter宏块；以及

合成子单元，所述合成子单元利用所述重建Intra宏块与所述重建Inter宏块组成原始分辨率的重建P帧。

11.如权利要求10所述的视频编码装置，其特征在于，所述Intra编码子单元对所述宏块进行帧内预测、变换、量化、反量化、反变换以及帧内预测补偿，得到具有所述降低分辨率大小的重建Intra宏块；以及对所述重建Intra宏块进行整体上采样，以得到所述具有原始分辨率大小的重建Intra宏块。

12.如权利要求10所述的视频编码装置，其特征在于，所述Inter编码子单元包括：

Inter编码单元，所述Inter编码单元利用所述参考帧对所述宏块进行运动估计和运动补偿，以得到对应的运动矢量和残差，以及确定所述宏块在所述参考帧中的位置；

运动矢量上采样单元，所述运动矢量上采样单元将所述运动矢量进行等值上采样，以等值扩充一个所述运动矢量为对应所述倍数的多个运动矢量；

残差上采样单元，所述残差上采样单元将所述残差进行整体上采样，以得到对应原始分辨率大小的上采样残差；以及

Inter宏块重建单元，所述Inter宏块重建单元将所述上采样残差与所述多个运动矢量对应提取的参考块相加，以得到所述重建Inter宏块。

13.如权利要求8所述的视频编码装置，其特征在于，所述第二下采样单元将所述待编码P帧进行行、列各1/2的下采样，以得到为原始分辨率1/4大小的所述下采样帧。

14.如权利要求8或13所述的视频编码装置，其特征在于，所述第二下采样单元自第一个待编码P帧开始，每隔一或两个帧选择所述预定部分的待编码P帧。

Images