CN104754345A - 视频编码方法及视频编码器 - Google Patents

Abstract

一种视频编码方法及视频编码器，所述视频编码方法包括基于视频编码的帧结构确定至少一图像组，所述视频编码的帧结构包括若干参考帧及相邻参考帧之间的若干非参考帧，距离一参考帧最近的非参考帧和参考该一参考帧的参考帧组成一图像组，所述距离一参考帧最近是指与该一参考帧的距离小于或等于与其他参考帧的距离；依次对图像组进行编码。本发明技术方案可以降低对带宽和功耗的需求。

Description

视频编码方法及视频编码器

技术领域

本发明涉及视频技术领域，尤其涉及一种视频编码方法及视频编码器。

背景技术

在移动摄像设备中，由于高分辨率和高帧率视频的广泛应用，编解码器对片外存储器的访问带宽需求极大，大量的片外存储访问带来的高功耗减少了系统的可持续工作时间。同时，视频编码模块常常和显示模块、通讯模块、计算模块等集成在一个系统中并行运行，共享带宽，其所分配到的带宽资源常常不能满足正常编码的需要，制约了视频编码器的实际性能，增大了视频编码器的设计难度。

在各种视频编码标准中，采用的帧类型有帧内预测帧（I帧）和帧间预测帧。其中帧间预测帧又分为前向预测帧（P帧）和双向预测帧（B帧）。在最新的H264和HEVC视频编码标准中，P帧可以支持后向预测，B帧的两个参考帧可以分别位于前向和后向，也可以全部位于前向或后向。

不同类型帧编码时视频编码器对片外存储器的访问可以参考图1，包含当前帧数据的读取，运动估计和补偿模块对参考帧（用于参考的帧）数据的读取，重建帧数据的写出和编码码流的写出等，其中前三项占据了绝大多数带宽。运动估计和补偿模块常需要一个滑动窗存储器用于缓存读取的参考帧数据，其所需带宽与所用的参考帧数量和滑动窗的高度成正比。

为了减少带宽和提高编码速度，常用的实时视频编码器设计大都不采用多参考帧和B帧，而仅仅采用I帧和P帧进行编码。仍参考图1，用于参考的I帧比起用于参考的P帧不需要运动估计，其所需片外访问带宽较少。但是I帧压缩率通常较低，实验证明，频繁的插入I帧不仅会使编码码率增大，而且会引入视频闪烁的感觉。所以，大部分实时视频编码的帧结构都是采用少量I帧中插入大量连续P帧的结构，如：IPPP……PIPPP……P。

即使这样的编码结构，在高分辨率和高帧率下，其带宽仍然是可观的。以分辨率为4k×2k（单位为像素）、帧率为60帧/秒（f/s）、8比特（Bit）像素值的4:2:0视频为例，HEVC编码器（编码单元设为32×32）如果需要支持垂直方向偏移64的运动向量，其有效片外存储器访问带宽超过了4GB/s。

为了减小实时编码器的带宽需求，现有的编码器优化设计方案，主要有增加片上缓存和对重建帧进行压缩传输等。在部分优化设计中，通过将滑动窗扩展成相同高度的行缓存（linebuffer），来减少运动估计的数据的重复读取，但是其代价极大；在前述4k×2k视频编码的例子中，采用片上linebuffer可使编码有效带宽降低到2.1GB/s，但仅亮度分量所需的片上linebuffer容量就要614kB。另一些优化设计中提出了帧缓存压缩的方法，但局限在于：采用无损压缩时压缩率受视频内容影响不稳定，其节省带宽的效果也是不确定的；采用有损压缩时，视频损失会通过帧间预测积累，造成编码图像质量的明显下降。

发明内容

本发明技术方案解决的是现有的视频编码方案对带宽和功耗需求高的问题。

为解决上述问题，本发明实施例提供一种视频编码方法，包括：

基于视频编码的帧结构确定至少一图像组，所述视频编码的帧结构包括若干参考帧及相邻参考帧之间的若干非参考帧，距离一参考帧最近的非参考帧和参考该一参考帧的参考帧组成一图像组，所述距离一参考帧最近是指与该一参考帧的距离小于或等于与其他参考帧的距离；

依次对图像组进行编码。

可选的，对于每一图像组，先对各帧的第x个编码单元进行编码，再对各帧的第(x+1)个编码单元进行编码；其中，1≤x<X，X为每一帧所包含的编码单元的总数。

可选的，所述视频编码方法还包括：每一编码单元编码后，输出编码单元编码后的码流数据至片外码流缓存。

可选的，所述视频编码方法还包括：在对一图像组进行编码前，从片外存储器读取参考帧的数据；在对各帧的第x个编码单元进行编码后，将运动估计滑动窗的数据更新为对应于第(x+1)个编码单元的运动估计滑动窗的数据。

可选的，所述非参考帧为nP帧。

一种用于实现上述视频编码方法的视频编码器，包括：

传输模块，适于传输图像组的数据；

编码控制模块，适于储存编码所需的图像组控制参数、帧控制参数和编码单元控制参数；所述编码控制模块包括图像组控制寄存器、M+1组帧控制寄存器和M+1组编码单元行缓存，所述图像组的每一帧分别对应一组帧控制寄存器和一组编码单元行缓存；所述图像组中非参考帧的数量小于或等于M，M≥1；

编码模块，适于基于所述编码控制模块储存的控制参数，对图像组的数据进行编码。

可选的，所述传输模块适于按如下顺序传输编码单元的数据：先依次传输各帧的第x个编码单元的数据，再依次传输各帧的第(x+1)个编码单元的数据，其中，1≤x<X，X为每一帧所包含的编码单元的总数；在所述编码模块对一个编码单元进行编码后，再传输下一个编码单元的数据。

可选的，所述视频编码器还包括：帧内预测模块，所述帧内预测模块包括M+1组像素值行缓存，所述图像组的每一帧分别对应一组像素值行缓存。

可选的，所述视频编码器还包括：

运动估计和补偿模块，适于输入编码单元的数据和运动估计移动窗的数据，基于图像组控制参数和帧控制参数进行运动估计和补偿处理；

选择模块，适于选择所述帧内预测模块的输出或所述运动估计和补偿模块的输出作为预测编码单元的数据；

残差处理模块，适于输入编码单元的数据和所述预测编码单元的数据，输出残差数据；

变换与量化模块，适于基于编码单元控制参数对所述残差数据进行变换与量化处理；

所述编码模块适于基于编码单元控制参数对变换与量化处理后的残差数据进行编码。

可选的，所述视频编码器还包括：

反量化与反变换模块，适于对变换与量化处理后的残差数据进行反量化与反变换处理；

重建处理模块，适于输入反量化与反变换处理后的残差数据和所述预测编码单元的数据，输出重建编码单元的数据；

滤波模块，适于对所述重建编码单元的数据进行滤波处理。

与现有技术相比，本发明技术方案至少具有以下有益效果：

利用非参考帧不需要重建的特点，根据带宽受限的情况，在视频编码的相邻参考帧之间插入若干非参考帧，以减少重建帧的输出。相比使用大量行缓存来缓存运动估计参考帧数据的方法，本发明技术方案仅需要增加少量片上存储器，就可以同等降低视频编码所需的带宽；并且可以根据需要，通过增加非参考帧的数量以取得更显著的降低带宽和功耗的效果。

相比传统的帧缓存有损再压缩方法，本发明技术方案的编码视频质量损失极少。相比传统的帧缓存无损再压缩方法，本发明技术方案可以稳定的减少带宽需求，且与视频内容无关。进一步，本发明技术方案可以与帧缓存无损压缩合并使用，使节省带宽的效果叠加。

本发明技术方案可以根据可用带宽情况，自适应的调整编码帧结构，因此可以在带宽动态变化的情况下，保持稳定的编码帧率。

附图说明

图1是视频编码中参考帧的片外存储访问的示意图；

图2是视频编码中非参考帧的片外存储访问的示意图；

图3是本发明实施例的视频编码方法的流程示意图；

图4是本发明实施例的视频编码的帧结构示意图；

图5是本发明实施例的图像组中编码单元的编码处理顺序示意图；

图6是本发明实施例的视频编码器的结构示意图。

具体实施方式

考虑到编码帧是否用于后续预测参考，会影响其对带宽的需求，如图2所示，非参考帧（即不用于参考的帧）的重建帧不需要写到片外存储器中，其中，不用于参考的I帧、P帧和B帧，在本文中分别称为nI帧、nP帧和nB帧。因此，本发明技术方案利用非参考帧不需要重建的特点，根据带宽受限的情况，在视频编码的相邻参考帧之间插入若干非参考帧，以减少重建帧的输出。进一步，通过对运动估计滑动窗的数据的复用，仅需极少硬件代价就可显著降低视频编码器对带宽和功耗的需求。

本发明实施例的视频编码方法具体可以称为基于非参考帧的运动估计数据复用编码方法（NRMEDR，Non Reference Motion Estimated Data Reuse），下面以插入的非参考帧为nP帧为例，结合附图和实施例对本发明技术方案进行详细说明。

请参考图3，本发明实施例的视频编码方法包括：

步骤S11，基于视频编码的帧结构确定至少一图像组。所述视频编码的帧结构包括若干参考帧及相邻参考帧之间的若干非参考帧，距离一参考帧最近的非参考帧和参考该一参考帧的参考帧组成一图像组，所述距离一参考帧最近是指与该一参考帧的距离小于或等于与其他参考帧的距离。

举例来说，请结合图4，在相邻的两个参考帧插入若干非参考帧，如：按帧输入顺序，I帧和第1个P帧之间插入4个nP帧，第1个P帧和第2个P帧之间插入2个nP帧。

距离一参考帧最近的非参考帧和参考该一参考帧的参考帧组成一图像组，所述图像组具体也可以称为运动估计数据复用图像组（MEDR_GOP），同一图像组中的各帧具有相同的图像组索引号，如：第1个nP帧与I帧的距离为1、与第1个P帧的距离为4，第2个nP帧与I帧的距离为2、与第1个P帧的距离为3，因此，第1、2个nP帧和参考I帧的第1个P帧为同一图像组，图像组索引号为1；类似地，第3、4、5个nP帧和参考第2个P帧的第3个P帧为同一图像组，图像组索引号为2。

步骤S12，依次对图像组进行编码。具体可以是，按照图像组索引号的顺序，依次编码每个图像组，如，请参考图4，图像组索引号为1的图像组（简称为图像组1）编码后，再编码图像组索引号为2的图像组（简称为图像组2），以此类推。可见，帧的编码顺序与帧输入顺序是不同的。

编码每个图像组，只需要从片外存储器读取一次运动估计（ME）滑动窗数据和写出一帧重建的参考帧（重建帧）数据，如图4所示，以Y表示需要读取或写出，每个图像组只需要一次参考帧读取和一次重建帧写出。因此，实际编码中可以根据可用带宽的情况，自适应调整插入的nP帧数，来保证编码帧率的稳定。在之前4k×2k视频编码的例子中，在每个图像组中插入一个nP帧即可使带宽下降到2.25GB/s，插入2个nP帧即可使带宽下降到1.66GB/s。

对于每个图像组的编码过程，可以采用编完一帧再编下一帧的方式，而在本发明实施例中，为了复用运动估计滑动窗数据，编码不再采用常规的编完一帧再编下一帧的方式，而是图像组各帧中相同位置的编码单元（以第x个编码单元表示，1≤x<X，X为每一帧所包含的编码单元的总数）的数据依次编码，当编完各帧中第x个编码单元后，先将运动估计滑动窗的数据更新为下一个编码单元（以第(x+1)个编码单元表示）的位置对应的运动估计滑动窗的数据，然后对各帧的第(x+1)个编码单元依次编码。在对一图像组进行编码前，具体地，可以是在对图像组中第1帧的第1个编码单元进行编码前，需要先从片外存储器读取参考帧的数据，根据参考帧的数据获得第1个编码单元对应的运动估计滑动窗的数据；之后，在各帧的第x个编码单元全部编码完后，根据参考帧的数据更新运动估计滑动窗的数据。

请参考图5，以一个包含m帧的图像组为例，图中每一帧中的小方格表示一个编码单元，每个编码单元中的数字表示编码处理顺序，具体地，先依次编码第1帧至第m帧的第1个编码单元，然后再依次编码第1帧至第m帧的第2个编码单元，以此类推。各帧的同一个编码单元可以复用运动估计滑动窗的数据。编码单元的尺寸可以根据具体的视频编码标准设定，如HEVC标准规定的编码单元（CU，Coding Unit）的大小可以为32×32，H264标准规定的编码单元（MB，Macro Block，通常称为宏块）的大小可以为16×16。

进一步，在每个编码单元编码后，输出编码单元编码后的码流数据至片外码流缓存（buffer）。具体可以是，各帧的编码单元编码后生成的压缩码流交替输出到各帧对应的片外码流缓存中，仍以图5为例，先依次输出：图像组中第1帧的第1个编码单元编码后生成的压缩码流至该第1帧对应的片外码流缓存中，图像组中第2帧的第1个编码单元编码后生成的压缩码流至该第2帧对应的片外码流缓存中，……，图像组中第m帧的第1个编码单元编码后生成的压缩码流至该第m帧对应的片外码流缓存中；再依次输出：图像组中第1帧的第2个编码单元编码后生成的压缩码流至该第1帧对应的片外码流缓存中，图像组中第2帧的第2个编码单元编码后生成的压缩码流至该第2帧对应的片外码流缓存中，……，图像组中第m帧的第2个编码单元编码后生成的压缩码流至该第m帧对应的片外码流缓存中；依此类推。

在其他实施例中，也可以是先暂存一帧的编码单元编码后生成的压缩码流，待该帧所有编码单元编码后，将该帧的所有编码单元编码后生成的压缩码流一次性输出至该帧对应的片外码流缓存中。

为了实现对上述实施例的视频编码方法的支持，本发明实施例的视频编码器的结构如图6所示，在硬件上需要增加图像组中各非参考帧对应的控制寄存器和缓存。以硬件支持一个图像组最多包含M帧（M≥1）的nP帧为例，就是编码控制模块2需要增加M组帧控制寄存器221～22M和M组编码单元行缓存231～23M，帧内预测模块4需要增加M组像素值行缓存411～41M，但如果限制nP帧仅使用帧间编码，则帧内预测模块4不需要增加像素值行缓存。由于只有输出的重建帧需要进行滤波处理，所以滤波模块9中的行缓存不需要增加。此外编码模块3需要支持将各帧的编码单元编码后的码流交错输出到对应的片外码流缓存的功能。

在之前4k×2k视频编码的例子中，每增加一个nP帧，仅需要增加大约16kB编码单元行缓存和像素值行缓存，以及少量的帧控制寄存器，而带宽可以下降到2.25GB/s。因此，本发明实施例仅需极少的硬件代价就可以显著降低视频编码器对带宽和功耗的需求。

具体地，图6所示的视频编码器包括：传输模块1、编码控制模块2、编码模块3、帧内预测模块4、运动估计和补偿模块5、选择模块6、残差处理模块71、变换与量化模块81、反量化与反变换模块82、重建处理模块72、和滤波模块9。

传输模块1适于传输图像组的数据。在本发明实施例中，传输模块1适于按照图像组中各帧的编码单元的编码处理顺序将编码单元的数据依次传输至残差处理模块71进行处理，具体地，先依次传输各帧的第x个编码单元的数据，再依次传输各帧的第(x+1)个编码单元的数据；在编码模块3对一个编码单元进行编码后，传输模块1再传输下一个编码单元的数据。

编码控制模块2适于储存编码所需的图像组控制参数、帧控制参数和编码单元控制参数。控制参数具体可以根据视频编码标准而设定，在此不作限定。编码控制模块2包括用于储存编码所需的图像组控制参数的图像组控制寄存器21、M+1组用于储存帧控制参数的帧控制寄存器和M+1组用于储存编码单元控制参数的编码单元行缓存。所述图像组的每一帧分别对应一组帧控制寄存器和一组编码单元行缓存，以图4所示的图像组1为例，可以是，编码顺序为1的nP帧（图像组1的第1帧）对应帧控制寄存器221和编码单元行缓存231，编码顺序为2的nP帧（图像组1的第2帧）对应帧控制寄存器222和编码单元行缓存232，编码顺序为3的P帧（图像组3的第3帧）对应帧控制寄存器220和编码单元行缓存230；以图4所示的图像组2为例，编码顺序为4的nP帧（图像组2的第1帧）对应帧控制寄存器221和编码单元行缓存231，编码顺序为5的nP帧（图像组2的第2帧）对应帧控制寄存器222和编码单元行缓存232，编码顺序为6的nP帧（图像组2的第3帧）对应帧控制寄存器223和编码单元行缓存233，编码顺序为7的P帧（图像组2的第4帧）对应帧控制寄存器220和编码单元行缓存230。

帧内预测模块4适于基于图像组控制参数进行帧内预测，帧内预测模块4包括M+1组像素值行缓存。所述图像组的每一帧分别对应一组像素值行缓存。以图4所示的图像组1为例，可以是，编码顺序为1的nP帧对应像素值行缓存411，编码顺序为2的nP帧对应像素值行缓存412，编码顺序为3的P帧像素值行缓存410；以图4所示的图像组2为例，编码顺序为4的nP帧对应像素值行缓存411，编码顺序为5的nP帧对应像素值行缓存412，编码顺序为6的nP帧对应像素值行缓存413，编码顺序为7的P帧对应像素值行缓存410。

运动估计和补偿模块5适于输入编码单元的数据和运动估计移动窗的数据，基于图像组控制参数和帧控制参数进行运动估计和补偿处理；在对各帧的第x个编码单元进行编码后，所述运动估计滑动窗的数据更新为对应于第(x+1)个编码单元的数据。所述运动估计滑动窗的数据从滑动窗存储器51中读取，在一个图像组编码开始时，先通过参考帧读取模块52从片外存储器中读取当前图像组编码所需的参考帧的数据，滑动窗存储器51中的数据根据读取的参考帧的数据更新。

选择模块6适于选择帧内预测模块4的输出或运动估计和补偿模块5的输出作为预测编码单元的数据。具体地，如果采用帧间编码，则选择运动估计和补偿模块5的输出作为预测编码单元的数据；如果采用帧内编码，则选择帧内预测模块4的输出作为预测编码单元的数据。

残差处理模块71与传输模块1和选择模块6相连接，适于输入编码单元的数据和所述预测编码单元的数据，进行残差处理后输出残差数据。

变换与量化模块81与残差处理模块71相连接，适于基于编码单元控制参数对所述残差数据进行变换与量化处理。具体变换可以根据视频编码标准而定，在此不作限定。

编码模块3适于基于编码控制模块2储存的控制参数对图像组的数据进行编码。具体地，编码模块3与变换与量化模块81相连接，适于基于编码单元控制参数对变换与量化处理后的残差数据进行编码，以生成压缩的编码码流。通常，编码方式可以采用熵编码，编码模块3可以将各帧的编码单元编码后的码流交错输出到对应的片外码流缓存中。

反量化与反变换模块82与变换与量化模块81相连接，适于对变换与量化处理后的残差数据进行反量化与反变换处理，输出反量化与反变换处理后的残差数据。

重建处理模块72与反量化与反变换模块82和选择模块6相连接，适于输入所述反量化与反变换处理后的残差数据和所述预测编码单元的数据，进行重建处理后输出重建编码单元的数据。

滤波模块9与重建处理模块72相连接，适于对所述重建编码单元的数据进行滤波处理，输出滤波处理后的重建编码单元的数据至重建帧写出模块91。滤波模块9可以包括环路滤波器（未图示）和行缓存90。重建帧写出模块91可以在参考帧的每个重建编码单元的数据滤波后将滤波后的重建编码单元的数据输出至片外存储器，也可以在参考帧的所有重建编码单元的数据滤波后一次性地将滤波后的重建帧的数据输出至片外存储器。

反量化与反变换模块82、重建处理模块72和滤波模块9仅在处理图像组中参考帧的编码单元时进行数据处理。

上述各模块的数据处理技术，如帧读取、帧内预测、运动估计和补偿、残差处理、变换与量化、编码、反量化与反变换、滤波以及帧写出，均可以采用现有技术，在此不再展开说明。

综上所述，本发明技术方案提供了一种可节省带宽和功耗的视频编码方法和视频编码器，根据可用带宽和功耗情况，在视频编码的相邻参考帧之间插入若干非参考帧。对非参考帧不进行滤波处理和重建帧输出，以减少编码带宽和功耗。

基于上述的视频编码的帧结构，本发明实施例中，将距离某一参考帧最近的各个非参考帧和参考此参考帧的参考帧组成一个图像组。图像组中的各帧在编码时重复利用运动估计滑动窗存储器中的参考帧数据，以减少编码参考帧数据的读取。

基于运动估计滑动窗的数据复用，本发明实施例的图像组各帧的编码交错进行，各帧中位置相同的编码单元优先依次编码，各帧编码码流交错输出。基于本发明实施例的编码单元的处理顺序，当前编码单元所在图像组中的相邻帧相关位置（co-located）的运动向量可以即时获得，不需要额外的片外存储和带宽访问。并且，使用已编码的相邻非参考帧的运动向量来预测当前编码单元的运动向量，可以提高编码性能。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (10)

1.一种视频编码方法，其特征在于，包括：

基于视频编码的帧结构确定至少一图像组，所述视频编码的帧结构包括若干参考帧及相邻参考帧之间的若干非参考帧，距离一参考帧最近的非参考帧和参考该一参考帧的参考帧组成一图像组，所述距离一参考帧最近是指与该一参考帧的距离小于或等于与其他参考帧的距离；

依次对图像组进行编码。

2.如权利要求1所述的视频编码方法，其特征在于，对于每一图像组，先对各帧的第x个编码单元进行编码，再对各帧的第(x+1)个编码单元进行编码；其中，1≤x<X，X为每一帧所包含的编码单元的总数。

3.如权利要求2所述的视频编码方法，其特征在于，还包括：每一编码单元编码后，输出编码单元编码后的码流数据至片外码流缓存。

4.如权利要求2所述的视频编码方法，其特征在于，还包括：

在对一图像组进行编码前，从片外存储器读取参考帧的数据；

在对各帧的第x个编码单元进行编码后，将运动估计滑动窗的数据更新为对应于第(x+1)个编码单元的运动估计滑动窗的数据。

5.如权利要求1所述的视频编码方法，其特征在于，所述非参考帧为nP帧。

6.一种用于实现权利要求1至5任一项所述的视频编码方法的视频编码器，其特征在于，包括：

传输模块，适于传输图像组的数据；

编码控制模块，适于储存编码所需的图像组控制参数、帧控制参数和编码单元控制参数；所述编码控制模块包括图像组控制寄存器、M+1组帧控制寄存器和M+1组编码单元行缓存，所述图像组的每一帧分别对应一组帧控制寄存器和一组编码单元行缓存；所述图像组中非参考帧的数量小于或等于M，M≥1；

编码模块，适于基于所述编码控制模块储存的控制参数，对图像组的数据进行编码。

7.如权利要求6所述的视频编码器，其特征在于，所述传输模块适于按如下顺序传输编码单元的数据：

先依次传输各帧的第x个编码单元的数据，再依次传输各帧的第(x+1)个编码单元的数据，其中，1≤x<X，X为每一帧所包含的编码单元的总数；

在所述编码模块对一个编码单元进行编码后，再传输下一个编码单元的数据。

8.如权利要求7所述的视频编码器，其特征在于，还包括：帧内预测模块，所述帧内预测模块包括M+1组像素值行缓存，所述图像组的每一帧分别对应一组像素值行缓存。

9.如权利要求8所述的视频编码器，其特征在于，还包括：

运动估计和补偿模块，适于输入编码单元的数据和运动估计移动窗的数据，基于图像组控制参数和帧控制参数进行运动估计和补偿处理；

选择模块，适于选择所述帧内预测模块的输出或所述运动估计和补偿模块的输出作为预测编码单元的数据；

残差处理模块，适于输入编码单元的数据和所述预测编码单元的数据，输出残差数据；

变换与量化模块，适于基于编码单元控制参数对所述残差数据进行变换与量化处理；

所述编码模块适于基于编码单元控制参数对变换与量化处理后的残差数据进行编码。

10.如权利要求9所述的视频编码器，其特征在于，还包括：

反量化与反变换模块，适于对变换与量化处理后的残差数据进行反量化与反变换处理；

重建处理模块，适于输入反量化与反变换处理后的残差数据和所述预测编码单元的数据，输出重建编码单元的数据；

滤波模块，适于对所述重建编码单元的数据进行滤波处理。