CN103313058A - 针对芯片实现的hevc视频编码多模块优化方法和系统 - Google Patents

Abstract

本发明公开了一种针对芯片实现的HEVC视频编码多模块联合优化方法及系统，包括整像素运动估计、分像素运动估计、模式选择、码率控制和视频去噪，所述码率控制中的视频预分析、视频去噪中的运动预测和整像素运动估计协同优化；码率控制中的视频预分析、分像素运动估计和模式选择结合进行优化。基于硬件实现适合度评价和多模块协同优化，确定HEVC编码流水算法基本框架；最大限度利用运动矢量，降低多个模块独自进行运动搜索复杂调度；将码率控制的视频预分析、分像素运动估计(FME)和模式选择有机结合，提出分层收敛模式选择算法框架，大大降低HEVC编码模式众多导致计算瓶颈问题。

Description

针对芯片实现的 HEVC 视频编码多模块优化方法和系统

技术领域

本发明涉及一种视频编码优化方法和系统，具体是一种针对芯片实现的HEVC视频编码多模块联合优化方法和系统。

背景技术

近年来受高清、多视等应用需求驱动，产业界迫切需要具备更高压缩性能的视频编码标准，JCT-VC 工作组于2013年推出了新一代视频标准HEVC。可以预见在将来5-10 年，HEVC 标准及应用的研究会成为一个热点。设计符合HEVC 标准的专业级高清编码器，对于促进HEVC 标准应用极为重要。HEVC 标准以实现复杂度的急剧增加，获得压缩性能的成倍提升，设计高性能高清HEVC 编码器是一项极具挑战的任务。在视频监控和消费类电子产品等应用中，ASIC芯片是性价比最高的视频编码实现方案,并行流水处理是缓解HEVC编码数据吞吐压力的有效方法。

特定标准视频编码器中有多个可定制模块，其算法允许用户根据需求进行定制和优化，算法优化对于挖掘特定标准压缩性能非常重要。HEVC编码器中运动估计、模式选择、码率控制等可定制模块之间存在复杂关联，算法定制和优化需协同考虑模块间关联作用机理；在进行流水化算法优化时，需权衡率失真性能、硬件(计算、存储)资源消耗、吞吐、外存带宽等目标性能的均衡表现。视频编码算法设计和优化是一个多个可定制模块算法联合优化问题。

HEVC编码算法优化是个复杂非线性系统优化问题。在算法优化时，需考虑视频内容(残差图像)、模块算法参数以及率-失真-复杂度性能之间互相作用机理，从而实现可定制模块算法优化时率-失真-复杂度性能均衡。学术界和工业界研究可定制模块之间的算法联合优化。

现有技术中的模块优化方法有以下几种：

一．基于率失真模型的单模块优化：

建立准确率(R)-失真(D)模型，包括R-Qp和D-Qp模型，模型参数通常是残差图像方差var或sad的函数。基于R-D模型进行模块算法优化，是视频算法优化的切入点，如码率控制、运动估计、模式选择以及去噪预处理。监控和消费类应用一般采用中低端摄像头，采集的视频信号中存在噪声，数字相机和DV中都内置空时域降噪模块，去噪以显著提高视频编码效率。

该方法的缺点为：视频编码器是个包含反馈控制的复杂非线性系统。帧内预测和帧间预测导致帧内宏块/CTU间及帧间存在复杂依赖，导致信源(残差图像)的分布特性受到编码器算法影响。这个问题导致R-D模型准确构建非常困难。

二．基于模块算法特点和经验模型的多模块优化

根据两个或多个可定制模块算法特点，进行多模块优化。包括：码率控制和模式选择算法联合优化、运动估计和模式选择的联合优化、视频内容预分析常和码率控制联合优化，以实现内容自适应量化控制。

该方法的缺点为：考虑了部分模块之间的算法优化问题，但是并没有从系统角度，实现全局优化；另外，视频编码算法性能优化需要进行率-失真-复杂度优化，无法实现多模块多目标性能优化。

三．基于动态规划优化的算法联合优化

基于动态规划优化方法，基于trellis搜索策略搜索合适的编码参数组合，这一方法不仅仅应用在码率控制，还扩展到帧间、帧内、甚至块内系数间的关联优化。多层次trellis算法优化框架，用于确定运动矢量、量化参数及块内量化系数，实现编码多模块算法协同优化。

该方法的缺点为：视频编码器是个包含反馈控制的复杂非线性系统。帧内预测和帧间预测导致帧内宏块/CTU间及帧间存在复杂依赖，导致信源(残差图像)的分布特性受到编码器算法影响。无法实现多模块多目标性能优化。另一方面，实现的复杂度太高，一些工作不适合实时编码器实现。

四．基于率-失真-复杂度模型的算法优化方法

通过率-失真-功耗模型建模，根据编码器应用目标进行复杂度分配，实现复杂度可分级编码控制，以及编码算法率-失真-功耗性能优化。

该方法的缺点为：率-失真-复杂度模型建模非常困难，模型参数较多，对于视频序列特点有比较强的依赖，同时视频编码器是个包含反馈控制的复杂非线性系统，也导致该类方法实际性能受到影响。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提供了一种针对芯片实现的HEVC视频编码多模块联合优化方法，包括整像素运动估计、分像素运动估计、模式选择、码率控制和视频去噪，所述码率控制中的视频预分析、视频去噪中的运动预测和整像素运动估计协同优化；码率控制中的视频预分析、分像素运动估计和模式选择结合进行优化。

进一步的，所述整像素运动估计采用金字塔分层搜索，先在降采样图像层进行大范围粗搜,并预测中心运动矢量（MV），然后基于该预测中心在局部小窗内进行可变块大小（VBS）细搜。

进一步的，所述分像素运动估计采用SATD+λR_MV判据、搜索点可配置算法。

进一步的，所述模式选择采用率失真关闭判据、模式数可调的分层收敛模式选择算法。

进一步的，码率控制中的视频预分析、分像素运动估计和模式选择结合优化采用分层收敛的帧内模式选择算法，根据帧内预分析结果，选定模式预选I和II各自支持的预选模式，采用部分原始像素参考的帧内预测，先后进行小粒度 (16x16及以下) 及大粒度(16x16以上)模式预选；然后基于重构像素参考帧内预测，对少数帧内模式进行模式选择；最后进行帧内/帧间模式选择。

本发明还提供了一种针对芯片实现的HEVC视频编码多模块联合优化系统，包括整像素运动估计模块、分像素运动估计模块、模式选择模块、码率控制模块和视频去噪模块，其特征在于：所述码率控制模块中的视频预分析、视频去噪中模块的运动预测和整像素运动估计模块协同优化；码率控制模块中的视频预分析、分像素运动估计模块和模式选择模块结合进行优化。

进一步的，所述整像素运动估计模块采用金字塔分层搜索，先在降采样图像层进行大范围粗搜,并预测中心运动矢量（MV），然后基于该预测中心在局部小窗内进行可变块大小（VBS）细搜。

进一步的，所述分像素运动估计模块采用SATD+λR_MV判据、搜索点可配置算法。

进一步的，所述模式选择模块采用率失真关闭判据、模式数可调的分层收敛模式选择算法。

进一步的，码率控制模块中的视频预分析、分像素运动估计模块和模式选择模块结合优化采用分层收敛的帧内模式选择算法，根据帧内预分析结果，选定模式预选I和II各自支持的预选模式，采用部分原始像素参考的帧内预测，先后进行小粒度 (16x16及以下) 及大粒度(16x16以上)模式预选；然后基于重构像素参考帧内预测，对少数帧内模式进行模式选择；最后进行帧内/帧间模式选择。

本发明的有益效果如下：

(1) 提出基于优秀算法集成的多模块算法优化方法；定量度量候选算法硬件实现友好度，为可定制模块选择流水实现算法；基于硬件实现适合度评价和多模块协同优化，确定HEVC编码流水算法基本框架。

(2) 将码率控制中的视频预分析、视频去噪中的运动预测、以及HEVC编码整像素运动估计模块有机结合，实现三个模块的协同优化，最大限度利用运动矢量，降低多个模块独自进行运动搜索复杂调度。

(3) 将码率控制的视频预分析、分像素运动估计(FME)和模式选择有机结合，提出分层收敛模式选择算法框架，大大降低HEVC编码模式众多导致计算瓶颈问题，在率-失真-复杂度性能之间折中平衡。

附图说明

图1是并行流水实现HEVC编码基本算法框架图；

图2是码率控制、去噪滤波和码率控制协同算法框架图；

图3是分层收敛模式选择算法框架图。

具体实施方式

下面结合附图对本发明作进一步说明。

针对芯片实现的HEVC视频编码多模块联合优化方法和系统，采用如下模块和步骤：

（1）可定制模块算法框架

如图1所示，提出基于优秀算法集成的多模块算法优化方法；定量度量候选算法硬件实现友好度，为可定制模块选择流水实现算法；基于硬件实现适合度评价和多模块协同优化，确定HEVC编码流水算法基本框架；基于上述方法，分别确定整像素运动估计(IME)、分像素运动估计(FME)、模式选择(MD)和码率控制(RC)模块的初始算法，确定可定制模块的流水实现基本算法框架。

IME采用金字塔分层搜索，先在降采样图像层进行大范围粗搜,并预测中心运动矢量(MV)，然后基于该预测中心在局部小窗内进行可变块大小(VBS)细搜。HEVC标准四叉树可变块分割众多，拟采用自底(小CU)至顶(CTU)遍历的算法实现策略，采用基于并发小块SAD复用技术，利用不同大小块之间SAD计算冗余。

FME采用SATD+λR_MV判据、搜索点可配置算法。简化R_MV中运动矢量预测(MVP)算法，邻近块MV采用可获得的最高像素精度，避免MVP块间数据依赖对流水阻塞。算法实现方面，VBS分割采用自底至顶串行遍历、½-¼ 像素二步迭代搜索策略。

MD采用率失真关闭判据、模式数可调的分层收敛模式选择算法；采用部分原始和重构像素作为帧内预测参考；算法实现方面，VBS分割采用自底至顶串行遍历策略，以及帧内/帧间模式智能流水调度，克服帧内数据依赖对流水阻塞。

x264码率控制算法性能较好，本方法采用集复杂度(Cplx)模糊化帧级量化控制、CUTree时域和VAQ空域自适应CU级量化控制的码率控制算法框架。

(2) 码率控制、视频去噪协同优化的运动估计

将码率控制中的视频预分析、视频去噪中的运动预测、以及HEVC编码整像素运动估计（IME）模块有机结合，实现三个模块的协同优化，最大限度利用运动矢量，降低多个模块独自进行运动搜索复杂调度；

IME协同优化的编码算法框架如图2所示。

(3) 多模块联合优化的模式选择

将码率控制的视频预分析、分像素运动估计(FME)和模式选择有机结合，提出分层收敛模式选择算法框架，大大降低HEVC编码模式众多导致计算瓶颈问题，在率-失真-复杂度性能之间折中平衡；

如图3所示，采用分层收敛的帧内模式选择算法，根据帧内预分析结果，选定模式预选I和II各自支持的预选模式，采用部分原始像素参考的帧内预测，先后进行小粒度 (16x16及以下) 及大粒度(16x16以上)模式预选；然后基于重构像素参考帧内预测，对少数帧内模式进行模式选择；最后进行帧内/帧间模式选择。可配置在模式预选或模式选择阶段完成帧内模式选择，以克服数据依赖和吞吐压力。

Claims (10)

1.针对芯片实现的HEVC视频编码多模块联合优化方法，包括整像素运动估计、分像素运动估计、模式选择、码率控制和视频去噪，其特征在于：所述码率控制中的视频预分析、视频去噪中的运动预测和整像素运动估计协同优化；码率控制中的视频预分析、分像素运动估计和模式选择结合进行优化。

2.如权利要求1所述的针对芯片实现的HEVC视频编码多模块联合优化方法，其特征在于：所述整像素运动估计采用金字塔分层搜索，先在降采样图像层进行大范围粗搜,并预测中心运动矢量（MV），然后基于该预测中心在局部小窗内进行可变块大小（VBS）细搜。

3.如权利要求1所述的针对芯片实现的HEVC视频编码多模块联合优化方法，其特征在于：所述分像素运动估计采用SATD+λR_MV判据、搜索点可配置算法。

4.如权利要求1所述的针对芯片实现的HEVC视频编码多模块联合优化方法，其特征在于：所述模式选择采用率失真关闭判据、模式数可调的分层收敛模式选择算法。

5.如权利要求1所述的针对芯片实现的HEVC视频编码多模块联合优化方法，其特征在于：码率控制中的视频预分析、分像素运动估计和模式选择结合优化采用分层收敛的帧内模式选择算法，根据帧内预分析结果，选定模式预选I和II各自支持的预选模式，采用部分原始像素参考的帧内预测，先后进行小粒度 (16x16及以下) 及大粒度(16x16以上)模式预选；然后基于重构像素参考帧内预测，对少数帧内模式进行模式选择；最后进行帧内/帧间模式选择。

6.针对芯片实现的HEVC视频编码多模块联合优化系统，包括整像素运动估计模块、分像素运动估计模块、模式选择模块、码率控制模块和视频去噪模块，其特征在于：所述码率控制模块中的视频预分析、视频去噪中模块的运动预测和整像素运动估计模块协同优化；码率控制模块中的视频预分析、分像素运动估计模块和模式选择模块结合进行优化。

7.如权利要求6所述的针对芯片实现的HEVC视频编码多模块联合优化系统，其特征在于：所述整像素运动估计模块采用金字塔分层搜索，先在降采样图像层进行大范围粗搜,并预测中心运动矢量（MV），然后基于该预测中心在局部小窗内进行可变块大小（VBS）细搜。

8.如权利要求6所述的针对芯片实现的HEVC视频编码多模块联合优化系统，其特征在于：所述分像素运动估计模块采用SATD+λR_MV判据、搜索点可配置算法。

9.如权利要求6所述的针对芯片实现的HEVC视频编码多模块联合优化系统，其特征在于：所述模式选择模块采用率失真关闭判据、模式数可调的分层收敛模式选择算法。

10.如权利要求6所述的针对芯片实现的HEVC视频编码多模块联合优化系统，其特征在于：码率控制模块中的视频预分析、分像素运动估计模块和模式选择模块结合优化采用分层收敛的帧内模式选择算法，根据帧内预分析结果，选定模式预选I和II各自支持的预选模式，采用部分原始像素参考的帧内预测，先后进行小粒度 (16x16及以下) 及大粒度(16x16以上)模式预选；然后基于重构像素参考帧内预测，对少数帧内模式进行模式选择；最后进行帧内/帧间模式选择。

Images