CN106034235A - 计算编码失真度和编码模式控制的方法及其系统 - Google Patents

Abstract

本发明涉及视频编码处理领域，公开了一种计算编码失真度和编码模式控制的方法及系统。本发明中，该方法包括以下步骤：获取编码宏块在当前编码模式下的预测像素值，并根据预测像素值与编码宏块像素值计算预测残差值；获取预测残差值经过当前编码模式下编码过程中的量化和反量化处理后的带有量化损失的预测残差值；将预测残差值和带有量化损失的预测残差值的差分平方和作为当前编码模式下的编码失真度。本发明中，以编码宏块的预测残差值和带有量化损失的预测残差值的差分平方和作为编码失真度，避免了预测模块，预测残差计算模块，重建模块在计算通路中的延时，解决了传统SSD编码模式控制策略计算失真度时存在严重数据通路延时的问题。

Description

计算编码失真度和编码模式控制的方法及其系统

技术领域

本发明涉及视频编码和处理领域，特别涉及计算编码失真度和编码模式控制的方法及其系统。

背景技术

在AVC视频编码标准中，仅仅定义了编码后比特流的句法结构和解码器的结构，而对编码器的结构和实现模式并没有具体的规定，即编码器根据图像内容，采用率失真优化(其中，率失真优化即是在限比特率为R的条件下，即R值不能超过信道传输率，选择最佳编码模式，使得失真度最小)的方法，在帧内和帧间众多可选的编码模式(或称预测模式)中选取最佳的模式，对每一种编码模式都要计算其失真度和比特率，从而根据失真度和比特率计算该编码模式的编码代价值，致使编码过程复杂，编码时间增加。

然而，无论编码器采用何种结构，相应视频编码的模式控制策略都是编码器实现的核心问题，由于视频序列中的图像内容随着空间与实践的不同变化很大，需要为图像的不同部分选择不同的编码参数进行压缩编码，而编码模式控制的目的就是通过编码模式控制策略来确定一组编码参数，例如宏块的分割类型，运动矢量以及量化参数等。JVT(Joint Video Team)的会议文档里提议采用基于Lagrangian优化算法的率失真编码模式控制模型来实现视频编码的模式控制策略，考虑K个信源样本值的集合S＝(S₁,...,S_K)，宏块S_k的拉格朗日代价函数如下：

J_MODE(S_k,I_k|Q,λ_MODE)＝D_REC(S_k,I_k|Q)+λ_MODE×R_REC(S_k,I_k|Q,λ_MODE)

其中，I_k为相应宏块的编码模式，Q为量化参数，λ_MODE为拉格朗参数。

D_REC为编码失真度，R_REC为编码后码流的码率。

失真度D_REC的计算有2种计算方式，即绝对差分和SAD以及差分平方和SSD：

$\mathrm{SAD}=\underset{(x,y)\∈A}{\mathrm{\Σ}}\left|s\right[x,y,t]-p[x,y,t\left]\right|$

$\mathrm{SSD}=\underset{(x,y)\∈A}{\mathrm{\Σ}}{\left|s\right[x,y,t]-r[x,y,t\left]\right|}^2$

其中，A为当前宏块，s[x,y,t]为当前编码宏块的像素值，p[x,y,t]为当前编码宏块相应的预测值，r[x,y,t]为当前编码宏块相应的重建值。

目前，所有AVC编码器实现方案中，均一致采用基于SAD(或者SATD)和速率估计的编码模式控制策略，即：

J_MODE＝SAD+λ'_MODE×R(RefIdx,Mode,Mvd)或

J_MODE＝SATD+λ'_MODE×R(RefIdx,Mode,Mvd)

其中，RefIdx为参考帧索引，Mode为编码模式，Mvd为运动矢量残差＝MV-MVP，MVP为预测的运动矢量。

其中，SAD(Sum of Absolute Difference)计算的差值是图像预测值与当前象素值的差值，为了更准确的比较每种模式的代价值，还需要对这些差值进行哈达玛变换，将差值(这些值最后要变换到频域进行编码)变换到频域求绝对差值的累加和，这样计算得到SATD(Sum of Absolute TransformedDifference)。

而基于SSD的失真度计算和精确码率估计的编码模式控制策略，即RDO(Rate Distortion Optimization)编码模式控制策略，代价函数如下：

J_MODE＝SSD+λ_MODE×R(RefIdx,Mode,Mvd,Residual)

其中，RefIdx为参考帧索引，Mode为编码模式，Mvd为运动矢量残差Residual为编码残差系数值

RDO编码模式控制策略，包含各种模式的实际编码过程，也就是变换，量化、熵编码、反变换反量化、重建等，其中，SSD(Sum of SquaredDifference)为当前编码宏块与预测模式为Mode的重建块的方差的累加和，相比SAD/SATD更加准确的反应了编码失真度，并且为R值的精确计算提供了相应的参数，模式选择的准确度显著提升，编码性能至少有0.4dB提升。

但是，使用基于RDO模式选择的方法与使用基于SAD的模式选择方法相比，基于SAD的模式选择计算复杂度平均为RDO模式选择的7％，在RDO模式选择中，SSD和R的精确计算将带来非常复杂的运算逻辑和非常严重的数据通路延时，这使得基于RDO编码模式控制策略的硬件实现似乎成为不可能完成的任务，这也是目前编码器摒弃编码性能显著提升的RDO策略，而普遍采用SAD/SATD的模式选择的主要原因。

发明内容

本发明的目的在于提供一种计算编码失真度和编码模式控制的方法及其系统，解决了传统SSD编码模式控制策略存在严重数据通路延时的问题。

为解决上述技术问题，本发明的实施方式公开了一种计算编码失真度的方法，该方法包括以下步骤：

获取编码宏块在当前编码模式下的预测像素值，并根据预测像素值与编码宏块的像素值计算预测残差值；

获取预测残差值经过当前编码模式下编码过程中的量化和反量化处理后的带有量化损失的预测残差值；

将编码宏块的预测残差值和带有量化损失的预测残差值的差分平方和作为当前编码模式下的编码失真度。

本发明的实施方式还公开了一种编码模式控制方法，包括以下步骤：

根据如上文所述计算编码失真度的方法得到的当前编码模式下的编码失真度，以及当前编码模式下的编码码率，计算当前编码模式下的编码代价值；

在所有可选编码模式集中将对应于最小编码代价值的编码模式作为编码宏块的最优编码模式，用于编码宏块的编码。

本发明的实施方式还公开了一种计算编码失真度的系统，该装置包括以下模块：

预测残差计算模块，用于获取编码宏块在当前编码模式下的预测像素值，并根据预测像素值与编码宏块的像素值计算预测残差值；

带有量化损失的预测残差获取模块，用于获取预测残差值经过当前编码模式下编码过程中的量化和反量化处理后的带有量化损失的预测残差值；

编码失真度计算模块，用于将编码宏块的预测残差值和带有量化损失的预测残差值的差分平方和作为当前编码模式下的编码失真度。

本发明的实施方式还公开了一种编码模式控制系统，包括以下模块：

编码代价值计算模块，用于根据如上文所述的计算编码失真度的系统得到的当前编码模式下的编码失真度，以及当前编码模式下的编码码率，计算当前编码模式下的编码代价值；

最优编码模式确定模块，用于在所有可选编码模式集中将对应于最小编码代价值的编码模式作为编码宏块的最优编码模式，用于编码宏块的编码。

本发明实施方式与现有技术相比，主要区别及其效果在于：

本发明计算编码失真度时，取代失真度计算原型中编码宏块的重建值与编码宏块像素值的差分平方和，而以编码宏块的预测残差值和带有量化损失的预测残差值的差分平方和作为对应编码模式下的编码失真度，从而避免了预测模块，预测残差计算模块，重建模块在计算通路中的延时，缩减了整体数据通路的延时，解决了传统SSD编码模式控制策略计算失真度时存在严重数据通路延时的问题。

并将改进的编码失真度的计算方法引入到编码模式控制中，编码模式选择的准确度显著提升。

进一步地，为什么特定编码模式需要单独进行HT，Q，IHT，IQ，有什么效果吗？

进一步地，通过多重复用，克服了SSD率失真编码模式控制的复杂的运算逻辑，使其硬件实现成为可能。

进一步地，通过先将DC系数置零，将原本并行的AC，DC系数计算通路，拆解成先后串行的数据计算过程，分两个阶段完成准确SSD失真度的计算，不需要消耗庞大的存储空间。

进一步地，将数据旋转90度后，只需要完成一次矩阵转置，进一步减少了延时。

进一步地，将I4和I16两种编码模式的预测过程进行交织，利用没有块关联性的I16预测计算，能够填补I4预测过程中的通路气泡，能够提高预测效率。

进一步地，当每种I4预测模式完成模式代价的判决后马上进行是否需要重建的仲裁，可以确保最优的重建结果伴随着预测过程而确定，避免了在确定I4最优模式后再进行预测重建的过程，有效缩减了数据通路延时和流水线气泡。

附图说明

图1是本发明第一实施方式中一种计算编码失真度的方法的流程示意图；

图2是现有技术中计算SSD失真度的流程示意图；

图3是本发明第一实施方式优选例中计算编码失真度时的数据处理通路示意图；

图4是本发明第五实施方式中一种编码模式控制方法的流程示意图；

图5是本发明第六实施方式中一种计算编码失真度的系统的结构示意图；

图6是本发明第十实施方式中一种编码模式控制系统的结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种计算编码失真度的方法，图1是该计算编码失真度的方法的流程示意图。

具体地说，如图1所示，该计算编码失真度的方法该方法包括以下步骤：

步骤101，获取编码宏块在当前编码模式下的预测像素值，并根据预测像素值与编码宏块的像素值计算预测残差值。

步骤102，获取预测残差值经过当前编码模式下编码过程中的量化和反量化处理后的带有量化损失的预测残差值。

步骤103，将编码宏块的预测残差值和带有量化损失的预测残差值的差分平方和作为当前编码模式下的编码失真度。

本实施方式使用如上所述的步骤计算编码失真度主要是考虑到：基于SSD的率失真编码模式控制策略对于每种编码模式的编码代价值的计算过程必须通过预测模块，残差计算模块，DCT变换模块，量化模块，反量化模块，反DCT变换模块，模式选择模块以及重建模块等一条冗长的数据计算通路，如图2所示为现有技术中计算SSD失真度的流程示意图，存在较大的数据通路延时，具体地说：

SSD原型计算公式为 $\mathrm{SSD}=\underset{(x,y)\∈A}{\mathrm{\Σ}}{|\mathrm{Rec}(x,y)-\mathrm{Cmb}(x,y)|}^2$

其中，Cmb(x,y)为当前宏块的像素值，Rec(x,y)为对应预测模式的重建值。而计算重建值时是将带有量化损失的预测残差值Diff'(x,y)加上预测值，所以SSD失真度的计算还需要存储当前宏块的像素值和相应的预测值，以便于计算重建值时能够重新读取编码宏块的像素值和相应的预测值，造成了存储量的增大和数据计算通路的延时。

而发明人对上述SSD原型计算公式做了如下推导：

$\begin{array}{c}\mathrm{SSD}=\underset{(x,y)\∈A}{\mathrm{\Σ}}{|\mathrm{Rec}(x,y)-\mathrm{Cmb}(x,y)|}^2\\ =\underset{(x,y)\∈A}{\mathrm{\Σ}}{|({\mathrm{Diff}}^{\′}(x,y)+\mathrm{Pred}(x,y))-(\mathrm{Diff}(x,y)+\mathrm{Pred}(x,y))|}^2\\ =\underset{(x,y)\∈A}{\mathrm{\Σ}}{|{\mathrm{Diff}}^{\′}(x,y)-\mathrm{Diff}(x,y)|}^2\end{array}$

其中，Cmb(x,y)为当前宏块的像素值，Pred(x,y)为对应预测模式的预测结果，Rec(x,y)为对应预测模式的重建结果，Diff(x,y)为预测残差值，Diff'(x,y)为带量化损失的预测残差值。

通过该推导发现，计算SSD失真度时并不是必须由当前宏块的像素值Cmb(x,y)和对应预测模式的重建值Rec(x,y)得到，其中计算重建值时是将带有量化损失的预测残差值Diff'(x,y)加上预测值Pred(x,y)，SSD失真度的计算不再需要经过冗长的数据计算通路，同时也不需要存储当前宏块的像素值和相应的预测值，而可以直接如步骤101和步骤102所述，分别获取预测残差值Diff(x,y)和带量化损失的预测残差值Diff'(x,y)后即可计算编码失真度，因此可以将(帧间或帧内)预测模块，残差计算模块，重建模块从原本的SSD失真度的计算通路中去除，缩减了数据通路的部分延时。

本发明计算编码失真度时，取代失真度计算原型中编码宏块的重建值与编码宏块像素值的差分平方和，而以编码宏块的预测残差值和带有量化损失的预测残差值的差分平方和作为对应编码模式下的编码失真度，从而避免了预测模块，预测残差计算模块，重建模块在计算通路中的延时，缩减了整体数据通路的延时，解决了传统SSD编码模式控制策略计算失真度时存在严重数据通路延时的问题。

此外，当前编码模式(或者预测模式)是从可选的编码模式集中选取的，包括帧内预测模式和帧间预测模式，其中，帧内预测模式主要包含I4亮度预测9种模式，I16亮度预测4种模式，I8色度预测4种模式，帧间预测模式主要包含P16*16，P16*8，P8*16，P8*8，P8*4，P4*8，P4*4以及Pskip共8种模式(包括亮度与色度)。

作为本实施方式的优选例，如图3所示为计算编码失真度时的数据处理通路示意图，如图3所示，大虚线框内为现有技术中计算失真度的数据处理通路，包括预测模块，残差计算模块，DCT变换模块，量化模块，反量化模块，反DCT变换模块，模式选择模块以及重建模块等。而在本优选例中，计算失真度时仅需获取小虚线框中DCT变换模块的输入信号，即预测残差值Diff(x,y)，以及小虚线框的输出，即带量化损失的预测残差值Diff'(x,y)。此外，图中其它部分的介绍将会在以下的各实施方式中分别提及，此处暂不进行展开。

本发明第二实施方式涉及一种计算编码失真度的方法，第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于：特定编码模式单独进行HT，Q，IHT，IQ的效果；将数据旋转90度后，只需要完成一次矩阵转置，进一步减少了延时；将I4和I16两种编码模式的预测过程进行交织，利用没有块关联性的I16预测计算，能够填补I4预测过程中的通路气泡，能够提高预测效率。具体地说：

当前编码模式下的编码过程还包括离散余弦变换(即DCT变换)和反离散余弦变换(即IDCT变换)，其中编码过程需要进行离散余弦变换，而解码过程则需要反离散余弦变换。

上述预测残差值Diff(x,y)经离散余弦变换后得到DCT系数，DCT系数包括DC系数和AC系数。

首先，优选地，基于上述的DC系数和AC系数，在步骤102中，还包括以下子步骤：

判断当前编码模式是否为预定编码模式，预定编码模式包括帧内预测中的I16预测模式，以及帧内预测和帧间预测中的色度预测模式；

如果判断结果为预定编码模式，则对离散余弦变换得到的DCT系数中的DC系数单独进行哈达玛变换(即HT变换)，量化，反哈达玛变换(即IHT变换)以及反量化的处理。

其中，离散余弦变换(即DCT变换)是先将整体图像分成N*N的像素块，然后针对N*N的像素块逐一进行DCT操作，将图像信号分解为直流成分和一些从低频到高频的各种余弦成分，表示各种成分所占原图像信号的份额大小构成了矩阵形式的DCT系数。从而将图像从空间域转换到了频域。其中，(0,0)位置的系数大小是矩阵其余位置系数大小的均值，相当于直流分量，可称之为DC系数或者直流系数。另外的系数则代表了水平空间频率和垂直空间频率分量(高频分量)的大小，多半是一些接近于0的正负浮点数，称之为交流系数AC。DCT变换后的系数矩阵中，低频分量集中在矩阵的左上角，高频成分则集中在右下角。由于大多数图像高频分量小，相应地系数矩阵中高频分量对应的DCT系数接近于0，且高频分量只包含图像细微变化信息，人眼对其并不敏感，所以，可以考虑将这一些高频成分予以抛弃，从而降低需要传输的数据量。传送DCT变换系数的所需要的编码长度要远远小于传送图像像素的编码长度。

上述对预定编码模式下的DC系数单独进行哈达玛变换，量化，反哈达玛变换以及反量化的处理时，具体如图3所示，是将DC系数存储在DCRAM中，并由残差计算模块读取该DC系数，并输入到HT模块中进行处理。

其次，优选地，离散余弦变换和反离散余弦变换包括以下子步骤：

将输入数据旋转90度，先进行垂直变换再进行水平变换。

作上述优选处理主要是考虑到：频域变化及反变换模块按照传统的标准数据处理流程，完成一次DCT/HT或IDCT/IHT的计算需要进行两次矩阵转置以确保频域变换及反变换结果的正确性，其数据通路的延时完全由吞吐率决定。

因此，在保证现有吞吐率的前提下，根据本发明的编码架构框架可以做如下优化：

DCT/HT：DCT/HT整数变化可逆，将输入数据旋转90度，即先进行垂直变换，再进行水平变换，即只需要完成一次矩阵转置；

IDCT/IHT：IDCT/IHT整数变换不可逆，无法采用类似于DCT/HT的处理方式，但IDCT结果输出用于SSD代价值的累加计算，因此，不需要进行第二次矩阵转置；

通过对通路数据组织格式调整，确保正反频域整数变化时间缩减一半。

最后，优选地，在当前编码模式下的编码过程中，对于帧内预测中的I4编码模式，还包括子步骤：

将帧内预测中的I16编码模式的预测过程交织在I4编码模式的预测过程中。

作上述优化处理主要是考虑到：相比传统的基于SAD(SATD)的编码控制策略的编码架构，数据处理通路产生的巨大延时，其中一个重大的影响就是由于对于帧内I4预测模式下，相邻4x4块之间的预测参考的关联性，预测过程中存在大量通路气泡(即流水线中的单位时间)，具体影响表现在两个方面：

对于某一个4x4块内的预测通路气泡，提出消除块内气泡的方法是，将I4/I16两种模式预测过程进行交织，利用没有块关联性的I16预测计算，来填补I4预测过程中的气泡，提高预测效率。

对于相邻两个4x4块间的预测通路气泡，将在本发明第五实施方式中进行介绍。

本发明第三实施方式涉及一种计算编码失真度的方法，第三实施方式在第二实施方式的基础上进行了改进，主要改进之处在于：通过多重复用，克服了SSD率失真编码模式控制的复杂的运算逻辑，使其硬件实现成为可能。具体地说：

在第二实施方式所述“如果判断结果为预定编码模式，则对离散余弦变换得到的DCT系数中的DC系数单独进行哈达玛变换，量化，反哈达玛变换以及反量化的处理”的子步骤中，

对预定编码模式下的DC系数进行哈达玛变换，量化，反哈达玛变换以及反量化处理的DC数据处理通路，与对AC系数进行离散余弦变换，量化，反量化，反离散余弦变换处理的AC数据处理通路是复用的。

此外，可以理解，还包括其它复用，包括帧内/帧间预测的复用，编码失真度计算数据通路和码率精确估计数据通路的复用。

作上述优化处理主要是考虑到：相比传统的基于SAD(SATD)的编码控制策略的编码架构在预测和模式选择阶段只需要预测以及残差计算模块，而基于SSD的率失真编码模式控制策略的编码架构，还额外需要DCT变换模块，量化模块，反量化模块，反DCT变换模块，模式选择模块，重建模块，以及更加复杂的码率估计模块，因此数据通路的多重复用可极大地缩小实现规模：

作为本实施方式的优选例，如图3所示，采用如下的多重复用方案：

(1)帧内预测和帧间预测，SSD计算数据通路(残差计算模块，DCT&HT变换/IDCT&IHT变换，Q/IQ)和码率精确估计数据通路的复用；

(2)DCT/HT变换实现逻辑的复用；

(3)IDCT/IHT变换实现逻辑的复用；

(4)AC系数和DC系数数据处理通路的复用：针对I16x16预测模式，以及帧内和帧间色度预测模式(U分量和V分量)DCT频域变换结果的DC系数还需要完成单独通过哈达玛变换模块，量化模块，反哈达玛变化模块，反量化模块的计算处理，以及DCRAM模块的复用。

(5)模式选择模块和重建模块的复用。

如图3所示，上述模块间的复用是由图中的多个MUX来实现的。当然，在本发明的其它实施方式中，也可以通过其它方式进行复用，而不局限于此。

本发明第四实施方式涉及一种计算编码失真度的方法，第四实施方式在第三实施方式的基础上进行了改进，主要改进之处在于：通过先将DC系数置零，将原本并行的AC，DC系数计算通路，拆解成先后串行的数据计算过程，分两个阶段完成准确SSD失真度的计算，不需要消耗庞大的存储空间。具体地说：

在步骤103中，还包括以下子步骤：

将带有量化损失的预测残差值分解为由DC系数置零后的DCT系数经过反离散余弦变换输出的第一预测残差值Diff″(x,y)，以及预定编码模式下的DC系数经过哈达玛变换，量化，反哈达玛变换，反量化计算输出的第二预测残差值DC″；

在AC数据处理通路上，将第一预测残差值Diff″(x,y)与预测残差值Diff(x,y)的差值及该差值的平方值分别进行累加计算并存储；

在DC数据计算通路上，将第二预测残差值DC″的平方值进行累加计算，并将第二预测残差值DC″与存储的第一预测残差值Diff″(x,y)与预测残差值Diff(x,y)的差值进行乘积累加计算；

将AC数据计算通路及DC数据计算通路上的两部分数据进行合并累加得到编码失真度。

作上述优化处理主要是考虑到：预设编码模式下的DC系数要单独完成HT，因此编码代价值的计算不能一次完成，传统实现方案中都消耗了庞大的存储空间来暂存SSD计算过程中的中间结果。

作为本实施方式的优选例，以下作详细阐述：

在第三实施方式中提到的“AC系数和DC系数数据处理通路的复用”，只是在数据计算通路上优化了硬件实现的结构，而针对I16x16预测模式，以及帧内和帧间色度预测模式(U分量和V分量)DCT频域变换结果的DC系数还需要单独完成哈达玛变换，量化，反哈达玛变化，反量化的一系列计算处理，而这个额外的计算过程也决定了基于SSD的率失真编码模式选择代价计算不能一次完成整个计算过程，相比传统实现方案中消耗庞大的存储空间面积来暂存SSD计算过程中的中间计算结果，本优选例提出一种“DC系数补偿”的算法改进，基于“AC系数和DC系数数据处理通路的复用”的通路结构，分两个阶段完成准确SSD代价值的计算，具体实现步骤如下：

(1)SSD代价计算的进一步优化：

$\begin{array}{c}\mathrm{SSD}=\underset{(x,y)\∈A}{\mathrm{\Σ}}{|{\mathrm{Diff}}^{\′\′}(x,y)+{\mathrm{DC}}^{\′\′}(x,y)-\mathrm{Diff}(x,y)|}^2\\ =\underset{(x,y)\∈A}{\mathrm{\Σ}}\left(\right({\mathrm{Diff}}^{\′\′}(x,y)-\mathrm{Diff}(x,y))2^{}+{\mathrm{DC}}^{\′\′}{(x,y)}^2+2*({\mathrm{Diff}}^{\′\′}(x,y)-\mathrm{Diff}(x,y))*{\mathrm{DC}}^{\′\′}(x,y\left)\right)\\ =\underset{(x,y)}{\mathrm{\Σ}}{({\mathrm{Diff}}^{\′\′}(x,y)-\mathrm{Diff}(x,y))}^2+\underset{(x,y)\∈A}{\mathrm{\Σ}}{\mathrm{DC}}^{\′\′}{(x,y)}^2+2*\underset{(x,y)\∈A}{\mathrm{\Σ}}({\mathrm{Diff}}^{\′\′}(x,y)-\mathrm{Diff}(x,y))*{\mathrm{DC}}^{\′\′}(x,y)\end{array}$

其中，Diff″(x,y)为频域DC系数置零后，经过IDCT变换的输出结果，DC″(x,y)为I16或U/V分量的DC系数经过了哈达玛变换，量化，反哈达玛变化，反量化计算的输出结果。

该算法改进的理论依据是频域DC系数为每个时域系数的均值，即需要为每个Diff″(x,y)系数均补偿一个DC″(x,y)系数：

DC(x,y)＝0+DC″(x,y)＝＞Diff″(x,y)+DC″(x,y)

其中，DC(x,y)为频域DC系数置零后的结果，DC(x,y)＝＝0；

通过该“DC系数补偿”的算法优化，可以将原本并行的AC/DC系数计算通路，拆解成两个可以先后串行的数据计算过程，并可以利用“AC系数和DC系数数据处理通路的复用”提供的数据计算逻辑来完成这两个计算过程。

(2)“DC系数补偿”具体实现过程：

首先，在AC数据计算通路上，模式选择模块对公式中的(Diff″(x,y)-Diff(x,y))²分量进行累加计算处理，并对(Diff″(x,y)-Diff(x,y))分量同样进行累加计算，并以4x4块为单位进行数据存储；

然后，在DC数据计算通路上，模式选择模块对对应DC″(x,y)²分量的累加计算处理，并从数据存储单元中选择对应的(Diff″(x,y)-Diff(x,y))完成相乘及累加和的计算处理；

最后，最终的累加结果便是SSD失真度值的精确值。

本发明第五实施方式涉及一种编码模式控制方法，如图4所示为该编码模式控制方法的流程示意图。

具体地说，如图4所示，该编码模式控制方法包括以下步骤：

步骤401，根据如第一至第四实施方式中任一项的编码失真度的计算方法得到的当前编码模式下的编码失真度，以及当前编码模式下的编码码率，计算当前编码模式下的编码代价值。

步骤402，在所有可选编码模式集中将对应于最小编码代价值的编码模式作为编码宏块的最优编码模式，用于编码宏块的编码。

利用改进的编码失真度的计算方法引入到编码模式控制中，编码模式选择的准确度显著提升。

具体地，本实施方式是通过以下技术方案实现的：

A.根据宏块预测阶段的不同，将编码控制策略划分成4个不同的阶段：

阶段1，帧内预测模式：主要包含I4亮度预测9种模式，I16亮度预测4种模式，I8色度(U分量和V分量)预测4种模式，均采用基于SSD的率失真编码模式选择策略，以此确定I4亮度最优预测模式及其代价值，I16亮度最优预测模式及其代价值，I8色度最优预测模式及其代价值(U分量和V分量)；

阶段2，帧间预测模式(预搜索阶段)：主要包含P16x16，P16x8,P8x16,P8x8,P8x4,P4x8,P4x4，PSkip共8种模式的帧间预测(包括亮度与色度)，均采用基于SATD的编码模式控制策略，以此确定P16x16预测模式，P16x8和P8x16的最优预测模式，P8x8，P8x4，P4x4和P4x4的最优预测模式，以及PSkip预测模式；

阶段3，帧间预测模式(精确代价计算阶段)：利用阶段2确定的P16x16预测模式，P16x8和P8x16的最优预测模式，P8x8，P8x4，P4x4和P4x4的最优预测模式，以及PSkip预测模式这4种模式，再采用基于SSD的率失真编码模式选择策略，重新计算其各自的代价值；

阶段4，帧内与帧间最优模式的选择：利用阶段1确定的I4亮度最优预测模式的代价值，I16亮度最优预测模式的代价值，I8色度最优预测模式的代价值(U分量和V分量)，以及阶段3确定的P16x16预测模式的代价值，P16x8和P8x16的最优预测模式代价值，P8x8，P8x4，P4x8和P4x4的最优预测模式的代价值，以及PSkip预测模式的代价值，以此来确定当前宏块的最优预测模式(包括亮度和色度)；

B.针对步骤A中阶段1帧内预测模式，是以4x4的块为最小计算单元，经过帧内预测模块(完成I4亮度预测9种模式，I16亮度预测4种模式，I8色度预测4种模式的输出)，残差计算模块(预测像素值与当前像素的残差计算)，DCT变换模块(时域到频域的转换)，量化模块(量化模块的输出分为两个方向：方向一，输出到码率计算模块，进行精确的码率计算；方向二，输出到反量化模块)，反量化模块，反DCT变换模块，模式选择模块(完成每种预测模式代价值的计算和比较，选择确定最优模式)，其中，针对I16亮度预测的4种模式和I8色度预测4种模式，还需要对DCT频域变化输出的DC系数矩阵单独通过哈达玛变换模块，量化模块，反哈达玛变化模块，反量化模块的计算处理，最终确定帧内最优模式及其代价值；

C.针对步骤A中阶段2帧间预测模式(预搜索阶段)，由于预测点的个数由搜素算法决定，随着搜索范围需求的不断放大，搜索点数也成倍的增加，为了简化搜索过程，缩短搜索时间，该阶段还是采用基于SAD(或SATD)和速率估计的编码模式控制策略，以此来为后续阶段模块提供4种备选的帧间预测模式：P16x16，PSkip，P16x8或P8x16，P8x8或P8x4或P4x8或P4x4；

D.针对步骤A中阶段3帧间预测模式(精确代价计算阶段)，对步骤A中的阶段2帧内预测模式(预搜索阶段)的输出结果，采用基于SSD的率失真编码模式选择策略，类似于步骤A中的阶段1帧内预测模式的处理步骤，通过残差计算模块，DCT变换模块，量化模块，反量化模块，反DCT变换模块，模式选择模块，其中，针对P8色度预测4种模式，还需要对DCT频域变化输出的DC系数矩阵单独通过哈达玛变换模块，量化模块，反哈达玛变化模块，反量化模块的计算处理，完成四种帧间模式的代价值(亮度和色度)的重算，并确定帧间最优模式及其代价值。

优选地，针对块间气泡，在“计算当前编码模式下的编码代价值”的步骤之后，还包括以下步骤：

对于帧内预测中的每种I4编码模式，完成编码代价值的计算后，进行是否需要重建的仲裁。

当每种I4预测模式完成模式代价的判决后马上进行是否需要重建的仲裁，可以确保最优的重建结果伴随着预测过程而确定，避免了在确定I4最优模式后再进行预测重建的过程，有效缩减了数据通路延时和流水线气泡。

至此本发明描述的基于SSD的率失真编码模式控制策略的编码架构和传统的基于SAD(SATD)的编码控制策略相比，从性能角度来看，更加准确的反应了编码失真度，并且为R值得精确地计算提供了相应的参数，模式选择的准确度的显著提升，从而使其编码性能相应大幅提升；从实现角度来看，解决了SSD和R的精确计算带来的复杂运算逻辑和严重数据通路延时，并以可以接受的硬件代价来完成RDO编码模式控制策略的硬件实现。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable Array Logic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。

本发明第六实施方式涉及一种计算编码失真度的系统，图5是该计算编码失真度的系统的结构示意图。

具体地说，如图5所示，该计算编码失真度的系统该装置包括以下模块：

预测残差计算模块，用于获取编码宏块在当前编码模式下的预测像素值，并根据预测像素值与编码宏块的像素值计算预测残差值；

带有量化损失的预测残差获取模块，用于获取预测残差值经过当前编码模式下编码过程中的量化和反量化处理后的带有量化损失的预测残差值；

编码失真度计算模块，用于将编码宏块的预测残差值和带有量化损失的预测残差值的差分平方和作为当前编码模式下的编码失真度。

本发明计算编码失真度时，取代失真度计算原型中编码宏块的重建值与编码宏块像素值的差分平方和，而以编码宏块的预测残差值和带有量化损失的预测残差值的差分平方和作为对应编码模式下的编码失真度，从而避免了预测模块，预测残差计算模块，重建模块在计算通路中的延时，缩减了整体数据通路的延时，解决了传统SSD编码模式控制策略计算失真度时存在严重数据通路延时的问题。

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第七实施方式涉及一种计算编码失真度的系统，第七实施方式在第六实施方式的基础上进行了改进，主要改进之处在于：特定编码模式需要单独进行HT，Q，IHT，IQ的效果；将数据旋转90度后，只需要完成一次矩阵转置，进一步减少了延时；将I4和I16两种编码模式的预测过程进行交织，利用没有块关联性的I16预测计算，能够填补I4预测过程中的通路气泡，能够提高预测效率。具体地说：

当前编码模式下的编码过程还包括离散余弦变换和反离散余弦变换，预测残差值经离散余弦变换后得到DCT系数，DCT系数包括DC系数和AC系数。

首先，优选地，在带有量化损失的预测残差获取模块中，还包括以下子模块：

预定编码模式判断子模块，用于判断当前编码模式是否为预定编码模式，预定编码模式包括帧内预测中的I16预测模式，以及帧内预测和帧间预测中的色度预测模式；

预定编码模式处理子模块，用于如果判断结果为预定编码模式，则对离散余弦变换得到的DCT系数中的DC系数单独进行哈达玛变换，量化，反哈达玛变换以及反量化的处理。

其次，优选地，带有量化损失的预测残差获取模块进行离散余弦变换和反离散余弦变换时，还包括以下子模块：

数据旋转子模块，用于将输入数据旋转90度，先进行垂直变换再进行水平变换。

最后，优选地，对于帧内预测中的I4编码模式，还包括子模块：

交织子模块，用于将帧内预测中的I16编码模式的预测过程交织在I4编码模式的预测过程中。

第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。

本发明第八实施方式涉及一种计算编码失真度的系统，第八实施方式在第七实施方式的基础上进行了改进，主要改进之处在于：通过多重复用，克服了SSD率失真编码模式控制的复杂的运算逻辑，使其硬件实现成为可能。具体地说：

在预定编码模式处理子模块中，对预定编码模式下的DC系数进行哈达玛变换，量化，反哈达玛变换以及反量化处理的DC数据处理通路，与对AC系数进行离散余弦变换，量化，反量化，反离散余弦变换处理的AC数据处理通路是复用的。

第三实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第三实施方式互相配合实施。第三实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第三实施方式中。

本发明第九实施方式涉及一种计算编码失真度的系统，第九实施方式在第八实施方式的基础上进行了改进，主要改进之处在于：通过先将DC系数置零，将原本并行的AC，DC系数计算通路，拆解成先后串行的数据计算过程，分两个阶段完成准确SSD失真度的计算，不需要消耗庞大的存储空间。具体地说：

在编码失真度计算模块中，还包括以下子模块：

分解子模块，用于将带有量化损失的预测残差值分解为由DC系数置零后的DCT系数经过反离散余弦变换输出的第一预测残差值Diff″(x,y)，以及预定编码模式下的DC系数经过哈达玛变换，量化，反哈达玛变换，反量化计算输出的第二预测残差值DC″；

第一累加子模块，用于在AC数据处理通路上，将第一预测残差值Diff″(x,y)与预测残差值Diff(x,y)的差值及该差值的平方值分别进行累加计算并存储；

第二累加子模块，用于在DC数据计算通路上，将第二预测残差值DC″的平方值进行累加计算，并将第二预测残差值DC″与存储的第一预测残差值Diff″(x,y)与预测残差值Diff(x,y)的差值进行乘积累加计算；

合并子模块，用于将AC数据计算通路及DC数据计算通路上的两部分数据进行合并累加得到编码失真度。

第四实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第四实施方式互相配合实施。第四实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第四实施方式中。

本发明第十实施方式涉及一种编码模式控制系统，图6是该编码模式控制系统的结构示意图。

具体地说，如图6所示，该编码模式控制系统包括以下模块：

编码代价值计算模块，用于根据前述编码失真度的计算系统得到的当前编码模式下的编码失真度，以及当前编码模式下的编码码率，计算当前编码模式下的编码代价值；

最优编码模式确定模块，用于在所有可选编码模式集中将对应于最小编码代价值的编码模式作为编码宏块的最优编码模式，用于编码宏块的编码。

利用改进的编码失真度的计算方法引入到编码模式控制中，编码模式选择的准确度显著提升。

优选地，还包括以下模块：

重建仲裁模块，用于对帧内预测中的每种I4编码模式，在完成编码代价值的计算后，进行是否需要重建的仲裁。

当每种I4预测模式完成模式代价的判决后马上进行是否需要重建的仲裁，可以确保最优的重建结果伴随着预测过程而确定，避免了在确定I4最优模式后再进行预测重建的过程，有效缩减了数据通路延时和流水线气泡。

第五实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第五实施方式互相配合实施。第五实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第五实施方式中。

综上所述，本发明要解决的技术问题是如何采用基于SSD的率失真编码模式控制策略来解决SAD/SATD算法模式选择准确性不足的缺陷，同时，也克服了SSD率失真编码模式控制策略带来的非常复杂的运算逻辑和严重的数据通路延时，使其硬件实现成为可能。

需要说明的是，本发明各设备实施方式中提到的各模块都是逻辑模块，在物理上，一个逻辑模块可以是一个物理模块，也可以是一个物理模块的一部分，还可以以多个物理模块的组合实现，这些逻辑模块本身的物理实现方式并不是最重要的，这些逻辑模块所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的模块引入，这并不表明上述设备实施方式并不存在其它的模块。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (16)

1.一种计算编码失真度的方法，其特征在于，该方法包括以下步骤：

获取编码宏块在当前编码模式下的预测像素值，并根据所述预测像素值与编码宏块的像素值计算预测残差值；

获取所述预测残差值经过当前编码模式下编码过程中的量化和反量化处理后的带有量化损失的预测残差值；

将所述编码宏块的预测残差值和所述带有量化损失的预测残差值的差分平方和作为当前编码模式下的编码失真度。

2.根据权利要求1所述的计算编码失真度的方法，其特征在于，所述当前编码模式下的编码过程还包括离散余弦变换和反离散余弦变换，所述预测残差值经所述离散余弦变换后得到DCT系数，所述DCT系数包括DC系数和AC系数；

在所述“获取所述预测残差值经过当前编码模式下编码过程中的量化和反量化处理后的带有量化损失的预测残差值”的步骤中，还包括以下子步骤：

判断所述当前编码模式是否为预定编码模式，所述预定编码模式包括帧内预测中的I16预测模式，以及帧内预测和帧间预测中的色度预测模式；

如果判断结果为预定编码模式，则对所述离散余弦变换得到的DCT系数中的DC系数单独进行哈达玛变换，量化，反哈达玛变换以及反量化的处理。

3.根据权利要求2所述的计算编码失真度的方法，其特征在于，在所述“如果判断结果为预定编码模式，则对所述离散余弦变换得到的DCT系数中的DC系数单独进行哈达玛变换，量化，反哈达玛变换以及反量化的处理”的子步骤中，

对所述预定编码模式下的DC系数进行哈达玛变换，量化，反哈达玛变换以及反量化处理的DC数据处理通路，与所述对AC系数进行离散余弦变换，量化，反量化，反离散余弦变换处理的AC数据处理通路是复用的。

4.根据权利要求3所述的计算编码失真度的方法，其特征在于，在所述“将所述编码宏块的预测残差值和所述带有量化损失的预测残差值的差分平方和作为当前编码模式下的编码失真度”的步骤中，还包括以下子步骤：

将所述带有量化损失的预测残差值分解为由DC系数置零后的DCT系数经过反离散余弦变换输出的第一预测残差值Diff”，以及预定编码模式下的DC系数经过哈达玛变换，量化，反哈达玛变换，反量化计算输出的第二预测残差值DC”；

在所述AC数据处理通路上，将所述第一预测残差值Diff”与所述预测残差值的差值及该差值的平方值分别进行累加计算并存储；

在DC数据计算通路上，将所述第二预测残差值DC”的平方值进行累加计算，并将所述第二预测残差值DC”与所述存储的第一预测残差值Diff”与预测残差值的差值进行乘积累加计算；

将所述AC数据计算通路及DC数据计算通路上的两部分数据进行合并累加得到编码失真度。

5.根据权利要求1所述的计算编码失真度的方法，其特征在于，所述离散余弦变换和反离散余弦变换包括以下子步骤：

将输入数据旋转90度，先进行垂直变换再进行水平变换。

6.根据权利要求1所述的计算编码失真度的方法，其特征在于，在所述当前编码模式下的编码过程中，对于帧内预测中的I4编码模式，还包括子步骤：

将帧内预测中的I16编码模式的预测过程交织在所述I4编码模式的预测过程中。

7.一种编码模式控制方法，其特征在于，包括以下步骤：

根据如权利要求1至6中任一项所述的编码失真度的计算方法得到的当前编码模式下的编码失真度，以及当前编码模式下的编码码率，计算当前编码模式下的编码代价值；

在所有可选编码模式集中将对应于最小编码代价值的编码模式作为编码宏块的最优编码模式，用于所述编码宏块的编码。

8.根据权利要求7所述的编码模式控制方法，其特征在于，在所述“计算当前编码模式下的编码代价值”的步骤之后，还包括以下步骤：

对于帧内预测中的每种I4编码模式，完成编码代价值的计算后，进行是否需要重建的仲裁。

9.一种计算编码失真度的系统，其特征在于，该装置包括以下模块：

预测残差计算模块，用于获取编码宏块在当前编码模式下的预测像素值，并根据所述预测像素值与编码宏块的像素值计算预测残差值；

带有量化损失的预测残差获取模块，用于获取所述预测残差值经过当前编码模式下编码过程中的量化和反量化处理后的带有量化损失的预测残差值；

编码失真度计算模块，用于将所述编码宏块的预测残差值和所述带有量化损失的预测残差值的差分平方和作为当前编码模式下的编码失真度。

10.根据权利要求9所述的计算编码失真度的系统，其特征在于，所述当前编码模式下的编码过程还包括离散余弦变换和反离散余弦变换，所述预测残差值经所述离散余弦变换后得到DCT系数，所述DCT系数包括DC系数和AC系数；

在所述带有量化损失的预测残差获取模块中，还包括以下子模块：

预定编码模式判断子模块，用于判断所述当前编码模式是否为预定编码模式，所述预定编码模式包括帧内预测中的I16预测模式，以及帧内预测和帧间预测中的色度预测模式；

预定编码模式处理子模块，用于如果判断结果为预定编码模式，则对所述离散余弦变换得到的DCT系数中的DC系数单独进行哈达玛变换，量化，反哈达玛变换以及反量化的处理。

11.根据权利要求10所述的计算编码失真度的系统，其特征在于，在所述预定编码模式处理子模块中，对所述预定编码模式下的DC系数进行哈达玛变换，量化，反哈达玛变换以及反量化处理的DC数据处理通路，与所述对AC系数进行离散余弦变换，量化，反量化，反离散余弦变换处理的AC数据处理通路是复用的。

12.根据权利要求11所述的计算编码失真度的系统，其特征在于，在所述编码失真度计算模块中，还包括以下子模块：

分解子模块，用于将所述带有量化损失的预测残差值分解为由DC系数置零后的DCT系数经过反离散余弦变换输出的第一预测残差值Diff”，以及预定编码模式下的DC系数经过哈达玛变换，量化，反哈达玛变换，反量化计算输出的第二预测残差值DC”；

第一累加子模块，用于在所述AC数据处理通路上，将所述第一预测残差值Diff”与所述预测残差值的差值及该差值的平方值分别进行累加计算并存储；

第二累加子模块，用于在DC数据计算通路上，将所述第二预测残差值DC”的平方值进行累加计算，并将所述第二预测残差值DC”与所述存储的第一预测残差值Diff”与预测残差值的差值进行乘积累加计算；

合并子模块，用于将所述AC数据计算通路及DC数据计算通路上的两部分数据进行合并累加得到编码失真度。

13.根据权利要求10所述的计算编码失真度的系统，其特征在于，所述带有量化损失的预测残差获取模块进行离散余弦变换和反离散余弦变换时，还包括以下子模块：

数据旋转子模块，用于将输入数据旋转90度，先进行垂直变换再进行水平变换。

14.根据权利要求9所述的计算编码失真度的系统，其特征在于，对于帧内预测中的I4编码模式，还包括子模块：

交织子模块，用于将帧内预测中的I16编码模式的预测过程交织在所述I4编码模式的预测过程中。

15.一种编码模式控制系统，其特征在于，包括以下模块：

编码代价值计算模块，用于根据如权利要求1至14中任一项所述的编码失真度的计算系统得到的当前编码模式下的编码失真度，以及当前编码模式下的编码码率，计算当前编码模式下的编码代价值；

最优编码模式确定模块，用于在所有可选编码模式集中将对应于最小编码代价值的编码模式作为编码宏块的最优编码模式，用于所述编码宏块的编码。

16.根据权利要求15所述的编码模式控制系统，其特征在于，还包括以下模块：

重建仲裁模块，用于对帧内预测中的每种I4编码模式，在完成编码代价值的计算后，进行是否需要重建的仲裁。