CN1813478A - 用于手持设备的编码的方法 - Google Patents

Abstract

本发明涉及对图像序列进行编码的方法，其中图像被划分成数据块，所述编码方法包括以下步骤：使用预测函数，根据包含在当前图像中的当前块和候选区域之间的差，计算残差块；计算残差块的熵；计算所述当前块和所述候选区域之间的总误差；估算适用于实施所述预测函数的视频处理设备的功耗；基于熵、总误差和估算的视频处理设备的功耗，计算速率－失真值；使用一组预测函数，将前面的步骤应用于一组候选区域，以便根据速率－失真值来选择预测函数。

Description

用于手持设备的编码的方法

技术领域

本发明涉及对图像序列编码的方法，其中图像被划分成数据块，所述方法以基于预测块的编码技术为基础。

本发明特别涉及嵌入数字视频编码器的产品，诸如，本地服务器、数字录像机、摄像放像机，并且更特别地涉及移动电话或个人数字助理，所述设备包括嵌入的摄像机，其能够获取视频数据，并且在发送视频数据之前对视频数据编码。

背景技术

在常规的视频编码器中，存储器传送的大部分并因此功耗的大部分来自运动估算。运动估算在于：根据速率-失真准则搜索当前块和一组若干候选参考块之间的最佳匹配，当前块和候选参考块之间的差形成残差(residual error)块。

G.Sullivan，T.Wiegand，IEEE Signal Processing Magazine(IEEE信号处理杂志)，第74-90页，1998年11月的题为“RateDistortion Optimization for Video Compression(用于视频压缩的速率失真最优化)”的论文描述了计算速率-失真值的一种方法。根据残差块的熵h并且根据从所述残差块中导出的重构误差mse，计算这个值c，如公式(1)所给出的：

    c＝h+λ₁*mse                        (1)

其中λ1是加权系数。

这有助于根据期望的比特率选择最佳模式来对当前块编码。所选择的最佳参考块是将速率-失真值最小化的块。随后，残差块被熵编码并与其相关的运动矢量和/或编码模式一起进行发送。

但是，这样的速率-失真值并不是最佳的，特别是在视频编码器被嵌入具有有限功率的便携式设备中的情况下。

发明内容

本发明的目的是提出一种编码方法，其允许减少视频处理设备即视频解码器或视频编码器的功耗。

为此，根据本发明的视频编码方法的特征在于，它包括下列步骤：

使用预测函数，根据包含在当前图像中的当前块和候选区域之间的差，计算残差块，

计算残差块的熵，

计算所述当前块和所述候选区域之间的总误差，

估算用于实施所述预测函数的视频处理设备的功耗，

基于熵、总误差和估算的视频处理设备的功耗，计算速率-失真值，

使用一组预测函数，将前面的步骤应用于一组候选区域，以便根据速率-失真值来选择预测函数。

结果，本发明能够在编码阶段从所有的由于考虑预测处理功耗的新的速率-失真值而可用的函数之中选择该预测函数，即，最佳编码模式。换句话说，经典的速率-失真值接收功耗的估算作为第三尺寸，以变成功率-速率-失真值，允许功耗、比特率或带宽和可视质量之间更好的权衡。

根据本发明的第一实施例，速率-失真值通过有利于功率友好的预测函数，考虑用于对相应编码的图像序列进行解码的视频解码器的估算的预测函数的功耗。

根据本发明的另一实施例，速率-失真值考虑视频编码器为了执行预测而需要的功耗。

本发明也涉及实施所述视频编码方法的视频编码器。

本发明涉及手持设备，其包括所述视频编码器和用于给所述视频编码器供电的电源。

本发明最后涉及包括程序指令的计算机程序产品，用于在由处理器执行所述程序时实施根据本发明的视频编码方法。

本发明的这些和其它方面从下面所描述的实施例中将是显而易见的，并将参考这些实施例进行阐述。

附图说明

现在，将参考附图以举例方式更加详细地描述本发明，其中：

图1是常规的视频编码器的方框图，

图2是常规的视频解码器的方框图，

图3是表示根据本发明的编码方法的方框图，

图4表示当前块及其邻域，从中计算空间预测函数，

图5表示两个连续帧中的两个块，据此计算时间预测函数，

图6表示过去一帧中块的直方图，从中计算当前配置块(collocated block)的时间预测函数。

具体实施方式

本发明涉及用于适配编码处理并且特别地适配预测步骤为视频编码器和/或解码器的功耗的函数的方法。编码处理适配为考虑例如所述编码器和/解码器的电池电平。

所述方法更特别地专用于手持设备，诸如移动电话或嵌入的照相机，其具有有限的功率，并且必须处理视频序列的编码和解码。

它可以用于MPEG-4或H.264视频编码器或任何等效的基于速率-失真的视频编码器中。该方法能够扩展至音频和静止图像编码/解码。

本发明基于以下考虑。让我们考虑常规的视频结构，其包括与专用协处理器耦合的中央处理器CPU以及外存储器模块。多年来，中央处理单元CPU在功耗方面被认为是这三个元件之中需求最大的，这意味着：算法的计算复杂度也决定其能耗。现在，计算负荷和存储器存取之间的重新划分被更加平衡。而且，根据当前的发展，后者的优势不久就能够被预见。因此，考虑到这样的结构，低功率应用要求与当前算法相比显著减少存储器存取。而且，这些存取的位置也是重要的，因为存储器模块越靠近CPU意味着在存取数据时越低的能量损耗。

在图1所示的常规视频编码器的情况中，使上述元件适配为执行离散余弦变换DCT(11)、标量量化Q(12)、可变长度编码VLC(13)、反量化IQ(14)、反向离散余弦变换IDCT(15)、运动补偿MC(16)和运动估算ME(18)。运动补偿和运动估算模块被耦合到外部帧存储器模块MEM(17)。

在图2所示的常规视频编码器的情况中，使上述元件适配为执行可变长度编码VLD(21)、反量化IQ(22)、反向离散余弦变换IDCT(22)、运动补偿MC(24)和块重构REC(25)。运动补偿模块耦合到外部帧存储器模块MEM(26)。

功耗方面的瓶颈是在这些视频结构的不同单元之间的传送量。本发明基于大多数的存储器传送来自运动估算和运动补偿的观察。这些运动操作表示对像素的许多存取，以及对外存储器模块的许多存取。搜索范围越大，则存储器的大小越大，并因此功率损耗越大。

根据本发明，目的是通过也考虑预测处理的功耗在编码阶段从可用的预测函数中选择最佳的预测函数。本发明提出三种不同的情况，其中使用新的速率-失真准则能够或在编码器级上或在解码器级上或对于这二者增加总的功耗/比特率/可视质量权衡。

图3是表示根据本发明的编码方法的方框图。所述方法能够对图像序列进行编码，其中图像被划分为数据块。

它包括第一步骤ReseC(33)，即，由于使用预测函数根据包含在当前图像中的当前块和一个候选区域之间的差来计算残差块。

在一组预测函数之中，选择该预测函数。预测函数被定义为一种方式，以便根据位于同一帧中或者位于前一帧或未来帧中的其它区域的像素，预测当前帧中的当前块，即，被预定为将编码的块。

例如，该组的预测函数例如基于常规的运动估算。所述常规的运动估算在于：在参考图像即过去或未来的图像中搜索候选参考块，所述块对应于包含在当前图像中的当前块。在被称为搜索区域的参考图像的预定区域内，搜索所述候选参考块，即，候选区域。在MPEG 2标准的示例中，搜索区域被限于256行用于解码。对于本领域的技术人员来说，可以根据计算资源减小搜索区域的范围，这将是显而易见的。

另一预测函数pf1基于H.264内部预测(Intra Prediction)。对于将编码的当前块X中的给定像素x(i，j)，从块X的左侧相邻列A和顶端相邻行B中计算残值r(i，j)，如图4所示，在本示例中，A和B形成候选区域。如下计算残值r(i，j)：

                r(i，j)＝x(i，j)-avg(A，B)，

其中avg(A，B)是能够计算分段A和B的平均值的函数。这个第一预测函数特别适于均匀(homogeneous)区域。

另一预测函数pf2基于H.264内部垂直预测。根据图4中给出的记法，如下计算残值：

                 r(i，j)＝x(i，j)-b(i)

这个空间预测函数特别适于垂直均匀区域。

另一预测函数pf3基于H.264内部水平预测。根据图4中给出的记法，如下计算残值：

                 r(i，j)＝x(i，j)-a(j)

这个空间预测函数特别适于水平均匀区域。

若干其他的空间预测也是有可能的。它们都共同只使用A和B分段，或者在X上应用可逆函数，以便是可解码的。

另一预测函数pf4基于图5，其表示在当前帧F(t)中像素x(i，j)的块X和在紧接前一帧F(t-1)中具有相同位置的像素y(i，j)的相应块Y，块Y在这种情况中形成候选区域。该函数被称为“配置时间预测(Collocated Temporal Prediction)”。根据图5中给出的记法，如下计算残值：

               r(i，j)＝x(i，j)-y(i，j)

这个时间预测函数特别适于静态区域。

也能使用称为“配置限制运动估算(Collocated RestrictedMotion Estimation)”的这个预测函数的扩展，并且对其只在配置块内执行运动估算。

被称为“时间直方图预测(Temporal Histogram Prediction)”的另一预测函数pf5使用在前一帧中配置块的直方图。例如，如果h1和h2是直方图的两个最大值，如图6所给出的，则根据值x(i，j)与值h1和h2的近似程度，如下计算残值：

        r(i，j)＝x(i，j)-h1或者r(i，j)＝x(i，j)-h2，

为此，发送1个比特来将这个选择通知解码器。这个时间预测函数也适于静态区域。

本发明基于这些不同的预测函数具有不同的功耗的事实。例如，时间预测函数比空间预测函数更加消耗功率，这是因为它们需要大量的对包含参考帧的外存储器模块的存取。

应当注意，这些预测函数作为示例进行阐述，并且能够使用其它的预测函数而不脱离本发明的范围。还应注意，能够将并行预测函数应用于具有不同大小的数据块中，例如，诸如16×16、16×8、8×16、8×8、8×4、4×8或4×4像素。

该编码方法包括第二步骤HC(34)，即计算残差块的熵h。所述步骤能够确定残差块的熵编码所需的比特的最低数量。根据本领域技术人员已知的原理，使用下面的公式计算熵h：

$h=-\underset{i=0}{\overset{I}{\mathrm{\Σ}}}{p}_i\log \left(p_i\right)$

其中P_i是像素块中出现的数据值的概率，并且如果像素值是8比特，则I一般等于255。

该编码方法包括第三步骤MetC(32)，即计算当前块和候选区域之间的总误差。

计算总误差的步骤基于例如均方误差MSE的计算，MSE的表达式为：

$\mathrm{MSE}=\frac{1}{k1}\underset{i=0}{\overset{k-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{l-1}{\mathrm{\Σ}}}{\left|r(i,j)\right|}^2$

其中k×1是当前块的大小。

作为另一示例，该计算步骤基于平均绝对误差MAE的计算，MAE的表达式为：

$\mathrm{MAE}=\frac{1}{k1}\underset{i=0}{\overset{k-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{l-1}{\mathrm{\Σ}}}\left|r(i,j)\right|$

对于本领域的技术人员来说，可以基于当前块的值和候选区域的值，利用其它不同的函数计算总误差，这将是显而易见的。

该编码方法包括第四步骤PowC(37)，即估算适用于实施预测函数的视频处理设备即视频编码器或解码器的功耗。作为以下参数的函数来执行估算。

该估算步骤能够根据一组参数SoP(36)来估算视频处理设备的功耗。这些功耗参数当然是预测函数的特征，也就是说，预测函数的计算参数和转移参数。计算参数例如为：

-运算量(加法，乘法，等等)；

-条件转移和基本函数的量，诸如绝对值、最小值、最大值等的计算。

转移参数例如为：

-存储器要求(类型，大小，等等)；

-存储器传送的量。

这些功耗参数可选择地是平台信息，即，视频处理设备的技术特征。这些技术特征例如为：

-处理器的特征，尤其是其工作频率，

-高速缓冲存储器的大小，

-嵌入的存储器的大小，

-外存储器的大小，

-基本运算(门)的功耗，

-用于不同存储器和处理器之间交换的功耗。

这些功耗参数可选择地是电源信息，例如，诸如视频处理设备的当前电池电平。

功耗估算是一个错综复杂的问题。只在芯片存在时，才获得准确的测量。然而，基于软件的测量是可能的，但是以较低精确度为代价。

利用下面给出的相对加权，本发明能够计算算法的关键部分的功耗，作为存储器存取数量、存储器的位置以及计算成本的函数：

加法，移位，转移，移动	乘法	除法	加载，存储(寄存器)	加载，存储(内存储器)	加载，存储(外存储器)
						1	3	16	1	50	500

确定这些加权，假定标准结构(CPU+存储器+协处理器)，如将在随后几年内继续有效的，也就是说，与用于计算的有效负载相比，对于存储器存取，具有高的有效负载。

该编码方法包括第五步骤PRDC(35)，即，根据残差块的熵、总误差以及估算的视频处理设备的功耗，计算速率-失真值。

根据本发明的第一实施例，估算步骤能够为该组预测函数估算视频解码器的功耗。

然后，在编码器电平上使用功率-速率-失真值，以便通过有助于功率友好的预测函数来减少解码器的功耗。

失真值通常取决于残留数据的熵h以及当前块和候选区域之间的重构误差“ove”。也考虑对当前预测函数进行解码的功耗，以便在解码器侧上增加总的功率失真/比特率权衡。因而，显著的功率增益能够补偿轻微的编码效率损失。如下计算根据本发明的失真值c：

    c＝h+λ₁*ove+λ₂*power_decoder(parameters)        (2)

其中λ1和λ2是权数因数，power_decoder()表示解码器上执行预测所需的功耗，并且参数(parameters)是允许功耗估算的元素。这些参数上面已进行了描述。

根据通信的类型和协议，对于编码器，可利用有关解码器的或多或少的信息。在公式(2)中，功率估算的结果能够来自于利用平台信息的预测函数特征的加权。这些参数的可用性使得解码功率估算或多或少地精确。

根据这个第一实施例的变型，接收设备能够在通信的初始化期间在发射设备和所述接收设备之间发送其主要功耗特征，即，上面称为平台信息，发射设备的编码器可以直接使用该平台信息来在公式(2)中更加精确地估算接收设备的解码器的功耗。

可选择地，如果这个信息不可用，则编码器可以进行标准解码平台的假设，例如利用标准ARM9处理器，利用预定量的嵌入式RAM和外存储器以及通常的传送成本。

此外，如果接收设备能够在规则时刻将其电池电平发送给发射/编码设备，则后者可直接对λ2起作用，以增加或者降低解码器所用的功率的重要性。例如，如果电池电平降低，则增加λ2，以加强选择预测函数的功耗的重要性。因此，高消耗预测函数受到惩罚。

根据本发明的第二实施例，估算步骤能够为该组预测函数估算视频编码器的功耗。

在编码器上，如果计算所有的并行预测函数，则不可能节省编码功耗。然而，对评估的预测函数的数量进行选择允许降低解码器电平的功耗。

根据本发明，该选择取决于通过学习阶段计算的功率-速率-失真值。该学习阶段在于：利用所有的预测函数测试一些图像。所测试的图像可以是图像序列中的第一图像或者恰好在场景剪辑(scene cut)之后的一些图像。确实，在两个场景剪辑之间，假设已知序列具有稳定的时间和空间特征。因此，学习阶段可选择最适当的预测函数，以避免系统地测试所有的编码器上可用的预测函数。这个选择基于如下给出的所建议的功率-速率-失真值：

     c＝h+λ₁*mse+λ₃*power_encoder(parameters)    (3)

其中λ3是与λ2具有相同作用的权重因数，而power_encoder(  )表示编码器上执行预测所要求的功耗。这些参数(parameters)是上面已描述过的。平台信息当然是可用的，并且只在需要应用功率可量测性时才需要电池电平。

如公式4中所建议的，有可能合并这两种方案。在这种情况中，编码器和解码器设备联合工作，以最优化衔接的功率-质量权衡。

c＝h+λ₁*mse+λ₂*power_decoder(parameters)+λ₃*power_encoder(parameters)     (4)

例如，如果具有高电池电平的移动电话正在对图像序列进行编码，并且在将编码的序列发送到具有低电池电平的第二移动电话。结果，第二移动电话的解码器需要低功耗预测函数。在此情况下，加权因数λ2为高，而加权因数λ3为低。所做的一切是惩罚高功耗预测函数，并且然后考虑第二移动电话的低电池电平。

该编码方法包括第六步骤，即使用一组预测函数将先前的步骤运用到一组候选区域SoC(31)，以便从功率-速率-失真值中选择最佳预测函数和相应的最佳候选区域。为此，将所评估的预测函数的失真值存储在存储器RES(38)，并选择最佳预测即使功率-速率-失真值最小化的预测(函数)用于对当前块编码。

下面权利要求中的任何参考符号都不应认为是限制该权利要求。显然，对动词“包括”及其变化形式的使用并不排除除了任何权利要求中所限定之外的任何其它步骤或元素的存在。在元素或步骤之前的单词“一(个)”并不排除多个这样的元素或步骤的存在。

Claims (9)

1.一种对图像序列编码的方法，图像被划分成数据块，所述编码方法包括以下步骤：

使用预测函数，根据包含在当前图像中的当前块和候选区域之间的差，计算残差块，

计算残差块的熵，

计算所述当前块和所述候选区域之间的总误差，

估算适用于实施所述预测函数的视频处理设备的功耗，

基于熵、总误差和估算的视频处理设备的功耗，计算速率-失真值，

使用一组预测函数，将前面的步骤应用于一组候选区域，以便根据速率-失真值来选择预测函数。

2.权利要求1所述的视频编码方法，其中对于该组预测函数，估算步骤能够使用视频解码器的功耗。

3.权利要求1所述的视频编码方法，其中对于给定数量的图像，估算步骤能够计算该组中不同预测函数的功率-速率-失真值，并且对于随后图像的编码，选择使功率-速率-失真值最小化的预测函数。

4.权利要求1所述的视频编码方法，其中估算步骤能够根据预测函数的计算参数和转移参数来估算视频处理设备的功耗。

5.权利要求4所述的视频编码方法，其中估算步骤能够根据视频处理设备的技术特征来估算视频处理设备的功耗。

6.权利要求1所述的视频编码方法，其中速率-失真值取决于所估算的功耗和权重因数的乘积，所述权重因数取决于视频处理设备的电源电平。

7.一种视频编码器，用于对图像序列进行编码，图像被划分成数据块，所述视频编码器包括用于实施权利要求1所述的视频编码方法的步骤的装置。

8.一种手持设备，包括权利要求7所述的视频编码器以及用于为所述视频编码器供电的电源。

9.一种计算机程序产品，包括程序指令，用于在由处理器执行所述程序时实施权利要求1所述的视频编码方法。

Images