CN109842798A - 带宽压缩中复杂纹理的双模式选择预测方法 - Google Patents

Abstract

本发明涉及一种带宽压缩中复杂纹理的双模式选择预测方法，包括：将待编码视频图像划分成多个宏块，并确定待编码像素分量；采用自适应模板预测方法，在自适应模板中选择当前编码宏块中每个当前编码像素的第一参考像素，计算得到一组第一预测残差；采用自适应十字窗口预测方法，在十字形窗口内选择当前编码宏块中每个当前编码像素的第二参考像素，计算得到一组第二预测残差；根据一组第一预测残差计算第一绝对残差和，根据一组第二预测残差计算第二绝对残差和；比较第一绝对残差和与第二绝对残差和，确定当前编码宏块的最优预测方法，得到一组最优预测残差。本发明以宏块为预测单元，根据图像不同区域纹理特征的不同，自适应选择最优预测方法，预测效果更优。

Description

带宽压缩中复杂纹理的双模式选择预测方法

技术领域

本发明涉及一种压缩技术领域，特别涉及一种带宽压缩中复杂纹理的双模式选择预测方法。

背景技术

随着公众对视频质量需求的不断提高，视频的图像分辨率也随之成倍数的增加，由此使视频图像的数据量十分巨大，需要占用较多的存储空间和传输带宽，在这种情况下，利用芯片内的带宽压缩技术来提高图像的存储空间和传输带宽就显得尤为必要。

带宽压缩技术的目标是用较小的逻辑面积成本，尽可能的提高压缩倍数，减少双倍速率同步动态随机存储器(Double Data Rate,简称DDR)的占用。预测模块作为带宽压缩的一个重要模块，是利用图像相邻像素间存在的空间冗余度，根据邻近像素信息对当前像素值进行预测，预测差值的标准差要远小于原始图像数据的标准差，因此对预测差值进行编码，更有利于使图像数据的理论熵达到最小，从而达到提高压缩效率的目的。

然而，当待压缩图像的纹理复杂多变时，根据固定不变的预测模式来预测待压缩图像的复杂纹理区域时，往往会造成所采用预测模式可能只适用某些区域，而对另一些区域并不适用，从而造成这些区域的预测编码得不到精确的参考，导致理论极限熵得不到最大化的降低，影响预测模块的预测质量。因此，在待压缩图像的纹理复杂多变时，提供一种更加灵活适用的预测方法以实现所有纹理区域的高质量预测成为亟需解决的问题。

发明内容

因此，为解决现有技术存在的技术缺陷和不足，本发明提出一种带宽压缩中复杂纹理的双模式选择预测方法。

具体地，本发明一个实施例提出的一种带宽压缩中复杂纹理的双模式选择预测方法，包括：

将待编码视频图像划分成多个宏块，并确定待编码像素分量；

采用自适应模板预测方法，在自适应模板中选择当前编码宏块中每个当前编码像素的第一参考像素，计算得到一组第一预测残差；

采用自适应十字窗口预测方法，在十字形窗口内选择当前编码宏块中每个当前编码像素的第二参考像素，计算得到一组第二预测残差；

根据一组第一预测残差计算第一绝对残差和，根据一组第二预测残差计算第二绝对残差和；

比较第一绝对残差和与第二绝对残差和，确定当前编码宏块的最优预测方法，得到一组最优预测残差。

在本发明的一个实施例中，采用自适应模板预测方法，在自适应模板中选择当前编码宏块中每个当前编码像素的第一参考像素，计算得到一组第一预测残差的步骤包括：

从待编码视频图像的多个宏块中选择当前编码宏块的参考宏块，将参考宏块中的像素的待编码像素分量的重建值更新至第一自适应模板；

利用率失真优化方法从第一自适应模板中选择当前编码宏块的候选表位；

根据候选表位确定第一参考表位；

在第一参考表位中选择当前编码宏块中每个当前编码像素的第一参考像素，计算一组第一预测残差。

在本发明的一个实施例中，在从待编码视频图像的多个宏块中选择当前编码宏块的参考宏块，将参考宏块中的像素的待编码像素分量的重建值更新至第一自适应模板的步骤之前还包括：

创建第一自适应模板，定义表位数量及表位序号；

从待编码视频图像的多个宏块中选择L个宏块中的像素的待编码像素分量的重建值初始化填充至第一自适应模板。

在本发明的一个实施例中，候选表位的数量为1个，第一参考表位为候选表位。

在本发明的一个实施例中，候选表位的数量为至少2个，根据候选表位确定第一参考表位的步骤包括：

根据候选表位创建第二自适应模板；

利用率失真优化方法从第二自适应模板中选择当前编码宏块的第一参考表位。

在本发明的一个实施例中，根据候选表位创建第二自适应模板的步骤包括：根据候选表位中的至少两个相邻像素的待编码像素分量的重建值进行加权运算，计算得到一组预测像素分量值，由一组预测像素分量值构成第二自适应模板的一个表位。

在本发明的一个实施例中，在第一参考表位中选择当前编码宏块中每个当前编码像素的第一参考像素，计算一组第一预测残差的步骤包括：

采用点对点映射关系在第一参考表位中选择当前编码宏块中当前编码像素的第一参考像素；或

沿特定参考方向在第一参考表位中选择当前编码宏块中当前编码像素的第一参考像素。

在本发明的一个实施例中，采用自适应十字窗口预测方法，在十字形窗口内选择当前编码宏块中每个当前编码像素的第二参考像素，计算得到一组第二预测残差的步骤包括：

确定预测搜索窗口；

在预测搜索窗口内计算当前编码像素的权重，权重包括当前编码像素相对预测搜索窗口内的重建像素的差异度权重和位置权重；

根据权重确定当前编码像素的第二参考像素并计算第二预测残差，得到当前编码宏块的一组第二预测残差。

在本发明的一个实施例中，在预测搜索窗口内计算当前编码像素的权重的步骤包括：

计算当前编码像素的每个像素分量相对重建像素的像素分量的分量差异度权重；

计算当前编码像素的每个像素分量相对重建像素的像素分量的分量位置权重；

计算当前编码像素相对每个重建像素的子权重；

分量差异度权重为其中 为当前编码像素的待编码像素分量的原始值，为编号为k的重建像素的待编码像素分量的重建值，ABS为绝对值运算符；

分量位置权重为其中是根据当前编码像素与每个重建像素的位置关系确定；

子权重为其中，和分别为差异度加权值和位置加权值，为分量加权值；

权重为W_ij＝{W_ij、0，W_ij、1，W_ij、2,...W_ij、k...,W_ij、K-2}。

在本发明的一个实施例中，根据权重确定当前编码像素的第二参考像素并计算第二预测残差的步骤包括：

根据最优值算法从权重的多个子权重中，选择出最优值，将最优值对应的重建像素作为当前编码像素的第二参考像素；

根据当前编码像素的待编码像素分量的原始值与第二参考像素的待编码像素分量的重建值计算当前编码像素的待编码像素分量的第二预测残差。

基于此，本发明具备如下优点：

本发明实施例的带宽压缩中复杂纹理的双模式选择预测方法，采用了两种不同的预测方法，以宏块为预测单元，通过比较两种不同的预测方法得到的预测残差，选择针对该宏块的最优预测方法进行预测残差的计算，对于复杂纹理图像，可根据图像不同区域纹理特征的不同，自适应地选择最优的预测方法，预测效果更优，进一步降低了理论极限熵。

通过以下参考附图的详细说明，本发明的其它方面和特征变得明显。但是应当知道，该附图仅仅为解释的目的设计，而不是作为本发明的范围的限定，这是因为其应当参考附加的权利要求。还应当知道，除非另外指出，不必要依比例绘制附图，它们仅仅力图概念地说明此处描述的结构和流程。

附图说明

下面将结合附图，对本发明的具体实施方式进行详细的说明。

图1为本发明实施例提供的带宽压缩中复杂纹理的双模式选择预测方法的流程图。

图2为本发明实施例提供的待编码视频图像的宏块划分示意图。

图3为本发明实施例提供的自适应模板预测方法的流程图。

图4为本发明实施例提供的第一自适应模板的表位示意图。

图5为本发明实施例提供的当前编码宏块的参考宏块示意图。

图6为本发明实施例提供的第二自适应模板的表位示意图。

图7为本发明实施例提供的当前编码像素的参考像素示意图。

图8为本发明实施例提供的另一种当前编码像素的参考像素示意图。

图9为本发明实施例提供的自适应十字窗口预测方法的流程图。

图10为本发明实施例提供的十字预测搜索窗口的像素索引示意图。

图11为本发明实施例提供的十字预测搜索窗口的重建像素搜索编号示意图。

图12(a)和图12(b)为本发明实施例提供的另一种十字预测搜索窗口的像素索引示意图和重建像素搜索编号示意图。

图13为本发明实施例提供的权重的计算方法流程图。

图14为本发明实施例提供的十字预测搜索窗口中位置子权重的示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

本发明实施例的方法，通过采用两种不同的预测方法比较得到的预测残差，针对图像中不同宏块自适应地选择最优预测方法进行预测残差的计算。

实施例一

参见图1，图1为本发明实施例提供的带宽压缩中复杂纹理的双模式选择预测方法的流程图。该双模式选择预测方法包括如下步骤：

S1、将待编码视频图像划分成多个宏块，并确定待编码像素分量。

参见图2，图2为本发明实施例提供的待编码视频图像的宏块划分示意图。在本发明的一个实施例中，步骤S1中，将待编码视频图像划分为X个相同的宏块MB_x，编码前，将对该X个宏块逐一进行编码预测。每个宏块包含M个像素，M≥4。对第x个宏块MB_x中的M个像素进行顺序编号为C_x,0、C_x,1、C_x,2、...C_x,m...、C_x,M-1，，编号m的像素的第n个像素分量的原始像素值为例如每个宏块包含16×1个像素，第x1个宏块MB_x1中的16个像素进行顺序编号为C_x1,0、C_x1,1、C_x1,2、...C_x1,m...、C_x1,15。设定待编码视频图像的每个像素包含N个像素分量，待编码像素分量为第n个像素分量。例如待编码视频图像的每个像素包含3个像素分量RG B，或包括4个像素分量R G B W，或包含3个像素分量YUV，或包含4个像素分量C M Y K。

S2、采用自适应模板预测方法，在自适应模板中选择当前编码宏块中当前编码像素的第一参考像素，计算得到一组第一预测残差。

S3、采用自适应十字窗口预测方法，在十字形窗口内选择当前编码宏块中所述当前编码像素的第二参考像素，计算得到一组第二预测残差。

S4、根据一组第一预测残差计算第一绝对残差和，根据一组第二预测残差计算第二绝对残差和。

S5、比较第一绝对残差和与第二绝对残差和，确定当前编码宏块的最优预测方法，得到一组最优预测残差。

实施例二

参见图3，图3为本发明实施例提供的自适应模板预测方法的流程图。本发明实施例在实施例一的基础上，步骤S2还包括以下步骤：

S21、创建第一自适应模板，定义表位数量及表位序号。

参见图4，图4为本发明实施例提供的第一自适应模板的表位示意图。定义第一自适应模板包含L个表位，L≥4，每个表位的大小与宏块大小相同，即包含M个单元格，每个单元格对应一个参考像素P_l,m。每个表位的M个单元格记录1个宏块的M个像素的待编码像素分量的重建值,编号l的表位记录的某1个宏块的M个像素的待编码像素分量的重建值为例如定义第一自适应模板包含16个表位，对该16个表位从0到15进行编号，设定序号越小，优先级越高，即优先级高的表位中的M个重建值将优先作为当前编码宏块中M个当前编码像素的待编码像素分量编码预测的参考值。

S22、从待编码视频图像的多个宏块中选择L个宏块中的像素的待编码像素分量的重建值初始化填充至第一自适应模板。

第一自适应模板的初始状态为空，在第一自适应模板的L个表位中需要初始化填充L组重建值，L组重建值从待编码视频图像中从前到后选择其中L个宏块中的像素的待编码像素分量的重建值。具体为：从序号为0的表位开始，在其填充第1个宏块的待编码像素分量的1组重建值，之后每次填充下一个宏块的1组重建值时，仍填充至0表位，并将第一自适应模板中已填充的表位的重建值向后顺序移位。并且，在每次填充前，需要对待填充宏块如第x1个宏块MB_x1中像素的待编码像素分量的重建值根据如下公式(1)检测其与第一自适应模板中已填充的每个表位中的重建值的一致性。

其中，表示待填充宏块MB_x1中像素的待编码像素分量的重建值与第一自适应模板中l表位中已填充的的重建值的一致性参考因子，为待填充宏块MB_x1中编号为m的像素的待编码像素分量的原始像素值，为待填充宏块MB_x1中编号为m的像素的待编码像素分量的重建值，为第一自适应模板中已填充的编号为l的表位中编号为m的像素的待编码像素分量的重建值，ABS为绝对值运算符，d₁和d₂为权重系数。

设定一阈值为Thr₀，当时，判断为该待填充宏块中像素的待编码像素分量的重建值与第一自适应模板中已填充的编号为l的表位中像素的重建值不具备一致性，则将该待填充宏块中像素的待编码像素分量的重建值填充至0表位，并将第一自适应模板中已填充的表位的重建值向后顺序移位。

当时，判断为该待填充宏块中像素的待编码像素分量的重建值与第一自适应模板中已填充的编号为l的表位中像素的重建值具备一致性，则第一自适应模板不改变，或者将第一自适应模板中已填充的编号为l的表位中像素的重建值替换为该待填充宏块中像素的重建值，第一自适应模板中其他已填充的表位中重建值不变。

根据上述方法，经过至少L次填充，L个表位全部填满。又如图4中所示，包含16个表位的第一自适应模板初始化完成后，l表位记录的重建值为

S23、从待编码视频图像的多个宏块中选择当前编码宏块的参考宏块，将参考宏块中的像素的待编码像素分量的重建值更新至第一自适应模板。

参见图5，图5为本发明实施例提供的当前编码宏块的参考宏块示意图。步骤S22中将待编码视频图像中L个宏块中像素的待编码像素分量的重建值初始化填充至第一自适应模板后，对于待编码视频图像中的其余宏块，比如当前编码宏块如第x2个宏块MB_x2，检测其相邻参考方向上的参考宏块MB_x2＇中像素的待编码像素分量的重建值与第一自适应模板中每个表位中的重建值的一致性。当前编码宏块MB_x2的相邻参考方向包括当前编码宏块的正上方、正左方、左上方和右上方，当前编码宏块MB_x2的参考宏块MB_x2＇对应这4个方向分别为上参考宏块、左参考宏块、左上参考宏块和右上参考宏块。一致性检测原理同公式(1)，如下公式(2)所示。

其中，表示参考宏块MB_x2＇中像素的待编码像素分量的重建值与第一自适应模板中l表位中的重建值的一致性参考因子，为参考宏块MB_x2＇中编号为m的像素的待编码像素分量的原始像素值，为参考宏块MB_x2＇中编号为m的像素的待编码像素分量的重建值，为第一自适应模板中编号为l的表位中编号为m的像素的待编码像素分量的重建值，ABS为绝对值运算符，d₁和d₂为权重系数。

(1)若当前编码宏块MB_x2存在上参考宏块，根据公式(2)检测上参考宏块中像素的待编码像素分量的重建值与第一自适应模板中每个表位中的重建值的一致性：

当时，判断为不具备一致性，先将第一自适应模板中所有表位中的重建值从0表位开始向后顺序移位，原15表位中的重建值移除，再将上参考宏块中像素的待编码像素分量的重建值填充至0表位；

当时，判断为具备一致性，将第一自适应模板中l表位中像素的重建值与0表位中的重建值对换，第一自适应模板中其他表位中重建值不变。

(2)若当前编码宏块MB_x2存在左参考宏块，根据公式(2)检测左参考宏块中像素的待编码像素分量的重建值与第一自适应模板中每个表位中的重建值的一致性：

当时，判断为不具备一致性，先将第一自适应模板中所有表位中的重建值从1表位开始向后顺序移位，原15表位中的重建值移除，再将左参考宏块中像素的待编码像素分量的重建值填充至1表位；

当时，判断为具备一致性，将第一自适应模板中l表位中像素的重建值与1表位中的重建值对换，第一自适应模板中其他表位中重建值不变。

(3)若当前编码宏块MB_x2存在左上参考宏块，根据公式(2)检测左上参考宏块中像素的待编码像素分量的重建值与第一自适应模板中每个表位中的重建值的一致性：

当时，判断为不具备一致性，先将第一自适应模板中所有表位中的重建值从2表位开始向后顺序移位，原15表位中的重建值移除，再将左上参考宏块中像素的待编码像素分量的重建值填充至2表位；

当时，判断为具备一致性，将第一自适应模板中l表位中像素的重建值与2表位中的重建值对换，第一自适应模板中其他表位中重建值不变。

(4)若当前编码宏块MB_x2存在右上参考宏块，根据公式(2)检测右上参考宏块中像素的待编码像素分量的重建值与第一自适应模板中每个表位中的重建值的一致性：

当时，判断为不具备一致性，先将第一自适应模板中所有表位中的重建值从3表位开始向后顺序移位，原15表位中的重建值移除，再将上参考宏块中像素的待编码像素分量的重建值填充至3表位；

当时，判断为具备一致性，将第一自适应模板中l表位中像素的重建值与3表位中的重建值对换，第一自适应模板中其他表位中重建值不变。

S24、利用率失真优化方法从第一自适应模板中选取当前编码宏块的候选表位。

根据步骤S23，对当前编码宏块MB_x2确定了其第一自适应模板，第一自适应模板的L个表位中记录了L组重建值，对该L组重建值进行率失真优化，选择出几组候选重建值，即选择出候选表位。率失真优化公式具体如下：

其中，为l表位中重建值的率失真优化值，为当前编码宏块MB_x2中编号为m的像素的待编码像素分量的原始像素值，为l表位中编号为m的像素的待编码像素分量的重建值，ABS为绝对值运算符，c₁和c₂为权重系数。

根据公式(3)，可得到当前编码宏块MB_x2的第一自适应模板的一组率失真优化值为

当L＝16时，包含16个值。从16个值中，选择出较小的L′个值，L′≥1，将其对应的L′个参考表位确定为候选表位。例如可选择3个较小的值。将此3个较小的值对应的表位确定为当前编码宏块MB_x2的3个候选表位。

S25、根据候选表位创建第二自适应模板。

参见图6，图6为本发明实施例提供的第二自适应模板的表位示意图。对步骤S24中得到的每一个候选表位，对其M个重建值分别计算其预测像素分量值。预测像素分量值根据如下公式(4)计算：

其中，表示L′个候选表位中，编号为l′的表位中编号为m的像素的待编码像素分量的预测像素分量值，w₁、w₂、w₃、w₄为一组预测参数。

根据公式(4)，l′表位中值是根据编号为l′的表位中编号为m的表格中的重建值与该重建值在该表位中左右相邻的两个重建值和进行加权运算后得到。

设定l′表位中第一个像素的待编码像素分量的预测像素分量值为

且l′表位中最后一个像素的待编码像素分量的预测像素分量值为

通过公式(4)～(6)，每给定一组预测参数w₁、w₂、w₃、w₄，计算得到一组l′表位的预测像素分量值为

预设预测参数w₁、w₂、w₃、w₄有T种不同组合，则可以计算得到T组l′表位的预测像素分量值。对于L′个候选表位，便可以计算得到Z＝T×L′个表位的预测像素分量值，由这Z个表位构成第二自适应模板，并对这Z个表位从0到Z-1重新进行编号。

优选地，当L′＝3,T＝4时，Z＝3×4＝12，即第二自适应模板包含12个表位，当M＝16时，编号为z的表位记录的16个预测像素分量值如下：

S26、利用率失真优化方法从第二自适应模板中选取当前编码宏块的第一参考表位。

对第二自适应模板的Z个表位的预测像素分量值再次进行率失真优化，具体如下：

其中，为编号为z的表位中预测像素分量值的率失真优化值，为当前编码宏块MB_x2中编号为m的像素的待编码像素分量的原始像素值，为z表位中编号为m的像素的待编码像素分量的预测像素分量值，ABS为绝对值运算符，c₃和c₄为权重系数。

根据公式(7)，可得到当前编码宏块MB_x2的第二自适应模板的一组率失真优化值为

从Z个中选择一个最优值，即最优率失真优化值，将该最优率失真优化值对应的表位z＇表位作为当前编码宏块MB_x2的第一参考表位，z＇表位中的M个预测像素分量值作为当前编码宏块MB_x2中M个像素的待编码像素分量的第一参考值。优选地，最优率失真优化值比如为最小率失真优化值，即的最小值。

S27、在第一参考表位中选择当前编码宏块中每个当前编码像素的第一参考像素，计算一组第一预测残差。

参见图7，图7为本发明实施例提供的当前编码像素的参考像素示意图。在本发明的一个实施例中，计算第一预测残差时，采用点对点预测方法。如图7中所示，C_x2,m表示当前编码宏块中的当前编码像素，P_z′,m表示第一参考表位z＇表位中预测像素分量值对应的第一参考像素。根据点对点映射，将z＇表位中编号m的参考像素P_z′,m作为当前编码像素C_x2,m的第一参考像素，预测像素分量值作为当前编码像素C_x2,m的待编码像素分量的第一参考值。则当前编码宏块MB_x2中当前编码像素C_x2,m的待编码像素分量的第一预测残差为

参见图8，图8为本发明实施例提供的另一种当前编码像素的参考像素示意图。在本发明的另一个实施例中，计算第一预测残差时，对当前编码宏块MB_x2中的当前编码像素C_x2,m选择其第一参考像素时，对该当前编码像素C_x2,m若干特定参考方向上对应的若干相邻参考像素，分别计算每一个相邻参考像素对应的预测像素分量值与当前编码像素C_x2,m的待编码像素分量的原始像素值的差的绝对值，选择多个差的绝对值中的最小值对应的参考像素作为当前编码像素的第一参考像素，计算当前编码像素C_x2,m的第一预测残差。

具体地，该当前编码像素C_x2,m的特定参考方向包括垂直纹理方向、45度纹理方向、135度纹理方向，垂直纹理方向对应的相邻参考像素为上相邻参考像素，45度纹理方向对应的相邻参考像素为右上相邻参考像素，135度纹理方向对应的相邻参考像素为左上相邻参考像素。如图7中所示，当前编码像素C_x2,6的上相邻参考像素为P_z′,6，左上相邻参考像素为P_z′,5，右上相邻参考像素为P_z′,7。当前编码像素C_x2,6的待编码像素分量的原始像素值为上相邻参考像素P_z′,6的待编码像素分量的预测像素分量值为左上相邻参考像素P_z′,5的待编码像素分量的预测像素分量值为右上相邻参考像素P_z′,7的待编码像素分量的预测像素分量值为

分别计算 并比较大小：

若最小，选择P_z′,5作为当前编码像素C_x2,6的第一参考像素，则

若最小，选择P_z′,6作为当前编码像素C_x2,6的第一参考像素，则

若最小，选择P_z′,7作为当前编码像素C_x2,6的第一参考像素，则

本发明实施例的自适应模板预测方法通过定义自适应模板，并针对不同宏块采用一致性检测方法动态更新自适应模板中的表位数据，同时采用率失真优化算法从自适应模板的多个表位中选择出每个宏块的最优参考表位，进而计算宏块的预测残差。与现有的方法相比，当待压缩图像的纹理较为复杂时，对应不同的纹理区域，可以提供适用的自适应模板供选择，更容易提高当前宏块中的像素与自适应模板中选定的像素匹配的概率，能够提高对复杂纹理区域求预测残差值的精度，进一步降低理论极限熵，增大带宽压缩率。

实施例三

本发明实施例与实施例二的不同在于，步骤S24中选择出的候选表位数量为1个，则将该候选表位直接作为第一参考表位，即不进行步骤S25～S26，直接到达步骤S27。

实施例四

参见图9，图9为本发明实施例提供的自适应十字窗口预测方法的流程图。本发明实施例在实施例一至实施例三任一基础上，步骤S3还包括以下步骤：

S31、确定预测搜索窗口

参见图10，图10为本发明实施例提供的十字预测搜索窗口的像素索引示意图。在待编码视频图像像素区域内，用C_ij代表当前编码像素，P_ij代表已编码的重建像素。其中，ij为当前编码像素或重建像素的位置索引。设定一个滑动窗口作为预测搜索窗口，预测搜索窗口的形状可以为水平条形、垂直条形、L形、十字形、丁字形、矩形或其他不规则形状。预测搜索窗口的大小根据视频图像的纹理特征及预测精度的需求进行确定，对于纹理比较细或对预测精度需求较低的视频图像，可设置较小的预测搜索窗口，对于纹理比较粗或对预测精度需求较高的视频图像，可设置较大的预测搜索窗口。

在本发明的一个实施例中，预测搜索窗口的形状为十字形，大小为包含K个像素。该十字形预测搜索窗口的上部、下部、左边和右边包含的像素数目可以相等，也可以不相等。当前编码像素C_ij可设定位于该十字形预测搜索窗口内，也可以设定位于该十字形预测搜索窗口外。当前编码像素C_ij可设定位于该十字形预测搜索窗口水平方向的右端，也可以设定位于该十字形预测搜索窗口垂直方向的下端。优选地，当前编码像素C_ij位于该十字形预测搜索窗口内的最下端位置。预测搜索窗口内的其他位置为已编码的K-1个重建像素P_i,j-1、P_i,j-2、P_i,j-3、...P_i-1,j-3、P_i-2,j-3、...P_i+1,j-3、P_i+2,j-3、...。在对当前编码像素C_ij进行编码预测时，根据K-1个重建像素的重建值NewData(P)与当前编码像素C_ij的原始值来预测当前编码像素C_ij的第二预测残差。

参见图11，图11为本发明实施例提供的十字预测搜索窗口的重建像素搜索编号示意图。本发明实施例中，根据K-1个重建像素的重建值来预测当前编码像素C_ij的第二预测残差时，对十字形窗口内的K-1个重建像素进行顺序编号为0、1、2、...k...、K-2，按照编号对重建像素P₀、P₁、P₂、...P_k...、P_K-2进行顺序搜索，先从左至右搜索水平方向的所有重建像素，再从上至下搜索竖直方向的所有重建像素。或者先搜索竖直方向的，再搜索水平方向的。例如，本发明实施例的十字形预测搜索窗口内包含12个重建像素，水平方向从左至右、竖直方向从上至下，对12个重建像素进行编号，从0编号至11，对该12个重建像素P₀、P₁、P₂、...、P₁₁从编号为0的重建像素P₀开始搜索，直至搜索到编号为11的重建像素P₁₁，寻找当前编码像素C_ij的参考像素，计算第二预测残差。

参见图12，图12(a)和图12(b)为本发明实施例提供的另一种十字预测搜索窗口的像素索引示意图和重建像素搜索编号示意图。该十字形预测搜索窗口内包含4个重建像素，水平方向从左至右、竖直方向从上至下，对4个重建像素进行编号，从0编号至3，对该4个重建像素P₀、P₁、P₂、P₃从编号为0的重建像素P₀开始搜索，直至搜索到编号为3的重建像素P₃，寻找当前编码像素C_ij的参考像素，计算预测残差。该十字形预测搜索窗口内包含最少像素数，进一步节约传输的附加比特数。

当前编码像素C_ij的第二预测残差计算方法如下述步骤描述。

S32、在预测搜索窗口内计算当前编码像素C_ij的权重W_ij。

对应K-1个已编码的重建像素P₀、P₁、P₂、...P_k...、P_K-2，权重W_ij包括K-1个子权重，即

W_ij＝{W_ij、0，W_ij、1，W_ij、2,...W_ij、k...,W_ij、K-2}

其中，W_ij、k为当前编码像素C_ij对应已编码的重建像素P_k的子权重。子权重W_ij、k为当前编码像素C_ij的N个像素分量相对重建像素P_k的N个像素分量的N个分量子权重加权求和的结果，即

其中，为当前编码像素C_ij的待编码像素分量相对重建像素P_k的待编码像素分量的分量权重，为分量加权值，且满足在本发明的一个实施例中，的取值为在本发明的另一个实施例中，根据像素分量分别与N个像素分量的距离大小来确定，距离越近，则对应的越大；在本发明的又一个实施例中，根据经验确定的取值。

在本发明的一个实施例中，在预测搜索窗口内计算当前编码像素C_ij的权重W_ij时，权重W_ij由当前编码像素的差异度权重DIF_ij和位置权重POS_ij共同确定。对应K-1个已编码的重建像素P₀、P₁、P₂、...P_k...、P_K-2，差异度权重DIF_ij有K-1个差异度子权重DIF_ij、k，位置权重POS_ij有K-1个位置子权重POS_ij、k，即

DIF_ij＝{DIF_ij、0,DIF_ij、1,DIF_ij、2,...DIF_ij、k...,DIF_ij、K-2}

POS_ij＝{POS_ij、0,POS_ij、1,POS_ij、2,...POS_ij、k...,POS_ij、K-2}

参见图13，图13为本发明实施例提供的权重的计算方法流程图，权重W_ij的确定方法包括如下步骤：

S321、计算当前编码像素的像素分量相对重建像素的像素分量的分量差异度权重每个像素分量的分量差异度权重有K-1个分量差异度子权重即

其中，分量差异度子权重根据当前编码像素C_ij的像素分量与重建像素P_k的像素分量的差异度来确定。

优选地，本发明实施例中，分量差异度子权重为像素分量的原始值与重建像素分量的重建值的差值的绝对值，即

S322、计算当前编码像素的像素分量相对重建像素的像素分量的分量位置权重每个像素分量的分量位置权重有K-1个分量位置子权重即

其中，分量位置子权重根据当前编码像素C_ij与重建像素P_k的位置关系来确定。

参见图14，图14为本发明实施例提供的十字预测搜索窗口中位置子权重的示意图。本发明实施例中，以当前编码像素C_ij与重建像素P_k相间隔的像素数作为分量位置子权重对应预测搜索窗口中的K-1个重建像素P₀、P₁、P₂、...P_k...、P_K-2，例如与当前编码像素C_ij相邻的重建像素P₁₁与C_ij间隔像素数为0，则确定对应分量位置子权重为重建像素P₁₀与C_ij间隔像素数为1，则确定对应分量位置子权重为同理，对应共12个重建像素P₀、P₁、P₂、...P_k...、P_K-2的12个分量位置子权重为：

S323、计算当前编码像素的像素分量相对重建像素的像素分量的分量权重每个像素分量的分量权重有K-1个分量子权重即

其中，分量子权重为其中，和分别为差异度加权值和位置加权值，且满足在本发明的一个实施例中，取在本发明的另一个实施例中，根据的大小确定对应的值，越大，则越小；根据的大小确定的值，越大，则越小。在本发明的又一个实施例中，和的值根据经验值确定。

S324、计算当前编码像素C_ij相对每一个重建像素P_k的子权重W_ij、k。当前编码像素C_ij相对重建像素P_k的子权重W_ij、k为当前编码像素C_ij的N个像素分量相对重建像素P_k的N个像素分量的N个分量子权重加权求和，即

其中，为分量加权值，且满足在本发明的一个实施例中，的取值为在本发明的另一个实施例中，根据像素分量分别与N个像素分量的距离大小来确定，距离越近，则对应的越大；在本发明的又一个实施例中，根据经验确定的取值。

S325、计算当前编码像素C_ij的权重，则权重为

S33、根据权重W_ij确定当前编码像素C_ij的第二参考像素并计算第二预测残差。包括如下步骤：

S331、根据权重W_ij确定当前编码像素C_ij的第二参考像素P_s。具体地，根据最优值算法从权重W_ij的K-1个子权重W_ij、k中，选择出最优值，将最优值对应的重建像素P_s作为当前编码像素C_ij的第二参考像素。最优值确定算法比如是最小权重确定算法，即从权重W_ij＝{W_ij、0,W_ij、1,W_ij、2,...W_ij、k...,W_ij、K-2}的K-1个子权重中，选择出子权重最小值如W_ij、s对应的重建像素P_s，将重建像素P_s作为当前编码像素C_ij的第二参考像素。

S332、计算当前编码像素C_ij的第二预测残差具体地，根据当前编码像素C_ij的待编码像素分量的原始值与第二参考像素即P_s的待编码像素分量的重建值计算当前编码像素C_ij的待编码像素分量相对第二参考像素P_s的第二预测残差为

本发明实施例通过计算重建像素的权重获得参考像素的方式，计算当前预测像素的预测残差，与现有方法相比，当待压缩图像的人造纹理较为复杂时，通过定义不同的参考像素获得预测残差，所定义的参考像素为图像中的原始像素，此种方式更容易提高当前预测像素的准确率，能够进一步提高复杂纹理区域预测残差的精度，进一步降低理论极限熵，提高带宽压缩率。此外利用符合纹理特征的十字形搜索窗口寻找参考像素，对于复杂纹理图像，预测效果更优，并且十字形窗口内像素数少，节约了传输的比特数。

实施例五

本发明实施例在实施例一至实施例四任一基础上，步骤S4还包括以下步骤：

S41、根据一组第一预测残差计算当前编码宏块MB_x2的第一绝对残差和。

根据公式(4)中得到的第一预测残差，计算当前编码宏块MB_x2的第一绝对残差和为

公式(13)表示第一绝对残差和是当前编码宏块MB_x2中M个当前编码像素的第一预测残差的绝对值的和。

S42、根据一组第二预测残差计算当前编码宏块MB_x2的第二绝对残差和。

设定当前编码宏块MB_x2中的第1个当前编码像素为C_ij，则当前编码宏块MB_x2包含的M个当前编码像素为C_ij、C_ij+1、C_ij+2、...C_ij+m...、C_ij+M-1，根据步骤S332，当前编码宏块MB_x2中M个像素的待编码像素分量的一组第二预测残差为

则当前编码宏块MB_x2的第二绝对残差和为

实施例六

本发明实施例在实施例一至实施例五任一基础上，在步骤S5中，根据两种预测方法得到的绝对残差和，即第一绝对残差和和第二绝对残差和比较第一绝对残差和与第二绝对残差和，选择其中最小值对应的预测方法作为当前编码宏块MBx2的最优预测方法，将根据该最优预测方法确定的一组参考像素作为当前编码宏块MBx2的一组最优参考像素，将根据该最优预测方法计算得到的一组预测残差作为当前编码宏块MBx2的一组最优预测残差。

具体地，若则确定自适应模板预测方法为最优预测方法，根据自适应模板预测方法得到的一组第一预测残差为当前编码宏块MB_x2的一组最优预测残差；

若则确定自适应十字窗口预测方法为最优预测方法，根据十字窗口预测方法得到的一组第二预测残差为当前编码宏块MB_x2的一组最优预测残差。

若则预设一个默认预测方法，确定该默认预测方法为最优预测方法，根据该默认预测方法得到的一组预测残差为当前编码宏块MB_x2的一组最优预测残差。默认预测方法可设定为自适应模板预测方法，或设定为自适应十字窗口预测方法。

本文中，重建值是指已压缩图像解压端得到的像素分量值，进一步，预测残差加上参考值，即参考像素的对应像素分量值，便可得重建值。

综上所述，本发明实施例的带宽压缩中复杂纹理的双模式选择预测方法，采用了两种不同的预测方法，以宏块为预测单元，通过比较两种不同的预测方法得到的预测残差，选择针对该宏块的最优预测方法进行预测残差的计算，对于复杂纹理图像，可根据图像不同区域纹理特征的不同，自适应地选择最优的预测方法，预测效果更优，进一步降低了理论极限熵。

综上所述，本文中应用了具体个例对本发明基于带宽压缩中复杂纹理的双模式选择预测方法进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，本发明的保护范围应以所附的权利要求为准。

Claims (10)

1.一种带宽压缩中复杂纹理的双模式选择预测方法，其特征在于，包括：

将所述待编码视频图像划分成多个宏块，并确定待编码像素分量；

采用自适应模板预测方法，在自适应模板中选择当前编码宏块中每个当前编码像素的第一参考像素，计算得到一组第一预测残差；

采用自适应十字窗口预测方法，在十字形窗口内选择所述当前编码宏块中每个所述当前编码像素的第二参考像素，计算得到一组第二预测残差；

根据所述一组第一预测残差计算第一绝对残差和，根据所述一组第二预测残差计算第二绝对残差和；

比较所述第一绝对残差和与所述第二绝对残差和，确定所述当前编码宏块的最优预测方法，得到一组最优预测残差。

2.根据权利要求1所述的方法，其特征在于，所述采用自适应模板预测方法，在自适应模板中选择当前编码宏块中每个当前编码像素的第一参考像素，计算得到一组第一预测残差的步骤包括：

从所述待编码视频图像的多个宏块中选择所述当前编码宏块的参考宏块，将所述参考宏块中的像素的待编码像素分量的重建值更新至第一自适应模板；

利用率失真优化方法从所述第一自适应模板中选择所述当前编码宏块的候选表位；

根据所述候选表位确定第一参考表位；

在所述第一参考表位中选择所述当前编码宏块中每个所述当前编码像素的第一参考像素，计算一组第一预测残差。

3.根据权利要求2所述的方法，其特征在于，在所述从所述待编码视频图像的多个宏块中选择所述当前编码宏块的参考宏块，将所述参考宏块中的像素的待编码像素分量的重建值更新至第一自适应模板的步骤之前还包括：

创建所述第一自适应模板，定义表位数量及表位序号；

从所述待编码视频图像的所述多个宏块中选择L个宏块中的像素的待编码像素分量的重建值初始化填充至所述第一自适应模板。

4.根据权利要求2所述的方法，其特征在于，所述候选表位的数量为1个，所述第一参考表位为所述候选表位。

5.根据权利要求2所述的方法，其特征在于，所述候选表位的数量为至少2个，所述根据所述候选表位确定第一参考表位的步骤包括：

根据所述候选表位创建第二自适应模板；

利用率失真优化方法从所述第二自适应模板中选择所述当前编码宏块的第一参考表位。

6.根据权利要求5所述的方法，其特征在于，根据所述候选表位创建第二自适应模板的步骤包括：

根据所述候选表位中的至少两个相邻像素的待编码像素分量的重建值进行加权运算，计算得到一组预测像素分量值，由所述一组预测像素分量值构成所述第二自适应模板的一个表位。

7.根据权利要求2所述的方法，其特征在于，所述在所述第一参考表位中选择所述当前编码宏块中每个所述当前编码像素的第一参考像素，计算一组第一预测残差的步骤包括：

采用点对点映射关系在所述第一参考表位中选择所述当前编码宏块中所述当前编码像素的第一参考像素；或

沿特定参考方向在所述第一参考表位中选择所述当前编码宏块中所述当前编码像素的第一参考像素。

8.根据权利要求1所述的方法，其特征在于，所述采用自适应十字窗口预测方法，在十字形窗口内选择所述当前编码宏块中每个所述当前编码像素的第二参考像素，计算得到一组第二预测残差的步骤包括：

确定预测搜索窗口；

在所述预测搜索窗口内计算所述当前编码像素的权重，所述权重包括当前编码像素相对所述预测搜索窗口内的重建像素的差异度权重和位置权重；

根据所述权重确定所述当前编码像素的第二参考像素并计算第二预测残差，得到当前编码宏块的一组第二预测残差。

9.根据权利要求8所述的方法，其特征在于，在所述预测搜索窗口内计算所述当前编码像素的权重的步骤包括：

计算所述当前编码像素的每个所述像素分量相对重建像素的像素分量的分量差异度权重；

计算所述当前编码像素的每个像素分量相对重建像素的像素分量的分量位置权重；

计算所述当前编码像素相对每个所述重建像素的子权重；

所述分量差异度权重为其中 为所述当前编码像素的待编码像素分量的原始值，为编号为k的所述重建像素的待编码像素分量的重建值，ABS为绝对值运算符；

所述分量位置权重为其中是根据所述当前编码像素与每个所述重建像素的位置关系确定；

所述子权重为其中，和分别为差异度加权值和位置加权值，为分量加权值；

所述权重为W_ij＝{W_ij、0，W_ij、1，W_ij、2,...W_ij、k...,W_ij、K-2}。

10.根据权利要求9所述的方法，其特征在于，所述根据所述权重确定所述当前编码像素的第二参考像素并计算第二预测残差的步骤包括：

根据最优值算法从所述权重的多个子权重中，选择出最优值，将最优值对应的重建像素作为当前编码像素的第二参考像素；

根据当前编码像素的待编码像素分量的原始值与第二参考像素的待编码像素分量的重建值计算当前编码像素的待编码像素分量的第二预测残差。