CN111107348A - 带宽压缩中的预测方法 - Google Patents

Abstract

本发明涉及一种带宽压缩中的预测方法，包括：将图像分成大小为m×n的多个MB；其中，m、n分别为每个所述MB的行分辨率、列分辨率；分别采用多分量参考预测方法与多线程跳块扫描预测方法对所述多个MB进行预测以获取对应的残差主观和；根据所述残差主观和确定所述多个MB最终的预测残差。本发明提供的带宽压缩中的预测方法，以多分量参考预测方法与多线程跳块扫描预测方法为基础，通过预测选择算法可以选择出最优的一种预测方法，对于复杂纹理图像进一步优化了预测效果。

Description

带宽压缩中的预测方法

技术领域

本发明涉及一种多媒体技术领域，特别涉及一种带宽压缩中的预测方法。

背景技术

带宽压缩技术主要由四个部分组成，包含：预测模块、量化模块、码控模块和熵编码模块。其中预测模块作为一个重要的模块，是利用相邻像素间存在的空间冗余度，根据邻近像素信息对当前像素值进行预测，预测差值的标准差远小于原始图像数据的标准差，因此对预测差值进行编码，更有利于使图像数据的理论熵达到最小，达到提高压缩效率的目的。目前预测模块的算法主要分为两类，纹理相关预测和像素值相关预测。

然而，当待压缩图像的纹理复杂多变时，预测待压缩图像的复杂纹理区域时往往因图像纹理之间的相关性较差，预测编码得不到精确的参考，导致理论极限熵得不到最大化的降低，影响预测模块的质量。因此，在待压缩图像的纹理复杂多变时，提高预测模块的质量成为亟需解决的问题。

随着视频的图像分辨率的增加，需要占用较多的存储空间和传输带宽，在这种情况下，利用芯片内的带宽压缩技术来提高图像的存储空间和传输带宽就显得尤为必要。

在图像纹理复杂区域，单一的预测方法往往不能获取最佳的预测效果，导致图像效果变差。

发明内容

因此，为解决现有技术存在的技术缺陷和不足，本发明提出一种带宽压缩中的预测方法。

具体地，本发明一个实施例提出的一种带宽压缩中的预测方法，包括：

将图像分成大小为m×n的多个MB；其中，m、n分别为每个所述MB的行分辨率、列分辨率；

分别采用多分量参考预测方法与多线程跳块扫描预测方法对所述多个MB进行预测以获取对应的残差主观和；

根据所述残差主观和确定所述多个MB最终的预测残差。

本发明至少具备如下优点：

本发明提供的带宽压缩中的预测方法，以多分量参考预测方法与多线程跳块扫描预测方法为基础，通过预测选择算法可以选择出最优的一种预测方法，对于复杂纹理图像进一步优化了预测效果。

附图说明

下面将结合附图，对本发明的具体实施方式进行详细的说明。

图1为本发明实施例提供的一种带宽压缩中的预测方法流程图；

图2为本发明实施例提供的一种带宽压缩中的多分量参考预测方法流程图；

图3为本发明提供的另一种用于图像压缩的多分量参考预测方法流程图；

图4为本发明实施例提供的一种当前像素分量和临近像素分量位置关系示意图；

图5为本发明实施例提供的一种梯度值计算示意图；

图6为本发明实施例提供的另一种像素级多分量参考的自适应方向预测方法的算法原理示意图；

图7为本发明实施例提供的一种带宽压缩中多线程跳块扫描预测方法流程图；

图8为本发明实施例提供的一种图像MB划分标记示意图；

图9为本发明实施例提供的另一种图像MB划分标记示意图；

图10为本发明实施例提供的一种图像多线程扫描示意图；

图11为本发明实施例提供的一种当前MB与距离最近的参考MB的原始位置示意图；

图12为本发明实施例提供的一种当前MB与距离最近的参考MB的拉近位置示意图；

图13为本发明实施例提供的一种当前MB全参考方向的示意图；

图14为本发明实施例提供的一种当前MB无下参考方向的示意图；

图15为本发明实施例提供的一种当前像素确定第二参考像素的示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

实施例一

请参见图1，图1为本发明实施例提供的一种带宽压缩中的预测方法流程图。该方法包括如下步骤：

步骤1、将图像分成大小为m×n的多个MB；其中，m、n分别为每个所述MB的行分辨率、列分辨率；

步骤2、分别采用多分量参考预测方法与多线程跳块扫描预测方法对所述多个MB进行预测以获取对应的残差主观和；

步骤3、根据所述残差主观和确定所述多个MB最终的预测残差。

具体的，步骤2可以包括如下步骤：

步骤21、采用多分量参考预测方法对所述多个MB进行预测以获取第一残差主观和；

步骤22、采用多线程跳块扫描预测方法对所述多个MB进行预测以获取第二残差主观和。

其中，步骤21可以包括如下步骤：

步骤211、采用多分量参考预测方法对当前MB进行预测以获取当前MB中每个像素分量的第一预测残差；

步骤212、根据所述当前MB中每个像素的第一预测残差分别计算当前MB的第一残差绝对值和与与第一残差标准差；

步骤213、根据所述第一残差绝对值和与第一残差标准差计算所述第一残差主观和。

进一步地，对于步骤211，可以包括如下步骤：

步骤2111、确定当前像素的多个像素分量；

步骤2112、分别计算所述当前像素的多个像素分量沿多个纹理方向的像素差异度以确定所述当前像素分量的梯度值；

步骤2113、根据所述梯度值和预设的加权系数确定所述当前像素分量的参考值；

步骤2114、通过所述参考值确定所述当前像素分量的预测残差。

对于步骤22，可以包括如下步骤：

步骤221、采用多线程跳块扫描预测方法对所述当前MB进行预测以获取所述当前MB中每个像素分量的第二预测残差；

步骤222、根据所述当前MB中每个像素的第二预测残差分别计算当前MB的第二残差绝对值和与第二残差标准差；

步骤223、根据所述第二残差绝对值和与第二残差标准差计算所述第二残差主观和。

进一步地，步骤221可以包括如下步骤：

步骤2211、采用P种标记符号依次循环对所述多个MB进行标记；其中，P为大于1的自然数；

步骤2212、采取多线程扫描方式扫描所述第N标记符号对应的MB；其中，N为1～P的整数；

步骤2213、确定所述第N标记符号对应的MB的参考方向；

步骤2214、通过所述参考方向计算当前像素的参考像素；

步骤2215、通过所述参考像素确定当前像素的所述第二预测残差；

步骤2216、按设定顺序将所述N的取值在1～P中进行遍历以实现对所述多个MB的预测。

进一步地，对于步骤2213，可以包括如下步骤：

步骤22131、以当前MB四周已扫描的参考MB的方向作为当前MB的参考方向；其中，

若任一方向没有参考MB，则置空不处理。

对于步骤2214，可以包括如下步骤：

步骤22141、通过当前MB的参考方向确定所述第一参考像素；

步骤22142、根据所述第一参考像素计算所述参考方向的权重；

步骤22143、选取权重最小的所述参考方向作为所述当前MB的纹理方向；

步骤22144、通过所述当前MB的所述纹理方向计算第二参考像素。

对于步骤3，可以包括如下步骤：

步骤31、比较所述第一残差主观和与所述第二残差主观和的大小以确定所述当前MB最终的预测残差；其中，

若第一残差主观和小于所述第二残差主观和，则以所述第一预测残差作为所述当前MB最终的预测残差；

若第一残差主观和大于所述第二残差主观和，则以所述第二预测残差作为所述当前MB最终的预测残差。

进一步地，所述第一残差主观和与第二残差主观和的计算公式为：

SUBD_k＝a₁×SAD_k+a₂×E_k

其中，k为预测模式的序号，取值为1或2；

SUBD₁为第一残差主观和，SUBD₂为第二残差主观和；

a₁与a₂为按场景配置的权重系数；

SAD₁为当前MB中所有像素的第一残差绝对值和，SAD₂为当前MB中所有像素的第二残差绝对值和；

E₁为当前MB中所有像素的第一残差标准差，E₂为当前MB中所有像素的第二残差标准差。

本实施例提供的带宽压缩中的预测方法，以多分量参考预测方法与多线程跳块扫描预测方法为基础，通过预测选择算法可以选择出最优的一种预测方法，对于复杂纹理图像进一步优化了预测效果。

实施例二

本实施例是在上述实施例的基础上重点对本发明的原理及实现方式进行说明。具体的，本发明提供的带宽压缩中的预测方法包括如下步骤：

步骤1、将图像分成大小为m×n的多个MB；其中，m、n分别为每个所述MB的行分辨率、列分辨率，即每个MB中包含m×n个像素分量；其中，每个MB的大小可以任意设定，优选地，可以设定为8×1、8×2、16×1、16×2、32×1或32×2。

步骤2、分别采用多分量参考预测方法与多线程跳块扫描预测方法对所述多个MB进行预测以获取每个像素分量对应的预测残差；

其中，采用多分量参考预测方法对当前MB进行预测以获取当前MB中每个像素的第一预测残差，采用多线程跳块扫描预测方法对所述当前MB进行预测以获取所述当前MB中每个像素的第二预测残差；进一步地，两种预测方法的预测顺序可以根据实际需要自行设定。

步骤3、分别计算两种预测方法对应的预测残差绝对值和与预测残差标准差；其中，预测残差绝对值和与预测残差标准差的计算公式如下：

其中，k的取值为1或2，用于分别表示多分量参考预测方法与自适应纹理渐变预测方法(下同)；Res_{1_i}为采用多分量参考预测方法预测时当前MB中第i像素分量的预测残差，Res_{2_i}为采用自适应纹理渐变预测方法预测时当前MB中第i像素分量的预测残差；SAD₁为第一预测残差绝对值和，SAD₂为第二预测残差绝对值和；E₁为第一预测残差标准差，E₂为第二预测残差标准差；ABS为绝对值运算；AVE_k为当前MB中所有像素分量的预测残差均值，其计算公式如下：

第4步、分别计算两种预测方法对应的残差主观和；残差主观和的计算公式如下：

SUBD_k＝a₁×SAD_k+a₂×E_k

其中，a₁与a₂分别为预测残差绝对值和、预测残差标准差对应的权重系数；SUBD₁为第一残差主观和，SUBD₂为第二残差主观和。

第5步、比较第一残差主观和与第二残差主观和的大小以选择当前MB最终的预测方法；

其中，若所述第一残差主观和小于所述第二残差主观和，则选择多分量参考预测方法作为当前MB最终的预测方法，即选择第一预测残差作为所述当前MB中每个像素的最终预测残差；

若所述第一残差主观和大于所述第二残差主观和，则选择多线程跳块扫描预测方法作为当前MB最终的预测方法，即选择第二预测残差作为所述当前MB中每个像素的最终预测残差。

实施例三

本实施例是在上述实施例的基础上重点对带宽压缩中的多分量参考预测方法的原理及实现方式进行说明。

请参见图2，图2为本发明实施例提供的一种带宽压缩中的多分量参考预测方法流程图，该方法包括如下步骤：

步骤1、确定当前像素的多个像素分量；

其中，所述多个分量可以为R、G、B三分量。

步骤2、分别计算所述当前像素的多个分量沿多个纹理方向的像素差异度以确定所述当前像素分量的梯度值；

在本步骤中，分别计算当前像素的R、G、B三分量沿多个纹理方向的像素差异度以确定所述当前像素分量的梯度值，具体可以为：分别计算当前像素的R、G、B三分量沿多个纹理方向的像素差异度以确定所述当前像素分量的梯度值，将所述像素梯度值最小的纹理方向确定为所述当前像素分量的梯度值。

其中，分别计算当前像素的R、G、B三分量沿多个纹理方向的像素梯度值，具体可以为：分别计算当前像素的R、G、B三分量和沿多个纹理方向的临近像素的R、G、B三分量差值的绝对值，将所述差值绝对值作为所述当前像素的像素梯度值。

所述临近像素与所述当前像素紧邻，或者，所述临近像素与所述当前像素间隔设定的像素单元。

根据所述梯度值和预设的加权系数确定所述当前像素分量的参考值，具体可以为：将所述梯度值和预设的第一加权系数相乘后进行加权运算获取第一加权梯度值。

步骤3、根据所述梯度值和预设的加权系数确定所述当前像素分量的参考值；

本步骤包括：根据所述梯度值和预设的加权系数确定所述当前像素分量的参考值，还包括：在获取第一加权梯度值之后，按照预设规则选取出所述第一加权梯度值的第一最优值；将所述第一最优值和预设的第二加权系数相乘后进行加权运算以获取第二加权梯度值；按照预设算法选取出所述第二加权梯度值的第二最优值；将所述第二最优值作为所述当前像素的参考方向；所述第一加权梯度值的第一最优值为所述所述第一加权梯度值中的最小值；所述第二加权梯度值的第二最优值为所述所述第二加权梯度值中的最小值。

进一步地，本实施方式还包括：分别将所述参考方向的R、G、B三分量像素值和与所述R、G、B三分量相应的所述第一加权系数相乘后进行加权运算以获取所述当前像素分量的参考值。

步骤4、通过所述参考值确定所述当前像素分量的预测残差。

本步骤中，求取所述当前像素分量和所述当前像素分量的参考值的差值，将所述差值作为所述当前像素分量的预测残差。

本实施例提供的带宽压缩中的多分量参考预测方法，通过对R、G、B三个分量的多方向梯度加权和同位置多分量的方向加权，可以更加合理的确定当前分量的预测方向，尤其是当纹理复杂时，可以起到更好的预测方向纠偏效果。并且该方法，可以均衡同位置R、G、B三个分量之间和同分量相邻多像素间的纹理预测方向，减少单个分量预测误判的可能性，最终进一步降低预测的理论极限熵；此外，该方法可以将多分量并行处理，更利于实现预测方法的并行化处理，相对于串行分量处理的时间长效率低，并行处理可以成倍提高处理速度，利于预测算法的硬件实现。

实施例四

请参见图3、图4，图3为本发明提供的另一种用于图像压缩的多分量参考预测方法流程图，图4为本发明实施例提供的一种当前像素分量和临近像素分量位置关系示意图。本实施例在上述实施例的基础上对本发明提出的用于图像压缩的多分量参考预测方法进行详细描述，该预测方法包括如下步骤：

设定当前像素的3个分量，分别为分量1(R分量)、分量2(G分量)和分量3(B分量)；

对于当前像素的每个分量，通过该分量的周围分量，确定每个分量的N个纹理方向梯度值G1～GN；

优选地，所述临近像素与所述当前像素紧邻，或者，所述临近像素与所述当前像素间隔设定的像素单元。如图4所示，CUR代表当前像素，那么，临近像素可以为GHIK(与CUR紧邻)，也可以为ABCDEFJ(与CUR间隔有设定的像素单元)。

将每个分量的N个纹理方向梯度值G1～GN进行加权(G1～GN既代表纹理方向梯度值的大小，也代表纹理方向梯度值的方向)得到N个纹理方向梯度值加权后的第一加权梯度值BG，加权公式如下：

BGi＝w1*G1+w2*G2+…+wN*GN(i＝1，2或3)

其中，w1、w2…wN为加权系数，可以相同也可以不同；BG1为分量1(R分量)的第一加权梯度值，BG2为分量2(G分量)的第一加权梯度值，BG3为分量3(B分量)的第一加权梯度值。

在一种实施方式中，w1、w2…wN可以是预先自行设定的固定值。更进一步的，并且，配置w1、w2…wN的相对大小时，可以考虑先验经验。例如，从以往的经验得知，在梯度值G1的这个方向可能更加适合本图像做预测的实际情况，则可以将w1配置一个更加适合本图像做预测的实际情况的值(例如，可以将w1配置很小)，以增加在梯度值G1的这个方向的权重。当然，w1、w2…wN也可以是自适应的，即可以根据早期预测处理的实际情况，灵活调整w1、w2…wN的相对大小，具体地w1+w2+…+wN＝1。

在一种实施方式中，第一加权梯度值BG可用像素值差的绝对值表示，但是不限于此。

在一种实施方式中，选取多组w1、w2…wN的值，得到多个第一加权梯度值，取第一加权梯度值的最小值，可以得到每个分量的第一加权梯度值的最优值BGbst。

将R分量、G分量和B分量的第一加权梯度值的最优值BGbst进行加权，可以得到第一加权梯度值的最优值加权后的第二加权梯度值BG"，加权公式如下：

BG"i＝t1*BGbst1+t2*BGbst2+t3*BGbst3(i＝1…3)

其中，t1、t2、t3为加权系数，可以相同也可以不同；BGbst1为R分量的第一加权梯度值的最优值，BGbst2为G分量的第一加权梯度值的最优值，BGbst3为B分量的第一加权梯度值的最优值，BG"1为R分量的第二加权梯度值，BG"2为G分量的第二加权梯度值，BG"3为B分量的第二加权梯度值，确定出第二加权梯度值BG"的最优值BG"bst。

优选地，根据每个分量与对应第一加权梯度值的最优值BGbst的关系，设置加权系数t1、t2和t3获得每个分量的第二加权梯度值的最优值BG"bst。

优选地，当前分量下的第一加权梯度值的最优值BGbst加权系数值最大，与当前分量距离逐渐增加的其它分量下的第一加权梯度值的最优值BGbst加权系数值逐渐减小，加权系数值的总和为1，具体为t1+t2+t3＝1。

优选地，取第二加权梯度值的最小值，可以得到每个分量的第二加权梯度值的最优值BG"bst。

第二加权梯度值的最优值BG"bst的方向即为当前分量的参考方向Dir。

值得指出的是，本实施方式中，w1、w2…wN和t1、t2、t3均为加权系数，但是实际意义有所区别。w1、w2…wN用于配置一个像素分量在不同纹理方向上的权重大小，而t1、t2、t3用于配置多个像素分量之间的权重大小。

将每个分量的参考方向上所有可用的分量像素值进行加权，得到每个分量的参考值Ref，加权公式如下所示：

Refi＝r1*cpt1+r2*cpt2+…+rN*cptN(i＝1，2或3)

其中，r1、r2…rN为加权系数，可以相同也可以不同；cpt1～cptN为每个分量的参考方向上N个可用的分量像素值；Ref1为R分量的参考值，Ref2为G分量的参考值，Ref3为B分量的参考值。

将当前分量像素值减去参考值，可以得到当前分量像素的预测残差Dif；公式如下：

Difi＝Curcpti-Refi(i＝1，2或3)

其中，Curcpt1为R分量的像素值，Curcpt2为G分量的像素值，Curcpt3为B分量的像素值；Dif1为R分量的预测残差，Dif2为G分量的预测残差，Dif3为B分量的预测残差。

在本发明提供的一种实施方式中，以上实施方式中R分量、G分量和B分量的预测残差的获取过程可以并行处理，也可以串行处理，具体应用规格场景需要。

实施例五

请参见图5、图6，图5为本发明实施例提供的一种梯度值计算示意图；图6为本发明实施例提供的另一种像素级多分量参考的自适应方向预测方法的算法原理示意图。本实施例在上述实施例的基础上对本发明提出的像素级多分量参考的自适应方向预测方法举例描述。本实施例将当前像素分为R分量、G分量和B分量，具体步骤如下：

对于当前像素的三个分量，通过每个分量的周围分量，确定每个分量的3个纹理方向梯度值G1、G2、G3；

优选地，对于R分量、G分量、B分量，分别根据图5所示，ABS(K-H)为45度梯度值，ABS(K-G)为90度梯度值，ABS(K-F)为135度梯度值，ABS(K-J)为180度梯度值。其中，ABS为绝对值运算。

对于R分量、G分量、B分量的每一个分量，选取两组w1、w2、w3的值，加权3个纹理方向梯度值G1、G2、G3，得到每一个分量的两个第一加权梯度值BG，查找每一个分量的第一加权梯度值的最小值BGmin，作为第一加权梯度值的最优值。

将3个分量的第一加权梯度值的最小梯度值进行加权得出第一加权梯度值最优值加权后的第二加权梯度值BG"，设置加权系数t1、t2和t3获得每个分量的第二加权梯度值的最优值BG"bst。加权计算如下：

BG"bstR＝0.5*BGminR+0.3*BGminG+0.2*BGminB

BG"bstG＝0.3*BGminR+0.4*BGminG+0.3*BGminB

BG"bstB＝0.2*BGminR+0.3*BGminG+0.5*BGminB

其中，BG"bstR为R分量第二加权梯度值的最优值，BG"bstG为G分量第二加权梯度值的最优值，BG"bstB为B分量第二加权梯度值的最优值，BGminR为R分量第一加权梯度值的最小值，BGminG为G分量第一加权梯度值的最小值，BGminB为B分量第一加权梯度值的最小值。

上式中的系数选取规则为当前分量下的第一加权梯度值的最小值BGmin加权系数值最大，与当前分量距离逐渐增加的其它分量下的第一加权梯度值的最小值BGmin加权系数值逐渐减小，加权系数值的总和为1。

其中，BG"min的方向为当前分量的参考方向Dir，即DirR为R分量的参考方向，DirG为G分量的参考方向，DirB为B分量的参考方向。

将3个分量的参考方向上2个分量像素值进行加权，得到3个分量的参考值Ref，加权公式如下所示：

RefR＝r1*cpt1+r2*cpt2

RefG＝r1*cpt1+r2*cpt2

RefB＝r1*cpt1+r2*cpt2

其中，RefR为R分量的参考值，RefG为G分量的参考值，RefB为B分量的参考值，cpt1、cpt2为每个参考方向的分量像素值。

优选地，对于任意分量，若为45度参考，那么参考值REF为0.8*I+0.2E；若为90度参考，那么参考值为0.8*H+0.2C；若为135度参考，那么参考值为0.8*G+0.2A；若为180度参考，那么参考值为0.8*K+0.2J，分量像素值离当前像素越近，配置系数越大。。

将当前分量像素值减去参考值，可以得到当前像素分量的预测残差Dif，计算如下：

DifR＝CurcptR-RefR

DifG＝CurcptG-RefG

DifB＝CurcptB-RefB

其中，CurcptR为R分量的像素值，CurcptG为G分量的像素值，CurcptB为B分量的像素值；DifR为R分量的预测残差，DifG为G分量的预测残差，DifB为B分量的预测残差。

实施例六

本实施例重点对带宽压缩中的自适应纹理渐变预测方法的原理及实现方式进行介绍。

请参见图7，图7为本发明实施例提供的一种带宽压缩中多线程跳块扫描预测方法流程图。该方法包括如下步骤：

步骤1、将图像分为相同大小的多个MB；

步骤2、采用P种标记符号依次循环对所述多个MB进行标记；其中，P为大于1的自然数；

步骤3、采取多线程扫描方式扫描所述第N标记符号对应的MB；其中，N为1～P的整数；

步骤4、确定所述第N标记符号对应的MB的参考方向；

步骤5、通过所述参考方向计算当前像素的参考像素；

步骤6、通过所述参考像素确定当前像素的所述预测残差；

步骤7、按设定顺序将所述N的取值在1～P中进行遍历以实现对所述多个MB的预测。

其中，步骤4可以包括如下步骤：

41、以当前MB四周已扫描的参考MB的方向作为当前MB的参考方向；其中，若任一方向没有参考MB，则置空不处理。

其中，步骤5可以包括如下步骤：

步骤51、通过当前MB的参考方向确定所述第一参考像素；

步骤52、根据所述第一参考像素计算所述参考方向的权重；

步骤53、选取权重最小的所述参考方向作为所述当前MB的纹理方向；

步骤54、通过所述当前MB的所述纹理方向计算第二参考像素。

其中，步骤51可以包括如下步骤：

步骤511、根据所述当前MB的所述参考方向确定距离最近的参考MB；

步骤512、根据距离最近的所述参考MB确定所述第一参考像素；其中，若当前MB任一方向没有参考MB，则无第一参考像素。

其中，对于步骤52中参考方向的权重计算公式为：

其中，步骤52中的参考方向的权重计算公式为：

优选地，权重计算公式还可以为：

其中，abs为绝对值运算，Dir₁₈₀为左参考方向权重，Dir₀为右参考方向权重，Dir₄₅为右上参考方向权重，Dir₂₇₀为下参考方向权重，Dir₉₀为上参考方向权重，Dir₁₃₅为左上参考方向权重，Dir₂₂₅为左下参考方向权重，Dir₃₁₅为右下参考方向权重，x为每个所述MB的列分辨率，y为每个所述MB的行分辨率，C为所述当前MB的当前像素，R为所述当前MB的第一参考像素。

其中，对于步骤54，可以包括如下步骤：

步骤541、利用所述纹理方向以及所述纹理方向对应的反方向，通过第二参考像素计算公式计算当前MB的所述第二参考像素。

其中，对于步骤31241中的第二参考像素计算公式为

refmid＝p1*(dir2/(dir1+dir2))+p2*(dir1/(dir1+dir2))

若位置偏向1，ref＝weight*refmid+(1-weight)*p1

若位置偏向2，ref＝weight*refmid+(1-weight)*p2

其中，refmid为两个第一参考像素的中点，ref为第二参考像素，p1、p2为按所述纹理方向的边界像素点，dir1、dir2为所述纹理方向的权重，weight为距离权重。

本实施例提供的多线程跳块扫描预测方法，首先通过多线程扫描、跳块多遍历的方法，对于图像中每个块MB，平均可以获得更多的参考边缘，即获得更多的参考像素；然后对于每个块，采用多方向预测，可以在更精确的获得该块的纹理方向；根据纹理方向和相应的参考像素，通过纹理方向权重和位置偏移权重，对当前预测块中的像素，可获得与当前像素值最相似的参考像素，并获得更小的预测残差，降低了编码的理论极限熵，对于图像空间冗余度较小的区域，如纹理复杂区域，纹理渐变区域，可以起到更好的预测效果，进一步降低理论极限熵。

实施例七

请参见图8～图15，图8为本发明实施例提供的一种图像MB划分标记示意图；图9为本发明实施例提供的另一种图像MB划分标记示意图；图10为本发明实施例提供的一种图像多线程扫描示意图；图11为本发明实施例提供的一种当前MB与距离最近的参考MB的原始位置示意图；图12为本发明实施例提供的一种当前MB与距离最近的参考MB的拉近位置示意图；图13为本发明实施例提供的一种当前MB全参考方向的示意图；图14为本发明实施例提供的一种当前MB无下参考方向的示意图；图15为本发明实施例提供的一种当前像素确定第二参考像素的示意图。本实施例在上述实施例的基础上对本发明提出的带宽压缩中跳块扫描多方向预测方法进行详细描述，该预测方法包括如下步骤：

步骤1、将图像分为若干个MB，每个MB大小相同，因此图像中的MB数量固定。本实施例以MB大小为8*4，图像大小为128*64为例进行说明，则每个MB的行分辨率为8、列分辨率为4。

步骤2、对图像中的每个MB进行标记，选取P个标记符号。在水平方向，采用多个标记符号依次循环完成水平方向MB的标记；在竖直方向，采用多个标记符号依次循环完成竖直方向MB的标记。本实施例中图像的分割以及标记如图8所示，将大小为128*64的图像分为16行16列共256个大小为8*4的MB；以0、1、2、3标记每个MB，具体为将奇数行的MB以符号0、2分别循环标记每个MB，将偶数行的MB以符号3、1分别循环标记每个MB。

优选地，还可以将图像分割为4行4列，奇数行按照0、1分别循环标记每个MB，偶数行按照1、0分别循环标记每个MB，如图9所示。

步骤3、预测时，每次预测第一标记符号至第N标记符号中的一种标记符号的MB，直至所有MB预测结束，达到对MB跳块扫描的效果，N的取值为1～P。其中，第一标记符号至第N标记符号的MB的预测顺序可以设定。对于任意一种标记符号的MB的预测顺序为按照图像从左到右，从上到下的顺序对MB进行预测。

本实施例以图8所示的图像为例进行说明如何进行预测，具体步骤如下：

步骤31、先对所有标记符号为0的MB进行预测

步骤311、采取多线程扫描方式扫描所述第N标记符号对应的MB；

在对标记符号为0的MB进行扫描时可以采用多线程方式，具体的，请参见图10。在对行方向的标记符号为0的MB扫描时，线程1、线程2、线程3及线程4同时进行扫描，从而可以增加图像中MB的参考方向，可以在更精确的获得该MB的纹理方向；其中，每次扫描的线程数量可以根据实际需要而定。

步骤312、确定参考MB

标记符号为0的MB最多可获得间隔一个MB的五个参考方向，其中参考方向为上方向、左方向、左上方向、右上方向、右方向，因此可以确定出上方向的参考MB，左方向的参考MB，左上方向的参考MB，右上方向的参考MB，右方向的参考MB；

步骤313、纹理方向选取

步骤313A、在当前MB的参考方向中，找到距离最近的参考MB。若存在参考MB与当前MB不紧相邻，那么拉近该参考MB为紧相邻参考MB，若任一方向没有参考MB，则不处理，置空。如图11、图12所示。

步骤313B、通过参考MB寻找当前MB的第一参考像素，若某MB的参考方向为空，则无第一参考像素。假设当前MB有8个参考MB，因此当前MB可以在每个参考MB中获取到第一参考像素，即当前MB可以确定出全方向的第一参考像素，假设Cmn(m＝1,2,3,4；n＝1,2,3,4,5,6,7,8)为当前MB的当前像素，Rxy(x＝0,1,2,3,4,5；y＝1,2,3,4,5,6,7,8,9)为当前MB的第一参考像素，如图13所示。假设Cmn(m＝1,2,3,4；n＝1,2,3,4,5,6,7,8)为当前MB的当前像素，Rxy(x＝0,1,2,3,4,5；y＝1,2,3,4,5,6,7,8,9)为当前MB的第一参考像素，当前MB下参考方向为空，因此，当前MB无下方向的第一参考像素，如图14所示。

步骤313C、根据第一参考像素，计算每个参考方向权重，本实施例以图8为例，采用如下公式计算每个参考方向权重Dir，权重采用离方向箭头最近一面的第一参考像素。

步骤313D、在步骤312C计算的参考方向权重中选出Dir最小的1组作为最优纹理方向，MB中所有像素值根据该方向进行预测。

步骤314、计算第二参考像素

根据所选的最优纹理方向和对应的反方向，根据当前像素的位置，计算每个当前像素的第二参考像素，如图15所示，计算公式如下，

refmid＝p1*(dir2/(dir1+dir2))+p2*(dir1/(dir1+dir2))

若位置偏向1，ref＝weight*refmid+(1-weight)*p1

若位置偏向2，ref＝weight*refmid+(1-weight)*p2

其中refmid为两个第一参考像素的中点，p1、p2为按最优纹理方向的第一参考像素，dir1、dir2为参考方向权重，例如dir180，dir0；weight为距离权重。

首先考虑权重计算第一参考像素的中点，然后考虑位置计算第二参考像素，即第一参考像素中点靠近哪边，最终采用哪边的第一参考像素作为第二参考像素。

优选地，第二参考像素计算公式可变更，可以仅引入权重或位置。

具体举例如下：

若最优纹理方向为45度参考，对于c14，dir45＝2，dir225＝14，可得到第一参考像素为R05和R50，设R05＝100，R50＝40，

Refmid＝100*(14/16)+40*(2/16)＝88+5＝93

由于C14偏向R05，因此Refmid＝C23，Ref＝0.5*93+0.5*100＝96，第二参考像素值为96。

步骤314、确定预测残差

采用步骤313计算得到所有点的第二参考像素，采用原始像素值减去第二参考像素值得到预测残差。

步骤32、当所有图像中标记为0的MB预测处理完毕后，对所有标记符号为1的MB进行预测；

步骤321、确定参考MB

标记符号为1的MB最多仅能获得间隔一个MB的3个参考方向，其中参考方向为上方向、左方向及右方向，因此可以确定出上方向的参考MB，左方向的参考MB及右方向的参考MB；可以获得相邻MB的4个参考方向，其中参考方向为左上方向、右上方向、左下方向、右下方向，可以确定出左上方向的参考MB，右上方向的参考MB，左下方向的参考MB，右下方向的参考MB；

步骤322、纹理方向选取

与步骤312的方法一致，此处不再赘述。

步骤323、计算第二参考像素

与步骤313的方法一致，此处不再赘述。

步骤324、确定预测残差

与步骤314的方法一致，此处不再赘述。

步骤33、当所有图像中标记为0和1的MB预测处理完毕后，对所有标记符号为2的MB进行预测；

步骤331、确定参考MB

所有标记符号为2的MB最多仅能获得间隔一个MB的2个参考方向，其中参考方向为左上方向、右上方向，可以确定出左上方向的参考MB，右上方向的参考MB；以及获得相邻MB的4个参考方向，其中参考方向为上方向、下方向、左方向、右方向，可以确定出上方向的参考MB，下方向的参考MB，左方向的参考MB，右方向的参考MB；

步骤332、纹理方向选取

与步骤312的方法一致，此处不再赘述。

步骤333、计算第二参考像素

与步骤313的方法一致，此处不再赘述。

步骤334、确定预测残差

与步骤314的方法一致，此处不再赘述。

步骤34、当所有图像中标记为0、1、2的MB预测处理完毕后，对所有标记符号为3的MB进行预测；

步骤341、确定参考MB

所有标记符号为3的MB最多获得相邻MB的8个参考方向，其中参考方向为上方向、下方向、左方向、右方向、左上方向、右上方向、左下方向、右下方向，可以确定出上方向的参考MB，下方向的参考MB，左方向的参考MB，右方向的参考MB，左上方向的参考MB，右上方向的参考MB，左下方向的参考MB，右下方向的参考MB。

步骤342、纹理方向选取

与步骤312的方法一致，此处不再赘述。

步骤343、计算第二参考像素

与步骤313的方法一致，此处不再赘述。

步骤344、确定预测残差

与步骤314的方法一致，此处不再赘述。

综上所述，本文中应用了具体个例对本发明的原理及实现方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，本发明的保护范围应以所附的权利要求为准。

Claims (10)

1.一种带宽压缩中的预测方法，其特征在于，包括：

将图像分成大小为m×n的多个MB；其中，m、n分别为每个所述MB的行分辨率、列分辨率；

分别采用多分量参考预测方法与多线程跳块扫描预测方法对所述多个MB进行预测以获取对应的残差主观和；

根据所述残差主观和确定所述多个MB最终的预测残差。

2.根据权利要求1所述的方法，其特征在于，分别采用多分量参考预测方法与多线程跳块扫描预测方法对所述多个MB进行预测以获取对应的残差主观和，包括：

采用多分量参考预测方法对所述多个MB进行预测以获取第一残差主观和；

采用多线程跳块扫描预测方法对所述多个MB进行预测以获取第二残差主观和。

3.根据权利要求2所述的方法，其特征在于，采用多分量参考预测方法对所述多个MB进行预测以获取第一残差主观和，包括：

采用多分量参考预测方法对当前MB进行预测以获取当前MB中每个像素分量的第一预测残差；

根据所述第一预测残差分别计算当前MB的第一残差绝对值和与与第一残差标准差；

根据所述第一残差绝对值和与第一残差标准差计算所述第一残差主观和。

4.根据权利要求3所述的方法，其特征在于，采用多分量参考预测方法对当前MB进行预测以获取当前MB中每个像素的第一预测残差，包括：

确定当前像素的多个像素分量；

分别计算所述当前像素的多个像素分量沿多个纹理方向的像素差异度以确定所述当前像素分量的梯度值；

根据所述梯度值和预设的加权系数确定所述当前像素分量的参考值；

通过所述当前像素分量的参考值确定所述当前像素分量的预测残差。

5.根据权利要求4所述的方法，其特征在于，采用多线程跳块扫描预测方法对所述多个MB进行预测以获取第二残差主观和，包括：

采用多线程跳块扫描预测方法对所述当前MB进行预测以获取所述当前MB中每个像素分量的第二预测残差；

根据所述第二预测残差分别计算当前MB的第二残差绝对值和与第二残差标准差；

根据所述第二残差绝对值和与第二残差标准差计算所述第二残差主观和。

6.根据权利要求5所述的方法，其特征在于，采用多线程跳块扫描预测方法对所述当前MB进行预测以获取所述当前MB中每个像素的第二预测残差，包括：

采用P种标记符号依次循环对所述多个MB进行标记；其中，P为大于1的自然数；

采取多线程扫描方式扫描所述第N标记符号对应的MB；其中，N为1～P的整数；

确定所述第N标记符号对应的MB的参考方向；

通过所述参考方向计算当前像素的参考像素；

通过所述参考像素确定当前像素的所述第二预测残差；

按设定顺序将所述N的取值在1～P中进行遍历以实现对所述多个MB的预测。

7.根据权利要求6所述的方法，其特征在于，确定所述第N标记符号对应的MB的参考方向，包括：

以当前MB四周已扫描的参考MB的方向作为当前MB的参考方向；其中，

若任一方向没有参考MB，则置空不处理。

8.根据权利要求7所述的方法，其特征在于，通过所述参考方向计算当前像素的参考像素，包括：

通过当前MB的参考方向确定所述第一参考像素；

根据所述第一参考像素计算所述参考方向的权重；

选取权重最小的所述参考方向作为所述当前MB的纹理方向；

通过所述当前MB的所述纹理方向计算第二参考像素。

9.根据权利要求8所述的方法，其特征在于，根据所述残差主观和确定所述多个MB最终的预测残差，包括：

比较所述第一残差主观和与所述第二残差主观和的大小以确定所述当前MB最终的预测残差；其中，

若第一残差主观和小于所述第二残差主观和，则以所述第一预测残差作为所述当前MB最终的预测残差；

若第一残差主观和大于所述第二残差主观和，则以所述第二预测残差作为所述当前MB最终的预测残差。

10.根据权利要求8所述的方法，其特征在于，所述第一残差主观和与第二残差主观和的计算公式为：

SUBD_k＝a₁×SAD_k+a₂×E_k

其中，k为预测模式的序号，取值为1或2；

SUBD₁为第一残差主观和，SUBD₂为第二残差主观和；

a₁与a₂为按场景配置的权重系数；

SAD₁为当前MB中所有像素的第一残差绝对值和，SAD₂为当前MB中所有像素的第二残差绝对值和；

E₁为当前MB中所有像素的第一残差标准差，E₂为当前MB中所有像素的第二残差标准差。

Images