CN112055210B - 一种视频图像处理方法、编码器和计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种视频图像处理方法、编码器和计算机可读存储介质，该方法包括：获取待处理图像中每个编码块的残差数据；判断编码块的尺寸是否符合预设尺寸条件；若编码块不符合预设尺寸条件，则利用第一变换矩阵对残差数据进行变换，得到第一变换系数；基于编码块的信息判断是否需要对第一变换系数进行变换；若需要对第一变换系数进行变换，则利用第二变换矩阵对第一变换系数进行变换，得到第二变换系数。通过上述方式，本申请能够降低编码复杂度，降低无效编码时间。

Description

一种视频图像处理方法、编码器和计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种视频图像处理方法、编码器和计算机可读存储介质。

背景技术

对于编解码系统来说，在进行视频编码时，为了对视频进行编码，需要对视频进行采集、预测、变换量化以及熵编码，对于利用帧内预测得到的残差数据可通过两次变换来使得能量集中在低频区域，但是目前的二次变换过程缺乏预判过程，导致编码复杂度较高，且编码时间较长。

发明内容

本申请提供一种视频图像处理方法、编码器和计算机可读存储介质，能够降低编码复杂度，降低无效编码时间。

为解决上述技术问题，本申请采用的技术方案是提供一种视频图像处理方法，该方法包括：获取待处理图像中每个编码块的残差数据；判断编码块的尺寸是否符合预设尺寸条件；若编码块不符合预设尺寸条件，则利用第一变换矩阵对残差数据进行变换，得到第一变换系数；基于编码块的信息判断是否需要对第一变换系数进行变换；若需要对第一变换系数进行变换，则利用第二变换矩阵对第一变换系数进行变换，得到第二变换系数。

为解决上述技术问题，本申请采用的另一技术方案是提供一种编码器，该编码器包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述的视频图像处理方法。

为解决上述技术问题，本申请采用的另一技术方案是提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述的视频图像处理方法。

通过上述方案，本申请的有益效果是：先获取待处理图像，对待处理图像进行分块得到多个编码块；然后对当前编码块对应的残差数据进行变换处理，生成第一变换系数；再利用编码块的信息来判定是否需要对当前编码块再次进行变换，如果判断出需要对当前编码块进行再次变换，则对前一次变换得到的第一变换系数进行变换处理，生成第二变换系数；如果判断出无需对当前编码块进行变换，则不做任何处理，直接执行变换处理之后的后续操作；由于有针对性地对第一变换系数进行变换，能够减少不必要的变换处理，可降低编码复杂度，且能够避免对不必要的编码块再次变换所花费的处理时间，可降低无效编码时间。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是变换量化的示意图；

图2是可分离的一次变换的示意图；

图3是可分离的二次变换的示意图；

图4是本申请提供的视频图像处理方法一实施例的流程示意图；

图5是本申请提供的视频图像处理方法另一实施例的流程示意图；

图6是本申请提供的视频图像处理方法又一实施例的流程示意图；

图7是本申请提供的视频图像处理方法再一实施例的流程示意图；

图8是本申请提供的编码器一实施例的结构示意图；

图9是本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

视频编解码系统主要包括编码、传输和解码三大部分，由于视频图像的数据量一般比较大，可通过视频编码将视频像素数据压缩成为视频码流，从而降低视频的数据量，降低传输过程中占用的网络带宽，并减少存储空间。

视频编码系统主要分为视频采集、预测、变换量化和熵编码几大部分，预测分为帧内预测和帧间预测两部分，分别是为了去除视频图像在空间和时间上的冗余。

帧内预测：帧内预测可将一个视频帧划分成多个小块，以小块为单元进行帧内预测，帧内预测总体来说就是通过某种帧内预测方法来获取当前块周围的重建像素值，作为当前块的像素预测值，将当前块的真实像素值与预测得到的预测值相减，可得到一个残差值，该残差值表示当前块的真实像素与预测像素之间的差异，然后可对残差值进行变换处理。

变换量化：变换极大地利用数据的空间相关性，采用数学变换的方法实现用很少的离散信号就能表示大量的时域连续信号，即将能量集中在低频区域，之后通过量化可以去除能量较小的变换系数，从而达到压缩数据的目的，变换量化过程的流程图如图1所示，预测后得到的残差值经过一次变换(主变换)后得到一次变换系数(主变换系数)，再对一次变换系数进行二次变换得到二次变换系数，最后将二次变换系数通过量化进行数据压缩，M和N分别为一次变换矩阵的尺寸，M_s和N_s分别为二次变换矩阵的尺寸。

一次变换：一次变换是对残差进行第一次变换处理，变换的方法有DCT(DiscreteConsine Transform，离散余弦变换)和DST(Discrete Sine Transform，离散余弦变换)，变换核类型有多种；如果一次变换是可分离变换，则需要对行和列分别进行变换操作，如图2所示。AVS3(Audio Video Coding Standard，音视频编码标准)中一次变换主要内容由IST(Implicit selection of transforms，隐式变换)和DCT2组成，IST仅适用于帧内不划分的亮度分量，适用的尺寸为4×4～32×32。如果一次变换是不可分离变换，则需要对行和列分别进行变换处理，行列变换类型可以是同种变换核或者不同种变换核，为的是能够更好适应残差的分布特性，可根据情况选择最优的变换类型。

IST：IST是在DCT2的基础上引入了新的变换核类型(变换矩阵类型)DST7，当选用DST7进行变换时，水平变换和垂直变换均采用DST7作为变换核，是否使用DST7可通过判断残差非零系数个数的奇偶性来标识，在残差非零系数的个数为奇数个时选择DST7，在残差非零系数的个数为偶数个时选择DCT2。此外，IST还存在一种特殊情况，ISTS(Implicitselection of transform skip，隐式变换跳过)，若在IST情况下同时满足ISTS条件，则当前残差块不进行IST，可能进行DCT2或者TS(Transform skip，变换跳过)。

ISTS：根据当前变换块非零系数个数的奇偶性进行变换类型选择，奇数表示应用TS，而偶数表示应用DCT2；当执行ISTS时，不进行变换处理，对残差进行移位处理，移位与中间比特深度和编码块的大小有关。

二次变换：二次变换就是在一次变换之后，对左上角区域的频域信号(一次变换系数能量集中区域)再进行第二次变换，将信号从一个变换域转换到另一个变换域，进一步提升变换效率，之后再进行量化等操作。二次变换只存在于帧内预测的残差块，适用的尺寸范围为：4*4～64*64；图像经过一次变换后，低频系数集中在一次变换系数的左上角区域，高频系数分布在一次变换系数的右下角区域，并且低频系数的绝对值大于高频系数的绝对值，残差越稀疏，低频部分所占比重就越大。二次变换的方式有可分离的变换和不可分离的变换，可分离变换是对当前残差的行和列分别进行变换处理，不可分离变换是通过将二次变换区域展开成一维向量进行一次变换。AVS3的二次变换为可分离变换，如图3所示，且二次变换矩阵与一次变换的变换核类型有关，使用的条件为：帧内预测的亮度残差块，且第一次变换的变换类型不为IST，适用的尺寸范围为：4*4～64*64，对一次变换得到的变换系数的左上角4*4区域块分别进行行、列二次变换。二次变换矩阵总共有两种，一种是仅适用于尺寸为4*4的块；另一种适用于其他尺寸的块，通过帧内预测模式选择是否进行行二次变换或者是否进行列二次变换。对于尺寸为4*4的编码块，当满足二次变换条件时，利用联合二次变换矩阵(将一次变换矩阵与二次变换矩阵融合得到一个特殊二次变换矩阵)对当前4*4的块分别进行行列变换处理；也就是说，4*4的编码块如果满足二次变换条件，则采用联合二次变换矩阵对其进行变换处理；如果不满足二次变换条件，则采用一次变换矩阵对其进行一次变换处理。

对于AVS3中一次变换和二次变换的关系，以亮度分量为例，具体实施步骤如下所示：

1)首先判断当前TU(Transform Uint，变换块)是否满足IST的条件且不满足ISTS的条件，若判断结果为真，则对当前TU的行和列分别进行DST7的变换处理，完成变换过程，否则进入步骤2。

2)判断是否满足ISTS条件，若判断结果为真，则对当前TU进行移位处理，移位长度与中间比特深度和编码块大小相关，否则进入步骤3。

3)判断当前TU的尺寸是否为4*4，若判断结果为真，则执行下列操作，否则进入步骤4：

判断是否满足二次变换条件，若判断结果为真，则对当前4*4的块进行4*4的联合二次变换处理，完成变换过程，否则对当前块的行和列分别进行DCT2的一次变换处理，完成变换过程。

4)对当前块的行和列分别进行DCT2的变换处理，完成后执行下列操作：

4-1)判断是否满足行二次变换的条件，若满足，则对当前块的左上角4*4区域进行行二次变换处理，若不满足，则不进行行二次变换处理。

4-2)行二次变换判断处理完成后，判断是否满足列二次变换的条件，若满足，则对前一次判断处理后得到的系数进行列二次变换，若不满足，则不进行列二次变换处理，完成变换过程。

由上面的分析可知，目前AVS3中针对是否执行二次变换的条件为：帧内预测的残差块，第一次变换的变换类型不为IST，且块的尺寸满足宽和高大于或等于4且小于或等于64；二次变换矩阵的类型有2种，二次变换的区域限制在左上角的4*4区域。对于符合这些条件的块均可采用二次变换，并未考虑当前块是否需要进行二次变换，实际上二次变换并不是对所有帧内编码块都有效。

二次变换作用的是一次变换后的变换系数，现有的条件并未涉及一次变换后得到的变换系数的特性，因此，二次变换过程缺乏预判过程，即没有考虑到当前块是否有必要进行二次变换。现有方案提出可以遍历当前块进行二次变换和不进行二次变换的情况，再通过RDO(Rate Distortion Optimization，率失真优化)来决策是否需要对当前块进行二次变换，这种方案大大增加了编码端的复杂度，且仅适用于现有满足二次变换条件的编码块，并未考虑条件范围之外的编码块是否有必要进行二次变换。

实际上，当残差足够稀疏或者变换块较小时，一次变换后能量已经充分集中在左上角区域，对一次变换后的系数进行二次变换才能达到能量再次集中的效果；亦或当变换块较大且残差的稀疏性不好时，能量的集中区域较大(超过了左上角4*4区域)，只对变换系数的左上角4*4区域进行二次变换的效果并不显著，且额外增加了编码的复杂度，因而现有的二次变换存在需要改进的地方，需要进一步提升二次变换的效率，避免无故增加编码复杂度。

本申请在现有二次变换技术的基础上，分析当前编码块进行完一次变换后是否有必要进行二次变换的条件，以及如何进行二次变换能够使得变换的效果达到最佳；分别从二次变换的限制条件、一次变换后得到的变换系数的能量集中性以及二次变换矩阵的选择几个方面进行分析研究，判断是否需要对一次变换后的编码块进行二次变换处理，以及如果需要进行二次变换使能量进一步集中，该如何选择二次变换的执行区域才能使得效果最好。

请参阅图4，图4是本申请提供的视频图像处理方法一实施例的流程示意图，该方法包括：

步骤11：获取待处理图像中每个编码块的残差数据。

可从待编码的视频中获取一帧图像作为待处理图像，或者可从图像库中选择一张图像作为待处理图像，该待处理可以为彩色图像、灰度图像或者深度图像；在获取到了待处理图像之后，可对该待处理图像进行分块，得到多个编码块，然后对每个编码块进行预测，得到相应的残差数据。

步骤12：判断编码块的尺寸是否符合预设尺寸条件。

可判断编码块的尺寸是否满足预设尺寸条件，该预设尺寸条件可以为预先设置的一个尺寸或一个尺寸范围，比如，4×4或4×4～8×8。

步骤13：若编码块的尺寸不符合预设尺寸条件，则利用第一变换矩阵对残差数据进行变换，得到第一变换系数。

在判断出编码块的尺寸不符合预设尺寸条件时，对于每个编码块，可利用第一变换矩阵对其对应的残差数据进行变换处理，生成第一变换系数，该第一变换系数可以为一次变换对应的系数，也可以为多次变换对应的系数，比如，二次变换对应的系数，第一变换矩阵为进行时域与频域转换的矩阵，即将输入的残差数据从时域变换到频率，得到第一变换系数。

步骤14：基于编码块的信息判断是否需要对第一变换系数进行变换。

在残差足够稀疏或编码块的尺寸较小时，在经过生成第一变换系数对应的变换处理后，能量已经充分集中在左上角区域，这时对第一变换系数进行第二变换系数才能有效达到能量更集中的效果，因而可有选择性地进行再次变换，利用编码块的信息作为判断是否需要再次变换的评判标准；具体地，该编码块的信息包括编码块的尺寸与设定尺寸的比值或第一变换系数的分布情况，该设定尺寸包括第二变换矩阵的最大尺寸、预设长宽比或预设宽长比。

进一步地，在经过至少一次变换得到第一变换系数后，可利用第一变换系数的分布情况或编码块的尺寸，来确定是否有必要对当前编码块再次进行变换处理；如果判断出无需对当前编码块再次进行变换处理，则直接对该第一变换系数进行后续处理，比如：量化处理。

步骤15：若需要对第一变换系数进行变换，则利用第二变换矩阵对第一变换系数进行变换，得到第二变换系数。

在利用编码块的信息进行判断确定当前编码块符合再次进行变换处理的条件后，可利用第二变换矩阵对前一次变换生成的第一变换系数进行变换处理，生成相应的第二变换系数，该第二变换矩阵为进行变换域转换的矩阵，即将第一变换系数从一个变换域变换到另一个变换域。

可以理解地，本实施例的方案适用于所有一次变换核、所有满足二次变换的编码块以及所有二次变换矩阵。

本实施例提供了一种视频图像处理方法，先对当前编码块进行变换，得到第一变换系数，然后基于第一变换系数的分布情况或当前编码块的尺寸情况，来判定是否需要对当前编码块再次进行变换处理，如果判断出需要对当前编码块进行再次变换，则对前一次变换得到的第一变换系数进行变换，生成第二变换系数；由于有选择性地对第一变换系数进行再次变换，能够减少不必要的变换处理，可降低编码复杂度，且能够避免对不必要的编码块再次进行变换所花费的处理时间，有助于降低无效编码时间。

请参阅图5，图5是本申请提供的视频图像处理方法另一实施例的流程示意图，该方法包括：

步骤21：获取待处理图像中每个编码块的残差数据。

步骤22：判断编码块的尺寸是否符合预设尺寸条件。

步骤23：若编码块的尺寸不符合预设尺寸条件，则利用第一变换矩阵对残差数据进行变换，得到第一变换系数。

步骤24：基于编码块的信息判断是否需要对第一变换系数进行变换。

步骤21-24与上述实施例中步骤11-14相同，在此不再赘述。

在确定需要进行再次变换后，可进行自适应变换矩阵选择，具体如步骤25-步骤26所示。

步骤25：若需要对第一变换系数进行变换，则利用第一变换矩阵的类型确定第二变换矩阵的类型。

前一次变换(即生成第一变换系数的变换)所采用的第一变换矩阵的类型与当前变换(即生成第二变换系数的变换)所采用的第二变换矩阵的类型一一对应，因而可利用第一变换矩阵的类型确定第二变换矩阵的类型。

进一步地，以第一变换系数对应一次变换，第二变换系数对应二次变换为例进行说明，二次变换矩阵的推导与一次变换矩阵的类型有关，即二次变换矩阵类型与一次变换矩阵类型一一对应，如果一次变换种类较多，则可以得到相同种数的二次变换矩阵类型，二次变换矩阵的尺寸与选择的二次变换区域相关；当二次变换矩阵的尺寸和类型多样时，可根据当前编码块的尺寸和一次变换矩阵类型自适应选择对应的二次变换矩阵。

步骤26：利用第二变换矩阵对第一变换系数进行变换，得到第二变换系数。

可根据当前编码块的尺寸自适应选择第二变换矩阵的尺寸，具体地，第二变换矩阵的尺寸与编码块的尺寸满足预设关系，该预设关系为：

其中，TU为编码块，size(TU)为编码块的尺寸，N_j(1≤j≤i)为第二变换矩阵的长度/宽度，4≤N₁<N₂...<N_i≤max(size(ST))，i为第二变换矩阵的尺寸的数量，S为第二变换矩阵的尺寸，max(size(ST))为第二变换矩阵的最大尺寸的边长，例如，以二次变换为例，max(size(ST))为二次变换允许的最大尺寸的边长。

在一具体的实施例中，以AVS3视频编码标准为例，目前AVS3中二次变换只针对DCT2进行，本实施例中将其改进为在DST7下也进行二次变换，可对现有的AVS3中的句法元素进行修改，句法元素是一种标识，用于表明编码端所配置的一些参数或使用的编码技术和方法等；在编码端需要对句法元素进行编码，也就是用特定的编码方式将句法元素的值转换成计算机能读懂的二进制字符，将句法元素编码到码流中后传输到解码端。解码端通过解析这些编码后的字符读懂句法元素所代表的含义，才能知道编码端的编码信息，并采取对应的操作。例如，有一个句法元素EstTuFlag代表的是当前编码块是否采用EST(Enhanced Secondary Transform，二次变换技术)技术，EstTuFlag＝1时采用EST技术，EstTuFlag＝0时不采用。在编码时就需要将EstTuFlag对应的值编码到码流中，再传输到解码端，解码端通过解析EstTuFlag对应的值就知道编码端是否采用了EST技术，若采用了EST技术，解码端就要通过EST相关的操作来解码；本实施例中在句法元素中删除需要满足一次变换的变换类型不是IST的限制。

假设DST7的二次变换矩阵的尺寸为4*4，则对于满足IST条件且满足二次变换条件的编码块，可对第一变换系数对应的左上角4*4区域再进行一次变换处理。

例如，一次变换的变换核有DCT2和DST7两种，且这两种变换核在一次变换条件下都有可能进行二次变换，假设每种一次变换核分别对应4*4和8*8两种尺寸的二次变换矩阵，二次变换矩阵的尺寸范围为4*4～64*64，二次变换矩阵的类型如下表所示：

二次变换矩阵的选择过程为：在当前编码块满足二次变换条件时，先判断一次变换的类型，如果一次变换的类型为DCT2，则对当前编码块的尺寸进行判断，如果当前编码块的尺寸范围为(4*4，16*16]，则二次变换矩阵为Ts[1]，如果当前编码块的尺寸范围为(16*16，64*64]，则二次变换矩阵为Ts[2]；如果一次变换的类型为DST7，则对当前编码块的尺寸进行判断，如果当前编码块的尺寸范围为(4*4，16*16]，则二次变换矩阵为Ts[3]，如果当前编码块的尺寸范围为(16*16，64*64]，则二次变换矩阵为Ts[4]。

可以理解地，本实施例可以根据前一次变换得到的第一变换系数的分布特性决定是否需要再进行下一次变换，并不仅限于利用一次变换系数的分布特性来决定是否需要进行二次变换，同样适用于多次变换过程。

本实施例提出了一种根据编码块的尺寸自适应选择变换矩阵的方法，可通过前一次变换的变换类型与当前变换的变换类型的对应关系，选择合适的变换类型对第一变换系数进行变换，而且可根据当前编码块的尺寸自适应地选择第二变换矩阵的尺寸，使得再次变换的效率达到最优。

请参阅图6，图6是本申请提供的视频图像处理方法又一实施例的流程示意图，该方法包括：

步骤31：获取待处理图像中每个编码块的残差数据。

步骤32：判断编码块的尺寸是否符合预设尺寸条件。

该预设尺寸条件为编码块的尺寸为4×4。

步骤33：若编码块的尺寸不符合预设尺寸条件，则利用第一变换矩阵对残差数据进行变换，得到第一变换系数。

步骤31-步骤33与上述实施例中步骤11-步骤13相同，在此不再赘述。

步骤34：基于编码块的尺寸与设定尺寸的比值判断是否需要对第一变换系数进行变换。

当前变换是对前一次变换得到的第一变换系数的左上角能量集中区域进行变换处理，第二变换矩阵的尺寸限定了执行当前变换的区域大小，如果第二变换矩阵的尺寸为N1*N1，则当前变换就是对当前编码块的左上角N1*N1区域的第一变换系数再进行变换，以生成第二变换系数。

在一具体的实施例中，编码块的信息包括第二变换矩阵的最大尺寸，设定尺寸为第二变换矩阵的最大尺寸，可判断编码块的尺寸与设定尺寸的比值是否小于或等于第一预设比值，如果编码块的尺寸与设定尺寸的比值小于或等于第一预设比值，则对该编码块进行再次变换，否则，不作处理；例如，以当前变换为二次变换为例，如果当前编码块的尺寸大于最大二次变换矩阵边长的N(N为正整数数)倍时，则不对当前编码块进行二次变换。

在另一具体的实施例中，编码块的信息还包括编码块的长宽比或宽长比，设定尺寸为预设长宽比或预设宽长比，可判断编码块的长宽比与预设长宽比的比值是否大于第二预设比值，该第二预设比值可以为1；或者判断编码块的宽长比与预设宽长比的比值是否大于第二预设比值；如果编码块的长宽比与预设长宽比的比值大于第二预设比值，或者编码块的宽长比与预设宽长比的比值大于第二预设比值，则对该编码块进行再次变换，否则，不作处理。

例如，以AVS3视频编码标准为例，假设当前变换为二次变换，目前AVS3中二次变换的适用尺寸范围为：4*4～64*64，二次变换的区域为左上角4*4区域，即二次变换矩阵的尺寸为4*4，假设第一预设比值为4，预设长宽比/预设宽长比为4，本实施例采用的方案对编码块的尺寸范围的限制如下：

1)当前编码块的长宽比/宽长比不超过4。

2)编码块的尺寸范围缩小至：4*4～16*16，即当前编码块的边长大于最大二次变换矩阵边长的4倍时，直接就不进行二次变换。

假设当前编码块的尺寸为4*32或32*4，则不满足条件一，不进行二次变换；假设当前编码块的尺寸为32*32/64*64，由于二次变换矩阵的最大尺寸为4*4，则不满足条件二，当前编码块不进行二次变换。

步骤35：若需要对第一变换系数进行变换，则利用第二变换矩阵对第一变换系数进行变换，得到第二变换系数。

步骤35与上述实施例中步骤15相同，在此不再赘述。

步骤36：若编码块的尺寸符合预设尺寸条件，则对第一变换矩阵与第二变换矩阵进行融合，得到联合变换矩阵；利用联合变换矩阵对残差数据进行变换，得到第二变换系数。

在当前编码块的尺寸符合预设尺寸条件时，可直接对第一变换矩阵与第二变换矩阵作融合处理，得到联合变换矩阵，然后利用该联合变换矩阵对编码块的残差数据进行处理，生成相应的第二变换系数，无需先利用第一变换矩阵处理再利用第二变换矩阵进行处理。

在一具体的实施例中，以AVS3视频编码标准为例，现有的AVS3变换过程中，对于尺寸为4*4的帧内亮度分量块，采用的是特殊的二次变换处理，即把一次4*4的DCT2变换矩阵与对应的4*4的DCT2二次变换矩阵进行融合，得到4*4的联合变换矩阵，采用联合二次变换矩阵对4*4的编码块进行变换处理；而本实施例案对于任意满足尺寸为4*4的编码块都进行4*4的联合二次变换处理(即利用联合变换矩阵进行处理)，例如，假设当前编码块为4*4的帧内色度分量块，则对该编码块进行4*4的联合变换处理；可以理解地，可对AVS3对应的句法元素进行修改，加入编码块的高度大于4或宽度大于4的限制条件。

本实施例可根据当前编码块的长宽比、宽长比或尺寸来确定是否需要进行再次变换，能够有选择性地进行变换，可降低无效编码时间。

请参阅图7，图7是本申请提供的视频图像处理方法再一实施例的流程示意图，该方法包括：

步骤41：获取待处理图像中每个编码块的残差数据。

步骤42：判断编码块的尺寸是否符合预设尺寸条件。

步骤43：利用第一变换矩阵对残差数据进行变换，得到第一变换系数。

步骤41-43与上述实施例中步骤11-13相同，在此不再赘述。

当前变换是为了使第一变换系数能量进一步集中，前提条件是前一次变换后生成的第一变换系数已经充分集中在当前变换的区域中，这样才能达到目的；经过前一次变换后，低频系数集中在第一变换系数的左上角区域，高频系数分布在第一变换系数的右下角区域，并且低频系数的绝对值大于高频系数的绝对值。当前编码块越稀疏，低频部分所占比重就越大，当编码块满足当前变换的条件时，可根据第一变换系数判断当前编码块的稀疏性，如果稀疏性很好，则进行再次变换使能量更加集中，反之则不进行。

进一步地，在生成了第一变换系数后，如果当前编码块符合再次变换的条件，则可利用第一变换系数的分布情况判断是否需要对第一变换系数进行变换，具体包括步骤43-步骤45；如果当前编码块不符合再次变换的条件，则可直接对第一变换系数进行量化操作。

步骤44：统计编码块中至少部分区域对应的所有第一变换系数中绝对值小于预设系数阈值的总数，并判断总数是否大于或等于变换判决阈值。

通过统计当前编码块在前一次变换后得到的第一变换系数中某区域内系数的稀疏性，来判断是否需要进行二次变换；具体地，统计编码块中某个区域(可以是所有第一变换系数对应的区域或某一部分第一变换系数对应的区域)对应的所有第一变换系数中绝对值小于预设系数阈值的总数。

步骤45：若总数小于变换判决阈值，则不对第一变换系数进行变换。

若统计出来的总数小于变换判决阈值，则表明当前编码块的稀疏性较差，此时可判定当前编码块不需要进行再次变换，不能实现能量更集中的效果。

步骤46：若总数大于或等于变换判决阈值，则利用第二变换矩阵对第一变换系数进行变换，得到第二变换系数。

若统计出来的总数大于或等于变换判决阈值，则表明当前编码块的稀疏性较好，此时需要对当前编码块左上角部分区域再次进行变换处理。

在一具体的实施例中，以AVS3视频编码标准为例，假设当前编码块的尺寸为M×N，T_i,j(0<i≤M,0<j≤N)为第一变换系数，设定预设系数阈值为α，统计|T_i,j|中小于α的总数C，将总数C与变换判决阈值δ_M×N进行比较，δ_M×N的计算公式如下所示：

δ_M×N＝round(M×N×0.7) (2)

其中，round()为四舍五入取整函数，若C≥δ_M×N，则进行二次变换；若C<δ_M×N，则不进行二次变换。

例如，假设编码块的尺寸为16*16，其满足二次变换的限制条件，经统计得到α＝50，第一变换系数为T_i,j(0<i≤16,0<j≤16)，统计得到|T_i,j|中小于α的总数C<round(16*16*0.7)＝179，则当前编码块虽然满足二次变换的条件，但是不需要对其进行二次变换。

本实施例提出一种根据前一次变换得到的变换系数的分布特性来判决是否需要再次变换的方法，判断当前编码块中非零系数小于预设系数阈值的总数，通过将该总数与变换判决阈值进行对比，从而判断是否需要对当前编码块进行再次变换。

在其他实施例中，还可将图5-图7的实施例进行组合，得到新的实施例，下面以二次变换为例进行说明，具体如下：

在一具体的实施方式中，可将图6与图7所示的实施例进行结合，即先判断当前编码块的尺寸是否符合条件，如果符合条件，再进一步判断第一变换系数的分布情况是否符合条件。

例如，假设二次变换矩阵的尺寸为4*4，第一预设比值为8，预设长宽比/预设宽长比为8，变换判决阈值为179，则二次变换的尺寸范围为：4*4～32*32，如果当前编码块的尺寸为16*16，则其尺寸符合条件，一次变换后得到16*16的第一变换系数，统计第一变换系数中绝对值小于预设系数阈值的总数，判断该总数是否大于或等于179，如果该总数大于179，则需要进行二次变换；如果该总数小于179，则不需要进行二次变换。

在另一具体的实施方式中，可将图5与图6所示的实施例进行结合，即在当前编码块符合二次变换条件时，根据一次变换后得到的第一变换系数的分布特性决定是否需要进行二次变换，若需要进行二次变换，则自适应选择二次变换矩阵的类型与大小，然后进行二次变换处理，再进行量化操作；如果利用一次变换后得到的第一变换系数的分布特性判断出不需要进行二次变换，则不对第一变换系数进行处理，直接进行量化操作。

在又一具体的实施方式中，可将图5-图7所示的实施例进行结合，先判断当前编码块的尺寸是否符合条件，如果符合条件，再进一步判断第一变换系数的分布情况是否符合条件；如果判断出第一变换系数的分布情况符合条件，则自适应选择二次变换矩阵的类型与大小，然后进行二次变换处理。

例如，假设二次变换矩阵的尺寸为4*4和8*8，第一预设比值为8，预设长宽比/预设宽长比为8，则二次变换的尺寸范围为：4*4～64*64，若当前编码块的尺寸为16*16，利用DCT2进行一次变换后得到16*16的第一变换系数，统计第一变换系数矩阵中绝对值小于预设系数阈值的总数，判断该总数是否大于变换判决阈值，如果总数大于或等于变换判决阈值，则需要进行二次变换；若总数小于变换判决阈值，则不需要进行二次变换，且二次变换矩阵选择4*4的DCT2变换核。

综上，本申请提出了一种二次变换技术的改进方法，在现有二次变换技术的基础上，改变了二次变换使用的尺寸限制条件；增加了通过分析第一变换系数的分布特性来判断是否需要进行二次变换的过程，以及提供了一种二次变换矩阵的自适应选择方法，二次变换的预判过程和二次变换矩阵的自适应选择都能在不额外增加编码负担的基础上，提高二次变换的使用效率。

请参阅图8，图8是本申请提供的编码器一实施例的结构示意图，编码器80包括互相连接的存储器81和处理器82，存储器81用于存储计算机程序，计算机程序在被处理器82执行时，用于实现上述实施例中的视频图像处理方法。

本实施例提供出一种编码器80，编码器80可通过第一变换系数的分布特性判断是否需要进行再次变换，从而有效减少编码复杂度，降低无效编码时间；而且可以自适应选择变换矩阵的类型与尺寸，能够使得再次变换的效果达到最优。

请参阅图9，图9是本申请提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质90用于存储计算机程序91，计算机程序91在被处理器执行时，用于实现上述实施例中的视频图像处理方法。

计算机可读存储介质90可以是服务端、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种视频图像处理方法，其特征在于，包括：

获取待处理图像中每个编码块的残差数据；

判断所述编码块的尺寸是否符合预设尺寸条件；

若所述编码块的尺寸不符合所述预设尺寸条件，则利用第一变换矩阵对所述残差数据进行变换，得到第一变换系数；

基于所述编码块的信息判断是否需要对所述第一变换系数进行变换，所述编码块的信息包括第二变换矩阵的最大尺寸、所述编码块的长宽比、所述编码块的宽长比；

若需要对所述第一变换系数进行变换，则利用第二变换矩阵对所述第一变换系数进行变换，得到第二变换系数。

2.根据权利要求1所述的视频图像处理方法，其特征在于，所述基于所述编码块的信息判断是否需要对所述第一变换系数进行变换的步骤，包括：

判断所述编码块的尺寸与所述第二变换矩阵的最大尺寸的比值是否小于或等于第一预设比值。

3.根据权利要求1所述的视频图像处理方法，其特征在于，所述基于所述编码块的信息判断是否需要对所述第一变换系数进行变换的步骤，还包括：

判断所述编码块的长宽比与预设长宽比的比值是否大于第二预设比值。

4.根据权利要求1所述的视频图像处理方法，其特征在于，所述基于所述编码块的信息判断是否需要对所述第一变换系数进行变换的步骤，还包括：

判断所述编码块的宽长比与预设宽长比的比值是否大于第二预设比值。

5.根据权利要求1所述的视频图像处理方法，其特征在于，所述方法还包括：

在所述编码块的尺寸符合所述预设尺寸条件时，对所述第一变换矩阵与所述第二变换矩阵进行融合，得到联合变换矩阵；

利用所述联合变换矩阵对所述残差数据进行变换，得到所述第二变换系数；

其中，所述第一变换矩阵为进行时域与频域转换的矩阵，所述第二变换矩阵为进行变换域转换的矩阵。

6.根据权利要求1所述的视频图像处理方法，其特征在于，所述基于所述编码块的信息判断是否需要对所述第一变换系数进行变换的步骤，包括：

统计所述编码块中至少部分区域对应的所有第一变换系数中绝对值小于预设系数阈值的总数；

判断所述总数是否小于变换判决阈值。

7.根据权利要求1所述的视频图像处理方法，其特征在于，所述利用第二变换矩阵对所述第一变换系数进行变换，得到第二变换系数的步骤之前，包括：

基于所述第一变换矩阵的类型确定所述第二变换矩阵的类型；

其中，所述第二变换矩阵的尺寸与所述编码块的尺寸满足预设关系。

8.根据权利要求7所述的视频图像处理方法，其特征在于，所述预设关系为：

其中，TU为所述编码块，size(TU)为所述编码块的尺寸，Nj(1≤j≤i)为所述第二变换矩阵的长度/宽度，i为所述第二变换矩阵的尺寸的数量，4≤N1<N2...<Ni≤max(size(ST))，S为所述第二变换矩阵的尺寸，max(size(ST))为所述第二变换矩阵的最大尺寸的边长。

9.一种编码器，其特征在于，包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现权利要求1-8中任一项所述的视频图像处理方法。

10.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序在被处理器执行时，用于实现权利要求1-8中任一项所述的视频图像处理方法。

Images