CN111556319B - 一种基于矩阵分解的视频编码方法 - Google Patents

Abstract

本发明属于视频编码技术领域，具体涉及一种基于矩阵分解的视频编码方法。本发明的方法，主要是对视频编码过程中变换量化的步骤进行改进，基于矩阵分解的方法，将变换矩阵分解成4*4矩阵，并将预测过程中得到的残差矩阵也进行同样的分解，从而简化残差矩阵的变换过程，实现快捷地，无损失地进行残差矩阵的变换，进而提高编码的速度。

Description

一种基于矩阵分解的视频编码方法

技术领域

本发明属于视频编码技术领域，具体涉及一种基于矩阵分解的视频编码方法。

背景技术

视频编码包括：预测、变换量化和熵编码过程。如图1所示，输入的原始视频序列经过预测后得到残差信号，目的是去除图片间的空间冗余，它利用已编码的重建信息作为参考信息进行预测，然后残差信号经过变换使残差信号的能量更一步集中，接下来进行量化，对高频信号采用更大的量化步长，而对于低频信号使用更小的量化步长，保证图像基本信息没有损失。最后是熵编码过程，它将非二进制编码信息编码为二进制信息。

虽然最新的编码器能够获得很好的压缩比，视频质量的损失也很小，但是因为复杂度太高，实时性不足，大部分企业仍旧倾向于使用更早版本的编码器，而不使用复杂度高的编码器。

发明内容

本发明的目的，就是针对上述问题，提出一种可以提高编码速度的基于矩阵分解的视频编码方法。

本发明的技术方案为：一种基于矩阵分解的视频编码方法，包括以下步骤：

S1、输入视频后，获取每一帧的像素矩阵，定义为大小为M*N的矩阵，然后进行逐帧处理，将当前正在处理的帧记为F；

S2、将帧F划分为不同大小的块，对每一块进行预测，获得预测像素值Pr_x，y，再根据原始像素值Or_x，y，得到残差矩阵R：

R＝Or_x，y-Pr_x，y

S3、对残差矩阵R进行变换量化：

对变换矩阵T进行分解，设变换矩阵T为DCT-4矩阵：

或DST-4矩阵：

T_i(j)表示矩阵第i行第j列的元素；

将2^N*2^N大小的变换矩阵T，分解为4*4大小的小型矩阵，每个矩阵包含原矩阵的16个元素，分别位于第i行，第j列；第2^N-1+1-i行，第j列；第2^N-1+i行，第j列；第2^N+1-i行，第j列；第i行，第2^N-1+1-j列；第2^N-1+1-i行，第2^N-1+1-j列；第2^N-1+i行，第2^N-1+1-j列；第2^N+1-i行，第2^N-1+1-j列；第i行，第2^N-1+j列；第2^N-1+1-i行，第2^N-1+j列；第2^N-1+i行，第2^N-1+j列；第2^N+1-i行，第2^N-1+j列；第i行，第2^N+1-j列；第2^N-1+1-i行，第2^N+1-j列；第2^N-1+i行，第2^N+1-j列；第2^N+1-i行，第2^N+1-j列；共将2^N*2^N大小的变换矩阵分解为2^N-2*2^N-2个4*4矩阵；

将残差矩阵R按照相同的方式分解为4*4大小的矩阵，得到2^N-2*2^N-2个4*4矩阵；

计算T·R得到变换之后的残差矩阵R^tr，其中上标tr表示矩阵R经过变换。

将变换之后的残差矩阵进行量化：

其中Quant_x，y是量化结果，Round表示进行四舍五入，step表示量化步长；

S4、对量化结果进行熵编码：

将变换块分解成4*4大小，然后扫描系数，从最后一个系数开始扫描，每一个4*4块扫描过程变成一个一维数组，然后对一维数组进行编码，首先编码一维数组的最后一个非零系数的位置，然后编码其它非零系数的位置，最后再对非零系数的幅值进行编码，全部完成之后输出码流。

本发明的有益效果为，相对现有技术，本发明能够更快捷地，无损失地进行残差矩阵的变换，从而有效提高了编码速度。

附图说明

图1为视频编码过程示意图。

具体实施方式

下面对本发明的技术方案进行详细说明，以便于本领域内技术人员的理解。

本发明的方法包括以下步骤：

S1、输入视频

输入视频包含f₀帧，每帧都是一个大小为M*N的矩阵，记录着每一个位置的像素值。在视频编码过程中，会一帧一帧一次进行处理，正在处理的帧记为F，是一个记录当前帧所有像素值的大小为M*N的矩阵。

S2、预测

当前帧会划分成不同大小的块，每一块都会根据周围像素或者参考帧的参考块来进行预测，预测方法分为帧内预测和帧间预测：

对于帧内预测，假定编码块大小为m*n，对编码块内的每一个像素点的预测值可以通过编码块上方一行和左侧一列的像素值得到，假设上方一行像素值为ref_x，0，左侧一列像素值为ref_0，y，则编码块内每一个点的预测像素值Pr_x，y大小为：

Pr_x，y＝((n*((m-y)·ref_x，0+y·ref_0，m+1)+m*((n-x)·ref_0，y+x·ref_n+1，0)+m*n)＞＞(log₂m+log₂n+1) (公式1)

对于帧间预测，在参考帧中找到参考块reference_x，y，参考块的像素值大小就作为编码块的预测像素值：

Pr_x，y＝reference_x，y (公式2)

帧间预测如果采用双向预测，则有两个参考块reference1_x，y和reference2_x，y，编码块的预测像素值可以由下式表达：

其中d₁是编码块与参考块reference1的距离(相隔的帧数)，d₂是编码块与参考块reference2的距离。

根据预测像素值和原始像素值可以得到残差矩阵R(残差系数)：

R＝Or_x，y-Pr_x，y (公式4)

S3、变换量化

1.分解变换矩阵T

变换矩阵T是视频编码领域里已经设定好的固定的矩阵，本方法针对其中的两种变换核进行分解，DCT-4矩阵表示如下：

DST-4矩阵表示如下：

T_i(j)表示矩阵第i行第j列的元素。

对于2^N*2^N大小的变换矩阵T，分解为4*4大小的小型矩阵，每个矩阵包含原矩阵的16个元素，分别位于第i行，第j列；第2^N-1+1-i行，第j列；第2^N-1+i行，第j列；第2^N+1-i行，第j列；第i行，第2^N-1+1-j列；第2^N-1+1-i行，第2^N-1+1-j列；第2^N-1+i行，第2^N-1+1-j列；第2^N+1-i行，第2^N-1+1-j列；第i行，第2^N-1+j列；第2^N-1+1-i行，第2^N-1+j列；第2^N-1+i行，第2^N-1+j列；第2^N+1-i行，第2^N-1+j列；第i行，第2^N+1-j列；第2^N-1+1-i行，第2^N+1-j列；第2^N-1+i行，第2^N+1-j列；第2^N+1-i行，第2^N+1-j列；共将2^N*2^N大小的变换矩阵分解为2^N-2*2^N-2个4*4矩阵。

2.分解残差矩阵R

残差矩阵R是和变换矩阵T一样大小的矩阵，将其按照与变换矩阵同样的分解方法分解为4*4大小的矩阵，得到2^N-2*2^N-2个4*4矩阵。

3.计算T·R过程中的中间变量

视频编码通过变换技术来将残差矩阵投射到变换域，以减少码率。

在对残差矩阵进行变换的过程中，可以采用以下方法，利用分块矩阵的计算方法计算T·R，其中每一步都是计算两个4*4矩阵的乘积，得到中间变量计算方法如下：

k_0i＝b*(r_1i+r_2i+r_3i+r_4i) (公式8)

k_1i＝(-a-b)*(r_2i+r_3i) (公式9)

k_2i＝(d-b)*(r_1i+r_4i) (公式10)

k_3i＝(c-b)*(r_1i+r_3i) (公式11)

k_4i＝(-c-b)*(r_3i+r_4i) (公式12)

m_0i＝k_0i+k_2i+k_3i+(a+b-c-d)*r_1i (公式13)

m_1i＝k_0i+k_1i+k_4i+(a+b+c-d)*r_2i (公式14)

m_2i＝k_0i+k_1i+k_3i+(a+b-c+d)*r_3i (公式15)

m_3i＝k_0i+k_2i+k_4i+(-a+b+c-d)*r_4i (公式16)

其中k_0i，k_1i，k_2i，k_3i，k_4i都是中间变量，先保存下来，(i＝1，2，3，4)。

4.利用得到的中间变量，累加得到残差矩阵经过变换后的结果，如果是对进行4*4矩阵进行变换，则前文中的m_0i，m_1i，m_2i，m_3i是4*4大小的残差矩阵最终的变换结果，不需要再进行累加。对于其它大小的残差矩阵，计算方式如下：

8*8残差矩阵的变换结果如下：

第一行第i列的值为：temp₀+k_1，3i+k_2，4i+(t₁₁+t₁₄-t₁₅-t₁₈)r_1i+(-t₁₆+t₁₂-t₁₇+t₁₃)r_3i； (公式17)

第四行第i列的值为：temp₁+k_1，4i+k_2，3i+(t₁₁+t₁₄+t₁₅-t₁₈)r_4i+(-t₁₆-t₁₂-t₁₇+t₁₃)r_2i； (公式18)

第五行第i列的值为：temp₁+k_1，3i+k_2，4i+(t₁₁+t₁₄-t₁₅+t₁₈)r_5i+(t₁₆-t₁₂+t₁₇+t₁₃)r_7i； (公式19)

第八行第i列的值为：temp₀+k_1，4i-k_2，3i+(-t₁₁+t₁₄+t₁₅-t₁₈)r_1i+(-t₁₆+t₁₂+t₁₇-t₁₃)r_6i； (公式20)

其中

temp₀＝k_1，0i+k_1，1i-k_2，0i-k_2，2i (公式21)

temp₁＝k_1，0i+k_1，2i+k_2，0i+k_2，1i (公式22)

同理，对其余四行计算方法如下：

temp₂＝-k_3，0i-k_3，2i+k_4，0i+k_4，1i (公式23)

temp₃＝k_3，0i+k_3，1i+k_4，0i+k_4，2i； (公式24)

第二行第i列的值为：temp₂+k_4，3i-k_3，4i+(t₁₃+t₁₂-t₁₇-t₁₆)r_1i+(t₁₅+t₁₈+t₁₁+t₁₄)r_3i； (公式25)

第三行第i列的值为：temp₃+k_4，4i+k_3，3i+(t₁₃-t₁₂+t₁₇-t₁₆)r_4i+(-t₁₅+t₁₈-t₁₁-t₁₄)r_2i； (公式26)

第六行第i列的值为：temp₃+k_4，3i+k_3，4i+(-t₁₃-t₁₂-t₁₇-t₁₆)r_5i+(-t_1s+t₁₈+t₁₁+t₁₄)r_7i； (公式27)

第七行第i列的值为：temp₂+k_4，4i-k_3，3i+(t₁₃+t₁₂-t₁₇+t₁₆)r_8i+(-t₁₅+t₁₈-t₁₁+t₁₄)r_6i； (公式28)

k是在四次4*4矩阵乘法中计算得到的中间变量，k的下标中左侧数字代表其是第几次矩阵乘法，右侧数字代表其是第i列的第几个中间变量，t为变换矩阵T中的元素，t的下标表示其在变换矩阵T中的位置，r为残差矩阵中的残差值，r的下标表示其在残差矩阵R中的位置，八行结果组合起来就是变换之后的残差矩阵R^tr。16*16和32*32残差矩阵的计算方法与8*8残差矩阵计算方式一致。

残差矩阵变换完成后进行量化，量化过程如下：

其中Quant_x，y是量化结果，Round表示进行四舍五入，step表示量化步长。

S4、熵编码

对量化结果(量化系数)的熵编码如下：

将变换块分解成4*4大小，然后扫描系数，(4*4块内部的扫描方式和4*4块的扫描方式一致)，扫描的方式有对角扫描，水平扫描和垂直扫描。从最后一个系数开始扫描，每一个4*4块扫描过程变成一个一维数组，然后对一维数组进行编码。首先编码一维数组的最后一个非零系数的位置，然后编码其它非零系数的位置，最后再对非零系数的幅值进行编码。全部完成之后输出码流。

为了证明本发明的有效性，通过如下表1对本发明的编码耗时与VTM3.0(VVC新提出的一个编码器)进行对比：

表1实施例得到的编码耗时对比

可以看出对所有序列，采用本发明的方法后，复杂度均得到减少。

Claims (1)

1.一种基于矩阵分解的视频编码方法，其特征在于，包括以下步骤：

S1、输入视频后，获取每一帧的像素矩阵，定义为大小为M*N的矩阵，然后进行逐帧处理，将当前正在处理的帧记为F；

S2、将帧F划分为不同大小的块，对每一块进行预测，获得编码块内每一个点的预测像素值Pr_x，y，再根据原始像素值Or_x，y，得到残差矩阵R：

R＝Or_x，y-Pr_x，y

S3、对残差矩阵R进行变换量化：

对变换矩阵T进行分解，设变换矩阵T为DCT-4矩阵：

或DST-4矩阵：

T_i(j)表示矩阵第i行第j列的元素；

将2^N*2^N大小的变换矩阵T，分解为4*4大小的小型矩阵，每个矩阵包含原矩阵的16个元素，分别位于第i行，第j列；第2^N-1+1-i行，第j列；第2^N-1+i行，第j列；第2^N+1-i行，第j列；第i行，第2^N-1+1-j列；第2^N-1+1-i行，第2^N-1+1-j列；第2^N-1+i行，第2^N-1+1-j列；第2^N+1-i行，第2^N-1+1-j列；第i行，第2^N-1+j列；第2^N-1+1-i行，第2^N-1+j列；第2^N-1+i行，第2^N-1+j列；第2^N+1-i行，第2^N-1+j列；第i行，第2^N+1-j列；第2^N-1+1-i行，第2^N+1-j列；第2^N-1+i行，第2^N+1-j列；第2^N+1-i行，第2^N+1-j列；共将2^N*2^N大小的变换矩阵分解为2^N-2*2^N-2个4*4矩阵；

将残差矩阵R按照相同的方式分解为4*4大小的矩阵，得到2^N-2*2^N-2个4*4矩阵；

计算T·R得到变换之后的残差矩阵R^tr，其中上标tr表示残差矩阵已经过变换；

将变换之后的残差矩阵进行量化：

其中Quant_x，y是量化结果，Round表示进行四舍五入，step表示量化步长；

S4、对量化结果进行熵编码：

将变换块分解成4*4大小，然后扫描系数，从最后一个系数开始扫描，每一个4*4块扫描过程变成一个一维数组，然后对一维数组进行编码，首先编码一维数组的最后一个非零系数的位置，然后编码其它非零系数的位置，最后再对非零系数的幅值进行编码，全部完成之后输出码流。

Images