CN102055978B - 帧运动补偿编码、解码方法、装置 - Google Patents

Abstract

本发明提供一种帧运动补偿编码方法，该方法包括：确定当前编码帧和参考帧之间对应的标记点参数；根据所述标记点参数对参考帧进行扭曲变换，得到扭曲参考帧；当前编码帧划分成宏块，采用所述基于扭曲参考帧的运动补偿、基于原始参考帧的运动补偿编码代价最小的形式对当前编码帧进行编码，若采用了当前编码帧对应的扭曲参考帧进行编码，则将所述扭曲参考帧标识位置1，并存储所述标记点参数。本发明提供的方法可以在考虑帧与帧之间图像无规律变化的情况下以编码代价最小的方式进行编码。

Description

帧运动补偿编码、解码方法、装置

技术领域

本发明涉及视频编解码领域，尤其涉及一种帧运动补偿编码、解码方法、装置。

背景技术

在现有视频文件的编码算法中，对于P帧和B帧的运动补偿方案一般是假设当前编码帧相对于参考帧仅存在X方向和Y方向的位移：例如P帧是假设当前编码帧相对于其前向参考帧仅存在X方向和Y方向的位移、B帧是假设当前编码帧相对于其前向和后向参考帧仅存在X方向和Y方向的位移。

然而，在实际过程中，帧与帧之间的运动变化往往是复杂多样的，很多帧内图像细节无规律的变化并不仅限于平移，传统的运动参考模型在图像运动变化的方面无法很好的表现出来，造成了当前编码帧和参考帧之间差异较大，那么就导致编码效率较低，压缩性能还有待于提高。

综上所述，现有技术在处理帧与帧之间的图像变化时，无法很好的处理图像之间的无规律变化，导致编码效率、压缩性能低。

发明内容

本发明实施例的目的在于提出一种帧运动补偿编码、解码方法，旨在解决现有技术在处理帧与帧之间的图像变化时，无法很好的处理图像之间的无规律变化，导致编码效率、压缩性能低问题。

本发明提供一种帧运动补偿编码方法，该方法包括：

确定当前编码帧和参考帧之间对应的标记点参数；

根据所述标记点参数对参考帧进行扭曲变换，得到扭曲参考帧；

当前编码帧划分成宏块，采用所述基于扭曲参考帧的运动补偿、基于原始参考帧的运动补偿编码代价最小的形式对当前编码帧进行编码，若采用了当前编码帧对应的扭曲参考帧进行编码，则将所述扭曲参考帧标识位置1，并存储所述标记点参数。

其中，所述采用基于扭曲参考帧的运动补偿、基于原始参考帧的运动补偿的编码代价最小的形式对当前编码帧进行编码：获取所述当前编码帧每一个宏块对应的扭曲参考帧的编码代价的和A、以及获取所述当前编码帧每一个宏块对应的参考帧的编码代价的和B，以及生成扭曲参考帧所需的额外编码代价D；若A+D小于B，则采用所述扭曲参考帧进行编码。

其中，所述采用所述扭曲参考帧、参考帧编码代价最小的形式对当前编码帧进行编码具体为：比较当前编码帧每一个宏块对应的扭曲参考帧编码代价与参考帧编码代价大小；然后获取当前编码帧每一个宏块对应的扭曲参考帧编码代价与参考帧编码代价较小的编码代价和C，以及获取所述当前编码帧每一个宏块对应的参考帧编码代价的和B，以及生成扭曲参考帧所需的额外编码代价D；若和C+D小于和B，则采用当前编码帧的每一个宏块对应的编码代价较小的扭曲参考帧或参考帧进行编码。

其中，所述的参考帧为当前编码帧的前向参考帧；

所述标记点参数包括：标记点集、标记点数量、标记点位移量(detaX，detaY)、扭曲限制参数范围。

其中，其特征在于，

所述步骤：根据所述标记点参数对所述参考帧进行扭曲变换，得到扭曲参考帧具体为：

f(p_i)＝q_i(其中p_i为参考帧上的点，q_i为当前编码帧上面的对应点，1≤i≤n(n为正整数))：

$f_x(x,y)=x+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{xi}}U\left(\right|P_i-(x,y)\left|\right)$

$f_y(x,y)=y+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{yi}}U\left(\right|P_i-(x,y)\left|\right)---\left(1\right)$

其中w是指对应标记点的扭曲加权值，w_xi表示在第i个标记点对当前坐标的x方向上的扭曲加权；w_yi表示在第i个标记点对当前坐标的y方向上的扭曲加权；

所述系数w具体由下式求出，

Kw+P＝Q    (2)

其中，P＝(p₁，p₂，...，p_n)^T，Q＝(q₁，q₂，...，q_n)^T，q_i＝p_i+(detaX,detaY)，K为n×n矩阵，K_ij＝U(r_ij)，r_ij为参考帧上第i个标记点到第j个标记点的距离：

$K=\left[\begin{array}{cccc}{U}_{11}& U_{12}& ...& U_{1n}\\ U_{21}& ...& & ...\\ ...& & ...& ...\\ U_{n1}& ...& ...& U_{\mathrm{nn}}\end{array}\right]---\left(3\right)$

其中U(r_ij)具体为：

$U\left(r\right)=e^{-{(r/3a)}^2}---\left(4\right)$

${\mathrm{\Ψ}}_{\mathrm{3,0}}(r/a)={(1-r/a)}_{+}^2$

${\mathrm{\Ψ}}_{\mathrm{3,1}}(r/a)={(1-r/a)}_{+}^4(4r/a+1)$

${\mathrm{\Ψ}}_{\mathrm{3,2}}(r/a)={(1-r/a)}_{+}^6(35\·{(r/a)}^2+18r/a+3)---\left(5\right)$

其中a为扭曲限制范围的参数，Ψ_3，0Ψ_3，1Ψ_3，2对应上述的U(r_ij)，r为参考帧上第i个标记点到第j个标记点的距离。

本发明还提供一种帧运动补偿解码方法，该方法包括：

判断扭曲参考帧标识位是否置1，若是则根据标记点参数对扭曲参考帧进行解码。

其中，若扭曲参考帧标识位没有置1，则根据参考帧进行解码。

本发明还提供一种帧运动补偿编码装置，该装置包括：

标记点参数单元，用于确定当前编码帧和参考帧之间对应的标记点参数；

扭曲参考帧单元，用于根据所述标记点参数对参考帧进行扭曲变换，得到扭曲参考帧；

处理单元，用于将当前编码帧划分成宏块，采用所述基于扭曲参考帧的运动补偿、基于原始参考帧的运动补偿编码代价最小的形式对当前编码帧进行编码，若采用了当前编码帧对应的扭曲参考帧进行编码，则将所述扭曲参考帧标识位置1，并存储所述标记点参数。

其中，所述的处理单元，用于采用基于扭曲参考帧的运动补偿、基于原始参考帧的运动补偿的编码代价最小的形式对当前编码帧进行编码：获取所述当前编码帧每一个宏块对应的扭曲参考帧的编码代价的和A、以及获取所述当前编码帧每一个宏块对应的参考帧的编码代价的和B，以及生成扭曲参考帧所需的额外编码代价D；若A+D小于B，则采用所述扭曲参考帧进行编码。

其中，所述的处理单元，用于采用所述扭曲参考帧、参考帧编码代价最小的形式对当前编码帧进行编码具体为：比较当前编码帧每一个宏块对应的扭曲参考帧编码代价与参考帧编码代价大小；然后获取当前编码帧每一个宏块对应的扭曲参考帧编码代价与参考帧编码代价较小的编码代价和C，以及获取所述当前编码帧每一个宏块对应的参考帧编码代价的和B，以及生成扭曲参考帧所需的额外编码代价D；若和C+D小于和B，则采用当前编码帧的每一个宏块对应的编码代价较小的扭曲参考帧或参考帧进行编码。

其中，所述标记点参数：用于确定当前编码帧和前向参考帧之间对应的标记点参数具体为：标记点集、标记点数量、标记点位移量(detaX，detaY)、扭曲限制参数范围。

其中，所述的扭曲参考帧单元，用于根据所述标记点参数对参考帧进行扭曲变换，得到扭曲参考帧具体为：f(p_i)＝q_i(其中p_i为参考帧上的点，q_i为当前编码帧上面的对应点，1≤i≤n(n为正整数))：

$f_x(x,y)=x+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{xi}}U\left(\right|P_i-(x,y)\left|\right)$

$f_y(x,y)=y+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{yi}}U\left(\right|P_i-(x,y)\left|\right)$

其中w是指对应标记点的扭曲加权值，w_xi表示在第i个标记点对当前坐标的x方向上的扭曲加权；w_yi表示在第i个标记点对当前坐标的y方向上的扭曲加权；

所述系数w具体由下式求出，

Kw+P＝Q

其中，P＝(p₁，p₂，...，p_n)^T，Q＝(q₁，q₂，...，q_n)^T，q_i＝p_i+(detaX，detaY)，K为n×n矩阵，K_ij＝U(r_ij)，r_ij为参考帧上第i个标记点到第j个标记点的距离：

$K=\left[\begin{array}{cccc}{U}_{11}& U_{12}& ...& U_{1n}\\ U_{21}& ...& & ...\\ ...& & ...& ...\\ U_{n1}& ...& ...& U_{\mathrm{nn}}\end{array}\right]$

其中U(r_ij)具体为：

$U\left(r\right)=e^{-{(r/3a)}^2}$

${\mathrm{\Ψ}}_{\mathrm{3,0}}(r/a)={(1-r/a)}_{+}^2$

${\mathrm{\Ψ}}_{\mathrm{3,1}}(r/a)={(1-r/a)}_{+}^4(4r/a+1)$

${\mathrm{\Ψ}}_{\mathrm{3,2}}(r/a)={(1-r/a)}_{+}^6(35\·{(r/a)}^2+18r/a+3)$

其中a为扭曲限制范围的参数，Ψ_3，0Ψ_3，1Ψ_3，2对应上述的U(r_ij)，r为参考帧上第i个标记点到第j个标记点的距离。

本发明还提供一种帧运动补偿解码装置，该装置包括：

判断单元，用于判断扭曲参考帧标识位是否置1；

解码单元，若判断出扭曲参考帧标识位置1，则根据标记点参数对扭曲参考帧进行解码。

其中，所述解码单元，进一步用于若判断出扭曲参考帧没有置1，则根据参考帧进行解码。

综上所述，本发明通过记录当前编码帧和参考帧之间一系列特征点的位移情况，构建映射函数对原始参考帧进行扭曲变换，得到一个新的扭曲参考帧。由于标记点记录了当前帧与参考帧之间的无规律变化情况，扭曲参考帧与当前编码帧更为近似，因此更有利于节省码率。当得到这个新的扭曲参考帧后，进一步判断根据参考扭曲参考帧进行编码所需代价是否小于采用原始参考帧编码，如果是则采用扭曲参考帧进行编码，否则采用其他形式编码；本发明提供的方法可以在考虑帧与帧之间图像无规律变化的情况下以编码代价最小的方式进行编码，解决了现有技术的问题。

附图说明

图1是本发明实施例1帧运动补偿编码的方法流程图；

图2是本发明实施例2P帧运动补偿编码的方法流程图；

图3为P帧前向参考帧上标记点示意图；

图4为P帧对应其前向参考帧标记点示意图；

图5为当前编码帧划分成宏块示意图；

图6为当前编码帧宏块对应的扭曲参考帧编码代价示意图；

图7为当前编码帧宏块对应的参考帧编码代价示意图；

图8是本发明实施例3帧运动补偿编码的方法流程图；

图9为本发明实施例4帧运动补偿解码方法流程图；

图10为本发明实施例5帧运动补偿编码装置示意图；

图11为本发明实施例6帧运动补偿解码装置示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。

实施例1，本发明实施例提供了一种帧运动补偿编码方法，参见图1，该方法具体为：

步骤101：确定当前编码帧和参考帧之间对应的标记点参数；

当前编码帧为P帧时，参考帧为其前向编码帧，也就是本领域技术人员通常所说的原始参考帧。

所述标记点参数包括：标记点集、标记点数量、标记点位移量、扭曲限制参数范围；其中的标记点集包括了当前编码帧和参考帧之间一一对应的标记点对；当前编码帧是P帧时，标记点位移量是(detaX，detaY)。

其中标记点集、标记点数量、扭曲限制参数都可以是根据参考帧和编码帧的图像情况而设定，本发明并不进行限定。

步骤102：根据所述标记点参数对参考帧进行扭曲变换，得到扭曲参考帧；

步骤103：当前编码帧划分成宏块，采用所述基于扭曲参考帧的运动补偿、基于原始参考帧的运动补偿编码代价最小的形式对当前编码帧进行编码，若采用了当前编码帧对应的扭曲参考帧进行编码，则将所述扭曲参考帧标识位置1，并存储所述标记点参数；若没有采用扭曲参考帧进行编码，则将扭曲参考帧标识位置0则采用参考帧进行编码，不记录标记点参数。

在步骤103中，由于本领域技术人员通常在进行帧编码时，有时候也会采用帧内预测的形式进行编码，将当前帧宏块对应的帧内预测编码代价最小的部分内嵌到参考帧的编码代价中，来以最小的编码代价进行编码；因此本发明所述的采用参考帧编码代价的形式也可以包括帧内预测的编码代价，在此并不做限制。

在本发明的技术方案中有时也就会出现帧内预测的编码代价较小的情况，那么此时可以将当前编码帧的宏块对应的帧内预测的编码代价最小的部分内嵌到扭曲参考帧中，从而最终采用扭曲参考帧+帧内预测编码代价与参考帧+帧内预测编码代价最小的形式进行编码。

由于帧内预测是一种本领域技术人员通用的做法，因此采用帧内预测内嵌入扭曲参考帧和参考帧编码代价的形式并不构成对本发明的限制。

本发明实施例1通过确定当前编码帧和参考帧之间的标记点参数，并通过标记点参数对参考帧进行扭曲变换，新得到一个扭曲参考帧；由于这个参考帧通过选择各个方向的标记点，因此考虑了帧与帧之间图像无规律变化的情况；当得到这个新的扭曲参考帧后，进一步判断根据该扭曲参考帧后是否为编码代价最小，如果是则进行编码；通过这一步的比较过程可以进一步确定本发明采用代价最小的方式进行编码，因此本发明提供的方法可以在考虑帧与帧之间图像无规律变化的情况下以编码代价最小的方式进行编码。

实施例2，本发明实施例提供了一种P帧运动补偿编码方法，参见图2，该方法具体为：

步骤201：确定当前编码帧P帧和P帧前向参考帧之间对应的标记点参数；

详细的标记点可以参见图3和图4，如图3所示，该图表示了参考帧，也就是P帧前向参考帧上的标记点；如图4所示，该图表示了当前编码帧，也就是P帧上与其前向参考帧标记点一一对应的标记点；这些标记点参数包括了：标记点集、标记点数量、标记点位移量(detaX，detaY)、扭曲限制参数范围。

步骤202：根据所述标记点参数对P帧前向参考帧进行扭曲变换，得到扭曲参考帧；

得到扭曲参考帧的详细方法为：

利用选好的参考帧和扭曲帧之间的n个标记点对的一一对应关系f(p_i)＝q_i(其中p_i为原始参考帧上的点，q_i为当前编码帧上面的对应点，1≤i≤n(n为正整数))，具体插值函数如公式(1)所示：

$f_x(x,y)=x+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{xi}}U\left(\right|P_i-(x,y)\left|\right)$

$f_y(x,y)=y+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{yi}}U\left(\right|P_i-(x,y)\left|\right)---\left(1\right)$

其中w是指对应标记点的扭曲加权值，w_xi表示在第i个标记点对当前坐标的x方向上的扭曲加权；w_yi表示在第i个标记点对当前坐标的y方向上的扭曲加权。(w可根据根据方程(2)解出，实际此处“公式(1)中的插值函数系数w可通过求解线性方程组(2)来确定插值函数f(x，y)就是求出W的过程。”)U是弹性扭曲的基函数，有很多种表达式，(4)和(5)是U的常用表达式；

公式(1)中的插值函数系数w可通过求解线性方程组(2)来确定插值函数f(x，y)，

Kw+P＝Q    (2)

其中，P＝(p₁，p₂，...，p_n)^T，Q＝(q₁，q₂，...，q_n)^T，q_i＝p_i+(detaX,detaY)，K为n×n矩阵，K_ij＝U(r_ij)，r_ij为参考帧上第i个标记点到第j个标记点的距离：

$K=\left[\begin{array}{cccc}{U}_{11}& U_{12}& ...& U_{1n}\\ U_{21}& ...& & ...\\ ...& & ...& ...\\ U_{n1}& ...& ...& U_{\mathrm{nn}}\end{array}\right]---\left(3\right)$

其中U(r_ij)为弹性扭曲的基函数，可选择高斯函数(等式4)、CSRBF函数(等式5)等常用的函数。

$U\left(r\right)=e^{-{(r/3a)}^2}---\left(4\right)$

${\mathrm{\Ψ}}_{\mathrm{3,0}}(r/a)={(1-r/a)}_{+}^2$

${\mathrm{\Ψ}}_{\mathrm{3,1}}(r/a)={(1-r/a)}_{+}^4(4r/a+1)$

${\mathrm{\Ψ}}_{\mathrm{3,2}}(r/a)={(1-r/a)}_{+}^6(35\·{(r/a)}^2+18r/a+3)---\left(5\right)$

其中a为扭曲限制范围的参数，Ψ_3，0Ψ_3，1Ψ_3，2对应上述的U(r_ij)，r为参考帧上第i个标记点到第j个标记点的距离。

步骤203：将当前编码帧划分成宏块，获取所述当前编码帧每一个宏块对应的基于扭曲参考帧的编码代价的和A、以及获取所述当前编码帧每一个宏块对应的基于参考帧的编码代价的和B、生成扭曲参考帧所产生的额外编码代价D；

例如参见图5，图5表示将当前编码帧划分成9个宏块，每个宏块分别为A1至A9，参见图6，图6为当前编码帧宏块A1至A9分别对应的基于扭曲参考帧的编码代价B1至B9；参见图7，图7当前编码帧宏块A1至A9分别对应的基于原始参考帧的编码代价C1至C9。分别计算B1至B9的编码代价，那么和A也就是B1至B9的编码代价和；分别计算C1至C9的编码代价，那么和B也就是C1至C9的编码代价和；和D为生成扭曲参考帧所产生的额外编码代价。

在步骤203中，由于本领域技术人员通常在进行帧编码时，有时候也会采用帧内预测的形式进行编码，将当前帧宏块对应的帧内预测编码代价最小的部分内嵌到参考帧的编码代价中，来以最小的编码代价进行编码；因此本发明所述的采用参考帧编码代价的形式也可以包括帧内预测的编码代价，在此并不做限制。

在本发明的技术方案中有时也就会出现帧内预测的编码代价较小的情况，那么此时可以将当前编码帧的宏块对应的帧内预测的编码代价最小的部分内嵌到扭曲参考帧中，从而最终采用(扭曲参考帧+帧内预测)编码代价与(参考帧+帧内预测)编码代价最小的形式进行编码。

由于帧内预测是一种本领域技术人员通用的做法，因此采用帧内预测内嵌入扭曲参考帧和参考帧编码代价的形式并不构成对本发明的限制。

步骤204：判断和A+E是否小于和B，若和A+D小于和B，则进入步骤205；若和A+D大于和B，则进入步骤206；

步骤205：采用扭曲参考帧进行编码，将扭曲参考帧标识位置1，存储标记点参数；

步骤206：采用其他编码代价最小的形式进行编码，将扭曲参考帧标识位置0不存储标记点参数。

本发明实施例2提供了P帧运动补偿编码方法，通过确定P帧和其前向参考帧的的标记点参数，并通过标记点参数对其前向参考帧进行扭曲变换，新得到一个扭曲参考帧；由于这个参考帧通过选择各个方向的标记点，因此考虑了帧与帧之间图像无规律变化的情况；当得到这个新的扭曲参考帧后，进一步判断根据该扭曲参考帧后是否为编码代价最小，如果是则进行编码；通过这一步的比较过程可以进一步确定本发明采用代价最小的编码方式进行编码，因此本发明提供的方法可以在考虑帧与帧之间图像无规律变化的情况下以编码代价最小的方式进行编码。

实施例3，本发明实施例提供了一种P帧运动补偿编码方法，参见图8该方法具体为：

步骤301：确定当前编码帧P帧和P帧前向参考帧之间对应的标记点参数；

详细的标记点可以参见图3和图4，如图3所示，该图表示了参考帧，也就是P帧前向参考帧上的标记点；如图4所示，该图表示了当前编码帧，也就是P帧上与其前向参考帧标记点一一对应的标记点；这些标记点参数包括了：标记点集、标记点数量、标记点位移量(detaX，detaY)、扭曲限制参数范围。

步骤302：根据所述标记点参数对P帧前向参考帧进行扭曲变换，得到扭曲参考帧；

得到扭曲参考帧的详细方法为：

利用选好的参考帧和扭曲帧之间的n个标记点对的一一对应关系f(p_i)＝q_i(其中p_i为原始参考帧上的点，q_i为当前编码帧上面的对应点，1≤i≤n(n为正整数))，具体插值函数如公式(1)所示：

$f_x(x,y)=x+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{xi}}U\left(\right|P_i-(x,y)\left|\right)$

$f_y(x,y)=y+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{yi}}U\left(\right|P_i-(x,y)\left|\right)---\left(1\right)$

其中w是指对应标记点的扭曲加权值，w_xi表示在第i个标记点对当前坐标的x方向上的扭曲加权；w_yi表示在第i个标记点对当前坐标的y方向上的扭曲加权。(w可根据根据方程(2)解出，实际此处“公式(1)中的插值函数系数w可通过求解线性方程组(2)来确定插值函数f(x，y)就是求出W的过程。”)U是弹性扭曲的基函数，有很多种表达式，(4)和(5)是U的常用表达式；

公式(1)中的插值函数系数w可通过求解线性方程组(2)来确定插值函数f(x，y)，

Kw+P＝Q    (2)

其中，P＝(p₁，p₂，...，p_n)^T，Q＝(q₁，q₂，...，q_n)^T，q_i＝p_i+(detaX,detaY)，K为n×n矩阵，K_ij＝U(r_ij)，r_ij为参考帧上第i个标记点到第j个标记点的距离：

$K=\left[\begin{array}{cccc}{U}_{11}& U_{12}& ...& U_{1n}\\ U_{21}& ...& & ...\\ ...& & ...& ...\\ U_{n1}& ...& ...& U_{\mathrm{nn}}\end{array}\right]---\left(3\right)$

其中U(r_ij)为弹性扭曲的基函数，可选择高斯函数(等式4)、CSRBF函数(等式5)等常用的函数。

$U\left(r\right)=e^{-{(r/3a)}^2}---\left(4\right)$

${\mathrm{\Ψ}}_{\mathrm{3,0}}(r/a)={(1-r/a)}_{+}^2$

${\mathrm{\Ψ}}_{\mathrm{3,1}}(r/a)={(1-r/a)}_{+}^4(4r/a+1)$

${\mathrm{\Ψ}}_{\mathrm{3,2}}(r/a)={(1-r/a)}_{+}^6(35\·{(r/a)}^2+18r/a+3)---\left(5\right)$

其中a为扭曲限制范围的参数，Ψ_3，0Ψ_3，1Ψ_3，2对应上述的U(r_ij)，r为参考帧上第i个标记点到第j个标记点的距离。

步骤303：比较当前编码帧每一个宏块对应的扭曲参考帧编码代价与参考帧编码代价大小；然后获取当前编码帧每一个宏块对应的基于扭曲参考帧编码代价、基于参考帧编码代价较小的编码代价和C，以及获取所述当前编码帧每一个宏块对应的基于参考帧编码代价和B、生成扭曲参考帧所产生的额外编码代价D；

例如参见图5，图5表示将当前编码帧划分成9个宏块，每个宏块分别为A1至A9，参见图6，图6为当前编码帧宏块A1至A9分别对应的扭曲参考帧的编码代价B1至B9；参见图7，图7当前编码帧宏块A1至A9分别对应的参考帧的编码代价C1至C9。分别比较B1与C1的编码代价，以及B2至B9与对应的C2至C9的编码代价，获取A1至A9宏块对应的B1至B9、C1至C9中编码代价最小的编码代价和C；例如当B1编码代价小于C1，B2至B4编码代价大于C2至C4，B5至B9编码代价小于C5至C9，则和C为B1、C2至C4、B5至B9的编码代价和。和D为生成扭曲参考帧所产生的额外编码代价。

在步骤303中，由于本领域技术人员通常在进行帧编码时，有时候也会采用帧内预测的形式进行编码，将当前帧宏块对应的帧内预测编码代价最小的部分内嵌到参考帧的编码代价中，来以最小的编码代价进行编码；因此本发明所述的采用参考帧编码代价的形式也可以包括帧内预测的编码代价，在此并不做限制。

在本发明的技术方案中有时也就会出现帧内预测的编码代价较小的情况，那么此时可以将当前编码帧的宏块对应的帧内预测的编码代价最小的部分内嵌到扭曲参考帧中，从而最终采用(扭曲参考帧+编码帧+帧内预测)编码代价与(参考帧+帧内预测)编码代价最小的形式进行编码。

由于帧内预测是一种本领域技术人员通用的做法，因此采用帧内预测内嵌入扭曲参考帧和参考帧编码代价的形式并不构成对本发明的限制。

步骤304：判断和C+D是否小于和B，若和C+D小于和B，则进入步骤305；若和C+D大于和B，则进入步骤306；

步骤305：采用当前编码帧的每一个宏块对应的编码代价较小的扭曲参考帧或参考帧进行编码，将扭曲参考帧标识位置1，存储标记点参数；

步骤306：采用其他编码代价最小的形式进行编码，将扭曲参考帧标识位置0，不存储标记点参数。

本发明实施例3提供了P帧运动补偿编码方法，通过确定P帧和其前向参考帧的的标记点参数，并通过标记点参数对其前向参考帧进行扭曲变换，新得到一个扭曲参考帧；由于这个参考帧通过选择各个方向的标记点，因此考虑了帧与帧之间图像无规律变化的情况；当得到这个新的扭曲参考帧后，进一步判断根据该扭曲参考帧后是否为编码代价最小，如果是则进行编码；通过这一步的比较过程可以进一步确定本发明采用代价最小的编码方式进行编码，因此本发明提供的方法可以在考虑帧与帧之间图像无规律变化的情况下以编码代价最小的方式进行编码。

通过以下实验数据，可以更好的说明本发明技术方案的效果：

实验基础为对标准序列Foreman.qvga进行实验，在恒定QP下对P帧进行编码，编码参数为：

标记点数目Landmark_count＝15；扭曲限制参数范围Warp_radius＝8；扭曲参考帧标识位Warp_Frame_enabled＝1。

以下是实验结果：

从实验结果可以看出，采用本专利提出的方法，能有效提升视频的压缩率。

实施例4，本发明实施例提供一种对应于实施例1至3的解码方法，参见图9

步骤401：判断扭曲参考帧标识位是否置1，若是执行步骤402，若否执行步骤403；

步骤402：根据视频码流中的标记点参数进行扭曲参考帧解码；

步骤403：采用常规参考帧进行解码。

实施例5，对应于实施例1至3发明实施例提供一种帧运动补偿编码装置，参见图10，该装置包括：

标记点参数单元501，用于确定当前编码帧和参考帧之间对应的标记点参数；

扭曲参考帧单元502，用于根据所述标记点参数对参考帧进行扭曲变换，得到扭曲参考帧；

处理单元503，用于将当前编码帧划分成宏块，采用所述基于扭曲参考帧的运动补偿、基于原始参考帧的运动补偿编码代价最小的形式对当前编码帧进行编码，若采用了当前编码帧对应的扭曲参考帧进行编码，则将所述扭曲参考帧标识位置1，并存储所述标记点参数。

对应于实施例2提供的P帧运动补偿编码方法，所述的处理单元503，用于采用基于扭曲参考帧的运动补偿、基于原始参考帧的运动补偿的编码代价最小的形式对当前编码帧进行编码：获取所述当前编码帧每一个宏块对应的扭曲参考帧的编码代价的和A、以及获取所述当前编码帧每一个宏块对应的参考帧的编码代价的和B，以及生成扭曲参考帧所需的额外编码代价D；若A+D小于B，则采用所述扭曲参考帧进行编码。

对应于实施例3提供的P帧运动补偿编码方法，所述的处理单元503，用于采用所述扭曲参考帧、参考帧编码代价最小的形式对当前编码帧进行编码具体为：比较当前编码帧每一个宏块对应的扭曲参考帧编码代价与参考帧编码代价大小；然后获取当前编码帧每一个宏块对应的扭曲参考帧编码代价与参考帧编码代价较小的编码代价和C，以及获取所述当前编码帧每一个宏块对应的参考帧编码代价的和B，以及生成扭曲参考帧所需的额外编码代价D；若和C+D小于和B，则采用当前编码帧的每一个宏块对应的编码代价较小的扭曲参考帧或参考帧进行编码。

对应于实施例1和3提供的P帧运动补偿编码方法，所述标记点参数单元501：用于确定当前编码帧和前向参考帧之间对应的标记点参数具体为：标记点集、标记点数量、标记点位移量(detaX，detaY)、扭曲限制参数范围。

对应于实施例1至3提供的获得扭曲参考帧的具体方法，所述的扭曲参考帧单元502，用于根据所述标记点参数对参考帧进行扭曲变换，得到扭曲参考帧具体为：f(p_i)＝q_i(其中p_i为参考帧上的点，q_i为当前编码帧上面的对应点，1≤i≤n(n为正整数))：

$f_x(x,y)=x+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{xi}}U\left(\right|P_i-(x,y)\left|\right)$

$f_y(x,y)=y+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{yi}}U\left(\right|P_i-(x,y)\left|\right)---\left(1\right)$

其中w是指对应标记点的扭曲加权值，w_xi表示在第i个标记点对当前坐标的x方向上的扭曲加权；w_yi表示在第i个标记点对当前坐标的y方向上的扭曲加权。(w可根据根据方程(2)解出，实际此处“公式(1)中的插值函数系数w可通过求解线性方程组(2)来确定插值函数f(x，y)就是求出W的过程。”)U是弹性扭曲的基函数，有很多种表达式，(4)和(5)是U的常用表达式；

所述系数w具体为，

Kw+P＝Q    (2)

其中，P＝(p₁，p₂，...，p_n)^T，Q＝(q₁，q₂，...，q_n)^T，q_i＝p_i+(detaX,detaY)，K为n×n矩阵，K_ij＝U(r_ij)，r_ij为参考帧上第i个标记点到第j个标记点的距离：

$K=\left[\begin{array}{cccc}{U}_{11}& U_{12}& ...& U_{1n}\\ U_{21}& ...& & ...\\ ...& & ...& ...\\ U_{n1}& ...& ...& U_{\mathrm{nn}}\end{array}\right]---\left(3\right)$

其中U(r_ij)具体为：

$U\left(r\right)=e^{-{(r/3a)}^2}---\left(4\right)$

${\mathrm{\Ψ}}_{\mathrm{3,0}}(r/a)={(1-r/a)}_{+}^2$

${\mathrm{\Ψ}}_{\mathrm{3,1}}(r/a)={(1-r/a)}_{+}^4(4r/a+1)$

${\mathrm{\Ψ}}_{\mathrm{3,2}}(r/a)={(1-r/a)}_{+}^6(35\·{(r/a)}^2+18r/a+3)---\left(5\right)$

其中a为扭曲限制范围的参数，Ψ_3，0Ψ_3，1Ψ_3，2对应上述的U(r_ij)，r为参考帧上第i个标记点到第j个标记点的距离。

实施例6，对应于实施例4提供的帧运动补偿解码的方法，本发明实施例提供一种帧运动补偿解码装置，参见图11该装置具体包括：

判断单元501，用于判断扭曲参考帧标识位是否置1；

解码单元502，若判断出扭曲参考帧标识位置1，则根据标记点参数对扭曲参考帧进行解码；若判断出扭曲参考帧没有置1，则根据参考帧进行解码。

综上所述，本发明通过记录当前编码帧和参考帧之间一系列特征点的位移情况，构建映射函数对原始参考帧进行扭曲变换，得到一个新的扭曲参考帧。由于标记点记录了当前帧与参考帧之间的无规律变化情况，扭曲参考帧与当前编码帧更为近似，因此更有利于节省码率。当得到这个新的扭曲参考帧后，进一步判断根据参考扭曲参考帧进行编码所需代价是否小于采用原始参考帧编码，如果是则采用扭曲参考帧进行编码，否则采用其他形式编码；本发明提供的方法可以在考虑帧与帧之间图像无规律变化的情况下以编码代价最小的方式进行编码，解决了现有技术的问题。

本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种帧运动补偿编码方法，其特征在于，该方法包括：

确定当前编码帧和参考帧之间对应的标记点参数；

根据所述标记点参数对参考帧进行扭曲变换，得到扭曲参考帧；

当前编码帧划分成宏块，采用基于扭曲参考帧的运动补偿、基于原始参考帧的运动补偿编码代价最小的形式对当前编码帧进行编码；

所述采用基于扭曲参考帧的运动补偿、基于原始参考帧的运动补偿的编码代价最小的形式对当前编码帧进行编码：获取所述当前编码帧每一个宏块对应的扭曲参考帧的编码代价的和A、以及获取所述当前编码帧每一个宏块对应的参考帧的编码代价的和B，以及生成扭曲参考帧所需的额外编码代价D；若A+D小于B，则采用所述扭曲参考帧进行编码。

2.根据权利要求1所述的帧运动补偿编码方法，其特征在于，所述当前编码帧划分成宏块后，若采用了当前编码帧对应的扭曲参考帧进行编码，则将所述扭曲参考帧标识位置1，并存储所述标记点参数。

3.根据权利要求1所述的帧运动补偿编码方法，其特征在于，所述采用所述扭曲参考帧、参考帧编码代价最小的形式对当前编码帧进行编码具体为：比较当前编码帧每一个宏块对应的扭曲参考帧编码代价与参考帧编码代价大小；然后获取当前编码帧每一个宏块对应的扭曲参考帧编码代价与参考帧编码代价较小的编码代价和C，以及获取所述当前编码帧每一个宏块对应的参考帧编码代价的和B，以及生成扭曲参考帧所需的额外编码代价D；若和C+D小于和B，则采用当前编码帧的每一个宏块对应的编码代价较小的扭曲参考帧或参考帧进行编码。

4.根据权利要求1至3之一所述的帧运动补偿编码方法，其特征在于，所述的参考帧为当前编码帧的前向参考帧；

所述标记点参数包括：标记点集、标记点数量、标记点位移量(detaX，detaY)、扭曲限制参数范围。

5.根据权利要求1至3之一所述的帧运动补偿编码方法，其特征在于，

所述步骤：根据所述标记点参数对所述参考帧进行扭曲变换，得到扭曲参考帧具体为：

f(p_i)＝q_i

其中p_i为参考帧上的点，q_i为当前编码帧上面的对应点，1≤i≤n，n为正整数；

$f_x(x,y)=x+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{xi}}U\left(\right|P_i-(x,y)\left|\right)$

$f_y(x,y)=y+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{yi}}U\left(\right|P_i-(x,y)\left|\right)---\left(1\right)$

其中w是指对应标记点的扭曲加权值，w_xi表示在第i个标记点对当前坐标的x方向上的扭曲加权；w_yi表示在第i个标记点对当前坐标的y方向上的扭曲加权；

所述系数w具体由下式求出，

Kw+P＝Q             (2)

其中，P＝(p₁，p₂，...，p_n)^T，Q＝(q₁，q₂，...，q_n)^T，q_i＝p_i+(detaX，detaY)，K为n×n矩阵，K_ij＝U(r_ij)，r_ij为参考帧上第i个标记点到第j个标记点的距离：

$K=\left[\begin{array}{cccc}{U}_{11}& U_{12}& ...& U_{1n}\\ U_{21}& ...& & ...\\ ...& & ...& ..\\ U_{n1}& ...& ...& U_{\mathrm{nn}}\end{array}\right]---\left(3\right)$

其中U(r_ij)具体为：

$U\left(r\right)=e^{{-(r/3a)}^2}---\left(4\right)$

${\mathrm{\Ψ}}_{\mathrm{3,0}}(r/a)={(1-r/a)}_{+}^2$

${\mathrm{\Ψ}}_{\mathrm{3,1}}(r/a)={(1-r/a)}_{+}^4(4r/a+1)$

${\mathrm{\Ψ}}_{\mathrm{3,2}}(r/a)={(1-r/a)}_{+}^6(35\·{(r/a)}^2+18r/a+3)---\left(5\right)$

其中a为扭曲限制范围的参数，Ψ_3，0Ψ_3，1Ψ_3，2对应上述的U(r_ij)，r为参考帧上第i个标记点到第j个标记点的距离。

6.一种帧运动补偿编码装置，其特征在于，该装置包括：

标记点参数单元，用于确定当前编码帧和参考帧之间对应的标记点参数；

扭曲参考帧单元，用于根据所述标记点参数对参考帧进行扭曲变换，得到扭曲参考帧；

处理单元，用于将当前编码帧划分成宏块，采用基于扭曲参考帧的运动补偿、基于原始参考帧的运动补偿编码代价最小的形式对当前编码帧进行编码，若采用了当前编码帧对应的扭曲参考帧进行编码，则将所述扭曲参考帧标识位置1，并存储所述标记点参数；

所述的处理单元，用于采用基于扭曲参考帧的运动补偿、基于原始参考帧的运动补偿的编码代价最小的形式对当前编码帧进行编码：获取所述当前编码帧每一个宏块对应的扭曲参考帧的编码代价的和A、以及获取所述当前编码帧每一个宏块对应的参考帧的编码代价的和B，以及生成扭曲参考帧所需的额外编码代价D；若A+D小于B，则采用所述扭曲参考帧进行编码。

7.根据权利要求6所述的帧运动补偿编码装置，其特征在于，所述的处理单元，用于采用所述扭曲参考帧、参考帧编码代价最小的形式对当前编码帧进行编码具体为：比较当前编码帧每一个宏块对应的扭曲参考帧编码代价与参考帧编码代价大小；然后获取当前编码帧每一个宏块对应的扭曲参考帧编码代价与参考帧编码代价较小的编码代价和C，以及获取所述当前编码帧每一个宏块对应的参考帧编码代价的和B，以及生成扭曲参考帧所需的额外编码代价D；若和C+D小于和B，则采用当前编码帧的每一个宏块对应的编码代价较小的扭曲参考帧或参考帧进行编码。

8.根据权利要求6或7所述的帧运动补偿编码装置，其特征在于，

所述标记点参数：用于确定当前编码帧和前向参考帧之间对应的标记点参数具体为：标记点集、标记点数量、标记点位移量(detaX，detaY)、扭曲限制参数范围。

9.根据权利要求6或7所述的帧运动补偿编码装置，其特征在于，所述的扭曲参考帧单元，用于根据所述标记点参数对参考帧进行扭曲变换，得到扭曲参考帧具体为：f(p_i)＝q_i

其中p_i为参考帧上的点，q_i为当前编码帧上面的对应点，1≤i≤n，n为正整数；

$f_x(x,y)=x+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{xi}}U\left(\right|P_i-(x,y)\left|\right)$

$f_y(x,y)=y+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{yi}}U\left(\right|P_i-(x,y)\left|\right)$

其中w是指对应标记点的扭曲加权值，w_xi表示在第i个标记点对当前坐标的x方向上的扭曲加权；w_yi表示在第i个标记点对当前坐标的y方向上的扭曲加权；

所述系数w具体由下式求出，

Kw+P＝Q

其中，P＝(p₁，p₂，...，p_n)^T，Q＝(q₁，q₂，...，q_n)^T，q_i＝p_i+(detaX，detaY)，K为n×n矩阵，K_ij＝U(r_ij)，r_ij为参考帧上第i个标记点到第j个标记点的距离：

$K=\left[\begin{array}{cccc}{U}_{11}& U_{12}& ...& U_{1n}\\ U_{21}& ...& & ...\\ ...& & ...& ..\\ U_{n1}& ...& ...& U_{\mathrm{nn}}\end{array}\right]$

其中U(r_ij)具体为：

$U\left(r\right)=e^{{-(r/3a)}^2}$

${\mathrm{\Ψ}}_{\mathrm{3,0}}(r/a)={(1-r/a)}_{+}^2$

${\mathrm{\Ψ}}_{\mathrm{3,1}}(r/a)={(1-r/a)}_{+}^4(4r/a+1)$

${\mathrm{\Ψ}}_{\mathrm{3,2}}(r/a)={(1-r/a)}_{+}^6(35\·{(r/a)}^2+18r/a+3)$

其中a为扭曲限制范围的参数，Ψ_3，0Ψ_3，1Ψ_3，2对应上述的U(r_ij)，r为参考帧上第i个标记点到第j个标记点的距离。

Images