CN105874790A - 使用自适应预测过滤器编码、解码视频信号的方法和装置 - Google Patents

Abstract

在此处公开了一种方法，所述方法包括：计算目标区域的位移矢量；通过使用计算的位移矢量来确定锚定区域；通过使用设计的过滤器线性地过滤锚定区域来预测目标区域；以及通过使用预测的目标区域来产生预测误差。

Description

使用自适应预测过滤器编码、解码视频信号的方法和装置

技术领域

本发明涉及一种用于处理视频信号的方法和装置，并且具体地，涉及用于有效地预测目标区域的技术。

背景技术

压缩编译指的是用于经由通信线路发送数字化的信息，或者以适用于存储介质的形式存储数字化信息的一系列信号处理技术。诸如视频、图像和语音的介质可以是压缩编译的对象。具体地，用于对视频执行压缩编译的技术称作视频压缩。

下一代视频内容期待以高空间分辨率、高帧速率和高视频场景呈现的维度为特色。这样内容的处理将需要在存储器、存储器存取速度和处理能力方面显著提高。

因此，所希望的是设计处理这些预知挑战和提供一些解决方案的编译工具。

发明内容

技术问题

在现有的间预测(inter-prediction)方法中，目标图像被构成为诸如矩形区域、正方形区域等等的固定区域，并且对于每个目标区域计算位移矢量。位移矢量识别在锚定图像或者参考图像中相应的区域。这样的位移矢量可以通过在本领域中公知的技术，诸如用于视频序列的运动估计/补偿技术计算。

因此，需要提供在预测处理中更加有效率的预测方法，并且设计用于提高编译效率的预测过滤器。

技术方案

本发明的实施例提供允许设计供高效压缩的编译工具的方法。

此外，本发明的实施例提供在预测处理中更加有效率的预测方法。

此外，本发明的实施例提供如何设计用于提高编译效率的预测过滤器。

此外，本发明的实施例要在编码或者解码视频信号的过程中适用于需要图片间相关过滤的步骤。

此外，本发明的实施例提供更好的预测目标区域的方法。

有益效果

本发明能够启用用于高效率压缩的编译工具的设计。可以通过在预测目标区域中去除噪声来设计具有更高编译增益的压缩工具。

此外，本发明能够通过设计预测过滤器来提供更加有效率的预测方法。并且，可以通过在未来帧的运动补偿预测中利用设计的过滤器来降低目标图像的噪声，从而可以提高编译效率。

附图说明

图1和2图示按照本发明适用于其的实施例处理视频信号的编码器和解码器的简略框图。

图3表示按照本发明适用于其的实施例图示如何基于锚定图像来预测目标图像的图。

图4和5图示按照本发明适用于其的实施例使用设计的过滤器处理视频信号的编码器和解码器的简略框图。

图6是图示按照本发明适用于其的实施例基于预测过滤器来形成预测块方法的流程图。

图7是图示按照本发明适用于其的实施例的预测过滤器可以适用于其的四叉树分割的示意图。

图8是图示按照本发明适用于其的实施例获得最佳运动矢量和调制标量的方法的流程图。

图9是图示按照本发明适用于其的实施例获得度量的方法的流程图。

图10是图示按照本发明适用于其的实施例使用预测过滤器来编码视频信号的方法的流程图。

图11是图示按照本发明适用于其的实施例使用预测过滤器来解码视频信号的方法的流程图。

具体实施方式

按照本发明的一个方面，提供了一种编码视频信号的方法，包括：计算目标区域的位移矢量；通过使用计算的位移矢量来确定锚定区域；通过使用设计的过滤器线性地过滤锚定区域来预测目标区域；以及通过使用预测的目标区域来产生预测误差。

基于过滤器核心分量和调制标量分量来确定设计的过滤器。

调制标量分量被确定以最小化失真分量和速率分量的总和。

用于每个块间的调制标量分量被发送给解码器。

过滤器核心分量被可选地发送给解码器。

当锚定区域由多个子区域组成时，对于子区域的每个来产生设计的过滤器。

按照本发明的另一个方面，提供一种解码视频信号的方法，包括：接收包括过滤器参数和运动参数的视频信号，其中过滤器参数包括调制标量分量；基于运动参数来确定锚定区域；基于锚定区域和调制标量分量来预测目标区域；以及通过使用预测的目标区域来重建视频信号。

调制标量分量已经被确定以最小化失真分量和速率分量的总和。

基于用于每个块间的调制标量分量来预测目标区域。

基于调制标量分量和预先确定的过滤器核心分量来预测目标区域。

按照本发明的另一个方面，提供了一种编码视频信号的装置，包括：预测单元，该预测单元被配置成计算目标区域的位移矢量，以及通过使用计算的位移矢量来确定锚定区域；预测过滤单元，该预测过滤单元被配置成通过使用设计的过滤器线性地过滤锚定区域来预测目标区域，以及通过使用预测的目标区域来产生预测误差。

按照本发明的另一个方面，提供了一种解码视频信号的装置，包括：熵解码单元，该熵解码单元被配置成接收包括过滤器参数和运动参数的视频信号，其中过滤器参数包括调制标量分量；预测单元，该预测单元被配置成基于运动参数来确定锚定区域；预测过滤单元，该预测过滤单元被配置成基于锚定区域和调制标量分量来预测目标区域；以及重建单元，该重建单元被配置成通过使用预测的目标区域来重建视频信号。

用于本发明的模式

在下文中，按照本发明的实施例的示范性的单元和操作将参考附图来描述。然而，注意到，参考附图描述的本发明的单元和操作被仅仅作为实施例提供，并且本发明的技术精神和核心配置以及操作不受限于此。

此外，在本说明书中使用的术语是现在广泛地使用的公用术语，但是，在特定情形下，使用由本申请人随机地选择的术语。在这样的情况下，相应的术语的含义在相应的部分的详细说明中被清楚地描述。因此，应当注意，本发明不应该认为是仅仅基于在本说明书的相应的描述中使用的术语的名称，并且本发明应该通过甚至检查相应的术语的含义来解释。

此外，在本说明书中使用的术语是选择以描述本发明的公用术语，但是，如果存在具有类似含义的这样的术语，可以以用于更加适宜分析的其他术语来替换。例如，信号、数据、采样、图片、帧和块可以在每个编译过程中适当地替换和解释。

图1和2图示按照本发明适用于其的实施例处理视频信号的编码器和解码器的简略框图。

图1的编码器100包括变换单元110、量化单元120、去量化单元130、反变换单元140、缓存器150、预测单元160和熵编码单元170。

编码器100接收视频信号，以及通过从视频信号减去由预测单元160输出的预测信号来产生预测误差。

产生的预测误差被发送给变换单元110。变换单元110通过将变换方案适用于预测误差来产生变换系数。

量化单元120量化产生的变换系数，以及将量化系数发送给熵编码单元170。

熵编码单元170对量化信号执行熵编译，以及输出熵编译的信号。

同时，由量化单元120输出的量化信号可以用于产生预测信号。例如，在编码器100的环路内的去量化单元130和反变换单元140可以对量化信号执行去量化和反变换，使得量化信号被重建为预测误差。可以通过将重建预测误差增加给由预测单元160输出的预测信号来产生重建信号。

缓存器150存储用于预测单元160的未来参考的重建信号。

预测单元160使用存储在缓存器150中预先重建信号来产生预测信号。在这种情况下，本发明涉及使用在锚定图像中的区域在目标图像中区域的有效预测。效率可以是在压缩速率失真感测中或者诸如量化在预测误差中失真的均方误差的有关度量方面。

为了更好地预测目标区域，本发明的实施例将解释如何设计用于提高编译效率的预测过滤器，以及如何基于预测过滤器来处理视频信号。

图2的解码器200包括熵解码单元210、去量化单元220、反变换单元230、缓存器240和预测单元250。

图2的解码器200接收由图1的编码器100输出的信号。

熵解码单元210对接收的信号执行熵解码。去量化单元220基于有关量化步长的信息从熵解码的信号获得变换系数。反变换单元230通过对变换系数执行反变换来获得预测误差。通过将获得的预测误差增加给由预测单元250输出的预测信号来产生重建信号。

缓存器240存储用于预测单元250的未来参考的重建信号。

预测单元250使用缓存器240中存储的预先重建信号来产生预测信号。

本发明适用于其的预测方法将在编码器100和解码器200这两者中使用。

图3表示按照本发明适用于其的实施例图示如何基于锚定图像来预测目标图像的图。

该目标图像可以被构成为诸如矩形区域、正方形区域等等的固定区域，并且对于每个目标区域可以计算位移矢量。位移矢量识别在锚定图像中相应的区域。这样的位移矢量可以通过在本领域中公知的技术，诸如用于视频序列的运动估计/补偿技术来计算。

集中在目标区域和匹配的锚定区域上，本发明的技术可以允许匹配的锚定区域以更好地预测目标区域以便于类似压缩、去噪声、时空的超分辨率等等的应用。

锚定区域x可以经由以下的公式1用于预测目标区域y。

[公式1]

$\hat{y}=\underset{i=1}{\overset{F}{\Σ}}{\mathrm{\α}}_i{f}_i*x$

在公式1中，F是整数恒量(F＝1、2、4、17、179等等)，αi表示调制标量，fi表示二维过滤器核心，并且fi*x表示具有锚定区域的过滤器核心fi的线性卷积。

可以看到，目标区域y的预测可以由使用等效的过滤器线性地过滤锚定区域x来形成。本发明提供有效地设计这样的过滤器的方法。

图4和5图示按照本发明适用于其的实施例使用设计的过滤器处理视频信号的编码器和解码器的简略框图。

图4的编码器400包括变换单元410、量化单元420、去量化单元430、反变换单元440、缓存器450、预测单元460、预测过滤单元470和熵编码单元480。

将编码器400与图1的编码器100比较，预测过滤单元470被重新地增加给编码器100的框图。因此，图1的描述可以类似地适用于图4，并且与预测过滤单元470相关的内容将在下文中主要地解释。

此外，即使在图4中预测过滤单元470被设置为在预测单元460之后单独的功能单元，这是本发明的一个方面，并且本发明不受限于此。例如，预测过滤单元470的功能还可以在预测单元460中执行。

预测单元460可以使用用于当前块的位移矢量来执行运动补偿，并且搜索参考块，即，运动补偿块。在这种情况下，编码器400可以将运动参数发送给解码器500。运动参数表示与运动补偿相关的信息。

在本发明的一个方面中，预测过滤单元470可以构成用于产生预测块的预测过滤器。

并且，预测过滤单元470可以使用预测过滤器和参考块的线性卷积来产生预测块。在这种情况下，参考块可以将运动补偿块表示为锚定区域。

在一个实施例中，预测过滤器可以通过使用过滤器核心和调制标量来构成。编码器400和解码器500可以共享过滤器参数，并且过滤器参数表示与预测过滤器相关的参数信息。例如，过滤器参数可以包括过滤器核心和调制标量中的至少一个。

在一个实施例中，编码器400和解码器500这两者可以使用用于构成预测过滤器的过滤器核心和调制标量。在这种情况下，可以对于每个块间来计算调制标量，并且如在稍后的实施例中解释的，过滤器核心可以对于整个视频保持相同，或者偶尔变化/发送。

在另一个实施例中，编码器400可以将过滤器核心和调制标量中的至少一个发送给解码器500。例如，过滤器核心可以被可选地发送给解码器。

同时，图5的解码器500包括熵解码单元510、去量化单元520、反变换单元530、缓存器540、预测单元550和预测过滤单元560。

如在图4中描述的，在本发明的一个方面中，预测过滤单元560可以构成用于产生预测块的预测过滤器。

并且，预测过滤单元560可以使用预测过滤器和参考块的线性卷积来产生预测块。

在这种情况下，可以从编码器400发送过滤器核心和调制标量中的至少一个。例如，可以对于每个块间从编码器400发送调制标量，并且过滤器核心可以从编码器400可选地发送。

将解码器500与图2的解码器200比较，预测过滤单元560被重新地增加给解码器200的框图。因此，图1、2和4的描述可以被类似地适用于图5。

此外，即使在图5中预测过滤单元560被设置为在预测单元550之后单独的功能单元，这是本发明的一个方面，并且本发明不受限于此。例如，预测过滤单元560的功能还可以在预测单元550中执行。

图6是图示按照本发明适用于其的实施例基于预测过滤器来形成预测块方法的流程图。

本发明适用于其的编码器可以构成用于当前块的预测过滤器(S610)，如以下的公式2。预测过滤器可以通过使用过滤器参数构成。例如，过滤器参数可以包括过滤器核心fk和调制标量αi(k＝1、...、K)。

[公式2]

$g(m,n)=\underset{k=1}{\overset{K}{\Σ}}{f}_k(m,n){\mathrm{\α}}_i$

在这个公式2中，m＝1、...、T，并且n＝1、...、T，并且K是整数恒量，αi表示调制标量，fk表示二维过滤器核心，并且每个标量是浮点数。

然后，编码器可以基于预测过滤器使用线性卷积来形成预测块，如以下的公式3。

[公式3]

$\hat{y}(m,n)=\underset{p,q=1}{\overset{T}{\Σ}}g(p,q)x(m-p,n-q)$

在这个公式3中，m＝1、...、B，并且n＝1、...、B，以及g*x表示预测过滤器与锚定区域的线性卷积。锚定区域可以表示在运动补偿之后获得的参考块。

目标区域y的预测可以通过使用公式2的预测过滤器线性地过滤锚定区域x来形成。

在下文中，本发明将提供有效地设计这样的过滤器的各种方法。

在视频编译的过程中，设计常规的过滤器是困难的，因为这样的过滤器具有许多的参数，其必须从有限的数据中获悉。具有减少的参数的简单的过滤器更容易获悉，但是导致令人不满意的性能。因此，非常期望可以指定具有很少参数的有效的过滤器的技术。

在一个实施例中，过滤器核心可以是固定的，并且调制标量可以被计算以解决约束最小化，如以下的公式4。

[公式4]

${\min }_{\mathrm{\α}}\left\{\right||y-\underset{i=1}{\overset{F}{\Σ}}{\mathrm{\α}}_i{f}_i*x|{|}_q+\mathrm{\λ}C({\mathrm{\α}}_1,{\mathrm{\α}}_2,...,{\mathrm{\α}}_F)\}$

在公式4中，α＝[α₁ … α_F]^T，||.||_q表示q-norm(对于n矢量e，等等)，λ是用于强制约束C(α₁，α₂，...，α_F)≤c₀的拉格朗日(Lagrangian)乘子，C0是标量，以及C(α₁，α₂，...，α_F)是约束函数。

在压缩设置中，C(α₁，α₂，...，α_F)可以计算交换α需要的位，使得优化找到α，其最小化经受发送比C0位更少的预测误差的q-norm。C(α)还可以被设置为C(α)＝||α||_p(p＝0，.11，1，2，2.561，等等)。

上述的最小化可以根据α₁，α₂，...，α_F来联合地解决问题。

在一个实施例中，联合的最小化可以通过解以下的公式5以在精度方面一些损失被简化为标量最小化。

[公式5]

对于每个αi的

以下的公式5导致实质上更容易的解决方案。

在一个实施例中，基础过滤器核心可以被选择以满足以下的公式6。

[公式6]

$\underset{i=1}{\overset{F}{\Σ}}{f}_i(k,l)=\mathrm{\δ}(k,l)$

这里

在一个实施例中，基础过滤器核心可以被定义为以下的公式7。

[公式7]

$f_i(k,l)=\frac{1}{2\mathrm{\π}}\underset{({\mathrm{\ω}}_1,{\mathrm{\ω}}_2)\∈R_i}{\∫\∫}{e}^{\sqrt{-1}({\mathrm{\ω}}_{1}k+{\mathrm{\ω}}_{2}l)}{\mathrm{d\ω}}_1{\mathrm{d\ω}}_2$

在公式7中，R＝(-π，π]×(-π，π]确定范围π2的平方二维的间隔，并且可测量的集合R1、...,RF表示R的分解，使得每当i≠j时，并且并且，fi是Ri的指示函数的反离散时间傅里叶变换。

这样的过滤器可以在空间域中以非紧凑的支持结束。

在另一个实施例中，紧凑支持过滤器可以设计成近似非紧凑支持过滤器。例如，过滤器的支持能够在空间域中被限制于紧凑的区域Ω(例如，Ω可以是矩形区域，其限制fi的抽头的总数为规定数目)。表示具有的fi的离散时间傅里叶变换，可以是Ri的指示函数。倘若优化权重β_i≥0，则fi可以被选择以最小化以下的公式8。

[公式8]

在这种情况下，如果(r＝0,.11,1,2,2.561等等)，则并且f_i(k，l)＝0。

在另一个实施例中，ψ_i(ω₁，ω₂)是给定的过滤器集合，并且以上所述的最小化可以被改变，使得f_i近似ψ_i，如以下的公式9。

[公式9]

其中，如果则并且f_i(k，l)＝0。

在一个实施例中，f_i可以在训练集的帮助下设计。倘若目标和锚定图像对以预测形式集中在卷积上，则使用卷积的定义，可以获得公式10。

[公式10]

$\hat{y}(m,n)=\underset{i=1}{\overset{F}{\Σ}}{\mathrm{\α}}_i\underset{(k,l)\∈\mathrm{\Ω}}{\Σ}{f}_i(k,l)x(m-k,n-l)$

将该数值字典式地排序为矢量，可以获得公式11。

[公式11]

并且，在预测中容纳所有像素(m,n)，可以获得如下的公式12。

[公式12]

考虑字典式地排序的目标图像，在训练集上的最佳过滤器被获得，如以下的公式13。

[公式13]

min_f{min_α{||y-Xfα||_q+λC(α)}}

在另一个实施例中，本发明可以将在训练集上的过滤器核心设计为以下的公式14。

[公式14]

$\underset{f_1,f_2,\mathrm{...},f_K}{\arg \min }\underset{s=1}{\overset{S}{\Σ}}\underset{\mathrm{\α}}{min}\underset{m,n=1}{\overset{B}{\Σ}}{\[y_s(m,n)-\underset{p,q=1}{\overset{T}{\Σ}}\left(\underset{k=1}{\overset{K}{\Σ}}{f}_k\right(p,q\left){\mathrm{\α}}_k\right)x_s(m-p,n-q)\]}^2$

在这种情况下，块的训练对可以以(y₁，x₁)，(y₂，x₂)，...，(y_s，x_s)(S是大整数，例如，100、1000、119191等等)来定义。

并且，公式14的内部最小化可以以图8的其他实施例替换，例如公式15至18。

在一个实施例中，编码器-解码器对可以在视频序列的先前发送的帧(或者部分帧)上执行相同的优化，并且在未来的帧(或者用于传输的剩余的部分帧)的运动补偿预测中利用结果过滤器。

在一个实施例中，四叉树或者其他区域分解优化可以与用于f的上述优化共同地进行。在另一个实施例中，运动补偿、光流、去噪声和其他处理相关的优化可以与用于f的上述优化共同地进行。

在一个实施例中，在运动补偿中使用的内插过滤器可以与设计的过滤器结合以降低总的过滤复杂度。

图7是图示按照本发明适用于其的实施例的预测过滤器可以适用于其的四叉树分割的示意图。

参考图7，在本发明的一个方面中，锚定区域可以被进一步分解成子区域。

并且，可以对于每个子区域来计算预测过滤器。这个分解例如可以通过使用四叉树分解来实现。

在压缩/通信设置中，本发明可以设计允许对于每个分割高性能预测的预测过滤器，并且将设计的预测过滤器用信号通知给解码器，使得可以在解码器处实现相同的预测。

允许任意地常规的过滤器f需要太多位，并且因此，编码器只能进行粗略的四叉树分割(以限制过滤器的数目去发送)。这导致对信号统计的非常有限的自适应。另一方面，设计非常简单的过滤器显著地限制过滤可能性，并且导致无效预测。

因此，非常地期望能够以很少的位来指定有效的预测过滤器的技术，并且本发明将提供指定有效预测过滤器的各种技术。

图8是图示按照本发明适用于其的实施例获得最佳运动矢量和调制标量方法的流程图。

在本发明的一个方面中，编码器可以搜索最佳运动矢量和调制标量，并且最佳运动矢量和调制标量可以被发送给解码器。

首先，编码器可以从参考帧获得运动补偿参考块(S810)。在这种情况下，运动补偿参考块可以通过使用运动矢量获得。

编码器可以基于运动补偿参考块和过滤器参数来形成预测块，过滤器参数包括过滤器核心和调制标量(S820)。在这种情况下，可以对于每个块间来计算调制标量，并且如在稍后的实施例中解释的，过滤器核心可以对于整个视频保持相同，或者偶尔变化/发送。此外，在图6中描述的各种实施例可以适用于图8。

在下文中，本发明提供计算调制标量的各种实施例。

在本发明的一个方面中，调制标量可以在调制标量搜索范围中搜索。

在另一个实施例中，调制标量可以如以下的公式15计算。

[公式15]

$\underset{\mathrm{\α}}{\arg \min }\underset{m,n=1}{\overset{B}{\Σ}}{\[y(m,n)-\underset{p,q=1}{\overset{T}{\Σ}}\left(\underset{k=1}{\overset{K}{\Σ}}{f}_k\right(p,q\left){\mathrm{\α}}_k\right)x(m-p,n-q)\]}^2$

按照公式15的调制标量可以被变换和量化为调制标量搜索范围。并且，公式15的优化可以与其他优化共同地进行。

在另一个实施例中，调制标量可以如以下的公式16计算。

[公式16]

$\underset{{\mathrm{\α}}_k}{\arg \min }\underset{m,n=1}{\overset{B}{\Σ}}{\[\underset{p,q=1}{\overset{T}{\Σ}}{f}_k(p,q)y(m-p,n-q)-{\mathrm{\α}}_k{f}_k(p,q)x(m-p,n-q)\]}^2$

按照公式16的调制标量可以被变换和量化。并且，公式16的优化可以与其他优化无关地进行，并且对于每个k重复。

在另一个实施例中，调制标量可以如以下的公式17计算。

[公式17]

$\underset{\mathrm{\α}}{\arg \min }\{\underset{m,n=1}{\overset{B}{\Σ}}{\[y(m,n)-\underset{p,q=1}{\overset{T}{\Σ}}\left(\underset{k=1}{\overset{K}{\Σ}}{f}_k\right(p,q\left){\mathrm{\α}}_k\right)x(m-p,n-q)\]}^2+\mathrm{\λ}rate\_estimate\left(\mathrm{\α}\right)\}$

按照公式17的调制标量可以被量化。并且，公式17可以以单独的优化，而不是联合的优化进行。

在另一个实施例中，调制标量可以被计算为以下的公式16。

[公式18]

$\underset{\mathrm{\α}}{\arg \min }\{\underset{m,n=1}{\overset{B}{\Σ}}{\[y(m,n)-\underset{p,q=1}{\overset{T}{\Σ}}\left(\underset{k=1}{\overset{K}{\Σ}}{f}_k\right(p,q\left){\mathrm{\α}}_k\right)x(m-p,n-q)\]}^2+{\mathrm{\λlog}}_2\left(probability\right(\mathrm{\α}\left)\right)\}$

按照公式18的调制标量可以被量化。并且，公式18可以以单独的优化，而不是联合的优化进行。

并且，编码器可以基于形成的预测块、调制标量和拉格朗日乘子来获得度量(S830)。例如，度量可以包括由速率分量和失真分量组成的优化函数(或者值)。

然后，编码器可以基于获得的度量来获得最佳运动矢量和调制标量(S840)。例如，如果获得的度量小于最小度量或者先前获得的度量，则最小度量可以被设置为获得的度量。因此，最佳运动矢量和最佳调制标量可以被确定和发送给解码器。

否则，以上提及的过程可以被重复，直到可以获得最佳运动矢量和最佳调制标量。

图9是图示按照本发明适用于其的实施例获得度量的方法的流程图。

在本发明的一个方面中，编码器可以获得搜索最佳运动矢量和调制标量的度量，并且最佳运动矢量和调制标量可以被发送给解码器。

首先，编码器可以基于当前块和预测块来获得残留块(S910)。在这种情况下，预测块可以是基于先前获得的度量已经预测的块。

编码器可以变换和量化残留块(S920)。量化的残留块可以被熵编码(S960)，并且熵编码的残留块(R1)可用于获得度量。

此外，调制标量可以被熵编码(S970)，并且熵编码的调制标量(R2)可用于获得度量。

在另一个实施例中，调制标量可以被按照以下的公式19计算，并且用于获得度量。

[公式19]

$R2=C\underset{k=1}{\overset{K}{\Σ}}{\mathrm{\α}}^q$

在公式19中，C是浮点标准化常数，并且q＝0，0.11，.2，1，1.2，2，5，100.21，...。

在另一个实施例中，编码器估计用于调制标量的概率分布，如以下的公式20。

[公式20]

R2＝-log₂(概率(α))

类似地，运动矢量还可以被熵编码(S970)，并且熵编码的运动矢量(R3)可用于获得度量。

同时，量化的残留块可以被去量化和反变换(S930)。

并且，反变换的残留块可用于计算失真。在这种情况下，编码器可以如以下的公式21计算失真。

[公式21]

$D=\left|\right|\hat{r}|{|}_2^2=\underset{m,n=1}{\overset{B}{\Σ}}{\left(\hat{r}\right(m,n\left)\right)}^2$

在公式21中，是反变换的残留块，并且D表示失真。

因此，编码器可以获得度量，如以下的公式22。

[公式22]

μ＝D+λ(R1+R2+R3)

在公式22中，D表示失真分量，并且(R1+R2+R3)表示速率分量。

图10是图示按照本发明适用于其的实施例使用预测过滤器来编码视频信号的方法的流程图。

本发明提供使用预测过滤器来编码视频信号的方法。

编码器可以计算目标区域的位移矢量(S1010)。在这种情况下，目标区域表示在当前的帧内要编码的区域。

编码器可以通过使用位移矢量来确定锚定区域(S1020)。在这种情况下，锚定区域表示在参考帧内要引用的区域。

并且，编码器可以通过使用设计的过滤器线性地过滤锚定图像区域来预测目标区域(S1030)。在这种情况下，预测过滤器可以通过使用过滤器参数构成，并且过滤器参数表示与预测过滤器相关的参数信息。例如，过滤器参数可以包括过滤器核心和调制标量中的至少一个。此外，可以对于每个块间计算调制标量，并且过滤器核心可以对于整个视频保持相同，或者偶尔变化/发送。并且，过滤器核心可以被可选地发送给解码器。

然后，编码器可以使用预测的目标区域来产生预测误差(S1040)。

在一个实施例中，可以基于过滤器核心分量和调制标量分量来确定设计的过滤器。

在一个实施例中，调制标量分量可以被确定以最小化失真分量和速率分量的总和。

在一个实施例中，当锚定区域由多个子区域组成时，可以对于子区域的每个来产生设计的过滤器。

图11是图示按照本发明适用于其的实施例使用预测过滤器来解码视频信号的方法的流程图。

本发明提供使用预测过滤器来解码视频信号的方法。

解码器可以接收包括过滤器参数和运动参数的视频信号(S1110)。

解码器可以使用运动参数来执行运动补偿预测(S1120)。

并且，解码器可以使用过滤器参数来执行预测过滤(S1130)。

然后，解码器可以使用预测过滤的信号来重建视频信号(S1140)。

在一个实施例中，用于在每个帧内的每个块间的调制标量可以被发送给解码器。

在一个实施例中，过滤器核心可以被发送给解码器一次并且普遍地用于编译视频，因为过滤器核心被偶尔发送并且它们可以被精细地量化和使用常规的技术发送。

在一个实施例中，瞄准非实时视频压缩，可以对于要编译的接下来的M帧(例如，M＝30、100、2017、...)计算和发送过滤器核心。其可以通过将帧馈送给训练集发生器并且使用结果对以设计该核心来执行。并且，其可以通过将结果过滤器核心发送给解码器来执行。然后，M帧可以得益于使用仅仅发送核心的压缩。

在一个实施例中，编码器和解码器可以通过使用M个先前编码的帧对于计算过滤器核心来进行相同的计算以产生训练对。

在一个实施例中，过滤器核心可以被相对于先前发送的过滤器核心来区别地编译，同时发送给解码器。

在一个实施例中，基于要过滤的块的大小来调整搜索范围和用于调制标量的离散化。在另一个实施例中，对于较大的块，可以允许搜索范围更精细的离散化。

在一个实施例中，在执行运动补偿的高级预测过滤之后，在二个图片之间相似分数被计算为在它们之间的失真。

如上所述，本发明适用于其的解码器和编码器可以包括在多媒体广播传输/接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监视照相机、视频聊天装置、诸如视频通信的实时通信装置、移动流装置、存储介质、摄录一体机、VoD服务提供装置、因特网流服务提供装置、三维(3D)视频装置、电话会议视频装置和医学视频装置中，并且可以用于编译视频信号和数据信号。

此外，本发明适用于其的解码/编码方法可以以由计算机执行，并且可以存储在计算机可读的记录介质中的程序的形式来产生。具有按照本发明的数据结构的多媒体数据也可以存储在计算机可读的记录介质中。计算机可读的记录介质包括由计算机系统可读的数据存储在其中的所有类型的存储设备。计算机可读的记录介质例如可以包括BD、USB、ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备。此外，计算机可读的记录介质包括以载波(例如，经由因特网传输)的形式实现的介质。此外，由编码方法产生的位流可以存储在计算机可读的记录介质中，或者可以经有线/无线通信网络发送。

工业实用性

为了说明性的目的已经公开了本发明示范的实施例，并且本领域技术人员可以在所附的权利要求中公开的本发明的技术精神和范围内改进、变化、替换或者增加各种其他实施例。

Claims (20)

1.一种编码视频信号的方法，包括：

计算目标区域的位移矢量；

通过使用计算的位移矢量来确定锚定区域；

通过使用设计的过滤器线性地过滤所述锚定区域来预测目标区域；以及

通过使用预测的目标区域来产生预测误差。

2.根据权利要求1所述的方法，其中，基于过滤器核心分量和调制标量分量来确定设计的过滤器。

3.根据权利要求2所述的方法，其中，所述调制标量分量被确定以最小化失真分量和速率分量的总和。

4.根据权利要求2所述的方法，其中，用于每个块间的调制标量分量被发送给解码器。

5.根据权利要求2所述的方法，其中，所述过滤器核心分量被可选地发送给解码器。

6.根据权利要求1所述的方法，其中，当所述锚定区域由多个子区域组成时，对于所述子区域的每个产生所述设计的过滤器。

7.一种解码视频信号的方法，包括：

接收包括过滤器参数和运动参数的视频信号，其中所述过滤器参数包括调制标量分量；

基于所述运动参数来确定锚定区域；

基于所述锚定区域和所述调制标量分量来预测目标区域；以及

通过使用预测的目标区域来重建所述视频信号。

8.根据权利要求7所述的方法，其中，所述调制标量分量已经被确定以最小化失真分量和速率分量的总和。

9.根据权利要求7所述的方法，其中，基于用于每个块间的调制标量分量来预测所述目标区域。

10.根据权利要求7所述的方法，其中，基于所述调制标量分量和预先确定的过滤器核心分量来预测所述目标区域。

11.一种编码视频信号的装置，包括：

预测单元，所述预测单元被配置成计算目标区域的位移矢量，以及通过使用计算的位移矢量来确定锚定区域；

预测过滤单元，所述预测过滤单元被配置成通过使用设计的过滤器线性地过滤所述锚定区域来预测目标区域，以及通过使用预测的目标区域来产生预测误差。

12.根据权利要求11所述的装置，其中，基于过滤器核心分量和调制标量分量来确定所述设计的过滤器。

13.根据权利要求12所述的装置，其中，所述调制标量分量被确定以最小化失真分量和速率分量的总和。

14.根据权利要求12所述的装置，其中，用于每个块间的调制标量分量被发送给解码器。

15.根据权利要求12所述的装置，其中，所述过滤器核心分量被可选地发送给解码器。

16.根据权利要求11所述的装置，其中，当所述锚定区域由多个子区域组成时，对于所述子区域的每个产生设计的过滤器。

17.一种解码视频信号的装置，包括：

熵解码单元，所述熵解码单元被配置成接收包括过滤器参数和运动参数的视频信号，其中所述过滤器参数包括调制标量分量；

预测单元，所述预测单元被配置成基于所述运动参数来确定锚定区域；

预测过滤单元，所述预测过滤单元被配置成基于所述锚定区域和所述调制标量分量来预测目标区域；以及

重建单元，所述重建单元被配置成通过使用预测的目标区域来重建所述视频信号。

18.根据权利要求17所述的装置，其中，所述调制标量分量已经被确定以最小化失真分量和速率分量的总和。

19.根据权利要求17所述的装置，其中，基于用于每个块间的调制标量分量来预测所述目标区域。

20.根据权利要求17所述的装置，其中，基于所述调制标量分量和预先确定的过滤器核心分量来预测所述目标区域。