CN101965732A

CN101965732A - 用于使用参数滤波进行视频编码和解码的方法和装置

Info

Publication number: CN101965732A
Application number: CN2009801080354A
Authority: CN
Inventors: 波林·莱; 珀文·B·潘迪特; 尹澎
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS; International Digital Madison Patent Holding SAS
Priority date: 2008-01-07
Filing date: 2009-01-05
Publication date: 2011-02-02
Anticipated expiration: 2029-01-05
Also published as: WO2009088976A1; US20100278267A1; KR20100103556A; US8625672B2; JP5400062B2; CN101965732B; JP5624171B2; KR101682516B1; JP2011509053A; EP2241111A1; JP2013150360A; BRPI0907242A2

Abstract

提供了用于视频编码的方法和装置。使用所述方法，视频编码器(100)执行至少一个参考画面的滤波以获得至少一个经过滤波的参考画面(310)，并且使用所述至少一个经过滤波的参考画面来预测性地编码所述画面(315)。在示例实施例中，使用参数滤波来进行所述滤波。

Description

用于使用参数滤波进行视频编码和解码的方法和装置

相关申请的交叉引用

本申请要求2008年1月7日提交的美国临时申请序列号第61/019525号(律师案号第PU080001号)的权益，通过引用将其整体合并于此。

技术领域

本原理总地涉及视频编码和解码，并且更具体地涉及用于使用参数滤波进行视频编码的方法和装置。

背景技术

在目前科技发展水平的视频编码方案中，使用基于块的运动补偿预测(MCP)来利用时间冗余。对于多视图视频编码(MVC)场景中的视图间编码，还可以应用块匹配例程以执行视差补偿预测(DCP)，由此利用视图间冗余。多视图视频编码(MVC)是用于多视图序列的编码的压缩框架。多视图视频编码(MVC)序列是从不同视点捕捉相同场景的两个或者多个视频序列的集合。

然而，存在除了平移位移(translational displacement)之外的视频内容中的失配，诸如聚焦改变、单视场(monoscopic)视频中的运动模糊、以及多视图视频编码中跨不同视图的照度和/或聚焦失配。此外，可以定位所呈现的失配，使得视频帧的不同部分(对于被用作参考的一个或者多个帧中的对应区域)可以经受不同类型的改变。例如，对于(在多视图视频编码中利用的)各照相机中的不同种类的照相机设置，不同类型的模糊度/清晰度失配将被与具有不同深度(depth)的对象相关联。对于单视场视频中的运动模糊，不同方向上的对象移动可以造成方向模糊(directional blurring)。这些非平移失配将降低运动补偿预测/视差补偿预测的编码效率。

在没有关于视频内容中的失配的先前信息的情况下，可以利用双通道编码方案，其中首先执行初始搜索和滤波器估计，以基于当前帧和参考帧之间的差异来自适应地设计滤波器。通过之前描述的双通道编码方案来实现更高的编码效率，因为使用所估计的滤波器创建新的参考。然而，这样的方案显著地增加了编码复杂程度，并且还增加了开销，因为我们对于利用此方案编码的每一帧发送滤波器系数。

在视频编码的背景下，已经提出了参考帧滤波途径，其中生成新的参考帧来提高编码效率。

对于聚焦改变和/或照相机摇摄(camera panning)，提出了被称作模糊补偿的技术，其中使用固定集合的模糊(低通)滤波器来生成用于视频编码的模糊的参考帧。此技术对于我们考虑的场景来说有两个缺点。第一，仅在帧级别做出滤波器选择，即，不考虑将不同的滤波器应用于帧的不同部分。第二，此方法依赖非常有限的预先定义的滤波器集合(仅低通)。

为了更有效地捕捉视频内容中的实际失配，我们之前提出了一种自适应参考滤波途径，其是一种双通道编码方案。例如，为了利用视图间预测来编码帧，提出了首先执行初始视差估计。通过利用视差场作为场景深度的估计，将视频帧划分为与不同的场景深度级别相对应的区域。对于每个深度级别，基于当前帧和参考帧之间的差异来自适应地设计空间滤波器，以使残留能量最小化。这样的设计途径能够处理跨不同的视图呈现的、取决于深度的聚焦失配。将所估计的滤波器应用于参考帧，以创建经过滤波的参考。对于每个块，编码器选择提供最低的速率失真代价(RD代价)的(经过滤波的或者未经过滤波的)预测符，由此确保最高的编码效率。在此自适应参考滤波(ARF)方法中，与固定的滤波器集合途径相比，开销(逐帧的滤波器系数)将更大。更重要地，此双通道方法显著地增加了编码复杂程度。如果我们不具有有关失配的先前知识，则额外的步骤(初始搜索以及滤波器估计)是必须的。

发明内容

通过本发明的原理来处理现有技术的这些和其它缺陷和缺点，本发明针对用于视频编码和解码的方法和装置。

根据本原理的一方面，提供了一种装置。所述装置包括用于编码画面的编码器。所述编码器执行至少一个参考画面的滤波以获得至少一个经过滤波的参考画面，并且使用所述至少一个经过滤波的参考画面来预测性地编码所述画面。

根据本原理的另一方面，提供了一种方法。所述方法包括编码画面。所述编码步骤包括：执行至少一个参考画面的滤波以获得至少一个经过滤波的参考画面，以及使用所述至少一个经过滤波的参考画面来预测性地编码所述画面。

根据本发明的又一方面，提供了一种装置。所述装置包括用于解码画面的解码器。所述解码器执行至少一个参考画面的滤波以获得至少一个经过滤波的参考画面，并且使用所述至少一个经过滤波的参考画面来预测性地解码所述画面。

根据本发明的再一方面，提供了一种方法。所述方法包括解码画面。所述解码步骤包括：执行至少一个参考画面的滤波以获得至少一个经过滤波的参考画面，以及使用所述至少一个经过滤波的参考画面来预测性地解码所述画面。

本原理的这些和其它方面、特征和优点将从要结合附图阅读的示例实施例的以下详细描述中变得显而易见。

附图说明

根据以下示例图，可以更好地理解本原理，其中：

图1是根据本原理的实施例的、可以应用本原理的示例多视图视频编码(MVC)编码器的框图；

图2是根据本原理的实施例的、可以应用本原理的示例多视图视频编码(MVC)解码器的框图；

图3是根据本原理的实施例的、用于使用默认参数滤波器集合来进行视频编码的示例方法的流程图；

图4是根据本原理的实施例的、用于使用对于参数滤波器集合的自适应选择来进行视频编码的示例方法的流程图；

图5是根据本原理的实施例的、用于使用默认参数滤波器集合来进行视频解码的示例方法的流程图；以及

图6是根据本原理的实施例的、用于使用对于参数滤波器集合的自适应选择来进行视频解码的示例方法的流程图。

具体实施方式

本原理针对用于使用参数滤波来进行视频编码的方法和装置。

本说明书例示本原理。因此，将理解：本领域技术人员将能够设计尽管在此没有清楚地描述或示出、但是体现本原理并包括在其精神和范围内的各种布置。

在此叙述的所有示例和条件性语言意在用于教导的目的，以便帮助读者理解由本发明人贡献以促进本领域技术的本原理以及构思，并且应当被解释为不限于这样的具体叙述的示例和条件。

此外，在这里叙述本原理的原理、方面和实施例及其特定示例的所有陈述意在包括其结构上的和功能上的等效物。另外，意在这样的等效物包括当前已知的等效物以及将来开发的等效物二者，即所开发的执行相同功能的任何元件，而不论其结构如何。

因此，例如，本领域技术人员将认识到：在此呈现的框图表示体现本原理的示例电路的概念性视图。类似地，将认识到：任何流程图示、流程图、状态转换图、伪代码等表示实质上可以表示在计算机可读介质中并因此由计算机或处理器执行的各种处理，而不管这样的计算机或处理器是否明确地示出。

可以通过使用专用硬件以及能够与适当的软件相关联地执行软件的硬件来提供图中示出的各种元件的功能。当通过处理器来提供所述功能时，可以通过单个专用处理器、通过单个共享处理器、或者通过其中一些可被共享的多个独立处理器来提供所述功能。另外，术语“处理器”或“控制器”的明确使用不应当被解释为排他性地指代能够执行软件的硬件，而是可以隐含地无限制地包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、以及非易失性存储器。

还可以包括其它传统的和/或定制的硬件。类似地，图中示出的任何开关只是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互、或者甚至手动地来执行，如从上下文更具体地理解的，可以由实施者选择具体技术。

在其权利要求中，被表示为用于执行指定功能的部件的任何元件意在包含执行那个功能的任何方式，例如包括：a)执行那个功能的电路元件的组合或者b)与适当电路组合的任何形式的软件，所述软件因此包括固件或微代码等，所述适当电路用于执行该软件以执行所述功能。由这样的权利要求限定的本原理归于如下事实，即，以权利要求所要求的方式将由各种所叙述的部件提供的功能组合和集合到一起。因此，认为可以提供那些功能的任何部件与在此示出的那些部件等效。

在本说明书中对于本原理的“一个实施例”或“实施例”、以及其其它变型的引用是指结合所述实施例描述的特定特征、结构、特性等被包括在本原理的至少一个实施例中。因此，在说明书各处出现的短语“在一个实施例中”和“在实施例中”、以及任何其它变型的出现不必都指代相同的实施例。

应当认识到，以下的“/”、“和/或”和“至少一个”的使用，例如在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下，意在包括仅选择第一个列出的选项(A)、仅选择第二个列出的选项(B)、或者选择两个选项(A和B)。作为另一示例，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这样的措辞意在包括仅选择第一个列出的选项(A)、或者仅选择第二个列出的选项(B)、或者仅选择第三个列出的选项(C)、或者仅选择第一个和第二个列出的选项(A和B)、或者仅选择第一个和第三个列出的选项(A和C)、或者仅选择第二个和第三个列出的选项(B和C)、或者选择全部三个选项(A和B和C)。如本领域和相关领域普通技术人员容易显见的，这可以被扩展用于许多列出的项目。

此外，如在这里可互换地使用的，“跨视图(cross-view)”和“视图间(inter-view)”两者都指代属于除了当前视图之外的视图的画面。

应当认识到，尽管在此关于MPEG-4AVC标准的多视图视频编码扩展描述了本原理的一个或多个实施例，但是本原理不仅限于该扩展和/或该标准，并且因此可以关于其它视频编码标准、推荐和其扩展而利用本原理，同时维持本原理的精神。

转到图1，通过参考标号100总地指示示例多视图视频编码(MVC)编码器。编码器100包括组合器105，其具有与变换器110的输入以信号通信连接的输出。变换器110的输出与量化器115的输入以信号通信连接。量化器115的输出与熵编码器120的输入以及逆量化器125的输入以信号通信连接。逆量化器125的输出与逆变换器130的输入以信号通信连接。逆变换器130的输出与组合器135的第一非反相输入以信号通信连接。组合器135的输出与帧内预测器145的输入和去块滤波器150的输入以信号通信连接。去块滤波器150的输出与(视图i的)参考画面存储部件155的输入以信号通信连接。参考画面存储部件155的输出与运动补偿器175的第一输入以及运动估计器180的第一输入以信号通信连接。运动估计器180的输出与运动补偿器175的第二输入以信号通信连接。

(其它视图的)参考画面存储部件160的输出与视差/照度估计器170的第一输入以及视差/照度补偿器165的第一输入以信号通信连接。视差/照度估计器170的输出与视差/照度补偿器165的第二输入以信号通信连接。

熵编码器120的输出可用作编码器100的输出。组合器105的非反相输入可用作编码器100的输入，并且与视差/照度估计器170的第二输入以及运动估计器180的第二输入以信号通信连接。开关185的输出与组合器135的第二非反相输入以及组合器105的反相输入以信号通信连接。开关185包括与运动补偿器175的输出以信号通信连接的第一输入、与视差/照度补偿器165的输出以信号通信连接的第二输入、以及与帧内预测器145的输出以信号通信连接的第三输入。

模式判定模块140具有连接到开关185的输出，用于控制通过开关185选择哪个输入。

转到图2，通过附图标记200总地指示示例的多视图视频编码(MVC)解码器。解码器200包括熵解码器205，其具有与逆量化器210的输入以信号通信连接的输出。逆量化器的输出与逆变换器215的输入以信号通信连接。逆变换器215的输出与组合器220的第一非反相输入以信号通信连接。组合器220的输出与去块滤波器225的输入和帧内预测器230的输入以信号通信连接。去块滤波器225的输出与(视图i的)参考画面存储部件240的输入以信号通信连接。参考画面存储部件240的输出与运动补偿器235的第一输入以信号通信连接。

(其它视图的)参考画面存储部件245的输出与视差/照度补偿器250的第一输入以信号通信连接。

熵解码器205的输入可用作对解码器200的、用于接收残留比特流的输入。此外，模式模块260的输入也可用作对解码器200的、用于接收控制语法以控制通过开关255选择哪个输入的输入。另外，运动补偿器235的第二输入可用作解码器200的、用于接收运动向量的输入。而且，视差/照度补偿器250的第二输入可用作对解码器200的、用于接收视差向量和照度补偿语法的输入。

开关255的输出与组合器220的第二非反相输入以信号通信连接。开关255的第一输入与视差/照度补偿器250的输出以信号通信连接。开关255的第二输入与运动补偿器235的输出以信号通信连接。开关255的第三输入与帧内预测器230的输出以信号通信连接。模式模块260的输出与开关255以信号通信连接，以控制通过开关255选择哪个输入。去块滤波器225的输出可用作解码器的输出。

如上所述，本原理针对用于使用参数滤波进行视频编码的方法和装置。

与依赖非常有限的预先定义的滤波器集合(仅低通)的上述模糊补偿的现有技术相反，根据本原理，我们提供了基于要补偿的失配的特性来设计的预先定义的滤波器集合。这样的失配的可能的示例是用于多视图视频编码(MVC)的视图间预测中的聚焦失配以及单视场视频中的方向运动模糊。由此，在一个实施例中，我们可以包括高频增强滤波器以补偿聚焦失配，并且在另一或者同一实施例中，我们可以包括方向滤波器(directional motion)以补偿运动模糊。在我们的途径中可以支持多个参数滤波器，使得可以应用所定位的补偿(localized compensation)。应当认识到，为了示例的目的提及以前的失配类型(聚焦失配和运动模糊)，由此，本原理不仅限于那些失配类型。即，给出在此处提供的本原理的教导，本领域和相关领域的普通技术人员将容易地认识到在维持本原理的精神的同时、可以应用本原理的各种失配类型。

由此，根据本原理的用于视频编码的参数滤波有利地利用失配的特性。在一个实施例中，在编码视频序列之前设计参数滤波器的集合(预先定义的滤波器集合)。基于要补偿的目标失配的知识来设计这些参数滤波器，诸如用于聚焦改变的各向同性(isotropic)滤波器以及用于运动模糊的方向滤波器。因此，本原理的实施例能够提供专用的预先定义的滤波器集合。可以设计多个参数滤波器，以便补偿所定位的失配。在存在目标失配的情况下，可以通过应用参数滤波器来生成新的参考帧，以提高编码效率。注意：尽管预先设计参数滤波器，但是可以基于失配的估计来自适应地确定是否使用参数滤波器、使用哪个(些)滤波器、以及用于生成新的参考帧的滤波器的排序的判定。由此，本原理的实施例与也利用参考滤波的其它方法(其利用要编码的每一帧的初始搜索来估计滤波器)相比，可以减少复杂程度，同时仍有效地捕捉在视频内容中呈现的失配。此外，由于根据失配的性质将滤波器参数化并且可以使得编码判定自适应，提高了编码效率。即，在我们使开销保持非常小(预先定义的滤波器集合，而不是每一帧一个滤波器集合)的同时，可以实现高编码效率，这是因为通过利用失配的性质将滤波器参数化，并且选择自适应于视频帧之间的所估计的差异。

由此，根据本原理的一个或者多个实施例，我们公开了用于基于失配的性质来设计参数滤波器的方法和装置，其中将所述参数滤波器应用于经受相同种类的失配(诸如例如聚焦改变和/或运动模糊)的视频序列。该新的编码方案避免执行如自适应参考滤波(ARF)中的双通道编码，而仍可以根据当前帧和(多个)参考帧之间的差异来设计/选择要利用的参数滤波器。例如，我们可以固定滤波器的结构，并且可以调节滤波器参数，使得可以相应地将滤波器改变为低通、带通和/或高通滤波器。可以构造多个参数滤波器以补偿帧内的所定位的和/或不同类型的失配。在设计滤波器的集合之后，使得滤波器对于编码可用，从而编码器可以使用滤波器以生成用于更高的编码效率的新的经过滤波的参考帧(专用的预先定义的滤波器集合)。

用于MVC视图间预测中的聚焦失配的参数滤波

在多视图视频编码中，编码由多个照相机同时捕捉的视频数据。我们将来自不同照相机的相应的视频称作视图。视图间预测是指使用来自称作参考的其它视图的帧来编码帧。由于不同种类的照相机设置和/或不同的拍摄位置/方向，来自不同的视图的帧可能呈现聚焦失配。已经表现出：在由不同的照相机捕捉的图像中呈现的差异可以在聚焦设置失配和对象深度方面表示。失配导致可被表示为在空间域中呈圆对称的模糊(低通)/清晰(增强)滤波器的光学传递函数中的差异。对于给定对的视图，类型(低通、增强等)以及改变的程度与场景内的深度成分相关联。可以构造参数滤波器以覆盖宽范围的这样的聚焦失配。以下在下面的表中总结了一些示例。表1A和1B分别示出了具有3×3和5×5对称约束的参数滤波器。表2A和2B分别示出了具有3×3和5×5垂直/水平对称约束的参数滤波器。

c	b	c
			b	a	b
c	b	c

表1A

f	e	d	e	f
					e	c	b	c	e
d	b	a	b	d
					e	c	b	c	e
f	e	d	e	f

表1B

d

b

d

c	a	c
			d	b	d

表2A

i	g	e	g	i
					h	d	b	d	h
g	c	a	c	f
					h	d	b	d	h
i	g	e	g	i

表2B

注意：可以将菱形形状的参数滤波器视作上面的滤波器的特殊情况。例如，如果我们在5×5垂直/水平滤波器中迫使g＝h＝i＝0，则我们得到如在表3中所示的下面的菱形形状：

		e
					d	b	d
f	c	a	c	f
					d	b	d
		e

表3

通过变化参数(滤波器系数)的值，我们可以生成具有不同的频率响应的滤波器以补偿视图间预测中的可能的聚焦失配。在一个实施例中，我们通过估计并且收集使对于具有聚焦失配的序列的预测误差最小化的参数滤波器来构造滤波器集合，并且将所收集的参数滤波器分类/聚集为一些代表性的滤波器。然后，所获得的滤波器集合可以充当用于补偿多视图视频编码视图间预测中的聚焦失配的参数滤波器。在另一个实施例中，我们固定参数滤波器集合的结构，并且动态地为每一个参数滤波器估计参数。

预先定义的滤波器集合在编码多视图视频时提供编码器选项。取决于聚焦设置差异以及场景的深度成分，图像将呈现不同类型的聚焦失配。由此，对于多视图视频编码视图，利用所有的参数滤波器不是必须的。下面提供在不需要使用所有的参数滤波器时的一些示例：

(1)如果与用于参考的(多个)视图相比、视图不具有聚焦失配，则滤波途径不是必须的，同时可以保留编码效率。

(2)当在正被编码的视图中仅存在特定类型的聚焦失配时，因为一些参数滤波器不能提供编码改进，因此可能很少被基于块的补偿选择。从滤波器列表中去除这些参数滤波器可以帮助节省在用信号通知参考索引上耗费的比特率，因为我们将从较少的经过过滤的参考中以进行选择。

(3)即使存在类似类型的失配，场景中失配的成分仍然可以是不同的。例如，一个场景可能具有最需要增强的对象，其中仅一些对象需要低通滤波，而在另一场景中更大的部分可能需要被平滑(低通滤波)。应当相应地改变参数滤波器的排序。将最主要的失配滤波器首先放入列表中可以进一步减小信号通知比特率。

为了考虑这些并且提高编码效率，根据一个或者多个实施例，我们还提出估计技术来对于每个视图自适应地确定要包括哪些参数滤波器以及所包括的滤波器的排序。

聚焦失配估计，实施例I：

如果照相机参数(诸如例如聚焦设置和光圈尺寸)可用，则可以导出成像系统的特性(即，光学传递函数)。当深度信息也可用时(例如，在任意视点(free viewpoint)电视系统中)，与光学传递函数组合，我们将能够得知在图像中将存在哪些类型的失配。对于给定的视图，我们基于上面的信息来从预先定义的滤波器集合中选择覆盖将在图像中呈现的失配的类型的参数滤波器。深度信息还告诉我们场景的深度成分，并且因此告诉我们哪种类型的失配更主要。由此，可以相应地确定所选择的滤波器的排序。

聚焦失配估计，实施例II：

当照相机参数可用(并且由此光学传递函数已知)、但深度信息不可用(即，深度信息当前不可用)时，我们可以执行估计以近似计算深度。例如，如果我们还知道照相机之间的间距与相关的拍摄方向，则可以使用所估计的视差来追溯场景中不同对象的实际深度。也就是说，给出多视图照相机参数，我们可以执行视差估计(例如经由搜索)来识别可能的聚焦失配类型。对于给定的视图，在这样的估计之后，我们从预先定义的滤波器集合中选择覆盖我们正在考虑的失配类型的参数滤波器。视察估计还指示场景的深度成分，并且因此指示哪种类型的失配更主要。可以相应地确定所选择的滤波器的排序。

聚焦失配估计，实施例III：

当多视图照相机参数不完全可用时，我们可以使用类似于自适应参考滤波的例程来估计图像中的失配。对于要编码的给定视图，基于视差向量的分类将帧划分为不同的深度级别。然后，对于每个深度级别中所有块估计二维(2D)最小均方误差滤波器。这些所估计的滤波器指示与(多个)参考视图相比在当前视图中存在哪些类型的聚焦失配。然后，我们可以将所估计的滤波器与预先定义的集合中的参数滤波器进行比较。选择与所估计的滤波器具有最高相关性的预先定义的集合中的滤波器来充当当前视图的附加编码选项，以便生成新的参考帧。还可以基于分类和相关性分析来决定所选择的参数滤波器的排序。

应注意：在这些方法的各种实施例中，可以在给定的视图的一些早期的帧中执行视差估计(实施例II和III)以及滤波器估计(实施例III)，然后，将所选择的参数滤波器应用于剩余的帧。在其它实施例中，可以在某些特定的时间戳处(例如每10帧)执行估计，并且将所选择的参数滤波器应用于失配估计时间戳之间的帧。

用于视频编码中的方向运动模糊的参数滤波

我们现在描述将参数滤波应用于方向运动模糊的思想。可以构造参数滤波器以补偿运动模糊。由于可能在视频内容中的不同方向出现运动，因此可以利用下面例示的方向性来将滤波器参数化：

f

e

d

e

f

c

f

c

b

a

b

c

e

b

e

f

e

d

e

f

d

a

d

e

b

e

f

c

f

表4

在构造滤波器集合之后，编码器可以通过执行运动模糊失配的估计来选择要使用所述滤波器中的哪一个(哪些)以及滤波器排序。在一个实施例中，可以通过运动估计来执行运动模糊失配的估计，以识别可能的运动模糊方向。在另一个实施例中，我们可以应用类似于自适应参考滤波的处理，以估计用于捕捉在视频帧中呈现的运动模糊的滤波器。然后，从预先定义的集合中选择展示与所估计的滤波器的最高相关性的滤波器，以生成新的参考帧。

用信号通知参数滤波

由于通过利用失配的特性来预先定义滤波器集合，因此对于整个序列，系数仅需要被传输至多一次。此外，如果将预先定义的滤波器集合创建为编码器和解码器两者共用的程序库(dictionary)，则我们不需要传输滤波器系数。

对于滤波器系数被传输一次的情况，可以将所述滤波器系数被传输的顺序视作所述滤波器的默认顺序，并且在滤波器是固定的集合的情况下，可以为所述滤波器建立默认顺序。

当我们希望以滤波器的默认顺序使用这些滤波器时，不需要额外的语法。一旦建立了参考画面列表，就以滤波器的默认顺序应用滤波器。如果在每个列表中存在N个滤波器，但在参考列表中仅有M＜N个参考画面，则应用前M个滤波器。

由于帧可以从预先定义的参数滤波器中使用不同数目的参数滤波器(甚至0个，如果编码器确定不应用滤波的话)并且排序可以不同的事实，对于这些情况向解码器提供这样的信息变为必须。这里，关于用信号通知所选择的滤波器，我们展示使用参数滤波来进行多视图视频编码视图间预测的示例。

假设在预先定义的集合中存在4个参数滤波器，并且它们被表示为f1～f4且具有f1、f2、f3、f4的默认顺序。使用具有IBPBP结构的视图间预测来编码五个视图(V0～V4)。

表5

在此示例中，对于V1，解码器将得知利用参数滤波对此B视图进行编码(filter_flag(滤波器_标志)＝1)。该标志被作为高级语法传输并且可以存在于例如但不限于PPS、SPS、NAL单元首部和/或码片首部。此标志的一个实施例在表6中示出，其示出了码片首部语法。

如表5中所示，对于V1，List_0(列表_0)有三个滤波器，List_1有一个滤波器。滤波器顺序指示List_0中的参考(总共四个：三个经过滤波的和一个未经过滤波的)对应于经过滤波的参考f3、经过滤波的参考f4、未经过滤波的参考、以及经过滤波的参考f1，并且List_1中唯一的经过滤波的参考是由f2生成的，其在List_1中被放在未经过滤波的参考之后。

在此示例中，每个列表中滤波器的数目是不同的，另外，滤波器的排序也被改变。为了使解码器得知这点，我们提出连同参考画面列表重新排序(RPLR)命令一起传输附加语法，其指示对于正被重新排序的参考画面使用哪个滤波器索引。表7示出了参考画面列表重新排序语法。

也利用参数滤波编码V2(filter_flag＝1)，并且存在两个经过滤波的参考f3、f1。参考的排序对应于：经过滤波的参考f3；未经过滤波的参考；以及经过滤波的f1。没有用于List_0中的滤波器数目的语法，因为比特流将指示此视图是P视图，由此，所有滤波器都用于List_0。对于V4，filter_flag＝0指示其在没有应用参数滤波的情况下被编码。

slice_header(){	c	描述符
			flrst_mb_in_slice	2	ue(v)

slice_type	2	ue(v)
			ic_enable	2	u(1)
if(anchor_pic_flag){
			if(slice_type＝＝P\|\|slice_type＝＝B){
for(compldx＝0；compldx＜2；compldx++)
			global_disparity_mb_l0[compldx]	2	se(v)
}
			if((slice_type＝＝B){
for(compldx＝0；compldx＜2；compldx++)
			global_disparity_mb_l1[compldx]	2	se(v)
}
			if(slice_type＝＝P\|\|slice_type＝＝B){
filter_flag	2	u(1)
			}//if anchor picture
pic_parameter_set_id	2	ue(v)
			frame_num	2	u(v)
...
			}

表6

表7

转到图3，通过参考标号300总地指示使用默认参数滤波器集合进行视频编码的示例方法。

方法300包括开始块305，其将控制传递给功能块310。功能块310使用预先定义的参数滤波器集合(具有默认顺序)生成经过滤波的参考，并将控制传递给功能块315。功能块315利用未经过滤波的参考和经过滤波的参考编码当前帧，并将控制传递给结束块399。

转到图4，通过参考标号400总地指示用于使用对于参数滤波器集合的自适应选择进行视频编码的示例方法。

方法400包括开始块405，其将控制传递给功能块410。功能块410执行失配估计以确定例如filter_flag的值(0或1)、滤波器的数目、以及滤波器的顺序，并将控制传递给判定块415，其中所述失配估计可以基于照相机参数、和/或照相机设置、和/或深度/视差/运动信息、和/或滤波器估计(例如，后者包括执行与预先定义的集合的比较)。判定块415确定filter_flag是否等于1。如果其等于1，则将控制传递给功能块420。否则，将控制传递给功能块430。

功能块420生成经过滤波的参考(具有如功能块410所确定的顺序和数目)，并将控制传递给功能块425。功能块425利用未经过滤波的参考和经过滤波的参考来编码当前帧，并将控制传递给结束块499。

功能块430编码当前帧，并将控制传递给结束块499。

转到图5，通过参考标号500总地指示用于使用默认参数滤波器集合进行视频解码的示例方法。

方法500包括开始块505，其将控制传递给功能块510。功能块510基于预先定义的滤波器系数生成经过滤波的参考，并将控制传递给功能块515。功能块515利用未经过滤波的参考和经过滤波的参考解码当前帧，并将控制传递给结束块599。

转到图6，通过参考标号600总地指示用于使用对于参数滤波器集合的自适应选择进行视频解码的示例方法。

方法600包括开始块605，其将控制传递给判定块615。判定块615确定filter_flag是否等于1。如果其等于1，则将控制传递给功能块620。否则，将控制传递给功能块635。

功能块620解码从预先定义的滤波器集合中选择的滤波器的数目，并且还解码所述滤波器的顺序，并将控制传递给功能块625。功能块625基于所解码出的滤波器的数目和滤波器的顺序生成经过滤波的参考，并将控制传递给功能块630。功能块630利用经过滤波的参考和未经过滤波的参考解码当前帧，并将控制传递给结束块699。

功能块635解码当前帧，并将控制传递给结束块699。

现在将给出本发明的许多伴随优点/特征中的一些的描述，已经在上面提及了所述许多伴随优点/特征中的一些。例如，一个优点/特征是一种具有用于编码画面的编码器的装置。所述编码器执行至少一个参考画面的参数滤波以分别获得至少一个经过滤波的参考画面，并且使用所述至少一个经过滤波的参考画面来预测性地编码所述画面。

另一优点/特征是具有如上所述的编码器的装置，其中，被用于所述参数滤波的至少一个集合的参数滤波器是在编码所述画面或者所述画面所属的视频序列之前预先定义的。

另一优点/特征是如上所述的具有其中预先定义至少一个集合的参数滤波器的所述编码器的装置，其中基于所述画面与所述至少一个参考画面之间的预期失配来估计预先定义的至少一个集合的参数滤波器。

另一优点/特征是如上所述的具有其中估计预先定义的至少一个集合的参数滤波器的所述编码器的装置，在此，基于估计补偿预期失配的滤波器组以及分类所估计的滤波器组的至少一部分，来计算所述预先定义的至少一个集合的参数滤波器的系数。

此外，另一优点/特征是如上所述的具有其中预先定义至少一个集合的参数滤波器的所述编码器的装置，其中所述编码器从预先定义的至少一个滤波器集合中选择至少一个集合的参数滤波器以用于参数滤波，并且还选择所选择的至少一个集合中的滤波器的排序。

另外，另一优点/特征是如上所述的具有选择至少一个集合的参数滤波器并且还选择滤波器的排序的编码器的装置，其中基于所述画面与所述至少一个参考画面之间的失配的估计来选择所选择的至少一个集合的参数滤波器和所选择的至少一个集合中的滤波器的排序中的至少一个。

而且，另一优点/特征是如上所述的具有基于失配的估计来进行选择的编码器的装置，其中所述画面与多视图视频内容的至少两个视图中的至少一个视图相对应，所述估计基于用于捕捉所述多视图视频内容的至少两个照相机的照相机参数和照相机设置中的至少一个。

另外，另一优点/特征是如上所述的具有基于失配的估计来进行选择的编码器的装置，其中所述估计基于运动信息、深度信息、运动搜索、以及视差搜索中的至少一个。

此外，另一优点/特征是如上所述的具有基于失配的估计来进行选择的编码器的装置，其中通过将所述画面划分为具有不同类型的失配的区域来执行所述估计。

另外，另一优点/特征是如上所述的具有选择至少一个集合的参数滤波器并且还选择滤波器的排序的编码器的装置，其中将通过执行参数滤波而获得的至少一个经过滤波的参考画面与用于编码选择(encoding selection)和用于用信号通知(signaling)的不同的参考索引相关联。

而且，另一优点/特征是如上所述的具有选择至少一个集合的参数滤波器并且还选择滤波器的排序的编码器的装置，其中所述编码器以作为结果的比特流用信号通知所选择的至少一个集合的参数滤波器以及参考画面排序，以允许通过对应的解码器来重建所述画面。

基于此处的教导，相关领域普通技术人员可以容易确定本原理的这些和其它特征和优点。应理解本原理的教导可以以硬件、软件、固件、专用处理器、或其组合的各种形式来实现。

最优选地，本原理的教导被实现为硬件与软件的组合。此外，软件可以实现为有形地体现在程序存储单元上的应用程序。所述应用程序可以被上载到包括任何适当架构的机器并由所述机器执行。优选地，在具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)、以及输入/输出(“I/O”)接口之类的硬件的计算机平台上实现所述机器。所述计算机平台还可以包括操作系统和微指令代码。此处描述的各种处理与功能可以是可以由CPU执行的微指令代码的一部分或是应用程序的一部分、或者是其任何组合。另外，诸如附加数据存储单元以及打印单元之类的各种其它外设单元可以连接到计算机平台。

还应理解，由于在附图中示出的一些组成系统组件和方法优选地以软件实现，因此这些系统组件或处理功能块之间的实际连接可能取决于本原理被编排的方式而有所不同。给出这里的教导，相关领域的普通技术人员将能够预期本原理的这些和类似的实现方式或配置。

尽管此处已经参考附图描述了示例实施例，但是应理解本原理不限于那些确切的实施例，并且相关领域普通技术人员可以在其中进行各种改变和修改，而不偏离本原理的范围和精神。所有这些改变和修改意在被包括在所附权利要求中所提出的本原理的范围之内。

Claims

1.一种装置，包括：

编码器(100)，用于编码画面，其中所述编码器对至少一个参考画面进行滤波以获得至少一个经过滤波的参考画面，并且使用所述至少一个经过滤波的参考画面来预测性地编码所述画面。

2.如权利要求1所述的装置，其中被用于所述滤波的至少一个集合的参数滤波器是在编码所述画面或者所述画面所属的视频序列之前预先定义的。

3.如权利要求2所述的装置，其中基于所述画面与所述至少一个参考画面之间的预期失配来估计预先定义的至少一个集合的参数滤波器。

4.如权利要求3所述的装置，其中基于估计补偿预期失配的滤波器组以及分类所估计的滤波器组的至少一部分，来计算所述预先定义的至少一个集合的参数滤波器的系数。

5.如权利要求2所述的装置，其中所述编码器(100)从预先定义的至少一个滤波器集合中选择至少一个集合的参数滤波器以用于参数滤波，并且还选择所选择的至少一个集合中的滤波器的排序。

6.如权利要求5所述的装置，其中基于所述画面与所述至少一个参考画面之间的失配的估计来选择所选择的至少一个集合的参数滤波器和所选择的至少一个集合中的滤波器的排序中的至少一个。

7.如权利要求6所述的装置，其中所述画面与多视图视频内容的至少两个视图中的至少一个视图相对应，所述估计基于用于捕捉所述多视图视频内容的至少两个照相机的照相机参数和照相机设置中的至少一个。

8.如权利要求6所述的装置，其中所述估计基于运动信息、深度信息、运动搜索、以及视差搜索中的至少一个。

9.如权利要求6所述的装置，其中通过将所述画面划分为具有不同类型的失配的区域来执行所述估计。

10.如权利要求5所述的装置，其中将通过执行参数滤波而获得的至少一个经过滤波的参考画面与用于编码选择和用于用信号通知的不同的参考索引相关联。

11.如权利要求5所述的装置，其中所述编码器(100)以作为结果的比特流用信号通知所选择的至少一个集合的参数滤波器以及参考画面排序，以允许通过对应的解码器来重建所述画面。

12.一种用于编码画面的方法，包括：

对至少一个参考画面进行滤波以获得至少一个经过滤波的参考画面；以及

使用所述至少一个经过滤波的参考画面来预测性地编码所述画面(310，315)。

13.如权利要求12所述的方法，其中被用于所述滤波的至少一个集合的参数滤波器是在编码所述画面或者所述画面所属的视频序列之前预先定义的(310)。

14.如权利要求13所述的方法，其中基于所述画面与所述至少一个参考画面之间的预期失配来估计预先定义的至少一个集合的参数滤波器(410)。

15.如权利要求14所述的方法，其中基于估计补偿预期失配的滤波器组以及分类所估计的滤波器组的至少一部分，来计算所述预先定义的至少一个集合的参数滤波器的系数(410)。

16.如权利要求14所述的方法，其中所述编码步骤包括：从预先定义的至少一个滤波器集合中选择至少一个集合的参数滤波器以用于参数滤波，以及选择所选择的至少一个集合中的滤波器的排序(410)。

17.如权利要求16所述的方法，其中基于所述画面与所述至少一个参考画面之间的失配的估计来选择所选择的至少一个集合的参数滤波器和所选择的至少一个集合中的滤波器的排序中的至少一个(410)。

18.如权利要求17所述的方法，其中所述画面与多视图视频内容的至少两个视图中的至少一个视图相对应，所述估计基于用于捕捉所述多视图视频内容的至少两个照相机的照相机参数和照相机设置中的至少一个(410)。

19.如权利要求17所述的方法，其中所述估计基于运动信息、深度信息、运动搜索、以及视差搜索中的至少一个(410)。

20.如权利要求17所述的方法，其中通过将所述画面划分为具有不同类型的失配的区域来执行所述估计(410)。

21.如权利要求16所述的方法，其中将通过执行参数滤波而获得的至少一个经过滤波的参考画面与用于编码选择和用于用信号通知的不同的参考索引相关联(420)。

22.如权利要求16所述的方法，还包括以作为结果的比特流用信号通知所选择的至少一个集合的参数滤波器以及参考画面排序，以允许通过对应的解码器来重建所述画面(425)。

23.一种装置，包括：

解码器(200)，用于解码画面，其中所述解码器对至少一个参考画面进行滤波以获得至少一个经过滤波的参考画面，并且使用所述至少一个经过滤波的参考画面来预测性地解码所述画面。

24.如权利要求23所述的装置，其中用于执行所述滤波的至少一个集合的参数滤波器是基于所述画面与所述至少一个参考画面之间的预期失配而预先定义的。

25.如权利要求24所述的装置，其中所述解码器(200)从预先定义的至少一个滤波器集合中确定至少一个集合的参数滤波器以用于参数滤波，并且还确定所确定的至少一个集合中的滤波器的排序。

26.如权利要求25所述的装置，其中从至少一个高级语法元素确定用于参数滤波的所确定的至少一个集合的参数滤波器。

27.如权利要求25所述的装置，其中从至少一个高级语法元素和所确定的至少一个集合中的滤波器的接收顺序中的至少一个确定所确定的至少一个集合中的滤波器的排序。

28.如权利要求25所述的装置，其中将通过执行参数滤波而获得的至少一个经过滤波的参考画面与用于解码选择的不同的参考索引相关联。

29.如权利要求25所述的装置，其中所述解码器(200)从作为结果的比特流确定所确定的至少一个集合的参数滤波器以及参考画面排序，以重建所述画面。

30.如权利要求29所述的装置，其中从至少一个高级语法元素确定参考画面排序。

31.一种用于解码画面的方法，包括：

对至少一个参考画面进行滤波以获得至少一个经过滤波的参考画面，以及

使用所述至少一个经过滤波的参考画面来预测性地解码所述画面(510，515)。

32.如权利要求31所述的方法，其中用于所述滤波的至少一个集合的参数滤波器是基于所述画面与所述至少一个参考画面之间的预期失配而预先定义的(625)。

33.如权利要求32所述的方法，其中所述解码步骤包括：从预先定义的至少一个滤波器集合中确定至少一个集合的参数滤波器以用于参数滤波，以及确定所确定的至少一个集合中的滤波器的排序(620)。

34.如权利要求33所述的方法，其中从至少一个高级语法元素确定用于参数滤波的所确定的至少一个集合的参数滤波器(620)。

35.如权利要求33所述的方法，其中从至少一个高级语法元素和所述至少一个集合中的滤波器的接收顺序中的至少一个确定所确定的至少一个集合中的滤波器的排序(620)。

36.如权利要求33所述的方法，其中将通过执行参数滤波而获得的至少一个经过滤波的参考画面与用于解码选择的不同的参考索引相关联(630)。

37.如权利要求33所述的方法，其中所述解码步骤包括从包括所述画面的比特流确定所确定的至少一个集合的参数滤波器以及参考画面排序(630)。

38.如权利要求37所述的方法，其中从至少一个高级语法元素确定参考画面排序。

39.一种用于视频编码的视频信号结构，包括：

通过以下步骤编码的画面：对至少一个参考画面进行参数滤波以获得至少一个经过滤波的参考画面，并且使用所述至少一个经过滤波的参考画面来预测性地编码所述画面。

40.一种在其上编码有视频信号数据的计算机可读存储介质，包括：