CN101816016A - 利用像素对准的方向性自适应插值滤波器的视频编码 - Google Patents

Abstract

一种用于实现自适应插值滤波器结构系统和方法，其获得高编码效率的同时相比于传统系统具有明显更低的复杂度。在各种实施方式中，定义整数像素集合，其在插值过程中用于获得不同位置处的每个子像素样本。利用独立的像素对准的一维(1D)自适应插值滤波器来产生每个子像素位置处的样本。将该滤波器系数传输给解码器或存储在比特流中。在解码器端，可以在插值过程中使用接收到的滤波系数来创建运动补偿预测。

Description

利用像素对准的方向性自适应插值滤波器的视频编码

技术领域

本发明一般涉及视频编码。更具体地，本发明涉及针对视频编码中的运动补偿预测中的子像素像素位置的插值过程。

背景技术

本部分意在为权利要求书中阐述的本发明提供背景或上下文。此处的描述可以包括可被探究的原理，但是这些原理并不必须是以前已经构思过或者探究过的那些。因此，除非在此另行指出，否则在本部分中所描述的并不是本申请说明书和权利要求书的现有技术，也不因为包括在此部分中就承认是现有技术。

运动补偿预测(MCP)是一种在视频压缩标准中用于减小已编码比特流的大小的技术。在MCP中，使用一个或多个先前帧来形成对当前帧的预测，并且只有原始帧和预测信号之间的差值被编码并发送到解码器。预测信号的形成如下：首先将帧划分为多个块，然后针对每个块，在参考帧中搜索最佳匹配。利用此过程，确定块相对于参考帧的运动，并且将此运动信息作为运动矢量(MV)而编码在比特流中。解码器能够通过对嵌入在比特流中的运动矢量数据进行解码来重构准确的预测。

运动矢量不限于具有全像素精度，而是也可以具有部分像素精度。换言之，运动矢量可以指向参考图像的部分像素位置。为了获得部分像素位置处的样本，在MCP处理中使用插值滤波器。目前的视频编码标准描述了解码器应当如何通过定义差值滤波器来获得部分像素精度的样本。最近的H.264/高级视频编码(AVC)视频编码标准支持使用直至四分之一像素精度的运动矢量。在H.264/AVC中，通过使用可对称分离的6抽头滤波器来获得半像素样本，而通过对最近的半像素样本或全像素样本进行平均来获得四分之一像素样本。在H.264/AVC标准中使用的插值滤波器例如在以下文档中进行了讨论：“Interpolation solution with low encoder memory requirements and lowdecoder complexity”，Marta Karczewicz、Antti Hallapuro，DocumentVCEG-N31，ITU-T VCEG第12次会议，Santa Barbara，USA，2001年9月24-27日。

可以通过在每帧处调整插值滤波器的系数，来更精确地捕获视频信号的非静态属性，从而改善视频编码系统的编码效率。在此方法中，视频编码器将滤波器系数作为边信息(side information)传输给解码器。另一种提议的系统包括使用二维不可分离的6×6抽头Wiener自适应插值滤波器(2D-AIF)。在“Motion and Aliasing-CompensatedPrediction Using a Two-dimensional Non-Separable Adaptive WienerInterpolation Filter”，Y.Vatis、B.Edler、D.T.Nguyen、J.Ostermann，Proc.ICIP 2005，Genova，Italy，2005年9月中对此系统进行了描述，据报道其优于标准的H.264/AVC滤波器，并且已经被包括在国际电信联盟电信标准局(ITU-T)视频编码专家组-关键技术领域(VCEG-KTA)参考视频编码软件中。

在VCEG-KTA编码器中使用自适应插值滤波器针对每个已编码帧需要两次编码遍历。在利用标准H.264插值滤波器执行的第一次编码遍历期间，收集运动预测信息。随后，针对每个部分的四分之一像素位置，使用独立的滤波器并且通过最小化预测错误能量来以分析法计算每个滤波器的系数。例如，图1示出了多个四分之一像素位置的示例，其标识为{a}-{o}，位于各个全像素位置{C3}、{C4}、{D3}和{D4}之间。在找出自适应滤波器的系数之后，利用该滤波器对参考帧进行插值并且对该帧进行编码。

发明内容

各种实施方式提供了一种用于实现自适应插值滤波器结构的系统和方法，其在获得高编码效率的同时相比于传统系统具有明显更低的复杂度。在各种实施方式中，定义整数像素集合，其在插值过程中用于获得不同位置处的每个子像素样本。利用独立的像素对准的一维(1D)自适应插值滤波器来产生每个子像素位置处的样本。将得到的滤波器系数传输给解码器或存储在比特流中。在解码器端，可以在插值过程中使用接收到的滤波系数来创建运动补偿预测。

各种实施方式用于通过使用具有运动矢量的部分像素精度的运动补偿预测来改善现代视频编解码器的压缩效率。当结合到H.264视频编解码器中时，这些实施方式在编码效率方面优于具有非自适应插值滤波器的标准的H.264布置，同时仅对解码器的复杂度增加了可忽略的影响。当与其他二维自适应插值滤波器布置进行比较时，获得了显著降低的插值复杂度，同样对编码效率仅具有几乎可忽略的不利影响。

本发明的这些和其他优势和特征与其组织和操作的方式一起将从结合附图的下述具体描述中变得清楚，其中贯穿下述若干附图，相同的元素具有相同的标号。

附图说明

图1是示出了包括特定的像素/子像素符号的像素/子像素布置的图示；

图2是可以实现本发明的各种实施方式的系统的概略图；

图3是示出了按照各种实施方式的插值滤波器对准的图示；

图4是示出了本发明的各种通用实施方式的示例实现的流程图；

图5是可以结合本发明的各种实施方式的实现而使用的电子设备的透视图；以及

图6是可以包括在图5的电子设备中的电路的示意性图示。

具体实施方式

图2是可以在其内实现本发明的各种实施方式的通用多媒体通信系统的图形表示。如图2所示，数据源100以模拟格式、未压缩数字格式或压缩数字格式或这些格式的任意组合来提供源信号。编码器110将源信号编码成已编码媒体比特流。应当注意，待解码的比特流可以直接或间接地接收自实际上位于任意类型的网络内的远程设备。此外，比特流可以接收自本地硬件或软件。编码器110能够对不止一种媒体类型(诸如，音频和视频)进行编码，或者可能需要不止一个编码器110以对源信号的不同媒体类型进行编码。编码器110还可以得到合成产生的输入，诸如图形和文本，或者其能够产生合成媒体的已编码比特流。在下文中，为了简化描述，仅考虑对一种媒体类型的一个已编码媒体比特流进行处理。然而，应当注意的是，典型地，实时广播服务包括若干流(典型地，至少一个音频、视频和文本字幕流)。还应当注意的是，系统可以包括很多编码器，但是在图2中，不失一般性地，仅提供一个编码器110，以简化描述。还应当理解，尽管包含在此的文字和示例可能具体描述了编码过程，但是本领域技术人员应该理解，相同的概念和原理还应用于对应的解码过程并且反之亦然。

已编码媒体比特流传输至存储设备120。存储设备120可以包括任何类型的海量存储器，以存储已编码媒体比特流。存储设备120中已编码媒体比特流的格式可以是基本自包含的(elementaryself-contained)比特流格式，或者一个或多个已编码比特流可以封装至容器文件中。某些系统“直播(live)”地操作，即，省略存储设备，而直接将已编码媒体比特流从编码器110传输至发送器130。已编码媒体比特流随后传输至发送器130，根据需要，也称为服务器。在传输中使用的格式可以是基本自包含的比特流格式、分组流格式，或者一个或多个已编码媒体比特流可以封装至容器文件中。编码器110、存储设备120和发送器130可以位于相同物理设备中，或者它们可以包括在单独的设备中。编码器110和服务器130可以利用直播实时内容进行操作，在该情况下，已编码媒体比特流通常不会永久存储，而是在内容编码器110和/或在服务器130中缓冲一小段时间，以平滑掉处理延迟、传输延迟和已编码媒体比特速率中的变化。

服务器130使用通信协议栈来发送已编码媒体比特流。栈可以包括但不限于实施传输协议(RTP)、用户数据报协议(UDP)和因特网协议(IP)。当通信协议栈是面向分组的时候，服务器130将已编码媒体比特流封装至分组中。例如，当使用RTP时，服务器130根据RTP净荷格式将已编码媒体比特流封装至RTP分组中。通常，每个媒体类型具有专用的RTP净荷格式。再次需要注意，系统可以包含多于一个的服务器130，但是为了简化，以下描述仅考虑一个服务器130。

服务器130可以或可以不通过通信网络连接至网关140。网关140可以执行不同类型的功能，诸如将根据一种通信协议栈的分组流转译成另一通信协议栈、合并以及分流数据流，以及根据下行链路和/或接收器的能力操纵数据流，诸如根据普通的下行链路网络条件控制转发的流的比特速率。网关140的示例包括MCU、电路交换和分组交换视频电话之间的网关、蜂窝一键通(PoC)服务器、手持数字视频广播(DVB-H)系统中的IP封装器，或者将本地广播传输转发到家庭无线网络的机顶盒。当使用RTP时，网关140被称为RTP混合器或者RTP转译器，并且通常作为RTP连接的端点。

系统包括一个或者多个接收器150，其通常能够接收、解调已传输的信号，以及将其解封装为已编码的媒体比特流。已编码的媒体比特流被传送到记录存储设备155。记录存储设备155可以包括任意类型的海量存储器，以便存储已编码的媒体比特流。记录存储设备155可以备选地或附加地包括计算存储器，诸如随机访问存储器。记录存储设备155中的已编码媒体比特流的格式可以是基本自包含的比特流格式，或者一个或多个已编码媒体比特流可以封装至容器文件中。如果存在很多彼此关联的已编码媒体比特流，诸如音频流和视频流，则通常使用容器文件，并且接收器150包括或者附接至基于输入流而产生容器文件的容器文件生成器。某些系统“直播”操作，即，省略记录存储设备155，而直接将已编码媒体比特流从接收器150传输至解码器160。在有些系统中，仅所记录流的最新的部分，例如所记录流的最近10分钟的摘录，保持在记录存储设备155中，而从记录存储设备155中丢弃任何更早的记录数据。

已编码媒体比特流从记录存储设备155传输至解码器160。如果存在很多彼此关联并且被封装到容器文件中的已编码媒体比特流，诸如音频流和视频流，则使用文件解析器(图中未示出)来将每个已编码媒体比特流从该容器文件中解封装出来。记录存储设备155或解码器160可以包括该文件解析器，或者该文件解析器附接至记录存储设备155和解码器160中的两者之一。

已编码的媒体比特流通常进一步由解码器160处理，解码器160的输出是一个或者多个未压缩的媒体流。最后，呈现器170可以例如通过扬声器或者显示器来呈现未压缩的媒体流。接收器150、记录存储设备155、解码器160和呈现器170可以位于相同物理设备中，或者它们可以被包含在单独的设备中。

按照本发明的各种实施方式的通信设备可以使用各种传输技术进行通信，各种传输技术包括但不限于，码分多址(CDMA)、全球移动通信系统(GSM)、通用移动通信系统(UMTS)、时分多址(TDMA)、频分多址(FDMA)、传输控制协议/因特网协议(TCP/IP)、短消息传递服务(SMS)、多媒体消息传递服务(MMS)、电子邮件、即时消息传递服务(IMS)、蓝牙、IEEE 802.11等。在实现本发明的各种实施方式中所涉及的通信设备可以使用各种介质进行通信，各种介质包括但不限于无线电、红外、激光、线缆连接等。

各种实施方式提供了一种自适应插值滤波器结构，其获得高级别编码效率并且相比于传统布置具有明显更低的复杂度。按照各种实施方式，定义整数像素集合，其在插值过程中使用，从而获得不同位置处的每个子像素样本。如前面所讨论的，图1指示出了像素{C3}、{C4}、{D3}和{D4}之间将要进行插值的一系列子像素位置{a}-{o}，其中执行插值直至四分之一像素级别。利用独立的像素对准的1D自适应插值滤波器来产生每个子像素位置处的样本。对于图1中绘出的示例表示，用于获得这些子像素样本的插值滤波器的结构定义如下，其中图3示出了按照图1中所绘布置的插值滤波器对准。

与整数像素位置水平或垂直对准的子像素样本，例如在图1中的位置{a}、{b}、{c}、{d}、{h}和{l}处的样本，分别利用一维水平或垂直自适应滤波器来进行计算。假设所利用的滤波器是6抽头，则其指示如下：

{a，b，c}＝fun(C1，C2，C3，C4，C5，C6)

{d，h，l}＝fun(A3，B3，C3，D3，E3，F3)

换言之，在此示例中，{a}、{b}和{c}的每个值是{C1}-{C6}的函数。在图3中，水平实心箭头310和垂直实心箭头300指示用于上述水平和垂直对准的像素的滤波器对准。

再次参考图3，子像素样本{e}、{g}、{m}和{o}在对角线上与整数像素位置对准。用于{e}和{o}的自适应插值滤波器利用在西北-东南(NW-SE)方向对角线上对准的图像像素，而子像素样本{m}和{g}在东北-西南(NE-SW)方向对角线上对准。如果假设进行6抽头滤波，则针对这些子像素位置的滤波操作指示如下：

{e，o}＝fun(A1，B2，C3，D4，E5，F6)，

{m，g}＝fun(F1，E2，D3，C4，B5，A6)

在图3中，第一均匀虚线箭头320(针对NW-SE方向)和第二均匀虚线箭头330(针对NE-SW方向)示出了用于上述情况的滤波器对准。

相比于上面讨论的子像素位置，位于图3中的位置{f}、{i}、{k}和{n}处的子像素样本在水平、垂直和对角线方向上均不与整数像素样本对准。因此，使用半像素样本{aa}、{bb}、{cc}、...、{jj}，以及诸如{b}和{h}之类的半像素来获得这些样本。如果假设进行6抽头滤波，那么针对这些子像素位置的滤波操作指示如下：

{f，n}＝fun(aa，bb，b，hh，ii，jj)，

{i，k}＝fun(cc，dd，h，ee，ff，gg)。

图3中通过第一点划箭头340(针对子像素{i}和{k})和第二点划箭头350(针对子像素{f}和{n})示出了这些滤波器的对准。可以使用不同方法来获得中间值{aa}、{bb}、{cc}、...、{jj}。在一个实施方式中，可以利用与用于上述对角线对准的12抽头滤波器相同的整数像素样本来获得用于这些滤波器的输入值。

将按照本发明的各种实施方式来使用的滤波器的结构可以采取各种形式。例如，可以按各种方式实现一维滤波器，以16比特算数形式，或者以32比特算数形式。

再次参考图1，针对子像素位置{j}的12抽头滤波器可以按照多种方式来实现。在一个具体实现中，首先在两个方向上计算两个6抽头滤波器的中间输出值。这之后是对结果进行平均以获得样本{j}。在另一实现中，可以使用12抽头滤波直接获得样本{j}。针对此位置，还有可能按照与子像素样本{e}、{g}、{m}和{o}相同的方式来简单地处理此样本，使用针对仅在一个方向上对角线对准的整数像素位置的滤波器系数来实现对角线上的自适应滤波器。

在各种实施方式中，为了对四分之一像素位置{f}、{i}、{k}和{n}进行插值，需要半像素位置{b}、{h}、{aa}、{bb}、{cc}、{dd}、{ee}、{ff}、{gg}、{hh}、{ii}和{jj}处的样本值。可以利用各种方式来获取这些半像素位置处的样本。一种方式涉及样本置换。在样本置换中，参与{f}、{i}、{k}和{n}滤波器估计和插值过程的半像素位置处的样本值被作为滤波器的支持区域中选定整数像素样本的函数(例如，作为两个样本的平均)来计算。在一种具体实施方式中，使用如图3所示的对角线整数像素值来获得半像素值。在以下的每个半像素样本中，所计算的半像素样本是两个指定的整数像素样本的平均：

aa＝A1+A6    bb＝B2+B5    cc＝A1+F1    dd＝B2+E2

ee＝C4+D4    ff＝B5+E5    gg＝A6+F6    ii＝E2+E5

jj＝F1+F6    b＝C3+C4     h＝C3+D3     hh＝D3+D4

用于确定半像素位置处的样本值的另一方法涉及静态半像素处理。在静态半像素处理中，在进行滤波估计和插值处理之前，可以使用预定义的滤波器在整个帧上对子像素样本{b}和{h}进行插值。

在另一实施方式中，不需要半像素位置处的样本值来确定四分之一子像素样本{f}、{i}、{k}和{n}的值，而是仅利用整数像素值。例如，在此方法中，例如，可以利用预定义的整数像素值来获得子像素样本{f}、{i}、{k}和{n}，避免了生成中间样本。更具体地，可以根据最近的整数像素样本{C3}、{C4}、{D3}和{D4}以及两个附加的位置相关的整数样本来计算子像素样本{f}、{i}、{k}和{n}。在图1和图3所绘出的情形中，{B3}和{B4}还用于确定{f}；{C2}和{D2}还用于确定{i}；{C5}和{D5}用于确定{k}；并且{E3}和{E4}用于确定{n}。在每个情况下，除了整数像素样本{C3}、{C4}、{D3}和{D4}之外，可以使用这些样本。可选地，可以使用对角线上调整一个非45度角度的一维滤波器来计算各个子像素样本。例如，可以使用{B1}、{B2}、{C3}、{D4}、{E5}和{E6}处的整数像素样本来计算子像素位置{f}。可以使用类似的结构来确定{i}、{k}和{n}。

图4是示出了本发明的各种通用实施方式的示例实现的流程图。对于视频编码，过程开始于图4中的400处，估计滤波器系数。滤波器系数可以使用各种算法来进行估计。例如，可以在“Motion andAliasing-Compensated Prediction Using a Two-dimensionalNon-Separable Adaptive Wiener Interpolation Filter”，Y.Vatis、B.Edler、D.T.Nguyen、J.Ostermann，Proc.ICIP 2005，Genova，Italy，2005年9月中找到使用Wiener-Hopf方程来分析式计算Wiener滤波器系数的算法。在410处，编码器执行插值过程以创建运动补偿预测。此插值过程使用在400处估计的滤波器系数。在420处，编码器将包括滤波器系数的内容编码到比特流中，例如存储到存储设备上或者用于传输到远程设备，诸如解码器。用于对滤波器系数进行编码的各种方法是已知的，例如包括在2003年9月11日公开的美国公开号No.2003/0169931中所讨论的那些方法。

在解码器侧，在430处，解码器可以接收滤波器系数，并且在440处，对滤波器系数进行解码。在450处，解码器执行插值过程以创建运动补偿预测。此插值过程使用分别在430处接收和440处解码的滤波器系数。包括滤波器系数的内容以及生成的子像素值继而可以根据需要或期望在460处进行存储或呈现，例如呈现在设备的显示器上。

图5和图6示出了本发明可以在其中实现的一个代表性移动设备12。然而，应当理解，本发明不旨在限于一种特定类型的电子设备。图5和图6的移动设备12包括外壳30、液晶显示器形式的显示器32、小键盘34、麦克风36、耳机38、电池40、红外端口42、天线44、根据本发明一个实施方式的UICC形式的智能卡46、读卡器48、无线电接口电路52、编解码器电路54、控制器56和存储器58。单独的电路和元件可以是本领域公知的所有类型，例如Nokia范围内的移动电话。

在方法步骤或过程的通常背景下对此处描述的各种实施方式进行了描述，在一个实施方式中，这些方法步骤或过程可以通过程序产品来实现，该程序产品包含在计算机可读介质中，包括可由网络环境中的计算机执行的计算机可执行指令，诸如程序代码。通常，程序模块可以包括例程、程序、对象、组件、数据结构等，其执行特定任务或实现特定抽象数据类型。计算机可执行指令、相关数据结构和程序模块代表了用于执行此处公开的方法步骤的程序代码的示例。这种可执行指令或相关联的数据结构的特定序列代表了用于实现在这种步骤或过程中描述的功能的对应动作的示例。

各种实施方式的软件和web实现能够利用具有基于规则的逻辑和其他逻辑的标准编程技术来实现，从而实现各种数据库搜索步骤或过程、相关步骤或过程、比较步骤或过程以及决策步骤或过程。应当注意，此处以及权利要求书中使用的词语“组件”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收手动输入的设备。

出于示例和描述的目的，已经给出了实施方式的前述说明。前述说明并非是穷举性的，也并非要将本发明限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从各种实施方式的实践中得到各种变形和修改。选择和描述此处所讨论的实施方式是为了说明各种实施方式的原理及其实际应用，使得本领域的技术人员能够在适合于所构思特定用途的各种实施方式和各种修改中利用本发明。在此描述的实施方式的特征可以合并在方法、装置、模块、系统和计算机程序产品的所有可能实施方式中。

Claims (15)

1.一种方法，包括：

提供用于多个整数像素的滤波器系数；

针对位于整数像素之间的多个子像素位置中的每一个，使用方向性自适应插值滤波器来生成子像素值；以及

执行以下中的至少一个：将包括所述滤波器系数的内容编码到比特流中、解码、存储以及呈现。

2.根据权利要求1所述的方法，其中，针对在一个对角线方向上与整数像素位置对准的每个子像素，使用对角线自适应滤波器生成各个子像素值，所述对角线自适应滤波器对于对角线对准的整数像素位置使用所述滤波器系数。

3.根据权利要求1所述的方法，其中，针对在两个对角线方向上与整数像素位置对准的每个子像素，使用对角线自适应滤波器生成各个子像素值，所述对角线自适应滤波器对于对角线对准的整数像素位置在每个方向上使用所述滤波器系数。

4.根据权利要求1所述的方法，其中，针对在两个对角线方向上与整数像素位置对准的每个子像素，使用对角线自适应滤波器生成各个子像素值，所述对角线自适应滤波器对于对角线对准的整数像素位置在若干方向之一上使用所述滤波器系数。

5.根据权利要求1所述的方法，其中，针对在水平、垂直或对角线方向上均不与任何整数像素位置对准的每个子像素，使用与各个子像素对准的已插值半像素的值来生成各个子像素值。

6.根据权利要求1所述的方法，其中，针对在水平、垂直或对角线方向上均不与任何整数像素位置对准的每个子像素，使用用于预定义的整数像素集合的滤波器系数来生成各个子像素值。

7.一种计算机程序产品，其包含在计算机可读介质中，包括配置用于执行权利要求1的过程的计算机代码。

8.一种装置，包括：

处理器；以及

可通信地连接到所述处理器的存储器单元，其包括：

用于提供用于多个整数像素的滤波器系数的计算机代码；

用于针对位于整数像素之间的多个子像素位置中的每一个、使用方向性自适应插值滤波器来生成子像素值的计算机代码；以及

用于执行以下中的至少一个的计算机代码：将包括所述滤波器系数的内容编码到比特流中、解码、存储以及呈现。

9.根据权利要求8所述的装置，其中，针对在一个对角线方向上与整数像素位置对准的每个子像素，使用对角线自适应滤波器生成各个子像素值，所述对角线自适应滤波器对于对角线对准的整数像素位置使用所述滤波器系数。

10.根据权利要求8所述的装置，其中，针对在两个对角线方向上与整数像素位置对准的每个子像素，使用对角线自适应滤波器生成各个子像素值，所述对角线自适应滤波器对于对角线对准的整数像素位置在每个方向上使用所述滤波器系数。

11.根据权利要求8所述的装置，其中，针对在两个对角线方向上与整数像素位置对准的每个子像素，使用对角线自适应滤波器生成各个子像素值，所述对角线自适应滤波器对于对角线对准的整数像素位置在若干方向之一上使用所述滤波器系数。

12.根据权利要求8所述的装置，其中，针对在水平、垂直或对角线方向上均不与任何整数像素位置对准的每个子像素，使用与各个子像素对准的已插值半像素的值来生成各个子像素值。

13.根据权利要求8所述的装置，其中，针对在水平、垂直或对角线方向上均不与任何整数像素位置对准的每个子像素，使用用于预定义的整数像素集合的滤波器系数来生成各个子像素值。

14.一种设备，包括：

用于提供用于多个整数像素的滤波器系数的装置；

用于针对位于整数像素之间的多个子像素位置中的每一个、使用方向性自适应插值滤波器来生成子像素值的装置；以及

用于执行以下中的至少一个的装置：将包括所述滤波器系数的内容编码到比特流中、解码、存储以及呈现。

15.根据权利要求14所述的设备，其中针对在水平、垂直或对角线方向上均不与任何整数像素位置对准的每个子像素，在各个子像素值的生成中使用与各个子像素对准的已插值半像素的值。

Images