CN102067600A - 将局部自适应滤波用于运动补偿内插和基准画面滤波的方法和装置 - Google Patents

将局部自适应滤波用于运动补偿内插和基准画面滤波的方法和装置 Download PDF

Info

Publication number
CN102067600A
CN102067600A CN2009801222980A CN200980122298A CN102067600A CN 102067600 A CN102067600 A CN 102067600A CN 2009801222980 A CN2009801222980 A CN 2009801222980A CN 200980122298 A CN200980122298 A CN 200980122298A CN 102067600 A CN102067600 A CN 102067600A
Authority
CN
China
Prior art keywords
filtering
local auto
adaptive
filter
reference pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801222980A
Other languages
English (en)
Other versions
CN102067600B (zh
Inventor
郑云飞
奥斯卡·迪沃拉埃斯科达
尹澎
乔尔·索尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN102067600A publication Critical patent/CN102067600A/zh
Application granted granted Critical
Publication of CN102067600B publication Critical patent/CN102067600B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了将局部自适应滤波用于运动补偿内插和基准画面滤波的方法和装置。该装置包括编码画面数据的编码器(100)。该编码器(100)包括至少一个局部自适应滤波器(150)，用于关于画面数据进行用于基准画面滤波和内插滤波的至少一种的局部自适应滤波。

Description

将局部自适应滤波用于运动补偿内插和基准画面滤波的方法和装置
交叉参考相关申请
本申请要求通过全文引用并入本文的美国临时申请第61/060,929号(代理人案号PU080087)的权益。
技术领域
本原理一般涉及视频编码和解码，尤其涉及将局部自适应滤波用于运动补偿内插和基准画面滤波的方法和装置。
背景技术
当前，自适应内插滤波技术与优化成考虑全局数据，即，来自整个画面的画面数据的滤波器一起使用。这意味着该滤波器遍及整个画面地对信号统计量求平均(要不然全局组合)。这个事实影响了这样自适应内插滤波器的滤波能力，在许多情况下，导致画面的一些区域过滤波，而画面的其它一些区域欠滤波。
此外，自适应基准滤波器也可以用于运动补偿。存在运动补偿预测效率不高和/或有问题的情形。例如，一个这样的问题是基准帧与要编码的当前帧之间的清晰度/模糊度的差异(例如，由变焦、利用手持设备的摄像机摇拍、和/或为场景变化而设的特效等引起)。自适应基准滤波器可以缩小这样的差异。另外，基准滤波可以在运动补偿之前用于混叠减小和量化噪声抑制。但是，计算这些滤波器以便平均地对于用于特定区域中的运动补偿的整组数据最优。
自适应基准帧滤波的现有技术以生成用于运动补偿的子像素基准为目标。例如，在第一种现有技术手段中，自适应内插滤波器是基于帧提出的。在依照国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-4(MPEG-4)第10部分高级视频编码(AVC)标准/国际电信联盟，电信标准化部门(ITU-T)H.264建议书(下文称为“MPEG-4 AVC标准”)，使用内插基准帧以及固定六抽头滤波器获得运动向量之后，通过使像平方差之和(SSD)或绝对差之和(SAD)那样的匹配误差度量最小来计算自适应内插滤波器的系数。将自适应滤波器用于生成内插基准画面，然后将后者用于运动补偿。该过程不利用新内插的子像素基准进行进一步的运动估计。该滤波器设计被约束成可分为垂直方向和水平方向，并与双线性滤波器级联。
此外，第二种现有技术手段提供了根据上述第一种现有技术手段的版本加以改进的另一种形式自适应内插滤波器。首先，利用标准内插滤波器获取运动向量。取决于运动向量的子像素部分，为不同子像素位置设计不同内插滤波器。所应用滤波器是二维不可分滤波器，具有一些对称性约束以减少要求解的系数的数量。利用这些新滤波器进行第二运动估计/补偿以生成子像素基准。
而且，第三种现有技术手段提出了第二种现有技术手段的变体，以便减小内插和自适应滤波器的计算所要求的复杂性的影响。在第三种现有技术手段中，只使用一维(1D)滤波器。考虑垂直、水平和对角滤波器来分别计算水平、垂直和对角子像素基准。与前面的情况类似，最佳滤波器是根据以前获取的第一组运动向量获得的。
另外，还提出了根据当前画面和基准画面，自适应地计算旨在补偿这两种画面之间的差异的一组滤波器的第四种现有技术手段。然后，在将基准画面用于预测之前，将所计算滤波器应用于基准画面。这些滤波器以如下方式工作：生成具有滤波的像素的新基准以便为预测视频编码提供较好匹配。
因此，对于上述所有现有技术而言，为常常是一帧或一个切片的整个区域计算最佳滤波器是常见的事。对于这些画面区域的每一个，显性地编码滤波系数并将其发送给解码器。发送这些系数的典型设置是将它们嵌入每个切片首标内。这些手段解决不了的是画面统计量随空间而变，因此最佳滤波器也应该随空间自适应的现实。
发明内容
现有技术的这些和其它缺点和不足可以通过旨在提供将局部自适应滤波用于运动补偿内插和基准画面滤波的方法和装置的本原理来解决。
按照本原理的一个方面，提供了一种装置。所述装置包括编码画面数据的编码器。所述编码器包括至少一个局部自适应滤波器，用于关于画面数据进行用于基准画面滤波和内插滤波的至少一种的局部自适应滤波。
按照本原理的另一个方面，提供了一种方法。所述方法包括将局部自适应滤波用于基准画面滤波和内插滤波的至少一种地编码画面数据。
按照本原理的又一个方面，提供了一种装置。所述装置包括解码画面数据的解码器。所述解码器包括至少一个局部自适应滤波器，用于关于画面数据进行用于基准画面滤波和内插滤波的至少一种的局部自适应滤波。
按照本原理的再一个方面，提供了一种方法。所述方法包括将局部自适应滤波用于基准画面滤波和内插滤波的至少一种地解码画面数据。
本原理的这些和其它方面、特征和优点可以从要结合附图阅读的示范性实施例的如下详细描述中明显看出。
附图说明
可以依照如下示范性附图更好地理解本原理，在附图中：
图1是示出依照本原理一个实施例、利用局部自适应基准滤波的示范性视频编码器的方块图；
图2是示出依照本原理一个实施例、利用局部自适应基准滤波的示范性视频解码器的方块图；
图3是示出依照本原理一个实施例、示出用于滤波优化的训练区的一组示范性画面块的方块图；
图4是示出依照本原理一个实施例、利用局部自适应滤波进行视频编码的示范性方法的流程图；以及
图5是示出依照本原理一个实施例、利用局部自适应滤波进行视频解码的示范性方法的流程图。
具体实施方式
本原理旨在将局部自适应滤波用于运动补偿内插和基准画面滤波的方法和装置。
本描述举例说明本原理。因此，应该懂得，本领域的普通技术人员能够设想出尽管未明确描述或显示在本文中，但体现本原理和包括在它的精神和范围之内的各种配置。
本文阐述的所有例子和条件语言都是以教授为目的，以帮助读者理解本原理以及本发明人为促进技术进步而贡献的概念，并且应该理解成不局限于这样的具体阐述例子和条件。
此外，本文阐述本原理的各个原理、方面和实施例及其特定例子的所有语句旨在包含其结构和功能等效物两者。另外，这样的等效物旨在包括当前已知的等效物以及未来开发的等效物，即与结构无关，开发出来执行相同功能的任何元件。
因此，例如，本领域的普通技术人员应该懂得，本文所表示的方块图代表体现本原理的例示性电路的概念图。类似地，应该懂得，任何作业图、流程图、状态转变图、伪码等代表基本上可以表示在计算机可读媒体中，因此可以由计算机或处理器执行的各种进程，无论这样的计算机或处理器是否明确显示出来。
显示在图中的各种元件的的功能可以通过使用专用硬件以及能够与适当软件相联系执行软件的硬件来提供。当通过处理器提供时，这些功能可以由单个专用处理器，由单个共享处理器，或由一些可以共享的多个单独处理器提供。此外，术语“处理器”或“控制器”的显性使用不应该理解成排他地指能够执行软件的硬件，而是可以隐性地包括，但不局限于，数字信号处理器(“DSP”)硬件、存储软件的只读存储器(“ROM”)、随机访问存储器(“RAM”)以及非易失性存储器。
也可以包括传统的和/或定制的其它硬件。类似地，显示在图中的任何开关都只是概念性的。它们的功能可以通过程序逻辑的运算、通过专用逻辑、通过程序控制和专用逻辑的交互、或甚至人工地实现，正如从上下文中更具体了解到的那样，特定的技术可由实现者选择。
在其权利要求书中，表达成执行特定功能的装置的任何元件旨在包含执行那种功能的任何方式，例如，包括a)执行那种功能的电路元件的组合，或b)任何形式的软件，因此包括与执行那种软件的适当电路结合执行该功能的固件、微码等。如这样的权利要求书定义的本原理在于如下事实：以权利要求书要求的方式组合和汇集各种所述装置提供的功能。因此，应该认为可以提供那些功能的任何装置都等效于本文所示的那些装置。
在说明书中提到本原理的“一个实施例”或“实施例”以及它的各种变体意味着结合该实施例所述的特征、结构、特性等包括在本原理的至少一个实施例中。因此，出现在整个说明书中的各个地方的措词“在一个实施例中”或“在实施例中”以及任何其它变体的出现未必都指同一实施例。
应该懂得，如下“/”、“和/或”、和“至少一个”的任何一种的使用，例如，在“A/B ”、“A和/或B”、和“A和B的至少一个”的情况下，旨在包含只有第一所列选项(A)的选择，或只有第二所列选项(B)的选择，或两个选项(A和B)的选择。作为进一步的例子，在“A、B、和/或C”和“A、B、和C的至少一个”的情况下，这样的措词旨在包含只有第一所列选项(A)的选择，或只有第二所列选项(B)的选择，或只有第三所列选项(C)的选择，或只有第一和第二所列选项(A和B)的选择，或只有第一和第三所列选项(A和C)的选择，或只有第二和第三所列选项(B和C)的选择，或所有三个选项(A、B和C)的选择。本领域的普通技术人员容易明白，对于列出的许多项目，可以依此类推。
此外，应该懂得，虽然本文针对MPEG-4 AVC标准来描述本原理的一个或多个实施例，但本原理不只局限于这种标准，因此，可以在保持本原理的精神的同时，针对其其它视频编码标准、建议和外延，包括MPEG-4 AVC标准的外延，来使用本原理。
并且，如本文所使用，措词“全局”指的是与整个画面、帧、或切片有关的一个或多个项目(包括，但不局限于，信号统计量)。相反，如本文所使用，措词“局部”指的是与画面、帧、或切片中的一个或多个，但少于所有的图像块有关的一个或多个项目(包括，但不局限于，信号统计量)。
转到图1，利用局部自适应基准滤波的示范性视频编码器用标号100总体表示。该编码器100包括组合器105，它含有连接成与变换器110的输入端信号通信的输出端。变换器110的输出端被连接成与量化器115的输入端信号通信。量化器115的输出端被连接成与熵编码器130的第一输入端和逆量化器120的输入端信号通信。逆量化器120的输出端被连接成与逆变换器125的输入端信号通信。逆变换器125的输出端被连接成与组合器170的第一非反相输入端信号通信。组合器170的输出端被连接成与分块滤波器135的输入端信号通信。分块滤波器135的输出端被连接成与解码基准画面缓冲器140的输入端和局部自适应滤波估计器155的第一输入端信号通信。解码基准画面缓冲器140的输出端被连接成与局部自适应滤波估计器155的第二输入端和基准画面滤波器150的第二输入端信号通信。局部自适应滤波估计器155的输出端被连接成与基准画面滤波器150的第一输入端信号通信。基准画面滤波器150的输出端被连接成与局部自适应滤波基准画面缓冲器145的输入端信号通信。局部自适应滤波基准画面缓冲器145的输出端被连接成与运动/差异估计器160的第二输入端和运动/差异补偿器165的第二输入端信号通信。运动/差异估计器160的输出端被连接成与运动/差异补偿器165的第一输入端和熵编码器130的第二输入端信号通信。运动/差异补偿器165的输出端被连接成与组合器105的反相输入端和组合器170的第二非反相输入端信号通信。
组合器105的非反相输入端和运动/差异估计器160的第一输入端可用作编码器100的输入端，用于接收输入视频。熵编码器130的输出端可用作编码器100的输入端，用于输出位流。
转到图2，利用局部自适应基准滤波的示范性视频解码器用标号200总体表示。该视频解码器200包括熵解码器205，它含有与逆量化器210的输入端信号通信的第一输出端。逆量化器210的输出端被连接成与逆变换器215的输入端信号通信。逆变换器215的输出端被连接成与组合器220的第一非反相输入端信号通信。组合器220的输出端被连接成与分块滤波器225的输入端信号通信。分块滤波器225的输出端被连接成与解码基准画面缓冲器250的输入端和局部自适应滤波估计器230的第二输入端信号通信。解码基准画面缓冲器250的输出端被连接成与局部自适应滤波估计器230的第一输入端和基准画面滤波器235的第一输入端信号通信。局部自适应滤波估计器230的输出端被连接成与基准画面滤波器235的第二输入端信号通信。基准画面滤波器235的输出端被连接成与局部自适应滤波基准画面缓冲器240的输入端信号通信。局部自适应滤波基准画面缓冲器240的输出端被连接成与运动/差异补偿器245的第一输入端信号通信。运动/差异补偿器245的输出端被连接成与组合器220的第二非反相输入端信号通信。熵解码器205的第二输出端被连接成与运动/差异补偿器245的第二输入端信号通信。
熵解码器205的输入端可用作解码器200的输入端，用于接收位流。分块滤波器225的输出端可用作解码器200的输出端，用于输出画面。
如上所述，本原理旨在使用与运动补偿内插滤波和基准画面滤波有关的局部自适应滤波的方法和装置。在一个实施例中，提出了将局部自适应内插滤波器(或局部自适应基准滤波器)用于运动补偿(MC)。这是为了使至少内插滤波器和/或基准滤波器局部适用于画面内容，以便在画面上局部训练内插滤波器和/或基准滤波器，以便至少使运动补偿画面中选择使用这样滤波器的那些画面区中的混叠和噪声最小。
在一个实施例中，我们允许适用于局部数据的内插(和/或基准)滤波器的使用，以便使滤波系数对于数据(例如，来自受限的一组数据)的局部统计量而不是对于全局平均统计量最优化。在另一个实施例中，我们通过提出自适应基准滤波器，根据自适应基准滤波器的概念来改进。这样，滤波器可以更好地适用于需要更好滤波的数据的局部特性。
因此，本原理引入了用于运动补偿的局部自适应内插滤波器。此外，本原理引入了局部自适应基准帧滤波器的使用。
视频编码器/解码器中的自适应基准滤波
在一个实施例中，我们在编码和解码过程中引入附加步骤来生成局部自适应滤波基准画面。
在一个实施例中，在用于运动补偿之前自适应地滤波基准画面。在一个实施例中，每个编码宏块使用至少一个滤波器。每个宏块自适应地优化这个滤波器，以便将与当前宏块有关的一组相邻像素(来自基准帧)滤波成与原始数据最一致。图3示出了这样相邻像素的例子。转到图3，包括用于滤波优化的训练区的一组示范性画面块用标号300总体表示。对方块300当中也用阴影区表示的训练区310进行滤波优化。此后，将滤波这个相邻数据最好的滤波器用于滤波要用于预测当前宏块的任何基准数据。
在一个实施例中，来自“训练区”的使用的像素是来自经受任何子像素内插之前的未滤波基准的预测整数位置像素。
按原始取样网格将滤波操作应用于解码基准画面，以生成滤波形式的基准画面。
对于子像素基准，本文描述三种示范性手段，但在给出本文提供的本原理的教导的情况下，本领域的普通技术人员可以在保持本原理的精神的同时，容易地设想出子像素基准的这些和其它示范性手段。第一种手段涉及将形成的滤波器用于全像素基准滤波。第二种手段涉及利用MPEG-4 AVC标准的内插滤波器生成子像素，但基于来自如上所述获得的新基准画面的像素。第三种手段与用在上述第二种现有技术手段中的手段类似，涉及使用自适应滤波器生成子像素基准。
为了例示的目的，本文针对有限脉冲响应(FIR)线性滤波器来描述本原理的一个或多个实施例。但是，应该懂得，本原理不只局限于FIR滤波器，因此，也可以在保持本原理的精神的同时，依照本原理的教导使用其它类型的滤波器。例如，也可以使用无限脉冲响应(IIR)滤波器和非线性滤波器。此外，也可以像涉及多个解码基准画面的三维滤波器那样，在滤波器的设计中考虑时间方法(temporal method)。这些和其它类型的滤波器和滤波方法可以在保持本原理的精神的同时，依照本原理的教导来使用。
在自适应滤波估计之后，可以在运动补偿过程中动态地局部应用实际滤波操作，或可以在用于补偿之前首先滤波和存储整个基准画面。
在编码过程中，通过找出使训练数据与原始数据之间的失真度量最小的滤波器，局部地和自适应地设计和配置滤波器，以便补偿每个图像块的各种失匹配。利用滤波基准帧每个块地进行运动补偿。在一个实施例中，由于在相应解码器上反向计算滤波系数，所以无需发送每个块的滤波系数。将局部自适应滤波器的使用的最终允许或禁止发送给解码器，用于正确重构。块级滤波器选择的信号可以，例如，在保持本原理的精神的同时，使用如对于本领域的普通技术人员来说显而易见的、包括多种众所周知管理方法的任何一种的任何信号发送方法来发送。对于基于特定MPEG-4 AVC标准的实施例，为了发送将哪个滤波器用于编码特定块的信号，可以使用基准索引机制。在解码器侧，以与编码器相同的方式再现局部自适应滤波器。然后可以生成按每个解码块生成的相应新基准，以便适当解码视频序列。
在一个实施例中，对于每个宏块，自适应滤波器使用包括如下两个步骤：(1)滤波确定/估计；以及(2)运动估计/补偿。
滤波确定/估计
对于每个块，通过使基于训练区(参见图3中的训练区310)的预测误差的成本函数最小来计算滤波系数。在估计过程中只涉及与当前滤波器相联系的像素(例如，训练区中的像素)。成本函数可以是像，例如，平方差之和(SSD)、和/或绝对差之和(SAD)等那样的绝对像素差的任何非递增函数。然后使用这个计算所得滤波器。因此，为了使解码器在解码时可以隐性地导出滤波器，可以在滤波估计过程中将来自当前编码画面的可用相邻解码数据用作基准用于成本函数。在一个实施例中，所得滤波器是使基准数据最适合解码重构数据的训练区中的预测的滤波器。
运动估计/补偿
借助于在前一步骤中计算的滤波器计算基准画面，以便进行运动补偿。取决于编码成本和失真的度量，可以使用或不使用局部自适应基准滤波器编码给定块。在一个实施例中，将相应辅助信息发送给解码器，以便使解码器可以选择操作模式。
在一个实施例中，当使用局部自适应基准滤波器时，可以避免子像素滤波器的使用。在另一个实施例中，可以根据宏块自适应地选择子像素滤波器的使用。此外，在一个实施例中，可以按宏块自适应地允许或禁止局部自适应基准滤波器的使用。
表1示出了依照本原理的一个实施例、包括在宏块级别上开启/关闭局部自适应基准滤波器的使用所需的标志的宏块数据语法。
表1
Figure BPA00001276926800101
转到图4，利用局部自适应滤波进行视频编码的示范性方法用标号400总体表示。该方法400包括将控制传递给循环限制块410的开始块405。循环限制块410进行经过从宏块J到宏块N每个宏块的循环，并将控制传递给功能块415。功能块415使用可用解码数据(例如，来自当前画面的至少一部分、基准画面的至少一部分、当前画面的至少一部分与基准画面的至少一部分之间的运动向量、当前画面的至少一部分与基准画面的至少一部分之间的强度、和/或当前画面的至少一部分与基准画面的至少一部分之间的颜色信息等)进行局部自适应滤波确定(例如，确定要使用的滤波器的数量、和/或滤波系数等)，并将控制传递给功能块420。功能块420进行基准画面滤波(例如，生成基准画面滤波所得的一个或多个滤波画面中的完整像素和/或子像素)，并将控制传递给功能块425。功能块425编码当前宏块，并将控制传递给循环限制块430。循环限制块430结束循环，并将控制传递给结束块499。
转到图5，利用局部自适应滤波进行视频解码的示范性方法用标号500总体表示。该方法500包括将控制传递给功能块510的开始块505。循环限制块510进行经过从宏块J到宏块N每个宏块的循环，并将控制传递给功能块515。功能块515使用可用解码数据(例如，来自当前画面的至少一部分、基准画面的至少一部分、当前画面的至少一部分与基准画面的至少一部分之间的运动向量、当前画面的至少一部分与基准画面的至少一部分之间的强度、和/或当前画面的至少一部分与基准画面的至少一部分之间的颜色信息等)进行局部自适应滤波确定(例如，确定要使用的滤波器的数量、和/或滤波系数等)，并将控制传递给功能块520。功能块520进行基准画面数据滤波(例如，生成基准画面滤波所得的一个或多个滤波画面中的完整像素和/或子像素)，并将控制传递给功能块525。功能块525进行当前宏块的运动补偿，并将控制传递给循环限制块530。循环限制块530结束循环，并将控制传递给结束块599。
显示在表1中的locally_adaptive_reference_filter_flag的语义如下：
locally_adaptive_reference_filter_flag是指示在那个特定宏块中使用(或不使用)局部自适应基准滤波器的语法元素。
在宏块数据语法中使用locally_adaptive_reference_filter_flag受允许自适应使用局部自适应基准滤波器支配。应该懂得，当滤波器被设置成永久使用或被设置成决不使用时，这样的语法元素是不必须的。
现在描述本发明的许多附带优点/特征的一些附带优点/特征，其中一些上面已经提及。例如，一个优点/特征是含有编码画面数据的编码器的装置。该编码器包括至少一个局部自适应滤波器，用于关于画面数据进行用于基准画面滤波和内插滤波的至少一种的局部自适应滤波。
另一个优点/特征是如上所述的含有编码器的装置，其中画面数据对应于当前画面，并根据从当前画面和基准画面导出的信息确定用于局部自适应滤波的滤波系数和滤波器数量的至少一个。
又一个优点/特征是如上所述的含有编码器的装置，其中至少一个局部自适应滤波器的至少一个用于生成局部自适应滤波所得的至少一个滤波画面中的完整像素和子像素的至少一种。
再一个优点/特征是如上所述的含有编码器的装置，其中能够使多个滤波基准画面用在编码画面数据中，并且能够按块使用或不使用局部自适应滤波。
此外，另一个优点/特征是如上所述的含有编码器的装置，其中以一维、二维或三维的任何一种应用至少一个局部自适应滤波器的至少一个。
并且，另一个优点/特征是如上所述的含有编码器的装置，其中画面数据对应于当前画面，和用于导出至少一个局部自适应滤波器的至少一个的信息包括当前画面与基准画面之间的运动信息。
此外，另一个优点/特征是如上所述的含有编码器的装置，其中画面数据对应于当前画面，和用于导出至少一个局部自适应滤波器的至少一个的信息包括当前画面与基准画面之间的强度信息和颜色信息的至少一种。
另外，另一个优点/特征是如上所述的含有编码器的装置，其中画面数据对应于当前画面，和根据训练数据导出用于局部自适应滤波的滤波系数。
此外，另一个优点/特征是如上所述的含有编码器的装置，其中训练数据包括当前画面和基准画面的至少一个中的局部相邻像素。
本领域的普通技术人员可以根据本文的教导轻易地弄清本原理的这些和其它特征和优点。应该明白，本原理的教导可以以硬件、软件、固件、专用处理器、或它们的组合的各种形式实现。
最优选地，将本原理的教导实现成硬件和软件的组合。此外，软件可以实现成有形地具体化在程序存储单元上的应用程序。应用程序可以上载到包含任何适用结构的机器上并由它执行。优选地，在含有像一个或多个中央处理单元(“CPU”)、随机访问存储器(“RAM”)、和输入/输出(“I/O”)接口那样的硬件的计算机平台上实现该机器。该计算机平台还可以包括操作系统和微指令代码。本文所述的各种过程和功能可以是可由CPU执行的部分微指令代码或部分应用程序，或它们的任何组合。另外，像附加数据存储单元和打印单元那样的各种其它外围单元可以与计算机平台连接。
还应该明白，因为描绘在附图中的一些组分系统部件和方法优选地用软件实现，所以系统部件或过程功能块之间的实际连接可能随编程本原理的方式而异。给定本文的教导，本领域的普通技术人员能够设想出本原理的这些和类似实现或配置。
尽管本文参照附图描述了一些例示性实施例，但应该明白，本原理不局限于那些确切实施例，并且本领域的普通技术人员可以不偏离本原理的精神或范围地实施各种改变和修正。所有这样的改变和修正都意欲包括在如所附权利要求书所述的本原理的范围之内。

Claims (38)

1.一种装置，包含：
编码画面数据的编码器(100)，其中所述编码器(100)包括至少一个局部自适应滤波器(150)，用于关于画面数据进行用于基准画面滤波和内插滤波的至少一种的局部自适应滤波。
2.如权利要求1所述的装置，其中画面数据对应于当前画面，并根据从当前画面和基准画面导出的信息确定用于局部自适应滤波的滤波系数和滤波器数量的至少一个。
3.如权利要求1所述的装置，其中至少一个局部自适应滤波器(150)的至少一个用于生成局部自适应滤波所得的至少一个滤波画面中的完整像素和子像素的至少一种。
4.如权利要求1所述的装置，其中能够使多个滤波基准画面用在编码画面数据中，并且能够按块使用或不使用局部自适应滤波。
5.如权利要求1所述的装置，其中以一维、二维或三维的任何一种应用至少一个局部自适应滤波器(150)的至少一个。
6.如权利要求1所述的装置，其中画面数据对应于当前画面，和用于导出至少一个局部自适应滤波器(150)的至少一个的信息包含当前画面与基准画面之间的运动信息。
7.如权利要求1所述的装置，其中画面数据对应于当前画面，和用于导出至少一个局部自适应滤波器(150)的至少一个的信息包含当前画面与基准画面之间的强度信息和颜色信息的至少一种。
8.如权利要求1所述的装置，其中画面数据对应于当前画面，和根据训练数据导出用于局部自适应滤波的滤波系数。
9.如权利要求8所述的装置，其中训练数据包含当前画面和基准画面的至少一个中的局部相邻像素。
10.一种方法，包含：
将局部自适应滤波用于基准画面滤波和内插滤波的至少一种地编码画面数据(400)。
11.如权利要求10所述的方法，其中画面数据对应于当前画面，并根据从当前画面和基准画面导出的信息确定用于局部自适应滤波的滤波系数和滤波器数量的至少一个(415)。
12.如权利要求10所述的方法，其中至少一个局部自适应滤波器用于生成局部自适应滤波所得的至少一个滤波画面中的完整像素和子像素的至少一种(420)。
13.如权利要求10所述的方法，其中能够使多个滤波基准画面用在编码画面数据中，并且能够按块使用或不使用局部自适应滤波(410)。
14.如权利要求10所述的方法，其中以一维、二维或三维的任何一种应用用于局部自适应滤波的局部自适应滤波器。
15.如权利要求10所述的方法，其中画面数据对应于当前画面，和用于导出用于局部自适应滤波的局部自适应滤波器的信息包含当前画面与基准画面之间的运动信息(415)。
16.如权利要求10所述的方法，其中画面数据对应于当前画面，和用于导出用于局部自适应滤波的局部自适应滤波器的信息包含当前画面与基准画面之间的强度信息和颜色信息的至少一种(415)。
17.如权利要求10所述的方法，其中画面数据对应于当前画面，和根据训练数据导出用于局部自适应滤波的滤波系数(415)。
18.如权利要求17所述的方法，其中训练数据包含当前画面和基准画面的至少一个中的局部相邻像素(415)。
19.一种装置，包含：
解码画面数据的解码器(200)，其中所述解码器(200)包括至少一个局部自适应滤波器(235)，用于关于画面数据进行用于基准画面滤波和内插滤波的至少一种的局部自适应滤波。
20.如权利要求19所述的装置，其中画面数据对应于当前画面，并根据从当前画面和基准画面导出的信息确定用于局部自适应滤波的滤波系数和滤波器数量的至少一个。
21.如权利要求19所述的装置，其中至少一个局部自适应滤波器(235)的至少一个用于生成局部自适应滤波所得的至少一个滤波画面中的完整像素和子像素的至少一种。
22.如权利要求19所述的装置，其中能够使多个滤波基准画面用在解码画面数据中，并且能够按块使用或不使用局部自适应滤波。
23.如权利要求19所述的装置，其中以一维、二维或三维的任何一种应用至少一个局部自适应滤波器(235)的至少一个。
24.如权利要求19所述的装置，其中画面数据对应于当前画面，和用于导出至少一个局部自适应滤波器(235)的至少一个的信息包含当前画面与基准画面之间的运动信息。
25.如权利要求19所述的装置，其中画面数据对应于当前画面，和用于导出至少一个局部自适应滤波器(235)的至少一个的信息包含当前画面与基准画面之间的强度信息和颜色信息的至少一种。
26.如权利要求19所述的装置，其中画面数据对应于当前画面，和根据训练数据导出用于局部自适应滤波的滤波系数。
27.如权利要求26所述的装置，其中训练数据包含当前画面和基准画面的至少一个中的局部相邻像素。
28.一种方法，包含：
将局部自适应滤波用于基准画面滤波和内插滤波的至少一种地解码画面数据(500)。
29.如权利要求28所述的方法，其中画面数据对应于当前画面，并根据从当前画面和基准画面导出的信息确定用于局部自适应滤波的滤波系数和滤波器数量的至少一个(515)。
30.如权利要求28所述的方法，其中至少一个局部自适应滤波器用于生成局部自适应滤波所得的至少一个滤波画面中的完整像素和子像素的至少一种(520)。
31.如权利要求28所述的方法，其中能够使多个滤波基准画面用在解码画面数据中，并且能够按块使用或不使用局部自适应滤波(510)。
32.如权利要求28所述的方法，其中以一维、二维或三维的任何一种应用用于局部自适应滤波的局部自适应滤波器。
33.如权利要求28所述的方法，其中画面数据对应于当前画面，和用于导出用于局部自适应滤波的局部自适应滤波器的信息包含当前画面与基准画面之间的运动信息(515)。
34.如权利要求28所述的方法，其中画面数据对应于当前画面，和用于导出用于局部自适应滤波的局部自适应滤波器的信息包含当前画面与基准画面之间的强度信息和颜色信息的至少一种(515)。
35.如权利要求28所述的方法，其中画面数据对应于当前画面，和根据训练数据导出用于局部自适应滤波的滤波系数(515)。
36.如权利要求35所述的方法，其中训练数据包含当前画面和基准画面的至少一个中的局部相邻像素(515)。
37.一种用于视频编码的视频信号结构，包含：
通过关于画面数据进行用于基准画面滤波和内插滤波的至少一种的局部自适应滤波编码的画面数据。
38.一种含有编码在上面的视频信号数据的存储媒体，包含：
通过关于画面数据进行用于基准画面滤波和内插滤波的至少一种的局部自适应滤波编码的画面数据。
CN200980122298.0A 2008-06-12 2009-06-05 将局部自适应滤波用于运动补偿内插和基准画面滤波的方法和装置 Expired - Fee Related CN102067600B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US6092908P 2008-06-12 2008-06-12
US61/060,929 2008-06-12
PCT/US2009/003431 WO2009151563A1 (en) 2008-06-12 2009-06-05 Methods and apparatus for locally adaptive filtering for motion compensation interpolation and reference picture filtering

Publications (2)

Publication Number Publication Date
CN102067600A true CN102067600A (zh) 2011-05-18
CN102067600B CN102067600B (zh) 2015-05-20

Family

ID=41217594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980122298.0A Expired - Fee Related CN102067600B (zh) 2008-06-12 2009-06-05 将局部自适应滤波用于运动补偿内插和基准画面滤波的方法和装置

Country Status (7)

Country Link
US (1) US20110103464A1 (zh)
EP (1) EP2292014A1 (zh)
JP (1) JP5628155B2 (zh)
KR (1) KR101648818B1 (zh)
CN (1) CN102067600B (zh)
BR (1) BRPI0915000A2 (zh)
WO (1) WO2009151563A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105657430A (zh) * 2014-11-28 2016-06-08 三星电子株式会社 修改运动补偿信息的数据处理系统和解码视频数据的方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010063881A1 (en) * 2008-12-03 2010-06-10 Nokia Corporation Flexible interpolation filter structures for video coding
CN102726046B (zh) * 2010-01-27 2015-09-09 杜比实验室特许公司 用于图像和视频编解码中的参考处理的方法和系统
US20110249736A1 (en) * 2010-04-09 2011-10-13 Sharp Laboratories Of America, Inc. Codeword restriction for high performance video coding
EP2559254B1 (en) * 2010-04-13 2019-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Interpolation filter in a hybrid video decoder and encoder
WO2011152425A1 (ja) * 2010-06-03 2011-12-08 シャープ株式会社 フィルタ装置、画像復号装置、画像符号化装置、および、フィルタパラメータのデータ構造
US9813738B2 (en) * 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
KR20120118782A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 적응적 필터링을 이용한 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9729870B2 (en) * 2012-01-31 2017-08-08 Apple Inc. Video coding efficiency with camera metadata
US8891906B2 (en) * 2012-07-05 2014-11-18 Intel Corporation Pixel-adaptive interpolation algorithm for image upscaling
US8855214B2 (en) * 2013-02-04 2014-10-07 Faroudja Enterprises, Inc. Multidimensional video processing
CN111010568B (zh) * 2018-10-06 2023-09-29 华为技术有限公司 插值滤波器的训练方法、装置及视频图像编解码方法、编解码器
US12120296B2 (en) 2021-03-23 2024-10-15 Tencent America LLC Method and apparatus for video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1465193A (zh) * 2001-06-29 2003-12-31 株式会社Ntt都科摩 图像编码装置、图像译码装置、图像编码方法和图像译码方法
WO2008010929A2 (en) * 2006-07-18 2008-01-24 Thomson Licensing Methods and apparatus for adaptive reference filtering
CN101184221A (zh) * 2007-12-06 2008-05-21 上海大学 基于视觉关注度的视频编码方法
US20090097545A1 (en) * 2007-10-14 2009-04-16 Nokia Corporation Fixed-Point Implementation of an Adaptive Image Filter with High Coding Efficiency

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2638109B2 (ja) * 1988-08-22 1997-08-06 日本電信電話株式会社 ループ内フィルタ
JP3747970B2 (ja) * 1996-12-24 2006-02-22 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
US6931063B2 (en) * 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
US7068722B2 (en) * 2002-09-25 2006-06-27 Lsi Logic Corporation Content adaptive video processor using motion compensation
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
KR101201930B1 (ko) * 2004-09-16 2012-11-19 톰슨 라이센싱 국부적 밝기 변동을 이용한 가중화된 예측을 가진 비디오 코덱
US7924918B2 (en) * 2004-11-29 2011-04-12 Ntt Docomo, Inc. Temporal prediction in video coding
JP2006254231A (ja) * 2005-03-11 2006-09-21 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
EP1886502A2 (en) * 2005-04-13 2008-02-13 Universität Hannover Method and apparatus for enhanced video coding
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
US8005308B2 (en) * 2005-09-16 2011-08-23 Sony Corporation Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
US7894522B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
US20080075165A1 (en) * 2006-09-26 2008-03-27 Nokia Corporation Adaptive interpolation filters for video coding
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
EP2127391A2 (en) * 2007-01-09 2009-12-02 Nokia Corporation Adaptive interpolation filters for video coding
KR101369746B1 (ko) * 2007-01-22 2014-03-07 삼성전자주식회사 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치
EP1983759A1 (en) * 2007-04-19 2008-10-22 Matsushita Electric Industrial Co., Ltd. Estimation of separable adaptive interpolation filters for hybrid video coding
US8195001B2 (en) * 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
US8548041B2 (en) * 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1465193A (zh) * 2001-06-29 2003-12-31 株式会社Ntt都科摩 图像编码装置、图像译码装置、图像编码方法和图像译码方法
WO2008010929A2 (en) * 2006-07-18 2008-01-24 Thomson Licensing Methods and apparatus for adaptive reference filtering
US20090097545A1 (en) * 2007-10-14 2009-04-16 Nokia Corporation Fixed-Point Implementation of an Adaptive Image Filter with High Coding Efficiency
CN101184221A (zh) * 2007-12-06 2008-05-21 上海大学 基于视觉关注度的视频编码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YURI VATIS ET AL.: "LOCALLY ADAPTIVE NON-SEPARABLE INTERPOLATION FILTER FOR H.264/AVC", 《PROCEEDINGS. INTERNATIONAL CONFERENCE ON IMAGE PROCESSING,IEEE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105657430A (zh) * 2014-11-28 2016-06-08 三星电子株式会社 修改运动补偿信息的数据处理系统和解码视频数据的方法
CN105657430B (zh) * 2014-11-28 2020-09-01 三星电子株式会社 修改运动补偿信息的数据处理系统和解码视频数据的方法

Also Published As

Publication number Publication date
KR20110015625A (ko) 2011-02-16
BRPI0915000A2 (pt) 2015-10-27
CN102067600B (zh) 2015-05-20
KR101648818B1 (ko) 2016-08-17
JP5628155B2 (ja) 2014-11-19
US20110103464A1 (en) 2011-05-05
WO2009151563A1 (en) 2009-12-17
EP2292014A1 (en) 2011-03-09
JP2011523326A (ja) 2011-08-04

Similar Documents

Publication Publication Date Title
CN102067600A (zh) 将局部自适应滤波用于运动补偿内插和基准画面滤波的方法和装置
CN101939993B (zh) 对滤波器系数进行编码
CN102150428B (zh) 用于使用自适应分段的视频编码的系统和方法
CN102301708B (zh) 视频编码和解码中用于变换选择的方法和装置
CN101529921B (zh) 无显式信令的局部照明和色彩补偿
JP5666293B2 (ja) ビデオ・エンコーディング、およびデコーディングのためのスキップ／ダイレクトモードのコンテクストに依存するマージのための方法と装置
CN1870754B (zh) 减少分块现象的编/解码装置和方法
CN101273638B (zh) 图像处理装置以及图像处理方法
CN102067601A (zh) 视频编码和解码中模板匹配预测(tmp)的方法和装置
CN105493505A (zh) 统一的帧内块复制和帧间预测模式
GB2519616A (en) Method and apparatus for displacement vector component prediction in video coding and decoding
CN101828400A (zh) 插补滤波方法、图像编码方法、图像解码方法、插补滤波装置、程序及集成电路
CN102714732A (zh) 编码装置、解码装置及数据结构
CN103069803B (zh) 视频编码方法、视频解码方法、视频编码装置、视频解码装置
CN102088603A (zh) 用于视频编码器的熵编码器及其实现方法
US20230262251A1 (en) Picture prediction method, encoder, decoder and computer storage medium
CN113261285A (zh) 编码方法、解码方法、编码器、解码器以及存储介质
CN105103546A (zh) 编码多个输入图像的方法及装置、存放程序的存储介质
JP2024003175A (ja) 画像復号装置、画像復号方法及びプログラム
WO2017194756A1 (en) Methods and arrangements for coding and decoding motion vectors
CN101902632B (zh) 像素插值滤波方法及装置,解码方法及系统
CN103430543A (zh) 重构和编码图像块的方法
CN112154666A (zh) 视频编解码方法和装置
CA3039174C (en) Motion video predict coding method, motion video predict coding device, motion video predict coding program, motion video predict decoding method, motion video predict decoding device, and motion video predict decoding program
AU2015202845B2 (en) Motion video predict coding method, motion video predict coding device, motion video predict coding program, motion video predict decoding method, motion video predict decoding device, and motion video predict decoding program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190201

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190201

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150520

Termination date: 20210605

CF01 Termination of patent right due to non-payment of annual fee