CN107925772A - 利用可选插值滤波器进行视频运动补偿的装置和方法 - Google Patents

利用可选插值滤波器进行视频运动补偿的装置和方法 Download PDF

Info

Publication number
CN107925772A
CN107925772A CN201580082394.2A CN201580082394A CN107925772A CN 107925772 A CN107925772 A CN 107925772A CN 201580082394 A CN201580082394 A CN 201580082394A CN 107925772 A CN107925772 A CN 107925772A
Authority
CN
China
Prior art keywords
filter
interpolation
block
pixels
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580082394.2A
Other languages
English (en)
Other versions
CN107925772B (zh
Inventor
马克西姆·波里索维奇·瑟乔夫
维克多·阿列克谢耶维奇·斯蒂平
罗曼·伊戈列维奇·切尼亚克
谢尔盖·尤利耶维奇·伊科宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN107925772A publication Critical patent/CN107925772A/zh
Application granted granted Critical
Publication of CN107925772B publication Critical patent/CN107925772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

本发明涉及一种视频编码器，用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流，包括：帧缓冲器(207)，用于存储所述视频流的至少一个参考帧；预测单元(210)，用于根据具有分数像素分辨率的运动矢量，由参考帧的参考块生成当前帧的当前块的预测块，所述分数像素分辨率定义整像素位置和多个分像素位置。所述预测单元(210)用于通过以下至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入所述参考块，所述至少三个或三组插值滤波器包括：模糊插值滤波器(302)、抽头滤波器(303)和抽头滤波器(303)及其后的锐化滤波器(311)。

Description

利用可选插值滤波器进行视频运动补偿的装置和方法
技术领域
本发明一般涉及视频处理领域，涉及视频运动补偿装置，并且具体地涉及用于支持运动补偿以预测视频中的帧的视频编码器和视频解码器。本发明还涉及编码方法，用于使用运动补偿对视频流进行编码；和解码方法，用于使用运动补偿对视频流进行解码。最后，本发明涉及一种计算机程序，该计算机程序具有用于执行这种方法的程序代码。
背景技术
在视频处理领域中，特别是在混合视频编码和压缩领域，已知使用了帧间和帧内预测以及变换编码。这些混合视频编码技术用于诸如H.261、H.263、MPEG-1、2和4、H.264/AVC或H.265/HEVC的已知视频压缩标准中。
图1示出了根据现有技术的视频编码器。视频编码器100包括用于接收视频流的帧或图像的输入块的输入端和用于生成编码视频比特流的输出端。视频编码器100用于对视频流进行预测、变换、量化和熵编码。变换、量化和熵编码分别由变换单元101、量化单元102和熵编码单元103执行，以生成编码视频比特流作为输出。
视频流对应于多个帧，其中每个帧被分成可由预测单元108进行帧内或帧间编码的一定大小的块。例如视频流的第一帧的块由预测单元108进行帧内编码。仅使用同一帧内的信息进行帧内编码，使得其可以独立解码，并且可以在比特流中提供用于随机访问的入口点。视频流的其他多个帧的多个块由预测单元108进行帧间编码：来自称作重建参考帧的编码帧的信息用于减少时间冗余，从而通过重建的参考帧中相同大小的块预测出帧间编码块。预测单元108用于选择是对帧的块进行帧内编码还是进行帧间编码。
为了执行帧间预测，编码参考帧由逆量化单元104和逆变换单元105处理，然后添加到预测块，并由环路滤波单元106处理，以获得重建的参考帧，然后将其存储在帧缓冲器107中用于时间帧间预测。
预测单元108包含待帧间编码的或待帧内编码的当前帧或图像以及来自帧缓冲器107的一个或多个参考帧或图像用作输入。由预测单元108应用运动估计和运动补偿。运动估计用于基于某个损失函数得到运动矢量和参考帧。然后运动补偿根据参考帧的参考块到当前帧的变换来描述当前帧的当前块。预测单元108针对当前块输出预测块，其中所述预测块将待编码的当前块与其预测块之间的差值最小化，即最小化残余块。例如，残余块的最小化基于速率失真优化过程。
然后，由变换单元101对当前块与其预测(即，残余块)之间的差值进行变换。由量化单元102和熵编码单元103对变换系数进行量化和熵编码。如此生成的编码视频比特流包括帧内编码块和帧间编码块。
这种混合视频编码包括结合预测误差的变换编码的运动补偿预测。对于每个块，估计的运动矢量也作为编码视频比特流中的信令数据传输。当前的标准H.264/AVC和H.265/HEVC基于针对运动矢量的1/4像素位移分辨率。为了估计和补偿分数像素位移，参考块必须在分像素位置上插入。使用插值滤波器在分像素位置上获得这样的插入帧。
插入块的质量很大程度上取决于所使用的插值滤波器的属性。短抽头滤波器例如双线性滤波器可以抑制高频并且使插入帧变得模糊。其他滤波器如长抽头滤波器可以保持高频率，但在尖锐边缘附近产生一些环状效应伪影。另一个问题是运动补偿利用先前编码和重建的帧作为参考帧：参考帧可能包含由变换系数量化引起的伪影，这称为吉布斯效应。由于这些伪影，边缘以及边缘周围的区域也可能失真。
重建的参考块和帧也可能包含由视频编码器自身产生的非期望的假边缘。这些伪影可能是由单独独立处理每个块引起的。在这方面，环路滤波单元106应用解块滤波旨在减轻这些块伪影，但是环路滤波单元106仅能够移除一部分这些伪影。其他边缘伪影可能与由平滑梯度区域的粗量化引起的梯度聚束有关。因此，参考块和帧可能包含不需要的边缘。
运动预测的质量取决于几个因素。重建的参考块的质量，参考块中的伪影和非期望的噪声强烈影响运动预测的质量。此外，插值滤波器定义插入边缘的质量，即其在插入块中的环状效应的模糊以及呈现。预测块的内容也影响运动预测的质量，因为大部分伪影出现在边缘附近。
从现有技术中已获知几种技术以改进运动补偿预测。例如，已经提出了能比先前的H.264/AVC标准提供更好的插入质量的视频编码标准H.265/HEVC，其应用到了更复杂的固定线性插值滤波器中。而且，可以在环路滤波单元106中执行自适应环路滤波(adaptiveloop filtering，简称ALF)。这种滤波引入了线性自适应滤波器(通常是维纳(Wiener)一类的)，以最小化重建块和原始块之间的差值。然而，这种环内滤波技术不能去除由运动插值滤波器引起的伪影，因为在进行运动插值之前将环内滤波器应用到了参考块。
自适应插值滤波器(adaptive interpolation filter，简称AIF)是一种已知的技术，试图通过最小化插入块和原始块之间的差值来为每个分数运动位置找到最佳维纳(Wiener)插值滤波器。然后，找到的滤波器系数需要传递给解码器。这种自适应滤波器是线性的并且是矩阵或系数矢量的形式。此外，每个分数运动矢量位置都有各自的最佳滤波器。自适应滤波器的形式以及需要为分像素位置传送多个滤波器导致自适应插值滤波技术的信令开销显著。
发明内容
认识到上述提及的缺点和问题，本发明旨在改进现有技术。特别地，本发明的目的是提供一种视频编码器、编码方法、视频解码器和解码方法，用于对后续帧的视频流进行改进编码和解码。
特别地，本发明旨在提高预测编码的质量。特别地，本发明旨在去除由运动补偿引起的伪影，具体是通过在分像素位置上的插入参考块而引起的伪影，同时通过减少参考帧的量化伪影来提高预测质量。本发明的另一个目的是将编码视频比特流的信令开销保持在低水平。
本发明上述提及的目标通过所附独立权利要求提供的方案实现。本发明有利的实现方式在各自的从属权利要求中进一步定义。
本发明第一方面提供一种视频编码器，用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流。所述视频编码器包括帧缓冲器，用于存储所述视频流的至少一个参考帧。所述视频编码器包括预测单元，用于根据具有分数像素分辨率的运动矢量，由参考帧的参考块生成当前帧的当前块的预测块，所述分数像素分辨率定义整像素位置和多个分像素位置。所述预测单元用于通过以下至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入所述参考块，所述至少三个或三组插值滤波器包括：模糊插值滤波器、抽头滤波器和抽头滤波器及其后的锐化滤波器。
因而，预测单元的运动插值方案包括所提及的三种插值滤波器类型：模糊插值滤波器、抽头滤波器和抽头滤波器及其后的锐化滤波器。然后，预测单元可以根据视频内容来选择滤波器类型。针对不同类型的内容，在编码过程中这三种滤波器类型可供选择。
根据第一方面所述的视频编码器的一个实现形式中，所述模糊插值滤波器和所述锐化滤波器中至少一个是由至少一个自适应参数控制的自适应滤波器。
因而，参考块可以通过能用于视频的具体内容的插值滤波器来插入。自适应能够考虑视频内容的本地特征，并且由于插值滤波器的参数化表示仅使用一个用于自适应和传输的系数，所以可以限制所需的信令开销。
根据第一方面所述的视频编码器的一个实现形式中，锐化滤波器是一个非线性滤波器。
因而，优选使用这种非线性锐化滤波器来增强运动预测。基于线性锐化或去模糊滤波器的传统边缘增强技术(如非锐化掩模技术)可增加主观质量，但不能抑制由运动插值滤波引起的环状效应伪影。而且，这种线性锐化甚至可能增加环状效应并降低客观性能特征。另一方面，所提出的非线性锐化滤波器可以更好地消除环状效应，因此是有益的。而且，锐化滤波器例如自适应锐化滤波器使用非线性设计，可以有益地减少自适应参数的数量，从而减少信令开销。
根据第一方面所述的视频编码器的一个实现形式中，锐化滤波器由单个自适应参数控制。
由于针对锐化滤波器仅使用单个自适应参数，因而可以进一步限制所需的信令开销。特别地，可以减少用于预测编码的块的大小，而不会同时增加信令开销。
根据第一方面所述的视频编码器的一个实现形式中，自适应锐化滤波器包括边缘图计算单元，用于生成源块的边缘图，所述源块是所述参考块或所述预测块。锐化滤波器包括模糊滤波器，用于模糊所述源块的所述边缘图。锐化滤波器包括高通滤波器，用于通过对所述模糊的边缘图进行高通滤波，生成针对所述源块每个位置的导数矢量。锐化滤波器包括缩放单元，用于通过使用锐化强度系数缩放所述导数矢量生成位移矢量。锐化滤波器包括扭曲单元，用于基于所述位移矢量扭曲所述预测块。
因而，锐化滤波器的这种结构定义了非线性锐化滤波器，有益地，其可以更好地消除环状效应伪影。
根据第一方面所述的视频编码器的一个实现形式中，所述锐化滤波器的所述自适应参数包括所述锐化强度系数。
因而，使用锐化强度系数作为自适应参数意味着只需要一个自适应参数，这进一步降低了信令开销。
根据第一方面所述的视频编码器的一个实现形式中，所述预测单元用于选择能使残余块最小化的锐化强度系数，所述残余块为所述当前块与所述预测块的差值，所述预测块可由自适应锐化滤波器或基于成本标准(如速率失真优化)输出。
根据第一方面所述的视频编码器的一个实现形式中，模糊插值滤波器是一种低通滤波器，由于其设计特性，不能产生环状效应。
根据第一方面所述的视频编码器的一个实现形式中，模糊插值滤波器含有单个自适应参数。由于针对模糊插值滤波器仅使用单个自适应参数，因而可以进一步限制所需的信令开销。
根据第一方面所述的视频编码器的一个实现形式中，所述模糊插值滤波器的所述自适应参数包括模糊系数。
因而，使用模糊系数作为自适应参数意味着只需要一个自适应参数，这进一步降低了信令开销。
根据第一方面所述的视频编码器的一个实现形式中，所述模糊插值滤波器是高斯滤波器或双线性滤波器，并且如果所述模糊插值滤波器是高斯滤波器，则所述模糊系数是高斯分布的标准偏差。
因而，可以通过应用模糊插入来抑制例如由于在重建的参考帧中进行块化和梯度聚束而引起的非期望边缘。而且，在重建的参考帧中可以抑制非期望的高频噪声。
根据第一方面所述的视频编码器的一个实现形式中，所述模糊插值滤波器包括：计算单元，用于基于所述标准偏差计算高斯滤波器系数；以及滤波单元，用于使用计算出的高斯滤波器系数生成预测块作为模糊插值滤波器的输出。
根据第一方面所述的视频编码器的一个实现形式中，所述视频编码器包括：单元，用于存储基于不同标准偏差预先计算出的高斯滤波器系数集合；以及滤波单元，用于使用预先计算出的高斯滤波器系数集合中的一个生成预测块作为模糊插值滤波器的输出。
因而，这种预先计算可以起到在优化过程中节省计算资源的作用。
根据第一方面所述的视频编码器的一个实现形式中，所述预测单元用于选择能使残余块最小化的模糊系数，所述残余块为所述当前块与所述预测块的差值，所述预测块可由所述模糊插值滤波器或基于成本标准(如速率失真优化)输出。
因而，通过在优化过程中选择模糊系数可以进一步改善运动补偿。
根据第一方面所述的视频编码器的一个实现形式中，抽头滤波器是具有尖锐阶跃响应的固定长抽头滤波器。
根据第一方面所述的视频编码器的一个实现形式中，所述整像素位置及所述多个分像素位置中的每一个与所述至少三个或三组插值滤波器中的一个或一组相关联，和/或所述锐化滤波器和/或所述模糊插值滤波器的自适应参数的给定值相关联(如果存在)。
因而，由于像素位置与三个插值滤波器中的一个相关联并且可能具有自己的自适应参数，并使用分数运动矢量位置作为针对插值滤波器类型和自适应参数的信令点，所以可以减少信令开销。
根据第一方面所述的视频编码器的一个实现形式中，所述视频编码器包括编码单元，用于生成编码视频比特流，并且指定插值滤波器类型和所述自适应参数的所述给定值和所述相关联的整像素位置或分像素位置用作所述编码视频比特流中的信令信息。
因而，可以减少必须传输到解码器的信令信息的量，并且可以减少信令开销。
根据第一方面所述的视频编码器的一个实现形式中，从所述三个或三组插值滤波器中选择所述插值滤波器取决于所述整像素位置或所述分像素位置，从而使得给定的整像素位置或分像素位置指示选择给定插值滤波器和自适应参数(如果存在)。
因而，可以在不引入额外信令开销的情况下对本地特征进行自适应。
根据第一方面所述的视频编码器的一个实现形式中，所述视频编码器含有至少一个插值滤波器模式，所述至少一个插值滤波器模式针对每个整像素位置和分像素位置定义所述关联的插值滤波器的类型和/或自适应参数的值(如果存在)。
因而，插值滤波器模式可以容易地定义每个插值滤波器类型以及(如果适用)自适应参数值而不引入额外的信令开销。
因而，解码器能够根据像素位置来选择在插值滤波器模式中定义的插值滤波器。
根据第一方面所述的视频编码器的一个实现形式中，所述视频编码器含有多个插值滤波器模式，其中，所述预测单元用于从所述多个插值滤波器模式中选择一个。
因而，例如可以预先计算并准备多个插值滤波器模式，使得在编码视频流期间，仅需要选择插值滤波器模式中的一个。
根据第一方面所述的视频编码器的一个实现形式中，所述视频编码器包括编码单元，用于生成所述编码视频比特流，并在所述编码视频比特流中添加一个或多个所述插值滤波器模式作为信令信息。
根据第一方面所述的视频编码器的一个实现形式中，假使提供了多个插值滤波器模式，编码单元用于在所述编码视频比特流中添加待选择插值滤波器模式的选择信息作为信令信息。
因而，这个选择信息或索引信息可以指示解码器所应选择的插值滤波器模式。假使解码器已经获知多个插值滤波器模式，因而这个选择信息进一步减少了信令开销。
根据第一方面所述的视频编码器的一个实现形式中，所述编码单元用于将针对每个预测块以及帧的任意或常规区域的所述待选择插值滤波器模式的信令信息添加到帧层、GOP(图像组)层、PPS(图像参数集合)层或SPS(序列参数集合)层。
因而，可以将插值滤波器信息设置为期望的粒度，从而可以优化信令。
本发明第二方面提供一种编码方法，用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流。该方法包括存储所述视频流的至少一个参考帧。该方法包括预测步骤：根据具有分数像素分辨率的运动矢量，由参考帧的参考块生成当前帧的当前块的预测块，所述分数像素分辨率定义整像素位置和多个分像素位置。所述预测步骤还包括以下操作：通过以下至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入所述参考块，所述至少三个或三组插值滤波器包括：模糊插值滤波器、抽头滤波器和抽头滤波器及其后的锐化滤波器。
根据本发明第二方面的方法的其它特征或实现方式可以用于执行根据本发明第一方面及其不同的实现形式的视频编码器的功能。
本发明第三方面提供一种视频解码器，用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码。所述视频解码器包括帧缓冲器，用于存储从所述编码视频比特流得到的至少一个参考帧。所述视频解码器包括预测单元，用于根据具有分数像素分辨率的运动矢量，由参考帧的参考块生成当前帧的当前块的预测块，所述分数像素分辨率定义整像素位置和多个分像素位置。所述预测单元用于通过以下至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入所述参考块，所述至少三个或三组插值滤波器包括：模糊插值滤波器、抽头滤波器和抽头滤波器及其后的锐化滤波器。
因而，通过第一方面的视频编码器所获得的优点也能通过第三方面的视频解码器获得。
根据第三方面所述的视频解码器的一个实现形式中，所述模糊插值滤波器和所述锐化滤波器中至少一个是由至少一个自适应参数控制的自适应滤波器。
因而，参考块可以通过能用于视频的具体内容的插值滤波器来插入。自适应能够考虑视频内容的本地特征，并且由于插值滤波器的参数化表示仅使用一个用于自适应和传输的系数，所以可以限制所需的信令开销。
根据第三方面所述的视频解码器的一个实现形式中，从所述三个或三组插值滤波器中选择所述插值滤波器取决于所述整像素位置或所述分像素位置，从而使得给定的整像素位置或分像素位置指示选择给定插值滤波器和/或自适应参数的值(如果存在)。
因而，使用分数运动矢量位置作为针对插值滤波器类型和自适应参数的信令点不会产生额外的信令开销。
根据第三方面所述的视频解码器的一个实现形式中，所述预测单元用于根据插值滤波器模式从所述三个或三组插值滤波器中选择一个。所述插值滤波器模式针对运动矢量的整像素位置及其关联的分像素位置定义关联的插值滤波器类型和/或自适应参数的值(如果存在)。
因而，插值滤波器模式可以容易地定义每个插值滤波器类型以及(如果适用)自适应参数值，从而可以进一步减小信令开销。
根据第三方面所述的视频解码器的一个实现形式中，所述视频解码器包括解码单元，用于从所述编码视频比特流获得所述插值滤波器模式以用作信令信息。
根据第三方面所述的视频解码器的一个实现形式中，所述视频解码器包括解码单元，用于从编码视频比特流中获取多个插值滤波器模式以及待选择插值滤波器模式的选择信息用作信令信息。所述预测单元用于根据所获得的选择信息从获得的插值滤波器模式中选择一个，并且根据选择的插值滤波器模式从所述三个或三组插值滤波器中选择一个。
因而，这个选择信息或索引信息可以指示解码器所应选择的插值滤波器模式。一旦解码器获知多个插值滤波器模式，只需要通过编码视频比特流传输该选择信息，从而可以进一步减少信令开销。
根据第三方面所述的视频解码器的一个实现形式中，所述预测单元用于在所述视频解码器接收所述编码视频比特流之前预先存储多个插值滤波器模式。所述视频解码器包括解码单元，用于从所述编码视频比特流获得所述预存储的待选择插值滤波器模式的选择信息用作信令信息。所述预测单元用于根据所获得的选择信息从预存储的插值滤波器模式中选择一个，并且根据选择的插值滤波器模式从所述三个或三组插值滤波器中选择一个。
因而，解码器已经获知多个插值滤波器模式，并且只需要通过编码视频比特流来传输该选择信息。接着，可以进一步减少信令开销。
根据第三方面所述的视频解码器的一个实现形式中，所述解码单元用于在帧层、GOP(图像组)层、PPS(图像参数集合)层或SPS(序列参数集合)层上获取针对每个预测块以及帧的任意或常规区域的所述待选择插值滤波器模式的信令信息。
因而，可以将插值滤波器信息设置为期望的粒度，从而可以优化信令。
根据本发明第一方面的视频编码器的其他特征或实施方式，特别是至少三个插值滤波器及其结构，也适用于根据本发明第三方面的视频解码器。
本发明第四方面提供一种解码方法，用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码。该方法包括存储从所述编码视频比特流获得的至少一个参考帧。该方法包括预测步骤：根据具有分数像素分辨率的运动矢量，由参考帧的参考块生成当前帧的当前块的预测块，所述分数像素分辨率定义整像素位置和多个分像素位置。所述预测步骤还包括以下操作：通过以下至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入所述参考块，所述至少三个或三组插值滤波器包括：模糊插值滤波器、抽头滤波器和抽头滤波器及其后的锐化滤波器。
根据本发明第四方面的方法的其它特征或实现方式可以用于执行根据本发明第三方面及其不同的实现形式的视频解码器的功能。
本发明的第五方面提供了一种具有程序代码的计算机程序，所述程序代码用于当计算机程序在计算设备上运行时执行这种编码和/或解码方法。
本发明提出了一种运动补偿，其包含应用改进的运动插值滤波方案，该方案包括进行可以根据本地图像特征自适应调整的模糊的、常规的和锐化的插入。运动插值方案包括三种不同的滤波器类型：模糊、固定和锐化滤波器，这些可供在编码过程中选择。模糊和锐化滤波器可以更好地适应编码图像的本地特征。为了将插值滤波器类型和自适应参数发信号通知解码器，建议使用分数运动矢量位置。
利用所提出的插值滤波方案，可以通过应用三种滤波器类型来对编码图像的本地特征进行自适应。由于自适应滤波器的参数化表示只有一个用于自适应的系数，所以可以实现减少信令开销。这减少了信令开销并允许自适应编码图像的较小区域。由于使用分数运动矢量位置作为针对插值滤波器类型和自适应参数的信令点，所以可以进一步降低信令开销。由于减少了信令开销，可以对编码图像的小区域的本地特征进行自适应。可以减少由运动插值滤波器引起的环状效应伪影和边缘模糊，同时保持插入边缘的质量。还可以减少由于参考图像中的变换系数的量化而引起的环状效应伪影和边缘模糊。也可以减少运动模糊造成的边缘模糊。所提出的方案可以通过应用模糊插入来抑制例如由于在重建的参考图像进行块化和梯度聚束而引起的非期望边缘，并且通过应用模糊插入来抑制重建的参考图像中非期望高频噪声。该提出的方案也提高了重建图像中边缘的主观质量，增加了模糊平滑梯度区域的主观质量。所提出的插值滤波起到了环路或环内参考滤波所发挥的作用，并且同时减少由传统运动插值滤波器自适应于图像内容引起的伪影。
需要注意的是，本申请所描述的所有设备、元件、单元和方式均可在软件或硬件元件或它们的任意组合中实现。由本申请描述的各种实体执行的所有步骤以及所描述的由各种实体执行的功能旨在表示各个的实体适用于或用于执行相应的步骤和功能。即使在具体实施例的以下描述中，完全由外部实体形成的具体功能或步骤未在执行该具体步骤或功能的该实体的具体细节元件的描述中反映，技术人员应清楚可以在各个软件或硬件元件或它们的任意组合中实现这些方法和功能。
附图说明
结合所附附图，下面具体实施例的描述将阐述上述本发明的各方面及其实现形式，其中：
图1示出了根据现有技术的视频编码器；
图2示出了根据本发明实施例的一种视频编码器；
图3示出了根据本发明实施例的一种视频编码器的插值滤波器；
图4示出了根据本发明实施例的一种视频解码器；
图5示出了根据本发明实施例的一种视频编码方法；
图6示出了根据本发明实施例的一种视频解码方法；
图7示出了根据本发明的模糊插值滤波器的一个实施例；
图8示出了根据本发明的锐化滤波器的一个实施例；
图9示出了根据本发明实施例的模糊插值滤波器的插值滤波器模式；
图10示出了根据本发明实施例的锐化滤波器的插值滤波器模式；
图11示出了根据本发明实施例的插值滤波器混合模式；
图12示出了根据本发明的不同插值滤波器模式的一个实施例。
具体实施方式
图2示出了根据本发明实施例的一种视频编码器，特别是一种用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流的视频编码器200。进一步地，图3示出了根据本发明实施例的一种视频编码器的插值滤波器。
视频编码器200尤其包括帧缓冲器207和预测单元。
帧缓冲器207用于存储所述视频流的至少一个参考帧或图像。预测单元210用于根据具有分数像素分辨率的运动矢量，由参考帧的参考块生成当前帧的当前块的预测块。所述分数像素分辨率定义整像素位置和多个分像素位置。
进一步地，所述预测单元210用于通过以下至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入所述参考块，所述至少三个或三组插值滤波器包括：
模糊插值滤波器302；
抽头滤波器303；以及
抽头滤波器303及其后的锐化滤波器311。
图3所示的锐化滤波器311在图2中由208表示。图3中的模糊插值滤波器302和抽头滤波器303在图2中由插值滤波器(一个或多个)块209表示。
所述参考帧可以不同于视频流的当前帧。特别地，在本发明的上下文中，当前帧是当前编码的视频流的帧，而参考帧是已经被编码然后重建的视频流的帧。下面所提及的“帧”都可以被“图像”替代。
可以使用帧间编码技术对当前帧进行编码，即，由与当前帧不同的至少一个参考帧来预测当前帧。参考帧可以是先前帧，即在后续帧的视频流内位于当前帧之前的帧。或者，如果使用前向预测，则参考帧可以是未来帧，即位于当前帧之后的帧。假使有多个参考帧，至少一个可以是所述先前帧，并且其中至少一个可以是所述未来帧。参考帧可以是帧内编码的，即可以不使用任何其它帧并且不依赖于其他帧进行编码，使得可以对其进行独立解码并且其可以用作随机视频访问的入口点。
特别地，预测单元210用于通过生成运动矢量并估计参考帧的参考块与当前帧的当前块之间的运动进行运动估计。所述运动估计在编码期间执行，从而基于某个损失函数例如速率失真优化来找到指向参考帧中的最佳参考块的运动矢量。除了运动估计之外，预测单元210还用于通过基于运动矢量和参考块生成针对当前块的预测块来进行运动补偿。
特别地，运动预测包括运动估计和运动补偿。运动矢量是通过运动估计单元生成的。参考块和当前块优选地是参考帧和当前帧的各自的区域或子区域。这样的块可以具有规则的形状例如矩形或不规则形状。或者，所述块的大小可以与帧的大小相同。当前块和参考块都具有相同的大小。块的大小可以通过作为边信息或信令数据传输给解码器的块模式信息来定义。块可以对应于编码单元，该编码单元是预定义大小的视频序列的基本编码结构，其包含帧的一部分，例如，64x64像素。
根据参考块，生成针对当前块的预测块。特别地，可以根据多个参考块生成针对当前帧多个当前块的多个预测块。这些参考块可以是单个参考帧的一部分，或者可以从不同的参考帧中选择。可以针对当前帧生成几个预测块，并且可以合并针对当前帧生成的预测块来获得当前帧的预测帧。
图2中的视频编码器200包括类似于图1中的视频编码器100中的另外的单元，特别地用于支持混合视频编码。例如，视频编码器200包含类似单元，所述类似单元为变换单元201，量化单元202及熵编码器或熵编码单元203，本领域已知，分别用于通过变换到频域产生变换系数，将系数量化并且对量化系数(例如与信令数据一起)进行熵编码。变换单元201的输入是残余块，该残余块定义为当前帧的当前块与预测单元210输出的预测块之间的差值，所述当前帧的当前块在图2中称为视频块。熵编码单元203用于生成编码视频比特流作为输出。
视频编码器200包含另外的类似单元，该类似单元为逆量化单元204，逆变换单元205及环路滤波单元206。量化单元202生成的量化变换系数由逆量化单元204和逆变换单元205分别进行逆量化和逆变换，以获得与馈送到变换单元201的残余块相对应的重建的残余块。然后将重建的残余块添加到先前用于生成残余块的预测块中，以获得对应当前块的重建的当前块，该重建的当前块在图2中称为重建的视频块。该重建的当前块可以由环路滤波单元206处理以消除按块处理和量化所引入的伪影。然后，可以通过重建的当前块重建包括至少一个当前块或有益地包括多个当前块的当前帧。该重建的当前帧可以存储在帧缓冲器207中，在对视频流的另一个帧进行帧间预测时用作参考帧。
本发明提出的运动插值方案置于预测单元210中，用于运动估计和运动补偿，以获得分数和整像素位置中的帧块。如图3所示，所述插值方案基于以下三个或三组插值滤波器类型：
模糊插值滤波器302，有益地不产生环状效应，例如高斯或双线性滤波器；
抽头滤波器303，例如具有尖锐阶跃响应的传统长抽头滤波器，所述尖锐阶跃响应通常可以产生环状效应，例如基于H.265/HEVC的离散余弦变换插值滤波器(discretecosine transform-based interpolation filter，简称DCT-IF)；
抽头滤波器303及其后锐化滤波器311的组合，例如具有尖锐阶跃响应的所述传统长抽头滤波器和减少环状效应并增加边缘锐度的非线性锐化滤波器的组合。
所述预测单元210和所述预测单元300用于通过至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入存储在所述帧缓冲器207和所述帧缓冲器307中的所述参考块。在运动估计时，可以选择这三种插值类型中的一种。例如，由判定单元305基于产生最小预测误差或基于最小成本(速率或失真)标准来选择。
图4示出了根据本发明实施例的一种视频解码器，特别是一种用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码的视频解码器400。
视频解码器400特别地包括帧缓冲器407和预测单元410。帧缓冲器407用于存储从编码视频比特流获得的至少一个参考帧。预测单元410用于根据具有分数像素分辨率的运动矢量，由参考帧的参考块生成当前帧的当前块的预测块，所述分数像素分辨率定义整像素位置和多个分像素位置。所述预测单元410用于通过以下至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入所述参考块，所述至少三个或三组插值滤波器包括：
模糊插值滤波器302；
抽头滤波器303；以及
抽头滤波器303及其后的锐化滤波器311。
所述解码器400用于解码由视频编码器300生成的编码视频比特流，并且解码器400和编码器300都产生相同的预测。图3所示的锐化滤波器311在图4中由411表示。图3中的模糊插值滤波器302和抽头滤波器303在图2中由插值滤波器(一个或多个)块409表示。
特别地，视频解码器400可以包括也存在于视频编码器200中的另外的单元，例如逆量化单元404、逆变换单元405和环路滤波单元406，它们分别对应于视频编码器200的逆量化单元204、逆变换单元205和环路滤波单元206。熵解码单元403用于解码接收到的编码视频比特流并相应地获得量化的残余变换系数以及信令信息(如果存在)。将量化的残余变换系数馈送到逆量化单元404和逆变换单元405以生成残余块。将残余块和预测块相加，并且将相加得到的块馈送到环路滤波单元406以获得解码的视频。解码的视频的帧可以存储在帧缓冲器407中，并且用作参考帧用于帧间预测。
视频编码器200和视频解码器400包含相似的插值滤波器，所述相似的插值滤波器为模糊插值滤波器302，抽头滤波器303以及抽头滤波器303和锐化滤波器311的组合。有益地，模糊插值滤波器302和锐化滤波器311中至少一个是由至少一个自适应参数控制的自适应滤波器。
为了保证能在编码器侧和解码器侧得到相同的预测，所述整像素位置及所述多个分像素位置中的每一个与所述至少三个或三组插值滤波器302、303和303+311中的一个或一组相关联，和/或所述锐化滤波器311和/或所述模糊插值滤波器302的自适应参数的给定值相关联(如果存在)。
对于编码器200和解码器400，从所述三个或三组插值滤波器中选择所述插值滤波器取决于所述整像素位置或所述分像素位置，从而使得给定的整像素位置或分像素位置指示选择给定插值滤波器和自适应参数(如果存在)。
在视频编码器200侧，从三个或三组插值滤波器中选择插值滤波器取决于所述整像素位置或所述分像素位置，所述整像素位置或所述分像素位置由在运动估计期间获得的运动矢量定义。编码器200的编码单元203用于生成编码视频比特流，并且指定插值滤波器类型、所述自适应参数的所述给定值(如果存在)以及相关联的整像素位置或分像素位置用作所述编码视频比特流中的信令信息。此外，编码单元203指定所述运动矢量用作所述编码视频比特流中的信令信息。
视频解码器400用于从编码视频比特流获得该信令信息。解码器400接收插值滤波器类型和相关联的像素位置，并且特别地针对每个像素位置接收相关联的插值滤波器类型。如果存在，解码器400也针对每个像素位置接收所述自适应参数的所述给定值。此外，视频解码器400用于获得编码器200在运动估计期间确定的运动矢量用作编码视频比特流中的信令信息。因此，使用所述获得的运动矢量，解码器400能够推断出像素位置和相关联的插值滤波器类型以及相关联的自适应参数的值(如果存在)。因此，可以在编码器和解码器侧实施相同的预测，同时减少信令开销。
图5示出了根据本发明实施例的一种视频编码方法，特别是一种用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流的方法。
该方法包括步骤501：存储所述视频流的至少一个参考帧。
该方法还包括预测步骤502：根据具有分数像素分辨率的运动矢量，由参考帧的参考块生成当前帧的当前块的预测块。所述分数像素分辨率定义整像素位置和多个分像素位置。此外，所述预测步骤包括以下操作：通过以下至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入所述参考块，所述至少三个或三组插值滤波器包括：
模糊插值滤波器；
抽头滤波器；以及
抽头滤波器及其后的锐化滤波器。
图6示出了根据本发明实施例的一种视频解码方法，特别是一种用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码的方法。
该方法包括步骤601：存储从编码视频比特流获得的至少一个参考帧。
该方法还包括预测步骤602：根据具有分数像素分辨率的运动矢量，由参考帧的参考块生成当前帧的当前块的预测块。所述分数像素分辨率定义整像素位置和多个分像素位置。所述预测步骤还包括以下操作：通过以下至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入所述参考块，所述至少三个或三组插值滤波器包括：
模糊插值滤波器；
抽头滤波器；以及
抽头滤波器及其后的锐化滤波器。
视频编码器200或视频解码器400进一步描述的方面和特征也适用于所述编码方法和所述解码方法。
图7示出了根据本发明的模糊插值滤波器的一个实施例，特别是视频编码器200的模糊插值滤波器302的实施例。
在图7的实施例中，模糊插值滤波器302实现为参数形式的高斯滤波器。模糊量可以仅通过高斯滤波器的一个自适应参数σ来控制。这个单一的自适应参数具有这样的优点，即可以容易地优化滤波器，并且可以减少用于传递自适应模糊参数的信令开销。
模糊插值滤波器302接收运动矢量作为输入。运动矢量在运动估计期间由编码器200确定。基于运动矢量，单元701用于获得所述运动矢量的像素位置的分数部分。
另外的单元702用于用给定的参数σ来计算高斯滤波器系数并且获得分数移位。单元703用于使用参考块和单元702计算的插值滤波器系数作为输入获得运动预测块。然后，模糊插值滤波器302用于通过预测误差或成本标准来计算预测效率。预测误差对应于残余块，并且通过计算原始块与预测块之间的差值得到。
为了优化预测效率，单元702用于计算针对参数σ的另一值的系数，使得单元703可以获得相应的预测块并且模糊插值滤波器302可以计算相应的预测效率。在针对参数σ的不同值迭代执行这些步骤之后，模糊插值滤波器302选择提供最佳预测效率的参数σ。
或者，可以使用参数σ不同的值预先计算高斯滤波器系数，并针对不同的分像素位置进行存储。这样可以在优化过程中节省一些计算资源。
视频解码器400包括与图7所示的编码器200的模糊插值滤波器302类似的模糊插值滤波器。视频解码器400的模糊插值滤波器类似地包括单元701、702和703，并类似地接收运动矢量作为输入。该运动矢量由视频解码器400从编码视频比特流中获得用作信令信息。解码器400导出参数σ的值，该参数σ将用于根据插值滤波器模式由运动矢量的分数部分生成滤波器系数。
视频编码器200的模糊插值滤波器和视频解码器400的模糊插值滤波器之间的差异优选地在于预测效率的计算以及通过针对参数σ的不同值迭代计算预测效率来优化预测效率。
图8示出了根据本发明的自适应锐化滤波器的一个实施例，特别是视频编码器200的自适应锐化滤波器311的实施例。
锐化滤波器311优选地为非线性滤波器。优选地使用非线性锐化滤波器而不是线性滤波器，来去除由运动插值滤波器和参考块或帧的量化造成的伪影。选择非线性滤波器可以减少锐化滤波器311的自适应参数的数量。特别地，非线性滤波器可以仅利用一个自适应参数，从而减小编码视频比特流的信令开销。尽管本发明也包含使用一个以上自适应参数来控制锐化滤波器311的情况，但是锐化滤波器仅利用一个自适应参数是特别有益的实施例。
特别地，锐化滤波器311包括边缘图计算单元801和802、模糊滤波器804、高通滤波器805、缩放单元806和扭曲单元807。
边缘图计算单元801和802用于生成源块的边缘图，所述源块是所述参考块或所述预测块。模糊滤波器804用于模糊所述源块的所述边缘图。高通滤波器805用于通过对所述模糊的边缘图进行高通滤波，生成针对所述源块每个位置的导数矢量(d2x，d2y)。缩放单元806用于通过使用锐化强度系数k缩放所述导数矢量(d2x，d2y)生成位移矢量(wx，wy)。扭曲单元807用于基于所述位移矢量(wx，wy)扭曲所述预测块。
因而，控制锐化滤波器800的自适应参数是锐化强度系数k。图8所示的本发明的实施例针对锐化滤波器800仅有一个自适应参数。
边缘图计算单元801和802可以包括：梯度矢量单元801，用于针对源块的每个位置生成梯度矢量(dx，dy)；以及梯度矢量长度单元802，用于计算各个位置的梯度矢量(dx，dy)的长度，从而生成源块的边缘图。因而，该结构允许生成边缘图，边缘图可以由模糊滤波器、高通滤波器和缩放单元进一步处理以生成扭曲位移矢量。
可以结合下面的等式应用相应的Prewitt滤波器通过对dx和dy分别取一阶导数来得到梯度矢量，即分别对图8中的称作运动预测块的源块的水平方向和垂直方向取一阶导数。
边缘图可以通过梯度矢量长度单元802结合以下等式计算梯度矢量长度来获得：
有益地，锐化滤波器311包括裁剪单元803，用于裁剪源块的边缘图，所述裁剪单元803位于边缘图计算单元801和802与模糊滤波器804之间。因此，根据阈值裁剪边缘图是有益的，因为这避免处理扭曲矢量的极高值和极低值。
对裁剪的边缘图进行模糊的步骤可以由模糊滤波器804执行，该模糊滤波器804采用如下定义的高斯滤波器形式：
高通滤波器用于分别针对d2x和d2y得到二阶导数，例如根据以下等式得到二阶导数：
d2x＝[1 0 -1]
根据以下等式使用系数k缩放二阶导数矢量(d2x，d2y)来获得位移矢量(wx，wy)，其中，系数k可以视为锐化强度。
wx＝k*d2x
wy＝k*d2y
扭曲单元807包括插值滤波器例如双线性插值滤波器以获得分像素位置处的采样值。扭曲单元807使用由缩放单元806生成的位移矢量。因此，改善了视频编码器的整体质量，同时在期望的分像素位置上插入参考帧或块。
减法单元808用于得到扭曲单元807生成的锐化的预测块与当前块之间的差值，所述当前块对应待编码块。实际上，减法单元808产生残余块。锐化滤波器311用于例如通过最小化残余块或通过基于例如速率失真的成本标准来找到最佳锐化强度k。
视频解码器400包含类似于图8所示的视频编码器200的自适应锐化滤波器311的自适应锐化滤波器。视频编码器200的自适应锐化滤波器与视频解码器400的自适应锐化滤波器之间的差异优选地在于减法单元808和残余块的最小化。
在视频解码器400中，自适应参数例如系数k不通过减法单元808和残余块的最小化来设置。而是，在视频解码器400中优选地根据插值滤波器模式依据运动矢量的分数部分设置自适应参数。
锐化滤波器400进行基于根据源块计算的位移矢量的扭曲，该源块在图8中称为运动预测块。根据图8中未示出的实施例，源块是存储在帧缓冲器207中的参考帧的参考块，以从参考块导出位移矢量(wx，wy)。因而，参考块用作源块以获得位移矢量，位移矢量也称为锐化位移矢量或扭曲位移矢量。然后使用获得的位移矢量将扭曲应用于预测块。该实施例的优点在于节省了编码器侧的计算资源。
根据图8所示的可选实施例，源块是由预测单元210生成的预测块，以从预测块导出位移矢量(wx，wy)。
因而，选择预测块作为源块可以计算合适的位移矢量，以用于扭曲所述预测块。而且，然后，锐化滤波器仅需要针对预测块的一次输入，不需要针对参考块的二次输入。
结合图8所示的实施例，锐化滤波器可以仅由一个系数例如锐化强度k控制。这使得自适应过程比传统的线性自适应维纳(Wiener)滤波器更容易并且需要更少的信令比特用于传输。使用非线性锐化滤波器而不是已知的线性滤波器能更好地去除由运动插值滤波器和参考图像的量化引起的伪影。
图9示出了根据本发明实施例的模糊插值滤波器的插值滤波器模式。针对每个整像素位置和分像素位置，图9所示的插值滤波器模式将相关的插值滤波器定义为模糊插值滤波器302。此外，针对每个像素位置，图9中的模式定义自适应参数的值，例如，模糊系数σ的值。
运动矢量的分数空间包括几个像素位置。在诸如H.264/AVC和H.265/HEVC的现代视频编解码器中，运动矢量在X维度和Y维度上通常都具有1/4像素分辨率。图9示出了这种1/4像素分辨率的本发明的实施例。这种分辨率意味着一共4x4＝16个可能的位置。这些可能的位置包括一个用方形“a”标识的整像素位置，以及15个分像素位置b、c、d、e、f、g、h、i、j、k、l、m、n、o和p。分像素位置包括用圆形c、i和k标识的3个1/2像素位置以及标识为对应三角形的12个1/4像素位置。模式针对每个位置定义了模糊系数σ的值σ1……σ16。
编码器200可将图9中的插值滤波器模式作为信令信息添加到编码视频比特流，并且可由解码器400相应地从所述编码视频比特流获得。根据图9中的插值滤波器模式执行插入是指不使用具有尖锐阶跃响应的传统固定滤波器，而是将模糊插值滤波器应用于插入。与分像素位置相关联的模糊系数σi用作自适应模糊插值滤波器的自适应系数。
系数σ1可以是恒定的，并且可以通过离线训练来预定义或者基于之前的编码实验进行选择。在模式的不同分像素位置可以有相同的模糊系数σi。在序列层、GOP层、帧层或区域层，系数σi也可以是可变的和自适应的。这时，需要额外的信令。
图10示出了根据本发明实施例的锐化滤波器的插值滤波器模式。
图10中的插值滤波器模式类似于图9中的模式，并且针对每个整像素位置和分像素位置将相关联的插值滤波器定义为锐化滤波器311。进一步地，不是定义模糊插值滤波器的模糊系数σ，图10中的所述插值滤波器模式针对每个像素位置定义自适应参数的值，例如，锐化强度系数k的值。
与图9类似，系数ki可以是恒定的，并且可以通过离线训练来预定义或者基于之前的编码实验进行选择。在不同分像素位置可以有相同的锐化系数ki。在序列层、GOP层、帧层或区域层，系数ki也可以是可变的和自适应的。这时，需要额外的信令。
图11示出了根据本发明另一实施例的插值滤波器模式。
图11所示的模式实际上是一个混合插值滤波器模式，其包含所有三种插值滤波器类型。一些分像素位置b、e、f、g、h、j和n具有相关联的模糊参数σ，这意味着对于这些位置，模糊插值滤波器302将应用相应的滤波器参数σ1……σ7。
一些其他像素位置l、o和p具有相关联的锐化强度参数k，这意味着在利用抽头滤波器303进行插入后，即利用传统的固定滤波器抽头，自适应锐化滤波器311将应用相应的参数值k1、k2和k3。
一些其他的像素位置a、c、d、i、k和m没有相关联的参数，即插值滤波器模式不将任何参数值与这些位置相关联。解码器400对于这些位置使用抽头滤波器303，即传统的线性插值滤波器。
通过在一个插值滤波器模式中混合所有插值类型，编码器现在可以自适应地根据图像内容选择针对每个特定情况的最合适插入。
在图9、10和11所示的实施例中，运动矢量的分像素位置因此可以在插值滤波器类型中针对模糊插值滤波器302和锐化滤波器311对所定义的插值滤波器类型的自适应参数进行定义。编码器和解码器都应了解插值滤波器模式。其可以是预定义的或者是自适应的并且作为边信息传递，即作为编码视频比特流的信令信息。
图12示出了根据本发明的不同插值滤波器模式的一个实施例。
对于帧的一些区域，可能不需要使用模糊插值滤波器302或锐化滤波器311。这时，最好对所有分数点使用抽头滤波器303。在帧的其他区域中，应用模糊插值滤波器302或锐化滤波器311可能是最佳的。
为了涵盖这些不同情形，建议为帧的一些本地区域定义几个不同的插值滤波器模式，基于成本标准诸如速率失真优化选择最佳插值滤波器模式，并且向解码器400发信号通知哪个插值滤波器模式应当用于给定区域中的运动插入。
相应地，图12示出了包括几个区域的帧，同时，例如，使用两种不同的插值滤波器模式。标识为“插入模式0”的第一模式定义了抽头滤波器303(即传统的固定插值滤波器)将用于每个像素位置，而标识为“插入模式1”的第二模式是如图11所示的混合插值滤波器模式。
在图12所示的实施例中，编码器200为两个区域选择第一模式，并为帧的其余四个区域选择第二模式。在编码过程中，可以为每个特定区域例如每个最大编码单元(largestcoding unit，简称LCU)选择最佳的插值滤波器模式，并且可以以一个比特大小的信号通知解码器，所述比特确定第一或第二插值滤波器模式。
已经结合作为实例的不同实施例以及实施方案描述了本发明。但本领域技术人员通过实践所请发明，研究附图、本公开以及独立权项，能够理解并获得其它变体。在权利要求以及描述中，术语“包括”不排除其他元件或步骤，且“一个”并不排除复数可能。单个元件或其它单元可满足权利要求书中所叙述的若干实体或项目的功能。在仅凭某些措施被记载在相互不同的从属权利要求书中这个单纯的事实并不意味着这些措施的组合不能在有利的实现方式中使用。

Claims (33)

1.一种视频编码器，其特征在于，用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流，包括：
帧缓冲器(207)，用于存储所述视频流的至少一个参考帧；
预测单元(210)，用于根据具有分数像素分辨率的运动矢量，由参考帧的参考块生成当前帧的当前块的预测块，所述分数像素分辨率定义整像素位置和多个分像素位置；其中
所述预测单元(210)用于通过以下至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入所述参考块，所述至少三个或三组插值滤波器包括：
模糊插值滤波器(302)；
抽头滤波器(303)；以及
抽头滤波器(303)及其后的锐化滤波器(311)。
2.根据权利要求1所述的视频编码器，其特征在于，所述模糊插值滤波器(302)和所述锐化滤波器(311)中至少一个是由至少一个自适应参数控制的自适应滤波器。
3.根据权利要求2所述的视频编码器，其特征在于，所述锐化滤波器(311)由单个自适应参数控制。
4.根据上述权利要求中任一项所述的视频编码器，其特征在于，所述锐化滤波器(311)是非线性滤波器。
5.根据上述权利要求中的任一项所述的视频编码器，其特征在于，所述自适应锐化滤波器(311)包括：
边缘图计算单元(801和802)，用于生成源块的边缘图，所述源块是所述参考块或所述预测块；
模糊滤波器(804)，用于模糊所述源块的所述边缘图；
高通滤波器(805)，用于通过对所述模糊的边缘图进行高通滤波，生成针对所述源块每个位置的导数矢量(d2x，d2y)；
缩放单元(806)，用于通过使用锐化强度系数(k)缩放所述导数矢量(d2x，d2y)生成位移矢量(wx，wy)；以及
扭曲单元(807)，用于基于所述位移矢量(wx，wy)扭曲所述预测块。
6.根据权利要求2或3以及权利要求5所述的视频编码器，其特征在于，所述锐化滤波器(311)的所述自适应参数包括所述锐化强度系数(k)。
7.根据权利要求5或6所述的视频编码器，其特征在于，所述预测单元用于选择能使残余块最小化的锐化强度系数(k)，所述残余块为所述当前块与所述预测块的差值，所述预测块可由自适应锐化滤波器(311)基于成本标准(如速率失真优化)输出。
8.根据上述权利要求2至7中任一项所述的视频编码器，其特征在于，所述模糊插值滤波器(302)含有单个自适应参数。
9.根据权利要求8所述的视频编码器，其特征在于，所述模糊插值滤波器(302)的所述自适应参数包含模糊系数(σ)。
10.根据权利要求9所述的视频编码器，其特征在于，所述模糊插值滤波器(302)是高斯滤波器或双线性滤波器，并且如果所述模糊插值滤波器(302)是高斯滤波器，则所述模糊系数(σ)是高斯分布的标准偏差。
11.根据权利要求10所述的视频编码器，其特征在于，所述模糊插值滤波器(302)包括：计算单元(402)，用于基于所述标准偏差(σ)计算高斯滤波器系数；
滤波单元(403)，用于使用计算出的高斯滤波器系数生成预测块作为模糊插值滤波器(302)的输出。
12.根据权利要求10所述的视频编码器，其特征在于，包括：
单元，用于存储基于不同标准偏差(σ)预先计算出的高斯滤波器系数集合；
滤波单元(403)，用于使用预先计算出的高斯滤波器系数集合中的一个生成预测块作为模糊插值滤波器(302)的输出。
13.根据权利要求9至12任一项所述的视频编码器，其特征在于，所述预测单元用于选择能使残余块最小化的模糊系数(σ)，所述残余块为所述当前块与所述预测块的差值，所述预测块可由所述模糊插值滤波器(302)基于成本标准(如速率失真优化)输出。
14.根据上述权利要求中任一项所述的视频编码器，其特征在于，抽头滤波器(303)是具有尖锐阶跃响应的固定长抽头滤波器。
15.根据上述权利要求2至14中任一项所述的视频编码器，其特征在于，所述整像素位置及所述多个分像素位置中的每一个与所述至少三个或三组插值滤波器(302、303和303+311)中的一个或一组相关联，和/或也与所述锐化滤波器(311)和/或所述模糊插值滤波器(302)的自适应参数的给定值相关联(如果存在)。
16.根据权利要求15所述的视频编码器，其特征在于，包括编码单元(203)，用于生成编码视频比特流，并且指定插值滤波器类型和所述自适应参数的所述给定值和所述相关联的整像素位置或分像素位置用作所述编码视频比特流中的信令信息。
17.根据上述权利要求中的任一项所述的视频编码器，其特征在于，从所述三个或三组插值滤波器中选择所述插值滤波器取决于所述整像素位置或所述分像素位置，从而使得给定的整像素位置或分像素位置指示选择给定插值滤波器和自适应参数(如果存在)。
18.根据上述权利要求中任一项所述的视频编码器，其特征在于，含有至少一个插值滤波器模式，所述至少一个插值滤波器模式针对每个整像素位置和分像素位置定义所述关联的插值滤波器的类型和/或自适应参数的值(如果存在)。
19.根据上述权利要求中任一项所述的视频编码器，其特征在于，含有多个插值滤波器模式，其中，所述预测单元(210)用于从所述多个插值滤波器模式中选择一个。
20.根据权利要求18或19所述的视频编码器，其特征在于，包括编码单元(203)，用于生成所述编码视频比特流，并在所述编码视频比特流中添加一个或多个所述插值滤波器模式作为信令信息。
21.根据权利要求18至20中任一项所述的视频编码器，其特征在于，假使提供了多个插值滤波器模式，编码单元(203)用于在所述编码视频比特流中添加待选择插值滤波器模式的选择信息作为信令信息。
22.根据权利要求18至21中任一项所述的视频编码器，其特征在于，所述编码单元(203)用于将针对每个预测块以及帧的任意或常规区域的所述待选择插值滤波器模式的信令信息添加到帧层、GOP(图像组)层、PPS(图像参数集合)层或SPS(序列参数集合)层。
23.一种编码方法，其特征在于，用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流，包括：
存储(501)所述视频流的至少一个参考帧；
预测步骤(502)：根据具有分数像素分辨率的运动矢量，由参考帧的参考块生成当前帧的当前块的预测块，所述分数像素分辨率定义整像素位置和多个分像素位置；其中
所述预测步骤还包括以下操作：通过以下至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入所述参考块，所述至少三个或三组插值滤波器包括：
模糊插值滤波器；
抽头滤波器；以及
抽头滤波器及其后的锐化滤波器。
24.一种视频解码器，其特征在于，用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码，包括：
帧缓冲器(407)，用于存储从所述编码视频比特流得到的至少一个参考帧；
预测单元(410)，用于根据具有分数像素分辨率的运动矢量，由参考帧的参考块生成当前帧的当前块的预测块，所述分数像素分辨率定义整像素位置和多个分像素位置；其中
所述预测单元(410)用于通过以下至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入所述参考块，所述至少三个或三组插值滤波器包括：
模糊插值滤波器(302)；
抽头滤波器(303)；以及
抽头滤波器(303)及其后的锐化滤波器(311)。
25.根据权利要求24所述的视频解码器，其特征在于，所述模糊插值滤波器(302)和所述锐化滤波器(311)中至少一个是由至少一个自适应参数控制的自适应滤波器。
26.根据权利要求24或25所述的视频解码器，其特征在于，从所述三个或三组插值滤波器中选择所述插值滤波器取决于所述整像素位置或所述分像素位置，从而使得给定的整像素位置或分像素位置指示选择给定插值滤波器和/或自适应参数的值(如果存在)。
27.根据权利要求24至26中任一项所述的视频解码器，其特征在于，所述预测单元(410)用于根据插值滤波器模式从所述三个或三组插值滤波器中选择一个；以及
所述插值滤波器模式针对运动矢量的整像素位置及其关联的分像素位置定义关联的插值滤波器类型和/或自适应参数的值(如果存在)。
28.根据权利要求27所述的视频解码器，其特征在于，包括解码单元(403)，用于从所述编码视频比特流获得所述插值滤波器模式以用作信令信息。
29.根据权利要求27所述的视频解码器，其特征在于，包括解码单元(403)，用于从编码视频比特流中获取多个插值滤波器模式以及待选择插值滤波器模式的选择信息用作信令信息；其中
所述预测单元(410)用于根据所获得的选择信息从获得的插值滤波器模式中选择一个，并且根据选择的插值滤波器模式从所述三个或三组插值滤波器中选择一个。
30.根据权利要求27所述的视频解码器，其特征在于，其中，
所述预测单元(410)用于在所述视频解码器接收所述编码视频比特流之前预先存储多个插值滤波器模式；
所述视频解码器还包括解码单元(403)，用于从所述编码视频比特流获得所述预存储的待选择插值滤波器模式的选择信息用作信令信息；
所述预测单元(410)用于根据所获得的选择信息从预存储的插值滤波器模式中选择一个，并且根据选择的插值滤波器模式从所述三个或三组插值滤波器中选择一个。
31.根据权利要求25以及权利要求28至30中任一项所述的视频解码器，其特征在于，所述解码单元(403)用于在帧层、GOP(图像组)层、PPS(图像参数集合)层或SPS(序列参数集合)层上获取针对每个预测块以及帧的任意或常规区域的所述待选择插值滤波器模式的信令信息。
32.一种解码方法，用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码，其特征在于，包括：
存储(601)从所述编码视频比特流获得的至少一个参考帧；
预测步骤(602)：根据具有分数像素分辨率的运动矢量，由参考帧的参考块生成当前帧的当前块的预测块，所述分数像素分辨率定义整像素位置和多个分像素位置；其中
所述预测步骤还包括以下操作：通过以下至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入所述参考块，所述至少三个或三组插值滤波器包括：
模糊插值滤波器；
抽头滤波器；以及
抽头滤波器及其后的锐化滤波器。
33.一种含有程序代码的计算机程序，其特征在于，所述程序代码用于当所述计算机程序在计算设备上运行时，执行如权利要求23或32所述的方法。
CN201580082394.2A 2015-09-25 2015-09-25 利用可选插值滤波器进行视频运动补偿的装置和方法 Active CN107925772B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2015/000614 WO2017052409A1 (en) 2015-09-25 2015-09-25 Apparatus and method for video motion compensation with selectable interpolation filter

Publications (2)

Publication Number Publication Date
CN107925772A true CN107925772A (zh) 2018-04-17
CN107925772B CN107925772B (zh) 2020-04-14

Family

ID=55754395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580082394.2A Active CN107925772B (zh) 2015-09-25 2015-09-25 利用可选插值滤波器进行视频运动补偿的装置和方法

Country Status (13)

Country Link
US (1) US10841605B2 (zh)
EP (1) EP3354028B1 (zh)
JP (1) JP2018530244A (zh)
KR (1) KR102192778B1 (zh)
CN (1) CN107925772B (zh)
AU (1) AU2015410097B2 (zh)
BR (1) BR112018006009B1 (zh)
CA (1) CA2999826C (zh)
MX (1) MX2018003768A (zh)
MY (1) MY187403A (zh)
RU (1) RU2696311C1 (zh)
WO (1) WO2017052409A1 (zh)
ZA (1) ZA201802228B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572676A (zh) * 2019-09-27 2019-12-13 腾讯科技（深圳）有限公司 视频编码方法和装置、视频解码方法和装置及存储介质
WO2020177696A1 (en) * 2019-03-05 2020-09-10 Huawei Technologies Co., Ltd. Use of extended samples during search in decoder-side motion refinement
WO2020228692A1 (en) * 2019-05-12 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Motion prediction from temporal blocks with reference picture resampling
CN112154666A (zh) * 2019-09-24 2020-12-29 深圳市大疆创新科技有限公司 视频编解码方法和装置
WO2021036976A1 (en) * 2019-08-23 2021-03-04 Beijing Bytedance Network Technology Co., Ltd. Reference picture resampling
CN112911286A (zh) * 2021-01-29 2021-06-04 杭州电子科技大学 一种分像素插值滤波器的设计方法
CN113170207A (zh) * 2019-01-24 2021-07-23 谷歌有限责任公司 用于视频压缩的更准确的2抽头内插滤波器
CN113196777A (zh) * 2018-12-17 2021-07-30 北京字节跳动网络技术有限公司 用于运动补偿的参考像素填充
CN113661706A (zh) * 2019-04-01 2021-11-16 北京字节跳动网络技术有限公司 视频编码中的可选插值滤波器
CN113728651A (zh) * 2019-04-02 2021-11-30 北京字节跳动网络技术有限公司 视频处理中的自适应环路滤波
CN114503559A (zh) * 2019-09-30 2022-05-13 华为技术有限公司 用于视频译码中的帧间预测装置和方法的插值滤波器
CN114762326A (zh) * 2020-01-21 2022-07-15 阿里巴巴集团控股有限公司 用于自适应分辨率视频编码的下一代环路滤波器实现
US20220272324A1 (en) 2019-10-23 2022-08-25 Beijing Bytedance Network Technology Co., Ltd. Signaling for reference picture resampling
WO2022268186A1 (en) * 2021-06-25 2022-12-29 Beijing Bytedance Network Technology Co., Ltd. Conditions for usage of adaptive bilateral filters
US11570462B2 (en) 2019-04-19 2023-01-31 Beijing Bytedance Network Technology Co., Ltd. Delta motion vector in prediction refinement with optical flow process
CN116506610A (zh) * 2019-12-24 2023-07-28 北京达佳互联信息技术有限公司 对视频信号编码的方法、计算设备、存储介质、程序产品
CN116636210A (zh) * 2021-12-06 2023-08-22 腾讯美国有限责任公司 用于自适应运动矢量差分辨率的内插滤波器
US11778175B2 (en) 2019-10-23 2023-10-03 Beijing Bytedance Network Technology Co., Ltd Calculation for multiple coding tools
US11800090B2 (en) 2019-08-23 2023-10-24 Beijing Bytedance Network Technology Co., Ltd Clipping in reference picture resampling
CN117041594A (zh) * 2018-12-30 2023-11-10 北京达佳互联信息技术有限公司 用于对视频进行编码的方法、设备、存储介质和程序产品
US11924463B2 (en) 2019-04-19 2024-03-05 Beijing Bytedance Network Technology Co., Ltd Gradient calculation in different motion vector refinements
WO2024148540A1 (zh) * 2023-01-11 2024-07-18 Oppo广东移动通信有限公司 编解码方法、解码器、编码器、码流及存储介质
US12075038B2 (en) 2019-08-20 2024-08-27 Beijing Bytedance Network Technology Co., Ltd. Selective use of alternative interpolation filters in video processing

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102357142B1 (ko) * 2017-11-07 2022-02-08 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 보간 필터
EP3799692A4 (en) * 2018-06-13 2021-08-04 Huawei Technologies Co., Ltd. INTRA ENHANCEMENT AND / OR CONTOUR CORRECTION FILTER FOR VIDEO CODING ON THE BASIS OF A BIT TRAIN FLAG
CN111010568B (zh) * 2018-10-06 2023-09-29 华为技术有限公司 插值滤波器的训练方法、装置及视频图像编解码方法、编解码器
WO2020139169A1 (en) * 2018-12-28 2020-07-02 Huawei Technologies Co., Ltd. Method and apparatus of sharpening interpolation filtering for predictive coding
JP7358497B2 (ja) * 2019-03-12 2023-10-10 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン ハイブリッドビデオコード化のためのエンコーダ、デコーダ、方法、およびビデオビットストリーム、ならびにコンピュータプログラム
CN110033415B (zh) * 2019-03-20 2023-03-21 东南大学 一种基于Retinex算法的图像去模糊方法
MX2021011814A (es) 2019-03-28 2021-11-12 Huawei Tech Co Ltd Método y aparato para intra alisado.
KR102254290B1 (ko) 2020-11-18 2021-05-21 한국과학기술원 모션 처리 방법 및 장치
KR20220124031A (ko) * 2021-03-02 2022-09-13 삼성전자주식회사 영상 패킷을 송수신하는 전자 장치 및 이의 동작 방법
CN113301347B (zh) * 2021-05-08 2023-05-05 广东工业大学 一种hevc高清视频编码的优化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012109528A1 (en) * 2011-02-11 2012-08-16 Vid Scale, Inc. Edge-based video interpolation for video and image upsampling
CN103238320A (zh) * 2010-09-30 2013-08-07 三星电子株式会社 通过使用平滑插值滤波器对图像进行插值的方法和装置
CN104937941A (zh) * 2013-03-28 2015-09-23 华为技术有限公司 用于确定用于空间可缩放视频编解码器的预测块的方法

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175656B1 (en) 1999-03-25 2001-01-16 Sony Corporation Non-linear video sharpening filter
US20020063807A1 (en) 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
US6864916B1 (en) * 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
JP3995854B2 (ja) * 1999-06-10 2007-10-24 富士フイルム株式会社 画像処理方法および装置並びに記録媒体
FI117533B (fi) 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US7116831B2 (en) 2002-04-10 2006-10-03 Microsoft Corporation Chrominance motion vector rounding
JP4120301B2 (ja) 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
US20130107938A9 (en) 2003-05-28 2013-05-02 Chad Fogg Method And Apparatus For Scalable Video Decoder Using An Enhancement Stream
US7471845B2 (en) 2004-01-06 2008-12-30 Sharp Laboratories Of America, Inc. De-ringing filter
US7397853B2 (en) 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
JP4576930B2 (ja) * 2004-08-26 2010-11-10 カシオ計算機株式会社 動きベクトル検出装置、および、プログラム
RU2008106939A (ru) 2005-04-19 2009-08-27 Самсунг Электроникс Ко., Лтд. (KR) Способ и устройство адаптивного выбора контекстной модели для кодирования по энтропии
EP1841230A1 (en) 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
JP2008054267A (ja) * 2006-07-28 2008-03-06 Hitachi Ltd 画像処理装置、画像符号化装置及び画像復号化装置
US9014280B2 (en) 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
US7751873B2 (en) 2006-11-08 2010-07-06 Biotronik Crm Patent Ag Wavelet based feature extraction and dimension reduction for the classification of human cardiac electrogram depolarization waveforms
US8199812B2 (en) 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US20080205508A1 (en) 2007-02-22 2008-08-28 Streaming Networks (Pvt.) Ltd. Method and apparatus for low complexity video encoding and decoding
EP2232874B1 (en) * 2008-01-08 2012-12-05 Telefonaktiebolaget L M Ericsson (publ) Adaptive filtering
EP2081386A1 (en) 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
US8705622B2 (en) 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
US20090257499A1 (en) * 2008-04-10 2009-10-15 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US8811484B2 (en) * 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
JP4763026B2 (ja) * 2008-08-27 2011-08-31 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体
US9078007B2 (en) 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
US10198792B2 (en) 2009-10-14 2019-02-05 Dolby Laboratories Licensing Corporation Method and devices for depth map processing
US8548065B2 (en) 2009-10-22 2013-10-01 The Chinese University Of Hong Kong Parametric interpolation filter for motion-compensated prediction
US9445129B2 (en) 2010-04-13 2016-09-13 Sun Patent Trust Image coding method and image decoding method
US20110299604A1 (en) 2010-06-04 2011-12-08 Apple Inc. Method and apparatus for adaptive video sharpening
US9154807B2 (en) 2010-06-25 2015-10-06 Qualcomm Incorporated Inclusion of switched interpolation filter coefficients in a compressed bit-stream
US8761245B2 (en) 2010-12-21 2014-06-24 Intel Corporation Content adaptive motion compensation filtering for high efficiency video coding
US9172972B2 (en) * 2011-01-05 2015-10-27 Qualcomm Incorporated Low complexity interpolation filtering with adaptive tap size
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
JP5552092B2 (ja) 2011-06-13 2014-07-16 日本電信電話株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US9232233B2 (en) 2011-07-01 2016-01-05 Apple Inc. Adaptive configuration of reference frame buffer based on camera and background motion
US9432700B2 (en) 2011-09-27 2016-08-30 Broadcom Corporation Adaptive loop filtering in accordance with video coding
US9462298B2 (en) 2011-10-21 2016-10-04 Qualcomm Incorporated Loop filtering around slice boundaries or tile boundaries in video coding
US9596463B2 (en) 2012-02-22 2017-03-14 Qualcomm Incorporated Coding of loop filter parameters using a codebook in video coding
WO2013147495A1 (ko) 2012-03-26 2013-10-03 엘지전자 주식회사 스케일러블 비디오 인코딩/디코딩 방법 및 장치
WO2014003379A1 (ko) * 2012-06-24 2014-01-03 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
US9344718B2 (en) 2012-08-08 2016-05-17 Qualcomm Incorporated Adaptive up-sampling filter for scalable video coding
US20140072048A1 (en) 2012-09-13 2014-03-13 Samsung Electronics Co., Ltd Method and apparatus for a switchable de-ringing filter for image/video coding
US9596465B2 (en) 2013-01-04 2017-03-14 Intel Corporation Refining filter for inter layer prediction of scalable video coding
US20140192862A1 (en) 2013-01-07 2014-07-10 Research In Motion Limited Methods and systems for prediction filtering in video coding
US20140254659A1 (en) 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
US20160105685A1 (en) 2014-10-08 2016-04-14 Qualcomm Incorporated Boundary filtering and cross-component prediction in video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103238320A (zh) * 2010-09-30 2013-08-07 三星电子株式会社 通过使用平滑插值滤波器对图像进行插值的方法和装置
WO2012109528A1 (en) * 2011-02-11 2012-08-16 Vid Scale, Inc. Edge-based video interpolation for video and image upsampling
CN104937941A (zh) * 2013-03-28 2015-09-23 华为技术有限公司 用于确定用于空间可缩放视频编解码器的预测块的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SYCHEV MAXIM等: "sharpening filter for interlayer prediction", 《2014 IEEE VISUAL COMMUNICATIONS AND IMAGE PROCESSING COFERENCE》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113196777A (zh) * 2018-12-17 2021-07-30 北京字节跳动网络技术有限公司 用于运动补偿的参考像素填充
CN113196777B (zh) * 2018-12-17 2024-04-19 北京字节跳动网络技术有限公司 用于运动补偿的参考像素填充
CN113228637A (zh) * 2018-12-17 2021-08-06 北京字节跳动网络技术有限公司 依赖于形状的插值滤波器
CN117041594A (zh) * 2018-12-30 2023-11-10 北京达佳互联信息技术有限公司 用于对视频进行编码的方法、设备、存储介质和程序产品
CN117041594B (zh) * 2018-12-30 2024-05-14 北京达佳互联信息技术有限公司 用于对视频进行编码的方法、设备、存储介质和程序产品
CN113170207A (zh) * 2019-01-24 2021-07-23 谷歌有限责任公司 用于视频压缩的更准确的2抽头内插滤波器
US11902508B2 (en) 2019-03-05 2024-02-13 Huawei Technologies Co., Ltd. Use of extended samples during search in decoder-side motion refinement
WO2020177696A1 (en) * 2019-03-05 2020-09-10 Huawei Technologies Co., Ltd. Use of extended samples during search in decoder-side motion refinement
US11936855B2 (en) 2019-04-01 2024-03-19 Beijing Bytedance Network Technology Co., Ltd. Alternative interpolation filters in video coding
CN113661706B (zh) * 2019-04-01 2023-11-07 北京字节跳动网络技术有限公司 视频编码中的可选插值滤波器
CN113661706A (zh) * 2019-04-01 2021-11-16 北京字节跳动网络技术有限公司 视频编码中的可选插值滤波器
CN113728651A (zh) * 2019-04-02 2021-11-30 北京字节跳动网络技术有限公司 视频处理中的自适应环路滤波
US11997303B2 (en) 2019-04-02 2024-05-28 Beijing Bytedance Network Technology Co., Ltd Bidirectional optical flow based video coding and decoding
CN113728651B (zh) * 2019-04-02 2022-10-25 北京字节跳动网络技术有限公司 视频处理中的自适应环路滤波
US11516497B2 (en) 2019-04-02 2022-11-29 Beijing Bytedance Network Technology Co., Ltd. Bidirectional optical flow based video coding and decoding
US11924463B2 (en) 2019-04-19 2024-03-05 Beijing Bytedance Network Technology Co., Ltd Gradient calculation in different motion vector refinements
US11570462B2 (en) 2019-04-19 2023-01-31 Beijing Bytedance Network Technology Co., Ltd. Delta motion vector in prediction refinement with optical flow process
WO2020228692A1 (en) * 2019-05-12 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Motion prediction from temporal blocks with reference picture resampling
US11671602B2 (en) 2019-05-12 2023-06-06 Beijing Bytedance Network Technology Co., Ltd Signaling for reference picture resampling
US12075038B2 (en) 2019-08-20 2024-08-27 Beijing Bytedance Network Technology Co., Ltd. Selective use of alternative interpolation filters in video processing
WO2021036976A1 (en) * 2019-08-23 2021-03-04 Beijing Bytedance Network Technology Co., Ltd. Reference picture resampling
US11800090B2 (en) 2019-08-23 2023-10-24 Beijing Bytedance Network Technology Co., Ltd Clipping in reference picture resampling
CN112154666A (zh) * 2019-09-24 2020-12-29 深圳市大疆创新科技有限公司 视频编解码方法和装置
WO2021056212A1 (zh) * 2019-09-24 2021-04-01 深圳市大疆创新科技有限公司 视频编解码方法和装置
CN110572676B (zh) * 2019-09-27 2023-12-12 腾讯科技（深圳）有限公司 视频编码方法和装置、视频解码方法和装置及存储介质
CN110572676A (zh) * 2019-09-27 2019-12-13 腾讯科技（深圳）有限公司 视频编码方法和装置、视频解码方法和装置及存储介质
CN114503559A (zh) * 2019-09-30 2022-05-13 华为技术有限公司 用于视频译码中的帧间预测装置和方法的插值滤波器
CN114503559B (zh) * 2019-09-30 2023-10-20 华为技术有限公司 用于视频译码中的帧间预测装置和方法的插值滤波器
US12047609B2 (en) 2019-09-30 2024-07-23 Huawei Technologies Co., Ltd. Interpolation filter for an inter prediction apparatus and method for video coding
US11778175B2 (en) 2019-10-23 2023-10-03 Beijing Bytedance Network Technology Co., Ltd Calculation for multiple coding tools
US20220272324A1 (en) 2019-10-23 2022-08-25 Beijing Bytedance Network Technology Co., Ltd. Signaling for reference picture resampling
US11706409B2 (en) 2019-10-23 2023-07-18 Beijing Bytedance Network Technology Co., Ltd Signaling for reference picture resampling
CN116506610A (zh) * 2019-12-24 2023-07-28 北京达佳互联信息技术有限公司 对视频信号编码的方法、计算设备、存储介质、程序产品
CN114762326B (zh) * 2020-01-21 2024-03-22 阿里巴巴集团控股有限公司 用于自适应分辨率视频编码的下一代环路滤波器实现
CN114762326A (zh) * 2020-01-21 2022-07-15 阿里巴巴集团控股有限公司 用于自适应分辨率视频编码的下一代环路滤波器实现
CN112911286A (zh) * 2021-01-29 2021-06-04 杭州电子科技大学 一种分像素插值滤波器的设计方法
WO2022268186A1 (en) * 2021-06-25 2022-12-29 Beijing Bytedance Network Technology Co., Ltd. Conditions for usage of adaptive bilateral filters
CN116636210A (zh) * 2021-12-06 2023-08-22 腾讯美国有限责任公司 用于自适应运动矢量差分辨率的内插滤波器
WO2024148540A1 (zh) * 2023-01-11 2024-07-18 Oppo广东移动通信有限公司 编解码方法、解码器、编码器、码流及存储介质

Also Published As

Publication number Publication date
WO2017052409A1 (en) 2017-03-30
WO2017052409A8 (en) 2017-10-26
CA2999826A1 (en) 2017-03-30
CN107925772B (zh) 2020-04-14
EP3354028B1 (en) 2021-09-15
RU2696311C1 (ru) 2019-08-01
AU2015410097B2 (en) 2020-01-23
BR112018006009A2 (pt) 2018-10-30
ZA201802228B (en) 2019-01-30
KR20180057676A (ko) 2018-05-30
KR102192778B1 (ko) 2020-12-18
US20180220148A1 (en) 2018-08-02
JP2018530244A (ja) 2018-10-11
CA2999826C (en) 2020-10-13
MY187403A (en) 2021-09-22
EP3354028A1 (en) 2018-08-01
MX2018003768A (es) 2018-09-12
US10841605B2 (en) 2020-11-17
AU2015410097A1 (en) 2018-04-26
BR112018006009B1 (pt) 2023-12-12

Similar Documents

Publication Publication Date Title
CN107925772A (zh) 利用可选插值滤波器进行视频运动补偿的装置和方法
JP6335365B2 (ja) 復号装置
CN107682698B (zh) 用于编码和解码图像信息的方法、装置以及解码器可读存储介质
CN108141603A (zh) 视频运动补偿装置和方法
CN104584560B (zh) 在去块时使用色度量化参数偏移
CN107396105B (zh) 图像编解码方法和装置、以及计算机可读介质
CN105025293B (zh) 对视频编码的方法和设备以及对视频解码的方法和设备
KR101362757B1 (ko) 인터 컬러 보상을 이용한 영상의 부호화 방법 및 장치,복호화 방법 및 장치
CN110393011A (zh) 用于视频编解码中具有帧内方向预测模式的内含帧内编解码工具设定的方法和装置
CN108028937A (zh) 视频运动补偿装置和方法
JP5203379B2 (ja) ビデオ圧縮用の空間規約誘導時間予測
CN107211150A (zh) 动态更新质量至较高的色度采样率
CN108353171A (zh) 视频编码样本自适应滤波的方法和装置
CN107257458A (zh) 采用回路内滤波处理来处理视频的方法和装置
CN107295341A (zh) 视频编码方法
CN110199521A (zh) 用于有损视频编码的低复杂度混合域协同环内滤波器
CN108141602A (zh) 视频运动补偿装置和方法
CN107211161A (zh) 包括最后阶段处理的扩展空间的视频编码优化
CN105306957A (zh) 自适应环路滤波方法和设备
WO2022116113A1 (zh) 一种帧内预测方法、装置及解码器和编码器
CN107113426B (zh) 使用广义图形参数执行基于图形的变换的方法和设备
CN112616326B (zh) 图像解码装置、图像解码方法和存储介质
CN112534814B (zh) 视频编码中的系数上下文建模方法和设备
Han et al. Quadtree-based non-local Kuan’s filtering in video compression
JP6912642B2 (ja) 画像復号装置、画像復号方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant