CN108141603A - 视频运动补偿装置和方法 - Google Patents

视频运动补偿装置和方法 Download PDF

Info

Publication number
CN108141603A
CN108141603A CN201580083396.3A CN201580083396A CN108141603A CN 108141603 A CN108141603 A CN 108141603A CN 201580083396 A CN201580083396 A CN 201580083396A CN 108141603 A CN108141603 A CN 108141603A
Authority
CN
China
Prior art keywords
sharpening
frame
block
pattern
prediction block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580083396.3A
Other languages
English (en)
Other versions
CN108141603B (zh
Inventor
谢尔盖·尤利耶维奇·伊柯宁
马克西姆·波里索维奇·瑟乔夫
维克多·阿列克谢耶维奇·斯蒂平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108141603A publication Critical patent/CN108141603A/zh
Application granted granted Critical
Publication of CN108141603B publication Critical patent/CN108141603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种视频编码器，用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流，包括：帧缓冲器(207)，用于存储所述视频流的至少一个参考帧；帧间预测单元(210)，用于根据参考帧的参考块生成当前帧的当前块的预测块。所述预测块通过具有分数像素分辨率的运动矢量生成。所述分数像素分辨率针对运动矢量的每个整数位置定义多个关联的分数位置。所述视频编码器还包括锐化滤波器(211)，用于对所述预测块进行滤波；以及控制单元(212)，用于根据所述运动矢量的整数或分数位置控制所述锐化滤波器(211)，所述运动矢量用于生成所述预测块。

Description

视频运动补偿装置和方法
技术领域
本发明一般涉及视频处理领域，涉及视频运动补偿装置，并且具体地涉及用于支持运动补偿以预测视频中的帧的视频编码器和视频解码器。本发明还涉及编码方法，用于使用运动补偿对视频流进行编码；和解码方法，用于使用运动补偿对视频流进行解码。最后，本发明涉及一种包含程序代码的计算机程序，以执行所述方法。
背景技术
在视频处理领域中，特别是在混合视频编码和压缩领域，已知使用了帧间和帧内预测以及变换编码。这些混合视频编码技术用于诸如H.261、H.263、MPEG-1、2和4、H.264/AVC或H.265/HEVC等已知视频压缩标准中。
图1示出了根据现有技术的视频编码器。视频编码器100包括用于接收视频流的帧或图像的输入块的输入端和用于生成编码视频比特流的输出端。视频编码器100用于对视频流进行预测、变换、量化和熵编码。变换、量化和熵编码分别由变换单元101、量化单元102和熵编码单元103执行，以生成编码视频比特流作为输出。
视频流对应于多个帧，其中每个帧被分成帧内或帧间编码的一定大小的块。例如视频流的第一帧的块由帧内预测单元109进行帧内编码。仅使用同一帧内的信息进行帧内编码，使得其可以独立解码，并且可以在比特流中提供用于随机访问的入口点。视频流的其他帧的块由帧间预测单元110进行帧间编码。来自称作重建的参考帧的编码帧的信息用于减少时间冗余，从而根据重建的参考帧中相同大小的块预测出帧间编码帧的每个块。模式选择单元108用于选择是由帧内预测单元109还是由帧间预测单元110处理帧的块。
为了执行帧间预测，编码参考帧由逆量化单元104和逆变换单元105处理，然后添加到预测块，并由环路滤波单元106处理，以获得重建的参考帧，然后将其存储在帧缓冲器107中用于时间帧间预测。
帧间预测单元110包含待帧间编码的当前帧或图像以及来自帧缓冲器107的一个或多个参考帧或图像用作输入。由帧间预测单元110应用运动估计和运动补偿。运动估计用于基于某个损失函数得到运动矢量和参考帧。然后运动补偿根据参考帧的参考块到当前帧的变换来描述当前帧的当前块。帧间预测单元110针对当前块输出预测块，其中所述预测块将待编码的当前块与其预测块之间的差值最小化，即最小化残余块。例如，残余块的最小化基于速率失真优化过程。
然后，由变换单元101对当前块与其预测(即，残余块)之间的差值进行变换。由量化单元102和熵编码单元103对变换系数进行量化和熵编码。如此生成的编码视频比特流包括帧内编码块和帧间编码块。
这种混合视频编码包括结合预测误差的变换编码的运动补偿预测。对于每个块，估计的运动矢量也作为编码视频比特流中的信令数据传输。当前的标准H.264/AVC和H.265/HEVC基于针对运动矢量的1/4像素位移分辨率。为了估计和补偿分数像素位移，参考帧必须在分数像素位置上插入。为了在分数像素位置上获得这样的插入帧，在帧间预测单元110中使用插值滤波器。
插入帧的质量很大程度上取决于所使用的插值滤波器的属性。短抽头滤波器例如双线性滤波器可以抑制高频并且使插入帧变得模糊。其他滤波器如长抽头滤波器可以保持高频率，但在尖锐边缘附近产生一些环状伪影。另一个问题是运动补偿利用先前编码和重建的帧作为参考帧：参考帧可能包含由变换系数量化引起的伪影，这称为吉布斯效应。由于这些伪影，边缘以及边缘周围的区域也可能失真。
在现有技术中已知通过对解码帧应用锐化或去模糊，可以增加边缘的质量。这种后滤波设计的问题在于，锐化滤波器不包括在编码过程中。因此，锐化滤波器的效果在速率失真优化过程中不能考虑在内。这可能会导致客观质量指标如峰值信噪比(peak signalto noise ratio，简称PSNR)的降低。
为了增加客观质量，在现有技术中还已知将锐化滤波器添加到环路滤波单元106中。相应地，锐化滤波器应用于重建的参考帧，并且可以通过去除参考帧中的压缩伪影提升运动补偿预测。然而，这样的环路滤波技术不能去除由运动插值滤波器引起的伪影。
发明内容
认识到上述提及的缺点和问题，本发明旨在改进现有技术。特别地，本发明的目的是提供一种视频编码器、编码方法、视频解码器和解码方法，用于对后续帧的视频流进行改进编码和解码。
特别地，本发明旨在提高帧间预测编码的质量。特别地，本发明旨在去除由运动估计和运动补偿引起的伪影。具体地，本发明的目的是减少运动插值滤波器的负面影响，即降低在分数像素位置上插入参考帧的负面影响，并通过减少参考帧的量化伪影提高预测质量。
本发明上述提及的目标通过所附独立权利要求提供的方案实现。本发明有利的实现方案在各自的从属权利要求中进一步定义。
本发明第一方面提供一种视频编码器，用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流。所述视频编码器包括帧缓冲器，用于存储所述视频流的至少一个参考帧，所述参考帧不同于所述视频流的当前帧。所述视频编码器包括帧间预测单元，用于根据所述参考帧的参考块生成所述当前帧的当前块的预测块。所述预测块通过具有分数像素分辨率的运动矢量生成。所述分数像素分辨率针对运动矢量的每个整数位置定义多个关联的分数位置。所述视频编码器包括锐化滤波器，用于对所述预测块进行滤波。所述视频编码器包括控制单元，用于根据用于生成所述预测块的所述运动矢量的整数或分数位置控制所述锐化滤波器。
因而，将锐化滤波器应用于预测块提高了帧间预测编码的质量，因为其去除或至少减少了在分数像素位置上插入参考帧或块引起的环状伪影，即由运动插值滤波器引起的环状伪影，同时有益地保持了插入边缘的质量。其还去除或至少减少由参考块中的变换系数的量化引起的环状伪影，也称为吉布斯效应。其进一步减少了量化和运动插入引起的边缘模糊，并且也减少了运动模糊造成的边缘模糊。另外，本发明增加了重建的帧或块中边缘的主观质量。
因而，根据本发明将锐化滤波器放置在运动插值滤波器之后，即在帧间预测单元之后，使得锐化滤波器执行环内参考滤波器也即环路滤波单元的任务，而同时可以去除或至少减少由运动插值滤波造成的伪影。此外，使用分数运动矢量位置控制锐化滤波器是有益的：通过将分数运动矢量位置用作信令点，避免了开启或关闭锐化滤波器的直接信令和滤波器的自适应系数；同时减少了信令开销，能够为自适应锐化预测滤波器工具找到更好的速率失真权衡。该提出的方法可以适应视频内容的本地特征，尤其是预测块的本地特征，使得甚至小块的编码仅需要更少的信令开销用于向解码器进行传输。
根据第一方面所述的视频编码器的一个实现形式中，所述锐化滤波器包括至少一个自适应参数。所述控制单元用于通过根据所述运动矢量的整数或分数位置选择所述自适应参数的参数值并且通过将选择的参数值应用于所述锐化滤波器来控制所述锐化滤波器。
因而，预测块通过能用于视频的具体内容的锐化滤波器来进行滤波。自适应能够考虑视频内容的本地特征，并且由于使用了分数运动矢量位置控制所述锐化滤波器，可以限制所需的信令开销。
根据第一方面所述的视频编码器的另一种实现形式中，所述运动矢量的每个整数或分数位置与所述自适应参数的参数值关联。假若所述自适应锐化滤波器具有若干个自适应参数，所述运动矢量的每个整数或分数位置可以与自适应参数值的集合关联。
因而，保证了每个运动矢量的位置可以用于获得参数值并因此控制所述锐化滤波器。
根据第一方面所述的视频编码器的另一种实现形式中，所述运动矢量的至少一个整数或分数位置无关联的参数值。若所述运动矢量的位置未关联参数值，所述控制单元用于绕开所述锐化滤波器。
因而，能够绕开所述锐化滤波器而无需向解码器发送额外的信令数据。
根据第一方面所述的视频编码器的另一种实现形式中，所述视频编码器包括多个锐化滤波器，用于对所述预测块进行滤波。所述控制单元用于根据所述运动矢量的整数或分数位置选择所述多个锐化滤波器中的一个。所述控制单元用于将选择的锐化滤波器应用到所述预测块。
因而，本方案又提高了所述视频编码器对所述视频流的内容的自适应性。实际上，所述控制单元可以控制所述多个锐化滤波器，其根据所述运动矢量的整数或分数位置选择所述锐化滤波器中的一个。
根据第一方面所述的视频编码器的另一种实现形式中，锐化滤波器包括边缘图计算单元，用于生成源块的边缘图，所述源块是所述参考块或所述预测块。所述锐化滤波器包括模糊滤波器，用于模糊所述源块的所述边缘图。所述锐化滤波器包括高通滤波器，用于通过对所述模糊的边缘图进行高通滤波，生成针对所述源块每个位置的导数矢量。所述锐化滤波器包括缩放单元，用于通过使用锐化强度系数缩放所述导数矢量生成位移矢量。所述锐化滤波器包括扭曲单元，用于基于所述位移矢量扭曲所述预测块。所述自适应参数为所述锐化强度系数。因而，锐化滤波器的这种结构定义了非线性锐化滤波器，有益地，其可以更好地消除环状伪影。此外，使用锐化强度系数作为自适应参数意味着只需要一个自适应参数，这进一步降低了信令开销。
根据第一方面所述的视频编码器的另一种实现形式中，所述控制单元用于控制绕开和应用预测块滤波中的至少一种，所述预测块滤波由锐化滤波器根据所述运动矢量的整数或分数位置进行。
因而，控制单元可以决定应用或绕开锐化滤波器。然后，可以将该决定应用于每个特定的情况，例如待编码的特定视频流。而且，可以绕开锐化滤波器来节省视频编码器中的计算资源。另一方面，如果优先考虑提高插入质量和减少伪影，可以应用锐化滤波器。对运动矢量的位置依赖进一步降低了信令开销。
根据第一方面所述的视频编码器的另一种实现形式中，锐化图案分别针对运动矢量的整数位置以及一个或多个关联的分数位置定义锐化信息。所述控制单元用于利用至少一个锐化图案，从而根据在所述运动矢量对应的位置上的至少一个锐化图案中定义的锐化信息控制所述锐化滤波器，所述运动矢量用于生成所述预测块。
因而，例如，为一个帧提供若干不同分数信令图案是有益的，能够进一步提高内容自适应性。根据第一方面所述的视频编码器的另一种实现形式中，所述控制单元用于利用单个锐化图案。因而，可以减少用于控制所述锐化滤波器所需的并且用于向解码器进行传输的信令开销。
根据第一方面所述的视频编码器的另一种实现形式中，所述控制单元用于修改所述单个锐化图案，特别用于针对每个预测块、或针对当前帧的任意或常规区域、或在帧层、GOP(图像组)层、PPS(图像参数集合)层或SPS(序列参数集合)层修改所述单个锐化图案。
因而，可以将锐化图案设置为期望的粒度，从而可以优化信令。
根据第一方面所述的视频编码器的另一种实施形式中，定义了多个锐化图案，所述控制单元用于基于残余块的最小化或者基于成本标准例如速率失真优化来选择锐化图案中的一个，所述残余块为当前块和预测块之间差值。
因而，可以进一步提升运动补偿。能够比较针对不同锐化图案获得的残余块。可以通过选择将残余块或者成本标准最小化的预测块提升运动补偿。然后，从不同的锐化图案中选择与选择的预测块对应的锐化图案，以提升运动补偿。
根据第一方面所述的视频编码器的另一种实施形式中，所述视频编码器包括编码单元，用于生成所述编码视频比特流，并在所述编码视频比特流中添加所述控制单元选择的锐化图案。因而，在对编码视频比特流进行解码时，可以获得该锐化图案索引，并相应地在解码器侧控制锐化滤波器，从而保证正确的解码。
根据第一方面所述的视频编码器的另一种实施形式中，所述至少一个锐化图案预存在所述控制单元能够访问的内存中。例如，所述锐化图案可以预存在用于解码所述编码视频比特流的视频解码器的内存中。
因而，没有必要将所述至少一个锐化图案作为信令信息添加至所述编码视频比特流中。这能够减少总体信令。例如，事先知道(即，预存)锐化图案这一事实意味着在编码或解码所述视频流之前将所述至少一个锐化图案预存在控制单元中。在多个锐化图案的情况下，能够通过将选择的锐化图案的标识或索引添加到编码视频比特流来向解码器发信号通知该选择的锐化图案。在解码器获得该标识或索引之后，能够从预存在解码器的图案中选择正确的图案。根据第一方面所述的视频编码器的另一种实施形式中，所述视频编码器包括编码单元，用于生成所述编码视频比特流，并在所述编码视频比特流中添加所述控制单元选择的至少一个锐化图案。
因而，解码器能够获得锐化图案并能够正确地解码编码的视频
根据第一方面所述的视频编码器的另一种实施形式中，所述控制单元用于更改锐化图案的数量和/或所述至少一个锐化图案的锐化信息。
因而，如有需要，所述编码器能够修改锐化图案。例如，所述视频编码器同样能够增加锐化图案的数量，以针对视频内容提供更高的适应性。
根据第一方面所述的视频编码器的另一种实施形式中，针对每个预测块、或针对帧的任意或常规区域、或在帧层、GOP(图像组)层、PPS(图像参数集合)层或SPS(序列参数集合)层更改所述锐化图案的数量和/或所述至少一个锐化图案的锐化信息。
因而，可以将锐化图案的内容和数量设置为期望的粒度，从而可以优化信令。
根据第一方面所述的视频编码器的另一种实施形式中，所述锐化信息是所述锐化滤波器的自适应参数的值或者是定义应用或绕开所述锐化滤波器的值。
因而，锐化图案可以包含控制锐化滤波器所必需的信息。
根据第一方面所述的视频编码器的另一种实施形式中，所述帧间预测单元包括插值单元，用于在分数位置上插入所述参考块。
因而，能够提升帧间预测而且所述插入的分数位置能够用于控制所述锐化滤波器。
本发明第二方面提供一种编码方法，用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流。该方法包括存储所述视频流的至少一个参考帧，所述参考帧不同于所述视频流的当前帧。所述方法包括根据所述参考帧的参考块生成所述当前帧的当前块的预测块。所述预测块通过具有分数像素分辨率的运动矢量生成。所述分数像素分辨率针对运动矢量的每个整数位置定义多个关联的分数位置。所述方法包括应用锐化滤波器到所述预测块。所述方法包括根据用于生成所述预测块的所述运动矢量的整数或分数位置控制应用所述锐化滤波器。
根据本发明第二方面的方法的其它特征或实现方式可以用于执行根据本发明第一方面及其不同的实现形式的视频编码器的功能。
本发明第三方面提供一种视频解码器，用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码。所述视频解码器包括帧缓冲器，用于存储从所述编码视频比特流得到的至少一个参考帧，所述参考帧不同于编码视频比特流的当前帧。所述视频解码器包括帧间预测单元，用于根据所述参考帧的参考块生成所述当前帧的当前块的预测块。所述预测块通过具有分数像素分辨率的运动矢量生成。所述分数像素分辨率针对运动矢量的每个整数位置定义多个关联的分数位置。所述视频解码器包括锐化滤波器，用于对所述预测块进行滤波。所述视频解码器包括控制单元，用于根据用于生成所述预测块的所述运动矢量的整数或分数位置控制所述锐化滤波器。
因而，通过第一方面的视频编码器所获得的优点也能通过第三方面的视频解码器获得。
根据第三方面所述的视频解码器的一个实现形式中，所述控制单元用于控制绕开和应用预测块滤波中的至少一种，所述预测块滤波由锐化滤波器根据所述运动矢量的整数或分数位置进行。
因而，可根据每个特定情况决定应用或绕开锐化滤波器单元。而且，可以绕开锐化滤波器来节省视频编码器和视频解码器中的计算资源。另一方面，如果优先考虑提高插入质量和减少伪影，可以应用锐化滤波器。对运动矢量的位置依赖进一步降低了信令开销。
根据第三方面所述的视频解码器的一个实现形式中，锐化图案分别针对运动矢量的整数位置以及一个或多个关联的分数位置定义锐化信息。所述控制单元用于利用至少一个锐化图案，从而根据在所述运动矢量对应的位置上的至少一个锐化图案中定义的锐化信息控制所述锐化滤波器，所述运动矢量用于生成所述预测块。
因而，例如，为一个帧提供若干不同分数信令图案是有益的，能够进一步提高内容自适应性。根据第三方面所述的视频解码器的一个实现形式中，所述视频解码器包括解码单元，用于解码来自所述编码视频比特流的至少一个锐化图案。所述控制单元用于根据所述解码单元解码的锐化图案中定义的锐化信息控制所述锐化滤波器。
因而，所述视频解码器能够获得锐化图案并能够正确地解码编码的视频
根据第三方面所述的视频解码器的一种实施形式中，所述至少一个锐化图案预存在所述控制单元能够访问的内存中。例如，所述锐化图案可以预存在用于生成所述编码视频比特流的视频编码器的内存中。
因而，没有必要将所述至少一个锐化图案作为信令信息添加至所述编码视频比特流中。这能够减少总体信令。例如，事先知道锐化图案这一事实意味着在接收或解码所述编码视频比特流之前预存所述至少一个锐化图案。
根据第三方面所述的视频解码器的一种实施形式中，根据所述编码视频比特流的选择的锐化图案信息，针对每个预测块、或针对帧的任意或常规区域、或在帧层、GOP(图像组)层、PPS(图像参数集合)层或SPS(序列参数集合)层使用所述锐化图案。
因而，可以修改所述锐化图案的粒度，从而可以优化信令。
根据第三方面所述的视频解码器的一个实现形式中，所述控制单元用于利用单个锐化图案。因而，可以降低控制所述锐化滤波器所需的信令开销。
根据第三方面所述的视频解码器的一种实施形式中，所述单个锐化图案预存在所述控制单元能够访问的内存中。
根据第三方面所述的视频解码器的一种实施形式中，所述控制单元用于针对每个预测块、或针对当前帧的任意或常规区域、或在帧层、GOP(图像组)层、PPS(图像参数集合)层或SPS(序列参数集合)层修改所述单个锐化图案。
根据第三方面所述的视频解码器的一种实施形式中，所述控制单元用于根据所述编码视频比特流的锐化图案信息针对每个预测块、或针对当前帧的任意或常规区域、或在帧层、GOP(图像组)层、PPS(图像参数集合)层或SPS(序列参数集合)层修改所述单个锐化图案。
根据第三方面所述的视频解码器的一种实施形式中，所述锐化信息是所述锐化滤波器的自适应参数的值或者是定义应用或绕开所述锐化滤波器的值。
根据本发明第一方面的视频编码器的其他特征或实施方式，例如所述锐化滤波器及其结构，也适用于根据本发明第三方面的视频解码器。
本发明第四方面提供一种解码方法，用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码。所述方法包括存储从所述编码视频比特流得到的至少一个参考帧，所述参考帧不同于所述编码视频比特流的当前帧。所述方法包括根据所述参考帧的参考块生成所述当前帧的当前块的预测块。所述预测块通过具有分数像素分辨率的运动矢量生成。所述分数像素分辨率针对运动矢量的每个整数位置定义多个关联的分数位置。所述方法包括应用锐化滤波器到所述预测块。所述方法包括根据用于生成所述预测块的所述运动矢量的整数或分数位置控制应用所述锐化滤波器。
根据本发明第四方面的方法的其它特征或实现方式可以用于执行根据本发明第三方面及其不同的实现形式的视频解码器的功能。
本发明的第五方面提供了一种具有程序代码的计算机程序，所述程序代码用于当计算机程序在计算设备上运行时执行这种编码和/或解码方法。
本发明提出一种提升运动补偿的提升方案，通过将自适应锐化滤波器应用于运动预测信号(即预测块)来实现。提出了通过减少环状伪影并增加运动预测块中边缘的锐度来提升运动补偿。提出了将锐化滤波器作为预测滤波器，可以置于编码器和解码器中，用于增强运动补偿。本发明提出使用，例如，运动矢量位置作为信令点来应用或绕开锐化滤波器以及在应用滤波器的情况下发信号通知自适应锐化滤波器参数。分数位置可以用来发信号通知自适应参数/系数的一个值或不同值。非线性锐化预测滤波器能够用来提升运动补偿，包括只有单个自适应参数时的实现形式。为了进一步提高内容自适应性，可以为一个帧定义若干不同的分数信令图案。可以选择最优的图案并针对编码图像的每个特定区域发信号通知。
需要注意的是，本申请所描述的所有设备、元件、单元和方法均可在软件或硬件元件或它们的任意组合中实现。本申请中描述的各种实体所执行的所有步骤以及所描述的各种实体要执行的功能旨在表示各个实体用于执行各个步骤和功能。即使在具体实施例的下述描述中，完全由外部实体形成的具体功能或步骤未在执行该具体步骤或功能的该实体的具体细节元件的描述中反映，技术人员应清楚可以在各个软件或硬件元件或它们的任意组合中实现这些方法和功能。
附图说明
结合所附附图，下面具体实施例的描述将阐述上述本发明的各方面及其实现形式，其中：
图1示出了根据现有技术的视频编码器；
图2示出了根据本发明实施例的一种视频编码器；
图3示出了根据本发明实施例的一种视频解码器；
图4示出了根据本发明的锐化滤波器的一个实施例；
图5示出了根据本发明实施例的一种视频编码方法；
图6示出了根据本发明实施例的一种视频解码方法；
图7示出了根据本发明实施例的锐化图案。
图8示出了根据本发明另一实施例的锐化图案；
图9示出了具有不同锐化图案的一个本发明实施例。
具体实施方式
图2示出了根据本发明实施例的一种视频编码器，特别是一种用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流的视频编码器200。
视频编码器200特别地包括帧缓冲器207、帧间预测单元210、锐化滤波器211和控制单元212。
帧缓冲器207用于存储所述视频流的至少一个参考帧或图像。所述参考帧不同于所述视频流的当前帧。特别地，在本发明的上下文中，所述当前帧是当前编码的视频流的帧，而参考帧是已经被编码的视频流的帧。下面所提及的帧摂都可以被图像替代。
帧间预测单元210用于根据参考帧的参考块生成当前帧的当前块的预测块。参考帧优选地是存储在帧缓冲器207中的参考帧，而当前块优选地对应于视频编码器200的输入，其在图2中称为视频块。
所述预测块通过具有分数像素分辨率的运动矢量生成。所述分数像素分辨率针对运动矢量的每个整数位置定义多个关联的分数位置。特别地，使用帧间编码技术对当前帧进行编码，即，根据与当前帧不同的至少一个参考帧预测当前帧。参考帧可以是先前帧，即在后续帧的视频流内位于当前帧之前的帧。或者，如果使用前向预测，则参考帧可以是未来帧，即位于当前帧之后的帧。假若有多个参考帧，至少一个可以是所述先前帧，并且其中至少一个可以是所述未来帧。参考帧可以是帧内编码的，即可以不使用任何其它帧并且不依赖于其他帧进行编码，使得可以对其进行独立解码并且其可以用作随机视频访问的入口点。
特别地，帧间预测单元210用于通过生成运动矢量并估计参考帧的参考块与当前帧的当前块之间的运动进行运动估计。如上所述，所述运动矢量具有分数像素分辨率，即，其可以表示整数位置或分数位置。所述运动估计在编码期间执行，从而基于某个损失函数例如速率失真优化找到指向参考帧中的最佳参考块的运动矢量。除了运动估计之外，帧间预测单元210还用于通过基于运动矢量和参考块生成针对当前块的预测块进行运动补偿。
特别地，运动预测包括运动估计单元和运动补偿单元。运动矢量是通过运动估计单元生成的。参考块和当前块优选地是参考帧和当前帧的各自的区域或子区域。这样的块可以具有规则的形状例如矩形或不规则形状。或者，所述块的大小可以与帧的大小相同。当前块和参考块都具有相同的大小。块的大小可以通过作为边信息或信令数据传输给解码器的块模式信息定义。块可以对应于编码单元，该编码单元是预定义大小的视频序列的基本编码结构，其包含帧的一部分，例如，64x64像素。
根据参考块，生成针对当前块的预测块。特别地，可以根据多个参考块生成针对当前帧多个当前块的多个预测块。这些参考块可以是单个参考帧的一部分，或者可以从不同的参考帧中选择。可以针对当前帧生成几个预测块，并且可以合并针对当前帧生成的预测块来获得当前帧的预测帧。
所述锐化滤波器211是自适应锐化滤波器，用于对所述预测块进行自适应滤波。因此，锐化滤波器211应用于帧间预测单元210生成的预测块。在帧间预测单元210之后添加了本发明提出的锐化滤波器211，以增强通过帧间预测获得的预测块，即通过包括运动估计和运动补偿的运动预测获得的预测块。因此，锐化滤波器211用于生成锐化的预测块。
控制单元212用于根据用于生成预测块的运动矢量的整数或分数位置控制锐化滤波器。
控制单元212用于根据运动矢量的整数或分数位置应用或绕开锐化滤波器，并为自适应锐化滤波器211提供选择的参数值。
锐化滤波器211有益地利用至少一个自适应参数。控制单元212可用于根据所述运动矢量的整数或分数位置选择所述自适应参数的参数值并且在应用了锐化滤波器时，将选择的参数值应用于自适应锐化滤波器211。
优选地，自适应锐化滤波器211仅利用一个由控制单元212设定的自适应参数。
图2中的视频编码器200包括类似于图1中的视频编码器100中的另外的单元，特别地用于支持混合视频编码。例如，视频编码器200包含类似单元，所述类似单元为变换单元201，量化单元202及熵编码器或熵编码单元203，本领域已知，分别用于通过变换到频域产生变换系数，将系数量化并且对量化系数(例如与信令数据一起)进行熵编码。变换单元201的输入是残余块，该残余块定义为当前帧的当前块与预测块之间的差值，所述当前帧的当前块在图2中称为视频块，所述预测块由帧间预测单元210，锐化滤波器211，或帧内预测单元209输出。熵编码单元203用于生成编码视频比特流作为输出。熵编码单元203还用于将帧间预测单元210生成的运动矢量作为信令数据添加至编码视频比特流。
视频编码器200包含另外的类似单元，该类似单元为逆量化单元204，逆变换单元205及环路滤波单元206。量化单元202生成的量化变换系数由逆量化单元204和逆变换单元205分别进行逆量化和逆变换，以获得与馈送到变换单元201的残余块相对应的重建的残余块。然后将重建的残余块添加到先前用于生成残余块的预测块中，以获得对应当前块的重建的当前块，该重建的当前块在图2中称为重建的视频块。
该重建的当前块可以由环路滤波单元206处理以消除按块处理和量化所引入的伪影。然后，可以通过重建的当前块重建包括至少一个当前块或有益地包括多个当前块的当前帧。该重建的当前帧可以存储在帧缓冲器207中，在对视频流的另一个帧进行帧间预测时用作参考帧。视频编码器200中提供了模式选择单元208，类似图1，用于选择视频编码器200的输入块是由帧内预测单元209还是由帧间预测单元210进行处理。模式选择单元208相应地选择是仅使用来自帧的信息对该帧的块进行帧内编码还是使用来自其它帧的附加信息(即，来自存储在帧缓冲器207中的至少一个参考帧)进行帧间编码。
帧内预测单元209负责帧内预测并且基于帧内预测生成预测块。如上所述，帧间预测单元210负责帧间预测，并且生成从参考帧中的相同大小的块预测出的预测块，以减少时间冗余。
特别地，可以一直应用锐化滤波器211。这是指帧间预测单元210生成的预测块总是馈送到锐化滤波器211，并且总是通过当前块与由锐化滤波器211输出的锐化的预测块的差值来获得残余块。
或者，可以应用或绕开锐化滤波器211。假若应用了锐化滤波器211，锐化滤波器211生成锐化的预测块，并且残余块是通过当前块和锐化滤波器211输出的锐化的预测块的差值获得的。假若绕开了锐化滤波器211，则通过当前块与帧间预测单元210输出的预测块的差值来获得残余块。
控制单元212可以根据运动矢量的整数或分数位置控制应用和绕开锐化滤波器211中的至少一种。特别地，运动矢量的部分整数或分数位置可以与自适应参数的参数值关联。部分位置可以无关联值。然后，根据给定的整数或分数位置是否有关联的自适应参数值决定控制单元212是应用或绕开锐化滤波器211。
优选地，锐化图案分别针对运动矢量的整数位置以及一个或多个关联的分数位置定义锐化信息。所述锐化信息优选地包含锐化滤波器211的自适应参数的一个或多个值，或者是定义应用或绕开锐化滤波器211的值。
控制单元212可以利用至少一个锐化图案，从而根据用于生成预测块的所述运动矢量对应的位置上的所述锐化图案中定义的锐化信息，即，如图7至图9更详细描述的与运动矢量匹配的位置相关联或分配给运动矢量匹配的位置的锐化信息，来控制锐化滤波器211。该至少一个锐化图案可以预存在控制单元212能够访问的内存213中。图2示出了内存213位于视频编码器200中的实施例。或者，该内存可以位于视频编码器200之外，只要控制单元212能够访问内存中的内容。
自适应参数信息和/或锐化滤波器信息的粒度可以变化。包含锐化滤波器信息的的锐化图案可以同时预存在编码器和解码器中。为了提高内容的自适应性，例如，所述锐化图案可以针对每个预测块在块层、或针对所述帧的任意或规则区域、或在帧层、GOP(图像组)层、在PPS(图像参数集合)层或在SPS(序列参数集合)层进行更改。编码单元203可以将锐化图案信息添加至锐化图案已更改的同一层上的编码比特流中。
图3示出了根据本发明实施例的一种视频解码器，特别是一种用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码的视频解码器300。
特别地，视频解码器300包括帧缓冲器307，帧间预测单元310和自适应锐化滤波器311。帧缓冲器307用于存储从所述编码视频比特流得到的至少一个参考帧，所述参考帧不同于所述编码视频比特流的当前帧。帧间预测单元310用于根据所述参考帧的参考块生成所述当前帧的当前块的预测块。自适应锐化滤波器311用于对所述预测块进行自适应滤波。
有益地，视频解码器300包含控制单元312，且自适应锐化滤波器311利用至少一个自适应参数。控制单元312用于决定是否应该应用或绕开锐化滤波器，选择自适应参数的参数值，并在应用滤波器的情况下，将选择的参数值提供给自适应锐化滤波器311。
特别地，控制单元312用于根据用于生成所述预测块的所述运动矢量的整数或分数位置决定是否应该应用或绕开锐化滤波器，并选择所述自适应参数的参数值。
特别地，该运动矢量由解码器300从编码视频比特流中获得。视频编码器200生成的编码视频比特流实际上包含了所述运动矢量作为信令数据。解码器300用于通过熵解码单元303从编码视频比特流中获取所述运动矢量。
特别地，运动矢量的部分整数或分数位置可以有自适应参数的关联参数值。部分位置可以无关联值。若特定的整数或分数位置有关联参数值，则通过将关联值用作自适应参数可以应用自适应锐化滤波器到所述预测块。
所述解码器300用于解码由视频编码器200生成的编码视频比特流，并且解码器300和编码器200都产生相同的预测。帧缓冲器307，帧间预测单元310和锐化滤波器311的特征类似于图2中的帧缓冲器207，帧间预测单元210和锐化滤波器211的特征。
为了保证能在编码器侧和解码器侧得到相同的预测，在编码器侧和解码器侧都应该已知锐化图案，其定义了锐化滤波器的使用以及是否针对运动矢量的每个整数或分数位置指示对应的自适应参数。锐化图案可以同时预存在编码器如图2中示出的内存213中以及解码器侧。在解码器侧，该锐化图案可以预存在控制单元312能够访问的内存313中。图3示出了内存313位于视频解码器300中的实施例。或者，该内存可以位于视频解码器之外，只要控制单元312能够访问内存中的内容。
锐化图案能够用期望的颗粒更新。假若锐化图案由编码器更新，熵解码单元303用于解码由视频编码器200添加至编码视频比特流中的对应的锐化图案信息。
特别地，视频解码器300包括也存在于视频编码器200中的另外的单元，例如逆量化单元304、逆变换单元305、环路滤波单元306和帧内预测单元309，它们分别对应于视频编码器200的逆量化单元204、逆变换单元205、环路滤波单元206和帧内预测单元209。熵解码单元303用于解码接收到的编码视频比特流并相应地获得量化的残余变换系数以及锐化滤波器信息(如果存在)。将量化的残余变换系数馈送到逆量化单元304和逆变换单元305以产生残余块。将残余块添加到预测块，并且将添加后的预测块馈送到环路滤波单元306以获得解码的视频。解码的视频的帧可以存储在帧缓冲器307中，并且用作参考帧用于帧间预测。
图4示出了根据本发明的自适应锐化滤波器400的一个实施例，特别是视频编码器200的自适应锐化滤波器211的实施例。视频解码器300的自适应锐化滤波器311与图4所示的自适应锐化滤波器211有轻微差异，下面将对所述差异进行讨论。
锐化滤波器400优选地为非线性滤波器。优选地使用非线性锐化滤波器而不是线性滤波器，来去除由运动插值滤波器和参考块或帧的量化造成的伪影。选择非线性滤波器可以减少锐化滤波器400的自适应参数的数量。特别地，非线性滤波器可以仅利用单个自适应参数，从而减小编码视频比特流的信令开销。尽管本发明也包含使用一个以上自适应参数的情况，但是锐化滤波器400仅利用单个自适应参数是特别有益的实施例。
特别地，锐化滤波器400包括边缘图计算单元401和402、模糊滤波器404、高通滤波器405、缩放单元406和扭曲单元407。
边缘图计算单元401和402用于生成源块的边缘图，所述源块是所述参考块或所述预测块。模糊滤波器404用于模糊所述源块的所述边缘图。高通滤波器405用于通过对所述模糊的边缘图进行高通滤波，生成针对所述源块每个位置的导数矢量(d2x，d2y)。缩放单元406用于通过使用锐化强度系数k缩放所述导数矢量(d2x，d2y)生成位移矢量(wx，wy)。扭曲单元407用于基于所述位移矢量(wx，wy)扭曲所述预测块。
因而，锐化滤波器400的自适应参数是锐化强度系数k。图4所示的锐化滤波器400是仅有一个自适应参数的本发明的实施例。
边缘图计算单元401和402可以包括：梯度矢量单元401，用于针对源块的每个位置生成梯度矢量(dx，dy)；以及梯度矢量长度单元402，用于计算各个位置的梯度矢量(dx，dy)的长度，从而生成源块的边缘图。因而，该结构允许生成边缘图，边缘图可以由模糊滤波器、高通滤波器和缩放单元进一步处理以生成扭曲位移矢量。
可以结合下面的等式应用相应的Prewitt滤波器通过对dx和dy分别取一阶导数来得到梯度矢量，即分别对图4中的称作源块的源块的水平方向和垂直方向取一阶导数。
边缘图可以通过梯度矢量长度单元402结合以下等式计算梯度矢量长度来获得：
有益地，锐化滤波器400包括裁剪单元403，用于裁剪源块的边缘图，所述裁剪单元403位于边缘图计算单元401和402与模糊滤波器404之间。因此，根据阈值裁剪边缘图是有益的，因为这避免处理扭曲矢量的极高值和极低值。
对裁剪的边缘图进行模糊的步骤可以由模糊滤波器404执行，该模糊滤波器404采用如下定义的高斯滤波器形式：
高通滤波器用于分别针对d2x和d2y得到二阶导数，例如根据以下等式得到二阶导数：
d2x＝[1 0 -1]
根据以下等式使用系数k缩放二阶导数矢量(d2x，d2y)来获得位移矢量(wx，wy)，其中，系数k可以视为锐化强度。
wx＝k*d2x
wy＝k*d2y
扭曲单元407包括插值滤波器例如双线性插值滤波器以获得分数像素位置处的采样值。扭曲单元407使用由缩放单元406生成的位移矢量。因此，改善了视频编码器的整体质量，同时在期望的分数像素位置上插入参考帧或块。
减法单元408用于得到扭曲单元407生成的锐化的预测块与当前块之间的差值，所述当前块对应待编码块。实际上，减法单元408产生残余块。自适应锐化滤波器400或控制自适应锐化滤波器400的控制单元211用于例如通过最小化残余块或通过基于例如速率失真的成本标准找到最佳锐化强度k。
视频编码器200的自适应锐化滤波器与视频解码器300的自适应锐化滤波器之间的差异优选地在于减法单元408和残余块的最小化。在视频解码器300中，自适应参数即系数k不通过减法单元408和残余块的最小化来设置。而是，优选地取决于反映系数k的值的信令数据，在视频解码器300中设置自适应参数，所述信令数据是编码视频比特流的一部分并由视频编码器200设置。
例如，如图7至图9更详细描述，运动矢量(以预定或自适应方式)关联锐化信息，例如，锐化强度系数ki，i＝1……16。因此，在编码视频比特流中编码成信令数据的运动矢量可以间接发信号通知锐化强度系数ki的值。
锐化滤波器400包括基于根据源块计算的位移矢量的扭曲，该源块在图4中称为运动预测块。根据图4中未示出的实施例，源块是存储在帧缓冲器207和307中的参考帧的参考块，以从参考块导出位移矢量(wx，wy)。因而，参考块用作源块以获得位移矢量，位移矢量也称为锐化位移矢量或扭曲位移矢量。然后使用获得的位移矢量将扭曲应用于预测块。该实施例的优点在于节省了编码器侧的计算资源。
根据图4所示的可选实施例，源块是由帧间预测单元210和310生成的预测块，以从预测块导出位移矢量(wx，wy)。
因而，选择预测块作为源块可以计算合适的位移矢量，以用于扭曲所述预测块。而且，锐化滤波器仅需要针对预测块的一次输入，不需要针对参考块的二次输入。
图5示出了根据本发明实施例的一种视频编码方法，特别是一种用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流的方法500。
该方法500包括步骤501：存储所述视频流的至少一个参考帧，所述参考帧不同于所述视频流的当前帧。
该方法500还包括帧间预测步骤502：根据所述参考帧的参考块生成所述当前帧的当前块的预测块。所述预测块通过具有分数像素分辨率的运动矢量生成。所述分数像素分辨率针对运动矢量的每个整数位置定义多个关联的分数位置。
该方法500还包括锐化滤波器步骤503，包括：应用锐化滤波器到所述预测块。
该方法500还包括步骤504：根据用于生成所述预测块的所述运动矢量的整数或分数位置控制应用所述锐化滤波器的步骤。例如，该控制步骤在图7至图9中更详细描述。
图6示出了根据本发明实施例的一种视频解码方法，特别是一种用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码的方法600。
该方法600包括步骤601：存储从所述编码视频比特流得到的至少一个参考帧，所述参考帧不同于所述编码视频比特流的当前帧。
该方法600包括帧间预测步骤602：根据所述参考帧的参考块生成所述当前帧的当前块的预测块。所述预测块通过具有分数像素分辨率的运动矢量生成。所述分数像素分辨率针对运动矢量的每个整数位置定义多个关联的分数位置。优选地，所述运动矢量从所述编码视频比特流中获得，所述运动矢量在所述编码视频比特流中编码成信令数据。
该方法600包括锐化滤波器步骤603，包括：应用锐化滤波器到所述预测块。
该方法600包括步骤604：根据用于生成所述预测块的所述运动矢量的整数或分数位置控制锐化滤波器步骤603。例如，该控制步骤在图7至图9中更详细描述。
视频编码器200或视频解码器300进一步描述的方面和特征也适用于所述编码方法500和所述解码方法600。
图7示出了根据本发明实施例的锐化图案。
可以使用锐化图案有效地将编码/优化期间编码器选择的自适应参数的系数从视频编码器发信号通知视频解码器。
运动矢量的分数空间包括几个像素位置。在诸如H.264/AVC和H.265/HEVC的现代视频编解码器中，运动矢量在X维度和Y维度上通常都具有1/4像素分辨率。图7示出了这种1/4像素分辨率的本发明的实施例。这种分辨率意味着一共4x4＝16个可能的位置。这些可能的位置包括一个用方形“a”标识的整数位置701，以及15个与整数位置701关联的分数位置702至716。这些分数位置包括3个在图7中用圆形c、i和k标识的1/2像素位置703、709、711，以及12个在图7中用对应三角形标识的1/4像素位置702、704、705、706、707、708、710、712、713、714、715和716。
如图7所示，实施例可以仅包括整数位置、1/2分数位置、1/4分数位置、或其组合。例如，可以分配一个值(例如锐化信息)给与整数位置关联的一个或多个分数位置，使得只有运动矢量的子集触发应用锐化滤波器。
图7的锐化图案针对每个分数和/或整数位置定义各自的锐化信息，例如，各自的锐化强度系数ki，i＝1……16。在特定分数或整数位置701至716中进行运动插值后，锐化滤波器应用了针对该特定分数或整数位置701至716的锐化图案中定义的对应的自适应参数，即，对应的锐化强度系数ki。
图7所示的锐化图案包括整数位置701以及其15个分数位置702至716。除了整数位置701，图7还示出了整数位置720、721和722。这些其它的整数位置可以分别关联其它的锐化图案(图7中未示出)。这些其它的锐化图案可以与整数位置701的锐化图案相同或者不同。
系数ki可以是恒定的，和/或可以通过离线训练预定义或者基于之前的编码实验进行选择。在序列层、GOP层、帧层或区域层，系数ki也可以是可变的和自适应的。在这种情况下，需要诸如边信息等额外信令。
图8示出了根据本发明另一实施例的示例性锐化图案。
一些分数或整数位置可以无关联的锐化信息。那意味着锐化滤波器将不会应用于那些位置。此时，仅会应用无额外锐化后滤波的普通运动插值。
相应地，图8的锐化图案仅针对锐化图案的位置的子集802定义了锐化信息，即，例如，自适应参数ki。例如，该系数ki是仅为位置706、707、708、710、712、714、715和716定义的。锐化图案中包括位置701、702、703、704、705、709和713的子集801，以及包括位置711的另一个子集803未关联系数k，意味着这些位置将会绕开锐化滤波器。
因此，运动矢量的分数位置可以在锐化图案中定义锐化滤波器211的自适应参数的值和/或定义应用或绕开锐化滤波器的值。编码器和解码器都应知道锐化图案。锐化图案可以是预定义的或自适应的并被包含作为边信息。
例如，实施例可以包括预定/预存的锐化图案，其中的值(即，锐化信息)由边信息设定。边信息还可以或可选性地以预定或自适应的方式定义锐化图案，如图9进一步描述。
图9示出了根据本发明的不同锐化图案的一个实施例。
对于帧的一些区域，锐化预测后滤波器可能作用有限。即，如视频帧的平坦区域的情况。这时，最好对所有分数点使用非锐化预测。在该帧的其它区域，最好可以定义不同分数位置的锐化参数。
为了涵盖这些不同情形，建议为帧的一些本地区域定义几个不同的锐化图案，基于成本标准诸如速率失真优化选择最佳锐化图案，并且向解码器发信号通知哪个锐化图案应当用于给定区域中的运动插值。
相应地，图9示出了包括几个区域901、902、903、904、905和906的帧，同时，例如，使用两种不同的锐化图案。第一图案907定义将在所有位置都绕开锐化滤波器，同时第二图案908针对该图案的至少部分位置定义锐化信息。例如，锐化图案908可对应于图8所示的图案。
编码器为区域901和905选择第一图案907，并为剩下的区域902、903、904和906选择第二图案908。这说明锐化预测后滤波器不应用到区域901和905。在编码过程中，可以为每个特定区域，例如，每个最大编码单元(largest coding unit，简称LCU)，选择最佳的锐化图案，并且可以用一个比特向解码器发信号通知该最佳的锐化图案，该比特决定第一锐化图案907或第二锐化图案908。
已经结合作为实例的不同实施例以及实施方式描述了本发明。但本领域技术人员通过实践所请发明，研究附图、本公开以及独立权项，能够理解并获得其它变体。在权利要求以及描述中，术语“包括”不排除其他元件或步骤，且“一个”并不排除复数可能。单个元件或其它单元可满足权利要求书中所叙述的若干实体或项目的功能。除非另有说明，诸如“第一”和“第二”等术语用于任意地区分这些术语所描述的元素，特别是针对权利要求依赖性原因。因此，这些术语不一定旨在指示这些元素的时间或其他优先级(例如，第一和第二预测块滤波)。
在仅凭某些措施被记载在相互不同的从属权利要求书中这个单纯的事实并不意味着这些措施的组合不能在有利的实施方式中使用。

Claims (32)

1.一种视频编码器，其特征在于，用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流，包括：
帧缓冲器(207)，用于存储所述视频流的至少一个参考帧，所述参考帧不同于所述视频流的当前帧；
帧间预测单元(210)，用于根据所述参考帧的参考块生成所述当前帧的当前块的预测块；其中
所述预测块通过具有分数像素分辨率的运动矢量生成，所述分数像素分辨率针对运动矢量的每个整数位置定义多个关联的分数位置；
锐化滤波器(211)，用于对所述预测块进行滤波；以及
控制单元(212)，用于根据所述运动矢量的整数或分数位置控制所述锐化滤波器(211)，所述运动矢量用于生成所述预测块的。
2.根据权利要求1所述的视频编码器，其特征在于，所述锐化滤波器(211)包括至少一个自适应参数；以及
所述控制单元(212)用于通过根据所述运动矢量的整数或分数位置选择所述自适应参数的参数值并且通过将选择的参数值应用于所述锐化滤波器(211)来控制所述锐化滤波器(211)。
3.根据权利要求2所述视频编码器，其特征在于，所述运动矢量的每个整数或分数位置与所述自适应参数的参数值关联。
4.根据权利要求2所述视频编码器，其特征在于，所述运动矢量的至少一个整数或分数位置无关联的参数值；若所述运动矢量的位置未关联参数值，所述控制单元(212)用于绕开所述锐化滤波器(211)。
5.根据权利要求2所述视频编码器，其特征在于，包括多个锐化滤波器(211)，用于对所述预测块进行滤波；其中
所述控制单元(212)用于根据所述运动矢量的整数或分数位置选择所述多个锐化滤波器(211)中的一个，并将选择的锐化滤波器(211)应用到所述预测块。
6.根据权利要求2至5中的任一项所述的视频编码器，其特征在于，所述锐化滤波器(211)包括：
边缘图计算单元(401和402)，用于生成源块的边缘图，所述源块是所述参考块或所述预测块；
模糊滤波器(404)，用于模糊所述源块的所述边缘图；
高通滤波器(405)，用于通过对所述模糊的边缘图进行高通滤波，生成针对所述源块每个位置的导数矢量(d2x，d2y)；
缩放单元(406)，用于通过使用锐化强度系数(k)缩放所述导数矢量(d2x，d2y)生成位移矢量(wx，wy)；以及
扭曲单元(407)，用于基于所述位移矢量(wx，wy)扭曲所述预测块；其中所述自适应参数包含所述锐化强度系数(k)。
7.根据上述权利要求的任一项所述的视频编码器，其特征在于，所述控制单元(212)用于控制绕开和应用预测块滤波中的至少一种，所述预测块滤波由锐化滤波器(211)根据所述运动矢量的整数或分数位置进行。
8.根据上述权利要求的任一项所述的视频编码器，其特征在于，锐化图案分别针对运动矢量的整数位置以及一个或多个关联的分数位置定义锐化信息；以及
所述控制单元(212)用于利用至少一个锐化图案，从而根据在所述运动矢量对应的位置上的至少一个锐化图案中定义的锐化信息控制所述锐化滤波器(211)，所述运动矢量用于生成所述预测块。
9.根据权利要求8所述的视频编码器，其特征在于，所述控制单元(212)用于利用单个锐化图案。
10.根据权利要求9所述的视频编码器，其特征在于，所述控制单元(212)用于针对每个预测块、或针对当前帧的任意或常规区域、或在帧层、GOP(图像组)层、PPS(图像参数集合)层或SPS(序列参数集合)层修改所述单个锐化图案。
11.根据权利要求8所述的视频编码器，其特征在于，所述控制单元(212)用于利用多个锐化图案，并进一步用于针对每个预测块、或针对帧的任意或常规区域、或在帧层、GOP(图像组)层、PPS(图像参数集合)层或SPS(序列参数集合)层选择所述锐化图案中的一个。
12.根据权利要求11所述的视频编码器，其特征在于，所述控制单元(212)用于基于残余块的最小化或者基于成本标准例如速率失真优化选择所述锐化图案中的一个，所述残余块为当前块和预测块之间差值。
13.根据权利要求11或12所述的视频编码器，其特征在于，包括编码单元(203)，用于生成所述编码视频比特流，并在所述编码视频比特流中添加所述控制单元(212)选择的锐化图案。
14.根据权利要求8至13中的任一项所述的视频编码器，其特征在于，所述至少一个锐化图案预存在所述控制单元(212)能够访问的内存中。
15.根据权利要求8至14中的任一项所述的视频编码器，其特征在于，包括编码单元(203)，用于生成所述编码视频比特流，并在所述编码视频比特流中添加所述控制单元(212)的所述至少一个锐化图案。
16.根据权利要求8至15中的任一项所述的视频编码器，其特征在于，所述控制单元(212)用于更改锐化图案的数量和/或所述至少一个锐化图案的锐化信息。
17.根据权利要求16所述的视频编码器，其特征在于，针对每个预测块、或针对帧的任意或常规区域、或在帧层、GOP(图像组)层、PPS(图像参数集合)层或SPS(序列参数集合)层更改所述锐化图案的数量和/或所述至少一个锐化图案的锐化信息。
18.根据权利要求8至17中的任一项所述的视频编码器，其特征在于，所述锐化信息是所述锐化滤波器(211)的自适应参数的值或者是定义应用或绕开所述锐化滤波器(211)的值。
19.一种编码方法，其特征在于，用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流，包括：
存储(501)所述视频流的至少一个参考帧，所述参考帧不同于所述视频流的当前帧；
根据参考帧的参考块生成(502)当前帧的当前块的预测块；其中
所述预测块通过具有分数像素分辨率的运动矢量生成，所述分数像素分辨率针对运动矢量的每个整数位置定义多个关联的分数位置；
应用(503)锐化滤波器到所述预测块；以及
根据用于生成所述预测块的所述运动矢量的整数或分数位置控制(504)应用(503)所述锐化滤波器。
20.一种视频解码器，其特征在于，用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码，包括：
帧缓冲器(307)，用于存储从所述编码视频比特流得到的至少一个参考帧，所述参考帧不同于所述编码视频比特流的当前帧；
帧间预测单元(310)，用于根据所述参考帧的参考块生成所述当前帧的当前块的预测块；其中
所述预测块通过具有分数像素分辨率的运动矢量生成，所述分数像素分辨率针对运动矢量的每个整数位置定义多个关联的分数位置；
锐化滤波器(311)，用于对所述预测块进行滤波；以及
控制单元(312)，用于根据用于生成所述预测块的所述运动矢量的整数或分数位置控制所述锐化滤波器(311)。
21.根据权利要求20所述的视频解码器，其特征在于，所述控制单元(312)用于控制绕开和应用第一预测块滤波中的至少一种，所述第一预测块滤波由锐化滤波器(311)根据所述运动矢量的整数或分数位置进行。
22.根据权利要求20或21所述的视频解码器，其特征在于，锐化图案分别针对运动矢量的整数位置以及一个或多个关联的分数位置定义锐化信息；以及
所述控制单元(312)用于利用至少一个锐化图案，从而根据在所述运动矢量对应的位置上的至少一个锐化图案中定义的锐化信息控制所述锐化滤波器(311)，所述运动矢量用于生成所述预测块。
23.根据权利要求22所述的视频解码器，其特征在于，包括解码单元(303)，用于解码来自所述编码视频比特流的至少一个锐化图案；其中
所述控制单元(312)用于根据所述解码单元(303)解码的锐化图案中定义的锐化信息控制所述锐化滤波器(311)。
24.根据权利要求22或23所述的视频解码器，其特征在于，根据所述编码视频比特流的选择的锐化图案信息，针对每个预测块、或针对帧的任意或常规区域、或在帧层、GOP(图像组)层、PPS(图像参数集合)层或SPS(序列参数集合)层使用所述锐化图案。
25.根据权利要求22至24中的任一项所述的视频解码器，其特征在于，所述至少一个锐化图案预存在所述控制单元(312)能够访问的内存中。
26.根据权利要求22至24中的任一项所述的视频解码器，其特征在于，所述控制单元(312)用于利用单个锐化图案。
27.根据权利要求26所述的视频解码器，其特征在于，所述单个锐化图案预存在所述控制单元(312)能够访问的内存中。
28.根据权利要求27所述的视频解码器，其特征在于，所述控制单元(312)用于针对每个预测块、或针对当前帧的任意或常规区域、或在帧层、GOP(图像组)层、PPS(图像参数集合)层或SPS(序列参数集合)层修改所述单个锐化图案。
29.根据权利要求27所述的视频解码器，其特征在于，所述控制单元(312)用于根据所述编码视频比特流的锐化图案信息针对每个预测块、或针对当前帧的任意或常规区域、或在帧层、GOP(图像组)层、PPS(图像参数集合)层或SPS(序列参数集合)层修改所述单个锐化图案。
30.根据权利要求22至29中的任一项所述的视频解码器，其特征在于，所述锐化信息是所述锐化滤波器(311)的自适应参数的值或者是定义应用或绕开所述锐化滤波器(311)的值。
31.一种解码方法，用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码，其特征在于，包括：
存储(601)从所述编码视频比特流得到的至少一个参考帧，所述参考帧不同于所述编码视频比特流的当前帧；
根据所述参考帧的参考块生成(602)所述当前帧的当前块的预测块；其中
所述预测块通过具有分数像素分辨率的运动矢量生成，所述分数像素分辨率针对运动矢量的每个整数位置定义多个关联的分数位置；
应用(603)锐化滤波器到所述预测块；以及
根据用于生成所述预测块的所述运动矢量的整数或分数位置控制(604)应用(603)所述锐化滤波器。
32.一种包括程序代码的计算机程序，其特征在于，当所述计算机程序在计算设备中运行时，执行如权利要求19或31所述的方法。
CN201580083396.3A 2015-09-25 2015-09-25 视频编解码方法及视频编解码器 Active CN108141603B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2015/000610 WO2017052405A1 (en) 2015-09-25 2015-09-25 Apparatus and method for video motion compensation

Publications (2)

Publication Number Publication Date
CN108141603A true CN108141603A (zh) 2018-06-08
CN108141603B CN108141603B (zh) 2020-12-15

Family

ID=55752682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580083396.3A Active CN108141603B (zh) 2015-09-25 2015-09-25 视频编解码方法及视频编解码器

Country Status (10)

Country Link
US (1) US10820008B2 (zh)
EP (1) EP3354026B1 (zh)
JP (1) JP6556942B2 (zh)
KR (1) KR102142938B1 (zh)
CN (1) CN108141603B (zh)
AU (1) AU2015409726B2 (zh)
CA (1) CA2999848C (zh)
MY (1) MY185713A (zh)
WO (1) WO2017052405A1 (zh)
ZA (1) ZA201802145B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111212290A (zh) * 2018-11-21 2020-05-29 三星电子株式会社 片上系统及其帧率转换方法
CN113170171A (zh) * 2018-11-20 2021-07-23 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
CN114270860A (zh) * 2019-06-04 2022-04-01 北京达佳互联信息技术有限公司 针对仿射模式的自适应运动矢量分辨率
CN117041594A (zh) * 2018-12-30 2023-11-10 北京达佳互联信息技术有限公司 用于对视频进行编码的方法、设备、存储介质和程序产品
US11930165B2 (en) 2019-03-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Size dependent inter coding
US12041267B2 (en) 2018-10-22 2024-07-16 Beijing Bytedance Network Technology Co., Ltd. Multi-iteration motion vector refinement

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI463878B (zh) * 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
US9264508B2 (en) 2011-08-19 2016-02-16 Time Warner Cable Enterprises Llc Apparatus and methods for reduced switching delays in a content distribution network
US10652594B2 (en) 2016-07-07 2020-05-12 Time Warner Cable Enterprises Llc Apparatus and methods for presentation of key frames in encrypted content
CN106846270B (zh) * 2017-01-05 2020-02-14 浙江大华技术股份有限公司 一种图像边缘增强方法及装置
CN110521211B (zh) * 2017-04-17 2023-06-16 索尼公司 发送设备、发送方法、接收设备、接收方法、记录设备和记录方法
US10958948B2 (en) * 2017-08-29 2021-03-23 Charter Communications Operating, Llc Apparatus and methods for latency reduction in digital content switching operations
KR102357142B1 (ko) * 2017-11-07 2022-02-08 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 보간 필터
US10939142B2 (en) 2018-02-27 2021-03-02 Charter Communications Operating, Llc Apparatus and methods for content storage, distribution and security within a content distribution network
US10798407B2 (en) * 2018-06-01 2020-10-06 Tencent America LLC Methods and apparatus for inter prediction with a reduced above line buffer in video coding
CN114365487B (zh) * 2019-08-29 2024-08-13 日本放送协会 编码装置、解码装置及程序

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1663258A (zh) * 2002-06-28 2005-08-31 杜比实验室认证公司 改进的视频压缩帧插值
CN103238320A (zh) * 2010-09-30 2013-08-07 三星电子株式会社 通过使用平滑插值滤波器对图像进行插值的方法和装置
CN103650509A (zh) * 2011-07-01 2014-03-19 苹果公司 基于照相机和背景运动的参考帧缓冲区的自适应配置
WO2014158050A1 (en) * 2013-03-28 2014-10-02 Huawei Technologies Co., Ltd. Method for determining predictor blocks for a spatially scalable video codec

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175656B1 (en) 1999-03-25 2001-01-16 Sony Corporation Non-linear video sharpening filter
US20020063807A1 (en) 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
US6864916B1 (en) 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
JP3995854B2 (ja) 1999-06-10 2007-10-24 富士フイルム株式会社 画像処理方法および装置並びに記録媒体
FI117533B (fi) 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
US7116831B2 (en) 2002-04-10 2006-10-03 Microsoft Corporation Chrominance motion vector rounding
JP4120301B2 (ja) 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
US20130107938A9 (en) 2003-05-28 2013-05-02 Chad Fogg Method And Apparatus For Scalable Video Decoder Using An Enhancement Stream
US7471845B2 (en) 2004-01-06 2008-12-30 Sharp Laboratories Of America, Inc. De-ringing filter
US7397853B2 (en) 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
JP4576930B2 (ja) 2004-08-26 2010-11-10 カシオ計算機株式会社 動きベクトル検出装置、および、プログラム
RU2008106939A (ru) 2005-04-19 2009-08-27 Самсунг Электроникс Ко., Лтд. (KR) Способ и устройство адаптивного выбора контекстной модели для кодирования по энтропии
EP1841230A1 (en) 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
JP2008054267A (ja) * 2006-07-28 2008-03-06 Hitachi Ltd 画像処理装置、画像符号化装置及び画像復号化装置
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
US7751873B2 (en) 2006-11-08 2010-07-06 Biotronik Crm Patent Ag Wavelet based feature extraction and dimension reduction for the classification of human cardiac electrogram depolarization waveforms
US8199812B2 (en) 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US20080205508A1 (en) * 2007-02-22 2008-08-28 Streaming Networks (Pvt.) Ltd. Method and apparatus for low complexity video encoding and decoding
EP2232874B1 (en) 2008-01-08 2012-12-05 Telefonaktiebolaget L M Ericsson (publ) Adaptive filtering
EP2081386A1 (en) 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
US8705622B2 (en) 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
US20090257499A1 (en) 2008-04-10 2009-10-15 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US8811484B2 (en) 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
US10123050B2 (en) 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
JP4763026B2 (ja) 2008-08-27 2011-08-31 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体
US9078007B2 (en) 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
US10198792B2 (en) 2009-10-14 2019-02-05 Dolby Laboratories Licensing Corporation Method and devices for depth map processing
US8548065B2 (en) 2009-10-22 2013-10-01 The Chinese University Of Hong Kong Parametric interpolation filter for motion-compensated prediction
US9445129B2 (en) 2010-04-13 2016-09-13 Sun Patent Trust Image coding method and image decoding method
US20110299604A1 (en) 2010-06-04 2011-12-08 Apple Inc. Method and apparatus for adaptive video sharpening
US9154807B2 (en) 2010-06-25 2015-10-06 Qualcomm Incorporated Inclusion of switched interpolation filter coefficients in a compressed bit-stream
US8761245B2 (en) 2010-12-21 2014-06-24 Intel Corporation Content adaptive motion compensation filtering for high efficiency video coding
US9172972B2 (en) 2011-01-05 2015-10-27 Qualcomm Incorporated Low complexity interpolation filtering with adaptive tap size
TW201301199A (zh) * 2011-02-11 2013-01-01 Vid Scale Inc 視訊及影像放大以邊為基礎之視訊內插
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
JP5552092B2 (ja) 2011-06-13 2014-07-16 日本電信電話株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US9432700B2 (en) * 2011-09-27 2016-08-30 Broadcom Corporation Adaptive loop filtering in accordance with video coding
US9462298B2 (en) 2011-10-21 2016-10-04 Qualcomm Incorporated Loop filtering around slice boundaries or tile boundaries in video coding
US9596463B2 (en) * 2012-02-22 2017-03-14 Qualcomm Incorporated Coding of loop filter parameters using a codebook in video coding
WO2013147495A1 (ko) 2012-03-26 2013-10-03 엘지전자 주식회사 스케일러블 비디오 인코딩/디코딩 방법 및 장치
WO2014003379A1 (ko) 2012-06-24 2014-01-03 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
US9344718B2 (en) 2012-08-08 2016-05-17 Qualcomm Incorporated Adaptive up-sampling filter for scalable video coding
US20140072048A1 (en) 2012-09-13 2014-03-13 Samsung Electronics Co., Ltd Method and apparatus for a switchable de-ringing filter for image/video coding
US9596465B2 (en) 2013-01-04 2017-03-14 Intel Corporation Refining filter for inter layer prediction of scalable video coding
US20140192862A1 (en) 2013-01-07 2014-07-10 Research In Motion Limited Methods and systems for prediction filtering in video coding
US20140254659A1 (en) 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
US20160105685A1 (en) 2014-10-08 2016-04-14 Qualcomm Incorporated Boundary filtering and cross-component prediction in video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1663258A (zh) * 2002-06-28 2005-08-31 杜比实验室认证公司 改进的视频压缩帧插值
CN103238320A (zh) * 2010-09-30 2013-08-07 三星电子株式会社 通过使用平滑插值滤波器对图像进行插值的方法和装置
CN103650509A (zh) * 2011-07-01 2014-03-19 苹果公司 基于照相机和背景运动的参考帧缓冲区的自适应配置
WO2014158050A1 (en) * 2013-03-28 2014-10-02 Huawei Technologies Co., Ltd. Method for determining predictor blocks for a spatially scalable video codec
CN104937941A (zh) * 2013-03-28 2015-09-23 华为技术有限公司 用于确定用于空间可缩放视频编解码器的预测块的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MAXIM SYCHEV ET AL: "SHARPENING FILTER FOR I NTERLAYER PREDICTION", 《2014 IEEE VISUAL COMMUNICATIONS AND IMAGE PROCESSING CONFERENCE》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12041267B2 (en) 2018-10-22 2024-07-16 Beijing Bytedance Network Technology Co., Ltd. Multi-iteration motion vector refinement
CN113170171A (zh) * 2018-11-20 2021-07-23 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
CN113170171B (zh) * 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
CN111212290A (zh) * 2018-11-21 2020-05-29 三星电子株式会社 片上系统及其帧率转换方法
CN117041594A (zh) * 2018-12-30 2023-11-10 北京达佳互联信息技术有限公司 用于对视频进行编码的方法、设备、存储介质和程序产品
CN117041594B (zh) * 2018-12-30 2024-05-14 北京达佳互联信息技术有限公司 用于对视频进行编码的方法、设备、存储介质和程序产品
US11930165B2 (en) 2019-03-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Size dependent inter coding
CN114270860A (zh) * 2019-06-04 2022-04-01 北京达佳互联信息技术有限公司 针对仿射模式的自适应运动矢量分辨率

Also Published As

Publication number Publication date
WO2017052405A1 (en) 2017-03-30
JP6556942B2 (ja) 2019-08-07
EP3354026B1 (en) 2021-09-15
US20180213251A1 (en) 2018-07-26
JP2018533291A (ja) 2018-11-08
EP3354026A1 (en) 2018-08-01
CN108141603B (zh) 2020-12-15
ZA201802145B (en) 2019-01-30
CA2999848A1 (en) 2017-03-30
AU2015409726A1 (en) 2018-04-26
BR112018005796A2 (pt) 2018-10-16
WO2017052405A8 (en) 2018-04-12
KR20180054735A (ko) 2018-05-24
CA2999848C (en) 2020-08-18
AU2015409726B2 (en) 2019-12-19
MY185713A (en) 2021-05-31
KR102142938B1 (ko) 2020-08-10
US10820008B2 (en) 2020-10-27

Similar Documents

Publication Publication Date Title
CN108141603A (zh) 视频运动补偿装置和方法
US10841605B2 (en) Apparatus and method for video motion compensation with selectable interpolation filter
CN108028937A (zh) 视频运动补偿装置和方法
WO2014139396A1 (en) Video coding method using at least evaluated visual quality and related video coding apparatus
CN108353171A (zh) 视频编码样本自适应滤波的方法和装置
CN108141602A (zh) 视频运动补偿装置和方法
CN108370445A (zh) 用于预测编码的自适应锐化滤波器
CN114339223A (zh) 解码方法、装置、设备及机器可读存储介质
JP6797247B2 (ja) ビデオ動き補償用の装置および方法
CN112272951B (zh) 用于视频编码的帧内锐化滤波器和/或去振铃滤波器
CN112262579B (zh) 基于比特流标志位的用于视频编码的帧内锐化和/或去振铃滤波器
WO2022174118A1 (en) Video coding efficiency improvement using dynamic frame boost scaling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant