CN108141602B - 视频编解码器、编解码方法和计算机可读存储介质 - Google Patents

视频编解码器、编解码方法和计算机可读存储介质 Download PDF

Info

Publication number
CN108141602B
CN108141602B CN201580083342.7A CN201580083342A CN108141602B CN 108141602 B CN108141602 B CN 108141602B CN 201580083342 A CN201580083342 A CN 201580083342A CN 108141602 B CN108141602 B CN 108141602B
Authority
CN
China
Prior art keywords
block
unit
filter
sharpening filter
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580083342.7A
Other languages
English (en)
Other versions
CN108141602A (zh
Inventor
马克西姆·波里索维奇·瑟乔夫
维克多·阿列克谢耶维奇·斯蒂平
谢尔盖·尤利耶维奇·伊柯宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108141602A publication Critical patent/CN108141602A/zh
Application granted granted Critical
Publication of CN108141602B publication Critical patent/CN108141602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Abstract

本发明涉及一种视频编码器，用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流，包括：帧缓冲器(207)，用于存储所述视频流的至少一个参考帧，所述参考帧不同于所述视频流的当前帧；帧间预测单元(210)，用于根据所述参考帧的参考块生成所述当前帧的当前块的预测块；以及锐化滤波器(211)，用于对所述预测块进行滤波。

Description

视频编解码器、编解码方法和计算机可读存储介质
技术领域
本发明一般涉及视频处理领域和视频运动补偿装置，并且具体地涉及用于支持运动补偿以预测视频中的帧的视频编码器和视频解码器。本发明还涉及编码方法，用于使用运动补偿对视频流进行编码；和解码方法，用于使用运动补偿对视频流进行解码。最后，本发明涉及一种具有程序代码的计算机程序，以执行所述方法。
背景技术
在视频处理领域中，特别是在混合视频编码和压缩领域，使用了帧间和帧内预测以及变换编码。这些混合视频编码技术用于诸如H.261、H.263、MPEG-1、2和4、H.264/AVC或H.265/HEVC 的已知视频压缩标准中。
图1示出了根据现有技术的视频编码器。视频编码器100包括用于接收视频流的帧或图像的输入块的输入端和用于生成编码视频比特流的输出端。视频编码器100用于对视频流进行预测、变换、量化和熵编码。变换、量化和熵编码分别由变换单元101、量化单元102和熵编码单元103执行，以生成编码视频比特流作为输出。
视频流对应多个帧，其中，将每个帧划分为帧内或帧间编码的一定大小的块。例如，视频流的第一帧的块由帧内预测单元109进行帧内编码。仅使用同一帧内的信息对帧内编码帧进行编码，从而可以对其进行独立解码，并且可以在比特流中提供用于随机访问的入口点。视频流的其它多个帧的多个块由帧间预测单元110进行帧间编码：来自称作参考帧的编码帧的信息用于减少时间冗余，从而通过参考帧中相同大小的块预测出帧间编码帧的每个块。模式选择单元108用于选择是由帧内预测单元109还是由帧间预测单元110处理帧的块。
为了进行帧间预测，编码的参考帧由逆量化单元104、逆变换单元105和环路滤波单元106 进行处理，以获得随后存储在帧缓冲器107中的参考帧。特别地，参考帧的参考块可以由这些单元处理以获得重建的参考块。然后，将重建的参考块重新组合成参考帧。
帧间预测单元110包含待帧间编码的当前帧或图像以及来自帧缓冲器107的一个或多个参考帧或图像用作输入。由帧间预测单元110应用运动估计和运动补偿。运动估计用于基于某个代价函数获得运动矢量和参考帧。然后运动补偿根据参考帧的参考块到当前帧的变换来描述当前帧的当前块。帧间预测单元110针对当前块输出预测块，其中，所述预测块将待编码的当前块与其预测块之间的差值最小化，即最小化残差块。例如，残差块的最小化基于速率失真优化过程。
然后，由变换单元101对当前块与其预测(即，残差块)之间的差值进行变换。由量化单元 102和熵编码单元103对变换系数进行量化和熵编码。如此生成的编码视频比特流包括帧内编码块和帧间编码块。
这种混合视频编码包括结合预测误差的变换编码的运动补偿预测。对于每个块，估计的运动矢量也作为编码视频比特流中的信令数据传输。当前的标准H.264/AVC和H.265/HEVC基于针对运动矢量的1/4像素位移分辨率。为了估计和补偿分数像素位移，参考帧必须插入在分数像素位置上。为了在分数像素位置上获得这样的插入帧，在帧间预测单元110中使用插值滤波器。
插入帧的质量很大程度上取决于所使用的插值滤波器的属性。短抽头滤波器例如双线性滤波器可以抑制高频并且使插入帧变得模糊。其它滤波器如长抽头滤波器可以保持高频率，但在尖锐边缘附近产生一些环状伪影。另一个问题是运动补偿利用先前编码和重建的帧作为参考帧：参考帧可能包含由变换系数量化引起的伪影，这称为吉布斯效应。由于这些伪影，边缘以及边缘周围的区域也可能失真。
在现有技术中已知通过对解码帧应用锐化或去模糊后滤波器可以增加边缘的质量。这种后滤波设计的问题在于，锐化滤波器不包括在编码过程中。因此，锐化滤波器的效果在速率失真优化过程中不能考虑在内。这可能会导致客观质量指标如峰值信噪比(peaksignal to noise ratio，简称PSNR)的降低。
为了增加客观质量，在现有技术中还已知将锐化滤波器添加到环路滤波单元106中。相应地，锐化滤波器应用于重建的参考帧，并且可以通过消除参考帧中压缩失真来提升运动补偿预测。然而，这样的环路滤波技术不能消除由运动插值滤波器引起的伪影。
发明内容
认识到上述提及的缺点和问题，本发明旨在改进现有技术。特别地，本发明的目的是提供一种视频编码器、编码方法、视频解码器和解码方法，用于对后续帧的视频流进行改进编码和解码。
特别地，本发明旨在提高帧间预测编码的质量。特别地，本发明旨在消除由运动补偿引起的伪影。具体地，本发明的目的是减少运动插值滤波器的负面影响，即降低在分数像素位置上插入参考帧的负面影响，并通过减少参考帧的量化伪影来提高预测质量。
本发明上述提及的目标通过所附独立权利要求提供的方案实现。本发明有利的实现方式在各自的从属权利要求中进一步定义。
本发明第一方面提供了一种视频编码器，用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流。所述视频编码器包括帧缓冲器，用于存储所述视频流的至少一个参考帧，所述参考帧不同于所述视频流的当前帧。所述视频编码器包括帧间预测单元，用于根据所述参考帧的参考块生成所述当前帧的当前块的预测块。所述视频编码器包括锐化滤波器，用于对所述预测块进行滤波。
因而，将所述锐化滤波器应用于所述预测块提高了帧间预测编码的质量，因为其消除或至少减少了在分数像素位置上插入参考帧/块引起的环状伪影，即由运动插值滤波器引起的环状伪影，同时有益地保证了插入边缘的质量。其还消除或至少减少由参考块中的变换系数的量化引起的环状伪影，也称为吉布斯效应。其进一步减少了量化和运动插值引起的边缘模糊，并且也减少了运动模糊造成的边缘模糊。另外，本发明增加了重建帧/块中边缘的主观质量。
因而，根据本发明将所述锐化滤波器放置在运动插值滤波器之后，即在帧间预测单元之后，使得所述锐化滤波器执行环内参考滤波器也即环路滤波单元的任务，而同时可以消除或至少减少由运动插值滤波造成的伪影。
根据第一方面所述的视频编码器的第一种实现形式中，所述锐化滤波器是非线性滤波器。
因而，优选使用这种非线性锐化滤波器来增强运动预测。基于线性锐化或去模糊滤波器的传统边缘增强技术(如非锐化掩模技术)可增加主观质量，但不能抑制由运动插值滤波引起的环状伪影。而且，已发现在大多数情况下，这种线性锐化甚至可能增加环状效应并降低客观性能特征。另一方面，非线性滤波器可以更好地消除环状效应，因此是有益的。
根据第一方面所述的视频编码器的另一种实现形式中，所述锐化滤波器包括边缘图计算单元，用于生成源图像块的边缘图，所述源图像块是所述参考块或所述预测块。所述锐化滤波器包括模糊滤波器，用于模糊所述源图像块的所述边缘图。所述锐化滤波器包括高通滤波器，用于通过对所述模糊的边缘图进行高通滤波，生成针对所述源图像块每个位置的导数矢量。所述锐化滤波器包括缩放单元，用于通过使用锐化强度系数缩放所述导数矢量生成位移矢量。所述锐化滤波器包括扭曲单元，用于基于所述位移矢量扭曲所述预测块。
因而，所述锐化滤波器的这种结构定义了非线性锐化滤波器。有益地，其可以更好地消除环状伪影。
根据第一方面所述的视频编码器的另一种实现形式中，所述边缘图计算单元包括梯度矢量单元，用于针对所述源图像块的每个位置生成梯度矢量。所述边缘图计算单元包括梯度矢量长度单元，用于计算各个位置的梯度矢量的长度，从而生成所述源图像块的所述边缘图。
因而，该结构允许生成边缘图，边缘图可以由模糊滤波器、高通滤波器和缩放单元进一步处理以生成位移矢量。
根据第一方面所述的视频编码器的另一种实现形式中，所述梯度矢量单元是Prewitt滤波器。因此，使用Prewitt滤波器的优点在于其可以针对所述源图像块的每个位置输出梯度矢量，以生成位移矢量并扭曲所述预测块。
根据第一方面所述的视频编码器的另一种实现形式中，所述锐化滤波器包括裁剪单元，用于裁剪源图像块的边缘图。所述裁剪单元位于边缘图计算单元与模糊滤波器之间。
因此，根据阈值裁剪边缘图的优点在于这避免了处理位移矢量的极高值和极低值。相应地，可以通过从进一步的扭曲处理中排除零值位移节省计算资源。
根据第一方面所述的视频编码器的另一种实现形式中，所述模糊滤波器是高斯滤波器。
因此，可以提高位于高斯滤波器之后的高通滤波器的处理质量，从而也可以改进基于位移矢量的扭曲。
根据第一方面所述的视频编码器的另一种实现形式中，所述扭曲单元包括双线性插值滤波器以获得分像素位置处的采样值。
因此，提高了视频编码器的整体质量，同时在期望的分数像素位置上插入参考帧/块。
根据第一方面所述的视频编码器的另一种实现形式中，所述源图像块是参考块，使得从所述参考块导出扭曲位移矢量。
因此，所述参考块用作源图像块以获得位移矢量，位移矢量也称为锐化位移矢量或扭曲位移矢量。然后使用所述获得的扭曲位移矢量将扭曲应用于所述预测块。该实施例的优点在于节省了编码器侧的计算资源。
根据第一方面所述的视频编码器的另一种实现形式中，所述源图像块是所述预测块，使得从所述预测块导出扭曲位移矢量。
因此，选择所述预测块作为源图像块可以计算合适的位移矢量，以用于扭曲所述预测块。而且，然后，所述锐化滤波器仅需要针对所述预测块的一次输入，不需要针对所述参考块的二次输入。
根据第一方面所述的视频编码器的另一种实现形式中，一直启用所述锐化滤波器。
根据第一方面所述的视频编码器的另一种实现形式中，所述视频编码器包括控制单元，用于控制所述锐化滤波器的选择性旁路和所述锐化滤波器的选择性应用中的至少一个。
因而，所述控制单元可以决定启用或关闭所述锐化滤波器。然后，可以将该决定应用于每个特定的情况，例如待编码的特定视频流。而且，可以旁路所述锐化滤波器来节省视频编码器中的计算资源。另一方面，如果优先考虑提高插值质量和减少伪影，则可以应用所述锐化滤波器。
根据第一方面所述的视频编码器的另一种实现形式中，所述控制单元用于根据代价函数来控制所述锐化滤波器的所述选择性旁路和所述选择性应用中的至少一个，以最小化残差块。所述残差块是所述当前块与所述预测块之间的差值。例如，所述代价函数可以基于速率失真优化。
因而，可以进一步应用或旁路所述锐化滤波器来提升运动补偿。分别从帧间预测单元输出的预测块和锐化滤波器输出的预测块导出的两个残差块可以根据代价函数进行比较。通过选择使残差块最小化的预测块并相应地应用或旁路所述锐化滤波器，可以减少数据量例如待编码的变换系数的数量。
根据第一方面所述的视频编码器的另一种实现形式中，所述视频编码器包括编码单元，用于产生编码视频比特流。所述控制单元用于向所述编码单元传输锐化滤波器信息，所述锐化滤波器信息用于反映所述锐化滤波器的所述选择性旁路和所述选择性应用中的至少一个。编码单元用于在编码视频比特流中添加锐化滤波器信息。
因而，在对编码视频比特流进行解码时，可以获得该锐化滤波器信息，并相应地在解码器侧应用或旁路所述锐化滤波器，从而保证正确的解码。
根据第一方面所述的视频编码器的另一种实现形式中，所述锐化滤波器信息针对每个预测块在块层进行添加，针对所述帧的任意或规则区域在帧层、GOP(图像组)层、在PPS(图像参数集合)层或在SPS(序列参数集合)层进行添加。
因而，可以将锐化滤波器信息设置为期望的粒度，从而可以优化信令。
本发明第二方面提供了一种编码方法，用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流。该方法包括存储所述视频流的至少一个参考帧，所述参考帧不同于所述视频流的当前帧。该方法包括根据所述参考帧的参考块生成所述当前帧的当前块的预测块。该方法包括将锐化滤波步骤应用于所述预测块。
根据本发明第二方面的方法的其它特征或实现方式可以用于执行根据本发明第一方面及其不同的实现形式的视频编码器的功能。
本发明第三方面提供了一种视频解码器，用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码。所述视频解码器包括帧缓冲器，用于存储从所述编码视频比特流得到的至少一个参考帧，所述参考帧不同于所述编码视频比特流的当前帧。所述视频解码器包括帧间预测单元，用于根据所述参考帧的参考块生成所述当前帧的当前块的预测块。所述视频解码器包括锐化滤波器，用于对所述预测块进行滤波。
因而，通过第一方面的视频编码器所获得的优点也能通过第三方面的视频解码器获得。
根据第三方面所述的视频解码器的一种实现形式中，一直启用所述锐化滤波器。
根据第三方面所述的视频解码器的一种实现形式中，所述视频解码器包括控制单元，用于控制所述锐化滤波器的选择性旁路和所述锐化滤波器的选择性应用中的至少一个。
因而，可根据每个特定情况调整应用或旁路所述锐化滤波器单元。而且，可以旁路所述锐化滤波器来节省视频编码器和视频解码器中的计算资源。另一方面，如果优先考虑提高插值质量和减少伪影，则可以应用所述锐化滤波器。
根据第三方面所述的视频解码器的一种实现形式中，所述控制单元用于根据从编码视频比特流得到的锐化滤波器信息来控制所述锐化滤波器的所述选择性旁路和所述选择性应用中的至少一个。
因而，所述视频解码器可以用于视频编码器，其可以有益地在编码视频比特流中添加锐化滤波器信息，锐化滤波器信息可以反映视频编码器侧上的锐化滤波器的所述选择性旁路和所述选择性应用中的至少一个。
根据本发明第一方面的视频编码器的其它特征或实施方式，特别是所述锐化滤波器及其结构，也适用于根据本发明第三方面的视频解码器。
本发明第四方面提供了一种解码方法，用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码。所述方法包括存储从所述编码视频比特流得到的至少一个参考帧，所述参考帧不同于所述编码视频比特流的当前帧。该方法包括根据所述参考帧的参考块生成所述当前帧的当前块的预测块。该方法包括将锐化滤波步骤应用于所述预测块。
根据本发明第四方面的方法的其它特征或实现方式可以用于执行根据本发明第三方面及其不同的实现形式的视频解码器的功能。
本发明第五方面提供了一种具有程序代码的计算机程序，所述程序代码用于当计算机程序在计算设备上运行时执行这种编码和/或解码方法。
本发明提出一种运动补偿提升方案，通过将锐化滤波器应用于运动预测信号(即预测块)来实现。提出了通过减少环状伪影并增加运动预测块中边缘的锐度来提升运动补偿。提出了将锐化滤波器作为预测滤波器置于编码器和解码器中，用于增强运动补偿。非线性锐化预测滤波器可以用于提升运动补偿。
需要注意的是，本申请所描述的所有设备、元件、单元和方式均可在软件或硬件元件或它们的任意组合中实现。由本申请描述的各种实体执行的所有步骤以及所描述的由各种实体执行的功能旨在表示各个实体适用于或用于执行相应的步骤和功能。即使在具体实施例的以下描述中，完全由外部实体形成的具体功能或步骤未在执行该具体步骤或功能的该实体的具体细节元件的描述中反映，技术人员应清楚可以在各个软件或硬件元件或它们的任意组合中实现这些方法和功能。
附图说明
结合所附附图，下面具体实施例的描述将阐述上述本发明的各方面及其实现形式，其中：
图1示出了根据现有技术的一种视频编码器；
图2示出了根据本发明实施例的一种视频编码器；
图3示出了根据本发明实施例的一种视频解码器；
图4示出了根据本发明的锐化滤波器的一个实施例；
图5示出了根据本发明实施例的一种视频编码方法；
图6示出了根据本发明实施例的一种视频解码方法。
具体实施方式
图2示出了根据本发明实施例的一种视频编码器，特别是一种用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流的视频编码器200。
视频编码器200特别地包括帧缓冲器207、帧间预测单元210和锐化滤波器211。
帧缓冲器207用于存储所述视频流的至少一个参考帧或图像。所述参考帧不同于所述视频流的当前帧。特别地，在本发明的上下文中，当前帧是当前编码的视频流的帧，而参考帧是已经被编码的视频流的帧。下面所提及的“帧”都可以被“图像”替代。
帧间预测单元210用于根据参考帧的参考块生成当前帧的当前块的预测块。优选地，参考帧是存储在帧缓冲器207中的参考帧，而当前块优选地对应于视频编码器200的输入，其在图 2中称为视频块。特别地，使用帧间编码技术对当前帧进行编码，即，由与当前帧不同的至少一个参考帧来预测当前帧。参考帧可以是先前帧，即在后续帧的视频流内位于当前帧之前的帧。或者，如果使用前向预测，则参考帧可以是未来帧，即位于当前帧之后的帧。假使有多个参考帧，至少一个可以是先前帧，并且其中至少一个可以是未来帧。参考帧可以是帧内编码的，即可以不使用任何其它帧并且不依赖于其它帧进行编码，从而可以对其进行独立解码，并且使其可以用作随机视频访问的入口点。
特别地，帧间预测单元210用于通过生成运动矢量并估计参考帧的参考块与当前帧的当前块之间的运动进行运动估计。所述运动估计在编码期间执行，从而基于某个代价函数例如速率失真优化来找到指向参考帧中的最佳参考块的运动矢量。除了运动估计之外，帧间预测单元 210还用于通过基于运动矢量和参考块生成针对当前块的预测块来进行运动补偿。
特别地，运动预测包括运动估计单元和运动补偿单元。运动矢量是通过运动估计单元生成的。参考块和当前块优选地是参考帧和当前帧的各自的区域或子区域。这样的块可以具有规则的形状例如矩形或不规则形状。或者，所述块的大小可以与帧的大小相同。当前块和参考块都具有相同的大小。块的大小可以通过作为辅助信息或信令数据传输给解码器的块模式信息来定义。块可以对应于编码单元，该编码单元是预定义大小的视频序列的基本编码结构，其包含帧的一部分，例如，64×64像素。
根据参考块，生成针对当前块的预测块。特别地，可以根据多个参考块生成针对当前帧多个当前块的多个预测块。这些参考块可以是单个参考帧的一部分，或者可以从不同的参考帧中选择。可以针对当前帧生成几个预测块，并且可以合并针对当前帧生成的预测块来获得当前帧的预测帧。
锐化滤波器211用于对预测块进行滤波。因此，锐化滤波器211应用于帧间预测单元210生成的预测块。在帧间预测单元210之后添加了本发明提出的锐化滤波器211，以增强通过帧间预测获得的预测块，即通过包括运动估计和运动补偿的运动预测获得的预测块。因此，锐化滤波器211用于生成锐化的预测块。
图2中的视频编码器200包括类似于图1中的视频编码器100中的另外的单元，特别地用于支持混合视频编码。例如，视频编码器200包含类似单元，所述类似单元为变换单元201、量化单元202及熵编码器或熵编码单元203，本领域已知，分别用于通过变换到频域产生变换系数，将系数量化并且对量化系数(例如与信令数据一起)进行熵编码。变换单元201的输入是残差块，所述残差块定义为当前帧的当前块与预测块之间的差值，所述当前帧的当前块在图2中称为视频块，所述预测块由帧间预测单元210、锐化滤波器211或帧内预测单元 209输出。熵编码单元203用于生成编码视频比特流作为输出。
视频编码器200包含另外的类似单元，所述类似单元为逆量化单元204、逆变换单元205及环路滤波单元206。量化单元202生成的量化变换系数由逆量化单元204和逆变换单元205 分别进行逆量化和逆变换，以获得与馈送到变换单元201的残差块相对应的重建的残差块。然后将重建的残差块添加到先前用于生成残差块的预测块中，以获得对应当前块的重建的当前块，该重建的当前块在图2中称为重建的视频块。该重建的当前块可以由环路滤波单元206 处理以消除按块处理和量化所引入的伪影。然后，可以通过重建的当前块重建包括至少一个当前块或有益地包括多个当前块的当前帧。该重建的当前帧可以存储在帧缓冲器207中，在对视频流的另一个帧进行帧间预测时用作参考帧。
视频编码器200中提供了模式选择单元208，类似图1，用于选择视频编码器200的输入块是由帧内预测单元209还是由帧间预测单元210进行处理。模式选择单元208相应地选择是仅使用来自帧的信息来对该帧的块进行帧内编码还是使用来自其它帧的附加信息(即，来自存储在帧缓冲器207中的至少一个参考帧)进行帧间编码。
帧内预测单元209负责帧内预测并且基于帧内预测生成预测块。如上所述，帧间预测单元210 负责帧间预测，并且生成从参考帧中的相同大小的块预测出的预测块，以减少时间冗余。
特别地，可以一直启用锐化滤波器211。这是指帧间预测单元210生成的预测块总是馈送到锐化滤波器211，并且总是通过当前块与由锐化滤波器211输出的锐化的预测块的差值来获得残差块。
或者，可以应用或旁路锐化滤波器211。假使应用了锐化滤波器211，锐化滤波器211生成锐化的预测块，并且残差块是通过当前块和锐化滤波器211输出的锐化的预测块的差值获得的。假使旁路了锐化滤波器211，则通过当前块与帧间预测单元210输出的预测块的差值来获得残差块。
锐化滤波器211的选择性应用和旁路中的至少一个由控制单元212控制。例如，控制单元可以用于根据代价函数来控制锐化滤波器211的应用或旁路中的至少一个，以最小化残差块。例如，所述代价函数可以基于速率失真优化。特别地，所述代价函数应用于根据锐化滤波器 211输出的预测块获得的残差块，以及根据帧间预测单元210输出的预测块获得的残差块。根据代价函数的结果，可以应用或旁路锐化滤波器211。
控制单元212旁路或应用锐化滤波器211的决定可以作为由编码单元或熵编码单元203生成的编码视频比特流内的信令数据传输。控制单元212将锐化滤波器信息传输到编码单元203，所述锐化滤波器信息反映锐化滤波器211的选择性旁路或选择性应用中的至少一个。然后，编码单元203将锐化滤波器信息作为信令数据添加到编码视频比特流中。
锐化滤波器信息可以采用锐化滤波器标志的形式，其可以取两个值，例如0和1。这两个值中的一个(例如1)定义应用锐化滤波器，而另一个值则定义旁路锐化滤波器。或者，不存在锐化滤波器信息可解释为反映了锐化滤波器的旁路，而存在锐化滤波器信息可反映锐化滤波器的应用。
锐化滤波器信息的粒度可以变化。例如，锐化滤波器信息可以针对每个预测块在块层进行添加，针对帧的任意或规则区域在帧层、GOP(图像组)层、在PPS(图像参数集合)层或在 SPS(序列参数集合)层进行添加。如果针对每个预测块在块层添加锐化滤波器信息，则编码单元203可以针对由帧间预测单元210生成的每个预测块添加锐化滤波器信息。然后，编码单元203在编码视频比特流中针对每个预测块添加对应的量化残余变换系数和对应的锐化滤波器信息。
图3示出了根据本发明实施例的一种视频解码器，特别是一种用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码的视频解码器300。
特别地，视频解码器300包括帧缓冲器307、帧间预测单元310和锐化滤波器311。帧缓冲器 307用于存储从编码视频比特流得到的至少一个参考帧，所述参考帧不同于编码视频比特流的当前帧。帧间预测单元310用于根据参考帧的参考块生成当前帧的当前块的预测块。锐化滤波器311用于对预测块进行滤波。
解码器300用于解码由视频编码器200生成的编码视频比特流，并且解码器300和编码器200 都产生相同的预测。帧缓冲器307、帧间预测单元310和锐化滤波器311的特征类似于图2 中的帧缓冲器207、帧间预测单元210和锐化滤波器211的特征。
特别地，视频解码器300包括也存在于视频编码器200中的另外的单元，例如逆量化单元304、逆变换单元305、环路滤波单元306和帧内预测单元309。它们分别对应于视频编码器200的逆量化单元204、逆变换单元205、环路滤波单元206和帧内预测单元209。熵解码单元303 用于解码接收到的编码视频比特流并相应地获得量化残余变换系数以及锐化滤波器信息，如果存在锐化滤波器信息的话。将量化残余变换系数馈送到逆量化单元304和逆变换单元305 以产生残差块。将残差块添加到预测块，并且将重建的残差块馈送到环路滤波单元306以获得解码视频。解码视频的帧可以存储在帧缓冲器307中，并且用作参考帧用于帧间预测。
特别地，可以一直启用锐化滤波器311。这是指由锐化滤波器进行滤波的预测单元用于获得解码视频。
或者，例如，控制单元312可以选择性应用或旁路锐化滤波器。可以将解码单元303从编码视频比特流中获得的锐化滤波器信息馈送到控制单元312，该控制单元312根据锐化滤波器信息控制锐化滤波器311的选择性旁路和选择性应用中的至少一个。
锐化滤波器信息反映锐化滤波器311的选择性旁路和选择性应用中的至少一个，并且优选地对应于由视频编码器200添加到编码视频比特流的锐化滤波器信息。例如，讨论的关于视频编码器200的锐化滤波器信息的形式和粒度的不同方面也适用于视频解码器300。
图4示出了根据本发明的锐化滤波器400的一个实施例，特别是视频编码器200的锐化滤波器211的实施例或者视频解码器300的锐化滤波器311的实施例。优选地，视频解码器300 具有与视频编码器200相同的锐化滤波器，该锐化滤波器置于帧间预测单元310之后。
优选地，锐化滤波器400为非线性滤波器。优选地，使用非线性锐化滤波器而不是线性滤波器来消除由运动插值滤波器和参考块或帧的量化造成的伪影。
特别地，锐化滤波器400包括边缘图计算单元401和402、模糊滤波器404、高通滤波器405、缩放单元406和扭曲单元407。
边缘图计算单元401和402用于生成源图像块的边缘图，所述源图像块是所述参考块或所述预测块。模糊滤波器404用于模糊所述源图像块的所述边缘图。高通滤波器405用于通过对所述模糊的边缘图进行高通滤波，生成针对所述源图像块每个位置的导数矢量(d2x，d2y)。缩放单元406用于通过使用锐化强度系数k缩放所述导数矢量(d2x，d2y)生成位移矢量(wx， wy)。扭曲单元407用于基于所述位移矢量(wx，wy)扭曲所述预测块。
边缘图计算单元401和402可以包括：梯度矢量单元401，用于针对所述源图像块的每个位置生成梯度矢量(dx，dy)；以及梯度矢量长度单元402，用于计算各个位置的梯度矢量(dx， dy)的长度，从而生成所述源图像块的所述边缘图。
可以结合下面的等式应用相应的Prewitt滤波器通过对dx和dy分别取一阶导数来得到梯度矢量，即分别对图4中的称作源图像块的源图像块的水平方向和垂直方向取一阶导数。
Figure BDA0001606405550000091
Figure BDA0001606405550000092
边缘图可以通过梯度矢量长度单元402结合以下等式计算梯度矢量长度来获得：
Figure BDA0001606405550000093
有益地，锐化滤波器400包括裁剪单元403，用于裁剪源图像块的边缘图，所述裁剪单元403 位于边缘图计算单元401和402与模糊滤波器404之间。根据阈值裁剪边缘图可以避免处理扭曲矢量的极高值和极低值。
对裁剪的边缘图进行模糊的步骤可以由模糊滤波器404执行，该模糊滤波器404采用如下定义的高斯滤波器形式：
Figure BDA0001606405550000094
高通滤波器用于分别针对d2x和d2y得到二阶导数，例如根据以下等式得到二阶导数：
d2x＝[1 0 -1]
Figure BDA0001606405550000101
根据以下等式使用系数k缩放二阶导数矢量(d2x，d2y)来获得位移矢量(wx，wy)，其中，系数k可以视为锐化强度。
wx＝k*d2x
wy＝k*d2y
扭曲单元407包括插值滤波器例如双线性插值滤波器以获得分数像素位置处的采样值。扭曲单元407使用由缩放单元406生成的位移矢量。
锐化滤波器400包括基于根据源图像块计算的位移矢量的扭曲，该源图像块在图4中称为源图。根据一实施例，源图像块是存储在帧缓冲器207和307中的参考帧的参考块，使得从参考块导出位移矢量(wx，wy)。根据一可替代实施例，源图像块是由帧间预测单元210和310 生成的预测块，使得从预测块导出位移矢量(wx，wy)。
图5示出了根据本发明实施例的一种视频编码方法，特别是一种用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流的方法500。
该方法500包括步骤501：存储所述视频流的至少一个参考帧，所述参考帧不同于所述视频流的当前帧。
该方法500还包括帧间预测步骤502：根据参考帧的参考块生成所述当前帧的当前块的预测块。
该方法500还包括锐化滤波步骤503：将锐化滤波器应用于所述预测块，从而对所述预测块进行滤波。
图6示出了根据本发明实施例的一种视频解码方法，特别是一种用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码的方法600。
该方法600包括步骤601：存储从所述编码视频比特流得到的至少一个参考帧，所述参考帧不同于所述编码视频比特流的当前帧。
该方法600包括帧间预测步骤602：根据所述参考帧的参考块生成所述当前帧的当前块的预测块。
该方法600包括锐化滤波步骤603：将锐化滤波器应用于所述预测块，从而对所述预测块进行滤波。
视频编码器200或视频解码器300进一步描述的方面和特征也适用于所述编码方法500和所述解码方法600。
已经结合作为实例的不同实施例以及实施方案描述了本发明。但本领域技术人员通过实践所请发明，研究附图、本公开以及独立权项，能够理解并获得其它变体。在权利要求书以及说明书中，术语“包括”不排除其它元件或步骤，且“一个”并不排除复数可能。单个元件或其它单元可满足权利要求书中所叙述的若干实体或项目的功能。在仅凭某些措施被记载在相互不同的从属权利要求中这个单纯的事实并不意味着这些措施的组合不能在有利的实施方式中使用。

Claims (21)

1.一种视频编码器，其特征在于，用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流，包括：
帧缓冲器，用于存储所述视频流的至少一个参考帧，所述参考帧不同于所述视频流的当前帧；帧间预测单元，用于根据所述参考帧的参考块生成所述当前帧的当前块的预测块；
锐化滤波器，用于对通过帧间预测生成的所述预测块进行滤波；以及
编码单元，用于生成编码视频比特流，其中所述编码视频比特流中包含所述预测块对应的量化残余变换系数和对应的锐化滤波器信息；
其中所述锐化滤波器包括：
边缘图计算单元，用于生成源图像块的边缘图，所述源图像块是所述参考块或所述预测块；
模糊滤波器，用于模糊所述源图像块的边缘图；
高通滤波器，用于通过对所述模糊的边缘图进行高通滤波，生成针对所述源图像块每个位置的导数矢量(d2x，d2y)；
缩放单元，用于通过使用锐化强度系数缩放所述导数矢量(d2x，d2y)生成位移矢量(wx，wy)；以及
扭曲单元(407)，用于基于所述位移矢量(wx，wy)扭曲所述预测块。
2.根据权利要求1所述的视频编码器，其特征在于，所述锐化滤波器是非线性滤波器。
3.根据权利要求1所述的视频编码器，其特征在于，所述边缘图计算单元包括：
梯度矢量单元，用于针对所述源图像块的每个位置生成梯度矢量(dx，dy)；
梯度矢量长度单元，用于计算各个位置的梯度矢量(dx，dy)的长度，从而生成所述源图像块的边缘图。
4.根据权利要求3所述的视频编码器，其特征在于，所述梯度矢量单元是Prewitt滤波器。
5.根据权利要求1至4中任一项所述的视频编码器，其特征在于，所述锐化滤波器包括裁剪单元，用于裁剪所述源图像块的边缘图，所述裁剪单元位于所述边缘图计算单元与所述模糊滤波器之间。
6.根据权利要求1至4中任一项所述的视频编码器，其特征在于，所述模糊滤波器是高斯滤波器。
7.根据权利要求1至4中任一项所述的视频编码器，其特征在于，所述扭曲单元包括双线性插值滤波器以获得分像素位置处的采样值。
8.根据权利要求1至4中任一项所述的视频编码器，其特征在于，所述源图像块是所述参考块，使得从所述参考块导出所述位移矢量(wx，wy)。
9.根据权利要求1至4中任一项所述的视频编码器，其特征在于，所述源图像块是所述预测块，使得从所述预测块导出所述位移矢量(wx，wy)。
10.根据权利要求1至4中任一项所述的视频编码器，其特征在于，一直启用所述锐化滤波器。
11.根据权利要求1至4中任一项所述的视频编码器，其特征在于，包括控制单元，用于控制所述锐化滤波器的选择性旁路和所述锐化滤波器的选择性应用中的至少一个。
12.根据权利要求11所述的视频编码器，其特征在于，所述控制单元用于根据代价函数来控制所述锐化滤波器的所述选择性旁路和所述选择性应用中的至少一个，以最小化残差块，所述残差块是所述当前块与所述预测块之间的差值，所述代价函数是基于速率失真优化。
13.根据权利要求11所述的视频编码器，其特征在于，所述控制单元用于向所述编码单元传输所述锐化滤波器信息，所述锐化滤波器信息用于反映所述锐化滤波器的所述选择性旁路和所述选择性应用中的至少一个。
14.根据权利要求13所述的视频编码器，其特征在于，所述锐化滤波器信息针对每个预测块在块层进行添加，针对所述帧的任意或规则区域在帧层、图像组GOP层、在图像参数集合PPS层或在序列参数集合SPS层进行添加。
15.一种编码方法，其特征在于，用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流，包括：
存储所述视频流的至少一个参考帧，所述参考帧不同于所述视频流的当前帧；
根据所述参考帧的参考块生成所述当前帧的当前块的预测块；
将锐化滤波器应用于通过帧间预测生成的所述预测块；以及
生成编码视频比特流，其中所述编码视频比特流中包含所述预测块对应的量化残余变换系数和对应的锐化滤波器信息；
其中所述锐化滤波器包括：
边缘图计算单元，用于生成源图像块的边缘图，所述源图像块是所述参考块或所述预测块；
模糊滤波器，用于模糊所述源图像块的边缘图；
高通滤波器，用于通过对所述模糊的边缘图进行高通滤波，生成针对所述源图像块每个位置的导数矢量(d2x，d2y)；
缩放单元，用于通过使用锐化强度系数缩放所述导数矢量(d2x，d2y)生成位移矢量(wx，wy)；以及
扭曲单元，用于基于所述位移矢量(wx，wy)扭曲所述预测块。
16.一种视频解码器，其特征在于，用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码，包括：
解码单元，用于解码接收到的编码视频比特流并相应地获得量化残余变换系数以及锐化滤波器信息，如果存在锐化滤波器信息的话；
帧缓冲器，用于存储从所述编码视频比特流得到的至少一个参考帧，所述参考帧不同于所述编码视频比特流的当前帧；
帧间预测单元，用于根据所述参考帧的参考块生成所述当前帧的当前块的预测块；以及
锐化滤波器，用于对通过帧间预测生成的所述预测块进行滤波；
其中所述锐化滤波器包括：
边缘图计算单元，用于生成源图像块的边缘图，所述源图像块是所述参考块或所述预测块；
模糊滤波器，用于模糊所述源图像块的边缘图；
高通滤波器，用于通过对所述模糊的边缘图进行高通滤波，生成针对所述源图像块每个位置的导数矢量(d2x，d2y)；
缩放单元，用于通过使用锐化强度系数缩放所述导数矢量(d2x，d2y)生成位移矢量(wx，wy)；以及
扭曲单元，用于基于所述位移矢量(wx，wy)扭曲所述预测块。
17.根据权利要求16所述的视频解码器，其特征在于，一直启用所述锐化滤波器。
18.根据权利要求16所述的视频解码器，其特征在于，包括控制单元，用于控制所述锐化滤波器的选择性旁路和所述锐化滤波器的选择性应用中的至少一个。
19.根据权利要求18所述的视频解码器，其特征在于，所述控制单元用于根据从所述编码视频比特流得到的锐化滤波器信息来控制所述锐化滤波器的所述选择性旁路和所述选择性应用中的至少一个。
20.一种解码方法，用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码，其特征在于，包括：
解码接收到的编码视频比特流并相应地获得量化残余变换系数以及锐化滤波器信息，如果存在锐化滤波器信息的话；
存储从所述编码视频比特流得到的至少一个参考帧，所述参考帧不同于所述编码视频比特流的当前帧；
根据所述参考帧的参考块生成所述当前帧的当前块的预测块；以及
将锐化滤波器应用于通过帧间预测生成的所述预测块；
其中所述锐化滤波器包括：
边缘图计算单元，用于生成源图像块的边缘图，所述源图像块是所述参考块或所述预测块；
模糊滤波器，用于模糊所述源图像块的边缘图；
高通滤波器，用于通过对所述模糊的边缘图进行高通滤波，生成针对所述源图像块每个位置的导数矢量(d2x，d2y)；
缩放单元，用于通过使用锐化强度系数缩放所述导数矢量(d2x，d2y)生成位移矢量(wx，wy)；以及
扭曲单元，用于基于所述位移矢量(wx，wy)扭曲所述预测块。
21.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在计算设备上运行时，执行如权利要求15或20所述的方法。
CN201580083342.7A 2015-09-25 2015-09-25 视频编解码器、编解码方法和计算机可读存储介质 Active CN108141602B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2015/000613 WO2017052408A1 (en) 2015-09-25 2015-09-25 Apparatus and method for video motion compensation

Publications (2)

Publication Number Publication Date
CN108141602A CN108141602A (zh) 2018-06-08
CN108141602B true CN108141602B (zh) 2021-02-23

Family

ID=55754394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580083342.7A Active CN108141602B (zh) 2015-09-25 2015-09-25 视频编解码器、编解码方法和计算机可读存储介质

Country Status (13)

Country Link
US (1) US10848784B2 (zh)
EP (1) EP3354027A1 (zh)
JP (1) JP6677804B2 (zh)
KR (1) KR102146436B1 (zh)
CN (1) CN108141602B (zh)
AU (1) AU2015410096B2 (zh)
BR (1) BR112018006031A2 (zh)
CA (1) CA2999824C (zh)
MX (1) MX2018003688A (zh)
MY (1) MY193174A (zh)
RU (1) RU2696309C1 (zh)
WO (1) WO2017052408A1 (zh)
ZA (1) ZA201802148B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019093916A1 (en) * 2017-11-07 2019-05-16 Huawei Technologies Co., Ltd Interpolation filter for an inter prediction apparatus and method for video coding
TWI826532B (zh) * 2018-09-19 2023-12-21 大陸商北京字節跳動網絡技術有限公司 基於歷史資訊的幀內模式編解碼
CN115914627A (zh) 2019-04-15 2023-04-04 北京字节跳动网络技术有限公司 自适应环路滤波器中的裁剪参数推导
CN110266706A (zh) 2019-06-26 2019-09-20 三星电子（中国）研发中心 一种多媒体流数据的播放方法和装置
CN110809163B (zh) * 2019-10-30 2023-05-12 腾讯科技（深圳）有限公司 一种数据传输方法、装置、计算机设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1663258A (zh) * 2002-06-28 2005-08-31 杜比实验室认证公司 改进的视频压缩帧插值
CN103650509A (zh) * 2011-07-01 2014-03-19 苹果公司 基于照相机和背景运动的参考帧缓冲区的自适应配置
CN104937941A (zh) * 2013-03-28 2015-09-23 华为技术有限公司 用于确定用于空间可缩放视频编解码器的预测块的方法

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175656B1 (en) 1999-03-25 2001-01-16 Sony Corporation Non-linear video sharpening filter
US20020063807A1 (en) 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
US6864916B1 (en) 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
JP3995854B2 (ja) 1999-06-10 2007-10-24 富士フイルム株式会社 画像処理方法および装置並びに記録媒体
FI117533B (fi) 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
US7116831B2 (en) 2002-04-10 2006-10-03 Microsoft Corporation Chrominance motion vector rounding
JP4120301B2 (ja) 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
US20130107938A9 (en) 2003-05-28 2013-05-02 Chad Fogg Method And Apparatus For Scalable Video Decoder Using An Enhancement Stream
US7471845B2 (en) 2004-01-06 2008-12-30 Sharp Laboratories Of America, Inc. De-ringing filter
US7397853B2 (en) 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
JP4576930B2 (ja) 2004-08-26 2010-11-10 カシオ計算機株式会社 動きベクトル検出装置、および、プログラム
RU2008106939A (ru) 2005-04-19 2009-08-27 Самсунг Электроникс Ко., Лтд. (KR) Способ и устройство адаптивного выбора контекстной модели для кодирования по энтропии
EP1841230A1 (en) * 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
JP2008054267A (ja) 2006-07-28 2008-03-06 Hitachi Ltd 画像処理装置、画像符号化装置及び画像復号化装置
US9014280B2 (en) 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
US7751873B2 (en) 2006-11-08 2010-07-06 Biotronik Crm Patent Ag Wavelet based feature extraction and dimension reduction for the classification of human cardiac electrogram depolarization waveforms
US8199812B2 (en) 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US20080205508A1 (en) 2007-02-22 2008-08-28 Streaming Networks (Pvt.) Ltd. Method and apparatus for low complexity video encoding and decoding
EP2232874B1 (en) 2008-01-08 2012-12-05 Telefonaktiebolaget L M Ericsson (publ) Adaptive filtering
EP2081386A1 (en) * 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
US8705622B2 (en) 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
US20090257499A1 (en) 2008-04-10 2009-10-15 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US8811484B2 (en) 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
US10123050B2 (en) 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
JP4763026B2 (ja) 2008-08-27 2011-08-31 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体
US9078007B2 (en) * 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
KR101807886B1 (ko) * 2009-10-14 2017-12-11 돌비 인터네셔널 에이비 깊이 맵 처리를 위한 방법 및 디바이스
US8548065B2 (en) 2009-10-22 2013-10-01 The Chinese University Of Hong Kong Parametric interpolation filter for motion-compensated prediction
CN105847814B (zh) * 2010-04-13 2019-01-08 太阳专利托管公司 图像编码方法及图像编码装置
US20110299604A1 (en) 2010-06-04 2011-12-08 Apple Inc. Method and apparatus for adaptive video sharpening
US9154807B2 (en) 2010-06-25 2015-10-06 Qualcomm Incorporated Inclusion of switched interpolation filter coefficients in a compressed bit-stream
EP2953355B1 (en) 2010-09-30 2017-06-14 Samsung Electronics Co., Ltd Device for interpolating images by using a smoothing interpolation filter
US8761245B2 (en) 2010-12-21 2014-06-24 Intel Corporation Content adaptive motion compensation filtering for high efficiency video coding
US9172972B2 (en) 2011-01-05 2015-10-27 Qualcomm Incorporated Low complexity interpolation filtering with adaptive tap size
WO2012109528A1 (en) 2011-02-11 2012-08-16 Vid Scale, Inc. Edge-based video interpolation for video and image upsampling
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
JP5552092B2 (ja) 2011-06-13 2014-07-16 日本電信電話株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US9432700B2 (en) 2011-09-27 2016-08-30 Broadcom Corporation Adaptive loop filtering in accordance with video coding
US9462298B2 (en) 2011-10-21 2016-10-04 Qualcomm Incorporated Loop filtering around slice boundaries or tile boundaries in video coding
US9596463B2 (en) 2012-02-22 2017-03-14 Qualcomm Incorporated Coding of loop filter parameters using a codebook in video coding
WO2013147495A1 (ko) 2012-03-26 2013-10-03 엘지전자 주식회사 스케일러블 비디오 인코딩/디코딩 방법 및 장치
CN104335585B (zh) 2012-06-24 2019-02-19 Lg 电子株式会社 图像解码方法和使用其的装置
US9344718B2 (en) 2012-08-08 2016-05-17 Qualcomm Incorporated Adaptive up-sampling filter for scalable video coding
US20140072048A1 (en) 2012-09-13 2014-03-13 Samsung Electronics Co., Ltd Method and apparatus for a switchable de-ringing filter for image/video coding
US9596465B2 (en) 2013-01-04 2017-03-14 Intel Corporation Refining filter for inter layer prediction of scalable video coding
US20140192862A1 (en) 2013-01-07 2014-07-10 Research In Motion Limited Methods and systems for prediction filtering in video coding
US20140254659A1 (en) 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
KR101789954B1 (ko) 2013-12-27 2017-10-25 인텔 코포레이션 차세대 비디오 코딩을 위한 콘텐츠 적응적 이득 보상된 예측
KR20150087701A (ko) * 2014-01-22 2015-07-30 삼성전자주식회사 샤프닝 필터링 기반의 이미지 처리 장치 및 이미지 처리 방법
US20160105685A1 (en) * 2014-10-08 2016-04-14 Qualcomm Incorporated Boundary filtering and cross-component prediction in video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1663258A (zh) * 2002-06-28 2005-08-31 杜比实验室认证公司 改进的视频压缩帧插值
CN103650509A (zh) * 2011-07-01 2014-03-19 苹果公司 基于照相机和背景运动的参考帧缓冲区的自适应配置
CN104937941A (zh) * 2013-03-28 2015-09-23 华为技术有限公司 用于确定用于空间可缩放视频编解码器的预测块的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多视点视频编码的预测和后处理技术研究;刘如意;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140315(第3期);全文 *

Also Published As

Publication number Publication date
AU2015410096B2 (en) 2019-09-26
AU2015410096A1 (en) 2018-04-26
RU2696309C1 (ru) 2019-08-01
EP3354027A1 (en) 2018-08-01
US10848784B2 (en) 2020-11-24
KR102146436B1 (ko) 2020-08-20
MX2018003688A (es) 2018-08-01
CA2999824A1 (en) 2017-03-30
KR20180056735A (ko) 2018-05-29
CA2999824C (en) 2021-08-03
JP6677804B2 (ja) 2020-04-08
JP2018533293A (ja) 2018-11-08
WO2017052408A1 (en) 2017-03-30
WO2017052408A8 (en) 2017-10-26
BR112018006031A2 (pt) 2018-10-09
MY193174A (en) 2022-09-26
US20180213261A1 (en) 2018-07-26
ZA201802148B (en) 2019-01-30
CN108141602A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
US10841605B2 (en) Apparatus and method for video motion compensation with selectable interpolation filter
US10820008B2 (en) Apparatus and method for video motion compensation
US10834416B2 (en) Apparatus and method for video motion compensation
US10848784B2 (en) Apparatus and method for video motion compensation
JP6797247B2 (ja) ビデオ動き補償用の装置および方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant