CN101998121B - 编码器、解码器、视频帧编码方法及比特流解码方法 - Google Patents

编码器、解码器、视频帧编码方法及比特流解码方法 Download PDF

Info

Publication number
CN101998121B
CN101998121B CN201010567188.XA CN201010567188A CN101998121B CN 101998121 B CN101998121 B CN 101998121B CN 201010567188 A CN201010567188 A CN 201010567188A CN 101998121 B CN101998121 B CN 101998121B
Authority
CN
China
Prior art keywords
block
video
frame
encoder
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010567188.XA
Other languages
English (en)
Other versions
CN101998121A (zh
Inventor
雷少民
黄毓文
郭峋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN101998121A publication Critical patent/CN101998121A/zh
Application granted granted Critical
Publication of CN101998121B publication Critical patent/CN101998121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H04N19/865—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

本发明提供了编码器、解码器、视频帧编码方法及比特流解码方法。其中一种编码器用于接收视频帧，并进行编码处理以产生编码后的比特流，此编码器包含：保真度增强区块，利用四叉树分割对处理过的数据应用保真度增强技术，并产生包含至少一参数的保真度增强信息，其中参数与四叉树分割结构相关；以及熵编码区块，耦合于保真度增强区块，用于编码保真度增强信息，并将编码后的保真度增强信息嵌入到编码后的比特流。本发明所提供的方法及装置，通过在比特流的报头中设置指针来指示保真度增强信息的位置，使得解码器不必等待解码全部比特流就可立即存取保真度增强信息，开始执行保真度增强。

Description

编码器、解码器、视频帧编码方法及比特流解码方法
本申请为中国专利申请CN200810187119.9的分案申请，原申请的申请日为2008年12月12日，发明创造名称为：编码器、解码器、视频帧编码方法及比特流解码方法。
技术领域
本发明是有关于视频编码及解码，特别是有关于视频编码及解码过程中的保真度(fidelity)处理。
背景技术
本发明引用的参考文献为：发表于2007年IEEE国际图像信息处理会议(ICIP 2007)年报上的Stephen Wittmann与Thomas Wedi的论文“Transmission of post-filter hints for video coding schemes”，以及公开号为EP 1841230A1的欧洲专利申请。
下一代视频编码方法旨在通过尽可能地压缩数据来达到最高的效率。如果可以显著地压缩数据，就可以在带宽有限的网络中传输高质量的视频。H.264/AVC(Advance Video Coding，AVC，先进视频编码)编码标准是视频编码标准的一个例子。H.264标准结合了基于区块的运动补偿与转换编码(transform coding)。其中转换编码可以去除帧内的空间冗余，而基于区块的运动补偿可以去除帧间冗余。
视频编码可以分为四个部分：预测、转换、量化与熵编码(entropycoding)。在编码端，预测可由帧内预测(intra prediction)及帧间预测(interprediction)组成，其中帧内预测参考相同帧的像素，而帧间预测参考前一帧的像素。转换将预测残差(residues)转换为转换系数，使得残差的能量可以向低频带集中。量化将帧的转换系数除以一个数值并取整，使之达到更小的比特深度，从而进一步减少用来表示一帧的比特数目。最后一步的熵编码包括量化转换系数及其它参数的无损表示。在解码时，将上述操作逆向执行以产生重建(reconstruction)的像素。解码与编码过程均包含一个封闭的回路，其中帧的编码/解码后的宏块(macroblock)被重建，并接着输入到预测单元以产生下一帧的编码信息。利用重建后的帧而不是原始帧来预测后续帧，可防止帧之间的漂移。
H.264标准既利用帧内预测，也利用帧间预测，并执行基于区块的编码。将一帧分成多个宏块并分别对每一宏块进行编码，可导致在区块的边缘形成块效应(artifact)，也就是说，由于编码模式或相邻区块的运动向量通常不同，在区块之间会有可见的分界线。为了消除这些块效应，大部分基于区块的编码技术在封闭的编码回路中包含有消除块效应滤波器(deblockingfilter)。消除块效应滤波器可减轻区块边缘的痕迹，但无法移除区块内的量化误差。当利用大的量化值执行高保真度(fidelity)的编码时，仅有消除块效应滤波器是不够的。
维纳滤波器(Wiener filter)从编码信号中移除噪声分量，以使得有噪声的编码信号更接近于原始信号。当原始信号s输入到一个典型的系统中时，原始信号s会受到一定程度的干扰而产生与原始信号s不同的信号s’。这是附加的噪声影响的结果。维纳滤波器的目的在于将这两个信号之间的均方误差最小化，从而使得作为结果的滤波信号s^更接近于原始信号s，而不是更接近于干扰信号s’。维纳滤波器通过利用自相关矩阵(auto-correlation matrix)和互相关矩阵(cross-correlation matrix)产生滤波器系数来操作。
公开号为EP 1841230A1的欧洲专利申请教导了实施于编码器与解码器的维纳滤波器。维纳滤波器首先可产生互相关矩阵及与矩阵相关的编码器参数，接着将这些参数嵌入到比特流并将其发送至解码器以用于解码，在解码器中这些参数可用来减少解码后的帧中的量化误差，从而确保较高的保真度。
发明内容
本发明通过提供多种保真度增强(fidelity enhancement)方法及装置来改善上述系统的性能，其中保真度增强方法及装置既可实施于编码器也可实施于解码器。
本发明的实施例提供一种编码器，用于接收视频帧，并进行编码处理以产生编码后的比特流，此编码器包含：保真度增强区块，利用四叉树分割(quad-tree partition)对处理过的数据应用保真度增强技术，并产生包含至少一参数的保真度增强信息，其中参数与四叉树分割结构相关；以及熵编码(entropy coding)区块，耦合于保真度增强区块，用于编码保真度增强信息，并将编码后的保真度增强信息嵌入到编码后的比特流。
本发明的实施例提供一种视频帧编码方法，包含：接收视频帧；利用四叉树分割方法来决定如何分割视频帧；依据决定结果来分割视频帧，并对视频帧执行保真度增强以产生多个保真度增强参数；以及编码所述的多个保真度增强参数与所述的视频帧，并将编码后的保真度增强参数嵌入编码所述的视频帧产生的编码后的比特流。
本发明的实施例提供另一种视频帧编码方法，包含：接收视频帧；对处理过的数据执行保真度增强，以产生保真度增强信息；编码视频帧以产生编码后的比特流；编码保真度增强信息，并将编码后的保真度增强信息嵌入到编码后的比特流；以及产生指针，用于指示保真度增强信息在编码后的比特流中的位置。
本发明的实施例提供一种比特流解码方法，包含：接收比特流；从比特流的报头(header)中得到指针，其中指针指示保真度增强信息在比特流中的位置；通过解码处理重建(reconstruction)视频帧；以及利用通过解码所述的比特流获得的所述的保真度增强信息对处理过的数据执行保真度增强。
本发明的实施例提供一种解码器，用于接收比特流以产生视频帧，解码器包含：熵解码单元，用于解码比特流以产生残差(residues)及保真度增强信息，其中保真度增强信息包含至少一参数，参数与四叉树分割结构相关；以及重建回路，耦合于熵解码单元，用于从残差重建视频帧，其中重建回路包含：保真度增强区块，用于从熵解码单元接收保真度增强信息，并依据从保真度增强信息中得到的四叉树分割结构执行保真度增强。
本发明所提供的方法及装置，与现有技术相比较，其有益效果包括：通过在比特流的报头中设置指针来指示保真度增强信息的位置，使得解码器不必等待解码全部比特流就可立即存取保真度增强信息，开始执行保真度增强。
附图说明
图1是依据本发明第一实施例的编码器的示意图。
图2是依据本发明第一实施例的解码器的示意图。
图3是依据本发明第二实施例的编码器的示意图。
图4是依据本发明第二实施例的解码器的示意图。
图5是依据本发明第三实施例的编码器的示意图。
图6是依据本发明第三实施例的解码器的示意图。
图7是依据本发明第四实施例的编码器的示意图。
图8是依据本发明第四实施例的解码器的示意图。
图9是多级四叉树分割的示意图。
具体实施方式
在本说明书以及权利要求当中使用了某些词汇来指称特定的元件，本领域的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件，本说明书及权利要求并不以名称的差异作为区分元件的方式，而是以元件在功能上的差异作为区分的准则，在通篇说明书及权利要求书当中所提及的“包含”是开放式的用语，故应解释成“包含有但不限定于”，此外，“耦合”一词在此包含任何直接及间接的电气连接手段，因此，若文中描述第一装置耦合于第二装置，则代表第一装置可以直接电气连接于第二装置，或通过其它装置或连接手段间接地电气连接至第二装置。
阅读了下文对于附图所示实施例的详细描述之后，本发明对所属技术领域的技术人员而言将显而易见。
本发明旨在通过提供多种保真度增强(fidelity enhancement)方法来进一步阐述编码器中的维纳滤波(Wiener filtering)，其中与这些保真度增强方法相关的信息将编码并嵌入到比特流中。以这种方式，当解码器解码接收到的比特流时，内嵌的保真度增强信息被取回并利用于解码器中以对处理过的数据执行保真度增强。由于可对处理过的数据应用多种不同的技术，编码器与解码器中保真度增强区块的多种不同配置可确保增强的等效性(parity)，从而不仅减小了量化误差，而且确保了所恢复的视频帧整体质量的提高。
对视频编码器及解码器应用保真度增强方法的目的是通过消除误差来提高保真度。以下所列出的保真度增强方法仅作为示例，并非用以限定本发明。保真度增强方法可包括卡尔曼滤波(Kalman filtering)、噪声削减、去模糊(deblurring)、维纳滤波、回归(regression)、规则化(regularization)以及各种偏差建模(discrepancy modeling)。偏差建模可以是直流偏移补偿(零阶)、加权预测(一阶，如ax+b)，空间预测(例如高阶预测，如av2+bv+c)、直线拟合(line fitting，如ax+b，ay+b)、曲线拟合(如av2+bv+c，ay2+by+c)、平面拟合(如ax+by+c)以及曲面拟合(如ax2+bxy+cy2+dx+ey+f)。
请注意，这些保真度增强技术可在编码器中对处理过的数据分多级执行。以下提供四个实施例，但本发明并不限定于此。此外，在编码器中(以及在解码器相应位置)设置一个以上保真度增强区块的变形，也属于本发明保护的范围。
除了提供用于编码器中的多种保真度增强方法，本发明进一步提供了执行所述保真度增强技术的多种方式，以及一种新的比特流语法(syntax)。
通常是在片段(slice)及区块级别执行维纳滤波。而本发明是利用四叉树分割(quad-tree partition)方法对处理过的数据执行保真度增强。利用四叉树分割方法分割视频帧来执行保真度增强，可将成本函数(cost function)最小化。举例来说，在一些帧中，在帧的一半存在的量化误差数量最小，因此需要较少的扩展运算。相反地，在帧的另一半存在的量化误差数量较大，因此需要较多的扩展运算来将量化误差减到最小。这种情况下，将具有较多量化误差的那一半分割成比另一半更小的多个区域变得意义重大。因此，四叉树分割通过利用成本函数分析来决定分割帧的最好方式，从而提供了一种自适应的保真度增强方法。
图9显示了具有多级四叉树分割结构的视频帧900的示例图。视频帧900的处理过的数据被提供至保真度增强区块(如维纳滤波器)，保真度增强区块首先基于成本函数比较来确定四叉树分割结构。保真度增强区块可采用自顶向下分离演算法(top-down splitting algorithm)、自底向上合并演算法(bottom-up merging algorithm)或任何其它顺序来连续地计算对应于每一候选四叉树分割结构的成本函数，从而确定具有最小成本的四叉树分割结构。成本函数的一个例子为率失真(rate distortion)函数J＝D+λr。对于自顶向下分离演算法，首先将视频帧900分割为四个第一级部分，并将对应于未分割帧的成本函数与对应于上述四个第一级部分(已分割帧)的成本函数作比较，分割遵循具有较小成本函数的情形。如果后一个成本函数较小，则将每一第一级部分进一步分割为四个第二级部分，并将对应于未分割的第一级部分的成本函数与对应于分割的第一级部分的成本函数作比较，以确定是否需要分割这个第一级部分。图9的视频帧900显示了两个第一级部分(左下角与右上角)，这两个第一级部分不会进一步分割为第二级部分，然而其它两个第一级部分被进一步分割。类似地，将每一第二级部分分割为第三级部分并比较成本函数，当逼近预定分割级别时终止自顶向下分离演算法。
对于自底向上合并演算法，保真度增强区块开始计算最小部分的成本函数，如第三级部分，对应于四个第三级部分的成本函数与对应于由这四个第三级部分组成的较大区域的成本函数作比较。如果后一个成本函数较小，四个第三级部分合并为一个第二级部分。在成本函数比较之后，四个第二级部分也可合并为一个第一级部分。由保真度增强区块最终确定的四叉树分割结构可为一种保真度增强信息，其将嵌入到熵编码(entropy coding)阶段的比特流中。
当以四叉树分割执行保真度增强时，每一较小区域的计算结果可被再次用于较大区域，其中较大区域包含较小区域。这种重用(reuse)的方法可应用于自底向上合并演算法及自顶向下分离演算法。首先可计算出对应于较小区域的计算结果，这些结果接着可被再次用于较大区域的计算。在利用维纳滤波器进行保真度增强的一个示例中，会产生包含互相关(cross-correlation)矩阵与自相关(auto-correlation)矩阵的滤波器参数。当执行某些分割方法(如四叉树分割方法)时，滤波后的帧的某些区域会被再次滤波，这取决于区域的大小。因此，本发明提供一种用于维纳滤波的重用的方法，其中当对由较小区域组成的较大区域执行滤波时，用于较小区域的互相关矩阵及自相关矩阵被再次用于较大区域。这节省了计算时间。
保真度增强参数通常被编码并嵌入到编码后的比特流的尾部。由于在编码后的比特流的尾部提供保真度增强参数意味着直到比特流的尾部被解码之后解码器才能开始执行保真度增强，一些现有方法将保真度增强信息置于报头(header)部分。然而这种方法需要比特流重新连接(re-catenation)。因此，本发明仍将保真度增强信息嵌于比特流的尾部，但在报头中设置一个指针用于指示保真度增强信息在比特流中的位置。举例来说，指针可给出报头与尾部之间的比特数目的相关信息。这样就允许解码器在报头中的指针解码之后即可搜寻保真度增强信息，因此，解码器开始执行保真度增强比必须解码全部比特流之后才获得保真度增强参数的情况快得多。请注意，保真度增强参数不一定必须嵌入到比特流的尾部，且由于指针由编码器修改，指针可指向存储在比特流中任何位置的任何信息，因此指针是自适应的(adaptive)。
上述保真度增强区块可利用上述至少一种或全部方法。以下说明将结合附图阐述保真度增强区块的各种不同位置，并进一步解释保真度增强区块的运作。
请参照图1，图1为依据本发明第一实施例的编码器100的示意图。编码器100包含保真度增强(Fidelity Enhancement，以下简称为FE)区块(图中标示为FE)160。编码器100还包含帧内预测(intra prediction)区块110、帧间预测(inter prediction)区块120、减法器132、转换区块(图中标示为T)134、量化区块(图中标示为Q)136、反转换区块(图中标示为IT)142、反量化区块(图中标示为IQ)138、重建(reconstruction)单元(图中标示为REC)170、消除块效应(deblocking)单元140、参考帧缓冲器130以及熵编码单元180，其中帧间预测区块120可以是，例如，运动估计/运动补偿区块。除了FE区块160之外，编码器100的其它元件对本领域技术人员而言是熟知的，因此关于这些元件的功能及操作此处不再赘述。FE区块160接收来自参考帧缓冲器130的一个或多个参考帧的处理过的数据，减小参考帧的处理过的数据与当前帧的数据之间的偏差(discrepancy)，并将补偿的处理过的数据提供给帧间预测区块120进行预测。FE区块160可在区块、片段或四叉树级别上执行上述至少一种保真度增强方法。在执行保真度增强并产生保真度增强的相关参数时，FE区块160也可利用上述一种或多种方法。换句话说，图1所示的FE区块160在执行维纳滤波时可重用自相关矩阵与互相关矩阵，以及利用编码后的比特流报头中的自适应指针来将保真度增强信息在比特流中的位置通知给解码器时，所产生的保真度增强信息可嵌入到编码后的比特流的尾部。
请参照图2，图2为依据本发明第一实施例解码器200的示意图。解码器200包含FE区块270，其位于编码器100中FE区块160(见图1)的相应位置上。这确保了解码器200可最佳地利用编码器100所产生的保真度增强信息。解码器200更包含熵解码单元240、帧内预测区块210、运动补偿单元220、参考帧缓冲器230、反量化区块256、反转换区块242、重建单元250以及消除块效应单元260。由于这些单元的功能及操作对于本领域技术人员而言是熟知的，为简洁起见，此处不再赘述。熵解码单元240从所接收的比特流中取回残差(residues)及其它信息，如保真度增强信息、帧内部模式信息以及帧之间模式信息等。一些实施例中，熵解码单元240在解码报头时获得指针，指针指示保真度增强信息在接收到的比特流中的位置。FE区块270接着从熵解码单元240接收保真度增强信息，并对存储在参考帧缓冲器230中的一个或多个参考帧的处理过的数据进行保真度增强操作。一些实施例中，保真度增强信息包含代表特定四叉树分割结构的信息，FE区块依据特定的四叉树分割结构执行滤波或偏差建模(discrepancy modeling)。
请参照图3与图4，图3与图4分别是依据本发明第二实施例的编码器300及解码器400的示意图。编码器300与解码器400分别包含FE区块160与FE区块270。编码器300中位于消除块效应单元140之后的FE区块160用于减小当前帧的处理过的数据与当前帧的原始数据(即未处理的数据)之间的误差，并产生补偿的处理过的数据。来自FE区块160的补偿的处理过的数据存储在参考帧缓冲器130。请注意，图3与图4中所示的每一区块的功能及操作分别与图1及图2中的相应区块相同，因此保持了相同的标号。
请参照图5～图8，图5～图8分别为依据本发明第三实施例的编码器500、解码器600及依据本发明第四实施例的编码器700、解码器800的示意图。各实施例之间的差别在于FE区块的位置。每一示意图中的FE区块都可执行包括维纳滤波的保真度增强技术。一些实施例中采用四叉树分割，并且重用的方法可进一步减少计算时间。举例来说，当先对较小区域执行维纳滤波，并接着对包含较小区域的较大区域执行维纳滤波时，已经产生的互相关矩阵与自相关矩阵可再次用于滤波。此外，所揭示的每一编码器均可利用编码后的比特流报头中的自适应指针来指示保真度增强信息在比特流中的位置。如图5所示的第三实施例中，FE区块160对当前帧的处理过的数据执行保真度增强，以减小转换区块134、量化区块136、反量化区块138以及反转换区块142进行操作时所引入的误差。如图7所示的第四实施例中，FE区块160对当前帧的处理过的数据执行保真度增强，以减小量化区块136及反量化区块138进行操作时所引入的误差。
本领域技术人员应当清楚，所揭示的FE区块并不限定于上述示意图中所显示的单一位置，包含多个处于不同位置的FE区块的编码器及解码器也落在本发明保护的范围之内。另外，编码器与解码器中的各FE区块可能执行不同的保真度增强方法。本领域技术人员也应当了解，FE区块不必执行上述揭示的所有方法(如比特流中指示保真度增强信息位置的指针、四叉树分割、四叉树分割中计算结果的重用等)，仅执行上述方法中一种或几种的FE区块也落在本发明要求保护的范围之内。
本发明详述了在编码中利用维纳滤波以及通过提供多种保真度增强技术将相关滤波信息嵌入到编码后的比特流中的构思，其中相关信息将同样被嵌入到编码后的比特流中。本发明也提供一种执行保真度增强的方法，如对依据四叉树分割法分割的帧进行维纳滤波以及计算结果的重用。最后，本发明通过在比特流的报头中设置指针来指示保真度增强信息的位置，为解码器提供了立即存取保真度增强信息的方法，即使信息并未嵌于比特流的报头中。
所属技术领域的技术人员可轻易完成的均等改变或润饰均属于本发明所主张的范围，本发明的权利范围应以权利要求书所限定的范围为准。

Claims (10)

1.一种编码器，其特征在于，所述的编码器用于接收视频帧，并进行多个处理以产生编码后的比特流，所述的编码器包含：
预测区块，用于对所述的视频帧执行预测以产生预测残差与预测信息；
转换与量化区块，耦合于所述的预测区块，用于对所述的预测残差进行转换与量化；
重建回路，耦合于所述的转换与量化区块及所述的预测区块之间，用于依据来自所述的转换与量化区块的信息与来自所述的预测区块的信息重建所述的视频帧；其中，所述的重建回路包含：
偏差建模区块，用于对所述的视频帧的处理过的数据应用偏差建模技术，并产生用于减少所述的视频帧的处理过的数据与所述的视频帧的原始数据之间的误差的偏差建模信息；以及
熵编码区块，将所述的偏差建模信息与所述的预测残差编码入所述的编码后的比特流。
2.如权利要求1所述的编码器，其特征在于，所述的偏差建模技术包括直流偏移补偿、加权预测、空间预测、直线拟合、曲线拟合、平面拟合以及曲面拟合。
3.如权利要求1所述的编码器，其特征在于，所述的重建回路更包含参考帧缓冲器。
4.如权利要求3所述的编码器，其特征在于，所述的偏差建模区块接收来自所述的参考帧缓冲器的参考帧的处理过的数据，并执行偏差建模以减小所述的参考帧与所述的视频帧之间的误差。
5.如权利要求3所述的编码器，其特征在于，所述的偏差建模区块接收来自所述的参考帧缓冲器的所述的视频帧的处理过的数据，并执行偏差建模以减小所述的转换与量化区块进行操作时所引入的误差。
6.如权利要求3所述的编码器，其特征在于，所述的偏差建模区块接收所述的视频帧的处理过的数据，执行偏差建模以减小所述的视频帧的处理过的数据与所述的视频帧的未处理的数据之间的误差，并将补偿的处理过的数据存储到所述的参考帧缓冲器。
7.一种解码器，用于接收比特流，并进行多个处理以产生视频帧，所述的解码器包含：
熵解码单元，用于解码所述的比特流，以产生残差与偏差建模信息；以及
重建回路，耦合于所述的熵解码单元，用于从所述的残差重建所述的视频帧，其中所述的重建回路包含：
偏差建模区块，用于从所述的熵解码单元接收所述的偏差建模信息，并依据所述的偏差建模信息将偏差建模技术应用于所述的视频帧的处理过的数据，其中所述的偏差建模信息用于减少所述的视频帧的处理过的数据与所述的视频帧的原始数据之间的误差。
8.如权利要求7所述的解码器，其特征在于，所述的偏差建模技术包含直流偏移补偿、加权预测、空间预测、直线拟合、曲线拟合、平面拟合以及曲面拟合。
9.如权利要求7所述的解码器，其特征在于，所述的重建回路进一步包含参考帧缓冲器，以及所述的偏差建模区块从所述的参考帧缓冲器接收参考帧的处理过的数据，并依据所述的偏差建模信息执行偏差建模。
10.如权利要求7所述的解码器，其特征在于，所述的重建回路进一步包含参考帧缓冲器，以及所述的偏差建模区块接收所述的视频帧的处理过的数据，依据所述的偏差建模信息执行偏差建模，并将补偿的处理过的数据存储到所述的参考帧缓冲器。
CN201010567188.XA 2007-12-13 2008-12-12 编码器、解码器、视频帧编码方法及比特流解码方法 Active CN101998121B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US1330507P 2007-12-13 2007-12-13
US61/013,305 2007-12-13
US5482008P 2008-05-21 2008-05-21
US61/054,820 2008-05-21
US12/203,933 US20090154567A1 (en) 2007-12-13 2008-09-04 In-loop fidelity enhancement for video compression
US12/203,933 2008-09-04

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2008101871199A Division CN101459847B (zh) 2007-12-13 2008-12-12 编码器、解码器、视频帧编码方法及比特流解码方法

Publications (2)

Publication Number Publication Date
CN101998121A CN101998121A (zh) 2011-03-30
CN101998121B true CN101998121B (zh) 2014-07-09

Family

ID=40753228

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2008101871199A Active CN101459847B (zh) 2007-12-13 2008-12-12 编码器、解码器、视频帧编码方法及比特流解码方法
CN201010567188.XA Active CN101998121B (zh) 2007-12-13 2008-12-12 编码器、解码器、视频帧编码方法及比特流解码方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2008101871199A Active CN101459847B (zh) 2007-12-13 2008-12-12 编码器、解码器、视频帧编码方法及比特流解码方法

Country Status (6)

Country Link
US (2) US20090154567A1 (zh)
EP (2) EP2229780A4 (zh)
JP (1) JP5312468B2 (zh)
KR (2) KR101224554B1 (zh)
CN (2) CN101459847B (zh)
WO (1) WO2009074117A1 (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101822064A (zh) * 2007-10-16 2010-09-01 汤姆逊许可公司 用于几何分割超级块的视频编码和解码的方法和设备
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
US8195001B2 (en) * 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
US8761268B2 (en) * 2009-04-06 2014-06-24 Intel Corporation Selective local adaptive wiener filter for video coding and decoding
KR101527085B1 (ko) * 2009-06-30 2015-06-10 한국전자통신연구원 인트라 부호화/복호화 방법 및 장치
CN104796717B (zh) 2009-07-01 2018-11-06 汤姆森特许公司 用于视频编码器和解码器的方法和装置
JP5233897B2 (ja) 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
US8259819B2 (en) * 2009-12-10 2012-09-04 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for improving video quality by utilizing a unified loop filter
EP2360925A1 (en) * 2010-01-20 2011-08-24 Siemens Aktiengesellschaft Method for reducing noise for coding of noisy images or image sequences
KR101743482B1 (ko) * 2010-01-22 2017-06-07 삼성전자주식회사 영역 기반의 부호화/복호화 장치 및 방법
WO2011112237A1 (en) * 2010-03-09 2011-09-15 Thomson Licensing Methods and apparatus for a classification-based loop filter
WO2011126759A1 (en) * 2010-04-09 2011-10-13 Sony Corporation Optimal separable adaptive loop filter
JP5856143B2 (ja) 2010-04-13 2016-02-09 ジーイー ビデオ コンプレッション エルエルシー 細分割を使用した２次元情報信号の空間的なサンプリングの符号化
DK2559246T3 (en) 2010-04-13 2016-09-19 Ge Video Compression Llc Fusion of sample areas
PT3301648T (pt) 2010-04-13 2020-04-20 Ge Video Compression Llc Herança em matriz de amostras em subdivisão multitree
KR101447796B1 (ko) 2010-04-13 2014-10-07 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 평면 간 예측
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US9769230B2 (en) 2010-07-20 2017-09-19 Nokia Technologies Oy Media streaming apparatus
WO2012013327A1 (en) * 2010-07-26 2012-02-02 Panasonic Corporation Quantized prediction error signal for three-input-wiener-filter
US9055305B2 (en) 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
US9813738B2 (en) * 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
EP2625855B8 (en) * 2010-10-08 2021-03-10 GE Video Compression, LLC Picture coding supporting block partitioning and block merging
CN105847830B (zh) 2010-11-23 2019-07-12 Lg电子株式会社 由编码装置和解码装置执行的间预测方法
US9161041B2 (en) 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
JP5875236B2 (ja) 2011-03-09 2016-03-02 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
DK2882190T3 (en) * 2011-04-21 2019-02-18 Hfi Innovation Inc Method and apparatus for improved ring-structured filtration
WO2012167713A1 (en) * 2011-06-10 2012-12-13 Mediatek Inc. Method and apparatus of scalable video coding
CN107105305B (zh) 2011-06-24 2020-04-03 Lg 电子株式会社 图像信息编码和解码方法
KR101955374B1 (ko) * 2011-06-30 2019-05-31 에스케이 텔레콤주식회사 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
JP5810700B2 (ja) * 2011-07-19 2015-11-11 ソニー株式会社 画像処理装置及び画像処理方法
US9148663B2 (en) 2011-09-28 2015-09-29 Electronics And Telecommunications Research Institute Method for encoding and decoding images based on constrained offset compensation and loop filter, and apparatus therefor
US9204171B1 (en) 2011-09-28 2015-12-01 Electronics And Telecommunications Research Institute Method for encoding and decoding images based on constrained offset compensation and loop filter, and apparatus therefor
US9204148B1 (en) 2011-09-28 2015-12-01 Electronics And Telecommunications Research Institute Method for encoding and decoding images based on constrained offset compensation and loop filter, and apparatus therefor
KR20130034566A (ko) 2011-09-28 2013-04-05 한국전자통신연구원 제한된 오프셋 보상 및 루프 필터를 기반으로 하는 영상 부호화 및 복호화 방법 및 그 장치
KR20130050403A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
KR20130058584A (ko) 2011-11-25 2013-06-04 삼성전자주식회사 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치
CN107707925B (zh) 2012-06-08 2020-08-18 太阳专利托管公司 图像编码方法和图像编码装置
MX2013015086A (es) * 2012-06-27 2014-02-21 Panasonic Corp Metodo de codificacion de imagenes, metodo de decodificacion de imagenes, aparato de codificacion de imagenes, aparato de decodificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
US9819965B2 (en) 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
WO2014120368A1 (en) * 2013-01-30 2014-08-07 Intel Corporation Content adaptive entropy coding for next generation video
JP5429418B2 (ja) * 2013-02-15 2014-02-26 ソニー株式会社 画像復号装置および方法、記録媒体、並びにプログラム
JP5573997B2 (ja) * 2013-03-14 2014-08-20 ソニー株式会社 画像復号装置および方法、記録媒体、並びにプログラム
JP5573995B2 (ja) * 2013-03-14 2014-08-20 ソニー株式会社 画像復号装置および方法、記録媒体、並びにプログラム
JP5573996B2 (ja) * 2013-03-14 2014-08-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
WO2015100522A1 (en) 2013-12-30 2015-07-09 Mediatek Singapore Pte. Ltd. Methods for inter-component residual prediction
CN103780913B (zh) * 2014-01-24 2017-01-04 西安空间无线电技术研究所 一种基于误差隐藏的数据压缩方法
WO2016068630A1 (ko) * 2014-10-29 2016-05-06 엘지전자(주) 비디오 신호의 인코딩， 디코딩 방법 및 그 장치
US10382795B2 (en) 2014-12-10 2019-08-13 Mediatek Singapore Pte. Ltd. Method of video coding using binary tree block partitioning
WO2016090568A1 (en) 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US10404806B2 (en) * 2015-09-01 2019-09-03 Yen4Ken, Inc. Methods and systems for segmenting multimedia content
CN110999306B (zh) * 2017-08-22 2022-09-16 松下电器（美国）知识产权公司 图像编码器和图像解码器
CN114913249A (zh) * 2021-02-08 2022-08-16 华为技术有限公司 编码、解码方法和相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1318178A (zh) * 1998-08-10 2001-10-17 数字加速器公司 图像压缩中的嵌入式四叉树小波
CN1922889A (zh) * 2004-02-27 2007-02-28 汤姆逊许可公司 使用加权预测的误差隐蔽技术
CN1981535A (zh) * 2004-05-04 2007-06-13 高通股份有限公司 预测帧里的加权预测方法和设备
EP1841230A1 (en) * 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0309669B1 (de) * 1987-09-30 1992-12-30 Siemens Aktiengesellschaft Verfahren zur szenenmodellgestützten Bilddatenreduktion für digitale Fernsehsignale
FR2648979B1 (fr) * 1989-06-27 1996-09-06 Thomson Consumer Electronics Procede de segmentation du champ de mouvement d'une image et son application au codage d'images video
JPH03145392A (ja) * 1989-10-31 1991-06-20 Nec Corp 動き補償フレーム間符号化・復号化方法とその符号化装置・復号化装置
EP0525408A3 (en) * 1991-07-01 1993-12-22 Eastman Kodak Co Method for multiframe wiener restoration of noisy and blurred image sequences
KR100287214B1 (ko) * 1994-11-30 2001-04-16 윤종용 동영상 부호화방법 및 장치
US6084908A (en) * 1995-10-25 2000-07-04 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation
GB2319421B (en) * 1996-11-15 1999-02-10 Daewoo Electronics Co Ltd Method and apparatus for target tracking
US6633611B2 (en) * 1997-04-24 2003-10-14 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for region-based moving image encoding and decoding
US7239755B1 (en) * 1997-07-30 2007-07-03 Lg Electronics Inc. Method of reducing a blocking artifact when coding moving picture
US6125147A (en) * 1998-05-07 2000-09-26 Motorola, Inc. Method and apparatus for reducing breathing artifacts in compressed video
US6888566B2 (en) * 1999-12-14 2005-05-03 Canon Kabushiki Kaisha Method and apparatus for uniform lineal motion blur estimation using multiple exposures
KR20030076869A (ko) * 2002-03-23 2003-09-29 엘지전자 주식회사 텔레비전의 필터장치
US7609767B2 (en) * 2002-05-03 2009-10-27 Microsoft Corporation Signaling for fading compensation
HUP0301368A3 (en) * 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
US20040258162A1 (en) * 2003-06-20 2004-12-23 Stephen Gordon Systems and methods for encoding and decoding video data in parallel
KR100705619B1 (ko) * 2003-07-22 2007-04-11 비오이 하이디스 테크놀로지 주식회사 액정표시장치의 구동 방법 및 그 회로
CN1322472C (zh) * 2003-09-08 2007-06-20 中国人民解放军第一军医大学 基于小波变换的预测四叉树图像压缩及解压方法
KR101094323B1 (ko) * 2003-09-17 2011-12-19 톰슨 라이센싱 적응 기준 화상 생성
KR20050031653A (ko) * 2003-09-30 2005-04-06 대한민국(전남대학교총장) 디지털 텔레비젼 수신기의 디씨 옵셋 보정기
EP1538844A3 (en) * 2003-11-26 2006-05-31 Samsung Electronics Co., Ltd. Color image residue transformation and encoding method
US20050195896A1 (en) * 2004-03-08 2005-09-08 National Chiao Tung University Architecture for stack robust fine granularity scalability
JP4501675B2 (ja) * 2004-12-22 2010-07-14 日本電気株式会社 動画像圧縮符号化方法と動画像圧縮符号化装置並びにプログラム
KR100703746B1 (ko) * 2005-01-21 2007-04-05 삼성전자주식회사 비동기 프레임을 효율적으로 예측하는 비디오 코딩 방법 및장치
EP1869893B1 (en) * 2005-04-13 2021-01-27 InterDigital VC Holdings, Inc. Luma and chroma decoding using separate predictors
JP4726047B2 (ja) * 2005-04-26 2011-07-20 Ｋｄｄｉ株式会社 画像符号化装置
US20060285590A1 (en) * 2005-06-21 2006-12-21 Docomo Communications Laboratories Usa, Inc. Nonlinear, prediction filter for hybrid video compression
WO2007044556A2 (en) * 2005-10-07 2007-04-19 Innovation Management Sciences, L.L.C. Method and apparatus for scalable video decoder using an enhancement stream
KR101374851B1 (ko) * 2006-01-10 2014-03-14 톰슨 라이센싱 4:4:4 코딩의 병렬 구현을 위한 방법 및 장치
WO2007081177A1 (en) * 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
US8189934B2 (en) 2006-03-27 2012-05-29 Panasonic Corporation Image coding apparatus and image decoding apparatus
KR101261526B1 (ko) * 2006-07-04 2013-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
CN100417191C (zh) * 2006-09-01 2008-09-03 上海大学 一种图像组合降噪方法
BRPI0809512A2 (pt) * 2007-04-12 2016-03-15 Thomson Licensing método e aparelho para mesclagem dependente de contexto para modos salto-direto para codificação e decodificação de vídeo
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1318178A (zh) * 1998-08-10 2001-10-17 数字加速器公司 图像压缩中的嵌入式四叉树小波
CN1922889A (zh) * 2004-02-27 2007-02-28 汤姆逊许可公司 使用加权预测的误差隐蔽技术
CN1981535A (zh) * 2004-05-04 2007-06-13 高通股份有限公司 预测帧里的加权预测方法和设备
EP1841230A1 (en) * 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding

Also Published As

Publication number Publication date
US20090154567A1 (en) 2009-06-18
JP5312468B2 (ja) 2013-10-09
KR20120051748A (ko) 2012-05-22
EP3383048A1 (en) 2018-10-03
KR101224554B1 (ko) 2013-01-23
CN101459847B (zh) 2011-01-19
CN101459847A (zh) 2009-06-17
EP3383048B1 (en) 2021-09-22
EP2229780A4 (en) 2015-08-05
KR20100074250A (ko) 2010-07-01
US10327010B2 (en) 2019-06-18
CN101998121A (zh) 2011-03-30
US20150146782A1 (en) 2015-05-28
EP2229780A1 (en) 2010-09-22
WO2009074117A1 (en) 2009-06-18
JP2011503979A (ja) 2011-01-27
KR101169447B1 (ko) 2012-08-03

Similar Documents

Publication Publication Date Title
CN101998121B (zh) 编码器、解码器、视频帧编码方法及比特流解码方法
TWI753356B (zh) 用於編碼或解碼轉換塊的方法與裝置
US10419763B2 (en) Method and apparatus of context modelling for syntax elements in image and video coding
AU2011313735B2 (en) Method and apparatus of adaptive loop filtering
KR101962458B1 (ko) 인덱스 맵 부호화의 예측자로서 이스케이프 픽셀을 취급하는 방법
CN107710759B (zh) 转换系数编解码的方法及装置
US20110222608A1 (en) Localized in-loop filtering with multiple filters in hybrid video coding
EP2168382B1 (en) Method for processing images and the corresponding electronic device
CN113785569B (zh) 视频编码的非线性适应性环路滤波方法和装置
CN105794206A (zh) 基于块的自适应环路滤波方法
EP3007442A1 (en) Method of pulse-code modulation and palette coding for video coding
US10326990B2 (en) Method of alternative transform for data compression
KR20090103776A (ko) 비디오 신호의 인코딩 또는 디코딩 방법 및 장치
CN102577382B (zh) 用于视频编码器和解码器的有效自适应滤波的方法和装置
KR101727449B1 (ko) 영상 양자화 파라미터 복호 방법
CN113261285B (zh) 编码方法、解码方法、编码器、解码器以及存储介质
KR101643120B1 (ko) 영상 양자화 파라미터 부호화 방법 및 영상 양자화 파라미터 복호 방법
EP3646606B1 (en) Video coding concept using prediction loop filter
RU2021125271A (ru) Адаптивное по форме дискретное косинусное преобразование для геометрического разбиения с адаптивным количеством областей
CN112887734A (zh) 视频图像编解码中进行变换的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160825

Address after: Hsinchu County, Taiwan, China

Patentee after: Atlas Limited by Share Ltd

Address before: Hsinchu Science Park, Taiwan, China

Patentee before: MediaTek.Inc