CN102165774A - 适应性滤波器 - Google Patents

适应性滤波器 Download PDF

Info

Publication number
CN102165774A
CN102165774A CN2009801377996A CN200980137799A CN102165774A CN 102165774 A CN102165774 A CN 102165774A CN 2009801377996 A CN2009801377996 A CN 2009801377996A CN 200980137799 A CN200980137799 A CN 200980137799A CN 102165774 A CN102165774 A CN 102165774A
Authority
CN
China
Prior art keywords
filter
picture
video data
order
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801377996A
Other languages
English (en)
Other versions
CN102165774B (zh
Inventor
傅智铭
郭峋
黄毓文
雷少民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN102165774A publication Critical patent/CN102165774A/zh
Application granted granted Critical
Publication of CN102165774B publication Critical patent/CN102165774B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

视频编码器包含：预测单元，其依据原始视频数据及重建视频数据来进行预测，以产生多个预测取样值；重建单元，其重建该多个预测取样值来形成该重建视频数据；以及参考画面缓冲器，其储存该重建视频数据作为参考视频数据。该视频编码器另包含：滤波器参数估测器，其依据目前画面的该原始视频数据及该目前画面的该重建视频数据来估测多个滤波器参数；以及适应性回路滤波器，其依据编码次序中先前画面所对应的已储存的多个滤波器参数来对该目前画面的该重建视频数据进行滤波处理。该滤波器参数估测器与该适应性回路滤波器可同时操作。

Description

适应性滤波器
相关申请交叉引用
本申请案主张2009年3月17日申请的第12/405,251号美国专利申请案的优先权，该申请案的全文以引用的方式并入到本文中。本申请案还主张2008年9月25日申请的第61/099,981号美国专利申请案的优先权，该申请案的全文以引用的方式并入到本文中。
背景技术
现今的视频编码方法运用了相当多元的技术，例如使用移动估测(motion estimation)、移动补偿(motion compensation)、去区块(deblocking)、滤波(filtering)等技术于视频压缩中，此外，传统的编码方法使用了差分编码回路(differential coding loop)，其中一视频画面会被分割成多个区块，接着经过预测编码(prediction coding)而被重建(reconstruction)，并做为下一个画面进行预测编码时的参考画面。
近来编码技术已发展至利用内嵌式Wiener滤波器(in-loop Wiener filter)以进一步改善编码画面的品质。Wiener滤波器能够减少原始信号与受到噪声干扰的信号(包含编码过程本身所造成的误差的信号)之间的误差。Wiener滤波器首先使用一个自相关矩阵(autocorrelation matrix)与多个互相关向量(crosscorrelation vector)来估测滤波器参数，此估测通常在去区块步骤之后进行。请参阅图1。图1为包含适应性回路滤波器(adaptive loop filter)于差分编码回路中的一传统视频编码器的示意图。视频编码器100包含有一移动估测/移动补偿(motion estimation/motion compensation，ME/MC)单元110、一画面内预测(intra prediction)单元105、一巨集区块模式决策(macroblock mode decision)单元155、一变换/量化(transform/quantization，T/Q)单元140、一反变换/反量化(inverse transform/inverse quantization，IT/IQ)单元145、一重建单元(reconstruction unit)135、一去区块单元130、一熵编码(entropy coding)单元150、一滤波器参数估测器(filter parameter estimator)125、一适应性回路滤波器(adaptive loop filter)120以及一参考画面缓冲器(reference picture buffer)115。滤波器参数估测器125会建构多个Wiener-Hopf方程式并求出其解，以估测出多个滤波器参数，而这些方程式是由存取一原始画面(来自输入端)与一去区块画面(来自去区块单元130)而建构，用以计算该去区块信号(即一个待滤信号)的自相关性以及该原始信号(来自输入端)与该去区块信号的互相关性，其中这两个存取操作为同时完成，此即是所谓的第一阶段(first pass)。接着，Wiener滤波器参数会被应用至该去区块画面以产生一个误差较小的信号，此即是所谓的第二阶段(second pass)。所产生的信号接着会被写入至参考画面缓冲器120，其储存了供后续画面处理参考的多个重建画面。图2说明了这些程序，由图可知，对于每一画素的处理，此传统的二段式(two-pass)程序需要三次读取操作以及一次写入操作，由于这些程序需要频繁地存取动态随机存取存储器(dynamic random access memory，DRAM)，因此将增加编码延迟(encoding latency)。
图11为包含适应性回路滤波器于差分编码回路中的一传统视频解码器的示意图。视频解码器1100包含一移动补偿单元1120、一画面内预测单元1115、一反变换/反量化单元1110、一重建单元1135、一去区块单元1140、一熵解码(entropy decoding)单元1105、一适应性回路滤波器1130以及一参考画面缓冲器1125。
Wiener滤波亦可应用于画面间预测(inter prediction)的操作。请参阅图3，图3为包含适应性内插滤波器(adaptive interpolation filter)于差分编码回路中的一传统视频编码器的示意图。视频编码器300包含一移动估测/移动补偿单元310、一画面内预测单元305、一巨集区块模式决策单元355、一变换/量化单元340、一反变换/反量化单元345、一重建单元335、一去区块单元330、一熵编码单元350、一滤波器参数估测器325、一适应性内插滤波器320以及一参考画面缓冲器315。滤波器参数估测器325可计算出多个最佳的滤波器参数，而适应性内插滤波器320则减少一原始信号与一预测信号之间的误差。对于一目前画面(current picture)来说，其多个最佳滤波器参数在一开始时是未知的，而滤波器参数估测器325藉由计算该预测信号(即一个待滤信号)的自相关性以及该原始信号(来自输入端)与该预测信号(巨集区块模式决策输出)的互相关性来建构出多个Wiener-Hopf方程式，其中该预测信号是透过预定的标准六阶滤波参数(predefined standard 6-tap filter coefficient)来对多个参考画面进行内插而取得，然后，滤波器参数估测器325解出该多个Wiener-Hopf方程式并得到多个最佳滤波器参数，此即为所谓的第一阶段。接着，会再度藉由该多个最佳滤波器参数来对该目前画面的该多个参考画面进行内插及滤波处理，以供后续的移动估测/移动补偿之用，此即是所谓的第二阶段。此外，该第二阶段可以重复进行，直到最佳滤波器参数收敛为止。图4说明了这些程序，而由流程图可知，传统多阶段程序需要执行移动估测/移动补偿两次以上，因此，编码延迟与复杂度(complexity)都会大幅增加。
图12为包含适应性内插滤波器于差分编码回路中的一传统视频解码器的示意图。视频解码器1200包含一移动补偿单元1220、一画面内预测单元1215、一反变换/反量化单元1210、一重建单元1235、一去区块单元1240、一熵解码单元1205、一适应性内插滤波器1225以及一参考画面缓冲器1230。
发明内容
依据本发明的实施例，其揭示一种利用适应性回路滤波处理来编码视频数据的视频编码器，包含有：一预测单元，用以依据一原始视频数据及一重建视频数据来进行多次预测操作，以产生多个预测取样值；一重建单元，耦接于该预测单元，用以重建该多个预测取样值来形成该重建视频数据；一参考画面缓冲器，用以储存该重建视频数据以作为一参考视频数据；一滤波器参数估测器，耦接于该重建单元，用以依据一目前画面的该原始视频数据及该目前画面的该重建视频数据来估测多个滤波器参数；以及一适应性回路滤波器，耦接于该重建单元与该参考画面缓冲器之间，用以依据一编码次序中一先前画面所对应的已储存的多个滤波器参数来对该目前画面的该重建视频数据进行滤波处理，其中该滤波器参数估测器与该适应性回路滤波器可同时操作。
依据本发明的实施例，其另揭示一种编码一视频数据的方法，包含有：依据一原始视频数据及一重建视频数据来执行多次预测操作，以产生多个预测取样值；重建该多个预测取样值来形成该重建视频数据；估测一目前重建画面的多个滤波器参数；以及依据一编码次序中储存的一先前画面所对应的已储存的多个滤波器参数来对该目前重建画面进行滤波处理；其中估测该多个滤波器参数的步骤与依据该编码次序中储存的该先前画面所对应的已储存的该多个滤波器参数来对该目前重建画面进行滤波处理的步骤可同时被执行。
依据本发明的实施例，其另揭示一种用对已编码的视频数据进行解码的视频解码器，包含有：一熵解码单元，用以解析一已编码位流；一预测单元，用以依据该熵解码单元来执行多次预测操作；一重建单元，耦接于该预测单元，用以重建多个预测取样值来形成一重建视频数据；一参考画面缓冲器，耦接于该预测单元，用以储存一已滤波处理画面来作为多个后续画面的一参考画面；以及一适应性回路滤波器，耦接于该重建单元与该参考画面缓冲器之间，用以藉由先前已解码的多个滤波器参数来对多个重建画面进行滤波处理，以产生多个参考画面。
依据本发明的实施例，其另揭示一种解码已编码的视频数据的方法，包含有：对一已编码位流进行熵解码；依据熵解码的结果来执行多次预测操作；重建多个预测取样值来形成一重建视频数据；以及依据一编码次序中一先前画面的已储存的多个滤波器参数来对一目前重建画面进行滤波处理。
本领域技术人员阅读完下述在不同图形和绘图中展示的较佳实施例的详细说明后，将非常容易理解本发明的上述目的和其他目的。
附图说明
图1为采用适应性回路滤波技术的习知视频编码器的示意图。
图2为图1所示的视频编码器存取动态随机存取存储器的示意图。
图3为此用适应性内插滤波技术的习知视频编码器的示意图。
图4为图3所示的视频编码器处理流程的示意图。
图5为本发明的视频编码器的第一实施例的示意图。
图6为图5所示的视频编码器存取动态随机存取存储器的示意图。
图7为本发明的视频编码器的第二实施例的示意图。
图8为图7所示的视频编码器存取动态随机存取存储器的示意图。
图9为本发明的视频编码器的第三实施例示意图。
图10为图9所示的视频编码器处理流程的示意图。
图11为采用图1所示的习知适应性回路滤波技术的视频解码器的示意图。
图12为采用图3所示的习知适应性内插滤波技术的视频解码器的示意图。
图13为本发明的视频解码器的第四实施例的示意图。
图14为本发明的视频解码器的第五实施例的示意图。
图15为本发明的视频解码器的第六实施例的示意图。
具体实施方式
本发明目的之一在于提供一种在视频编码中，存取动态随机存取存储器的次数少于传统的两段式滤波程序的适应性滤波器；此外，本发明另提供多种可减少编码延迟与计算复杂度的视频数据编码方法。
请参阅图5，图5为本发明的第一实施例中包含适应性滤波器的一视频编码器500的示意图。视频编码器500包含有一移动估测/移动补偿单元510、一画面内预测单元505、一巨集区块模式决策单元555、一参考画面缓冲器520、一适应性回路滤波器515、一滤波器参数估测器525、一重建单元535、一去区块单元530、一变换/量化单元540、一反变换/反量化单元545以及一熵编码单元550。由图可知，适应性滤波器可分为两部分：第一部分为滤波器参数估测器525，其耦接于去区块单元530与参考画面缓冲器520之间；第二部分为适应性回路滤波器515，其耦接于参考画面缓冲器520与移动估测/移动补偿单元510之间。由于欲进行移动估测/移动补偿的像素数据是暂存在晶片上，所以于进行动态随机存取存储器的存取时，可同时执行移动估测/移动补偿。
滤波器参数估测器525存取一去区块画面(deblocked picture)与一原始画面后，解多个Wiener-Hopf方程式，接着将所得的多个滤波器参数写入至参考画面缓冲器520。虽然参考画面缓冲器通常以一动态随机存取存储器来实现，然而也可用一内部存储器(例如一快取存储器(cache)、一静态随机存取存储器(static random access memory，SRAM)或是多个暂存器(register))来储存该多个滤波器参数。
针对一维(one-dimension，1-D)或二维(two-dimension，2-D)有限脉冲响应(finite pulse response，FIR)滤波器的多个Wiener-Hopf方程式而言，可先产生多个去区块像素(即一待滤信号)的一自相关矩阵及多个原始像素与该多个去区块像素之间的一互相关向量来求解，该多个滤波器参数是由解出该多个Wiener-Hopf方程式而算出。该去区块画面亦已经被写入至参考画面缓冲器520，而该多个滤波器参数连同其对应画面也会被储存于参考画面缓冲器520。在一实施例中，一旦一参考画面由参考画面缓冲器520移除时，该参考画面所对应的多个滤波参数也会被移除。滤波参数估测器525接着会对来自去区块单元530的一下一去区块画面执行相同程序。同一时间，适应性回路滤波器515会从参考画面缓冲器520中存取对应一编码次序(coding order)的一先前画面及该先前画面所对应的多个滤波器参数，并且在该先前画面进行移动估测/移动补偿处理之前，先将该多个滤波参数应用至该先前画面，如此一来，对于每一个像素来说，去区块画面及参考画面缓冲器520仅需要被存取一次。画面过滤会在适应性回路滤波器515中进行，然后，已滤波处理画面(filtered picture)会立即被传送至移动估测/移动补偿单元510。在一些实施例中，适应性回路滤波器515可以与移动估测/移动补偿中的内插程序结合。相较于习知技术，该已滤波处理画面不需要被写入至参考画面缓冲器520，再者，由于参考画面缓冲器520无论如何都需要被读取以决定移动估测/移动补偿的数据(例如关于搜寻范围的数据)，因此，相较于习知技术，利用适应性回路滤波器515来读取参考画面可以节省一个读取以及一个写入的动作，并且由于移动估测/移动补偿的数据一般都暂存于晶片上，所以于移动估测/移动补偿执行的同时，滤波器参数估测器525存取动态随机存取存储器的动作不会造成动态随机存取存储器的存取延迟。因此，一种一段式(one-pass)适应性回路滤波的演算法便得以实现，相关操作可参阅图6。
另外，该一段式演算法可藉由评估采用适应性方法(adaptive method)的效能来决定是否启动或关闭，例如，利用成本函数(cost function)/位率-失真(rate-distortion)判定标准以决定于某一像素上执行某一处理程序的成效。一位率-失真判定标准可表示为：
ΔJ＝ΔD+λΔR，
其中ΔR为参数位，以及ΔD等于Dfilter on-Dfilter off
若ΔJ＜0，则应启动滤波器，反之，则无须启动滤波器。
以图5所示的电路为例，对于一第一画面，该位率-失真判定标准可决定适应性滤波是否应该被执行。于成本函数中，Dfilter on这一项可被正确估测而不用实际对去区块画面进行滤波处理，然而，为了要估算Dfilter on及接着估测出ΔD，仍必须算出自相关矩阵与互相关向量，另外，为了估测出ΔR，亦须计算出多个滤波器参数。该一段式演算法的使用可使得判别位率-失真的运算复杂度大为减少。在一实施例中，滤波器参数估测器包含有一Wiener滤波器参数产生单元，用以计算多个Wiener滤波器参数；以及一位率-失真判别单元，用以根据一位率-失真判定标准来决定是否启动该适应性回路滤波器，其中该适应性回路滤波器依据已产生的该多个滤波器参数以执行滤波处理。
另外，因为有可能在一个画面中仅有某些区域需要执行滤波处理，因此，并不需要针对整个画面执行判断与否进行滤波处理的操作，因此，该一段式演算法相当适用于一区域导向(region based)的位率-失真判别。该区域导向的位率-失真判别可表示为：
ΔJm＝ΔDm+λΔRm，
其中ΔRm为多个参数位，以及ΔDm等于Dm，filter on-Dm，filter off
若ΔJm＜0，则应启动滤波器，反之，对于区域m则无须启动滤波器。
由于一段式适应性滤波器的采用是代表不需要执行实际的滤波处理来进行一位率-失真判别，所以，并不需要提供一暂态画面存储器(temporal picture memory)以储存滤波处理结果。
传统的编码方法通常包含一内插滤波器以提升编码程序的准确性，由于该内插滤波器通常为一线性滤波器，所以该内插滤波器可与适应性回路滤波器515合并而不需要对动态随机存储器进行额外的存取，当该适应性回路滤波器与该内插滤波器合并为两个前后串接的功能区块时，由于该适应性回路滤波器会先处理多个整数像素，所以内插过滤会针对多个已滤波处理的整数像素进行处理。另外，鉴于内插滤波与适应性回路滤波皆为线性程序，亦可进一步合并该两种滤波操作至一多功能区块以共用乘法器来进行乘法运算。尽管上述两种合并方式皆仅存取一次动态随机存取存储器，该两种合并方式皆可确保重建画面的品质会有所提升。
此外，本发明提供许多降低动态随机存取存储器的存取延迟的方法。第一个方法假设两个连续画面之间的改变并不明显，因此便以一先前画面的多个滤波器参数来作为一目前画面的多个滤波器参数，如此一来，估测多个滤波器参数与对一画面进行滤波处理便得以同时操作，因而无需藉由该参考画面缓冲器来分隔该滤波器参数估测器与该适应性回路滤波器即可达到一段式画面数据的存取(one-pass picture data access)。上述的一段式架构或是区域导向的滤波处理亦适用于此概念，值得注意的是，由于平行处理多个滤波器参数的估测以及针对一画面的滤波操作，故一单一适应性回路滤波器仅使用一段式演算法，因此，上述的设计变化并不需要两个适应性回路滤波器。请参阅图7，图7为本发明的第二实施例中一视频编码器700的示意图。视频编码器700包含有一移动估测/移动补偿单元710、一画面内预测单元705、一巨集区块模式决策单元755、一参考画面缓冲器715、一适应性回路滤波器720、一滤波器参数估测器725、一重建单元735、一去区块单元730、一变换/量化单元740、一反变换/反量化单元745以及一熵编码单元750。由图可知，适应性滤波器可分为两个部分：第一部分为滤波器参数估测器725，其耦接于去区块单元730与参考画面缓冲器720之间；第二部分为适应性回路滤波器720，其耦接于去区块单元730与参考画面缓冲器715之间。当去区块单元730输出一目前画面，滤波器参数估测器725将会估算该目前画面的多个滤波器参数，而适应性回路滤波器720此时将会依据先前已估测的多个滤波器参数来过滤该目前画面，由于仅需要存取动态随机存取存储器一次，因此一段式滤波处理便得以实现。图8所示为存取动态随机存取存储器的必要条件的说明。值得注意的是，此方法的各种变形，例如采用多个先前画面中任一先前画面(例如k＝1时，此先前画面于编码次序中为(t-1)画面(亦即位于目前画面之前的第一个画面)，以及k＝2时，此先前画面于编码次序中是为位于(t-2)画面(亦即目前画面之前的第二个画面)所对应的多个滤波器参数中任一滤波器参数以及多个预定的任何滤波器参数的应用，皆符合本发明的发明精神。此种考量一编码次序中的一先前画面所对应的多个滤波器参数的适应性回路滤波器，亦被称为时间延迟式(time-delayed)适应性回路滤波器。
另值得注意的是，若允许该目前画面所对应的一组滤波器参数来与其他复数组滤波器参数竞争以获取一组最佳滤波器参数，对于一段式结构来说，将该滤波器参数估测器与该适应性回路滤波器分离的使用方式(即图5所示的装置)仍是需要的。一个用以选择或关闭一适应性回路滤波器的成本函数亦可求得，而且如果该适应性回路滤波器所对应的成本为多个成本中最小者，则该适应性回路滤波器将被关闭，而此种同时考量多个目前画面与多个先前画面所对应的多个滤波器参数的适应性回路滤波器可被称为时间共享式(time-sharing)或时间多工式(time-multiplexed)适应性回路滤波器设计，并且此设计可使用一段式结构(例如图5)或二段式结构(例如图1)来加以实现。可被储存的滤波器参数的组数的限制依设计者考量而定。上述的区域导向滤波处理亦适用于此概念。
如上所述，位率-失真判定标准可被运用于判别执行适应性回路滤波的成本。若多个画面所分别对应的多个滤波器参数分别储存于一存储器中，则所有的复数组滤波器参数的成本可被比较以决定出所要使用的一组最佳滤波器参数。在一些实施例中，关闭一适应性回路滤波器的成本也会被计算出，并与其他的多个成本相比较，如果该适应性回路滤波器所对应的成本为该多个成本中最小者，则该适应性回路滤波器将被关闭。
时间延迟式或时间共享式适应性回路滤波器会提供一滤波器索引(filter index)给一熵编码单元以插入该滤波器索引至视频编码器所产生的一位流中。插入至该位流的该滤波器索引可指示视频解码器如何选择视频编码器所使用的一组滤波器参数，举例来说，如果时间共享式适应性回路滤波器选择了于编码次序中位于一目前画面之前的一个画面所对应的一组最佳滤波器参数，则该位流中所插入的该滤波器索引会指示该视频解码器选择(t-1)画面(于该编码次序中，该目前画面的前一画面)所对应的一组滤波器参数。
图9为本发明的第三实施例中一视频编码器900的示意图。此实施方法假设：如果多个连续画面的场景并无改变，则该多个连续画面之间的差异不大。因此，一目前画面可将多个先前画面所对应的多个内插滤波器参数应用一参考画面以供移动估测/移动补偿之用。如此一来，滤波器参数的估测与参考画面的滤波处理便可同时操作，故不需要执行两次或两次以上的编码回路即可实现一段式编码方式。视频编码器900包含有一移动估测/移动补偿单元910、一画面内预测单元905、一巨集区块模式决策单元955、一参考画面缓冲器915、一适应性内插滤波器920、一滤波器参数估测器925、一重建单元935、一变换/量化单元940、一反变换/反量化单元945以及一熵编码单元950。由图可知，适应性内插滤波器具有两个部分：第一部分为滤波器参数估测器925，其耦接于巨集区块模式决策单元955与适应性内插滤波器920之间；而第二部分为适应性内插滤波器920，其耦接于参考画面缓冲器915与移动估测/移动补偿单元910之间。
当一目前画面进行编码程序时，滤波器参数估测器925会收集位于巨集区块阶层的数据，该数据会用于计算多个适应性内插滤波器参数，特别是在进行巨集区块模式决策之后，可以得到一目前巨集区块的区块分割(block partition)与多个移动向量，而这些信息将会用于产生多个参考像素(即一待滤信号)的一自相关矩阵与多个原始像素与该多个参考像素之间的一互相关向量。该自相关矩阵与该互相关向量可由一巨集区块接续一巨集区块的方式来不断累积。当所有的巨集区块皆编码完成后，滤波器参数估测器925会针对每一个次像素(sub-pixel)的位置来解出多个Wiener-Hopf方程式，并且求得可使一目前画面的多个像素与多个预测像素之间的预测误差降到最低的多个内插滤波器参数，而所计算得出的多个滤波器参数会用于一编码次序中的多个后续画面，而这被称为时间延迟式适应性内插滤波器设计。适应性内插滤波器920会依据先前已估测的多个内插滤波器参数来内插该参考画面，如此一来，完整编码回路仅需运作一次，进而实现了一段式编码。该流程说明请参阅图10。
一目前画面的多个滤波器参数可依据不同应用环境而被写入一编码次序中的该目前画面或多个后续画面的位流。对于第一种情形，多个先前画面的一时间延迟参数会预先定义，因此该多个滤波器参数会被写入至该目前画面的位流中，例如，当一时间延迟常数k被设定为2，(t-2)画面的多个滤波常数会被应用于t画面，然后与t画面的位流一起被传送。对于第二种情形，该目前画面可适应性地决定使用编码次序中的多个先前画面的任一个画面所对应的多个滤波器参数，因此，该多个滤波器参数可在没有任何时间延迟之下被传送，例如，(t-2)画面的多个滤波器参数会被应用于t画面，但是会跟(t-2)画面的位流一同被传送，在此情形下，一滤波器索引会进行熵编码以及被插入至视频编码器所产生的位流。对于视频解码器而言，该滤波器索引则是用来指示视频编码器所使用的一组滤波器参数的选取。
值得注意的是，由一目前画面及该目前画面所对应的一参考画面而获得的对应于编码次序中时间点t的多个滤波器参数会与对应于编码次序中时间点(t-k)的多个滤波器参数竞争，而这被称为时间共享式适应性内插滤波器设计，在此情形下，编码机制仍然需要一多重阶段(multi-pass)的画面编码结构。一个最简单的实施方法是应用不同编码阶段(encoding pass)中不同时间点所对应的每一组候选滤波器参数(candidate filter parameter set)，然后在评估编码效能完成之后选出一组最佳滤波器参数。一成本函数/位率-失真判定标准是用来在图框阶层(frame level)中决定出应用编码阶段中每一组滤波器参数所得到的编码效能的效益。
时间共享式程序亦提供一种以减少计算复杂度与数据存取次数而简化的二段式编码方法，特别是在进行一第一编码阶段之后，可以利用一快速位率-失真判定标准来估测该组候选滤波器参数的编码效能，而不需要实际执行编码程序。该快速位率-失真判定标准仅利用该第一编码阶段与复数组候选滤波器参数即可评估多个编码位与失真情形。
以下为本方法的一个例子。视频编码器以多个固定的标准内插滤波器参数(standard interpolation filter parameters)来执行该第一编码阶段，之后便可取得一编码信息(例如多个模式与多个移动向量)。接着，该编码信息会与不同的复数组滤波器参数一起使用，以执行一移动补偿程序来计算出编码失真情形。虽然该复数组滤波器参数与该编码信息之间存有差异，计算复杂度可藉由此手段而大为降低。在选取具有最小失真的一组滤波器参数之后，可运用该组滤波器参数来执行第二编码阶段。
另外，前述的区域导向的滤波处理亦可应用于上述的多个方法。关于区域导向的滤波处理的竞争，其中一个例子为巨集区块阶层的一段式时间延迟滤波，在此情形下，滤波器参数的竞争于巨集区块阶层中进行，此外，为了完成一段式编码，故仅使用多个先前画面的多个滤波器参数。当一目前巨集区块开始要被编码时，先前已计算出的滤波器参数的任一组合都可以用来根据位率-失真的效能评估(包含既有的标准内插过滤参数)以进行巨集区块模式决策。然后，会针对该目前巨集区块而选取出具有最佳效能的一组滤波器参数。每一巨集区块的一滤波器索引也会进行熵编码，并插入至一位流以指明哪一滤波器参数组是被使用。在对该滤波器索引进行编码时，会应用一预测式编码程序。值得注意的是，该复数组候选滤波器参数亦可包含由其他多个方法所得到的多个组滤波器参数，例如由相同画面所得到的不同的复数组滤波器参数。此方法的设计变化，例如该复数组候选滤波器参数的扩充与具有相对应区域导向的滤波器索引的多个不同区域分割方式，皆符合本发明的发明精神。
多个适应性回路滤波器参数或多个适应性内插滤波器参数的总和通常会非常趋近于一特定值，此特性可应用于编码多个滤波器参数以节省最后传送该多个滤波器参数所需的位。举例来说，为了避免增加或减少平均像素强度，该多个滤波器参数的总和可被假设为1.0，而位流中的最后一个滤波器参数可被预测为1.0减去其他滤波器参数的总和。
图13为本发明的第四实施例中一视频解码器1300的示意图。这是一个用来解码图5所示的视频编码器所产生的已编码位流的视频解码器，其包含有：一熵解码单元1305，用以解析(parse)已编码位流；一反变换/反量化单元1310，用来将残值信号(residual signal)以正确的比例由频率定义域(frequency domain)转换至空间定义域(spatial domain)；一画面内预测单元1315，用以产生多个画面内预测取样值；一移动补偿单元1320，用以产生多个画面间预测取样值；一重建单元1335，用以产生一目前画面的多个重建取样值；一去区块单元1340，用以减少一重建画面的区块效应(blocky artifact)；一参考画面缓冲器1330，用以储存一去区块画面以作为后续画面的一参考画面；以及一适应性回路滤波器1325，耦接于参考画面缓冲器1330与移动补偿单元1320之间，用以藉由储存于参考画面缓冲器1330的多个参考画面所对应的多个滤波器参数来对该多个参考画面进行滤波处理来产生多个取样值以供移动补偿之用。请注意，鉴于移动补偿的内插处理与适应性回路滤波处理皆为线性程序，故上述两者可被合并为两个前后串接的功能区块或是一个多功能区块。既然图5所示视频编码器于逻辑上与图1所示的视频编码器是等效的(即上述两视频编码器在适当设定下可产生一相同位流)，图5所示的视频编码器所产生的一位流可适当地被图11所示的视频解码器所解码；同样地，图1所示的视频编码器所产生的一位流可适当地被图13所示的视频解码器所解码。
图14为本发明的第五实施例中一视频解码器1400的示意图。这是一个用来解码图7所示的视频编码器所产生的已编码位流的视频解码器，其包含有：一个熵解码单元1405，用以解析已编码位流；一反变换/反量化单元1410，用来将残值信号以正确的比例由频率定义域转换至空间定义域；一画面内预测单元1415，用以产生多个画面内预测取样值；一移动补偿单元1420，用以产生多个画面间预测取样值；一重建单元1435，用以产生一目前画面的多个重建取样值；一去区块单元1440，用以减少一重建画面的区块效应；一参考画面缓冲器1425，耦接于适应性回路滤波器1430与移动补偿单元1420之间，用以储存已滤波处理画面以作为后续画面的一参考画面；以及一适应性回路滤波器1430，耦接于去区块单元1440与参考画面缓冲器1425之间，用以藉由先前已解码的多个滤波器参数来对多个去区块画面进行滤波处理以产生多个参考画面。适应性回路滤波器1430具有一存储器以储存由先前画面的一位流所解码产生的多个滤波器参数，这被称为时间延迟式适应性回路滤波处理。请注意，若对应编码次序中时间点t的多个滤波器参数可与对应编码次序中时间点(t-k)的多个先前画面的多个滤波器参数相竞争时(此即为时间共享式适应性回路滤波处理)，适应性回路滤波器1430将会选择对应编码次序中的时间点t的较新解码产生的多个滤波器参数或是对应编码次序中时间点(t-k)的多个已储存的滤波器参数。
图15为本发明的第六实施例中一视频解码器1500的示意图。这是一个用来解码图9所示的视频编码器所产生的已编码位流的视频解码器，其包含有：一熵解码单元1505，用以解析已编码位流；一反变换/反量化单元1510，用来将残值信号以正确的比例由频率定义域转换至空间定义域；一画面内预测单元1515，用以产生多个画面内预测取样值；一移动补偿单元1520，用以产生多个画面间预测取样值；一重建单元1535，用以产生一目前画面的多个重建取样值；一去区块单元1540，用以减少重建画面的区块效应；一参考画面缓冲器1530，用以储存去区块画面以作为后续画面的一参考画面；以及一适应性内插滤波器1525，耦接于参考画面缓冲器1530与移动补偿单元1520之间，用以藉由多个先前已解码的滤波器参数来对多个参考画面进行内插与滤波处理，以产生多个取样值供移动补偿之用。适应性内插滤波器1525具有一存储器以储存由多个先前画面的位流中所解码产生的多个滤波器参数，这被称为时间延迟式适应性回路滤波处理。请注意，若对应编码次序中时间点t的多个滤波器参数可与对应编码次序中时间点(t-k)的多个先前画面的多个滤波器参数相竞争时(此即为时间共享式适应性回路滤波处理)，则适应性内插滤波器1530将会选择对应编码次序中的时间点t的较新解码产生的多个滤波器参数或是对应编码次序中时间点(t-k)的多个已储存的滤波器参数。
总之，本发明提供许多装置与方法以实现仅需较少动态随机存取存储器存取次数与计算工作的数据滤波技术。此外，一段式结构可使位率-失真决策的运算效能大为提升，并且区域导向的滤波处理、时间延迟式适应性滤波处理以及时间共享式适应性滤波处理提供了更多种弹性选择，其意味着滤波处理程序将会更有效率。
本领域技术人员应可理解，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。因此，本发明的保护范围当以权利要求所界定的为准。

Claims (15)

1.一种利用适应性回路滤波处理来编码视频数据的视频编码器，包含有：
一预测单元，用以依据一原始视频数据及一重建视频数据来进行多次预测操作，以产生多个预测取样值；
一重建单元，耦接于该预测单元，用以重建该多个预测取样值来形成该重建视频数据；
一参考画面缓冲器，用以储存该重建视频数据以作为一参考视频数据；
一滤波器参数估测器，耦接于该重建单元，用以依据一目前画面的该原始视频数据及该目前画面的该重建视频数据来估测多个滤波器参数；以及
一适应性回路滤波器，耦接于该重建单元与该参考画面缓冲器之间，用以依据一编码次序中一先前画面所对应的已储存的多个滤波器参数来对该目前画面的该重建视频数据进行滤波处理，其中该滤波器参数估测器与该适应性回路滤波器可同时操作。
2.如权利要求1所述的视频编码器，其中该滤波器参数估测器包含一位率-失真判别单元，其用以利用一位率-失真判定标准来决定是否利用该适应性内插滤波器以依据一待滤信号的自相关性、该原始信号与该待滤信号之间的互相关性以及所估测的该多个滤波器参数来执行滤波处理。
3.如权利要求2所述的视频编码器，其中该位率-失真判别单元对于每一组估测的滤波器参数执行该位率-失真判定标准，以决定一组滤波器参数来让该适应性回路滤波器使用。
4.如权利要求2所述的视频编码器，其中该位率-失真判别单元对于由该编码次序中多个先前画面所对应的多个滤波器参数中的每一组估测的滤波器参数执行该位率-失真判定标准，以决定一组滤波器参数来让该适应性回路滤波器使用。
5.如权利要求2所述的视频编码器，其中该位率-失真判定标准为针对该目前画面的一特定区域来决定。
6.如权利要求1所述的视频编码器，其中该滤波器参数估测器提供一滤波器索引，并使该滤波器索引被插入至一位流以指明哪一组滤波器参数是用来对该目前画面进行滤波处理。
7.如权利要求1所述的视频编码器，其中该滤波器参数估测器另利用该多个滤波器参数的总和来执行一滤波器参数预测操作，以减少该多个滤波器参数的位率。
8.一种编码一视频数据的方法，包含有：
依据一原始视频数据及一重建视频数据来执行多次预测操作，以产生多个预测取样值；
重建该多个预测取样值来形成该重建视频数据；
估测一目前重建画面的多个滤波器参数；以及
依据一编码次序中储存的一先前画面所对应的已储存的多个滤波器参数来对该目前重建画面进行滤波处理；
其中估测该多个滤波器参数的步骤与依据该编码次序中储存的该先前画面所对应的已储存的该多个滤波器参数来对该目前重建画面进行滤波处理的步骤可同时被执行。
9.如权利要求8所述的方法，其中估测该多个滤波器参数的步骤另包含：
利用一位率-失真判定标准来决定是否依据一待滤信号的自相关性、该原始信号与该待滤信号之间的互相关性以及所估测的该多个滤波器参数来执行滤波处理。
10.如权利要求9所述的方法，其中该位率-失真判定标准是针对该目前画面的一特定区域来决定。
11.如权利要求8所述的方法，其中估测该多个滤波器参数的步骤另包含：
储存复数组估测的滤波器参数；以及
对于每一组估测的滤波器参数组执行一位率-失真判定标准，以决定出所要使用的一组滤波器参数。
12.如权利要求8所述的方法，另包含：
插入一滤波器索引至一位流以指明所要使用的一组滤波器参数。
13.如权利要求8所述的方法，其中估测该多个滤波器参数的步骤另包含：
利用该多个滤波器参数的总和来执行一滤波器参数预测，以减少该多个滤波器参数的位率。
14.一种用对已编码的视频数据进行解码的视频解码器，包含有：
一熵解码单元，用以解析一已编码位流；
一预测单元，用以依据该熵解码单元来执行多次预测操作；
一重建单元，耦接于该预测单元，用以重建多个预测取样值来形成一重建视频数据；
一参考画面缓冲器，耦接于该预测单元，用以储存一已滤波处理画面来作为多个后续画面的一参考画面；以及
一适应性回路滤波器，耦接于该重建单元与该参考画面缓冲器之间，用以藉由先前已解码的多个滤波器参数来对多个重建画面进行滤波处理，以产生多个参考画面。
15.一种解码已编码的视频数据的方法，包含有：
对一已编码位流进行熵解码；
依据熵解码的结果来执行多次预测操作；
重建多个预测取样值来形成一重建视频数据；以及
依据一编码次序中一先前画面的已储存的多个滤波器参数来对一目前重建画面进行滤波处理。
CN200980137799.6A 2008-09-25 2009-06-09 视频编码器、视频解码器与其方法 Expired - Fee Related CN102165774B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US9998108P 2008-09-25 2008-09-25
US61/099,981 2008-09-25
US12/405,251 US8437394B2 (en) 2008-09-25 2009-03-17 Adaptive filter
US12/405,251 2009-03-17
PCT/CN2009/072192 WO2010034205A1 (en) 2008-09-25 2009-06-09 Adaptive filter

Publications (2)

Publication Number Publication Date
CN102165774A true CN102165774A (zh) 2011-08-24
CN102165774B CN102165774B (zh) 2014-05-07

Family

ID=42037644

Family Applications (3)

Application Number Title Priority Date Filing Date
CN2009801377604A Active CN102165777B (zh) 2008-09-25 2009-06-09 视频编码器与其方法以及视频解码器与其方法
CN200980137799.6A Expired - Fee Related CN102165774B (zh) 2008-09-25 2009-06-09 视频编码器、视频解码器与其方法
CN2009801377553A Active CN102165780B (zh) 2008-09-25 2009-06-09 视频编码器与其方法以及视频解码器与其方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2009801377604A Active CN102165777B (zh) 2008-09-25 2009-06-09 视频编码器与其方法以及视频解码器与其方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2009801377553A Active CN102165780B (zh) 2008-09-25 2009-06-09 视频编码器与其方法以及视频解码器与其方法

Country Status (10)

Country Link
US (3) US8548041B2 (zh)
EP (3) EP2327221A4 (zh)
JP (2) JP5180380B2 (zh)
KR (1) KR20110059654A (zh)
CN (3) CN102165777B (zh)
AU (1) AU2009295493A1 (zh)
BR (1) BRPI0919737A2 (zh)
CA (1) CA2737270A1 (zh)
MX (1) MX2011003163A (zh)
WO (3) WO2010034205A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013053324A1 (en) * 2011-10-14 2013-04-18 Mediatek Inc. Method and apparatus for loop filtering
TWI559738B (zh) * 2012-06-27 2016-11-21 Sun Patent Trust An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, an image coding / decoding apparatus, and a program
US10212425B2 (en) 2012-06-08 2019-02-19 Sun Patent Trust Arithmetic coding for information related to sample adaptive offset processing

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101453646B (zh) * 2007-12-04 2012-02-22 华为技术有限公司 图像插值方法、装置及插值系数的获取方法
CN102067600B (zh) * 2008-06-12 2015-05-20 汤姆森特许公司 将局部自适应滤波用于运动补偿内插和基准画面滤波的方法和装置
US9078007B2 (en) 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
JP5490404B2 (ja) * 2008-12-25 2014-05-14 シャープ株式会社 画像復号装置
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
US9391635B2 (en) * 2009-05-15 2016-07-12 Texas Instruments Incorporated Block scanner and run-level encoder from AC to DC values
MX2011013861A (es) * 2009-06-19 2012-02-13 Mitsubishi Electric Corp Dispositivo de codificacion de imagen, dispositivo de decodificacion de imagen, metodo de codificacion de imagen y metodo de decodificacion de imagen.
US20100329362A1 (en) * 2009-06-30 2010-12-30 Samsung Electronics Co., Ltd. Video encoding and decoding apparatus and method using adaptive in-loop filter
KR101788292B1 (ko) 2009-07-07 2017-10-19 톰슨 라이센싱 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
US9167270B2 (en) * 2009-10-15 2015-10-20 Thomson Licensing Methods and apparatus for efficient adaptive filtering for video encoders and decoders
KR101529992B1 (ko) * 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
AU2016201285B2 (en) * 2010-04-05 2016-12-15 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by compensating for pixel value according to pi
WO2011126759A1 (en) * 2010-04-09 2011-10-13 Sony Corporation Optimal separable adaptive loop filter
US20110249736A1 (en) * 2010-04-09 2011-10-13 Sharp Laboratories Of America, Inc. Codeword restriction for high performance video coding
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US9154807B2 (en) * 2010-06-25 2015-10-06 Qualcomm Incorporated Inclusion of switched interpolation filter coefficients in a compressed bit-stream
PT3070945T (pt) * 2010-07-20 2020-04-22 Ntt Docomo Inc Dispositivo de descodificação de previsão de imagem, método de descodificação de previsão de imagem
FR2963190B1 (fr) * 2010-07-23 2013-04-26 Canon Kk Procede et dispositif de codage d'une sequence d'images
US20120039383A1 (en) * 2010-08-12 2012-02-16 Mediatek Inc. Coding unit synchronous adaptive loop filter flags
JP2012044535A (ja) * 2010-08-20 2012-03-01 Toshiba Corp 動画像符号化装置及び動画像符号化方法
JP5485851B2 (ja) * 2010-09-30 2014-05-07 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
AU2014200419B2 (en) * 2010-10-05 2015-10-22 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
US9813738B2 (en) * 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
CN106878729B (zh) * 2010-10-05 2019-09-24 寰发股份有限公司 基于分区基础的自适应环路滤波方法和装置
US9525884B2 (en) * 2010-11-02 2016-12-20 Hfi Innovation Inc. Method and apparatus of slice boundary filtering for high efficiency video coding
US9462280B2 (en) 2010-12-21 2016-10-04 Intel Corporation Content adaptive quality restoration filtering for high efficiency video coding
US10027957B2 (en) * 2011-01-12 2018-07-17 Sun Patent Trust Methods and apparatuses for encoding and decoding video using multiple reference pictures
CN103283231B (zh) 2011-01-12 2018-04-27 西门子公司 在视频编码器中参考图像的压缩和解压缩
US8849053B2 (en) * 2011-01-14 2014-09-30 Sony Corporation Parametric loop filter
WO2012108181A1 (en) 2011-02-08 2012-08-16 Panasonic Corporation Methods and apparatuses for encoding and decoding video using multiple reference pictures
US20120230423A1 (en) * 2011-03-10 2012-09-13 Esenlik Semih Line memory reduction for video coding and decoding
KR20120118782A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 적응적 필터링을 이용한 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
AU2012303976B2 (en) * 2011-08-31 2015-08-13 Mediatek Inc. Method and apparatus for adaptive loop filter with constrained filter coefficients
US9532074B2 (en) * 2011-10-26 2016-12-27 Mediatek Inc. Method and system for video coding system with loop filtering
US9386305B2 (en) 2011-11-28 2016-07-05 Qualcomm Incorporated Largest coding unit (LCU) or partition-based syntax for adaptive loop filter and sample adaptive offset in video coding
US8792745B2 (en) * 2011-12-06 2014-07-29 Sony Corporation Encoder optimization of adaptive loop filters in HEVC
BR112013027865B1 (pt) 2012-02-03 2023-03-21 Hfi Innovation Inc Método e aparelho de processamento de filtro em loop para pixels de fronteira através de uma fronteira de bloco
KR101877867B1 (ko) 2012-02-21 2018-07-12 삼성전자주식회사 비디오 파라미터를 이용한 복잡도 측정 기반의 병렬 인-루프 화소 보정에 대한 부호화/복호화 장치 및 방법
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US8582637B1 (en) * 2012-06-20 2013-11-12 MagnaCom Ltd. Low-complexity, highly-spectrally-efficient communications
US10432928B2 (en) 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
US10484448B2 (en) * 2014-10-02 2019-11-19 Jacoti Bvba Method to handle problematic patterns in a low latency multimedia streaming environment
KR20160071569A (ko) 2014-12-11 2016-06-22 삼성전자주식회사 비디오 장치에서의 영상 처리 방법 및 그에 따른 비디오 장치
US11563938B2 (en) 2016-02-15 2023-01-24 Qualcomm Incorporated Geometric transforms for filters for video coding
EP3529986A1 (en) * 2016-12-23 2019-08-28 Huawei Technologies Co., Ltd. Low complexity mixed domain collaborative in-loop filter for lossy video coding
US20200236355A1 (en) * 2017-08-01 2020-07-23 Sharp Kabushiki Kaisha Systems and methods for filtering reconstructed video data using adaptive loop filtering techniques
US20190116359A1 (en) * 2017-10-12 2019-04-18 Qualcomm Incorporated Guided filter for video coding and processing
US11451773B2 (en) * 2018-06-01 2022-09-20 Qualcomm Incorporated Block-based adaptive loop filter (ALF) design and signaling
US11910024B2 (en) 2019-03-11 2024-02-20 Qualcomm Incorporated Boundary handling for adaptive loop filtering
SG11202110650WA (en) 2019-04-01 2021-10-28 Beijing Bytedance Network Technology Co Ltd Using interpolation filters for history based motion vector prediction
EP3997881A4 (en) 2019-08-20 2022-09-14 Beijing Bytedance Network Technology Co., Ltd. SELECTIVE USE OF ALTERNATIVE INTERPOLATION FILTERS IN VIDEO PROCESSING
US20230119972A1 (en) * 2021-10-01 2023-04-20 Mediatek Inc. Methods and Apparatuses of High Throughput Video Encoder

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6281942B1 (en) * 1997-08-11 2001-08-28 Microsoft Corporation Spatial and temporal filtering mechanism for digital motion video signals
US20060133471A1 (en) * 2004-12-20 2006-06-22 Samsung Electronics Co., Ltd. Coefficient update circuit, adaptive equalizer including the coefficient update circuit, and coefficient update method of the adaptive equalizer
US20060139494A1 (en) * 2004-12-29 2006-06-29 Samsung Electronics Co., Ltd. Method of temporal noise reduction in video sequences
CN1964490A (zh) * 2005-11-09 2007-05-16 松下电器产业株式会社 一种滤波器及滤波方法
WO2008010929A2 (en) * 2006-07-18 2008-01-24 Thomson Licensing Methods and apparatus for adaptive reference filtering
WO2008084378A2 (en) * 2007-01-09 2008-07-17 Nokia Corporation Adaptive interpolation filters for video coding

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10120395A1 (de) * 2001-04-25 2002-10-31 Bosch Gmbh Robert Einrichtung zur Interpolation von Abtastwerten sowie Bildencoder und Bilddecoder
KR100929078B1 (ko) 2001-11-29 2009-11-30 파나소닉 주식회사 코딩 왜곡 제거 방법
BR0304545A (pt) 2002-01-14 2004-11-03 Nokia Corp Método de codificação das imagens em uma sequência de vìdeo digital para fornecer os dados de vìdeo codificados, codificador de vìdeo, método de decodificação dos dados indicativos de uma sequência de vìdeo digital, decodificador de vìdeo, e, sistema de decodificação de vìdeo
US20040076333A1 (en) 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
CN1846444B (zh) * 2003-09-17 2011-01-26 汤姆森许可贸易公司 自适应参考画面产生
JP2005123732A (ja) 2003-10-14 2005-05-12 Matsushita Electric Ind Co Ltd デブロックフィルタ処理装置およびデブロックフィルタ処理方法
CN1571515A (zh) 2004-05-13 2005-01-26 中国科学院计算技术研究所 一种环路滤波器及滤波方法
EP1617672A1 (en) * 2004-07-13 2006-01-18 Matsushita Electric Industrial Co., Ltd. Motion estimator/compensator including a 16-bit 1/8 pel interpolation filter
US8094814B2 (en) 2005-04-05 2012-01-10 Broadcom Corporation Method and apparatus for using counter-mode encryption to protect image data in frame buffer of a video compression system
SG130962A1 (en) 2005-09-16 2007-04-26 St Microelectronics Asia A method and system for adaptive pre-filtering for digital video signals
JP4643453B2 (ja) * 2006-01-10 2011-03-02 株式会社東芝 情報処理装置及び情報処理装置の動画像復号方法
JP4618436B2 (ja) 2006-02-10 2011-01-26 富士ゼロックス株式会社 符号化装置、復号化装置、符号化方法、復号化方法、及びプログラム
US8189934B2 (en) * 2006-03-27 2012-05-29 Panasonic Corporation Image coding apparatus and image decoding apparatus
TW200801513A (en) 2006-06-29 2008-01-01 Fermiscan Australia Pty Ltd Improved process
WO2008037113A1 (en) 2006-09-25 2008-04-03 Thomson Licensing Apparatus and method for processing video data
US9014280B2 (en) 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
KR20080040892A (ko) * 2006-11-06 2008-05-09 삼성전자주식회사 적응 등화기 및 적응 등화 방법
WO2008070377A1 (en) 2006-11-06 2008-06-12 Qualcomm Incorporated Mimo detection with interference cancellation op on-time signal components
EP1944974A1 (en) * 2007-01-09 2008-07-16 Matsushita Electric Industrial Co., Ltd. Position dependent post-filter hints
KR101369746B1 (ko) 2007-01-22 2014-03-07 삼성전자주식회사 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치
US8050320B2 (en) 2007-02-09 2011-11-01 Ericsson Television, Inc. Statistical adaptive video rate control
US20080205508A1 (en) 2007-02-22 2008-08-28 Streaming Networks (Pvt.) Ltd. Method and apparatus for low complexity video encoding and decoding
US8369411B2 (en) * 2007-03-29 2013-02-05 James Au Intra-macroblock video processing
US8270472B2 (en) * 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
US8195001B2 (en) 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
US8811484B2 (en) 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
US8625681B2 (en) * 2008-07-09 2014-01-07 Intel Corporation Rate-distortion cost reducing video encoding techniques
WO2010063881A1 (en) * 2008-12-03 2010-06-10 Nokia Corporation Flexible interpolation filter structures for video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6281942B1 (en) * 1997-08-11 2001-08-28 Microsoft Corporation Spatial and temporal filtering mechanism for digital motion video signals
US20060133471A1 (en) * 2004-12-20 2006-06-22 Samsung Electronics Co., Ltd. Coefficient update circuit, adaptive equalizer including the coefficient update circuit, and coefficient update method of the adaptive equalizer
US20060139494A1 (en) * 2004-12-29 2006-06-29 Samsung Electronics Co., Ltd. Method of temporal noise reduction in video sequences
CN1964490A (zh) * 2005-11-09 2007-05-16 松下电器产业株式会社 一种滤波器及滤波方法
WO2008010929A2 (en) * 2006-07-18 2008-01-24 Thomson Licensing Methods and apparatus for adaptive reference filtering
WO2008084378A2 (en) * 2007-01-09 2008-07-17 Nokia Corporation Adaptive interpolation filters for video coding

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013053324A1 (en) * 2011-10-14 2013-04-18 Mediatek Inc. Method and apparatus for loop filtering
TWI499305B (zh) * 2011-10-14 2015-09-01 Mediatek Inc 編碼視訊資料的方法及其裝置
US9860530B2 (en) 2011-10-14 2018-01-02 Hfi Innovation Inc. Method and apparatus for loop filtering
US10212425B2 (en) 2012-06-08 2019-02-19 Sun Patent Trust Arithmetic coding for information related to sample adaptive offset processing
US10812800B2 (en) 2012-06-08 2020-10-20 Sun Patent Trust Arithmetic coding for information related to sample adaptive offset processing
US11375195B2 (en) 2012-06-08 2022-06-28 Sun Patent Trust Arithmetic coding for information related to sample adaptive offset processing
TWI559738B (zh) * 2012-06-27 2016-11-21 Sun Patent Trust An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, an image coding / decoding apparatus, and a program
US10063862B2 (en) 2012-06-27 2018-08-28 Sun Patent Trust Image decoding method and image decoding apparatus for sample adaptive offset information
US10542290B2 (en) 2012-06-27 2020-01-21 Sun Patent Trust Image decoding method and image decoding apparatus for sample adaptive offset information

Also Published As

Publication number Publication date
WO2010034205A1 (en) 2010-04-01
US8548041B2 (en) 2013-10-01
CN102165777B (zh) 2013-10-02
WO2010034204A1 (en) 2010-04-01
CN102165774B (zh) 2014-05-07
US20100074330A1 (en) 2010-03-25
EP2327220A4 (en) 2012-08-01
EP2327220A1 (en) 2011-06-01
EP2327216A1 (en) 2011-06-01
EP2327221A4 (en) 2012-08-01
AU2009295493A1 (en) 2010-04-01
CN102165777A (zh) 2011-08-24
EP2327216A4 (en) 2012-08-01
EP2327220B1 (en) 2015-05-27
MX2011003163A (es) 2011-07-21
BRPI0919737A2 (pt) 2015-12-08
CN102165780A (zh) 2011-08-24
US20100074323A1 (en) 2010-03-25
CA2737270A1 (en) 2010-04-01
US8437394B2 (en) 2013-05-07
JP2012503901A (ja) 2012-02-09
JP5174970B2 (ja) 2013-04-03
KR20110059654A (ko) 2011-06-02
US20100074329A1 (en) 2010-03-25
US9762925B2 (en) 2017-09-12
JP2012503902A (ja) 2012-02-09
WO2010034206A1 (en) 2010-04-01
EP2327221A1 (en) 2011-06-01
JP5180380B2 (ja) 2013-04-10
CN102165780B (zh) 2013-09-25

Similar Documents

Publication Publication Date Title
CN102165774B (zh) 视频编码器、视频解码器与其方法
TWI646827B (zh) 使用非對稱內插濾波器的內插影像用的方法與裝置
US20110116546A1 (en) Single pass adaptive interpolation filter
CN103096080A (zh) 用于估计当前块的运动矢量的设备
US20070071099A1 (en) External memory device, method of storing image data for the same, and image processor using the method
CN101166277B (zh) 在用于处理运动图像的设备中访问存储器的方法
CN100493191C (zh) 具有低复杂度噪声消减的视频编码器及视频编码方法
US9077996B2 (en) Predicted motion vectors
CN111901590A (zh) 一种用于帧间预测的细化运动矢量存储方法及装置
CN103004200A (zh) 使用扩展的块滤波对视频编码和解码的方法和设备
CN103327340A (zh) 一种整数搜索方法及装置
CN111510726A (zh) 一种编解码方法及其设备
KR20180018903A (ko) 참조 프레임 선택 방법 및 그 장치
CN113727107A (zh) 视频解码方法和装置以及视频编码方法和装置
CN114554207A (zh) 运动矢量约束范围确定方法、装置、设备和存储介质
CN101754011A (zh) 采用自适应搜索策略的快速多帧运动估计
CN101754012A (zh) 采用自适应搜索策略的快速多帧运动估计

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140507

Termination date: 20210609