CN102165777A - 用于视频编码的适应性插补滤波器 - Google Patents

用于视频编码的适应性插补滤波器 Download PDF

Info

Publication number
CN102165777A
CN102165777A CN2009801377604A CN200980137760A CN102165777A CN 102165777 A CN102165777 A CN 102165777A CN 2009801377604 A CN2009801377604 A CN 2009801377604A CN 200980137760 A CN200980137760 A CN 200980137760A CN 102165777 A CN102165777 A CN 102165777A
Authority
CN
China
Prior art keywords
filter
picture
video data
sampling values
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801377604A
Other languages
English (en)
Other versions
CN102165777B (zh
Inventor
傅智铭
郭峋
张凯
黄毓文
雷少民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN102165777A publication Critical patent/CN102165777A/zh
Application granted granted Critical
Publication of CN102165777B publication Critical patent/CN102165777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种利用适应性插补滤波操作来将视频数据编码的视频编码器，该视频编码器包含有：一预测单元、一重建单元、一参考画面缓冲器、用于依据该原始视频数据与多个预测取样值来估测多个滤波器参数的一滤波器参数估测器以及用于依据储存的该多个滤波器参数来对重建视频数据进行滤波处理的一适应性插补滤波器。

Description

用于视频编码的适应性插补滤波器
相关申请交叉引用
本申请案主张2009年3月17日申请的第12/405,250号美国专利申请案的优先权，该申请案的全文以引用的方式并入到本文中。本申请案还主张2008年9月25日申请的第61/099,981号美国专利申请案的优先权，该申请案的全文以引用的方式并入到本文中。
背景技术
现今的视频编码方法运用了相当多元的技术，例如使用移动估测(motionestimation)、移动补偿(motion compensation)、去区块(deblocking)、滤波处理(filtering)等技术在视频压缩中，传统的编码方法使用了差分编码回路(differential coding loop)，其中一视频画面会被分割成不同区块，接着经过预测编码(prediction coding)而被重建(reconstruction)，并作为下一个画面经过预测编码时的参考画面。
近来编码技术已发展至利用内嵌式Wiener滤波器以进一步改善编码画面的品质，Wiener滤波器能够减少原始信号与受到噪声干扰的信号(因编码过程而造成一蕴含误差的信号)之间的误差，Wiener滤波器首先使用一个自相关矩阵与多个互相关向量来估测滤波器参数，此估测通常在去区块步骤之后进行，请参考图1，图1为一个包含一适应性回路滤波器(adaptive loop filter)在差分编码回路中的传统视频编码器的简化方块示意图，该视频编码器100包含有：一移动估测/移动补偿(motion estimation/motion compensation，ME/MC)单元110、一个画面内预测(intra prediction)单元105、一巨集区块模式决策(macroblock mode decision)的单元155、一变换/量化(transform/quantization，T/Q)单元140、一反变换/反量化(inversetransform/inverse quantization，IT/IQ)单元145、一重建单元(reconstruction unit)135、一去区块单元130、一熵编码(entropy coding)单元150、一滤波器参数估测器(filter parameter estimator)125、一适应性回路滤波器(adaptive loopfilter)120以及一参考画面缓冲器(reference picture buffer)115，滤波器参数估测器125会建构多个Wiener-Hopf方程式并求出其解以估测多个滤波器参数，此方程式是由存取一原始画面(从输入端)与一去区块画面(从去区块单元130)而建构，用于计算该去区块信号(即一个待滤信号)的自相关性以及该原始信号(从输入端)与该去区块信号的互相关性，其中该两种存取为同时完成，这是所谓的第一阶段(first pass)，该Wiener滤波器参数接着会被应用至该去区块画面以产生一误差较小的信号，这是所谓的第二阶段(second pass)，该产生信号接着会被写入参考画面缓冲器120，其储存了供多个后续画面参考的多个重建画面，图2说明了这些程序，由该图可知，对于单一像素，此传统的二段式(two-pass)程序需要三次读取操作以及一次写入操作，由于这些程序需要频繁地存取动态随机存取存储器(dynamic randomaccess memory，DRAM)，因此将增加编码延迟(encoding latency)。
图11为一个包含一适应性回路滤波器在差分编码回路中的传统视频解码器的简化方块示意图，此视频解码器1100包含有：一移动补偿单元1120、一画面内预测单元1115、一反变换/反量化单元1110、一重建单元1135、一去区块单元1140、一熵解码(entropy decoding)单元1105、一适应性回路滤波器1130以及一参考画面缓冲器1125。
Wiener滤波法亦可应用于画面间预测(inter prediction)步骤，请参考图3，图3为一个包含一适应性插补滤波器(adaptive interpolation filter)在差分编码回路中的传统视频编码器的简化方块示意图，此视频编码器300包含有：一移动估测/移动补偿单元310、一画面内预测单元305、一巨集区块模式决策的单元355、一变换/量化单元340、一反变换/反量化单元345、一重建单元335、一去区块单元330、一熵编码单元350、一滤波器参数估测器325、一适应性插补滤波器320以及一参考画面缓冲器315，该滤波器参数估测器可计算出多个最佳滤波器参数，而该适应性插补滤波器则减少一个原始信号与一个预测信号之间的误差，对于一个目前画面(current picture)来说，其多个最佳滤波器参数在初始时是未知的，该滤波器参数估测器通过计算该预测信号(即一个待滤信号)的自相关性以及该原始信号(从输入端)与该预测信号(从巨集区块模式决策的输出端)的互相关性来建构多个Wiener-Hopf方程式，其中该预测信号是由辅以事先定义的判定标准六阀滤波器系数(predefinedstandard 6-tap filter coefficients)对多个参考画面内插而取得，然后该滤波器参数估测器解出该多个方程式并得到多个最佳滤波器参数，这是所谓的第一阶段，接着会再度辅以该多个最佳滤波器参数来插补及对该目前画面的该多个参考画面进行滤波处理以供移动估测/移动补偿，这是所谓的第二阶段，该第二阶段可以重复进行直到最佳滤波器参数收敛为止，图4说明了这些程序，由图4所示的流程图可知，该传统多阶段程序需要执行移动估测/移动补偿两次以上，编码延迟与复杂度(complexity)都会大幅增加。
图12为一个包含一适应性插补滤波器在差分编码回路中的传统视频解码器的简化方块示意图，此视频解码器1200包含有：一移动补偿单元1220、一画面内预测单元1215、一反变换/反量化单元1210、一重建单元1235、一去区块单元1240、一熵解码单元1205、一适应性插补滤波器1225；以及一个参考画面缓冲器1230。
发明内容
一种利用适应性插补滤波操作来将视频数据编码的视频编码器，该视频编码器包含有：一预测单元，用于依据至少一原始视频数据与至少一重建视频数据来进行预测以产生多个预测取样值；一重建单元，耦接于该预测单元，并且用于重建该多个预测取样值来形成该重建视频数据；一参考画面缓冲器，用于储存该重建视频数据来作为一参考视频数据；一滤波器参数估测器，耦接于该预测单元，并且用于依据一目前画面的该原始视频数据与该目前画面的多个参考画面取样值来估测多个滤波器参数；以及一适应性插补滤波器，耦接于该参考画面缓冲器与该预测单元之间，并且用于依据一编码序列中储存的一先前画面的该多个滤波器参数来对该多个参考画面取样值进行滤波处理。
一种视频数据编码方法，该视频数据编码方法包含有：依据至少一原始视频数据与至少一重建视频数据来进行预测以产生多个预测取样值；重建该多个预测取样值来形成该重建视频数据；依据一目前画面的该原始视频数据与该目前画面的多个参考画面取样值来估测多个滤波器参数；以及依据一编码序列中储存的一先前画面的该多个滤波器参数来对该多个参考画面取样值进行滤波处理；其中该先前画面的已经被滤波处理过的多个参考画面取样值用于画面间预测。
一种将该已编码的视频数据解码的视频解码器，该视频解码器包含有：一熵解码单元，用于解析一编码位流；一预测单元，用于依据该熵解码单元来进行多次预测操作；一重建单元，耦接于该预测单元，并且用于重建多个预测取样值来形成一重建视频数据；一参考画面缓冲器，用于储存该重建视频数据来作为一参考视频数据；以及一适应性插补滤波器，耦接于该参考画面缓冲器与该预测单元之间，并且用于通过先前已解码的多个滤波器参数来插补与对多个参考画面进行滤波处理以产生该多个预测取样值。
一种视频数据解码方法，该视频数据解码方法包含有：依据多个熵解码结果来进行多次预测操作；重建多个预测取样值来形成一重建视频数据；以及利用一编码序列中的一先前画面的已解码的多个滤波器参数来对多个参考画面取样值进行滤波处理；其中该目前画面的已经被滤波处理过的多个参考画面取样值用于画面间预测。
本领域技术人员阅读完下述在不同图形和绘图中展示的较佳实施例的详细说明后，将非常容易理解本发明的上述目的和其他目的。
附图说明
图1为传统的适应性回路滤波操作的视频编码器的简化方块示意图。
图2为图1中所示的视频编码器存取动态随机存取存储器的简化方块示意图。
图3为现有适应性插补滤波操作的视频编码器的简化方块示意图。
图4为图3中所示的视频编码器处理流程示意图。
图5为本发明的视频编码器的一第一实施例的简化方块示意图。
图6为图5中所示的视频编码器存取动态随机存取存储器的简化方块示意图。
图7为本发明的视频编码器的一第二实施例的简化方块示意图。
图8为图7中所示的视频编码器存取动态随机存取存储器的简化方块示意图。
图9为本发明的视频编码器的一第三实施例的简化方块示意图。
图10为图9中所示的视频编码器处理流程示意图。
图11为图1中所示的现有适应性回路滤波操作的视频解码器的简化方块示意图。
图12为图3中所示的现有适应性插补滤波操作的视频解码器的简化方块示意图。
图13为本发明的视频解码器的一第四实施例的简化方块示意图。
图14为本发明的视频解码器的一第五实施例的简化方块示意图。
图15为本发明的视频解码器的一第六实施例的简化方块示意图。
具体实施方式
本发明目的在于提供一种在视频编码中，存取动态随机存取存储器的次数少于传统的二段式滤波程序的适应性滤波器；本发明还提供多种可减少编码延迟与计算复杂度的视频数据编码方法。
请参考图5，图5为本发明的一第一实施例中包含一适应性滤波器的一视频编码器500的简化方块示意图，视频编码器500包含有：一移动估测/移动补偿单元510、一画面内预测单元505、一巨集区块模式决策之单元555、一参考画面缓冲器520、一适应性回路滤波器515、一滤波器参数估测器525、一重建单元535、一去区块单元530、一变换/量化单元540、一反变换/反量化单元545以及一个熵编码单元550，由该图可知，该适应性滤波器可分为两部分：第一部分为滤波器参数估测器525，其耦接于去区块单元530与参考画面缓冲器520之间；第二部分为适应性回路滤波器515，其耦接于参考画面缓冲器520与移动估测/移动补偿单元510之间，由于欲移动估测/移动补偿的像素数据是暂存在芯片上，所以当一动态随机存取存储器存取时，可以同时执行移动估测/移动补偿。
滤波器参数估测器525存取一去区块画面与一原始画面后，解多个Wiener-Hopf方程式，接着将所得的多个滤波器参数写入画面缓冲器520，虽然该参考画面缓冲器通常以一动态随机存取存储器来实现，也可用一内部存储器来储存该多个滤波器参数，例如一快取存储器(cache)、一静态随机存取存储器(static random access memory，SRAM)或是多个暂存器(register)。
用于多个一维(one-dimension，1-D)或二维(two-dimension，2-D)有限脉冲响应(finite pulse response，FIR)滤波器的Wiener-Hopf方程式，可以利用先产生具有多个区块像素(亦即一待滤信号)的一自相关矩阵以及在该多个原始像素与该多个去区块像素之间的一互相关向量来求解，该多个滤波器参数由解出该多个Wiener-Hopf方程式而算出，而此时该去区块画面也已经被写入至参考画面缓冲器520，并且该多个滤波器参数连同其对应画面也会被储存于参考画面缓冲器520中，在一实施例中，一旦一参考画面由参考画面缓冲器520移除时，该参考画面所对应的多个滤波系数也会被移除，滤波系数估测器525接着会对去区块单元530中一下一画面执行相同程序，适应性回路滤波器515同时存取一编码序列中的一先前画面及参考画面缓冲器中该先前画面所对应的多个滤波器参数，并且在该先前画面传送至移动估测/移动补偿之前，先将该多个滤波系数应用至该先前画面，如此一来，对于每一个像素来说，该去区块画面及参考画面缓冲器520仅需要被存取一次，画面滤波处理会在适应性回路滤波器515中进行，然后该已经被滤波处理过的画面会立即被传送至移动估测/移动补偿单元510，在一部分实施例中，适应性回路滤波器515可以与移动估测/移动补偿中的插补程序结合，相较于现有技术，该已经被滤波处理过的画面不需要被写入至参考画面缓冲器520，再者，由于参考画面缓冲器无论如何都需要被读取以决定移动估测/移动补偿的数据，例如关于搜寻范围的数据，因此相较于现有技术，利用适应性回路滤波器515来读取该参考画面可以节省一个读取以及一个写入的动作，并且由于移动估测/移动补偿的数据一般都暂存于芯片上，当移动估测/移动补偿执行的同时，滤波器参数估测器525存取动态随机存取存储器的动作不会造成动态随机存取存储器延迟，因此，一种一段式(one-pass)适应性回路滤波的演算法就得以实现，请参考图6的说明。
另外，该一段式演算法可通过评估采取该适应性方法的效能来决定是否被启动或关闭，举例来说，利用多个成本函数(cost function)/信号率失真判定标准以决定于某一像素上执行某一程序的成效，一信号率失真判定标准可表示为：
ΔJ＝ΔD+λΔR
其中ΔR＝参数位，以及ΔD＝Dfilter on-Dfilter off
若ΔJ＜0，则应启动该滤波器，反之，则不需要启动该滤波器。
以图5所示的电路为例，对于一第一个画面，该信号率失真判定标准可以决定进行适应性滤波操作，并且成本函数中该项Dfilter on可以被正确地估测而不用实际对该去区块画面进行滤波处理，然而，为了要估算Dfilter on及接着估测ΔD，仍然必须算出该自相关矩阵与该互相关向量，另外，为了估测ΔR，亦须计算出该多个滤波器参数，该一段式演算法的使用大为减少计算该信号率失真判断的复杂度，在一实施例中，该滤波器参数估测器可以包含有一Wiener滤波器参数产生单元，用于计算该多个Wiener滤波器参数；以及一信号率失真判断单元，用于执行一信号率失真判定标准来决定是否启动该适应性回路滤波器，其中该适应性回路滤波器依据已产生的该多个滤波器参数以执行滤波处理操作。
另外，并不需要在一整个画面判断是否进行滤波处理操作，因为有可能在一画面中仅有某些区域需要进行滤波处理，因此该一段式演算法相当适用于一区域导向(region based)的信号率失真判断，该区域导向的信号率失真判断可表示为：
ΔJm＝ΔDm+λΔRm
其中ΔRm＝多个参数位，以及ΔDm＝Dm，filter on-Dm，filter off
若ΔJm＜0，则应启动该滤波器，反之，则对于区域m不需要启动该滤波器。
由于该一段式适应性滤波器指出对于判别一信号率失真并不用实际滤波处理，所以并不需要提供一暂态画面存储器(temporal picture memory)以供储存滤波处理结果。
传统的编码方法通常包含有一插补滤波器以提升该编码程序的准确性，由于该插补滤波器通常为一线性滤波器，所以该插补滤波器可与适应性回路滤波器515合并而不会造成该动态随机存取存储器额外的存取，当该适应性回路滤波器与该插补滤波器合并为两个串接式的功能方块时，由于该适应性回路滤波器会先对多个整数像素进行处理，所以插补滤波操作会对已被滤波处理的该多个整数像素进行处理，鉴于插补滤波与适应性回路滤波皆为线性程序，亦可进一步合并该两种滤波操作至一多功能区块以共用乘法器来执行乘法运算，尽管上述两种合并方式皆仅存取该动态随机存取存储器一次，该两种合并方式皆可确保该重建画面的品质有所提升。
此外，本发明提供许多减少动态随机存取存储器存取延迟的方法，第一个方法是假设两个连续画面之间的改变并不明显，因此将一先前画面的多个滤波器参数做为一目前画面之用，如此一来，估测多个滤波器参数与对一画面进行滤波处理得以同时操作，因而不须通过该参考画面缓冲器以分隔该滤波器参数估测器与该适应性回路滤波器即可达到一段式画面数据的存取，上述一段式结构或是区域导向的滤波法亦适用于此概念，值得注意的是该上述改进方式并不需要两个适应性回路滤波器，此因同时操作估测多个滤波器参数及对一画面进行滤波处理，故一单一适应性回路滤波器仅使用一段式演算法，请参考图7，图7为本发明的一第二实施例中一视频编码器700的简化方块示意图，视频编码器700包含有：一移动估测/移动补偿单元710、一画面内预测单元705、一巨集区块模式决策之单元755、一参考画面缓冲器715、一适应性回路滤波器720、一滤波器参数估测器725、一重建单元735、一去区块单元730、一变换/量化单元740、一反变换/反量化单元745以及一个熵编码单元750，由该图可知，该适应性滤波器可分为两部分：第一部分为滤波器参数估测器725，其耦接于去区块单元730与适应性回路滤波器720之间；第二部分为适应性回路滤波器720，其耦接于去区块单元730与参考画面缓冲器715之间，当去区块单元730输出一目前画面，滤波器参数估测器725将会估算该目前画面的多个滤波器参数，而此时适应性回路滤波器720将会依据先前已估测的多个滤波器参数来对该目前画面进行滤波处理，这仅需要存取一动态随机存取存储器一次，因此一段式滤波法得以实现，图8为该动态随机存取存储器存取的多个必要条件的说明，值得注意的是，该方法的多个变形，例如该多个先前画面所对应的任一多个滤波器参数以及任何多个事先定义的滤波器参数的应用，皆符合本发明的发明精神，其中列举该多个先前画面的例子如下：当k＝1时所对应于一编码序列中的该t-1画面及k＝2时所对应于一编码序列中的该t-2画面等，此种考量一编码序列中的一先前画面所对应的多个滤波器参数的适应性回路滤波器，其被称为时间延迟式(time-delayed)适应性回路滤波器。
另应该注意的是，如果允许该目前画面所对应的一组滤波器参数与其他多组滤波器参数竞争以获取一组最佳滤波器参数，对于一段式结构来说，将该滤波器参数估测器与该适应性回路滤波器分离的使用方式(即图5所示的装置)仍是需要的，一个用于选择或关闭一适应性回路滤波器的成本函数亦可求得，而且如果该适应性回路滤波器所对应的成本为该多个成本中最小者，该适应性回路滤波器将被关闭，此种同时考量该多个目前画面与该多个先前画面所对应的该多个滤波器参数的适应性回路滤波器，其被称为时间共享式(time-sharing)或时间多工式(time-multiplexed)适应性回路滤波器设计，并且使用一个一段式(例如图5)或二段式结构(例如图1)皆可实现该设计，可储存滤波器参数的组数的限制依设计者考量而定，上述的区域导向滤波法亦适用于此概念。
如上文所述，多个信号率失真判定标准可被运用于判别执行适应性回路滤波法的成效，若多个画面所对应的多个滤波器参数分别储存于一存储器中，所有的滤波器参数可被评比以决定出一组最佳滤波器参数为所用，在部分实施例中，关闭一适应性回路滤波器的成本也会与关闭其他多个适应性回路滤波器相评比，如果该适应性回路滤波器所对应的成本为该多个成本中最小者，该适应性回路滤波器将被关闭。
该时间延迟式或该时间共享式适应性回路滤波器会提供一个滤波器索引给一熵编码单元以插入该滤波器索引至该视频编码器所产生的一位流中，插入至该位流的该滤波器索引，其可为该视频解码器在选择视频编码器所使用的该组滤波器参数时的指引，举例来说，如果该时间共享式适应性回路滤波器选择了一画面所对应的一组最佳滤波器参数，其中该画面为一编码序列中一目前画面的前一画面，则该位流中所插入的该滤波器索引会指引该视频解码器选择相对于该目前画面的一t-1画面(在该编码序列中该目前画面的前一画面)其所对应的该组滤波器参数。
图9为本发明的一第三实施例中一视频编码器900的简化方块示意图，此实施方法是假设如果该多个连续画面的场景并无改变，则该多个连续画面之间的差异不大，因此一目前画面可将该多个先前画面所对应的该多个插补滤波器参数应用至一参考画面供移动估测/移动补偿之用，如此一来，估测滤波器参数与对该多个参考画面进行滤波处理可同时操作，故不需要执行两次或两次以上的编码回路即可实现一段式编码方式，视频编码器900包含有：一移动估测/移动补偿单元910、一画面内预测单元905、一巨集区块模式决策之单元955、一参考画面缓冲器915、一适应性插补滤波器920、一滤波器参数估测器925、一重建单元935、一变换/量化单元940、一反变换/反量化单元945以及一熵编码单元950，如图9所示，适应性内插滤波器具有两个部分：第一部分为滤波器参数估测器925，其耦接于巨集区块模式决策之单元955与适应性插补滤波器920之间；而第二部分为适应性插补滤波器920，其耦接于参考画面缓冲器915与移动估测/移动补偿单元910之间。
当一目前画面进行该编码程序时，滤波器参数估测器925会收集位于巨集区块阶层的数据，该数据会用于计算多个适应性插补滤波器参数，特别是在进行巨集区块模式决策之后，可以得到一目前巨集区块的区块分割与该巨集区块的多个移动向量，而这些信息将会用于产生一多个参考像素(即一待滤信号)的自相关矩阵与一多个原始像素与该多个参考像素之间的互相关向量，该自相关矩阵与该互相关向量可由一巨集区块接续一巨集区块的方式来不断累积，当所有的巨集区块皆编码完成后，该滤波器参数估测器会针对每一个次像素(sub-pixel)的位置来解出多个Wiener-Hopf方程式，并且求得可使一目前画面的多个像素与多个预测像素之间的预测误差降到最低的多个插补滤波器参数，该计算得出的多个滤波器参数会用于一编码序列中多个后续画面，这被称为时间延迟式适应性插补滤波器设计，该适应性插补滤波器920会依据先前已估测的多个插补滤波器参数来插补该参考画面，如此一来，该完整编码回路仅需运作一次，故实现了一段式编码，该流程说明请参考图10。
上述的方法并没有限制滤波器用于次像素的位置，也就是说，不只是次像素的位置可以利用适应性滤波器来插补，整数像素的位置可以利用该方法来进行滤波处理，如果有任何整数像素滤波器参数，也可以利用该自相关矩阵、该互相关向量以及Wiener-Hopf方程式计算出来，而滤波器的阀数可以经由使用者适应性地决定或定义，另外请注意，可以一起对该多个整数像素跟其他次像素的位置进行滤波处理，或者是可以先对该多个整数像素进行滤波处理，然后将已经被滤波处理的该多个整数像素用来计算其他次像素的位置的该多个滤波器参数。
一目前画面的多个滤波器参数可以依据不同应用环境而随着或不随着指示旗标被写入于一编码序列中，在第一种情形之下，该目前画面可以适应性地决定去使用相对应于在该编码序列中该多个先前画面的任一个画面的多个滤波器参数，因此该多个滤波器参数可以一起随着该图框被传送，并且具有一最小延迟，举例来说，该t-2画面的该多个滤波器参数会被配于该t画面，但会与一事先定义的时间点的画面(例如t-1或t)的一位流一同被传送，在此情形下，一滤波器索引会被熵编码以及被插入至该熵编码单元中的一位流，对于该视频解码器而言，该滤波器索引是在选择视频编码器中所使用的该组滤波器参数时的指引。在第二种情形之下，多个先前画面的一时间延迟参数会被事先定义，因此该多个滤波参数会被写入至该目前画面的该位流，举例来说，当一时间延迟常数k被设定为2，一t-2画面的多个滤波常数会被配于一t画面，然后与该t画面的一位流一起被传送。
值得注意的是，由一目前画面及该目前画面所对应的一参考画面而获得的一编码序列中t时刻的多个滤波器参数会与该编码序列中t-k时刻的多个滤波器参数竞争，而这被称为时间共享式适应性插补滤波器设计，在此情形下，该完整的编码系统仍然需要一多重阶段的画面编码结构，一个最简单的实施方法是应用不同编码阶段中不同时刻下所对应的每一组候选滤波器参数，然后在评估编码效能完成之后选择一组最佳滤波器参数，一成本函数/信号率失真判定标准是用来在图框阶层(frame level)中决定出应用编码阶段中每一组滤波参数所得到的编码效能的效益。
该时间共享式程序亦提供一种以减少计算复杂度与数据存取次数而简化的二段式编码方法，特别是在进行一第一编码阶段之后，可以利用一快速信号率失真判定标准来估测该组候选滤波器参数的编码效能，而不需要实际执行该编码程序，该快速信号率失真判定标准估测仅利用该第一编码阶段与该多组候选滤波器参数即可评估该多个编码位与失真情形。
以下为本方法的一个例子，该视频编码器以多个固定的判定标准插补滤波器参数(standard interpolation filter parameters)来执行该第一编码阶段，之后便可取得一编码信息，例如多个模式与多个移动向量，该信息接着会与不同的多组滤波器参数一起以执行一移动补偿程序来计算编码失真情形，虽然该多组滤波器参数与该编码信息之间存有差异，计算复杂度可通过此手段大为降低，在选取具最小失真的该组滤波器参数之后，可运用该组滤波器参数来执行第二阶段。
在一实际的编码过程中，许多因素都会影响到预测的准确性，特别是画面间的预测，其中一个因素可以被描述为一平均偏移量，其意义是由于视频信号或使用不佳的滤波器参数所造成的一直流元件飘移。为了避免这个问题发生，在该滤波器参数估测过程中可以加入一平均偏移量估测方法，其目的是为了补偿该直流元件的变化，而为了维持一段式(one-pass)结构，该平均偏移量必须用一段式的方式来估测。一平均偏移量估测单元可以是一图框或一区域，并且估测出来的多个平均偏移量会跟一目前编码画面一起被传送，有一种简单易懂的方式就是透过计算原始像素与相对应的参考像素之间的平均差值来估得一平均偏移量，而该平均偏移量也可以是事先定义的数值或是一离线训练出来的数值。在这个情况之下，该平均偏移量不会在该位流中被传送，此外请注意，对于一个单元来说可以估测超过一个平均偏移量，以及一信号率失真判定标准可以用来选出最佳的平均偏移量数值。
另外，前述的区域导向滤波法亦可应用于该上述多个方法，关于该区域导向滤波法的竞争，其中一个例子为巨集区块阶层中一段式时间延迟滤波法，在此情形下，滤波器参数的竞争在巨集区块阶层中进行，并由于欲完成一段式编码，仅使用多个先前画面的多个滤波器参数，当开始将一目前巨集区块编码时，先前已计算的该多个滤波器参数的任一组合都可以利用信号率失真的效能评估来进行巨集区块模式决策，包含既有的标准插补滤波器，在此之后，具最佳效能的一组滤波器参数会被选为该目前巨集区块，每一巨集区块的一滤波器索引也会被熵编码，并插入至一位流以指明哪一组滤波器参数为所用，在将该滤波器索引编码时，会应用一预测式编码程序，值得注意的是，该多组候选滤波器参数可包含由其他多个方法所得的多个滤波器参数组，例如由相同画面所得到的相异的多组滤波器参数，该方法的多个变形，例如该多组候选滤波器参数的扩充与以该区域导向滤波器索引所对应的多个不同区域分割方式，皆符合本发明的发明精神。
该多个适应性插补滤波器参数或该多个适应性插补滤波器参数的总和通常会趋近于一特定值，此特性可应用于将多个滤波器参数编码以节省最后传送该多个滤波器参数所需的多个位，举例来说，为了避免增加或减少该平均像素强度，该多个滤波器参数的总和可被假设为1.0，而该位流中的最后一个滤波器参数可被预测为1.0减去其他多个滤波器参数的总和。
图13为本发明的一第四实施例中一视频解码器1300的简化方块示意图，这是一种将图5所示的视频编码器所产生的该已编码位流解码的视频解码器，包含有：一个熵解码单元1305，用于解析已编码位流；一反变换/反量化单元1310，用来将该残留信号(residual signal)以正确的比例由频率定义域转换至空间定义域；一画面内预测单元1215，用以产生多个画面内预测取样值；一移动补偿单元1320，用于产生该多个画面间预测取样值；一重建单元1335，用于产生一目前画面的该多个重建取样值；一去区块单元1340，用于减少该重建画面的多个区块效应(blocky artifacts)；一参考画面缓冲器1330，用于将该去区块画面储存为多个后续画面的一参考画面；以及一个适应性回路滤波器1325，耦接于参考画面缓冲器1330与移动补偿单元1320之间，并且用于通过储存于该参考画面缓冲器的多个参考画面所对应的该多个滤波器参数来对该多个参考画面进行滤波处理以产生多个取样值供移动补偿之用，请注意鉴于该移动补偿的插补法与该适应性回路滤波法皆为线性程序，上述两者可被合并为两串接功能区块或是一多功能区块，既然图5中的视频编码器在逻辑上与图1中的视频编码器是等效的(即上述两视频编码器在适当设定下可产生一相同位流)，图5中的视频编码器所产生的一位流可由图11中的视频解码器正确地解码，同样地，图1中的视频编码器所产生的一位流可由图13中的视频解码器正确地解码。
图14为本发明的一第五实施例中一视频解码器1400的简化方块示意图，这是一种将图7的视频编码器所产生的该已编码位流解码的视频解码器，包含有：一个熵解码单元1405，用于解析已编码位流；一反变换/反量化单元1410，用来将该残留信号以正确的比例由频率定义域转换至空间定义域；一画面内预测单元1415，用于产生该多个画面内预测取样值；一移动补偿单元1420，用于产生该多个画面间预测取样值；一重建单元1435，用于产生一目前画面的该多个重建取样值；一去区块单元1440，用于减少该重建画面的多个区块效应；一参考画面缓冲器1425，耦接于适应性回路滤波器1430与移动补偿单元1420之间，并且用于将已经被滤波处理过的该画面储存为多个后续画面的一参考画面；以及一个适应性回路滤波器1430，耦接于去区块单元1440与参考画面缓冲器1425之间，并且用于通过先前已解码的多个滤波器参数来对多个去区块画面进行滤波处理以产生多个参考画面，适应性回路滤波器1430具一存储器以储存由多个先前画面的一位流中已解码的该多个滤波器参数，这被称为时间延迟式适应性回路滤波法，请注意若一编码序列中t时刻的该多个滤波器参数可与该编码序列中t-k时刻的多个先前画面的多个滤波器参数相竞争时，其中上述该法即为时间共享式适应性回路滤波法，适应性回路滤波器1430将会选择该编码序列中较新解码的该多个t时刻滤波器参数或是该编码序列中已储存的该多个t-k时刻滤波器参数。
图15为本发明的一第六实施例中一视频解码器1500的简化方块示意图，这是一种将图9的视频编码器所产生的该已编码位流解码的视频解码器，包含有：一个熵解码单元1505，用于解析已编码位流；一反变换/反量化单元1510，用于将该残留信号以正确的比例由频率定义域转换至空间定义域；一画面内预测单元1515，用于产生该多个画面内预测取样值；一移动补偿单元1520，用于产生该多个画面间预测取样值；一重建单元1535，用于产生一目前画面的该多个重建取样值；一去区块单元1540，用于减少该重建画面的多个区块效应；一参考画面缓冲器1530，用于将该已去区块画面储存为多个后续画面的一参考画面；以及一个适应性插补滤波器1525，耦接于参考画面缓冲器1530与移动补偿单元1520之间，并且用于通过多个先前已解码的滤波器参数来插补与对该多个参考画面进行滤波处理以产生多个取样值供移动补偿之用，适应性插补滤波器1525具一存储器以储存由多个先前画面的位流中已解码的该多个滤波器参数，这被称为时间延迟式适应性回路滤波法，请注意若一编码序列中t时刻的该多个滤波器参数可与该编码序列中t-k时刻的多个先前画面的多个滤波器参数相竞争时，其中上述该法即为时间共享式适应性回路滤波法，适应性插补滤波器1530将会选择该编码序列中较新解码的该多个t时刻滤波器参数或是该编码序列中已储存的该多个t-k时刻滤波器参数。
综上所述，本发明提供许多种装置与方法来实现仅需较少的动态随机存取存储器的存取次数与计算工作的数据滤波处理操作，此外，该一段式结构使信号率失真决策的计算效能大为提升，并且该区域导向滤波法、该时间延迟式适应性滤波法，以及该时间共享式适应性滤波法提供了更多种弹性选择，而该多种弹性选择即意味着滤波处理程序将会更有效率。
本领域技术人员应可理解，在不脱离本发明的教导范围内，可对本发明的装置及方法做众多的修改和变换。因此，上述揭露仅以权利要求范围所限定者为准。

Claims (17)

1.一种利用适应性插补滤波操作来将视频数据编码的视频编码器，包含有：
一预测单元，用于依据至少一原始视频数据与至少一重建视频数据来进行预测以产生多个预测取样值；
一重建单元，耦接于该预测单元，用于重建该多个预测取样值来形成该重建视频数据；
一参考画面缓冲器，用于储存该重建视频数据来作为一参考视频数据；
一滤波器参数估测器，耦接于该预测单元，用于依据一目前画面的该原始视频数据与该目前画面的多个参考画面取样值来估测多个滤波器参数；以及
一适应性插补滤波器，耦接于该参考画面缓冲器与该预测单元之间，用于依据一编码序列中储存的一先前画面的该多个滤波器参数来对该多个参考画面取样值进行滤波处理。
2.如权利要求1所述的视频编码器，其中该滤波器参数估测器包含有一信号率失真判断单元，其用于利用一信号率失真判定标准来判断是否要利用该适应性插补滤波器来依据一待滤信号的自相关性、一原始信号与该待滤信号之间的互相关性以及该多个估测的滤波器参数来进行滤波处理。
3.如权利要求2所述的视频编码器，其中该信号率失真判断单元对于每一组估测滤波器参数执行该信号率失真判定标准，以决定一组滤波器参数来让该适应性插补滤波器利用。
4.如权利要求2所述的视频编码器，其中该信号率失真判断单元对于由该编码序列中多个先前画面所对应的多个滤波器参数中的每一组估测滤波器参数执行该信号率失真判定标准，以决定一组滤波器参数来让该适应性插补滤波器利用。
5.如权利要求2所述的视频编码器，其中该信号率失真判定标准是针对该目前画面的一特定区域来被决定。
6.如权利要求1所述的视频编码器，其中该滤波器参数估测器提供一滤波器索引，并使该滤波器索引被插入至一位流以指明哪一组滤波器参数用来对该目前画面或该目前画面的一特定区域进行滤波处理。
7.如权利要求1所述的视频编码器，其中该滤波器参数估测器另利用该多个滤波器参数的总和来进行一滤波器参数预测操作以减少该多个滤波器参数的位率。
8.如权利要求1所述的视频编码器，其中该滤波器参数估测器是针对该目前画面或该目前画面的一特定区域来估测一平均偏移量数值。
9.一种视频数据编码方法，包含有：
依据至少一原始视频数据与至少一重建视频数据来进行预测以产生多个预测取样值；
重建该多个预测取样值来形成该重建视频数据；
依据一目前画面的该原始视频数据与该目前画面的多个参考画面取样值来估测多个滤波器参数；以及
依据一编码序列中储存的一先前画面的该多个滤波器参数来对该多个参考画面取样值进行滤波处理；
其中该先前画面的已经被滤波处理过的多个参考画面取样值用于画面间预测。
10.如权利要求9所述的视频数据编码方法，其中该估测多个滤波器参数的步骤另包含有：
利用一信号率失真判定标准来判断是否要利用该适应性插补滤波器来依据一待滤信号的自相关性、一原始信号与该待滤信号之间的互相关性以及该多个估测的滤波器参数来进行滤波处理。
11.如权利要求10所述的视频数据编码方法，其中该信号率失真判定标准是针对该目前画面的一特定区域来被决定。
12.如权利要求9所述的视频数据编码方法，其中估测该多个滤波器参数的步骤另包含有：
储存多个估测滤波器参数；以及
对多个滤波器参数中的每一组估测滤波器参数执行一信号率失真判定标准，以决定一组滤波器参数来被使用。
13.如权利要求10所述的视频数据编码方法，另包含有：
将一滤波器索引插入至一位流以指明哪一组滤波器参数用来对该目前画面或该目前画面的一特定区域进行滤波处理。
14.如权利要求9所述的视频数据编码方法，其中估测该多个滤波器参数的步骤另包含有：
利用该多个滤波器参数的总和来进行一滤波器参数预测操作以减少该多个滤波器参数的位率。
15.如权利要求9所述的视频数据编码方法，其中估测该多个滤波器参数的步骤另包含有：
针对该目前画面或该目前画面的一特定区域来估测一平均偏移量数值。
16.一种将该已编码的视频数据解码的视频解码器，包含有：
一熵解码单元，用于解析一编码位流；
一预测单元，用于依据该熵解码单元来进行多次预测操作；
一重建单元，耦接于该预测单元，用于重建多个预测取样值来形成一重建视频数据；
一参考画面缓冲器，用于储存该重建视频数据来作为一参考视频数据；以及
一适应性插补滤波器，耦接于该参考画面缓冲器与该预测单元之间，用于通过先前已解码的多个滤波器参数来对多个参考画面进行插补与滤波处理以产生该多个预测取样值。
17.一种视频数据解码方法，包含有：
依据多个熵解码结果来进行多次预测操作；
重建多个预测取样值来形成一重建视频数据；以及
利用一编码序列中的一先前画面的已解码的多个滤波器参数来对多个参考画面取样值进行滤波处理；
其中该目前画面的已经被滤波处理过的多个参考画面取样值用于画面间预测。
CN2009801377604A 2008-09-25 2009-06-09 视频编码器与其方法以及视频解码器与其方法 Active CN102165777B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US9998108P 2008-09-25 2008-09-25
US61/099,981 2008-09-25
US12/405,250 2009-03-17
US12/405,250 US9762925B2 (en) 2008-09-25 2009-03-17 Adaptive interpolation filter for video coding
PCT/CN2009/072191 WO2010034204A1 (en) 2008-09-25 2009-06-09 Adaptive interpolation filter for video coding

Publications (2)

Publication Number Publication Date
CN102165777A true CN102165777A (zh) 2011-08-24
CN102165777B CN102165777B (zh) 2013-10-02

Family

ID=42037644

Family Applications (3)

Application Number Title Priority Date Filing Date
CN2009801377553A Active CN102165780B (zh) 2008-09-25 2009-06-09 视频编码器与其方法以及视频解码器与其方法
CN2009801377604A Active CN102165777B (zh) 2008-09-25 2009-06-09 视频编码器与其方法以及视频解码器与其方法
CN200980137799.6A Expired - Fee Related CN102165774B (zh) 2008-09-25 2009-06-09 视频编码器、视频解码器与其方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2009801377553A Active CN102165780B (zh) 2008-09-25 2009-06-09 视频编码器与其方法以及视频解码器与其方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN200980137799.6A Expired - Fee Related CN102165774B (zh) 2008-09-25 2009-06-09 视频编码器、视频解码器与其方法

Country Status (10)

Country Link
US (3) US8548041B2 (zh)
EP (3) EP2327216A4 (zh)
JP (2) JP5180380B2 (zh)
KR (1) KR20110059654A (zh)
CN (3) CN102165780B (zh)
AU (1) AU2009295493A1 (zh)
BR (1) BRPI0919737A2 (zh)
CA (1) CA2737270A1 (zh)
MX (1) MX2011003163A (zh)
WO (3) WO2010034206A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103703784A (zh) * 2011-08-31 2014-04-02 联发科技股份有限公司 具有约束滤波系数的自适应环路滤波方法及其装置

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101453646B (zh) * 2007-12-04 2012-02-22 华为技术有限公司 图像插值方法、装置及插值系数的获取方法
CN102067600B (zh) * 2008-06-12 2015-05-20 汤姆森特许公司 将局部自适应滤波用于运动补偿内插和基准画面滤波的方法和装置
US9078007B2 (en) * 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
JP5490404B2 (ja) * 2008-12-25 2014-05-14 シャープ株式会社 画像復号装置
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
US9391635B2 (en) * 2009-05-15 2016-07-12 Texas Instruments Incorporated Block scanner and run-level encoder from AC to DC values
WO2010146771A1 (ja) * 2009-06-19 2010-12-23 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR101749269B1 (ko) * 2009-06-30 2017-06-22 삼성전자주식회사 적응적인 인루프 필터를 이용한 동영상 부호화와 복호화 장치 및 그 방법
KR101907122B1 (ko) 2009-07-07 2018-10-12 톰슨 라이센싱 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
WO2011046617A2 (en) * 2009-10-15 2011-04-21 Thomson Licensing Methods and apparatus for efficient adaptive filtering for video encoders and decoders
AU2016201285B2 (en) * 2010-04-05 2016-12-15 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by compensating for pixel value according to pi
KR101529992B1 (ko) 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
US8787449B2 (en) * 2010-04-09 2014-07-22 Sony Corporation Optimal separable adaptive loop filter
US20110249736A1 (en) * 2010-04-09 2011-10-13 Sharp Laboratories Of America, Inc. Codeword restriction for high performance video coding
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US9154807B2 (en) * 2010-06-25 2015-10-06 Qualcomm Incorporated Inclusion of switched interpolation filter coefficients in a compressed bit-stream
ES2820437T3 (es) * 2010-07-20 2021-04-21 Ntt Docomo Inc Método de codificación predictiva de imágenes, dispositivo de decodificación predictiva de imágenes, método de decodificación predictiva de imágenes y programa de decodificación predictiva de imágenes
FR2963190B1 (fr) * 2010-07-23 2013-04-26 Canon Kk Procede et dispositif de codage d'une sequence d'images
US20120039383A1 (en) * 2010-08-12 2012-02-16 Mediatek Inc. Coding unit synchronous adaptive loop filter flags
JP2012044535A (ja) * 2010-08-20 2012-03-01 Toshiba Corp 動画像符号化装置及び動画像符号化方法
JP5485851B2 (ja) * 2010-09-30 2014-05-07 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
US9813738B2 (en) 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
CN106878729B (zh) * 2010-10-05 2019-09-24 寰发股份有限公司 基于分区基础的自适应环路滤波方法和装置
AU2014200419B2 (en) * 2010-10-05 2015-10-22 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
US9525884B2 (en) * 2010-11-02 2016-12-20 Hfi Innovation Inc. Method and apparatus of slice boundary filtering for high efficiency video coding
US9462280B2 (en) * 2010-12-21 2016-10-04 Intel Corporation Content adaptive quality restoration filtering for high efficiency video coding
WO2012096176A1 (en) * 2011-01-12 2012-07-19 Panasonic Corporation Methods and apparatuses for encoding and decoding video using multiple reference pictures
EP2617198A1 (de) * 2011-01-12 2013-07-24 Siemens Aktiengesellschaft Kompression und dekompression von referenzbildern in einem videokoder
US8849053B2 (en) * 2011-01-14 2014-09-30 Sony Corporation Parametric loop filter
WO2012108181A1 (en) 2011-02-08 2012-08-16 Panasonic Corporation Methods and apparatuses for encoding and decoding video using multiple reference pictures
US20120230423A1 (en) * 2011-03-10 2012-09-13 Esenlik Semih Line memory reduction for video coding and decoding
KR20120118782A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 적응적 필터링을 이용한 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
EP2767089A4 (en) * 2011-10-14 2016-03-09 Mediatek Inc METHOD AND APPARATUS FOR LOOP FILTERING
US9532074B2 (en) * 2011-10-26 2016-12-27 Mediatek Inc. Method and system for video coding system with loop filtering
US9386305B2 (en) 2011-11-28 2016-07-05 Qualcomm Incorporated Largest coding unit (LCU) or partition-based syntax for adaptive loop filter and sample adaptive offset in video coding
US8792745B2 (en) * 2011-12-06 2014-07-29 Sony Corporation Encoder optimization of adaptive loop filters in HEVC
BR112013027865B1 (pt) 2012-02-03 2023-03-21 Hfi Innovation Inc Método e aparelho de processamento de filtro em loop para pixels de fronteira através de uma fronteira de bloco
KR101877867B1 (ko) 2012-02-21 2018-07-12 삼성전자주식회사 비디오 파라미터를 이용한 복잡도 측정 기반의 병렬 인-루프 화소 보정에 대한 부호화/복호화 장치 및 방법
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
AU2013272989B2 (en) 2012-06-08 2017-05-25 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
US8559494B1 (en) * 2012-06-20 2013-10-15 MagnaCom Ltd. Timing synchronization for reception of highly-spectrally-efficient communications
CN108235014B (zh) * 2012-06-27 2020-08-14 太阳专利托管公司 图像编码方法和图像编码装置
US10432928B2 (en) 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
KR102509179B1 (ko) * 2014-10-02 2023-03-13 자코티 브바 저-대기시간 멀티미디어 스트리밍 환경의 문제 패턴 취급 방법
KR20160071569A (ko) 2014-12-11 2016-06-22 삼성전자주식회사 비디오 장치에서의 영상 처리 방법 및 그에 따른 비디오 장치
US11563938B2 (en) * 2016-02-15 2023-01-24 Qualcomm Incorporated Geometric transforms for filters for video coding
KR102287414B1 (ko) * 2016-12-23 2021-08-06 후아웨이 테크놀러지 컴퍼니 리미티드 손실 비디오 코딩을 위한 저복잡도 혼합 도메인 협력 인-루프 필터
US20200236355A1 (en) * 2017-08-01 2020-07-23 Sharp Kabushiki Kaisha Systems and methods for filtering reconstructed video data using adaptive loop filtering techniques
US20190116359A1 (en) * 2017-10-12 2019-04-18 Qualcomm Incorporated Guided filter for video coding and processing
US11451773B2 (en) * 2018-06-01 2022-09-20 Qualcomm Incorporated Block-based adaptive loop filter (ALF) design and signaling
US11910024B2 (en) 2019-03-11 2024-02-20 Qualcomm Incorporated Boundary handling for adaptive loop filtering
WO2020200235A1 (en) 2019-04-01 2020-10-08 Beijing Bytedance Network Technology Co., Ltd. Half-pel interpolation filter in intra block copy coding mode
BR112022002480A2 (pt) 2019-08-20 2022-04-26 Beijing Bytedance Network Tech Co Ltd Método para processamento de vídeo, aparelho em um sistema de vídeo, e, produto de programa de computador armazenado em uma mídia legível por computador não transitória
US20230031886A1 (en) 2021-08-02 2023-02-02 Tencent America LLC Adaptive up-sampling filter for luma and chroma with reference picture resampling (rpr)
US20230119972A1 (en) * 2021-10-01 2023-04-20 Mediatek Inc. Methods and Apparatuses of High Throughput Video Encoder
US12113996B2 (en) * 2021-12-06 2024-10-08 Tencent America LLC Arrangement of adaptive loop filter coefficients for fast vectorized transpositions

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
US20060221760A1 (en) * 2005-04-05 2006-10-05 Xuemin Chen Method and apparatus for using counter-mode encryption to protect image data in frame buffer of a video compression system
WO2008084378A2 (en) * 2007-01-09 2008-07-17 Nokia Corporation Adaptive interpolation filters for video coding
US20080175322A1 (en) * 2007-01-22 2008-07-24 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image using adaptive interpolation filter

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6281942B1 (en) 1997-08-11 2001-08-28 Microsoft Corporation Spatial and temporal filtering mechanism for digital motion video signals
DE10120395A1 (de) * 2001-04-25 2002-10-31 Bosch Gmbh Robert Einrichtung zur Interpolation von Abtastwerten sowie Bildencoder und Bilddecoder
EP3282699B1 (en) 2001-11-29 2019-10-23 Godo Kaisha IP Bridge 1 Coding distortion removal method
HU228615B1 (en) 2002-01-14 2013-04-29 Nokia Corp Method of coding of digital video pictures
KR101094323B1 (ko) * 2003-09-17 2011-12-19 톰슨 라이센싱 적응 기준 화상 생성
JP2005123732A (ja) 2003-10-14 2005-05-12 Matsushita Electric Ind Co Ltd デブロックフィルタ処理装置およびデブロックフィルタ処理方法
CN1571515A (zh) 2004-05-13 2005-01-26 中国科学院计算技术研究所 一种环路滤波器及滤波方法
EP1617672A1 (en) * 2004-07-13 2006-01-18 Matsushita Electric Industrial Co., Ltd. Motion estimator/compensator including a 16-bit 1/8 pel interpolation filter
KR100688510B1 (ko) 2004-12-20 2007-03-02 삼성전자주식회사 계수 갱신 회로, 이를 포함하는 적응 등화기, 및 적응등화기의 계수 갱신 방법
US20060139494A1 (en) 2004-12-29 2006-06-29 Samsung Electronics Co., Ltd. Method of temporal noise reduction in video sequences
SG130962A1 (en) 2005-09-16 2007-04-26 St Microelectronics Asia A method and system for adaptive pre-filtering for digital video signals
CN1964490A (zh) 2005-11-09 2007-05-16 松下电器产业株式会社 一种滤波器及滤波方法
JP4643453B2 (ja) * 2006-01-10 2011-03-02 株式会社東芝 情報処理装置及び情報処理装置の動画像復号方法
JP4618436B2 (ja) 2006-02-10 2011-01-26 富士ゼロックス株式会社 符号化装置、復号化装置、符号化方法、復号化方法、及びプログラム
EP2001239B1 (en) * 2006-03-27 2017-09-13 Sun Patent Trust Picture coding apparatus and picture decoding apparatus
TW200801513A (en) 2006-06-29 2008-01-01 Fermiscan Australia Pty Ltd Improved process
BRPI0714233A2 (pt) 2006-07-18 2013-01-15 Thomson Licensing mÉtodos e aparelho para filtragem de referÊncia adaptativa
CN101513067B (zh) 2006-09-25 2012-02-01 汤姆逊许可公司 用于处理视频数据的设备
US9014280B2 (en) 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
KR20080040892A (ko) * 2006-11-06 2008-05-09 삼성전자주식회사 적응 등화기 및 적응 등화 방법
KR101029199B1 (ko) 2006-11-06 2011-04-12 콸콤 인코포레이티드 온-타임 신호 성분들의 간섭 제거에 의한 다중 입력 다중 출력 검출
EP1944974A1 (en) * 2007-01-09 2008-07-16 Matsushita Electric Industrial Co., Ltd. Position dependent post-filter hints
US8050320B2 (en) 2007-02-09 2011-11-01 Ericsson Television, Inc. Statistical adaptive video rate control
US20080205508A1 (en) 2007-02-22 2008-08-28 Streaming Networks (Pvt.) Ltd. Method and apparatus for low complexity video encoding and decoding
US8369411B2 (en) * 2007-03-29 2013-02-05 James Au Intra-macroblock video processing
US8270472B2 (en) * 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
US8195001B2 (en) 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
US8811484B2 (en) 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
US8625681B2 (en) * 2008-07-09 2014-01-07 Intel Corporation Rate-distortion cost reducing video encoding techniques
WO2010063881A1 (en) * 2008-12-03 2010-06-10 Nokia Corporation Flexible interpolation filter structures for video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
US20060221760A1 (en) * 2005-04-05 2006-10-05 Xuemin Chen Method and apparatus for using counter-mode encryption to protect image data in frame buffer of a video compression system
WO2008084378A2 (en) * 2007-01-09 2008-07-17 Nokia Corporation Adaptive interpolation filters for video coding
US20080175322A1 (en) * 2007-01-22 2008-07-24 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image using adaptive interpolation filter

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103703784A (zh) * 2011-08-31 2014-04-02 联发科技股份有限公司 具有约束滤波系数的自适应环路滤波方法及其装置
CN103703784B (zh) * 2011-08-31 2018-06-01 联发科技股份有限公司 使用自适应环路滤波处理编解码视频的方法及其装置

Also Published As

Publication number Publication date
US8437394B2 (en) 2013-05-07
BRPI0919737A2 (pt) 2015-12-08
EP2327221A1 (en) 2011-06-01
CN102165774A (zh) 2011-08-24
EP2327220A1 (en) 2011-06-01
US20100074323A1 (en) 2010-03-25
AU2009295493A1 (en) 2010-04-01
KR20110059654A (ko) 2011-06-02
CN102165780A (zh) 2011-08-24
WO2010034206A1 (en) 2010-04-01
WO2010034205A1 (en) 2010-04-01
EP2327216A4 (en) 2012-08-01
US20100074330A1 (en) 2010-03-25
CA2737270A1 (en) 2010-04-01
CN102165777B (zh) 2013-10-02
EP2327220A4 (en) 2012-08-01
WO2010034204A1 (en) 2010-04-01
CN102165774B (zh) 2014-05-07
JP5174970B2 (ja) 2013-04-03
US20100074329A1 (en) 2010-03-25
EP2327216A1 (en) 2011-06-01
JP2012503901A (ja) 2012-02-09
EP2327221A4 (en) 2012-08-01
US8548041B2 (en) 2013-10-01
MX2011003163A (es) 2011-07-21
EP2327220B1 (en) 2015-05-27
JP5180380B2 (ja) 2013-04-10
US9762925B2 (en) 2017-09-12
JP2012503902A (ja) 2012-02-09
CN102165780B (zh) 2013-09-25

Similar Documents

Publication Publication Date Title
CN102165777B (zh) 视频编码器与其方法以及视频解码器与其方法
US9538197B2 (en) Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
CN103269432B (zh) 利用解码设备处理视频信号的方法
KR100619377B1 (ko) 움직임 추정 방법 및 장치
TWI499286B (zh) 使用移動補償預測之視訊解碼器及視訊編碼器
AU2020236452A1 (en) Encoding and decoding method and device, encoder side apparatus and decoder side apparatus
CN104243982A (zh) 一种视频编解码处理方法及装置
CN113411601B (zh) 一种编解码方法、装置及其设备
EP3163879B1 (en) Video encoding device and video encoding method
CN111901590B (zh) 一种用于帧间预测的细化运动矢量存储方法及装置
US6975681B2 (en) Method and apparatus for coding moving pictures
CN101980540A (zh) 解码电路、解码装置及解码系统
CN111510726A (zh) 一种编解码方法及其设备
CN103327340A (zh) 一种整数搜索方法及装置
WO2018184411A1 (zh) 一种预测模式的判决方法、装置及存储介质
RU2809504C1 (ru) Способ получения искомого значения предсказания субблока, декодирующий аппарат, устройство декодирования видеоданных, электронное устройство и долговременный носитель информации
CN112073734B (zh) 一种编解码方法、装置及其设备
CN102132567A (zh) 图像显示装置、录像再生装置、以及图像处理方法
KR20080086737A (ko) 계층적 움직임 추정장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant