CN103141100A - 用于视频译码的帧内平滑滤波器 - Google Patents

用于视频译码的帧内平滑滤波器 Download PDF

Info

Publication number
CN103141100A
CN103141100A CN2011800477566A CN201180047756A CN103141100A CN 103141100 A CN103141100 A CN 103141100A CN 2011800477566 A CN2011800477566 A CN 2011800477566A CN 201180047756 A CN201180047756 A CN 201180047756A CN 103141100 A CN103141100 A CN 103141100A
Authority
CN
China
Prior art keywords
filter
block size
current block
block
filter table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800477566A
Other languages
English (en)
Other versions
CN103141100B (zh
Inventor
格尔特·范德奥维拉
翔林·王
穆罕默德·蔡德·科班
马尔塔·卡切维奇
郑云非
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103141100A publication Critical patent/CN103141100A/zh
Application granted granted Critical
Publication of CN103141100B publication Critical patent/CN103141100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

本发明涉及用于减少以使用帧内预测译码编码的块来编码的额外数据的量的技术。明确地说,所述技术提供将平滑滤波器应用于帧内预测译码中所使用的预测样本的设备和方法。举例来说,在依赖于固定模式的帧内预测译码中,视频编码器可基于与当前块相关联的块大小与帧内预测模式组合来确定应用于预测样本的平滑滤波器的类型,其中所述组合用于在第一滤波器表中查找滤波器。在依赖于自适应模式的帧内预测译码中,所述编码器使用两个滤波器,一个来自所述第一滤波器表,且另一个来自第二滤波器表,所述编码器应用所述两个滤波器,且确定哪一者得出更好结果。当所述第二滤波器表的滤波器得出更好结果时,所述编码器对滤波指示进行编码。当使用来自所述第一滤波器表的滤波器时,不对滤波指示进行编码。

Description

用于视频译码的帧内平滑滤波器
技术领域
本发明涉及视频译码,且更明确地说,涉及帧内预测视频译码。
背景技术
数字视频能力可并入到较宽范围的装置中,包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置等。数字视频装置实施视频压缩技术,例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)界定的标准和所述标准的扩展部分中所描述的那些视频压缩技术,以更有效地发射和接收数字视频信息。新的视频标准持续出现和演变,例如正由“联合协作团队-视频译码”(JCTVC)正开发的高效率视频译码(HEVC)标准,其为MPEG与ITU-T之间的协作。这种新的HEVC标准有时也称为H.265。
视频压缩技术执行空间预测和/或时间预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码,可将视频帧或切片分割成称为译码单元(CU)的块。一般来说,CU具有与H.264标准的宏块类似的目的,只是CU不具有大小差别。使用相对于经帧内译码(I)帧或切片中的相邻CU的空间预测来编码同一帧或切片中的CU。经帧间编码(P或B)帧或切片中的CU可使用相对于同一帧或切片中的相邻CU的空间预测或相对于其它参考帧的时间预测。
发明内容
一般来说,本发明描述用于将平滑滤波器应用于视频数据的帧内预测译码中所使用的预测样本周围的像素的技术。明确地说,所述技术提供确定平滑滤波器并将其应用于帧内预测译码中所使用的预测样本的方法。在一些实例中,所述技术可包含基于与当前块相关联的块大小与帧内预测模式的组合来选择平滑滤波器以应用于预测样本周围的像素。
在依赖于固定模式的帧内平滑中,视频编码器可基于与当前块相关联的块大小与帧内预测模式组合确定应用于预测样本的平滑滤波器的类型。可使用块大小与帧内预测模式组合在滤波器表中查找滤波器。在此情况下,可能不存在发送到解码器以用信号通知用于平滑的滤波器类型的开销,因为滤波器表将在解码器侧可用,且块大小与帧内预测模式组合可以类似方式在解码器侧使用。
在依赖于自适应模式的帧内平滑中,视频编码器可:从两个滤波器选项选择平滑滤波器,一者来自第一滤波器表,且另一者来自第二滤波器表;应用两个滤波器;且确定哪一者得出更好结果。在此情况下,指示选定滤波器的语法可与视频一起编码,且发送到解码器以用信号通知选定滤波器类型。在一个实例中,如果来自第二滤波器表的滤波器得出更好结果,那么视频编码器编码滤波指示。当使用来自第一滤波器表的滤波器时,不编码滤波指示。
这些技术可减少以使用帧内预测译码编码的块编码的额外数据的量,且因此减少发射到解码器的数据的量。接收经帧内预测编码的块的视频解码器可在解码期间使用第一滤波器表应用平滑滤波器,除非滤波指示与块一起被编码。如果滤波指示与块一起被编码,那么视频解码器可在解码期间使用由滤波指示指示的滤波器应用平滑滤波器。
在一个实例中,本发明是针对一种方法,其包括:确定与当前视频数据块相关联的块大小,确定与所述当前块相关联的帧内预测译码模式,基于所述块大小和所述译码模式从滤波器表选择滤波器以应用于所述当前块,且使用所述选定滤波器来对所述当前块进行帧内预测译码。
在另一实例中,本发明是针对一种用于译码视频数据的设备,所述设备包括:处理器,其经配置以确定与当前视频数据块相关联的块大小,确定与所述当前块相关联的帧内预测译码模式,基于所述块大小和所述译码模式从滤波器表选择滤波器以应用于所述当前块,且使用所述选定滤波器来对所述当前块进行帧内预测译码。
在另一实例中,本发明是针对一种用于编码视频数据的设备,所述设备包括:用于确定与当前视频数据块相关联的块大小的装置,用于确定与所述当前块相关联的帧内预测译码模式的装置,用于基于所述块大小和所述译码模式从滤波器表选择滤波器以应用于所述当前块的装置,以及用于使用所述选定滤波器来对所述当前块进行帧内预测译码的装置。
在另一实例中,本发明是针对一种包括用于译码视频数据的指令的计算机可读存储媒体,所述指令在于处理器中执行时致使所述处理器:确定与当前视频数据块相关联的块大小,确定与所述当前块相关联的帧内预测译码模式,基于所述块大小和所述译码模式从滤波器表选择滤波器以应用于所述当前块,且使用所述选定滤波器来对所述当前块进行帧内预测译码。
附图说明
图1是说明可利用本发明的技术来支持帧内平滑的实例视频编码和解码系统的框图。
图2A是说明描绘与各种帧内预测模式相关联的一组实例预测方向的曲线图的概念图。
图2B是说明描绘与各种帧内预测模式相关联的一组实例预测方向的另一曲线图的概念图。
图3是说明与各种帧内预测模式相关联的一组实例预测方向的概念图。
图4是说明可实施用于支持帧内平滑的技术的视频编码器的实例的框图。
图5是说明对经编码视频序列进行解码的视频解码器的实例的框图。
图6是说明用于根据本发明的技术对视频数据进行编码的实例方法的流程图。
图7是说明用于根据本发明的技术对视频数据进行解码的实例方法的流程图。
图8是说明用于根据本发明的技术对视频数据进行编码的另一实例方法的流程图。
图9是说明用于根据本发明的技术对视频数据进行解码的另一实例方法的流程图。
具体实施方式
一般来说,本发明描述用于确定平滑滤波器并将其应用于视频数据的帧内预测译码中所使用的预测样本周围的像素的技术。所述技术可包含确定是否将平滑滤波器应用于正编码的当前视频数据块。举例来说,是否应用平滑滤波器的确定可基于正编码的当前块的大小以及与当前块相关联的编码模式。当前块的编码模式可基于与当前块的帧内预测译码相关联的方向,或相对于从中预测当前块的块的当前块的方向。可产生滤波决策表,且将其用来作出关于是否将帧内平滑滤波应用于当前块和/或应用于当前块的帧内平滑滤波器的类型的决策。因此,滤波决策可依据与当前块相关联的块大小和帧内预测模式而变。
在视频译码中,可利用预测来增加效率且减少经编码视频数据的量,且因此减少所发射或存储以供后续检索和显示的视频数据的量。在现代视频译码系统中经常使用两种类型的预测:帧间预测和帧内预测。在帧间预测中,从视频序列中的另一帧中的视频块预测当前视频块。在帧内预测中,从同一帧内的视频块预测当前视频块。
如上文所述,帧内预测译码涉及通过执行当前块周围的像素的方向外插来相对于帧的先前经编码块的像素编码同一帧的当前块的像素。以此方式,将周围像素用作预测样本来形成当前块的像素。一般来说,使用所述像素来沿指定方向形成当前块。随着当前块的大小增加,离预测样本较远的当前块的像素的预测准确性可能降级。为了克服帧内预测译码中的降级,将平滑应用于周围的预测样本。
视频译码过程可将平滑滤波器应用于预测像素,使用经滤波和未经滤波像素两者来执行和比较预测,且基于比较结果来确定并用信号通知是使用经滤波还是未经滤波的像素。使用此方法(其可称为自适应帧内平滑(AIS)),导致增加的编码器复杂性,因为其要求将平滑滤波器应用于每一块,且将结果与未经滤波块进行比较。并且,使用明确地用信号通知是否应应用特定平滑滤波器的此方法增加了与每一译码单元相关联的开销信息。另外,对AIS数据(例如,信号、平滑滤波器等)进行熵译码和解码增加了编码和解码过程的复杂性。
执行AIS的另一方式是在编码器和解码器处利用滤波器指示符表,其中指示符值取决于块大小和帧内预测模式,所述指示符值指示预测方向。所述表可在设计阶段期间产生,因此避免了编码器计算复杂性的增加,因为关于是否对像素进行滤波的决策不是在编码过程期间执行的。然而,对视频编码器/解码器的某些改变可要求产生新的表来代替当前表。
本发明的技术提出一种基于规则的简化AIS方案或依赖于模式的帧内平滑(MDIS),其中关于是否应用平滑滤波器的所述规则是基于当前块的大小以及预测模式或方向。MDIS可在层级中对预测模式进行排序,预测模式可映射到不同块大小,其中对于增加的块大小,根据所述层级对较多模式进行滤波。在一些实例中,是否应用平滑滤波器的确定可进一步在较大块与较小块之间区分,其中确定是否应用平滑滤波器的方法可基于块大小而变化。另外,对于一些视频序列,例如那些具有方向纹理的视频序列,应用平滑滤波器可提供很少益处或不提供益处。本发明的技术还可作出平滑滤波器确定以解决这些问题。帧内预测和平滑滤波器信息可编码在对应块的标头中,且在解码期间由视频解码器解码以应用适当的平滑滤波器。
图1是说明可利用本发明的技术以在帧内预测译码期间应用平滑滤波器的实例视频编码和解码系统10的框图。如图1中所示,系统10包含源装置12,源装置12经由通信信道16将经编码的视频发射到目的装置14。源装置12及目的装置14可包括各种各样的装置中的任一者。在一些实例中,源装置12和目的地装置14可包括无线通信装置,例如无线手持机、所谓的蜂窝式或卫星无线电电话,或可在通信信道16上(在此情况下,通信信道16为无线的)传送视频信息的任何无线装置。
然而,本发明的技术(其大体上涉及用于帧内预测译码的技术)不一定限于无线应用或环境。举例来说,这些技术在各种各样的其它环境和装置中也可能有用,包含经由物理线、光纤或其它物理或无线媒体进行通信的装置,这些技术可应用于空中电视广播、有线电视发射、卫星电视发射、因特网视频发射、编码到存储媒体上的经编码数字视频,或其它情形。举例来说,经编码视频可存储在存储装置上以供目的装置14进行后续检索、解码且显示。另外,还可在不一定与任何其它装置通信的独立装置中应用编码或解码技术。因此,通信信道16可包括适合发射经编码视频数据的无线或有线媒体或其它存储媒体的任何组合,且装置12、14可包括多种有线或无线媒体装置中的任一者,例如移动电话、智能电话、数字媒体播放器、机顶盒、电视机、显示器、桌上型计算机、便携式计算机、平板计算机、游戏控制台、便携式游戏装置等。
在图1的实例中,源装置12包含视频源18、视频编码器20、调制器/解调器(调制解调器)22以及发射器24。目的装置14包含接收器26、调制解调器28、视频解码器30以及显示装置32。在其它实例中,源装置和目的装置可包含其它组件或布置。举例来说,源装置12可从外部视频源18(例如外部相机、视频存储档案、计算机图形源等)接收视频数据。同样地,目的装置14可与外部显示装置介接,而不是包含集成显示装置。
图1所说明的系统10仅为一个实例。用于在帧内预测译码中应用平滑滤波器的技术可由任何数字视频编码和/或解码装置执行。尽管通常本发明的技术由视频编码装置执行,但所述技术还可由视频编码器/解码器(通常称为“CODEC”)执行。此外,本发明的技术还可由视频预处理器执行。源装置12和目的装置14仅为此些译码装置的实例,其中源装置12产生用于发射到目的装置14的经译码视频数据。在一些实例中,装置12、14可以大体上对称的方式操作,使得装置12、14中的每一者包括视频编码和解码组件。因此,系统10可支持视频装置12、14之间的单向或双向视频传输,例如用于视频流式传输、视频回放、视频广播或视频电话。
源装置12的视频源18可包含视频捕获装置,例如视频相机、含有先前捕获的视频的视频档案,和/或从视频内容提供者馈入的视频。作为另一替代方案,视频源18可产生基于计算机图形的数据作为源视频,或直播视频(live video)、存档视频与计算机产生的视频的组合。在一些情况下,如果视频源18为视频相机,那么源装置12及目的装置14可形成所谓的相机电话或视频电话。然而,如上文所提到,本发明中所描述的技术一般可适用于视频译码,且可应用于无线和/或有线应用。在每一情况下,可由视频编码器20来编码经捕获的、经预先捕获的或计算机产生的视频。经编码的视频信息可接着由调制解调器22根据通信标准来调制,且经由发射器24而发射到目的地装置14。调制解调器22可包含经设计以用于信号调制的各种混频器、滤波器、放大器或其它组件。发射器24可包含经设计以用于发射数据的电路,包括放大器、滤波器及一个或一个以上天线。
目的装置14的接收器26经由信道16接收信息,且调制解调器28对所述信息进行解调。此外,视频编码过程可实施本文所描述的技术中的一者或一者以上,以用于在当前块的帧内预测译码期间应用平滑滤波器。经由信道16传送的信息可包含由视频编码器20界定的语法信息,其也可由视频解码器30使用,所述语法信息包含语法元素,其描述经译码视频的预测单元(PU)、译码单元(CU)或其它单元(例如,视频切片、视频帧以及视频序列或图片群组(GOP)的特性和/或处理。显示装置32向用户显示经解码的视频数据,且可包括多种显示装置中的任一者,例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
在图1的实例中,通信信道16可包括任何无线或有线通信媒体,例如,射频(RF)频谱或一个或一个以上物理传输线、或无线和有线媒体的任何组合。通信信道16可形成例如局域网、广域网或例如因特网等全球网络的基于包的网络的部分。通信信道16一般表示用于将视频数据从源装置12发射到目的地装置14的任何合适的通信媒体或不同通信媒体的集合,包含有线或无线媒体的任何合适组合。通信信道16可包含可用于促进从源装置12到目的装置14的通信的路由器、交换器、基站或任何其它设备。
视频编码器20和视频解码器30可根据视频压缩标准来操作,例如合并高效视频译码(HEVC)标准或ITU-T H.264标准,或者称为MPEG-4,部分10,高级视频译码(AVC)。然而,本发明的技术不限于任何特定译码标准。其它实例包括MPEG-2和ITU-T H.263。尽管图1中未展示,但在一些方面中,视频编码器20和视频解码器30可各自与音频编码器及解码器集成,且可包括适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件,以处置对共同数据流或单独数据流中的音频与视频两者的编码。如果适用,MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
ITU-T H.264/MPEG-4(AVC)标准是由ITU-T视频译码专家组(VCEG)连同ISO/IEC运动图片专家组(MPEG)制定以作为被称为联合视频小组(JVT)的集体伙伴关系的产品。在一些方面中,本发明中所描述的技术可应用于通常符合H.264标准的装置。ITU-T研究组在2005年3月在ITU-T推荐H.264“用于通用视听服务的高级视频译码(AdvancedVideo Coding for generic audiovisual services)”中描述了H.264标准,其在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。
联合视频小组(JVT)不断致力于H.264/AVC的扩展,且开发新的标准,例如针对HEVC。HEVC标准化努力是基于视频译码装置的模型,称为HEVC测试模型(HM)。HM假定视频译码装置相对于根据例如ITU-T H.264/AVC的现存装置的若干额外能力。举例来说,H.264提供九种帧内预测编码模式,而HM提供多达三十五种帧内预测编码模式。
HM涉及视频数据的块作为译码单元(CU)。位流中的语法数据可界定最大译码单元(LCU),其为依据像素数据的最大译码单元。一般来说,CU具有与H.264标准的宏块类似的目的,只是CU不具有大小差别。因此,CU可分裂为若干子CU。一般来说,本发明中对CU的参考可指代图片的最大译码单元或LCU的子CU。可将LCU分裂为若干子CU,且每一子CU可进一步分裂为若干子CU。用于位流的语法数据可界定LCU可分裂的最大次数,称为CU深度。因此,位流还可界定最小译码单元(SCU)。本发明还用术语“块”来指代CU、PU或TU中的任一者。此外,在本发明提到涉及译码单元或CU的实例的情况下,应理解,可相对于被译码单元代替的宏块提供其它实例。
LCU可与四分树数据结构相关联。一般来说,四分树数据结构每CU包含一个节点,其中根节点对应于LCU。如果CU分裂为四个子CU,那么对应于CU的节点包含四个叶节点,其各自对应于子CU中的一者。四分树数据结构的每一节点可提供用于对应CU的语法数据。举例来说,四分数中的节点可包含分裂旗标,指示对应于所述节点的CU是否被分裂为子CU。CU的语法元素可递归地界定,且可取决于CU是否分裂为子CU。
未分裂的CU(例如,对应于四分树数据结构中的叶节点)可包含一个或一个以上预测单元(PU)。一般来说,PU表示对应CU的全部或一部分,且包含用于检索PU的参考样本的数据。举例来说,当PU经帧内模式编码时,PU可包含描述PU的帧内预测模式的数据。描述帧内预测模式的数据可界定(例如)与PU的帧内预测模式相关联的方向(例如亮度和色度分量)以及与PU相关联的块大小。作为另一实例,当PU经帧间模式编码时,PU可包含界定PU的运动向量的数据。界定运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如,四分之一像素精度或八分之一像素精度)、运动向量指向的参考帧,和/或运动向量的参考帧列表(例如,列表0或列表1),以及运动向量预测器索引。界定PU的CU的数据还可描述(例如)将CU分割为一个或一个以上PU。分割模式可在CU未经译码、经帧内模式编码或经帧间预测模式编码之间不同。
具有一个或一个以上PU的CU还可包含一个或一个以上变换单元(TU)。遵循使用PU的预测,视频编码器可计算CU的对应于PU的部分的残余值。残余值对应于像素差异值,其可变换为变换系数、经量化,且经扫描以产生经串行化变换系数以用于熵译码。TU的大小不一定限于PU的大小。明确地说,TU可为相同大小,或小于CU的对应PU。在一些实施例中,TU的最大大小可为对应CU的大小。一般来说,TU可包括包含与给定CU相关联的残余变换系数的数据结构。
视频编码器20和视频解码器30各自可实施为多种合适编码器电路中的任一者,例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。视频编码器20和视频解码器30中的每一者可包含于一个或一个以上编码器或解码器中,视频编码器20和视频解码器30中的任一者可作为组合式编码器/解码器(CODEC)的一部分而集成于相应相机、计算机、移动装置、订户装置、广播装置、机顶盒、服务器等中。
视频序列通常包含一系列视频帧。图片群组(GOP)通常包括一系列一个或一个以上视频帧。GOP可在GOP的标头、GOP的一个或一个以上帧的标头或其它地方中包含语法数据,其描述包含于GOP中的帧的数目。每一帧可包含帧语法数据,其描述相应帧的编码模式。视频编码器20通常对个别视频帧内的视频块进行操作以便对视频数据进行编码。视频块可对应于译码单元(CU)或CU的分区单元(PU)。视频块可具有固定或不同大小,且其大小可根据指定译码标准而不同。每一视频帧可包含多个切片。每一切片可包含多个CU,CU可包含一个或一个以上PU。
举例来说,HEVC测试模型(HM)支持各种CU大小的预测。LCU的大小可由语法信息界定。假定特定CU的大小为2N×2N,HM支持2N×2N或N×N大小的帧内预测,以及2N×2N、2N×N、N×2N或N×N对称大小的帧间预测。HM还支持2N×nU、2N×nD、nL×2N和nR×2N的帧间预测的不对称分裂。在不对称分裂中,CU的一个方向不分裂,而另一方向分裂成25%和75%。CU的对应于25%分裂的部分由“n”后接“上”、“下”、“左”或“右”的指示来指示。因此,例如,“2N×nU”指代水平分裂的2N×2N CU,其中2N×0.5N PU在顶部,且2N×l.5N PU在底部。
在本发明中,“N×N”与“N乘N”可互换使用,以指代依据垂直和水平维度的视频块(例如,CU、PU或TU)的像素尺寸,例如16×16个像素或16乘16个像素。一般来说,16×16块将在垂直方向上具有16个像素(y=16),且在水平方向上具有16个像素(x=16)。同样地,N×N块通常在垂直方向上具有N个像素,且在水平方向上具有N个像素,其中N表示非负整数值。一块中的像素可布置成若干行和若干列。此外,块无需一定在水平方向上具有与在垂直方向上相同数目的像素。举例来说,块可包括N×M个像素,其中M不一定等于N。
如上文所述,可使用帧间预测译码或帧内预测译码来对CU进行编码。在帧内预测中,可相对于同一帧中已经编码的块来预测当前块。通常,从左向右且从上到下译码帧的块,或在一些实例中,以z字形扫描次序译码帧的块。因此,可相对于当前块上方任何地方的块或当前块左边的块来预测当前块。帧内预测译码的块大小可从相对较小的大小(例如,2×2)变化为相对较大的大小(例如128×128)。预测方向或从已经编码的块到当前块的方向可确定帧内预测模式。HM允许至多达34个模式,其包含33个不同帧内预测定向模式(对应于外插方向)以及一个DC模式。33个帧内预测定向模式中的每一者对应于介于0与180之间的角度(或在从水平方向顺时针45度与135度之间,在图2A的实例中),其中接近5.625°的角度分辨率指示像素从用以预测当前块的像素的块的外插方向。非方向模式(以模式2标示)对应于DC,其中使用相邻像素的取样来预测当前块的像素。在一些实例中,HM可允许对应于平面模式的第35模式(模式34),其中可使用下文更详细论述的梯度函数来调整像素的值。
在帧内预测译码期间,预测准确性的质量可能受影响并降级。举例来说,随着PU的大小增加,离预测体像素较远的像素的预测准确性可能降级。预测准确性的降级可产生较多残余数据,这可导致需要编码、发射或存储更多数据。可将平滑滤波器应用于用以预测块的预测体像素,以改进预测准确性。然而,在一些情况下,在不使用平滑滤波器的情况下实现更好结果。如上文所述,当前标准利用自适应帧内平滑(AIS)技术。
本发明的技术提出一种基于规则的简化AIS方案,其中关于是否应用平滑滤波器的所述规则主要是基于当前块的大小以及预测模式或方向。举例来说,在HM中,块大小可从较小大小(例如2×2)变为大至128×128。如下文将更详细地阐释,可用于每一块的帧内预测模式可基于大小而变化。对于每一块大小,当在一些方向上而不是在其它方向上应用预测时,可能需要平滑滤波器,其中所述方向对应于不同的帧内预测模式。在一个实例中,大小与针对其而应用平滑滤波器的帧内预测模式的组合可在查找表(LUT)中预定义。因此,确定是否应用平滑滤波器可为通用的且保持相同,不管编码器和/或解码器如何变化,且可能不需要滤波确定的信令。另外,作出是否应用平滑滤波器的确定不会引发显著的编码器复杂性。
在一些实例中,是否应用平滑滤波器的确定可进一步在较大块与较小块之间区分,其中确定是否应用平滑滤波器的方法可基于块大小而变化。举例来说,对于一些块大小,编码器可使用经滤波和未经滤波像素来执行预测,且将结果进行比较以确定是否使用平滑滤波器。编码器接着用信号通知滤波模式,即在编码所述块时是否使用平滑滤波器。在一个实例中,如果滤波模式与将基于LUT获得的决策(即,默认滤波决策)不同,那么用信号通知所述滤波模式。
在一个实例中,可界定一个或一个以上平滑滤波器(例如,滤波器候选者)。对于每一块大小和帧内预测模式组合,表可界定适当的待用滤波器。对于不针对其使用平滑滤波器的组合,所界定的滤波器可为全通滤波器。主要表可包含用于块大小与帧内预测模式的每一对应组合的最可能平滑滤波器。在一些实例中,次要表(或若干额外表)可经界定以包含用于块大小与帧内预测模式的每一对应组合的第二最可能平滑滤波器(或若干额外表的情况下,若干可能平滑滤波器)。在一个实例中,除非另有指示,否则可利用最可能平滑滤波器信息。与帧内预测译码相关联的信息(例如,块大小和帧内预测模式)以及平滑滤波器信息(例如,滤波模式和可能平滑滤波器表)可编码在对应块的标头(或其它数据结构,例如脚注)中,且在解码期间由视频解码器解码以应用适当的平滑滤波器。
在帧内预测或帧间预测译码以产生预测数据(例如,用于CU的PU)之后,视频编码器20可计算残余数据以产生用于所述CU的一个或一个以上变换单元(TU)。CU的PU可包括空间域(也称为像素域)中的像素数据,而CU的TU可包括变换域中的系数(例如在对残余视频数据应用变换之后,所述变换例如为离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)。残余数据可对应于未经编码图片的像素与CU的PU的预测值之间的像素差。视频编码器20可形成一个或一个以上TU,包含用于CU的残余数据。视频编码器20可接着变换所述TU。
在进行任何变换以产生变换系数之后,可执行变换系数的量化。量化一般指其中将变换系数量化以可能地减少用于表示系数的数据量的过程。量化过程可减少与一些或全部系数相关联的位深度。举例来说,在量化期间,可将n位值向下舍入到m位值,其中n大于m。
在一些实例中,视频编码器20可利用预定义扫描次序来扫描经量化变换系数,以产生可经熵编码的串行化向量。在其它实例中,视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后,视频编码器20可例如根据内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)或另一熵译码方法来对一维向量进行熵编码。
经配置以用于熵译码的处理单元或另一处理单元可执行其它处理功能,例如经量化系数的零游程长度译码,和/或例如经译码块模式(CBP)值、宏块类型、译码模式、LCU大小等语法信息的产生。
目的装置14的视频解码器30可经配置以执行与本发明的视频编码器20的任何或所有技术类似且大体上对称的技术。举例来说,视频解码器30可接收视频帧的经熵编码的CU。此接收到的数据可包含语法元素,所述语法元素指示是否曾在视频编码器20处利用帧内预测译码来编码CU。根据本发明的技术,与帧内预测译码相关联的语法元素可包含例如以下信息:帧内预测模式或预测方向、块大小以及在适用时与平滑滤波器相关联的其它信息。举例来说,视频解码器30可确定使用帧内预测译码来编码CU,且对与经编码CU包含在一起的语法元素进行解码,以确定CU的帧内预测模式。视频解码器30还可确定帧内预测译码中所使用的块的大小,且通过使用所述块大小和帧内预测模式信息,视频解码器30可确定在预测块时是否将平滑滤波器应用于预测体像素。
在一个实例中,视频解码器30可基于块大小与用以编码所述块的帧内预测模式的组合来确定是否应用平滑滤波器。如果无另外指示,那么视频解码器30可利用与块大小与帧内预测模式的组合相关联的最可能平滑滤波器。如果用于块大小与帧内预测模式的组合的平滑滤波器不同于用于所述组合的最可能平滑滤波器,那么视频解码器30可从与所述块相关联的语法元素解码指示,且视频解码器30选择并利用来自用于所述组合的第二(或更多)最可能平滑滤波器的平滑滤波器。
以此方式,经编码以指示是否在帧内预测译码中应用平滑滤波器的信息量得以最小化,且在一些情况下得以消除。举例来说,当平滑滤波器应用决策为用于块大小与帧内预测模式的组合的最可能平滑滤波器,那么不编码关于所述平滑滤波器的信令,且视频解码器30能够在不需要除块大小和帧内预测模式外的额外信息的情况下做出确定。
视频编码器20和视频解码器30各自可实施为多种合适编码器或解码器电路中的任一者(如适用),例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20和视频解码器30中的每一者可包含在一个或一个以上编码器或解码器中,其中的任一者可集成为组合式视频编码器/解码器(CODEC)的部分。包含视频编码器20和/或视频解码器30的设备可包括集成电路、微处理器和/或无线通信装置,例如蜂窝式电话。
图2A是说明描绘与各种帧内预测模式相关联的一组实例预测方向的曲线图的概念图。如上文所述,HM提供多达三十三个帧内预测定向编码模式。HM编码器(例如,视频编码器20)可经配置以使得用于块的可用帧内预测模式集合可取决于所述块或PU的大小。也就是说,块的大小可确定可用于所述块的帧内预测模式的数目,编码器可从中选择一帧内预测模式来预测所述块。下文的表1说明块大小与可用于所述大小的块的帧内预测模式之间的对应性的一个实例。图3中说明与帧内预测模式相关联的方向。图3上未展示的模式2对应于DC模式,其中使用相邻像素的取样来预测当前块的像素。
PU或块大小 帧内预测模式
2×2 0~3
4×4 0~16
8×8 0~33
16×16 0~33
32×32 0~33
64×64 0~5
128×128 0~5
表1
在图2A的实例中,取决于选定帧内预测模式,可从相邻像素100A到100AG(相邻像素100)预测块106(以虚线轮廓线指示)。箭头102A到102AG(箭头102)表示与各种帧内预测模式相关联的方向或角度。图2A的实例表示由HM提供的帧内预测模式。然而,在其它实例中,可提供较多或较少帧内预测模式。尽管块106的实例为8×8像素块,但一般来说,块可具有任何数目的像素,例如4×4、8×8、16×16、32×32、64×64、128×128等。尽管块106的实例为正方形,但本发明的技术也可应用于其它块大小,例如N×M块,其中N不一定等于M。
可根据预测方向相对于(例如)垂直于块106的垂直侧的水平轴的角度来界定帧内预测模式。因此,箭头102中的每一者可表示对应帧内预测模式的预测方向的特定角度。在一些实例中,帧内预测方向模式可由整数对(dx,dy)界定,其可表示用于上下文像素外插的对应帧内预测模式的方向。也就是说,可将帧内预测模式的角度计算为dy/dx。换句话说,可根据水平偏移dx和垂直偏移dy来表示角度。块106中的位置(x,y)处的像素的值可从相邻像素100中一条线所穿过的一者或一者以上确定,所述线还以角度dy/dx穿过位置(x,y)。
图2B是说明描绘与各种帧内预测模式相关联的另一组实例预测方向的曲线图的概念图。在图2B的实例中,展示三十三个帧内预测定向编码模式,类似于图2A中所示的那些模式。在此实例中,除33个方向模式之外,存在两个额外模式,对应于DC模式的模式2以及对应于平面模式的模式34。
在图2B的实例中,编码器和/或解码器可经配置以使得用于块的帧内预测模式的可用集合可取决于块(例如,PU、CU或TU)的大小。也就是说,块的大小可确定可用于所述块的帧内预测模式的数目,编码器可从中选择一帧内预测模式来预测所述块。下文的表2说明块大小与可用于所述大小的块的帧内预测模式之间的对应性的另一实例。
PU或块大小 帧内预测模式
4×4 0~16,34
8×8 0~34
16×16 0~34
32×32 0~34
64×64 0~2,34
表2
图3是说明与各种帧内预测模式相关联的一组实例预测方向的概念图。HM所提供的33个帧内预测方向模式中的每一者对应于具有指定角度的方向。举例来说,模式1对应于水平外插方向或与水平成0°角,其中从指向使用模式1编码的块左侧的像素来预测所述块。作为另一实例,模式0对应于垂直外插方向或与水平成90°角,其中从在使用模式0编码的块正上方的像素来预测所述块。作为另一实例,模式3、6和9对应于角度分辨率为45°的对角外插方向。模式0、1以及3到33对应于横跨180°(在模式6与9之间)的预测方向,其中角度分辨率接近5.625°。在HM的实例中,模式2对应于DC模式,其中使用八个相邻像素的取样来预测当前块的像素。模式34对应于平面模式,其中可包含适合预测目的的块的线性平面函数。平面模式可在平滑变化的照度区域中有效。平面模式可对预测较大块有效,但在用于预测较小块时可能不够有效。图3的圆表示与每一圆相关联的帧内预测方向模式的角度分辨率。举例来说,对于圆0,所述圆内的模式(模式0与1)之间的分辨率为90度,圆1内的模式(模式3、6和9)之间的分辨率为45度,圆2内的模式(模式4、5、7和8)之间的分辨率为22.5度,等等。
图4是说明可实施用于将平滑滤波器应用于视频数据的帧内预测译码中所使用的预测样本周围的像素的技术的视频编码器20的实例的框图。视频编码器20可执行视频帧内的视频块(包含LCU、CU和PU)的帧内和帧间预测,且计算可编码为TU的残余值。帧内译码依靠空间预测来减少或去除给定视频帧内的视频中的空间冗余。帧间译码依靠时间预测来减少或去除视频序列的邻近帧内的视频中的时间冗余。帧内模式(I模式)可涉及若干基于空间的压缩模式中的任一者。例如单向预测(P模式)、双向预测(B模式)或一般化的P/B预测(GPB模式)等帧间模式可涉及若干基于时间的压缩模式中的任一者。运动估计单元42和运动补偿单元44可执行帧间预测译码,而帧内预测单元46可执行帧内预测译码。
如图4中所示,视频编码器20接收待编码视频帧或切片内的当前视频块。在图4的实例中,视频编码器20包含模式选择单元40、预测单元41、参考帧存储装置64、求和器50、变换单元52、量化单元54以及熵译码单元56。预测单元41包含运动估计单元42、运动补偿单元44以及帧内预测单元46。对于视频块重建,视频编码器20还包含逆量化单元58、逆变换单元60以及求和器62。还可包括去块滤波器(图4中未展示)以对块边界进行滤波,以从经重建的视频去除成块假象。在需要时,去块滤波器通常将对求和器62的输出进行滤波。
在编码过程期间,视频编码器20接收待译码的视频帧或切片。可将帧或切片划分为多个视频块或CU。运动估计单元42和运动补偿单元44相对于一个或一个以上参考帧中的一个或一个以上块执行对所接收的视频块的帧间预测译码以提供时间压缩。帧内预测单元46可相对于在与待译码的块相同的帧或切片中的一个或一个以上相邻块执行对所接收视频块的帧内预测译码,以提供空间压缩。
模式选择单元40可基于误差结果选择译码模式中的一者,帧内或帧间,且将译码模式的选择提供给预测单元41。预测单元41接着产生经帧内或帧间译码的块,且将经译码块提供给求和器50以产生残余块数据,且提供给求和器62以重构经编码块,以用作参考帧。当模式选择单元40为块选择帧内预测编码时,帧内预测单元46可为所述块选择帧内预测模式。举例来说,选定帧内预测模式可为HM所提供的35种模式中的一者。从中为给定块选择帧内预测模式的帧内预测模式的数目可取决于所述块的大小,如上文表1的实例中所示。
在一个实例中,当模式选择单元40选择帧间预测译码时,运动估计单元42和运动补偿单元44可执行与帧间预测译码相关联的处理以产生经帧间译码的块。运动估计单元42与运动补偿单元44可高度集成,但出于概念上的目的而分开予以说明。由运动估计单元42执行的运动估计是产生运动向量的过程,所述运动向量估计视频块的运动。举例来说,运动向量可指示预测参考帧(或其它经译码单元)内的预测块或PU相对于当前帧(或其它经译码单元)内正译码的当前块的移位。预测块是所找到的在像素差异方面与待译码的视频块或PU紧密匹配的块,像素差可由绝对差总和(SAD)、平方差总和(SSD)或其它差度量确定。
运动向量还可指示宏块的分区的移位。运动补偿可涉及基于运动估计所确定的运动向量来获取或产生预测块。在一些实例中,视频编码器20可计算存储在参考帧存储装置64中的参考帧的子整数像素位置的值。举例来说,视频编码器20可计算参考帧的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此,运动估计单元42可执行相对于完整像素位置和分数像素位置的运动搜索,且输出具有分数像素精度的运动向量。
运动估计单元42通过将PU与参考帧存储装置64中的参考帧的块进行比较来计算经帧间译码帧的视频块或PU的运动向量。运动补偿单元44还可内插参考帧(例如,I帧或P帧)的子整数像素。举例来说,HM描述两个列表:列表0,其包含具有比正编码的当前帧早的显示次序的参考帧;以及列表1,其包含具有比正编码的当前帧晚的显示次序的参考帧。因此,可根据这些列表来组织存储在参考帧存储装置64中的数据。在一些情况下,运动估计单元42可进一步计算运动向量的运动向量差(MVD)值,且将MVD值而不是运动向量本身传递到熵译码单元56。
在一个实例中,当模式选择单元40选择帧内预测译码时,帧内预测单元46可执行与帧内预测译码相关联的处理以产生经帧内译码的块。如上文所述,基于块的大小,可确定可用于所述块的帧内预测模式的数目。上文的表1和表2中展示块大小与可用于所述大小的块的帧内预测模式的数目之间的对应性的实例。帧内预测单元46可相对于相邻的先前译码的块(例如,在当前块上方、右上方、左上方或左侧的块)对当前视频块进行帧内预测编码(假定左到右、上到下编码次序或块)。帧内预测单元46可基于用于当前块的选定帧内预测模式来利用相邻块。
帧内预测单元46可通过选择可用帧内预测模式中的一者来为所述块确定适当的帧内预测模式。帧内预测单元46可通过(例如)为与块大小相关联的各种帧内预测模式计算误差值且选择得出最低误差值的模式来选择帧内预测模式。方向预测模式可包含用于组合空间上相邻像素的值且将组合值应用于预测单元(PU)中的一个或一个以上像素位置的功能。一旦已计算PU中的所有像素位置的值,帧内预测单元46可基于PU与待编码当前块之间的像素差来计算所述预测模式的误差值。帧内预测单元46可继续测试与当前块的块大小相关联的帧内预测模式,直到发现得出可接受误差值的帧内预测模式为止。接着可使用产生最低误差值的帧内预测模式来产生用于当前块的PU。帧内预测单元46可用信号通知选定帧内预测模式,使得其随与经译码块相关联的语法元素而被编码。
根据本发明,视频编码器20可确定是否将平滑滤波器应用于使用帧内预测译码编码的当前块的预测样本周围的像素。所述确定可基于块大小和译码当前块中所使用的帧内预测模式。在根据本发明的技术的一个实例中,当使用分别对应于垂直、水平和DC模式的模式0、1或2时,不应用平滑滤波器,因为这些模式中的每一者在不应用平滑的情况下提供相对较准确的预测结果。因此,当预测方向完全水平、垂直,或帧内预测模式为DC模式时,不应用平滑滤波器。确定是否对其它模式(即,对角模式)应用平滑滤波器取决于预测单元大小和帧内预测模式。下文的表3展示对其应用平滑滤波器的块大小与帧内预测模式的组合的实例关系。可对其应用滤波的块大小与帧内预测模式的组合可基于离线训练和统计结果。表3不表示可界定的唯一类型的关系,而是仅提供与本发明一致的实例。
块大小 被滤波的模式 图3中展示
2x2 针对所有模式无滤波 n/a
4x4 模式3、6和9 圆0与圆1之间的模式
8x8 模式3、4、5、6、7、8和9 圆0与圆2之间的模式
16x16 模式3到17 圆0与圆3之间的模式
32x32 模式3到33 圆0与圆4之间的模式
64x64 模式3到4 圆0与圆4之间的模式
128x128 模式3到4 圆0与圆4之间的模式
表3
如表3所说明,确定是否应用平滑滤波器是通用的,且基于块大小和用于编码所述块的帧内预测模式而保持相同。在一个实例中,上文在表3中展示且针对其而应用平滑滤波器的大小与帧内预测模式的组合可在查找表(LUT)中预定义。LUT可在编码器或解码器两者处可用,或编码器可将其发送到解码器。因此,确定是否应用平滑滤波器可为通用的且保持相同,而不管编码器和/或解码器如何变化,且可能不需要滤波确定的信令。另外,作出是否应用平滑滤波器的确定不会引发显著的编码器复杂性。
在一个实例中,在块的帧内预测编码期间,编码器可基于块的大小与所使用的帧内预测模式的组合且根据LUT中所定义的组合来确定是否将平滑滤波器应用于预测样本。这些组合可与如最可能滤波器表中所指示的最可能滤波选项相关联。举例来说,可创建最可能滤波器表以针对块大小与帧内预测模式的每一组合指示要利用哪一滤波选项。在一个实例中,可为块大小与帧内预测模式的每一组合从滤波器的候选列表中选择一平滑滤波器。无滤波选项可一般化为作为全通滤波器的平滑滤波器。在一些实例中,可使用一个或一个以上平滑滤波器,其中例如一个平滑滤波器可对块大小与帧内预测模式的一些组合效果较好,且第二平滑滤波器可对块大小与帧内预测模式的其它组合效果较好。平滑滤波器的候选集合中的滤波器的数目可在系统之间变化。在一个实例中,用于块大小与帧内预测模式的组合的滤波器选项可基于具有不同训练视频数据的离线训练。为了简单起见,滤波器的数目可为3,滤波器0、滤波器1和滤波器2,其中滤波器0指示全通滤波(即,无滤波)。使用候选滤波器,可根据下表来产生最可能滤波器表,其以伪代码表示:
Figure BDA00002997670100171
在以上实例中,可针对每一块大小和帧内预测模式界定最可能平滑滤波器。用于特定组合的平滑滤波器的表索引可被界定为对应于大小和模式的[S,M]。举例来说,块大小的范围可为从1到7,对应于块大小2×2、4×4、8×8、16×16、32×32、64×64和128×128。举例来说,帧内预测模式的范围可从1到40。然而,在本发明的实例中,仅界定35个模式,且因此,用0来填充其余模式,指示滤波器0或全通滤波器。上表的实例针对表中的每一条目展示来自实例组滤波器(0、1、2)的平滑滤波器。对其应用平滑滤波器1或2的帧内预测模式对应于以上表3中所界定的组合。
在一个实例中,在编码期间,视频编码器20可实施依赖于固定模式的帧内预测译码,其中视频编码器20为如由以上表所定义的块大小与帧内预测模式的每一组合选择最可能平滑滤波器。在此实例中,视频编码器20可指示依赖于固定模式的帧内预测译码,而不必编码哪一平滑滤波器用于块。在解码期间,如果指示依赖于固定模式的帧内预测译码,那么解码器(例如,视频解码器30)可基于用作表的索引的块大小与帧内预测模式信息来确定使用来自上表的信息应用哪一平滑滤波器。举例来说,使用帧内预测模式6来编码的8×8块可对应于滤波器1([3,6]),其为平滑滤波器2。滤波器1可指示从对应于最可能滤波器表的表获得所述信息。
在一些情况下,使用依赖于固定模式的帧内预测译码对于较大块大小中的一些(例如64×64和128×128)可能得不出最佳结果。在一个实例中,在块的帧内预测编码期间,视频编码器20可使用依赖于自适应模式的帧内预测译码来确定是否将平滑滤波器应用于预测样本。对于小于阈值大小(例如,64×64)的块,视频编码器20可利用上文所示的最可能滤波器表。对于大于或等于阈值的块,例如64×64块和更大的块,视频编码器20可评估将不包含滤波器的不同平滑滤波器应用于预测样本的结果,且确定哪一者得出更好结果。可基于质量度量或速率失真度量来确定结果。所述度量的速率部分可指示当前块的译码速率,且所述度量的失真部分可指示当前块中的失真的量。速率失真度量可基于速率、失真或两者的组合。
在一个实例中,应用不同平滑滤波器的评估可基于与将滤波器中的每一者应用于当前块相关联的译码速率。译码速率可与使用平滑滤波器时对应于当前块的残余数据的量成比例。残余数据的量越大,用于当前块的译码速率越高。产生较小量的残余数据且因此较好译码速率的平滑滤波器可被视为得出更好结果的滤波器。
在另一实例中,应用不同平滑滤波器的评估可基于与将滤波器中的每一者应用于当前块相关联的失真量。在一个实例中,可基于预测块与原始块之间的均方误差值来确定失真量。预测块可为使用通过应用选定平滑滤波器而获得的预测样本的结果。产生较小量的均方误差值且因此较少失真的平滑滤波器可被视为得出更好结果的滤波器。
在一个实例中,视频编码器20可将应用由上文所示的最可能滤波器表指定的滤波器与由第二最可能滤波器表(下文展示)指定的滤波器的结果进行比较,所述第二可能滤波器表以伪代码表示:
在一些实例中,可使用较多的表来指定其它滤波器。在使用最可能滤波器表和第二最可能滤波器表的简单实例中,可用第二表中的滤波器0来代替第一表中对应于非零滤波器(例如,滤波器1和2)的条目,且反之亦然。以此方式,最可能滤波器与第二最可能滤波器之间的比较是在滤波和非滤波之间。如果得出更好结果的滤波选项是最可能滤波器表中指定的选项,那么视频编码器20可什么都不需要指示,因为如果未另外指定,那么解码器假定使用最可能滤波器。如果得出更好结果的滤波选项为第二最可能滤波器表中指定的选项,那么视频编码器20可用信号通知滤波模式,以指示在解码期间应应用不同于最可能滤波器的滤波器。滤波器表可存储在与视频编码器20相关联的存储器单元(未图示)中,且在译码期间由帧内预测单元46存取。
滤波模式的信令可以若干方式进行。在一个实例中,视频编码器20可使用滤波模式旗标来用信号通知针对某一块是否使用与最可能滤波器表中所指定的滤波器不同的滤波器。在使用两个以上滤波器表的实例中,例如存在第三(或更多)最可能滤波器表,那么视频编码器20可指示第二或第三(或更多)最可能滤波器表中的哪一者用于某一块。在又一实例中,信令可基于上下文信息的组合,例如当前块的块大小、预测模式以及相邻块的滤波模式。上下文信息可用以创建VLC表或CABAC表,其对关于滤波是否曾被用于当前块的信号进行熵译码。以此方式,解码器可基于上下文信息来确定是否应对块使用滤波,且使用VLC表或CABAC信息来确定滤波模式。
在其它实例中,可利用其它技术来确定是否应用平滑滤波器。本发明的平滑滤波器技术可基于随帧内预测模式与块大小的组合而变的位速率失真度量的统计而提供帧内平滑滤波模式决策(是否滤波)。
再次参看图2B,其说明帧内预测模式与PU大小的组合,其可为用于基于经滤波与未经滤波帧内平滑模式的统计之间的比较的帧内平滑滤波的候选者。举例来说,所述统计指示垂直(模式0)和水平(模式1)预测方向为用于PU大小32×32的帧内平滑滤波的候选者,且主对角帧内预测方向(模式3、6、9)是用于PU大小32×32、16×16、8×8和4×4的帧内平滑滤波的候选者。所述统计还可指示水平与垂直帧内预测方向之间的帧内预测方向,且主对角方向为逐步变小的PU大小下的帧内平滑滤波的候选者。对于DC模式,所述统计可指示模式2(DC模式)不是用于帧内平滑滤波的候选者,而平面模式(模式34)是用于某些PU大小(例如8×8、16×16和32×32)下的帧内平滑滤波的候选者。
尽管所述统计可指示什么帧内预测模式且什么PU大小是用于帧内平滑滤波的候选者,但译码效率实验可证明图2B中所示的帧内平滑滤波候选者指派在速率失真意义上可能不是最佳的。因此,图2B的帧内平滑候选者可为用于以较高译码效率导出“子集模式”的“模板模式”。在一个实例中,通过根据帧内预测模式且根据PU大小从“模板模式”为帧内平滑滤波选择候选者来界定“子集模式”,或者无帧内平滑滤波用于对应于某一帧内预测模式的任何PU大小。下文的表4到7提供子集模式的一些实例。表4到7可通常称为滤波决策表。
在表4到7的每一者中,“1”可指示将帧内平滑滤波应用于对应的帧内预测模式和块大小。因此,特定列和行位置中的“1”指示在分别映射到所述列和行位置的帧内预测模式和块大小的情况下应用帧内平滑。在一个实例中,表4可对应于“模板模式”,且表5到7中的每一者可对应于不同的“子集模式”。在另一实例中,表7可对应于“模板模式”,且表4到6中的每一者可对应于不同的“子集模式”。“模板模式”可对应于图2B,且由表4说明,例如表4为了一般化还展示64×64PU大小。表5到7可表示“子集模式”。在本发明的一个实例中,表7可表示基于译码效率实验适合一般视频序列的“子集模式”。
Figure BDA00002997670100201
表4
表5
Figure BDA00002997670100212
表6
Figure BDA00002997670100213
表7
在预测单元41产生当前视频块(经帧间或帧内译码)的预测块或PU之后,视频编码器20通过从当前视频块减去预测块来形成残余视频块。求和器50表示执行此减法运算的组件。变换单元52可从残余块形成一个或一个以上变换单元(TU)。变换单元52对TU应用变换(例如离散余弦变换(DCT)或概念上类似的变换),从而产生包括残余变换系数的视频块。所述变换可将残余块从像素域转换到变换域,例如频域。
变换单元52可执行其它变换,例如由HM界定的那些变换,其概念上类似于DCT。也可使用小波变换、整数变换、子带变换或其它类型的变换。在任何情况下,变换单元52均将变换应用于残余块,从而产生残余变换系数块。所述变换可将残余信息从像素值域转换到变换域(例如,频域)。
变换单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位速率。量化过程可减少与一些或全部系数相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中,量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。或者,熵编码单元56可执行扫描。
在量化之后,熵译码单元56对经量化变换系数进行熵译码。举例来说,熵译码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或另一熵译码技术。在由熵译码单元56进行熵译码之后,可将经编码视频发射到另一装置(例如,视频解码器30),或存档以供以后发射或检索。
在一些情况下,视频编码器20的熵译码单元56或另一单元可经配置以执行除熵译码之外的其它译码功能。举例来说,熵译码单元56可经配置以确定宏块和分区的CBP值。并且,在一些情况下,熵译码单元56可执行对其宏块或分区中的系数的游程长度译码。明确地说,熵译码单元56可应用Z形扫描或其它扫描模式以扫描宏块或分区中的变换系数,且对零的游程进行编码以供进一步压缩。熵译码单元56还可构造标头信息,标头信息包含适当的语法元素以在经编码视频位流中发射。为了对语法元素进行熵编码,熵译码单元56可执行CABAC,且基于上下文模型将语法元素二值化为一个或一个以上二进制位。熵编码单元还可执行CAVLC,且根据基于上下文的概率将语法元素编码为码字。
根据本发明的技术,熵译码单元56可经配置以编码在帧内预测译码期间将不同于最可能滤波器的平滑滤波器应用于预测样本的指示。当针对块的滤波决策与最可能滤波器表中所指定的滤波决策相同时,视频编码器20可不将指示发送到解码器,且因此可不需要编码额外信息。当需要指示时,例如当在第二(或更多)最可能滤波器表中指定针对块的滤波决策时,视频编码器20可编码关于滤波的指示。另外,视频编码器20可对用于编码所述块的帧内预测模式进行编码。熵译码单元56可使用CABAC来编码所述指示(例如,当适用时,帧内预测模式和滤波决策)。此外,熵译码单元56可将上下文信息用于执行CABAC以编码指示当将第二(或更多)最可能滤波器应用于预测样本时用于块的帧内预测模式以及滤波信息的指示。
逆量化单元58和逆变换单元60分别应用逆量化和逆变换,以在像素域中重构残余块,以供稍后用作参考帧的参考块。运动补偿单元44可通过将残余块添加到参考帧存储装置64的帧中的一者的预测块来计算参考块。运动补偿单元44还可将一个或一个以上内插滤波器应用于经重构的残余块,以计算子整数像素值以供在运动估计中使用。求和器62将经重构残余块添加到由运动补偿单元44所产生的经运动补偿的预测块以产生经重构视频块以供存储在参考帧存储装置64中。经重构视频块可由运动估计单元42和运动补偿单元44用作参考块以对后续视频帧中的块进行帧间预测。
图5是说明对经编码视频序列进行解码的视频解码器30的实例的框图。在图5的实例中,视频解码器30包含熵解码单元70、预测单元71、逆量化单元76、逆变换单元78、参考帧存储装置82以及求和器80。预测单元71包含运动补偿单元72和帧内预测单元74。视频解码器30在一些实例中可执行一般与相对于视频编码器20(图4)所描述的编码回合互逆的解码回合。预测单元71可基于从熵解码单元70接收的信息产生预测数据。当指示帧间预测译码时,运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据。当指示帧内预测译码时,帧内预测单元74可基于所指示的帧内预测模式和来自当前帧的先前解码块的数据产生用于当前帧的当前块的预测数据。
视频解码器30可例如经由网络、广播或从物理媒体接收经编码视频位流。经编码位流可包含经熵译码的视频数据。视频解码器30的熵解码单元70对位流进行熵解码,以产生经量化系数、运动向量和预测数据。熵解码单元70将运动向量和预测数据转发到预测单元71。
根据本发明的技术,经熵译码的视频数据可包含译码当前块时所使用的帧内预测模式的经熵译码的指示。经熵译码的视频数据还可包含滤波的经熵译码的指示,从而指示平滑滤波器决策。在一个实例中,可使用滤波指示来指示最可能滤波器表未曾用于在当前块的帧内预测译码期间选择平滑滤波器。当经熵译码的视频数据不包含滤波指示时,无指示暗示最可能滤波器表曾用于在当前块的帧内预测译码期间选择平滑滤波器。经熵译码的视频数据还可包含块大小信息,当对用于经帧内预测译码的块的滤波指示进行熵解码时,熵解码单元70可将所述信息连同帧内预测模式用作上下文信息。以此方式,熵解码单元70可解码滤波指示(例如,是否应用平滑滤波器),且将所述指示发送到帧内预测单元74。
运动补偿单元72可使用在位流中接收的运动向量来识别参考帧存储装置82中的参考帧中的预测块。帧内预测单元74可使用在位流中接收的帧内预测模式来从空间上邻近的块形成预测块。逆量化单元76将提供于位流中且由熵解码单元70解码的经量化的块系数逆量化(即,去量化)。逆量化过程可包括(例如)如通过H.264解码标准界定的常规过程。逆量化过程还可包含针对每一视频块或CU使用由视频编码器20计算的量化参数QPY来确定量化程度且同样确定应应用逆量化的程度。逆变换单元78对变换系数应用逆变换(例如,逆DCT、逆整数变换,或概念上类似的逆变换过程),以便产生像素域中的残余块。
运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的经内插值。运动补偿单元72可从所接收的语法元素确定视频编码器20所使用的内插滤波器,且使用内插滤波器来产生预测块。
运动补偿单元72使用语法信息中的一些来确定用于编码经编码视频序列的帧和/或切片的LCU和CU的大小、描述经编码视频序列的帧的每一宏块如何被分割的分区信息、指示如何编码每一分区的模式、用于每一经帧间编码的CU的一个或一个以上参考帧(以及参考帧列表),以及用以解码经编码视频序列的其它信息。
帧内预测单元74还可确定在执行预测块时是否将平滑滤波器应用于预测样本。帧内预测单元74可基于块大小和对应的帧内预测模式作出关于是否应用平滑滤波器的确定。如果未用信号通知滤波指示,那么帧内预测单元74可基于用于所述块大小与帧内预测模式组合的最可能滤波器表(上文所示)中所指定的内容来确定滤波。如果用信号通知滤波指示,那么帧内预测单元74可确定滤波决策不是基于最可能滤波器表,且可基于用于所述块大小与帧内预测模式组合的第二最可能滤波器表(上文所示)中所指定的内容来确定滤波。在一个实例中,可提供一个以上额外滤波器表,例如第二、第三或更多最可能滤波器表。在此实例中,滤波指示还可指示应使用表中的哪一者来确定应用哪一平滑滤波器。滤波器表可存储在视频解码器30中的存储器单元(未图示)中。帧内预测单元74可在解码期间从存储器存取滤波器表。
求和器80对残余块与由运动补偿单元72或帧内预测单元74产生的对应预测块进行求和以形成经解码块。如果需要的话,还可应用去块滤波器来对经解码块进行滤波,以便去除成块假象。接着将经解码的视频块存储在参考帧存储装置82中,参考帧存储装置82提供用于后续运动补偿的参考块且还产生用于在显示装置(例如,图1的显示装置32)上呈现的经解码视频。
图6是说明用于根据本发明的技术对视频数据进行编码的实例方法的流程图。尽管出于实例目的相对于视频编码器20(图1和4)来描述,但应理解,图6的技术可由任何视频译码单元来执行。此外,在不脱离本发明的技术的情况下,图6中所说明的步骤可以不同次序执行,可省略某些步骤,且可添加额外步骤。
视频编码器20可接收待编码的视频数据的块(例如,CU)。当将当前块指定为将使用帧内预测译码来编码的块时,视频编码器20可确定是否将平滑滤波器应用于预测块,且如果将应用平滑滤波器,那么确定所述平滑滤波器。在一些例子中,可将平滑滤波器应用于预测样本或预测体,预测样本或预测体用于预测帧内预测译码中的同一帧中的块。在一些情况下,应用平滑滤波器提供较准确的预测,且最小化经重构所预测帧中的成块。
视频编码器20可确定是以依赖于固定模式的帧内预测译码还是依赖于自适应模式的帧内预测译码来操作(602)。在一个实例中,可基于内容或基于块大小在序列或图片层级进行所述确定。举例来说,对于较大块,可使用依赖于自适应模式的帧内预测译码,且对于较小块,可使用依赖于固定模式的帧内预测译码。因此,当使用较大块时,图片中存在较少块要编码,因此与使用较小块时相比,存在较少量的开销信息。然而,依赖于固定模式的帧内预测译码增加很少或不增加额外开销信息,而依赖于自适应模式的帧内预测译码需要额外开销信息。以此方式,选定模式可提供开销信息与性能之间的折衷。
如果视频编码器20将以依赖于固定模式的帧内预测译码操作,那么视频编码器20可基于滤波器表(例如,最可能滤波器表)(其是基于块大小与帧内预测模式组合而选择)中所指定的滤波器来确定是否应用平滑滤波器,且应用所述指定滤波器(604)。
在一个实例中,对于可用帧内预测模式(例如,由HM界定的35种模式)中的每一者,是否应用平滑滤波器取决于块大小。上表3展示对其应用平滑滤波器的块大小与帧内预测模式组合。可基于所述块大小与帧内预测模式组合产生最可能滤波器表(上文展示)。所述表的条目中的每一者可指示应对对应索引应用的滤波器,其中所述索引与块大小和帧内预测模式相关联。表中所指定的滤波器中的每一者可来自滤波器集合,其中所述滤波器集合可在流之间、帧群组之间、帧或切片之间等变化。为了简单起见,可针对无需应用平滑滤波器的条目识别全通滤波器。
如果视频编码器20将以依赖于自适应模式的帧内预测译码操作,那么视频编码器20可确定块大小是等于还是高于阈值块大小,例如64×64(606)。如果块大小小于阈值块大小,那么视频编码器20可应用由最可能滤波器表指定的滤波器,且基于块大小和帧内预测模式确定是否应用平滑滤波器(604)。如果块大小等于或大于阈值块大小,那么视频编码器20可确定应用根据最可能滤波器表的滤波器是否得出比应用根据第二最可能滤波器表的滤波器好的结果(608)。因此,视频编码器20可将来自第一表的对应滤波器应用于块、将来自第二表的对应滤波器应用于所述块,且通过将应用两个滤波器的结果彼此进行比较以确定哪一者得出更好结果来评估所述结果。
在一个实例中,对于每一块大小与帧内预测模式组合,应用根据所述表中的一者的滤波器可与完全不应用滤波器相同,或在此实例中,与应用全通滤波器相同。因此,实际上,应用根据最可能滤波器表的滤波器与应用根据第二最可能滤波器表的滤波器的比较可与比较应用滤波器或不应用滤波器的结果相同。
如果应用根据最可能滤波器表的滤波器得出更好结果,那么视频编码器20可基于与当前块相关联的块大小与帧内预测模式组合来确定并应用由最可能滤波器表指定的滤波器(604)。如果应用根据第二最可能滤波器表的滤波器得出更好结果,那么视频编码器20可基于与当前块相关联的块大小与帧内预测模式组合来确定并应用由第二最可能滤波器表指定的滤波器(610)。在一些实例中,当存在2个以上最可能滤波器表(例如,第三或更多)时,可比较应用所有可能滤波器的结果之间的比较,以确定哪一滤波器表将用于选择平滑滤波器来应用于预测样本。在一些实例中,可使用多个滤波决策表,例如上表4到7,其中可将一个表视为“模板模式”,且可将其余表视为替代性表或“子集模式”,其提供替代性滤波选项,如上文所述。
视频编码器20可接着通过将选定平滑滤波器应用于预测样本且根据与当前块相关联的帧内预测模式执行帧内预测译码来编码当前块(612)。视频编码器20还可用当前块来编码与帧内预测译码相关联的语法元素(614),例如识别帧内预测模式的一个或一个以上语法元素。可用块编码的与帧内预测译码相关联的语法元素的其它实例可为与块、PU大小、TU大小、CBP和经量化系数相关联的分区类型。如果所应用的平滑滤波器决策不是基于最可能滤波器表或“模板模式”,例如曾使用第二最可能滤波器表或其它“子集模式”作出滤波决策,那么视频编码器20还可编码指示最可能滤波器表不曾用于用信号通知所述块不是使用依赖于固定模式的帧内预测译码来编码的语法元素。举例来说,如果上表7是“模板模式”,且表4到6是“子集模式”,那么当使用“子集模式”表而不是“模板模式”表时,视频编码器可编码指示所使用的“子集模式”表的语法元素。视频编码器20可接着将经编码视频帧内的且具有语法元素的经编码视频块发射到视频解码器(616)。
图7是说明用于根据本发明的技术对视频数据进行解码的实例方法的流程图。尽管出于实例目的相对于视频解码器30(图1和5)来描述,但应理解,图7的技术可由任何视频译码单元来执行。此外,在不脱离本发明的技术的情况下,图7中所说明的步骤可以不同次序执行,可省略某些步骤,且可添加额外步骤。
视频解码器30可接收待解码的视频数据的经编码块(例如,CU)(702)。视频解码器30可解码经编码视频块和语法元素,以确定所述块是使用帧内预测译码来编码(704)。基于所述语法元素,视频解码器30还可确定所述块的帧内预测模式(706)。视频解码器30可确定语法元素是否包含滤波指示(708)。
如果不存在滤波指示,那么视频解码器30可接着使用帧内预测译码来解码所述块,且应用如由最可能滤波器表指定的平滑滤波器选项(710)。如果存在滤波指示,那么视频解码器30可接着使用帧内预测译码来解码所述块,且应用如由第二最可能滤波器表指定的平滑滤波器选项(712)。在任一情况下,不管是使用最可能滤波器表还是第二最可能滤波器表,视频解码器30均可基于与当前块相关联的块大小与帧内预测模式组合来确定滤波器。在一些实例中,多个表可界定第二(或更多)可能滤波器,或可能存在多个“子集模式”滤波器,且滤波指示可指示替代地用于最可能滤波器表或“模板模式”表的“子集模式”表。
以此方式,视频解码器30可能不需要作出关于哪些滤波选项提供更好结果的任何确定。如果编码器不用信号通知任何指示,那么视频解码器30假定曾使用最可能滤波器表或“模板模式”表,否则,任一类型的信令指示曾使用第二最可能滤波器表。在使用两个以上滤波器表(例如,第三(或更多)最可能滤波器表或“子集模式”)的一些实例中,滤波指示可识别在选择平滑滤波器时曾使用额外表中的哪一者。
如上文所论述,例如,帧内平滑滤波可用于较大PU大小,如由图2B和表4所说明。帧内平滑滤波还可用于对应于真正对角方向(即,+/-45和+/-135度)的帧内预测模式或模式3、6、9的大多数PU大小,而帧内平滑滤波不可用于垂直(模式0)和水平(模式1)方向的情况下的较小PU大小。对于对角方向分别与水平或垂直方向之间的帧内预测方向,当所述方向靠近水平或垂直方向时,帧内预测滤波可较不可能用于较小PU大小,而当所述方向靠近对角方向时,较可能用于较小PU大小,如图2B和表4中所说明。在一个实例中,根据本发明的技术的编码器和解码器可应用根据由上文所示的表7指定的“子集模式”的帧内平滑滤波。在一个实例中,对于DC模式(模式2),帧内平滑滤波可不用于任何PU大小。并且,对于平面模式(模式34),帧内平滑滤波可结合较大PU大小而利用。
编码器和解码器可应用根据从“模板模式”(表4)导出的“子集模式”的帧内平滑滤波,其针对每一PU大小与帧内预测模式组合指定是否执行帧内平滑滤波。通过根据帧内预测模式且根据PU大小从“模板模式”为帧内平滑滤波选择候选者来导出“子集模式”,或者无帧内平滑滤波用于对应于所述帧内预测模式的任何PU大小。从“模板模式”导出的“子集模式”可具有某些特性,例如针对每一帧内预测模式,至少对于PU大小中的一者不应用帧内平滑滤波,因此编码器具有在无帧内平滑的情况下执行帧内预测的选项。“子集模式”还可具有某些特性,例如针对每一帧内预测模式,如果在某一PU的大小下不应用帧内平滑滤波,那么可在针对所述帧内预测模式的任何较小PU大小下不应用帧内平滑滤波。
用于每一帧内预测模式与PU大小组合的预测样本的计算可经受舍入规则,例如向下舍入、向上舍入或舍入到最近整数。可以确定性方式基于预测样本位置,例如基于帧内预测模式和PU大小来在编码器和解码器中修改舍入规则,例如使预测样本与不同舍入规则交错,以便增加译码效率。在用于帧内预测的参考样本的帧内平滑滤波的实例中,可以确定性方式(例如基于帧内预测模式和PU大小)针对某些参考样本位置(例如,左上角参考样本或其它参考样本位置)跳过帧内平滑滤波。
在一个实例中,编码器和/或解码器可存储“子集模式”作为查找表(LUT),且存取此LUT以确定是否对与当前块相关联的PU大小与帧内预测模式组合应用帧内平滑滤波。在另一实例中,编码器和/或解码器可通过用于确定是否对以下输入应用帧内平滑滤波的一组条件来表示“子集模式”:PU大小和帧内预测模式。在另一实例中,编码器和/或解码器可通过计算是否对以下输入应用帧内平滑滤波的一个或一个以上数学等式来表示“子集模式”:PU大小和帧内预测模式。在另一实例中,编码器和/或解码器可通过LUT、条件组和/或数学等式组的组合来表示“子集模式”。
在一个实例中,“模板模式”(例如,表4)或“子集模式”(例如表5到7)可经扩展以包含可能用于每一PU大小与帧内预测模式组合的多种帧内平滑滤波器类型。举例来说,对于其中应用帧内平滑滤波的每一组合,表中的数目可指示要使用的滤波器的类型。在一个实例中,两个帧内平滑滤波器可由“1”和“2”来界定和表示。表中对应于某一行/列位置的条目可能不具有条目,即不应用滤波器,或具有“1”或“2”以指示应用帧内平滑滤波且使用帧内平滑滤波器,即滤波器“1”或滤波器“2”。
在一些实例中,HEVC可支持短距离帧内预测(SDIP)PU,其可具有根据译码单元(CU)的各种矩形大小。在一个实例中,本发明的技术可适用于正方形和矩形PU,例如短距离帧内预测(SDIP)中所使用的PU。下表8说明根据SDIP的CU大小的矩形PU大小(以像素计)的实例。
CU的大小 可能的PU大小
CU32×32 8×32、32×8
CU16×16 4×16、16×4、1×16、16×1
CU8×8 2×8、8×2
表8
除上文所论述的技术之外,本发明的技术可包含改进MDIS对矩形SDIP分区的应用的技术。举例来说,应用帧内平滑滤波可取决于矩形SDIP分区的宽度和/或高度。可使用确定SDIP分区的尺寸的技术或尺寸确定规则来确定分区的尺寸。举例来说,此些用于确定SDIP分区的尺寸的技术可包含确定分区的最小或最大尺寸,基于与所述分区相关联的其它已知变量来计算分区的尺寸的数学等式,或可应用于SDIP分区的宽度和高度以确定分区的尺寸的条件检查。在一个实例中,可使用分区的所得所确定尺寸来确定是否应用帧内平滑滤波,例如使用上文所述的滤波决策表中的一者。举例来说,所述技术可利用所述尺寸来确定是否滤波。如果在一个说明性实例中,最小尺寸为8个像素,那么可基于与32×32个块相关联的表条目以及与当前正处理的分区相关联的帧内预测模式来确定滤波决策。
在一个实例中,应用帧内平滑滤波可基于与SDIP分区相关联的帧内预测方向,且/或基于SDIP分区的宽度和/或高度。举例来说,当选择垂直预测方向时,可在上文所述的滤波决策表中的一者中使用所述分区的高度,且在水平方向的情况下,可在上文所述的滤波决策表中的一者中使用宽度。在另一实例中,可分别考虑水平、垂直和对角方向以确定待使用的尺寸。
在一个实例中,当将平面模式用于SDIP分区时,可利用如上文所述的尺寸确定技术来确定SDIP分区的尺寸。所确定的尺寸可用于例如通过存取上文所述的滤波决策表中的一者来确定是否应用帧内平滑滤波。
图8是说明用于根据本发明的技术对视频数据进行编码的另一实例方法的流程图。尽管出于实例目的相对于视频编码器20来描述,但应理解,图8的技术可由任何视频译码单元来执行。此外,在不脱离本发明的技术的情况下,图8中所说明的步骤可以不同次序执行,可省略某些步骤,且可添加额外步骤。
视频编码器20可接收待编码的视频数据的块(例如,CU)。当将当前块指定为待使用帧内预测译码来编码的当前块时,视频编码器20可确定当前块大小以及帧内预测模式以编码所述当前块(802)。如上文所论述,视频编码器可接着基于块大小和帧内预测模式使用滤波器表(例如,上表7)来确定和应用平滑滤波器。
视频编码器20可接着通过将选定平滑滤波器应用于预测样本且根据与当前块相关联的帧内预测模式执行帧内预测译码来编码当前块(612)。视频编码器20还可编码与对当前块的帧内预测译码相关联的语法元素(614),例如识别帧内预测模式的一个或一个以上语法元素。可用块编码的与帧内预测译码相关联的语法元素的其它实例可为与块、PU大小、TU大小、CBP和经量化系数相关联的分区类型。视频编码器20可接着将经编码视频帧内的且具有语法元素的经编码视频块发射到视频解码器(616)。
图9是说明用于根据本发明的技术对视频数据进行解码的另一实例方法的流程图。尽管出于实例目的相对于视频解码器30来描述,但应理解,图9的技术可由任何视频译码单元来执行。此外,在不脱离本发明的技术的情况下,图9中所说明的步骤可以不同次序执行,可省略某些步骤,且可添加额外步骤。
视频解码器30可接收待解码的视频数据的经编码块(例如,CU)(902)。视频解码器30可解码经编码视频块和语法元素,以确定所述块是使用帧内预测译码来编码(904)。基于所述语法元素,视频解码器30还可确定所述块的帧内预测模式(906)。视频解码器30可接着使用帧内预测译码来解码所述块,且基于块大小和帧内预测模式应用从编码期间所使用的同一滤波表(例如表7)选择的平滑滤波器(908)。以此方式,视频解码器30可除了从滤波器表选择滤波器之外不需要作出关于滤波选项的任何确定。
在一个或一个以上实例中,所描述的功能可以硬件、软件、固件或其任何组合来实施。如果实施于软件中,那么所述功能可作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体而传输,且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体,其对应于例如数据存储媒体等有形媒体,或包含例如根据通信协议促进计算机程序从一处到另一处的传送的任何媒体的通信媒体。以此方式,计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体,或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上处理器存取以检索指令、代码和/或数据结构以供实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
举例来说(而非限制),所述计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置,或其它磁性存储装置,快闪存储器,或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样,可恰当地将任何连接称作计算机可读媒体。举例来说,如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令,那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电及微波等无线技术包含于媒体的定义中。然而,应理解,计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它瞬态媒体,而是针对非瞬态有形存储媒体。如本文中所使用,磁盘及光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘使用激光以光学方式再现数据。以上各者的组合也应包含在计算机可读媒体的范围内。
指令可由一个或一个以上处理器执行,所述一个或一个以上处理器例如为一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA),或其它等效集成或离散逻辑电路。因此,如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外,在一些方面中,本文所述的功能性可提供于经配置以用于编码和解码的专用硬件和/或软件模块内,或并入在组合式编解码器中。并且,可将所述技术完全实施于一个或一个以上电路或逻辑元件中。
本发明的技术可在各种各样的装置或设备中实施,包含无线手持机、集成电路(IC)或一组IC(例如,芯片组)。本发明中描述各种组件、模块或单元,以强调经配置以执行所揭示技术的装置的功能方面,但不一定要求由不同硬件单元来实现。而是,如上文所述,各种单元可组合在编解码器硬件单元中,或由互操作硬件单元的集合(包含如上文所述的一个或一个以上处理器)结合合适的软件和/或固件而提供。

Claims (47)

1.一种对视频数据进行译码的方法,所述方法包括:
确定与当前视频数据块相关联的块大小;
确定与所述当前块相关联的帧内预测译码模式;
基于所述块大小和所述译码模式从滤波器表选择滤波器以应用于所述当前块;以及
使用所述选定滤波器来对所述当前块进行帧内预测译码。
2.根据权利要求1所述的方法,其中选择所述滤波器包括从第一滤波器表选择对应于所述块大小和所述译码模式的滤波器。
3.根据权利要求1所述的方法,其中选择所述滤波器包括:
当所述块大小小于阈值块大小时,从第一滤波器表选择对应于所述块大小和所述译码模式的滤波器;以及
当所述块大小等于或大于阈值块大小时,确定是从所述第一滤波器表还是第二滤波器表选择对应于所述块大小和所述译码模式的滤波器。
4.根据权利要求3所述的方法,其中确定是从所述第一滤波器表还是所述第二滤波器表选择滤波器包括:
将来自所述第一滤波器表的所述滤波器应用于所述当前块;
将来自所述第二滤波器表的所述滤波器应用于所述当前块;
对来自所述第一滤波器表的所述滤波器的所述应用的第一结果和来自所述第二滤波器表的所述滤波器的所述应用的第二结果进行评估,以确定哪一者得出更好结果;以及
基于所述确定从所述第一滤波器表或所述第二滤波器表选择所述滤波器。
5.根据权利要求4所述的方法,其进一步包括在所述选定滤波器是选自所述第二滤波器表时对滤波指示进行编码。
6.根据权利要求1所述的方法,其中对所述当前块进行译码包括对所述当前块进行解码,其中所述当前块包括使用帧内预测译码来编码的视频数据块,所述方法进一步包括:
确定所述经编码当前块是否包含滤波指示,
其中选择所述滤波器包括在所述经编码当前块不包含滤波指示时,从第一滤波器表选择对应于所述块大小和所述译码模式的滤波器,且其中选择所述滤波器包括在所述经编码当前块包含滤波指示时,从第二滤波器表选择对应于所述块大小和所述译码模式的滤波器。
7.根据权利要求1所述的方法,其中所述滤波器表包括对应于块大小与译码模式的不同组合的条目,且其中所述条目中的每一者包括选自一组滤波器的滤波器。
8.根据权利要求7所述的方法,其中所述组滤波器包括至少两个滤波器,且其中所述滤波器中的一者包括全通滤波器。
9.根据权利要求1所述的方法,其进一步包括:
使用滤波决策表基于所述块大小和所述译码模式确定是否将滤波应用于所述当前块;以及
如果将把滤波应用于所述当前块,那么从所述滤波器表选择所述滤波器。
10.根据权利要求1所述的方法,其中所述当前块包括根据短距离帧内预测SDIP译码的预测单元。
11.根据权利要求10所述的方法,其进一步包括:
确定与所述当前块相关联的尺寸;以及
使用一组尺寸确定规则基于所述尺寸确定所述块大小。
12.一种用于对视频数据进行译码的设备,所述设备包括:
处理器,其经配置以确定与当前视频数据块相关联的块大小,确定与所述当前块相关联的帧内预测译码模式,基于所述块大小和所述译码模式从滤波器表选择滤波器以应用于所述当前块,且使用所述选定滤波器来对所述当前块进行帧内预测译码。
13.根据权利要求12所述的设备,其中为了选择所述滤波器,所述处理器经配置以从第一滤波器表选择对应于所述块大小和所述编码模式的滤波器。
14.根据权利要求12所述的设备,其中为了选择所述滤波器,所述处理器进一步经配置以:
当所述块大小小于阈值块大小时,从第一滤波器表选择对应于所述块大小和所述译码模式的滤波器;以及
当所述块大小等于或大于阈值块大小时,确定是从所述第一滤波器表还是第二滤波器表选择对应于所述块大小和所述译码模式的滤波器。
15.根据权利要求14所述的设备,其中为了确定是从所述第一滤波器表还是所述第二滤波器表选择滤波器,所述处理器进一步经配置以:
将来自所述第一滤波器表的所述滤波器应用于所述当前块;
将来自所述第二滤波器表的所述滤波器应用于所述当前块;
对来自所述第一滤波器表的所述滤波器的所述应用的第一结果和来自所述第二滤波器表的所述滤波器的所述应用的第二结果进行评估,以确定哪一者得出更好结果;以及
基于所述确定从所述第一滤波器表或所述第二滤波器表选择所述滤波器。
16.根据权利要求15所述的设备,其中所述处理器进一步经配置以在所述选定滤波器是选自所述第二滤波器表时对滤波指示进行编码。
17.根据权利要求14所述的设备,其进一步包括存储器,所述存储器经配置以存储所述第一滤波器表和所述第二滤波器表。
18.根据权利要求12所述的设备,其中所述设备包括视频解码器,其中所述当前块包括使用帧内预测译码编码的视频数据块,所述处理器进一步经配置以:
确定所述经编码当前块是否包含滤波指示,
其中为了选择所述滤波器,所述处理器进一步经配置以在所述经编码当前块不包含滤波指示时,从第一滤波器表选择对应于所述块大小和所述译码模式的滤波器,且其中为了选择所述滤波器,所述处理器进一步经配置以在所述经编码当前块包含滤波指示时,从第二滤波器表选择对应于所述块大小和所述译码模式的滤波器。
19.根据权利要求12所述的设备,其中所述滤波器表包括对应于块大小与译码模式的不同组合的条目,且其中所述条目中的每一者包括选自一组滤波器的滤波器。
20.根据权利要求19所述的设备,其中所述组滤波器包括至少两个滤波器,且其中所述滤波器中的一者包括全通滤波器。
21.根据权利要求12所述的设备,其中所述处理器进一步经配置以:
使用滤波决策表基于所述块大小和所述译码模式确定是否将滤波应用于所述当前块;以及
如果将把滤波应用于所述当前块,那么从所述滤波器表选择所述滤波器。
22.根据权利要求12所述的设备,其中所述当前块包括根据短距离帧内预测SDIP译码的预测单元。
23.根据权利要求22所述的设备,其中所述处理器进一步经配置以:
确定与所述当前块相关联的尺寸;以及
使用一组尺寸确定规则基于所述尺寸确定所述块大小。
24.一种用于对视频数据进行编码的设备,所述设备包括:
用于确定与当前视频数据块相关联的块大小的装置;
用于确定与所述当前块相关联的帧内预测译码模式的装置;
用于基于所述块大小和所述译码模式从滤波器表选择滤波器以应用于所述当前块的装置;以及
用于使用所述选定滤波器来对所述当前块进行帧内预测译码的装置。
25.根据权利要求24所述的设备,其中所述用于选择所述滤波器的装置包括用于从第一滤波器表选择对应于所述块大小和所述译码模式的滤波器的装置。
26.根据权利要求24所述的设备,其中所述用于选择所述滤波器的装置包括:
用于在所述块大小小于阈值块大小时从第一滤波器表选择对应于所述块大小和所述译码模式的滤波器的装置;以及
用于在所述块大小等于或大于阈值块大小时确定是从所述第一滤波器表还是第二滤波器表选择对应于所述块大小和所述译码模式的滤波器的装置。
27.根据权利要求24所述的设备,其中所述用于选择所述滤波器的装置包括:
用于在所述块大小小于阈值块大小时从第一滤波器表选择对应于所述块大小和所述译码模式的滤波器的装置;以及
用于在所述块大小等于或大于阈值块大小时确定是从所述第一滤波器表还是第二滤波器表选择对应于所述块大小和所述译码模式的滤波器的装置。
28.根据权利要求27所述的设备,其中所述用于确定是从所述第一滤波器表还是所述第二滤波器表选择滤波器的装置包括:
用于将来自所述第一滤波器表的所述滤波器应用于所述当前块的装置;
用于将来自所述第二滤波器表的所述滤波器应用于所述当前块的装置;
用于对来自所述第一滤波器表的所述滤波器的所述应用的第一结果和来自所述第二滤波器表的所述滤波器的所述应用的第二结果进行评估以确定哪一者得出更好结果的装置;以及
用于基于所述确定从所述第一滤波器表或所述第二滤波器表选择所述滤波器的装置。
29.根据权利要求28所述的设备,其进一步包括用于在所述选定滤波器是选自所述第二滤波器表时对滤波指示进行编码的装置。
30.根据权利要求27所述的设备,其进一步包括用于存储所述第一滤波器表和所述第二滤波器表的装置。
31.根据权利要求24所述的设备,其中所述设备包括视频解码器,其中所述当前块包括使用帧内预测译码编码的视频数据块,所述设备进一步包括:
用于确定所述经编码当前块是否包含滤波指示的装置,
其中所述用于选择所述滤波器的装置包括用于在所述经编码当前块不包含滤波指示时从第一滤波器表选择对应于所述块大小和所述译码模式的滤波器的装置,且其中所述用于选择所述滤波器所述处理器的装置包括用于在所述经编码当前块包含滤波指示时从第二滤波器表选择对应于所述块大小和所述译码模式的滤波器的装置。
32.根据权利要求24所述的设备,其中所述滤波器表包括对应于块大小与译码模式的不同组合的条目,且其中所述条目中的每一者包括选自一组滤波器的滤波器。
33.根据权利要求32所述的设备,其中所述组滤波器包括至少两个滤波器,且其中所述滤波器中的一者包括全通滤波器。
34.根据权利要求24所述的设备,其进一步包括:
用于使用滤波决策表基于所述块大小和所述译码模式确定是否将滤波应用于所述当前块的装置;以及
用于在将把滤波应用于所述当前块的情况下从所述滤波器表选择所述滤波器的装置。
35.根据权利要求24所述的设备,其中所述当前块包括根据短距离帧内预测SDIP译码的预测单元。
36.根据权利要求35所述的设备,其进一步包括:
用于确定与所述当前块相关联的尺寸的装置;以及
用于使用一组尺寸确定规则基于所述尺寸确定所述块大小的装置。
37.一种计算机可读存储媒体,其包括用于对视频数据进行译码的指令,所述指令在于处理器中执行后即刻致使所述处理器:
确定与当前视频数据块相关联的块大小;
确定与所述当前块相关联的帧内预测译码模式;
基于所述块大小和所述译码模式从滤波器表选择滤波器以应用于所述当前块;以及
使用所述选定滤波器来对所述当前块进行帧内预测译码。
38.根据权利要求37所述的计算机可读存储媒体,其中所述致使所述处理器选择所述滤波器的指令包括致使所述处理器从第一滤波器表选择对应于所述块大小和所述译码模式的滤波器的指令。
39.根据权利要求37所述的计算机可读存储媒体,其中所述致使所述处理器选择所述滤波器的指令包括致使所述处理器进行以下操作的指令:
当所述块大小小于阈值块大小时,从第一滤波器表选择对应于所述块大小和所述译码模式的滤波器;以及
当所述块大小等于或大于阈值块大小时,确定是从所述第一滤波器表还是第二滤波器表选择对应于所述块大小和所述译码模式的滤波器。
40.根据权利要求39所述的计算机可读存储媒体,其中所述致使所述处理器确定是从所述第一滤波器表还是所述第二滤波器表选择滤波器的指令包括致使所述处理器进行以下操作的指令:
将来自所述第一滤波器表的所述滤波器应用于所述当前块;
将来自所述第二滤波器表的所述滤波器应用于所述当前块;
对来自所述第一滤波器表的所述滤波器的所述应用的第一结果和来自所述第二滤波器表的所述滤波器的所述应用的第二结果进行评估,以确定哪一者得出更好结果;以及
基于所述确定从所述第一滤波器表或所述第二滤波器表选择所述滤波器。
41.根据权利要求40所述的计算机可读存储媒体,其进一步包括致使所述处理器在所述选定滤波器是选自所述第二滤波器表时对滤波指示进行编码的指令。
42.根据权利要求37所述的计算机可读存储装置,其中所述指令致使所述处理器对所述当前块进行解码,其中所述当前块包括使用帧内预测译码编码的视频数据块,所述计算机可读存储装置进一步包括致使所述处理器进行以下操作的指令:
确定所述经编码当前块是否包含滤波指示,
其中所述用以选择所述滤波器的指令包括用以在所述经编码当前块不包含滤波指示时从第一滤波器表选择对应于所述块大小和所述译码模式的滤波器的指令,且其中用以选择所述滤波器的指令包括用以在所述经编码当前块包含滤波指示时从第二滤波器表选择对应于所述块大小和所述译码模式的滤波器的指令。
43.根据权利要求37所述的计算机可读存储媒体,其中所述滤波器表包括对应于块大小与译码模式的不同组合的条目,且其中所述条目中的每一者包括选自一组滤波器的滤波器。
44.根据权利要求43所述的计算机可读存储媒体,其中所述组滤波器包括至少两个滤波器,且其中所述滤波器中的一者包括全通滤波器。
45.根据权利要求37所述的计算机可读存储媒体,其进一步包括致使所述处理器进行以下操作的指令:
使用滤波决策表基于所述块大小和所述译码模式确定是否将滤波应用于所述当前块;以及
如果将把滤波应用于所述当前块,那么从所述滤波器表选择所述滤波器。
46.根据权利要求37所述的计算机可读存储媒体,其中所述当前块包括根据短距离帧内预测SDIP译码的预测单元。
47.根据权利要求46所述的计算机可读存储媒体,其进一步包括致使所述处理器进行以下操作的指令:
确定与所述当前块相关联的尺寸;以及
使用一组尺寸确定规则基于所述尺寸确定所述块大小。
CN201180047756.6A 2010-10-01 2011-09-30 用于视频译码的帧内平滑滤波器 Active CN103141100B (zh)

Applications Claiming Priority (17)

Application Number Priority Date Filing Date Title
US38917310P 2010-10-01 2010-10-01
US61/389,173 2010-10-01
US40604610P 2010-10-22 2010-10-22
US61/406,046 2010-10-22
US201061426388P 2010-12-22 2010-12-22
US61/426,388 2010-12-22
US201061426964P 2010-12-23 2010-12-23
US61/426,964 2010-12-23
US201161492335P 2011-06-01 2011-06-01
US61/492,335 2011-06-01
US201161499579P 2011-06-21 2011-06-21
US61/499,579 2011-06-21
US201161500095P 2011-06-22 2011-06-22
US61/500,095 2011-06-22
US13/248,968 US9008175B2 (en) 2010-10-01 2011-09-29 Intra smoothing filter for video coding
US13/248,968 2011-09-29
PCT/US2011/054130 WO2012044886A1 (en) 2010-10-01 2011-09-30 Intra smoothing filter for video coding

Publications (2)

Publication Number Publication Date
CN103141100A true CN103141100A (zh) 2013-06-05
CN103141100B CN103141100B (zh) 2016-08-24

Family

ID=45889817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180047756.6A Active CN103141100B (zh) 2010-10-01 2011-09-30 用于视频译码的帧内平滑滤波器

Country Status (19)

Country Link
US (1) US9008175B2 (zh)
EP (1) EP2622858B1 (zh)
JP (1) JP5587508B2 (zh)
KR (2) KR101626734B1 (zh)
CN (1) CN103141100B (zh)
AU (1) AU2011308653B2 (zh)
BR (1) BR112013007563B1 (zh)
CA (1) CA2812307C (zh)
DK (1) DK2622858T3 (zh)
ES (1) ES2656494T3 (zh)
HK (1) HK1182249A1 (zh)
HU (1) HUE035458T2 (zh)
IL (1) IL225331A (zh)
PL (1) PL2622858T3 (zh)
PT (1) PT2622858T (zh)
RU (1) RU2543552C2 (zh)
SG (1) SG189036A1 (zh)
SI (1) SI2622858T1 (zh)
WO (1) WO2012044886A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107736023A (zh) * 2015-06-18 2018-02-23 高通股份有限公司 帧内预测及帧内模式译码
CN108028923A (zh) * 2015-09-10 2018-05-11 Lg电子株式会社 视频编码系统中的帧内预测方法和设备
WO2018174657A1 (ko) * 2017-03-23 2018-09-27 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
CN109716771A (zh) * 2016-09-15 2019-05-03 高通股份有限公司 用于视频译码的线性模型色度帧内预测
CN110870316A (zh) * 2017-05-31 2020-03-06 交互数字Vc控股公司 视频编码和解码中低复杂度双向帧内预测的方法和装置
CN112352434A (zh) * 2018-07-11 2021-02-09 华为技术有限公司 用于帧内预测的基于宽高比滤波的方法和装置
CN112913234A (zh) * 2018-10-25 2021-06-04 高通股份有限公司 广角帧内预测平滑与插值
CN113170114A (zh) * 2018-09-13 2021-07-23 弗劳恩霍夫应用研究促进协会 仿射线性加权帧内预测
WO2021244197A1 (zh) * 2020-06-05 2021-12-09 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
CN113965764A (zh) * 2020-07-21 2022-01-21 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
CN114424541A (zh) * 2019-08-16 2022-04-29 苹果公司 使用查找表的自适应双边滤波

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110113561A (ko) * 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
JP5544996B2 (ja) * 2010-04-09 2014-07-09 ソニー株式会社 画像処理装置および方法
KR20110123651A (ko) * 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
KR101663764B1 (ko) * 2010-08-26 2016-10-07 에스케이 텔레콤주식회사 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
KR101912307B1 (ko) * 2010-12-08 2018-10-26 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
US10142630B2 (en) * 2010-12-10 2018-11-27 Texas Instruments Incorporated Mode adaptive intra prediction smoothing in video coding
KR101824241B1 (ko) * 2011-01-11 2018-03-14 에스케이 텔레콤주식회사 인트라 부가정보 부호화/복호화 장치 및 방법
US20130336398A1 (en) 2011-03-10 2013-12-19 Electronics And Telecommunications Research Institute Method and device for intra-prediction
WO2012121575A2 (ko) 2011-03-10 2012-09-13 한국전자통신연구원 인트라 예측 방법 및 그 장치
US9008180B2 (en) * 2011-04-21 2015-04-14 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding images using a prediction method adopting in-loop filtering
US9602839B2 (en) * 2011-06-15 2017-03-21 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
CN108391137B (zh) * 2011-06-15 2022-07-19 韩国电子通信研究院 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
KR20120140181A (ko) 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
WO2013039692A1 (en) * 2011-09-16 2013-03-21 Mediatek Singapore Pte. Ltd. Method and apparatus for prediction mode and partition mode syntax coding for coding units in hevc
US9161060B2 (en) * 2011-09-30 2015-10-13 Broadcom Corporation Multi-mode error concealment, recovery and resilience coding
EP2582134A1 (en) * 2011-10-12 2013-04-17 Thomson Licensing Saliency value determination of predictively encoded video streams
RU2715382C2 (ru) * 2011-10-18 2020-02-27 Кт Корпорейшен Способ декодирования видеосигнала
US10645398B2 (en) 2011-10-25 2020-05-05 Texas Instruments Incorporated Sample-based angular intra-prediction in video coding
EP2774360B1 (en) * 2011-11-04 2017-08-02 Huawei Technologies Co., Ltd. Differential pulse code modulation intra prediction for high efficiency video coding
CN110234012B (zh) * 2012-01-17 2021-12-31 华为技术有限公司 用于高性能视频编码中的无损编码模式的环内滤波的装置
US9807385B2 (en) * 2012-01-19 2017-10-31 Futurewei Technologies, Inc. Simplification of mode dependent intra smoothing
US9924169B2 (en) * 2012-03-06 2018-03-20 Lg Electronics Inc. Method and apparatus for selecting a filter based on a variance of depth data
US9544612B2 (en) * 2012-10-04 2017-01-10 Intel Corporation Prediction parameter inheritance for 3D video coding
US10440377B2 (en) * 2012-10-11 2019-10-08 Intel Corporation Motion estimation for video processing
JP2014131162A (ja) * 2012-12-28 2014-07-10 Nippon Telegr & Teleph Corp <Ntt> イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
US20140192862A1 (en) * 2013-01-07 2014-07-10 Research In Motion Limited Methods and systems for prediction filtering in video coding
US9426473B2 (en) * 2013-02-01 2016-08-23 Qualcomm Incorporated Mode decision simplification for intra prediction
US9615086B2 (en) 2013-02-06 2017-04-04 Research & Business Foundation Sungkyunkwan University Method and apparatus for intra prediction
KR101468078B1 (ko) * 2013-02-06 2014-12-08 성균관대학교산학협력단 화면 내 예측 방법 및 장치
US9491460B2 (en) * 2013-03-29 2016-11-08 Qualcomm Incorporated Bandwidth reduction for video coding prediction
KR102366842B1 (ko) 2013-04-08 2022-02-24 돌비 인터네셔널 에이비 Lut를 인코딩하는 방법, lut를 디코딩하는 방법 및 대응하는 장치들
EP3078194B1 (en) * 2014-01-02 2019-09-11 HFI Innovation Inc. Method and apparatus for intra prediction coding with boundary filtering control
JP6528765B2 (ja) * 2014-03-28 2019-06-12 ソニー株式会社 画像復号装置および方法
WO2015178796A1 (en) 2014-05-23 2015-11-26 Huawei Technologies Co., Ltd. Method and apparatus for pre-prediction filtering for use in block-prediction techniques
US20160105685A1 (en) * 2014-10-08 2016-04-14 Qualcomm Incorporated Boundary filtering and cross-component prediction in video coding
US10148953B2 (en) * 2014-11-10 2018-12-04 Samsung Electronics Co., Ltd. System and method for intra prediction in video coding
US10841593B2 (en) 2015-06-18 2020-11-17 Qualcomm Incorporated Intra prediction and intra mode coding
US10136131B2 (en) * 2015-09-11 2018-11-20 Beamr Imaging Ltd. Video coding apparatus and method
JP6700391B2 (ja) 2015-11-17 2020-05-27 華為技術有限公司Huawei Technologies Co.,Ltd. ビデオ符号化のためのサンプルの適応フィルタリングの方法および装置
CN117354536A (zh) * 2016-02-25 2024-01-05 株式会社Kt 用于处理视频信号的方法和设备
CN110024405B (zh) * 2016-09-30 2023-10-10 罗斯德尔动力有限责任公司 图像处理方法及其装置
EP3545680A1 (en) 2016-12-15 2019-10-02 Huawei Technologies Co., Ltd. Intra sharpening and/or de-ringing filter for video coding
CN110063059B (zh) 2016-12-15 2022-05-13 华为技术有限公司 视频编解码方法、相关编解码器和计算机可读存储介质
US10225578B2 (en) 2017-05-09 2019-03-05 Google Llc Intra-prediction edge filtering
US10992939B2 (en) * 2017-10-23 2021-04-27 Google Llc Directional intra-prediction coding
JP6904156B2 (ja) * 2017-08-10 2021-07-14 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
EP3454556A1 (en) * 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
EP3496401A1 (en) * 2017-12-05 2019-06-12 Thomson Licensing Method and apparatus for video encoding and decoding based on block shape
US11277644B2 (en) * 2018-07-02 2022-03-15 Qualcomm Incorporated Combining mode dependent intra smoothing (MDIS) with intra interpolation filter switching
US10567752B2 (en) * 2018-07-02 2020-02-18 Tencent America LLC Method and apparatus for intra prediction for non-square blocks in video compression
US10630979B2 (en) * 2018-07-16 2020-04-21 Tencent America LLC Reference sample padding and filtering for intra prediction in video compression
US10834393B2 (en) * 2018-09-10 2020-11-10 Tencent America LLC Intra interpolation filter for multi-line intra prediction
WO2020085955A1 (en) * 2018-10-26 2020-04-30 Huawei Technologies Co., Ltd. Method and apparatus for reference sample filtering
CN113261281A (zh) * 2019-01-02 2021-08-13 北京字节跳动网络技术有限公司 交织预测的使用
CN113454999A (zh) 2019-01-02 2021-09-28 北京字节跳动网络技术有限公司 划分模式之间的运动矢量推导
US10778972B1 (en) 2019-02-27 2020-09-15 Google Llc Adaptive filter intra prediction modes in image/video compression
EP3949394A4 (en) 2019-05-02 2022-09-21 Beijing Bytedance Network Technology Co., Ltd. INTRA VIDEO CODING USING MULTIPLE REFERENCE FILTERS
US11445174B2 (en) * 2019-05-06 2022-09-13 Tencent America LLC Method and apparatus for video coding
CN113812152B (zh) * 2019-05-14 2023-10-03 北京字节跳动网络技术有限公司 帧内视频编解码的滤波器选择
US11297316B2 (en) * 2019-12-24 2022-04-05 Tencent America LLC Method and system for adaptive cross-component filtering

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1596546A (zh) * 2001-11-30 2005-03-16 罗伯特-博希股份公司 对图像块进行定向序报的方法
EP1677544A1 (en) * 2004-12-13 2006-07-05 Samsung Electronics Co., Ltd. Apparatus and method for spatially predicting image data, apparatus and method for encoding image data, apparatus and method for compensating for spatial prediction of image data, and apparatus and method for decoding image data
EP1720358A2 (en) * 2005-04-11 2006-11-08 Sharp Kabushiki Kaisha Method and apparatus for adaptive up-sampling for spatially scalable coding
US20100135389A1 (en) * 2007-06-26 2010-06-03 Akiyuki Tanizawa Method and apparatus for image encoding and image decoding

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4120301B2 (ja) 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
CN100452668C (zh) 2002-07-09 2009-01-14 诺基亚有限公司 用于在视频编码中选择插值滤波器类型的方法和系统
US6795584B2 (en) * 2002-10-03 2004-09-21 Nokia Corporation Context-based adaptive variable length coding for adaptive block transforms
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
MXPA05007449A (es) 2003-01-10 2005-09-12 Thomson Licensing Sa Definicion de filtros de interpolacion para ocultamiento de error en una imagen codificada.
JP2006157481A (ja) 2004-11-30 2006-06-15 Canon Inc 画像符号化装置及びその方法
JP2006229411A (ja) 2005-02-16 2006-08-31 Matsushita Electric Ind Co Ltd 画像復号化装置及び画像復号化方法
EP1971154A4 (en) * 2006-01-05 2010-10-27 Nippon Telegraph & Telephone VIDEO CODING METHOD AND DECODING METHOD, DEVICE THEREFOR, DEVICE THEREFOR AND STORAGE MEDIUM WITH THE PROGRAM
CN101836455B (zh) 2007-09-02 2012-06-20 Lg电子株式会社 用于处理视频信号的方法和装置
JP2010081368A (ja) 2008-09-26 2010-04-08 Toshiba Corp 画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法
KR101590500B1 (ko) * 2008-10-23 2016-02-01 에스케이텔레콤 주식회사 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
EP2559239A2 (en) 2010-04-13 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for intra predicting a block, apparatus for reconstructing a block of a picture, apparatus for reconstructing a block of a picture by intra prediction
CN106454356B (zh) 2010-06-17 2019-11-08 夏普株式会社 解码装置及编码装置
KR101835460B1 (ko) 2010-07-14 2018-03-08 가부시키가이샤 엔.티.티.도코모 비디오 코딩을 위한 저 복잡성 인트라 예측
KR20120012385A (ko) 2010-07-31 2012-02-09 오수미 인트라 예측 부호화 장치
PL3125553T3 (pl) 2010-08-17 2018-09-28 M&K Holdings Inc. Sposób kodowania trybu intra-predykcji
CN108737843B (zh) * 2010-09-27 2022-12-27 Lg 电子株式会社 用于分割块的方法和解码设备
JP2012138884A (ja) 2010-12-10 2012-07-19 Sony Corp 符号化装置および符号化方法、並びに復号装置および復号方法
KR101643121B1 (ko) 2011-01-12 2016-07-26 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1596546A (zh) * 2001-11-30 2005-03-16 罗伯特-博希股份公司 对图像块进行定向序报的方法
EP1677544A1 (en) * 2004-12-13 2006-07-05 Samsung Electronics Co., Ltd. Apparatus and method for spatially predicting image data, apparatus and method for encoding image data, apparatus and method for compensating for spatial prediction of image data, and apparatus and method for decoding image data
EP1720358A2 (en) * 2005-04-11 2006-11-08 Sharp Kabushiki Kaisha Method and apparatus for adaptive up-sampling for spatially scalable coding
US20060268991A1 (en) * 2005-04-11 2006-11-30 Segall Christopher A Method and apparatus for adaptive up-scaling for spatially scalable coding
US20100135389A1 (en) * 2007-06-26 2010-06-03 Akiyuki Tanizawa Method and apparatus for image encoding and image decoding

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107736023B (zh) * 2015-06-18 2020-03-20 高通股份有限公司 帧内预测及帧内模式译码
CN107736023A (zh) * 2015-06-18 2018-02-23 高通股份有限公司 帧内预测及帧内模式译码
CN108028923A (zh) * 2015-09-10 2018-05-11 Lg电子株式会社 视频编码系统中的帧内预测方法和设备
CN108028923B (zh) * 2015-09-10 2021-08-20 Lg电子株式会社 视频编码系统中的帧内预测方法和设备
CN109716771B (zh) * 2016-09-15 2022-06-28 高通股份有限公司 用于视频译码的线性模型色度帧内预测
CN109716771A (zh) * 2016-09-15 2019-05-03 高通股份有限公司 用于视频译码的线性模型色度帧内预测
WO2018174657A1 (ko) * 2017-03-23 2018-09-27 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
CN110870316B (zh) * 2017-05-31 2023-10-13 交互数字麦迪逊专利控股公司 视频编码和解码中低复杂度双向帧内预测的方法和装置
CN110870316A (zh) * 2017-05-31 2020-03-06 交互数字Vc控股公司 视频编码和解码中低复杂度双向帧内预测的方法和装置
US11711543B2 (en) 2017-05-31 2023-07-25 Interdigtal Madison Patent Holdings, Sas Method and apparatus for low-complexity bidirectional intra prediction in video encoding and decoding
US11323706B2 (en) 2018-07-11 2022-05-03 Huawei Technologies Co., Ltd. Method and apparatus for aspect-ratio dependent filtering for intra-prediction
CN112352434A (zh) * 2018-07-11 2021-02-09 华为技术有限公司 用于帧内预测的基于宽高比滤波的方法和装置
CN112352434B (zh) * 2018-07-11 2022-06-07 华为技术有限公司 用于帧内预测的基于宽高比滤波的方法和装置
CN113170114A (zh) * 2018-09-13 2021-07-23 弗劳恩霍夫应用研究促进协会 仿射线性加权帧内预测
CN113170114B (zh) * 2018-09-13 2024-03-29 弗劳恩霍夫应用研究促进协会 仿射线性加权帧内预测
CN112913234A (zh) * 2018-10-25 2021-06-04 高通股份有限公司 广角帧内预测平滑与插值
CN114424541A (zh) * 2019-08-16 2022-04-29 苹果公司 使用查找表的自适应双边滤波
WO2021244197A1 (zh) * 2020-06-05 2021-12-09 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
CN113965764A (zh) * 2020-07-21 2022-01-21 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
CN113965764B (zh) * 2020-07-21 2023-04-07 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置

Also Published As

Publication number Publication date
US9008175B2 (en) 2015-04-14
PT2622858T (pt) 2018-02-05
HK1182249A1 (zh) 2013-11-22
KR20150021113A (ko) 2015-02-27
RU2543552C2 (ru) 2015-03-10
KR101626734B1 (ko) 2016-06-01
SG189036A1 (en) 2013-05-31
BR112013007563B1 (pt) 2022-03-03
CA2812307A1 (en) 2012-04-05
AU2011308653B2 (en) 2015-11-19
AU2011308653A1 (en) 2013-05-02
ES2656494T3 (es) 2018-02-27
EP2622858A1 (en) 2013-08-07
IL225331A0 (en) 2013-06-27
EP2622858B1 (en) 2017-11-01
JP2013543315A (ja) 2013-11-28
BR112013007563A2 (pt) 2016-08-02
RU2013120332A (ru) 2014-11-20
WO2012044886A1 (en) 2012-04-05
US20120082224A1 (en) 2012-04-05
HUE035458T2 (en) 2018-05-02
SI2622858T1 (en) 2018-02-28
KR20130063030A (ko) 2013-06-13
DK2622858T3 (en) 2018-01-15
PL2622858T3 (pl) 2018-05-30
JP5587508B2 (ja) 2014-09-10
CA2812307C (en) 2016-06-28
CN103141100B (zh) 2016-08-24
IL225331A (en) 2017-01-31

Similar Documents

Publication Publication Date Title
CN103141100A (zh) 用于视频译码的帧内平滑滤波器
CN103190147B (zh) 用于视频译码的语法元素的联合译码方法及设备
CN103891293B (zh) 用于色度分量的自适应环路滤波的方法及设备
CN103202016B (zh) 用于视频译码的自适应运动向量分辨率信令
CN103299620B (zh) 在视频译码中使用最可能扫描次序对用于视频块的扫描次序信息进行有效译码
CN103931182B (zh) 帧内预测视频译码中的非正方形变换
CN104272742B (zh) 加权预测参数译码
CN104737537A (zh) 用于可缩放视频译码的加权预测模式
CN104221380A (zh) 用于并行运动估计的共同空间候选块
CN103181169A (zh) 使用联合上下文模型对系数进行熵译码
CN103262533A (zh) 指示用于视频译码的帧内预测模式选择
CN103999465A (zh) 自适应性重叠块运动补偿
CN103959775A (zh) 帧内模式视频译码
CN105723707A (zh) 用于视频译码的色彩残差预测
CN103140877A (zh) 使用帧内预测的视频译码
CN104429076B (zh) 用于可缩放视频译码和3d视频译码的一般化残差预测
CN103155555A (zh) 视频译码中的译码预测模式
CN105474641A (zh) 视频译码过程中用于系数层级译码的莱斯(rice)参数初始化
CN105359532A (zh) 帧内运动补偿延伸
CN103238323A (zh) 在视频译码中基于视频块的扫描次序对块内的最后有效系数的位置进行译码
CN104937936A (zh) 用于帧内预测的模式决策简化
CN104969552A (zh) 存储减少的帧内预测模式决策
CN103797801A (zh) 视频译码中的非正方形变换单元和预测单元
CN103339939A (zh) 具有自适应分接头大小的低复杂性内插滤波
CN103597832A (zh) 用于使用相邻模式的视频译码的增强的帧内预测模式信令

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1182249

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1182249

Country of ref document: HK