CN103348677B - 像素层级自适应帧内平滑化 - Google Patents

像素层级自适应帧内平滑化 Download PDF

Info

Publication number
CN103348677B
CN103348677B CN201280006900.6A CN201280006900A CN103348677B CN 103348677 B CN103348677 B CN 103348677B CN 201280006900 A CN201280006900 A CN 201280006900A CN 103348677 B CN103348677 B CN 103348677B
Authority
CN
China
Prior art keywords
forecast sample
pixel
local statistics
local
wave filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280006900.6A
Other languages
English (en)
Other versions
CN103348677A (zh
Inventor
郑云非
穆罕默德·蔡德·科班
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103348677A publication Critical patent/CN103348677A/zh
Application granted granted Critical
Publication of CN103348677B publication Critical patent/CN103348677B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明描述用于对视频数据进行帧内译码的帧内平滑化技术。在一个实例中，视频编码器经配置以执行以下操作：确定用于视频帧中的待译码块的帧内预测译码的多个预测样本；对于所述预测样本中的第一预测样本计算局部统计数据；基于所述局部统计数据从多个滤波器中选择滤波器；以及将所述选定滤波器应用于所述第一预测样本。视频编码器还可经配置以进行以下操作：对于所述预测样本中的每一预测样本计算至少一个局部统计数据；基于每一预测样本的所述至少一个局部统计数据从多个不同滤波器中选择滤波器；以及将每一选定滤波器应用于对应预测样本以产生预测样本的经滤波版本。实施例进一步包含对经编码视频信号进行解码的视频解码器和方法。

Description

像素层级自适应帧内平滑化
主张优先权
本申请案涉及且主张2011年1月28日申请的第61/437,482号临时申请案的优先权，所述申请案经转让给本受让人且在此以引用的方式明确并入本文中。
本申请案还涉及且主张2011年7月13日申请的第61/507,459号临时申请案的优先权，所述申请案经转让给本受让人且在此以引用的方式明确并入本文中。
技术领域
本发明涉及视频译码领域，例如视频数据的编码。
背景技术
数字视频能力可并入到各种各样的装置中，包含数字电视、数字直播系统、例如无线电电话手机的无线通信装置、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、数码相机、数字记录装置、视频游戏装置、视频游戏控制台和类似物。数字视频装置实施例如MPEG-2、MPEG-4或H.264/MPEG-4第10部分高级视频译码(AVC)的视频压缩技术以更有效地发射和接收数字视频。
视频压缩技术执行空间预测和/或时间预测以减少或移除视频序列中所固有的冗余。对于基于块的视频译码，可将视频帧或切片分割为多个块。可对每一块进行进一步分割。使用相对于邻近块的空间预测来对经帧内译码(I)的帧或切片中的块进行编码。经帧间译码(P或B)的帧或切片中的块可使用相对于同一帧或切片中的邻近块的空间预测或相对于其它参考帧的时间预测。
发明内容
大体来说，本发明描述用于支持对视频数据进行帧内译码的帧内平滑化技术。确切地说，在一些实例中，本发明的技术涉及使用自适应帧内平滑化(AIS)来对视频内容进行译码和解码，其中逐个像素地进行滤波决策。在一些实例中，本发明还包含用于确定针对每一预测样本使用多个可能的平滑化滤波器中的哪一者的技术。在一些实例中，本发明还包含用于确定针对经译码块的每一像素使用经滤波还是未经滤波预测样本的技术。
在一个方面中，处理视频数据的方法包含：确定用于视频帧中的待译码块的帧内预测译码的多个预测样本；以及计算所述预测样本中的第一预测样本的局部统计数据。所述方法还包括：基于所述局部统计数据从多个不同滤波器中选择滤波器；以及将所述选定滤波器应用于所述第一预测样本。
在另一方面中，一种用于对数据进行编码的装置包括视频编码器，所述视频编码器经配置以进行以下操作：确定用于视频帧中的待译码块的帧内预测译码的多个预测样本；针对所述预测样本中的第一预测样本计算局部统计数据；基于所述局部统计数据从多个不同滤波器中选择滤波器；以及将所述选定滤波器应用于所述第一预测样本。
在另一方面中，一种计算机可读媒体包括计算机可读存储媒体，所述计算机可读存储媒体上存储有指令，所述指令在被执行时致使视频译码装置的处理器进行以下操作：确定用于视频帧中的待译码块的帧内预测译码的多个预测样本；以及计算所述预测样本中的第一预测样本的局部统计数据。所述指令进一步致使所述视频译码装置的所述处理器进行以下操作：基于所述局部统计数据从多个不同滤波器中选择滤波器；以及将所述选定滤波器应用于所述第一预测样本。
在另一方面中，提供一种装置，所述装置包括：用于确定用于视频帧中的待译码块的帧内预测译码的多个预测样本的装置；以及用于计算所述预测样本中的第一预测样本的局部统计数据的装置。所述装置进一步包括：用于基于所述局部统计数据从多个不同滤波器中选择滤波器的装置；以及用于将所述选定滤波器应用于所述第一预测样本的装置。
在又一方面中，一种对视频数据进行编码的方法包括计算待译码块中的像素的局部统计数据，其中所述块形成视频帧的至少一部分。所述方法进一步包括接收与所述块相关联的预测样本。所述方法还包括基于所述局部统计数据在所述预测样本中的一预测样本的经滤波版本与所述预测样本的未经滤波版本之间进行选择。所述方法进一步包括应用所述预测样本的所述选定版本来对所述像素进行帧内预测译码。
在另一方面中，一种用于对数据进行解码的装置包括视频解码器，所述视频解码器经配置以进行以下操作：计算待译码块中的像素的局部统计数据，其中所述块形成视频帧的至少一部分；接收与所述块相关联的预测样本；基于所述局部统计数据在所述预测样本中的一预测样本的经滤波版本与所述预测样本的未经滤波版本之间进行选择；以及应用所述预测样本的所述选定版本来对所述像素进行帧内预测译码。
在另一方面中，一种计算机程序产品包括计算机可读存储媒体，所述计算机可读存储媒体上存储有指令，所述指令在被执行时致使视频解码装置的处理器进行以下操作：计算待译码块中的像素的局部统计数据，其中所述块形成视频帧的至少一部分；以及接收与所述块相关联的预测样本。所述指令进一步致使所述视频解码装置进行以下操作：基于所述局部统计数据在所述预测样本中的一预测样本的经滤波版本与所述预测样本的未经滤波版本之间进行选择；以及应用所述预测样本的所述选定版本来对所述像素进行帧内预测译码。
在另一方面中，一种装置包括：用于计算待译码块中的像素的局部统计数据的装置，其中所述块形成视频帧的至少一部分；以及用于用于接收与所述块相关联的预测样本的装置。所述装置进一步包括用于基于所述局部统计数据在所述预测样本中的一预测样本的经滤波版本与所述预测样本的未经滤波版本之间进行选择的装置。所述装置还包括用于应用所述预测样本的所述选定版本来对所述像素进行帧内预测译码的装置。
在又一方面中，一种处理视频数据的方法包括：接收指示视频帧的至少一部分的像素的经译码块；以及确定与所述经译码块相关联的预测样本。所述方法进一步包括：计算所述视频帧的与所述经译码块相关联的所述部分中的像素的局部统计数据；以及基于所述局部统计数据在所述预测样本与所述预测样本的经滤波版本之间进行选择。所述方法进一步包括应用所述预测样本的所述选定版本来对所述像素进行解码。
在另一方面中，一种用于对数据进行解码的装置包括视频解码器，所述视频解码器经配置以进行以下操作：接收指示视频帧的至少一部分的像素的经译码块；确定与所述经译码块相关联的预测样本；计算所述视频帧的与所述经译码块相关联的所述部分中的像素的局部统计数据；基于所述局部统计数据在所述预测样本与所述预测样本的经滤波版本之间进行选择；以及应用所述预测样本的所述选定版本来对所述像素进行解码。
在另一方面中，一种计算机程序产品包括计算机可读存储媒体，所述计算机可读存储媒体上存储有指令，所述指令在被执行时致使视频解码装置的处理器进行以下操作：接收指示视频帧的至少一部分的像素的经译码块；确定与所述经译码块相关联的预测样本；计算所述视频帧的与所述经译码块相关联的所述部分中的像素的局部统计数据；基于所述局部统计数据在所述预测样本与所述预测样本的经滤波版本之间进行选择；以及应用所述预测样本的所述选定版本来对所述像素进行解码。
在另一方面中，一种装置包括：用于接收指示视频帧的至少一部分的像素的经译码块的装置；用于确定与所述经译码块相关联的预测样本的装置；用于计算与所述视频帧的所述经译码块相关联的所述部分中的像素的局部统计数据的装置；用于基于所述局部统计数据在所述预测样本与所述预测样本的经滤波版本之间进行选择的装置；以及用于应用所述预测样本的所述选定版本来对所述像素进行解码的装置。
本发明中所描述的技术可以用硬件、软件、固件或其任一组合来实施。如果用软件实施，则软件可在处理器中执行，所述处理器可指一个或一个以上处理器，例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)或其它等效集成或离散逻辑电路。最初可将包括用以执行所述技术的指令的软件存储于计算机可读媒体中且由处理器加载并执行。
因此，本发明还预期包括指令的计算机可读媒体，所述指令用以致使处理器执行如本发明中所描述的多种技术中的任一者。在一些情况下，计算机可读媒体可形成可售卖给制造商和/或用于装置中的计算机程序产品的部分。所述计算机程序产品可包含计算机可读媒体，且在一些情况下，还可包含封装材料。
本发明还可适用于携带信息的电磁信号。举例来说，电磁信号可包括与选择哪些滤波器用于对预测样本进行滤波或使用了经滤波还是未经滤波预测样本来预测经译码块中的像素有关的信息。在一些实例中，可从实施本文所描述的技术的装置产生或发射信号。在其它实例中，本发明可适用于可在实施本文所描述的技术的装置处接收的信号。
本发明的一个或一个以上方面的细节在附图及以下描述中陈述。从描述和图式并从权利要求书将明白本发明中所描述的技术的其它特征、目的和优点。
附图说明
图1是说明可用以实施本发明技术中的一者或一者以上的视频编码与解码系统的一个实例的框图。
图2是进一步详细说明视频编码器的实例的框图。
图3是说明根据本发明技术的可经滤波的待预测的视频块的预测样本的实例的概念图。
图4是说明根据本发明技术的视频编码器的实例操作的流程图。
图5是说明根据本发明技术的视频编码器的实例操作的流程图，所述操作为预测样本选择平滑化滤波器。
图6是说明根据本发明技术的可选择性使用经滤波或未经滤波的预测样本集合来预测的待预测的视频块中的像素的实例的概念图。
图7是说明根据本发明技术的视频编码器的实例操作的流程图，所述操作在经滤波与未经滤波的预测样本集合之间进行选择以用于预测待编码的块中的像素。
图8是说明根据本发明技术的视频解码器的实例操作的流程图，所述操作基于局部统计而对待编码的块执行自适应帧内平滑化。
图9是进一步详细说明图1的视频解码器的实例的框图。
图10是说明根据本发明技术的视频解码器的实例操作的流程图，所述操作基于像素的局部统计数据而对指示像素的经译码的块进行解码。
具体实施方式
帧内预测译码(或称帧内译码)涉及相对于图像帧的块编码同一帧的块。根据当前正由视频译码联合协作小组(JCT-VC)开发的高效率视频译码(HEVC)标准，块可称作预测单元。
本发明中，术语“译码”可指编码和/或解码中的任一者或两者。术语“译码器”可指执行视频编码或视频解码的专用计算机装置或设备。术语“译码器”通常是指任何视频编码器、视频解码器，或组合式编码器/解码器(编解码器(codec))。术语“经译码块”、“经译码块单元”或“经译码单元”可指视频帧的任何可独立解码的单元，例如整个帧、帧的片段、视频数据的块，或根据所使用的译码技术而定义的另一可独立解码单元。“预测单元”或“预测块”可指已从预测样本预测的像素块。相比之下，经译码块可为残余系数的经编码块，其描述图像帧的实际块与所述图像帧的预测块之间的差。
在一些帧内译码模式中，待译码的帧或片段的块中的像素是通过周围像素从同一帧或片段中的相邻块的定向外插而形成。来自相邻块的周围像素形成帧内译码块中的像素的预测样本。因此，在一个或一个以上相邻块中的像素用于预测经译码块中的像素的上下文中，术语“像素”、“预测符”和“预测样本”可互换地使用。预测样本可用以沿一方向形成经译码块的像素，例如根据不同模式而为垂直、水平或对角。举例来说，在水平模式中，在经译码块的左边缘处的相邻块中的像素可用作经译码块的相同行中的每个像素的预测样本。
对于较大块大小，距相邻预测样本较远的像素的预测准确性可能降级，从而导致成块假影。举例来说，在水平模式中，在经译码块的最右边缘处的像素的预测准确性可能小于较接近于在经译码块的左边缘处的预测样本的像素的预测准确性。为克服帧内预测译码的可能降级，可将平滑化滤波器应用到周围预测样本。
当一个以上滤波器可供用于帧内平滑化技术时，可作出决策以确定哪一滤波器用于一组预测样本中的个别像素(所述个别像素在本文称作“预测样本”)。预测样本可互换地称作参考样本。为了确定使用滤波器中的哪一者来对预测样本进行滤波，可针对所述预测样本计算一个或一个以上局部统计数据。接着，基于所述预测样本的局部统计数据的值从滤波器群组选择滤波器。所述滤波器可包含任何可用滤波器，包含一维和二维滤波器两者。此方法可产生一组预测样本，其中不同预测样本由不同滤波器滤波。
在本发明中也简称作“经译码块”的经译码块单元根据ITU-T H.264/AVC(高级视频译码)标准可对应于视频译码中的宏块或根据当前正在开发中的高效率视频译码(HEVC)标准可对应于视频译码中的译码单元(CU)。经译码块可包含与视频帧的照度(Y)或色度(Cb和Cr)分量有关的信息。照度(亮度)和色度(色彩)分量统称为纹理分量(texturecomponent)。对于照度与色度分量可能存在单独的经译码块。
本发明提出AIS方案，其中可逐个像素地作出滤波决策。本发明可适用于确定多个可能平滑化滤波器中的哪一者用于给定预测样本的技术。本发明还可适用于确定使用经滤波还是未经滤波的预测样本进行经译码块的给定像素的帧内译码的技术。这些技术可应用于一个或一个以上参考块中的所有或一些参考样本，且应用于待译码的块中的所有或一些帧内译码像素。
关于当一个以上滤波器可供用于帧内平滑化技术时作出用于个别预测样本的滤波器决策，可作出决策以确定哪一滤波器用于一组预测样本中的个别像素(所述个别像素在本文称作“预测样本”)。为了确定使用N个滤波器中的哪一者来对预测样本进行滤波，可针对所述预测样本计算一个或一个以上局部统计数据。接着，可基于所述预测样本的局部统计数据(例如，局部统计数据的值)来从N个滤波器的群组选择滤波器。所述N个滤波器可为任何可用滤波器，包含一维和二维滤波器两者。此方法可产生一组预测样本，其中不同预测样本(用于待译码的块中的像素的帧内译码)由不同滤波器滤波。
除了使用不同滤波器产生经滤波预测样本之外，还可使用经滤波或未经滤波预测样本来选择性地对给定像素进行帧内预测。为确定对于经译码块的每一像素使用经滤波还是未经滤波预测样本，本发明的技术可确定每一像素的局部统计数据。可针对为正经预测像素的因果相邻的像素(即，经解码且在解码经预测像素之前在解码器处可用的像素)获得局部统计数据。基于所述局部统计数据，将选择经滤波或未经滤波预测样本来预测所述像素。
图1是说明可用以实施本发明的技术中的一者或一者以上的视频编码和解码系统10的一个实例的框图。如图1中所示，系统10包含源装置12，其可经由通信信道15将经编码的视频发射到目的地装置16。源装置12及目的地装置16可包括广泛多种装置中的任一者。在一些情况下，源装置12与目的地装置16中的任一者或两者可包括无线通信装置，例如无线手持机、所谓的蜂窝式或卫星无线电电话，或可在通信信道15上(在此情况下，通信信道15为无线的)传送视频信息的任何无线装置。然而，本发明的技术(涉及逐像素帧内平滑化)未必限于无线应用或设置。所述技术还可用于广泛范围的其它设置和装置，包含经由物理导线、光纤或其它物理或无线媒体通信的装置。此外，编码或解码技术还可应用于未必与任何其它装置通信的独立装置。举例来说，视频解码器28可驻留在数字媒体播放器或其它装置中，且经由流式传输、下载或存储媒体接收经编码视频数据。因此，源装置12与目的地装置16彼此通信的描绘仅为说明实例实施方案而提供，且不应认为限制本发明中所描述的技术，所述技术在多种环境、应用或实施方案中可大体适用于视频译码。
在图1的实例中，源装置12可包含视频源20、视频编码器22、调制器/解调器(调制解调器)23和发射器24。目的地装置16可包含接收器26、调制解调器27、视频解码器28和显示装置30。根据本发明，视频编码器(例如，源装置12的视频编码器22)可经配置以应用本发明的技术中的一者或一者以上作为视频编码过程的部分。类似地，视频解码器(例如，目的地装置16的视频解码器28)可经配置以应用本发明的技术中的一者或一者以上作为视频解码过程的部分。
视频编码器22还可应用变换、量化和熵译码过程以进一步降低与残余块的通信相关联的位速率。变换技术可包括离散余弦变换(DCT)或概念上类似的过程。或者，可使用小波变换、整数变换或其它类型的变换。在DCT过程中，作为一实例，一组像素值可被转换成变换系数，所述转换系数可表示频域中的像素值的能量。
视频编码器22还可量化所述变换系数，其可大体涉及减少与对应变换系数相关联的位的数目的过程。熵译码可包含共同地压缩数据以供输出到位流的一个或一个以上过程，其中经压缩数据可包含例如译码模式序列、运动信息、经译码块模式和经量化变换系数。熵译码的实例包含但不限于上下文自适应可变长度译码(CAVLC)和上下文自适应二进制算术译码(CABAC)。
经译码视频块可由可用以建立或识别预测块的预测信息和可应用到预测块以重新建立原始块的残余数据块来表示。预测信息可包括用以预测数据块的一个或一个以上预测样本。使用预测样本，视频解码器28可能够重建用以对残余块进行译码的预测块。因此，给定一组残余块和一组预测样本(和可能的一些额外语法元素)，视频解码器28可重建最初编码的视频帧。基于自适应帧内平滑化技术的帧内译码可实现相对高的压缩量而没有过多数据损失，因为连续视频帧或其它类型的经译码单元通常类似。经编码视频序列可包括残余数据块、预测样本的未经滤波版本和预测样本的经滤波版本、用于帧内预测的帧内预测模式的指示、所使用的滤波器的指示，和可能的其它数据，例如语法元素的类型。
视频编码器22可利用帧内预测技术来相对于共同帧或片段的相邻参考视频块来对视频块进行编码。以此方式，视频编码器22可在空间上预测待编码的块的像素。视频编码器22可配置有多种帧内预测模式，其大体对应于各种空间预测方向。视频编码器22可经配置以基于块的照度分量来选择帧内预测模式，且接着重新使用所述帧内预测模式来对块的色度分量进行编码。此外，根据本发明的技术，视频编码器22可通过逐个像素(逐个样本)地选择用于参考样本的滤波器来对块进行编码，而不管用以对所述块进行编码的帧内预测模式如何。
通过从一组滤波器中选择滤波器来个别地应用于预测样本，用预测样本预测的块的准确性得以改进。选择哪一滤波器来应用于预测样本可基于所述预测样本的局部统计数据。类似地，选择将预测样本的经滤波版本还是预测样本的未经滤波版本个别像素地应用于待译码块中的像素可改进经预测块的准确性。选择预测样本的哪一版本(即，预测样本的经滤波还是未经滤波版本)来应用于将进行帧内译码的像素可基于将进行帧内译码的所述像素的局部统计数据。每一预测样本为图像帧的一部分中的像素。每一预测样本具有用以预测待编码的像素的对应照度和色度值的照度(Y)和色度(Cr和Cb)值。像素的Y值可处于与所述像素的Cr和Cb值分开的块中。
同样，图1的所说明系统10仅为一个实例。可由支持基于块的预测性编码的任何编码装置或由支持基于块的预测性解码的任何解码装置来执行本发明的各种技术。源装置12和目的地装置16仅为此些译码装置的实例，其中源装置12产生用于发射到目的地装置16的经译码视频数据。在一些情况下，装置12与16可以实质上对称的方式操作，使得装置12和16中的每一者包含视频编码和解码组件。因此，系统10可支持视频装置12与16之间的单向或双向视频发射，例如用于视频流式传输、视频回放、视频广播或视频电话。在其它实例中，解码器可能不与另一装置通信。而是，解码器可存取本地媒体上的经编码视频数据。在其它实例中，解码器可为通过流式传输或下载从简单地为用于先前编码的视频数据的服务器且未必包含编码器的装置接收视频数据的装置的部分。
图1说明实时视频电话的可能性。然而，如上文所提及，本发明的技术还可用于包含流式传输、下载或对媒体的直接存取的应用中。尽管将系统10的源装置12描述为能够将经编码视频经由通信信道15发射到目的地装置16，但可能在源装置12的视频编码器22与目的地装置16的视频解码器28之间不存在直接通信。在一些实例中，源装置12可能甚至不包含视频编码器22。另外，经编码数据在视频解码器28存取所述数据之前可能已编码任何时间(例如，数周、数月，或数年)。在其它实例中，可经由从服务器下载或实况流式传输或经由本地磁盘(例如，数字多功能光盘(DVD)或蓝光光盘)来存取经编码数据。因此，调制解调器23可能不包含在源装置12中，且在一些实例中，可能不存在具有通信信道15的源装置12。
在一些实例中，源装置12的视频源20可包含例如摄像机等视频俘获装置、含有先前俘获的视频的视频存档，或来自视频内容提供者的视频馈送。作为另一替代方案，视频源20可产生基于计算机图形的数据作为源视频，或直播视频(live video)、存档视频和/或计算机产生的视频的组合。在一些情况下，如果视频源20为摄像机，那么源装置12和目的地装置16可形成所谓的相机电话或视频电话，或经配置以操纵视频数据的其它移动装置，例如平板计算装置。在每一情况下，视频编码器22可对所俘获、预先俘获或计算机产生的视频进行编码。
当视频源20俘获到数字静态图片时，视频编码器22可经配置以将图像编码为例如联合摄影专家组(JPEG)图像。当图像为视频数据帧时，视频编码器22可经配置以根据例如以下的视频译码标准来对所述图像进行编码：动画专家组(MPEG)、国际标准化组织(ISO)/国际电工委员会(IEC)MPEG-1Visual、ISO/IEC MPEG-2Visual、ISO/IEC MPEG-4Visual、国际电信联盟(ITU)H.261、ITU-T H.262、ITU-T H.263、ITU-T H.264/MPEG-4、H.264高级视频译码(AVC)、即将出现的高效率视频译码(HEVC)标准(也称作H.265)，或其它视频编码标准。视频编码器22将与视频数据帧相关联的经译码视频数据传递到发射器24。经译码视频数据可在位流中传送到接收器26，所述位流包含信令信息以及经译码视频数据。
经译码视频数据可由调制解调器23根据例如码分多址(CDMA)或另一通信标准等通信标准来调制，且经由发射器24和通信信道15发射到目的地装置16。调制解调器23可包含各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。发射器24可包含经设计以用于发射数据的电路，包含放大器、滤波器和一个或一个以上天线。在一些实例中，并非经由通信信道发射，源装置12将包含具有纹理和深度分量的块的经编码视频数据存储在存储媒体上，所述存储媒体例如是数字视频光盘(DVD)、蓝光光盘、闪存驱动器或其类似者。
目的地装置16的接收器26经由通信信道15接收信息，且调制解调器27解调所述信息。与发射器24相似，接收器26可包含经设计以用于接收数据的电路，包含放大器、滤波器和一个或一个以上天线。在一些情况下，发射器24和/或接收器26可并入于包含接收和发射电路两者的单一收发器组件内。调制解调器27可包含各种混频器、滤波器、放大器或经设计以用于信号解调的其它组件。在一些情况下，调制解调器23和27可包含用于执行调制和解调两者的组件。
同样，由视频编码器22执行的视频编码过程可在帧内预测编码期间实施本文描述的技术中的一者或一者以上，其可包含滤波器选择和在一个或一个以上预测样本的经滤波版本与未经滤波版本之间进行选择。由视频解码器28执行的视频解码过程也可在解码过程的运动补偿阶段期间执行此些技术。
显示装置30向用户显示经解码的视频数据，且可包括多种一个或一个以上显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。在一些实例中，显示装置30对应于能够进行三维回放的装置。举例来说，显示装置30可包括立体显示器，其结合由观看者佩戴的眼用佩镜来使用。眼用佩镜可包括有源眼镜，在这种情况下，显示装置30与有源眼镜的透镜的交替快门开闭(shuttering)同步地在不同视图的图像之间快速交替。或者，眼用佩镜可包括无源眼镜，在这种情况下，显示装置30同时显示来自不同视图的图像，且无源眼镜可包含极化透镜，所述极化透镜通常在正交方向上极化以在不同视图之间进行过滤。
在图1的实例中，通信信道15可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一个或一个以上物理传输线或无线和有线媒体的任何组合。通信信道15可形成例如局域网、广域网或例如因特网的全球网络的基于包的网络的部分。通信信道15通常表示用于将视频数据从源装置12发射到目的地装置16的任何合适的通信媒体或不同通信媒体的集合。通信信道15可包括路由器、交换机、基站或可用于促进从源装置12到目的地装置16的通信的任何其它设备。
视频编码器22和视频解码器28可根据视频压缩标准(例如，ITU-T H.264标准，或者被描述为MPEG-4第10部分(高级视频译码(AVC))而操作。可由视频编码器22和视频解码器28使用的基于ITU H.264/AVC标准的额外视频压缩标准包含可缩放视频译码(SVC)标准，其为对ITU H.264/AVC标准的可缩放扩展。视频编码器22和视频解码器28可根据其操作的另一标准包含多视图视频译码(MVC)标准，其为对ITU H.264/AVC标准的多视图扩展。视频编码器22和视频解码器28还可根据目前正在开发的高效率视频译码(HEVC)标准来操作。然而，本发明的技术不限于任一特定视频译码标准。
在一些方面中，视频编码器22和视频解码器28可各自与音频编码器和解码器集成，且可包含适当MUX-DEMUX单元或其它硬件和软件，以处置共同数据流或单独数据流中的音频和视频两者的编码。如果适用，MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
视频编码器22及视频解码器28各自可经实施为一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当用软件实施本发明的技术中的任一者或所有技术时，实施装置可进一步包含用于存储和/或执行用于所述软件的指令的硬件，例如用于存储指令的存储器和用于执行指令的一个或一个以上处理单元。视频编码器22与视频解码器28中的每一者可包含于一个或一个以上编码器或解码器中，其中任一者可集成为组合式编解码器的部分，所述组合式编解码器在相应移动装置、订户装置、广播装置、服务器或其类似者中提供编码和解码能力。
视频序列通常包含一系列视频帧，所述视频帧也称作视频图片。视频编码器22对各个视频帧内的视频块进行操作，以便对视频数据进行编码。所述视频块可具有固定的或变化的大小，且可根据指定的译码标准而大小不同。每一视频帧包含一系列一个或一个以上片段。举例来说，在ITU-T H.264标准中，每一片段可包含一系列宏块，所述宏块可布置成子块。H.264标准支持用于二维(2D)视频编码的各种块大小的帧内预测，例如用于照度分量的16乘16、8乘8或4乘4和用于色度分量的8x8。视频块可包括像素数据块，或例如变换过程之后的变换系数块，所述变换例如是离散余弦变换(DCT)或概念上类似的变换过程。
较小视频块可提供较好分辨率，且可用于包含高等级的细节的视频帧的位置。大体来说，可将宏块和各种子块视为视频块。另外，可将片断视为一系列视频块，例如，宏块和/或子块。每一片断可为视频帧的可独立解码单元。或者，帧自身可为可解码单元，或可将帧的其它部分定义为可解码单元。
为了对视频块进行编码，视频编码器22执行帧内预测以产生一个或一个以上预测块。视频编码器22从待编码的原始视频块减去预测块以产生残余块。因此，残余块可表示正译码的块与预测块之间的逐像素差。视频编码器22可对残余块执行变换以产生变换系数块。在帧内预测译码和变换技术之后，视频编码器22可量化所述变换系数。量化通常指代系数经量化以可能减少用以表示所述系数的数据的量的过程。在量化之后，可根据熵译码方法执行熵译码，所述熵译码方法例如是上下文自适应可变长度译码(CAVLC)或上下文自适应二进制算术译码(CABAC)。下文参考图2描述由视频编码器22执行的编码过程的额外细节。
当前正努力开发新的视频译码标准，所述视频译码标准当前称作高效率视频译码(HEVC)。所述即将出现的标准也称作H.265。标准化努力是基于视频译码装置的模型，其被称作为HEVC测试模型(HM)。HM假设视频译码装置优于根据(例如)ITU-T H.264/AVC的装置的若干能力。举例来说，尽管H.264提供九种帧内预测编码模式，但HM提供多达33个帧内预测编码模式。
HM将视频数据块称作译码单元(CU)。位流内的语法数据可界定最大译码单元(LCU)，其在像素数目方面为最大的译码单元。大体来说，CU具有与H.264的宏块类似的用途，只是CU不具有大小区别。因此，CU可分裂成子CU。大体来说，本发明中对CU的参考可指图片的最大译码单元(LCU)或LCU的子CU。LCU可分裂成子CU，且每一子CU可分裂成子CU。位流的语法数据可界定LCU可被分裂的最大次数(称为CU深度)。因此，位流还可界定最小译码单元(SCU)。本发明还使用术语“块”来指CU、预测单元(PU)或变换单元(TU)中的任一者。
LCU可与四叉树数据结构相关联。大体来说，四叉树数据结构每CU包含一个节点，其中根节点对应于LCU。如果CU分裂成四个子CU，那么对应于CU的节点包含四个叶节点，每一叶节点对应于子CU中的一者。四叉树数据结构的每一节点可提供用于对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，其指示对应于节点的CU是否分裂为子CU。用于CU的语法元素可递归地加以定义，且可取决于CU是否分裂为子CU。
不分裂的CU可包含一个或一个以上预测单元(PU)。大体来说，PU表示所有对应CU或对应CU的一部分，且包含用于检索用于PU的参考样本的数据。举例来说，当PU是经帧内模式编码时，PU可包含描述所述PU的帧内预测模式的数据。用于界定PU的CU的数据还可描述(例如)CU到一个或一个以上PU的分割。分割模式可在CU未经译码、经帧内预测模式编码还是经帧间预测模式编码之间不同。
具有一个或一个以上PU的CU还可包含一个或一个以上变换单元(TU)。在使用PU进行预测之后，视频编码器22可计算对应于PU的CU部分的残余值。残余值可经变换、扫描，并量化。TU未必限于PU的大小。因此，TU可大于或小于相同CU的对应PU。在一些实例中，TU的最大大小可对应于对应CU的大小。
如上文所指出，帧内预测包含从图片的先前译码CU预测同一图片的当前CU的PU或TU。更具体来说，视频编码器22可使用特定帧内预测模式来对图片的当前CU进行帧内预测。HM编码器可配置有多达35个帧内预测模式。因此，为支持帧内预测模式与变换之间的一对一映射，HM编码器和解码器将需要对于每一所支持的变换大小存储66个矩阵。此外，所有35个帧内预测模式都受到支持的块大小可为相对较大的块，例如32x32像素、64x64像素，或甚至更大。
在目的地装置16中，视频解码器28接收经编码的视频数据。视频解码器28根据熵译码方法(例如，CAVLC或CABAC)对所接收的视频数据(例如经译码块8)进行熵解码以获得经量化系数。视频解码器28应用逆量化(去量化)和逆变换函数以重建像素域中的残余块。视频解码器28还基于包含于经编码视频数据中的控制信息或语法信息(例如，译码模式、运动向量、定义滤波器系数的语法，和其类似者)来产生预测块。视频解码器28可计算预测块与重建的残余块的总和以产生重建的视频块供显示。下文参考图10描述由视频解码器28执行的实例解码过程的额外细节。
图2是更详细地说明图1的视频编码器22的实例的框图。与本发明的技术一致，视频编码器22可通过基于预测样本的局部统计数据选择用于每一预测样本的滤波器来逐个像素地对预测样本进行滤波。与本发明的技术一致，视频编码器22还可通过逐个像素地确定用经滤波还是未经滤波预测样本来预测像素(即，来自参考块的参考像素)来对块单元进行编码。视频编码器22为本文中称作“译码器”的专用视频计算机装置或设备的一个实例。如图2中所示，视频编码器22对应于源装置12的视频编码器22。然而，在其它实例中，视频编码器22可对应于不同装置。在其它实例中，其它单元(例如，其它编码器/解码器(编解码器(CODEC)))也可执行与由视频编码器22执行的技术类似的技术。
视频编码器22可对视频帧内的视频块(包含LCU、CU和PU)执行帧内和帧间预测，并计算可编码为TU的残余值。帧内译码依赖于空间预测以减少或移除给定视频帧内的视频中的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的相邻帧内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。例如单向预测(P模式)、双向预测(B模式)或广义的P/B预测(GPB模式)等帧间模式可指若干基于时间的压缩模式中的任一者。运动估计单元42和运动补偿单元44可执行帧间预测译码，而帧内预测单元39可执行帧内预测译码。
如图2中所示，视频编码器22接收待编码的视频帧内的图像的一部分。在图2的实例中，视频编码器22包含预测单元32、存储器34、第一加法器48、变换单元38、量化单元40和熵译码单元46。对于视频块重建，视频编码器22还包含逆量化单元42、逆变换单元44、第二加法器51，和解块单元43。解块单元43可为可对块边界进行滤波以从重建的视频移除成块假影的解块滤波器。如果包含于视频编码器22中，则解块单元43将通常对加法器51的输出进行滤波。在一个实例中，如图2中所示，变换单元38可为功能块，而非按照HEVC的“TU”。
预测单元32包括帧内预测单元39、运动估计单元35，和运动补偿单元37。在编码过程期间，视频编码器22接收待译码的视频帧或片段。帧或片段可划分成多个视频块或CU。举例来说，在编码过程期间，视频编码器22接收待译码的视频块(在图2中标记为“视频块”)。运动估计单元35和运动补偿单元37相对于一个或一个以上参考帧中的一个或一个以上块执行对所接收的视频块的帧间预测译码以提供时间压缩。帧内预测单元39可相对于与待译码的块相同的帧或片段中的一个或一个以上相邻块对所接收的视频块执行帧内预测式译码，以提供空间压缩。
在帧内预测期间，帧内预测单元39可选择用于块的帧内预测模式。一些编码标准定义可使用的不同预测模式，其中视频编码器22选择所述模式中的一者用于对视频块进行编码。举例来说，选定的帧内预测模式可为由HM提供的35个模式中的一者。然而，不管已使用什么帧内预测模式来对视频块进行编码，本文描述的技术皆可适用。
预测单元32执行帧内预测译码以产生预测块(图2中标记为“预测块”)。假设是左到右、上到下编码次序或块，帧内预测单元39可以帧内预测方式相对于相邻块(例如，在当前块的上方、右上、左上或左方的块)对当前视频块进行编码。在解码器侧，相邻参考块可为因果相邻块，使得其在对使用此些参考块帧内译码的块进行解码之前被解码。帧内预测单元39可基于针对当前块选定的帧内预测模式来利用相邻块。
帧内预测单元39可通过选择可用帧内预测模式中的一者来确定用于块的适当帧内预测模式。预测模式可包含用于组合空间相邻像素的值并将组合值应用到预测单元(PU)中的一个或一个以上像素位置的函数。帧内预测单元39可发信号通知选定帧内预测模式，使得其编码有与经译码块相关联的语法元素。
在帧内预测期间，预测单元39基于预测样本的局部统计数据来确定多个平滑化滤波器中的哪一者应用于每一预测样本，即形成参考样本的一组像素中的每一像素。也就是说，可基于围绕预测样本的像素的性质来从多个不同平滑化滤波器的候选列表中选择平滑化滤波器。所述组候选平滑化滤波器中的不同平滑化滤波器的数目可因系统而不同。所述候选组中的平滑化滤波器可具有不同平滑化滤波器特性，例如以提供不同程度或类型的平滑化。在一些实例中，不同平滑化滤波器可具有经选择以提供不同平滑化结果的不同滤波器系数。可针对每一预测样本选择平滑化滤波器。在其它实例中，一个平滑化滤波器可用于所有预测样本。在一个实例中，平滑化滤波器中的一者为全通滤波器(即，没有滤波操作)。
预测单元39使用预测样本或经滤波预测样本中的哪一者来对经译码视频块中的每一像素进行帧内预测。举例来说，经滤波预测样本和未经滤波预测样本的缓冲器可经存储，使得为了预测经译码视频块中的给定像素，可选择性地使用经滤波或未经滤波预测样本。视频编码器22针对视频块中的每一像素计算局部统计数据。可针对相关像素的因果相邻像素计算局部统计数据。像素的因果相邻像素可为先前已经编码的像素。在一些实例中，像素的因果相邻像素邻近于所述像素。基于所述局部统计数据，帧内预测单元39在将经滤波预测样本还是未经滤波预测样本应用于视频块中的每一像素之间进行选择。所述选择是基于哪一组预测样本产生最准确的预测像素。
在视频编码器22执行帧间预测的实例中，预测单元32可包含运动估计(ME)单元35和运动补偿(MC)单元37。一个或一个以上内插滤波器可由预测单元32使用且可由ME单元35和MC单元37中的一者或两者调用，以执行内插作为运动估计和/或运动补偿的部分，例如以选择性地提供具有整数像素精度或分数像素精度的运动估计和运动补偿。ME单元35可执行运动估计以识别存储器34中的预测块，且MC单元37可执行运动补偿以产生预测块。
通常认为运动估计是产生估计视频块的运动的运动向量的过程。举例来说，运动向量可指示在预测或参考帧(或其它经译码单元，例如，片段)内的预测块相对于当前帧(或其它经译码单元)内待译码的块的位移。如上文所提及，运动向量可具有全整数或子整数像素精度。举例来说，运动向量的水平分量和垂直分量两者均可具有相应的全整数分量和子整数分量。参考帧(或帧的部分)可在时间上位于当前视频块所属于的视频帧(或视频帧的部分)之前或之后。运动补偿通常被认为是从存储器34提取或产生预测块的过程，其可包含基于通过运动估计确定的运动向量内插或以其它方式产生预测数据。
ME单元35通过比较视频块与一个或一个以上参考帧(例如，先前和/或后续帧)的参考块来针对待译码的视频块计算至少一个运动向量。可基于待译码块与预测块之间的差异度量(例如，基于绝对差总和(SAD)或其它差异度量)来选择预测块，以便识别在像素内容方面紧密匹配待译码块的预测块。用于参考帧的数据可存储在存储器34中。ME单元35可以全像素精度或分数像素精度执行运动估计。ME单元35可在运动估计过程期间调用一个或一个以上内插滤波器以进行任何必要内插。在一些实例中，存储器34可存储用于子整数像素的内插值，其可由例如求和器51使用内插滤波器来计算。举例来说，求和器51可将内插滤波器应用到待存储在存储器34中的重建的块。一旦用于待译码视频块的运动向量由ME单元35计算出，MC单元37就产生与所述运动向量相关联的预测视频块。MC单元37可基于由MC单元35确定的运动向量从存储器34提取预测块。
一旦预测单元32已产生预测块，视频编码器22就通过从经译码的原始视频块减去所述预测块而形成残余视频块(图2中标记为“残余块”)。此减法可在经译码的原始视频块中的纹理分量与预测块中的纹理分量之间发生，以及针对原始视频块中的深度信息或来自预测块中的深度信息的深度图而发生。加法器48表示执行此减法运算的组件。加法器48的结果为指示待译码的块与预测块之间的像素差的残余值的块。残余数据可包含残余照度和残余色度块。
变换单元38将变换(例如，离散余弦变换(DCT)或概念上类似的变换)应用于残余块，从而产生包括残余变换块系数的视频块。应理解，变换单元38表示视频编码器22的将变换应用于视频数据块的残余系数(相对于如由HEVC定义的CU的TU)的组件。举例来说，变换单元38可执行其它变换，例如，通过H.264标准所定义的变换，其概念上类似于DCT。此些变换可包含例如定向变换(例如卡洛定理变换(Karhunen-Loeve theorem transform))、小波变换、整数变换、子带变换，或其它类型的变换。在任何状况下，变换单元38均将变换应用于残余块，从而产生残余变换系数的块。变换单元38可将相同类型的变换应用于纹理分量和(如果适用)对应残余块中的深度信息两者。对于每一纹理和深度分量将存在单独的残余块。所述变换可将残余信息从提供像素差值的像素域转换到提供变换系数的频域。
量化单元40量化残余变换系数以进一步降低位率。量化过程可减少与系数中的一些或全部相关联的位深度。量化单元40可量化深度图像译码残余值。在量化之后，熵译码单元46对经量化变换系数进行熵译码。举例来说，熵译码单元46可执行CAVLC、CABAC或另一熵译码方法。
熵译码单元46还可对一个或一个以上运动向量和从预测单元32或视频编码器22的另一组件(例如量化单元40)获得的支持信息进行译码。一个或一个以上预测语法元素可包含译码模式、用于一个或一个以上运动向量(例如，水平和垂直分量、参考列表识别符、列表索引，和/或运动向量分辨率信令信息)的数据、所使用的内插技术的指示、一组滤波器系数、解块信息，或与产生预测块相关联的其它信息。可在序列层级或在图片层级提供这些预测语法元素。
逆量化单元42和逆变换单元44分别应用逆量化和逆变换，以重建像素域中的残余块，例如以用于稍后用作参考块。经重建的残余块(在图2中标记为“经重建的残余块”)可表示提供到变换单元38的残余块的经重建版本。经重建的残余块可不同于由求和器48产生的残余块，因为量化和逆量化操作会引起细节的丢失。求和器51将经重建的残余块加到由预测单元32产生的经运动补偿的预测块以产生用于存储于存储器34中的经重建的视频块。经重建的视频块可由预测单元32用作可用以随后对块进行译码的参考块。
以此方式，视频编码器22表示经配置以执行以下操作的视频编码器的实例：从视频帧的至少一部分确定用于帧内预测译码的多个预测样本；针对所述预测样本中的第一预测样本计算一个或一个以上局部统计数据；基于所述一个或一个以上局部统计数据从多个滤波器中选择滤波器；以及将选定滤波器应用于所述第一预测样本。视频编码器22还可经配置以针对预测样本中的第一预测样本计算至少一个局部统计数据，基于每一预测样本的所述至少一个局部统计数据从多个滤波器中选择滤波器，并将每一选定滤波器应用于对应预测样本以产生预测样本的经滤波版本。
图3是说明根据本发明的技术的视频编码器的实例操作的流程图。将从图2的视频编码器22的角度来描述图3的技术，但其它装置可执行类似技术。
视频编码器22可获得视频数据的帧或块(82)。视频帧或视频块可为图像的至少一部分。视频编码器22确定用于待预测的视频块的预测样本(84)。所述预测样本可为在左像素阵列(例如，在待译码块的左方)和上部像素阵列(例如，在待译码块上方)中的那些像素。左像素阵列可为形成参考样本的像素的列，其中左像素阵列中的每一像素可用作参考样本以预测待译码块的对应行中的像素。上部像素阵列可为形成参考样本的像素的行，其中上部像素阵列中的每一像素可用作参考样本以预测待译码块的对应列中的像素。
在一些实例中，上部像素阵列可与待译码块的宽度(一行中的像素的数目)同延，且左像素阵列可与待译码块的高度(一列中的像素的数目)同延。在其它实例中，上部像素阵列可为邻近于包含与经译码块的宽度同延的像素和延伸超出经译码块的宽度(例如，向左或向右)(例如，以用于对角预测)的额外像素的视频块的上部延伸像素阵列。类似地，在一些实例中，左像素阵列可为邻近于包含与经译码块的高度同延的像素和延伸超出经译码块的高度(例如，向上或向下延伸)(例如，以用于对角预测)的额外像素的视频块的左延伸像素阵列。
视频编码器22可对预测样本进行滤波(86)。预测样本基于参考样本的局部统计数据而个别像素地加以滤波。举例来说，可基于参考样本的一个或一个以上局部统计数据来针对形成参考样本的每一个别像素选择多个不同滤波器中的一者。如本发明中所描述，选择不同滤波器可指选择由存储在存储器中的滤波器特性界定的不同预配置滤波器、修改现有滤波器的特性、组合不同滤波器，或用于将不同滤波器特性选择性地应用于参考样本的其它技术。关于图4和5进一步详述可如何对预测样本进行滤波。
一旦预测样本被滤波，视频编码器22就通过所述预测样本预测视频块中的每一像素(88)。可基于局部统计数据使用经滤波预测样本或未经滤波预测样本来个别地预测所述像素。关于图6和7进一步详细描述可如何预测待预测块中的像素。
视频编码器22可计算经译码块的残余系数(90)。视频编码器22可接着对所述残余系数进行编码(92)。经编码的残余系数可在经编码位流中发射到解码器装置(例如，解码器28)。
图4是说明可根据本发明的技术加以滤波的待预测视频块100的预测样本102的实例的概念图。预测样本102包含像素P0到Pn，其中给定像素在图4中展示为Pi。如图4的实例中所示，预测样本包含视频块100的左像素阵列和上部延伸像素阵列。在其它实例中，可使用基本(未延伸)上部像素阵列或延伸左像素阵列。预测样本中的像素可能先前已经编码。
图4说明将自适应帧内平滑化逐像素地应用于预测样本Pi的实例。图4展示8x8像素视频块100以用于说明目的。然而，根据可经选择以预测块的各种帧内译码模式，可使用较小或较大块作为用于帧内译码的预测单元。本发明中描述的技术可用来在一组多个不同平滑化滤波器中选择平滑化滤波器以应用于像素Pi。滤波器的选择是基于像素Pi的至少一个局部统计数据。
可针对像素计算局部统计数据。像素的局部统计数据是所述像素或邻近所述像素的至少一个其它像素(且在一些情况下，两个或两个以上相邻像素)的性质的测量值。在一些实例中，针对按译码顺序在一像素之前的邻近像素确定所述像素的局部统计数据。按译码顺序在所述像素之前的此些相邻像素可称作所述像素的因果相邻像素，因为其经解码且在将对所述像素进行滤波时可供解码器使用。可针对一个或一个以上像素计算局部统计数据。在使用多个像素的一些实例中，所述局部统计数据可经平均化，包含加权平均。
局部统计数据可包含强度、位置、局部梯度、方差，或其类似者。强度与像素的亮度有关。强度或位置可指待滤波像素在参考样本阵列中的强度或位置。梯度或方差可指包含所述像素和在参考样本阵列中的一个或一个以上邻近像素的像素邻域中的梯度或方差。举例来说，基于位置的局部统计数据可为像素在一组预测样本或在待译码视频块中的位置。局部梯度可为像素与邻近像素的参数(例如，强度)的差。举例来说，梯度可为预测样本与在左或右的邻近预测样本之间的差。可以多种方式计算方差，例如通过计算预测样本阵列中的两个或两个以上邻近像素的均方误差(MSE)。举例来说，均方误差可计算性质的梯度的平方和。举例来说，基于强度(I)的梯度的方差可界定为[(Ip-Ilp)2+(Ip-Irp)2]1/2，其中Ip为相关预测样本或像素的强度，且Ilp为在相关预测样本或像素左方的预测样本或像素的强度。可使用其它性质来计算方差。此外，可使用任何其它局部统计数据。
基于局部统计数据，可选择滤波器以应用于像素。举例来说，如果局部统计数据Pi是强度，那么可例如基于滤波器对于相对较暗或较亮的像素的适合性来选择滤波器。类似地，可基于像素在预测样本阵列中的位置(例如，在形成预测样本的左像素阵列、顶部像素阵列或延伸像素阵列中的位置)来选择滤波器。举例来说，关于方差作为局部统计数据，如果方差展示比平均值(例如，沿视频帧中的对象的边缘)相对大的梯度，那么可选择适用于此情境的滤波器。类似地，可针对在像素之间展示性质方面的小差异的方差选择适当滤波器。在一些实例中，可使用此些局部统计数据来基于统计数据到不同滤波器的预定义映射、用以产生映射到不同滤波器的值的函数、用以修改滤波器的一个或一个上特性的函数或以其它方式选择滤波器，以支持针对给定参考样本基于所述参考样本的局部统计数据选择和使用不同滤波器。可使用经滤波或未经滤波的参考样本来预测待译码的视频块100中的像素的值。
如图4中所示，针对像素Pi计算局部统计数据。用于选择平滑化滤波器以对预测样本进行滤波的局部统计数据可包含强度、位置、局部梯度、方差，或其类似者。举例来说，针对Pi计算局部统计数据方差。基于方差的值，从N个滤波器中选择滤波器Fi。将Fi应用于Pi以产生经滤波预测样本Pi。可以类似方式处理所述组预测样本中的其余预测样本。可针对所述组预测样本中的每一像素计算局部统计数据。因此，可针对每一预测样本基于所述预测样本的至少一个局部统计数据来个别地选择滤波器。一旦所有预测样本都经过处理，其就可用以预测预测块。同样，并非方差，可使用其它局部统计数据或此些统计数据的组合。确切地说，在一些实例中，可使用单一局部统计数据或可使用多个局部统计数据来选择或产生多个不同滤波器中的一者。
对原始未经滤波预测样本阵列中的每一预测样本使用选定滤波器，可产生经滤波预测样本阵列。因此，可在解码器(例如，图1的视频解码器28)中缓冲经滤波和未经滤波预测样本阵列。可使得经滤波和未经滤波预测样本阵列可供用于预测待预测块100中的每一像素。解码器(例如，视频解码器28)可应用类似的基于统计数据的规则来再现预测样本的经滤波集合。因此，在一些实例中，由解码器28接收的位流可不发信号通知哪些滤波器经选择用于预测样本。
可根据编码次序个别地对每一预测样本进行滤波。举例来说，待滤波的第一预测样本可为左上预测样本。待滤波的下一预测样本可为与前一预测样本处于相同水平层级上的下一邻近预测样本。在其它实例中，按光栅次序的下一预测样本为经受滤波的下一预测样本。在一些实例中，局部统计数据可为左阵列或顶部阵列中的邻近像素的一维统计数据。在另一实例中，局部统计数据可属于为邻近像素但不在左阵列或顶部阵列中的像素。举例来说，局部统计数据可属于分别在左方的下一列或在左阵列或顶部阵列上方的下一行中的像素。
帧内平滑化滤波器可为所应用的像素掩模。所述滤波器可为例如一维滤波器或二维滤波器。在一些实例中，多个帧内平滑化滤波器可用于对预测样本进行滤波。实例包含具有例如1-2-1和5-9-5等系数的3抽头滤波器。另一实例包含3维滤波器。同样，一些实例具有可用于不同预测样本阵列的不同滤波器。基于预测样本的局部统计数据选择一个滤波器。一旦对预测样本进行了滤波，就可将经滤波预测样本的值放置在模式预测样本缓冲器中。可针对预测样本中的每一者重复此过程。
图5是说明根据本发明的技术的选择用于预测样本的平滑化滤波器的视频编码器的实例操作的流程图。将从图2的视频编码器22的角度来描述图5的技术，但其它装置可执行类似技术。图5的技术可对应于图3中所示的确定预测样本(84)和对预测样本进行滤波(86)。
视频编码器22从视频帧的至少一部分确定用于帧内预测译码的多个预测样本(112)。所述预测样本可包含左像素阵列和基本或延伸上部像素阵列，如图4中所示。在其它实例中，使用其它组预测样本。
对于所述组预测样本中的预测样本，计算所述预测样本的局部统计数据(114)。如上文所论述，可针对预测样本的一个或一个以上相邻样本计算局部统计数据。局部统计数据还可为方差、位置、局部梯度或强度值中的一者或一者以上。在一些实例中，局部统计数据可基于在预测样本周围的像素区。
基于局部统计数据，由编码器22从多个滤波器中选择滤波器(116)。可选择所述滤波器是因为与其它滤波器相比，这个滤波器最适合或同等地适合于局部统计数据的值。可将选定滤波器应用于预测样本(118)。可针对所述组预测样本中的每一预测样本重复此过程。
在其它实例中，基于一个预测样本的局部统计数据选择用于所述样本的滤波器。可将选定滤波器应用于所述组预测样本中的每个预测样本。
在另一实例中，可针对局部统计数据确定阈值。可基于比较局部统计数据的值与所述阈值来从多个滤波器中选择滤波器。举例来说，如果局部统计数据低于阈值，那么可选择一个滤波器。所述滤波器可适用于对局部统计数据在低于阈值的值范围内的预测样本进行滤波。如果局部统计数据等于或大于阈值，那么可选择不同滤波器。
在一些实例中，可将多个阈值水平指派给一个或一个以上局部统计数据。可将多个滤波器中的每一滤波器指派给在阈值水平内的范围，使得基于滤波器是否在两个或两个以上阈值水平之间来选择滤波器。可基于滤波器在局部统计值的所述范围内对于对预测样本进行滤波的适合程度来将滤波器指派给阈值水平。在一些实例中，可使用函数来选择滤波器。函数的输入可为一个或一个以上局部统计数据。函数的输出可为从多个滤波器中对滤波器的选择。
图6为说明可使用根据本发明的技术选择性地使用一组经滤波预测样本126或一组未经滤波预测样本124预测的待预测视频块122中的像素Bi120的实例的概念图。经滤波预测样本126可能以根据本文描述的技术加以滤波。在其它实例中，经滤波预测样本126可能已使用其它技术加以滤波。在一些实例中，预测样本126的未经滤波和经滤波版本可经产生并维持于一个或一个以上存储器缓冲器中。
可决定对于预测块122中的每一像素使用经滤波还是未经滤波预测样本。对于预测块122中的每一像素，关于使用经滤波还是未经滤波预测样本的决策可基于与所述像素相关联的至少一个局部统计数据。所述至少一个局部统计数据可属于像素的局部因果相邻像素。局部因果相邻像素可为在光栅处理中先于预测像素处理的任何像素。
如图6中所示，预测块122包括待预测的像素(Bi)130。像素130具有局部因果相邻像素132。局部因果相邻像素132为在光栅处理中在像素130之前的像素。在一些实例中，不针对像素130的局部因果相邻像素132计算局部统计数据。如上文所论述，局部统计数据可包含强度、位置、局部梯度、方差或其类似者，或可用于选择不同滤波器的其它局部统计数据。
局部因果相邻像素132展示为在像素130上方和左方的那些邻近像素。可使用任何数目的局部因果相邻像素或局部统计数据。局部因果相邻像素132还可在预测像素130之前的时间加以预测。关于使用预测样本的经滤波版本还是未经滤波版本的决策是基于像素130的至少一个因果相邻像素132的至少一个局部统计数据。
对于预测块122中的每一像素，可例如通过解码器28决定对于预测块122的像素使用经滤波预测样本126还是未经滤波预测样本124。对于预测块122中的每一像素，关于使用经滤波预测样本126还是未经滤波预测样本124的决策可基于所述像素的至少一个局部统计数据。举例来说，基于经预测的像素130的局部因果相邻像素132的一个或一个以上局部统计数据来选择经滤波预测样本126或未经滤波预测样本124中的一者。基于所述一个或一个以上局部统计数据，基于哪一集合将对于预测像素130产生更好准确性而选择经滤波预测样本126或未经滤波预测样本124来应用于预测像素130。
举例来说，如果像素的局部统计数据为位置，那么可基于经滤波或未经滤波预测样本与像素的位置相比的准确程度来确定预测样本的版本。举例来说，如果像素130非常接近于预测块122的左上部，那么可使用未经滤波预测样本，因为像素130距预测样本124越近，其越可能为准确的。倘若像素130接近于预测块122的右下部，那么可使用经滤波预测样本126，因为像素130将与预测样本124不同的可能性较大。例如，未经滤波预测样本124与预测块122的左上部可能存在较高相关，使得像素距左上部越远，像素与预测样本的相关性可能越小。
图7是说明根据本发明的技术的在一组经滤波预测样本与一组未经滤波预测样本之间进行选择以用于预测待编码块中的像素的视频编码器的实例操作的流程图。将从图2的视频编码器22的角度来描述图7的技术，但其它装置可执行类似技术。图7的技术可对应于使用图3中所示的预测样本来预测视频块中的每一像素(88)。
视频编码器22计算待译码块中的像素的局部统计数据，其中所述块形成视频帧的至少一部分(160)。可针对像素的至少一个局部因果相邻像素计算局部统计数据。待译码块中的像素的局部因果相邻像素可为邻近于待预测像素的一个或一个以上像素。
可由视频编码器22接收与块相关联的预测样本(162)。视频编码器22可对预测样本进行滤波。可根据本发明中描述的技术执行对预测样本的滤波。未经滤波预测样本和经滤波预测样本可存储在缓冲器或存储器(例如存储器34)中。视频编码器22基于像素的至少一个局部因果相邻像素的局部统计数据在所述预测样本中的一预测样本的经滤波版本与所述预测样本的未经滤波版本之间进行选择(164)。可基于预测样本的哪一版本在预测像素时最准确来选择预测样本的经滤波版本或未经滤波版本。将预测样本的选定版本应用于所述像素以对所述像素进行帧内预测译码(166)。
在另一实例中，可针对像素的局部统计数据确定阈值。可基于比较局部统计数据的值与所述阈值来选择预测样本的经滤波或未经滤波版本。举例来说，如果局部统计数据低于阈值，那么可选择未经滤波版本。预测样本的未经滤波版本对于预测局部统计数据在局部统计数据低于阈值的值的范围内的像素可能更准确。如果局部统计数据等于或大于阈值，那么可选择预测样本的经滤波版本。可针对不同类型的局部统计数据设置不同阈值。以此方式，编码装置(例如视频编码器22)可产生帧内预测块，且解码装置(例如视频解码器28)可以反转方式使用类似技术再现大致相同的预测块。编码器发送残余块，以使得解码器可通过将残余值加到预测块来再现经译码的原始块。
图8是说明根据本发明的技术基于局部统计数据对待编码块执行自适应帧内平滑化的视频解码器的实例操作的流程图。将从图2的视频编码器22的角度来描述图8的技术，但其它装置可执行类似技术。图8的技术可对应于图5与7的技术的组合。
视频编码器22可从视频帧的至少一部分确定用于帧内预测译码的多个预测样本(202)。可由编码器22计算预测样本中的每一预测样本的至少一个局部统计数据(204)。对于预测样本中的每一预测样本，视频编码器22可基于每一预测样本的至少一个局部统计数据来从多个滤波器中选择滤波器(206)。可将每一选定滤波器应用于对应预测样本以产生多个经滤波预测样本(208)。未经滤波预测样本和经滤波预测样本可经存储或发射到视频解码器28。
可计算形成视频帧的至少一部分的待译码块中的像素的至少一个第二局部统计数据(210)。如果计算了一个以上第二局部统计数据，那么可例如通过平均化或加权平均来组合所述第二局部统计数据。所述第二局部统计数据可属于经预测像素的因果相邻像素。
例如由视频编码器22基于像素的至少一个局部统计数据来选择预测样本与经滤波预测样本中的一者，以用于预测所述像素(212)。例如可由视频编码器22将预测样本的选定版本应用于所述像素以对所述像素进行帧内预测译码(214)。可由视频编码器22针对所述组预测样本中的每一预测样本和预测块中的每一像素应用此技术。
在一些实例中，本发明的技术独立于帧内预测模式。也就是说，可使用本文描述的技术，而不管视频编码器22正以其操作的帧内预测模式是什么。在其它实例中，本发明的技术可应用于模式依赖性帧内预测。举例来说，可基于帧内预测模式选择可用于对预测样本进行滤波的滤波器。
图9是更详细地说明图1的视频解码器28的实例的框图。视频解码器28可对以本文描述的方式进行编码的视频序列进行解码。视频解码器28为本发明中称作“译码器”的专用视频计算机装置或设备的一个实例。如图9中所示，视频解码器28对应于目的地装置16的视频解码器28。然而，在其它实例中，视频解码器28可对应于不同装置。在其它实例中，其它单元(例如，其它编码器/解码器(编解码器))也可执行与视频解码器28类似的技术。
视频解码器28可例如通过流式传输、下载、存取局部存储媒体或以其它方式来接收经编码视频位流。视频解码器28包含熵解码单元252，所述熵解码单元252对所接收位流进行熵解码以产生经量化系数和预测语法元素。所述位流可包含一组经滤波预测样本，解码器可根据本文描述的技术从所述经滤波预测样本产生预测样本的经滤波版本。在一些实例中，所述位流可包含一组未经滤波预测样本。所述位流还可包含指示经译码像素的经编码残余系数。预测语法元素可包含译码模式、一个或一个以上运动向量、识别所使用的内插技术的信息、供用于内插滤波的系数，和/或与产生预测块相关联的其它信息。
解码器可接收未经滤波预测样本，且接着分析所述预测样本的局部统计数据以产生经滤波版本，而无需参考由编码器传达的任何语法元素。然而，在一个实例中，视频解码器可在位流中接收识别选定滤波器的语法元素。将预测语法元素(例如，系数)转发到预测单元255。如果使用预测来相对于固定滤波器的系数或相对于彼此对系数进行译码，那么预测单元255可对所述语法元素进行解码以界定实际系数。视频解码器28对预测样本执行与视频编码器22类似的操作，以确定使用了什么滤波器来平滑化经滤波预测样本。同样，视频解码器28对残余系数执行类似操作以确定通过预测样本的经滤波版本还是未经滤波版本预测了对应像素。
如果将量化应用于预测语法中的任一者，那么逆量化单元256还可移除此量化。举例来说，可根据本发明预测性地对滤波器系数进行译码和量化，且在此情况下，逆量化单元256可由视频解码器28用来对此些系数进行预测性地解码和去量化。
预测单元255可基于预测语法元素和存储在存储器262中的一个或一个以上先前经解码块来产生预测数据，其方式极类似于上文关于视频编码器22的预测单元32所详细描述的方式。确切地说，预测单元55可确定经译码块中的预测样本或像素的局部统计数据。由此，可由视频解码器28使用本发明的技术中的一者或一者以上来产生预测块。预测块255可包含运动补偿单元，其包括用于内插的滤波器和用于本发明的技术的帧内平滑化滤波器。为简化和易于说明而未在图9中展示运动补偿组件。多个帧内平滑化滤波器可由视频解码器28存取，例如存储在存储器262中。在一个实例中，多个帧内平滑化滤波器预先存储在存储器262中。在另一实例中，视频编码器22可将所述多个帧内平滑化滤波器发信号通知给视频解码器28。
逆量化单元256对经量化系数进行逆量化，即去量化。逆量化过程可为针对H.264解码或针对任何其它解码标准定义的过程。逆变换单元258将逆变换(例如，逆DCT或概念上类似的逆变换过程)应用于变换系数，以便在像素域中产生残余块。求和器264对残余块与由预测单元255产生的对应预测块求和以形成由视频编码器22编码的原始块的经重建的版本。如果需要，还可应用解块滤波器以对经解码块进行滤波，以便移除成块假影。接着将经解码视频块存储在存储器262中，其提供用于后续运动补偿的参考块且还产生经解码视频以驱动显示装置(例如，图1的显示装置30)。
图10是说明根据本发明的技术基于像素的局部统计数据对指示像素的经译码块进行解码的视频解码器的实例操作的流程图。因此，图10的过程可认为是图3的编码过程的互逆解码过程。将从图9的视频解码器28的角度来描述图10，但其它装置可执行类似技术。
视频解码器(例如，视频解码器28)应用互逆过程来使用参考样本重建原始块。所述参考样本可为用以预测原始块中的像素的经滤波或未经滤波预测样本。并且，可根据本文描述的技术对预测样本进行滤波。视频解码器28接收指示视频块的至少一部分的像素的经译码块(302)。所述经译码块可能已根据本发明的技术加以编码。所述经译码块可包括变换域中的残余系数值。可执行逆变换以恢复像素域中的残余像素差值。
视频解码器28可确定与经译码块相关联的预测样本(304)。视频解码器28可从先前解码的邻近参考块和接收的未经滤波参考样本来确定预测样本。视频解码器28还可基于每一预测样本的局部统计数据来对预测样本进行滤波(306)。也就是说，视频解码器28产生一组经滤波预测样本。可基于本发明的技术对所述预测样本进行滤波。所述预测样本可在存储器262中缓冲。在另一实例中，视频解码器28可确定预测模式以便获知使用了哪些参考样本来产生编码器(例如，视频编码器22)中的预测块。知道了预测模式，视频解码器28可计算用于经译码块的预测数据。可能已基于像素的因果相邻像素的一个或一个以上局部统计数据选择了预测样本的版本。举例来说，视频解码器28可使用相邻块的经解码参考样本来产生用于待解码块的预测块。视频解码器28可对预测块与从经编码位流获得的残余数据进行求和以重建原始块，所述原始块可能无损，但可能有损，例如由于残余数据或其它视频数据的量化。
可针对指示视频帧的部分的像素的经译码块中的每一残余系数计算局部统计数据(308)。所述局部统计数据可为像素的因果相邻像素的一个或一个以上局部统计数据。基于所述一个或一个以上局部统计数据，视频解码器28在预测样本的经滤波版本与未经滤波版本之间进行选择(310)。应用预测样本的选定版本以产生用于预测视频块的预测像素(312)。可将块的残余数据与预测块求和以重建经编码的原始块，从而产生经解码块。因为视频解码器28应用此过程的反转形式来确定使用哪些预测样本，因此不需要任何额外信令。
在另一实例中，可设置像素的局部统计数据的阈值水平。基于比较所述局部统计数据与所述阈值水平来选择预测样本与预测样本的经滤波版本。举例来说，当局部统计数据的值低于阈值时，可选择预测样本的未经滤波版本，且当局部统计数据的值等于或大于阈值时，选择预测样本的经滤波版本。在其它实例中，当局部统计数据等于或大于阈值水平时选择未经滤波版本，且当局部统计数据小于阈值水平时选择经滤波版本。
在一些实例中，针对预测样本确定第二局部统计数据。对于每一预测样本，可基于所述第二局部统计数据从多个滤波器中选择滤波器。然而，可针对第二局部统计数据设置阈值。从多个滤波器中选择滤波器可基于第二局部统计数据的值与所述阈值的比较。举例来说，当第二局部统计数据的值低于阈值时，可选择第一滤波器。当第二局部统计数据的值等于或大于阈值时，可选择第二滤波器。
本发明的技术通过逐个像素地引入帧内平滑化滤波来改进帧内预测性能。并不需要使用速率失真分析来确定使用经滤波还是未经滤波预测样本来预测预测块中的像素。此外，为了对位流进行解码，解码器应用本文描述的过程的反转形式来确定使用哪些样本。因此，不需要任何额外信令。
在一个或一个以上实例中，所描述的功能可以用硬件、软件、固件或其任何组合来实施。如果用软件实施，那么可将功能作为一个或一个以上指令或代码在计算机可读媒体上加以存储或传输且由基于硬件的处理单元执行。计算机可读媒体可包含对应于例如数据存储媒体等有形媒体的计算机可读存储媒体，或包含促进计算机程序例如根据通信协议从一处传送到另一处的任何媒体的通信媒体。以此方式，计算机可读媒体通常可对应于(1)非瞬时的有形计算机可读存储媒体，或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
举例来说且并非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来以指令或数据结构的形式存储所要程序代码且可由计算机存取的任何其它媒体。并且，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输指令，则将同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应了解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它瞬时媒体，而是针对非瞬时有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地再现数据，而光盘使用激光光学地再现数据。上文的组合也应包含在计算机可读媒体的范围内。
可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或一个以上处理器来执行所述指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文所描述的功能性可提供于经配置用于编码和解码的专用硬件和/或软件模块内，或并入于组合式编解码器中。并且，可将所述技术完全实施于一个或一个以上电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施，所述装置或设备包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但不一定需要通过不同硬件单元来实现。而是，如上文所描述，各种单元可组合于编解码器硬件单元中或由包含如上所述的一个或一个以上处理器的互操作式硬件单元的集合结合合适软件和/或固件而提供。
已描述本发明的各种实例。这些和其它实例属于所附权利要求书的范围内。

Claims (50)

1.一种处理视频数据的方法，所述方法包括：
计算待译码的视频数据的块中的多个像素中的每个像素的局部统计数据，其中所述块形成视频帧的至少一部分，且其中所述局部统计数据包括方差，所述方差基于两个或更多个其他像素的值之间的局部梯度，所述其他像素包含于待译码的所述块内，并且与所述局部统计数据被计算的像素相邻；
接收与所述块相关联的预测样本；
针对所述多个像素中的每个相应像素，基于所述局部统计数据在所述预测样本中的一预测样本的相应经滤波版本与所述预测样本的相应未经滤波版本之间进行选择；
针对所述多个像素中的每个相应像素，应用所述预测样本的相应选定版本来对相应像素进行帧内预测；以及
使用经帧内预测的像素对待译码的视频数据的所述块进行译码。
2.根据权利要求1所述的方法，其进一步包括：
对于所述预测样本中的每一预测样本计算至少一个局部统计数据；
对于所述预测样本中的每一预测样本，基于每一预测样本的所述至少一个局部统计数据从多个不同滤波器中选择滤波器；以及
将每一选定滤波器应用于对应预测样本以产生所述预测样本的所述经滤波版本。
3.根据权利要求1所述的方法，其中计算所述局部统计数据包括至少部分地基于与所述其他像素中的一个或多个相关联的一个或多个强度值或与所述其他像素中的一个或多个相关联的一个或多个位置来计算所述局部统计数据。
4.根据权利要求1所述的方法，其中计算待译码的所述块中的所述多个像素中的每个相应像素的所述局部统计数据进一步包括基于所述相应像素的至少一个局部因果相邻像素计算每个相应像素的局部统计数据。
5.根据权利要求4所述的方法，其中所述相应像素的所述至少一个局部因果相邻像素包括邻近于所述相应像素的四个像素。
6.根据权利要求1所述的方法，其进一步包括：
确定所述局部统计数据的阈值，且
其中在所述预测样本中的一预测样本的经滤波版本与所述预测样本的未经滤波版本之间进行选择进一步包括：
当所述局部统计数据的值低于所述阈值时，选择所述预测样本的所述未经滤波版本；以及
当所述局部统计数据的所述值等于或大于所述阈值时，选择所述预测样本的所述经滤波版本。
7.根据权利要求1所述的方法，其中在所述预测样本中的所述预测样本的所述相应经滤波版本与所述预测样本的所述相应未经滤波版本之间进行选择包括基于待译码的所述块内的所述相应像素的所述局部统计数据选择所述预测样本的所述未经滤波版本与所述预测样本的所述经滤波版本中的一者。
8.根据权利要求1所述的方法，其进一步包括：
对于所述预测样本中的每一预测样本计算至少一个局部统计数据；
对于所述预测样本中的每一预测样本，基于每一预测样本的所述至少一个局部统计数据从多个不同滤波器中选择滤波器；以及
将每一选定滤波器应用于对应预测样本以产生所述预测样本的所述经滤波版本，
其中每一预测样本的所述至少一个局部统计数据包括与所述对应预测样本相关联的局部梯度、方差、强度值或位置中的至少一者。
9.一种用于对数据进行编码的装置，其包括视频编码器，所述视频编码器经配置以进行以下操作：
计算待译码的视频数据的块中的多个像素中的每个像素的局部统计数据，其中所述块形成视频帧的至少一部分，其中所述局部统计数据包括方差，所述方差基于两个或更多个其他像素的值之间的局部梯度，所述其他像素包含于待译码的所述块内，并且与所述局部统计数据被计算的像素相邻；
接收与所述块相关联的预测样本；且针对所述多个像素中的每个相应像素，基于所述局部统计数据在所述预测样本中的一预测样本的相应经滤波版本与所述预测样本的相应未经滤波版本之间进行选择；
针对所述多个像素中的每个相应像素，应用所述预测样本的相应选定版本来对相应像素进行帧内预测；以及
使用经帧内预测的像素对待译码的视频数据的所述块进行译码。
10.根据权利要求9所述的装置，其中所述视频编码器进一步经配置以进行以下操作：对于所述预测样本中的每一预测样本计算至少一个局部统计数据；基于所述预测样本中的每一预测样本的所述至少一个局部统计数据从多个不同滤波器中选择滤波器；以及将每一选定滤波器应用于对应预测样本以产生所述预测样本的所述经滤波版本。
11.根据权利要求10所述的装置，其中计算所述局部统计数据包括至少部分地基于与所述其他像素中的一个或多个相关联的一个或多个强度值或与所述其他像素中的一个或多个相关联的一个或多个位置来计算所述局部统计数据。
12.根据权利要求9所述的装置，其中计算待译码的所述块中的所述多个像素中的每个相应像素的所述局部统计数据进一步包括基于所述相应像素的至少一个局部因果相邻像素计算每个相应像素的局部统计数据。
13.根据权利要求12所述的装置，其中所述相应像素的所述至少一个局部因果相邻像素包括邻近于所述相应像素的四个像素。
14.根据权利要求9所述的装置，其中所述视频编码器进一步经配置以确定所述局部统计数据的阈值，且其中在所述预测样本中的一预测样本的经滤波版本与所述预测样本的未经滤波版本之间进行选择进一步包括当所述局部统计数据的值低于所述阈值时选择所述预测样本的所述未经滤波版本，且当所述局部统计数据的所述值等于或大于所述阈值时选择所述预测样本的所述经滤波版本。
15.根据权利要求9所述的装置，其中所述视频编码器进一步经配置以至少通过基于待译码的所述块内的所述相应像素的所述局部统计数据选择所述预测样本的所述未经滤波版本与所述预测样本的所述经滤波版本中的一者而在所述预测样本中的一预测样本的相应经滤波版本与所述预测样本的相应未经滤波版本之间进行选择。
16.根据权利要求9所述的装置，其中所述视频编码器进一步经配置以进行以下操作：
对于所述预测样本中的每一预测样本计算至少一个局部统计数据；
对于所述预测样本中的每一预测样本，基于每一预测样本的所述至少一个局部统计数据从多个不同滤波器中选择滤波器；以及
将每一选定滤波器应用于对应预测样本以产生所述预测样本的所述经滤波版本，
其中每一预测样本的所述至少一个局部统计数据包括与所述对应预测样本相关联的局部梯度、方差、强度值或位置中的至少一者。
17.一种用于处理视频数据的装置，其包括：
用于计算待译码的视频数据的块中的多个像素中的每个像素的局部统计数据的装置，其中所述块形成视频帧的至少一部分，且其中所述局部统计数据包括方差，所述方差基于两个或更多个其他像素的值之间的局部梯度，所述其他像素包含于待译码的所述块内，并且与所述局部统计数据被计算的像素相邻；
用于接收与所述块相关联的预测样本的装置；
用于针对所述多个像素中的每个相应像素，基于所述局部统计数据在所述预测样本中的一预测样本的相应经滤波版本与所述预测样本的相应未经滤波版本之间进行选择的装置；
用于针对所述多个像素中的每个相应像素，应用所述预测样本的相应选定版本来对相应像素进行帧内预测的装置；以及
用于使用经帧内预测的像素对待译码的视频数据的所述块进行译码的装置。
18.根据权利要求17所述的装置，其进一步包括：
用于对于所述预测样本中的每一预测样本计算至少一个局部统计数据的装置；
对于所述预测样本中的每一预测样本，用于基于每一预测样本的所述至少一个局部统计数据从多个不同滤波器中选择滤波器的装置；以及
用于将每一选定滤波器应用于对应预测样本以产生所述预测样本的所述经滤波版本的装置。
19.根据权利要求17所述的装置，其中用于计算所述局部统计数据的装置包括用于至少部分地基于与所述其他像素中的一个或多个相关联的一个或多个强度值或与所述其他像素中的一个或多个相关联的一个或多个位置来计算所述局部统计数据的装置。
20.根据权利要求17所述的装置，其中计算待译码的所述块中的所述多个像素中的每个相应像素的所述局部统计数据进一步包括基于所述相应像素的至少一个局部因果相邻像素计算每个相应像素的局部统计数据。
21.根据权利要求17所述的装置，其进一步包括：
用于确定所述局部统计数据的阈值的装置，且
其中用于在所述预测样本中的一预测样本的经滤波版本与所述预测样本的未经滤波版本之间进行选择的装置进一步包括：
用于当所述局部统计数据的值低于所述阈值时选择所述预测样本的所述未经滤波版本的装置；以及
用于当所述局部统计数据的所述值等于或大于所述阈值时选择所述预测样本的所述经滤波版本的装置。
22.根据权利要求17所述的装置，其中所述装置进一步包括：用于在所述预测样本中的一预测样本的相应经滤波版本与所述预测样本的相应未经滤波版本之间进行选择的装置包括基于待译码的所述块内的所述相应像素的所述局部统计数据选择所述预测样本的所述未经滤波版本与所述预测样本的所述经滤波版本中的一者。
23.根据权利要求17所述的装置，其进一步包括：
用于对于所述预测样本中的每一预测样本计算至少一个局部统计数据的装置；
用于对于所述预测样本中的每一预测样本基于每一预测样本的所述至少一个局部统计数据从多个不同滤波器中选择滤波器的装置；以及
用于将每一选定滤波器应用于对应预测样本以产生所述预测样本的所述经滤波版本的装置，
其中每一预测样本的所述至少一个局部统计数据包括与所述对应预测样本相关联的局部梯度、方差、强度值或位置中的至少一者。
24.一种处理视频数据的方法，所述方法包括：
接收指示视频帧的至少一部分的像素的经译码块；
确定与所述经译码块相关联的预测样本；
计算所述视频帧的与所述经译码块相关联的所述部分中的多个像素中的每个像素的局部统计数据，其中所述局部统计数据包括方差，所述方差基于两个或更多个其他像素的值之间的局部梯度，所述其他像素包含于所述经译码块内，并且与所述局部统计数据被计算的像素相邻；
针对所述多个像素中的每个相应像素，基于所述局部统计数据在所述预测样本与所述预测样本的经滤波版本之间进行选择；
针对所述多个像素中的每个相应像素，应用所述预测样本的相应选定版本来对相应像素进行帧内预测；以及
使用经帧内预测的像素对所述经译码块进行解码。
25.根据权利要求24所述的方法，其进一步包括：
确定所述局部统计数据的阈值，且
其中基于所述局部统计数据在所述预测样本与所述预测样本的经滤波版本之间进行选择进一步包括：
当所述局部统计数据的值低于所述阈值时，选择所述预测样本；以及
当所述局部统计数据的所述值等于或大于所述阈值时，选择所述预测样本的所述经滤波版本。
26.根据权利要求24所述的方法，其中所述局部统计数据为第一局部统计数据，且所述方法进一步包括：
对于每一预测样本，计算所述预测样本中的一预测样本的第二局部统计数据；
对于每一预测样本，基于每一预测样本的所述第二局部统计数据从多个不同滤波器中选择滤波器；以及
将每一选定滤波器应用于对应预测样本以产生所述预测样本的所述经滤波版本。
27.根据权利要求26所述的方法，其进一步包括：
确定所述第二局部统计数据的阈值，且
其中对于每一预测样本基于所述第二局部统计数据从多个不同滤波器中选择滤波器进一步包括：
当所述第二局部统计数据的值低于所述阈值时选择第一滤波器；以及
当所述第二局部统计数据的所述值等于或大于所述阈值时选择第二滤波器。
28.根据权利要求24所述的方法，其中计算所述局部统计数据包括至少部分地基于与所述其他像素中的一个或多个相关联的一个或多个强度值或与所述其他像素中的一个或多个相关联的一个或多个位置来计算所述局部统计数据。
29.根据权利要求24所述的方法，其中所述预测样本与所述预测样本的所述经滤波版本之间进行选择包括基于所述经译码块内的所述相应像素的所述局部统计数据选择所述预测样本与所述预测样本的所述经滤波版本中的一者。
30.根据权利要求24所述的方法，其进一步包括：
对于所述预测样本中的每一预测样本计算至少一个局部统计数据；
对于所述预测样本中的每一预测样本，基于每一预测样本的所述至少一个局部统计数据从多个不同滤波器中选择滤波器；以及
将每一选定滤波器应用于对应预测样本以产生所述预测样本的所述经滤波版本，
其中每一预测样本的所述至少一个局部统计数据包括与所述对应预测样本相关联的局部梯度、方差、强度值或位置中的至少一者。
31.根据权利要求24所述的方法，其中计算所述经译码块中的所述多个像素中的每个相应像素的所述局部统计数据进一步包括计算所述相应像素的至少一个局部因果相邻像素的每个相应像素的局部统计数据。
32.根据权利要求31所述的方法，其中所述相应像素的所述至少一个局部因果相邻像素包括邻近于所述相应像素的四个像素。
33.一种用于对数据进行解码的装置，其包括视频解码器，所述视频解码器经配置以进行以下操作：
接收指示视频帧的至少一部分的像素的经译码块，确定与所述经译码块相关联的预测样本；
计算所述视频帧的与所述经译码块相关联的所述部分中的多个像素中的每个像素的局部统计数据，其中所述局部统计数据包括方差，所述方差基于两个或更多个其他像素的值之间的局部梯度，所述其他像素包含于所述经译码块内，并且与所述局部统计数据被计算的像素相邻；
针对所述多个像素中的每个相应像素，基于所述局部统计数据在所述预测样本与所述预测样本的经滤波版本之间进行选择；
针对所述多个像素中的每个相应像素，应用所述预测样本的相应选定版本来对相应像素进行帧内预测；以及
使用经帧内预测的像素对所述经译码块进行解码。
34.根据权利要求33所述的装置，其中所述视频解码器进一步经配置以确定所述局部统计数据的阈值，且其中基于所述局部统计数据在所述预测样本与所述预测样本的经滤波版本之间进行选择进一步配置所述视频解码器以当所述局部统计数据的值低于所述阈值时选择所述预测样本，且当所述局部统计数据的所述值等于或大于所述阈值时选择所述预测样本的所述经滤波版本。
35.根据权利要求33所述的装置，其中所述局部统计数据为第一局部统计数据，且其中所述视频解码器进一步经配置以进行以下操作：对于每一预测样本，计算所述预测样本中的一预测样本的第二局部统计数据；基于每一预测样本的所述第二局部统计数据从多个不同滤波器中选择滤波器；以及将每一选定滤波器应用于对应预测样本以产生所述预测样本的所述经滤波版本。
36.根据权利要求35所述的装置，其中所述视频解码器进一步经配置以确定所述第二局部统计数据的阈值，且其中基于每一预测样本的所述第二局部统计数据从多个不同滤波器中选择滤波器进一步配置所述视频解码器以当所述第二局部统计数据的值低于所述阈值时选择第一滤波器，且当所述第二局部统计数据的所述值等于或大于所述阈值时选择第二滤波器。
37.根据权利要求33所述的装置，其中至少部分地基于与所述其他像素中的一个或多个相关联的一个或多个强度值或与所述其他像素中的一个或多个相关联的一个或多个位置来计算所述局部统计数据。
38.根据权利要求33所述的装置，其中所述视频解码器进一步经配置以在所述预测样本与所述预测样本的所述经滤波版本之间进行选择包括基于所述经译码块内的所述相应像素的所述局部统计数据选择所述预测样本与所述预测样本的所述经滤波版本中的一者。
39.根据权利要求33所述的装置，其中所述视频解码器进一步经配置以进行以下操作：
对于所述预测样本中的每一预测样本计算至少一个局部统计数据；
对于所述预测样本中的每一预测样本，基于每一预测样本的所述至少一个局部统计数据从多个不同滤波器中选择滤波器；以及
将每一选定滤波器应用于对应预测样本以产生所述预测样本的所述经滤波版本，
其中每一预测样本的所述至少一个局部统计数据包括与所述对应预测样本相关联的局部梯度、方差、强度值或位置中的至少一者。
40.根据权利要求33所述的装置，其中所述经译码块中的所述多个像素中的每个相应像素的所述局部统计数据进一步包括所述相应像素的至少一个局部因果相邻像素的每个相应像素的局部统计数据。
41.根据权利要求40所述的装置，其中所述相应像素的所述至少一个局部因果相邻像素包括邻近于所述相应像素的四个像素。
42.一种用于处理视频数据的装置，其包括：
用于接收指示视频帧的至少一部分的像素的经译码块的装置；
用于确定与所述经译码块相关联的预测样本的装置；
用于计算所述视频帧的与所述经译码块相关联的所述部分中的多个像素中的每个像素的局部统计数据的装置，其中所述局部统计数据包括方差，所述方差基于两个或更多个其他像素的值之间的局部梯度，所述其他像素包含于所述经译码块内，并且与所述局部统计数据被计算的像素相邻；
用于针对所述多个像素中的每个相应像素，基于所述局部统计数据在所述预测样本与所述预测样本的经滤波版本之间进行选择的装置；
用于针对所述多个像素中的每个相应像素，应用所述预测样本的相应选定版本来对相应像素进行帧内预测的装置；以及
用于使用经帧内预测的像素对所述经译码块进行解码的装置。
43.根据权利要求42所述的装置，其进一步包括：
用于确定所述局部统计数据的阈值的装置，以及
其中用于基于所述局部统计数据在所述预测样本与所述预测样本的经滤波版本之间进行选择的装置进一步包括：
用于当所述局部统计数据的值低于所述阈值时选择所述预测样本的装置；以及
用于当所述局部统计数据的所述值等于或大于所述阈值时选择所述预测样本的所述经滤波版本的装置。
44.根据权利要求42所述的装置，其中所述局部统计数据为第一局部统计数据，且所述装置进一步包括：
对于每一预测样本，用于计算所述预测样本中的一预测样本的第二局部统计数据的装置；
对于每一预测样本，用于基于每一预测样本的所述第二局部统计数据从多个不同滤波器中选择滤波器的装置；以及
用于将每一选定滤波器应用于对应预测样本以产生所述预测样本的所述经滤波版本的装置。
45.根据权利要求44所述的装置，其进一步包括：
用于确定所述第二局部统计数据的阈值的装置，以及
其中用于对于每一预测样本基于所述第二局部统计数据从多个不同滤波器中选择滤波器的装置进一步包括：
用于当所述第二局部统计数据的值低于所述阈值时选择第一滤波器的装置；以及
用于当所述第二局部统计数据的所述值等于或大于所述阈值时选择第二滤波器的装置。
46.根据权利要求42所述的装置，其中用于计算所述局部统计数据的装置包括用于至少部分地基于与所述其他像素中的一个或多个相关联的一个或多个强度值或与所述其他像素中的一个或多个相关联的一个或多个位置来计算所述局部统计数据的装置。
47.根据权利要求42所述的装置，其进一步包括用于基于所述经译码块内的所述相应像素的所述局部统计数据选择所述预测样本与所述预测样本的所述经滤波版本中的一者的装置。
48.根据权利要求42所述的装置，其进一步包括：
用于对于所述预测样本中的每一预测样本计算至少一个局部统计数据的装置；
用于对于所述预测样本中的每一预测样本基于每一预测样本的所述至少一个局部统计数据从多个不同滤波器中选择滤波器的装置；以及
用于将每一选定滤波器应用于对应预测样本以产生所述预测样本的所述经滤波版本的装置，
其中每一预测样本的所述至少一个局部统计数据包括与所述对应预测样本相关联的局部梯度、方差、强度值或位置中的至少一者。
49.根据权利要求42所述的装置，其中计算所述经译码块中的所述多个像素中的每个相应像素的所述局部统计数据进一步包括计算所述相应像素的至少一个局部因果相邻像素的每个相应像素的局部统计数据。
50.根据权利要求49所述的装置，其中所述相应像素的所述至少一个局部因果相邻像素包括邻近于所述相应像素的四个像素。
CN201280006900.6A 2011-01-28 2012-01-18 像素层级自适应帧内平滑化 Expired - Fee Related CN103348677B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201161437482P 2011-01-28 2011-01-28
US61/437,482 2011-01-28
US201161507459P 2011-07-13 2011-07-13
US61/507,459 2011-07-13
US13/267,762 US9930366B2 (en) 2011-01-28 2011-10-06 Pixel level adaptive intra-smoothing
US13/267,762 2011-10-06
PCT/US2012/021747 WO2012102929A1 (en) 2011-01-28 2012-01-18 Pixel level adaptive intra-smoothing

Publications (2)

Publication Number Publication Date
CN103348677A CN103348677A (zh) 2013-10-09
CN103348677B true CN103348677B (zh) 2017-03-22

Family

ID=46577361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280006900.6A Expired - Fee Related CN103348677B (zh) 2011-01-28 2012-01-18 像素层级自适应帧内平滑化

Country Status (6)

Country Link
US (1) US9930366B2 (zh)
EP (1) EP2668780A1 (zh)
JP (1) JP5859572B2 (zh)
KR (2) KR20160052808A (zh)
CN (1) CN103348677B (zh)
WO (1) WO2012102929A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8520739B2 (en) 2005-05-09 2013-08-27 Intel Corporation Method and apparatus for adaptively reducing artifacts in block-coded video
KR102427824B1 (ko) * 2010-12-08 2022-08-02 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
EP2658263B1 (en) * 2010-12-22 2022-12-14 LG Electronics Inc. Intra prediction method and apparatus using the method
US9288500B2 (en) 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
KR101383775B1 (ko) * 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치
CN108391135B (zh) * 2011-06-15 2022-07-19 韩国电子通信研究院 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
US9693070B2 (en) * 2011-06-24 2017-06-27 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
EP2582134A1 (en) * 2011-10-12 2013-04-17 Thomson Licensing Saliency value determination of predictively encoded video streams
KR20130050149A (ko) 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
US9307237B2 (en) * 2012-01-19 2016-04-05 Futurewei Technologies, Inc. Reference pixel reduction for intra LM prediction
US9843801B2 (en) 2012-07-10 2017-12-12 Qualcomm Incorporated Generalized residual prediction for scalable video coding and 3D video coding
JP5997545B2 (ja) * 2012-08-22 2016-09-28 キヤノン株式会社 信号処理方法及び信号処理装置
WO2014050971A1 (ja) * 2012-09-28 2014-04-03 日本電信電話株式会社 イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
US9743091B2 (en) * 2012-12-17 2017-08-22 Lg Electronics Inc. Method for encoding/decoding image, and device using same
WO2015011752A1 (ja) * 2013-07-22 2015-01-29 ルネサスエレクトロニクス株式会社 動画像符号化装置およびその動作方法
EP2938073A1 (en) * 2014-04-24 2015-10-28 Thomson Licensing Methods for encoding and decoding a picture and corresponding devices
BR112016013761B1 (pt) 2014-05-23 2023-03-14 Huawei Technologies Co., Ltd Método e aparelho para reconstruir blocos de imagem utilizando predição, e meio de armazenamento legível por computador
WO2015200820A1 (en) * 2014-06-26 2015-12-30 Huawei Technologies Co., Ltd. Method and device for providing depth based block partitioning in high efficiency video coding
US9565451B1 (en) * 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
US11477484B2 (en) * 2015-06-22 2022-10-18 Qualcomm Incorporated Video intra prediction using hybrid recursive filters
CN105049846B (zh) * 2015-08-14 2019-05-21 广东中星微电子有限公司 图像和视频编解码的方法和设备
CN108141589B (zh) * 2015-09-29 2021-08-27 Lg 电子株式会社 图像编译系统中对图像进行滤波的方法和装置
US10425648B2 (en) * 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
KR20180075558A (ko) * 2015-11-24 2018-07-04 삼성전자주식회사 비디오 복호화 방법 및 장치, 그 부호화 방법 및 장치
EP3396953A4 (en) 2016-02-16 2019-01-16 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR ENCODING / DECODING AN IMAGE
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
KR102383104B1 (ko) 2016-06-24 2022-04-06 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10742979B2 (en) * 2016-12-21 2020-08-11 Arris Enterprises Llc Nonlinear local activity for adaptive quantization
WO2018128345A2 (ko) * 2017-01-04 2018-07-12 삼성전자 주식회사 복호화 방법 및 그 장치
US10694181B2 (en) * 2017-01-27 2020-06-23 Qualcomm Incorporated Bilateral filters in video coding with reduced complexity
WO2018142823A1 (en) * 2017-01-31 2018-08-09 Sharp Kabushiki Kaisha Systems and methods for scaling transform coefficient level values
JP7036628B2 (ja) * 2017-03-10 2022-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2018236031A1 (ko) * 2017-06-21 2018-12-27 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US10902559B2 (en) 2017-08-04 2021-01-26 Outward, Inc. Machine learning based image processing techniques
US11695930B2 (en) 2017-09-28 2023-07-04 Samsung Electronics Co., Ltd. Image encoding method and apparatus, and image decoding method and apparatus
US10965941B2 (en) 2017-10-09 2021-03-30 Qualcomm Incorporated Position-dependent prediction combinations in video coding
CN111713110B (zh) * 2017-12-08 2024-08-23 松下电器（美国）知识产权公司 图像编码设备、图像解码设备、图像编码方法以及图像解码方法
CN117834831A (zh) * 2018-01-16 2024-04-05 Vid拓展公司 用于360度视频译码的自适应帧封装
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070121731A1 (en) * 2005-11-30 2007-05-31 Akiyuki Tanizawa Image encoding/image decoding method and image encoding/image decoding apparatus
US20100111431A1 (en) * 2008-11-05 2010-05-06 Sony Corporation Intra prediction with adaptive interpolation filtering for image compression
CN101754015A (zh) * 2008-12-10 2010-06-23 辉达公司 图像数据的基于测量且可扩展的去块滤波
EP2252063A1 (en) * 2008-03-07 2010-11-17 Kabushiki Kaisha Toshiba Dynamic image encoding/decoding device

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6037986A (en) 1996-07-16 2000-03-14 Divicom Inc. Video preprocessing method and apparatus with selective filtering based on motion detection
KR100269125B1 (ko) * 1997-10-25 2000-10-16 윤덕용 양자화효과감소를위한영상데이터후처리방법및장치
US6907079B2 (en) * 2002-05-01 2005-06-14 Thomson Licensing S.A. Deblocking filter conditioned on pixel brightness
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
JP3997171B2 (ja) * 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
US7317842B2 (en) 2003-10-30 2008-01-08 Samsung Electronics Co., Ltd. Global and local statistics controlled noise reduction system
US7412109B2 (en) * 2003-11-07 2008-08-12 Mitsubishi Electric Research Laboratories, Inc. System and method for filtering artifacts in images
US7400679B2 (en) * 2004-04-29 2008-07-15 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7539248B2 (en) * 2004-04-29 2009-05-26 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7359565B2 (en) 2004-05-03 2008-04-15 International Business Machines Corporation Method of filtering pixels in a video encoding process
US20060233253A1 (en) * 2005-03-10 2006-10-19 Qualcomm Incorporated Interpolated frame deblocking operation for frame rate up conversion applications
US7680355B2 (en) * 2005-05-02 2010-03-16 Intel Corporation Detection of artifacts resulting from image signal decompression
US7873224B2 (en) * 2006-03-01 2011-01-18 Qualcomm Incorporated Enhanced image/video quality through artifact evaluation
KR100745765B1 (ko) 2006-04-13 2007-08-02 삼성전자주식회사 화상 데이터의 공간상 예측 장치 및 방법과 그를 이용한부호화 장치 및 방법, 화상 데이터의 공간상 예측 보상장치 및 방법과 그를 이용한 복호화 장치 및 방법
WO2008048489A2 (en) 2006-10-18 2008-04-24 Thomson Licensing Method and apparatus for video coding using prediction data refinement
RU2461977C2 (ru) * 2006-12-18 2012-09-20 Конинклейке Филипс Электроникс Н.В. Сжатие и снятие сжатия изображения
KR101378338B1 (ko) 2007-06-14 2014-03-28 삼성전자주식회사 영상 복구를 이용한 인트라 예측 부호화, 복호화 방법 및장치
EP2232874B1 (en) * 2008-01-08 2012-12-05 Telefonaktiebolaget L M Ericsson (publ) Adaptive filtering
KR101591825B1 (ko) 2008-03-27 2016-02-18 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩 방법 및 장치
KR101517768B1 (ko) 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
EP2486731B1 (en) * 2009-10-05 2018-11-07 InterDigital Madison Patent Holdings Methods and apparatus for adaptive filtering of prediction pixels for chroma components in video encoding and decoding
WO2011132400A1 (ja) 2010-04-22 2011-10-27 パナソニック株式会社 画像符号化方法及び画像復号化方法
BR112012027438B1 (pt) * 2010-04-26 2022-02-22 Sun Patent Trust Método para decodificar, meio legível por computador e aparelho para decodificar
US20130058421A1 (en) * 2010-05-17 2013-03-07 Thomson Licensing Methods and apparatus for adaptive directional filter for video restoration
PT3457689T (pt) 2010-05-25 2020-10-15 Lg Electronics Inc Novo modo de previsão planar
US9258573B2 (en) * 2010-12-07 2016-02-09 Panasonic Intellectual Property Corporation Of America Pixel adaptive intra smoothing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070121731A1 (en) * 2005-11-30 2007-05-31 Akiyuki Tanizawa Image encoding/image decoding method and image encoding/image decoding apparatus
EP2252063A1 (en) * 2008-03-07 2010-11-17 Kabushiki Kaisha Toshiba Dynamic image encoding/decoding device
US20100111431A1 (en) * 2008-11-05 2010-05-06 Sony Corporation Intra prediction with adaptive interpolation filtering for image compression
CN101754015A (zh) * 2008-12-10 2010-06-23 辉达公司 图像数据的基于测量且可扩展的去块滤波

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Video Coding Using a Simplified Block Structure and Advanced;FRANK BOSSEN ET AL;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY，IEEE SERVICE CENTER，PISCATAWAY，NJ，US》;20101201;第20卷(第12期);1667-1675 *

Also Published As

Publication number Publication date
US20120195378A1 (en) 2012-08-02
US9930366B2 (en) 2018-03-27
EP2668780A1 (en) 2013-12-04
KR101864910B1 (ko) 2018-06-05
JP5859572B2 (ja) 2016-02-10
CN103348677A (zh) 2013-10-09
JP2014506755A (ja) 2014-03-17
KR20160052808A (ko) 2016-05-12
KR20130119494A (ko) 2013-10-31
WO2012102929A1 (en) 2012-08-02

Similar Documents

Publication Publication Date Title
CN103348677B (zh) 像素层级自适应帧内平滑化
CN105532007B (zh) 在视频译码中用于非亮度分量的自适应解块滤波
CN105474645B (zh) 对视频数据进行解码的方法、对视频数据进行编码的方法、视频解码装置及视频编码装置
CN104584550B (zh) 用于可缩放视频译码的帧内预测改善
CN104303501B (zh) 用于视频译码的量化矩阵和解块滤波器
CN103999465B (zh) 自适应性重叠块运动补偿
CN106105201B (zh) 使用像素距离的解块滤波
CN105723707B (zh) 用于视频译码的色彩残差预测
CN105493507B (zh) 用于帧内块复制的残余预测
CN103404144B (zh) 视频译码中的经量化脉码调制
CN106797466B (zh) 一种处理视频数据的方法及装置
CN103959777B (zh) 视频译码中的与自适应环路滤波器合并的样本自适应偏移
CN103891293B (zh) 用于色度分量的自适应环路滤波的方法及设备
CN103703778B (zh) 三维视频编解码器中的深度图的切片标头预测
CN103703777B (zh) 对具有深度范围变化的运动深度图进行译码
CN104737537B (zh) 用于译码数字视频的设备、解码视频的方法、编码视频的方法及计算机可读存储媒体
CN104205829B (zh) 合并信令及环路滤波器开/关信令
CN104221380B (zh) 用于并行运动估计的共同空间候选块
CN103609121B (zh) 统一合并模式和自适应运动向量预测模式候选者选择
CN104054344B (zh) 对色度数据进行解块以用于视频译码
CN104205836B (zh) 用于视频编码中色度切片层级量化参数偏移及解块的方法和产品
CN105191315B (zh) 一种用于对视频信息进行译码的方法和设备
CN103947205B (zh) 帧内模式译码中的参考模式选择
CN103563378B (zh) 存储器高效的上下文建模
CN104137542B (zh) 在视频译码过程中对与残余视频数据相关联的变换系数进行译码的方法、设备以及计算机可读介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170322

Termination date: 20220118

CF01 Termination of patent right due to non-payment of annual fee