CN109964482B - 视频译码中指示双边滤波器使用的方法 - Google Patents

视频译码中指示双边滤波器使用的方法 Download PDF

Info

Publication number
CN109964482B
CN109964482B CN201780070555.5A CN201780070555A CN109964482B CN 109964482 B CN109964482 B CN 109964482B CN 201780070555 A CN201780070555 A CN 201780070555A CN 109964482 B CN109964482 B CN 109964482B
Authority
CN
China
Prior art keywords
video
video block
block
bilateral filtering
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780070555.5A
Other languages
English (en)
Other versions
CN109964482A (zh
Inventor
张莉
钱威俊
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109964482A publication Critical patent/CN109964482A/zh
Application granted granted Critical
Publication of CN109964482B publication Critical patent/CN109964482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

包含通过编码器和解码器两者使用应用到经重构块的双边滤波器作为环路内滤波器。具体地说，实施例包含显式和隐式地传送哪些块要应用双边滤波的信号的系统和方法。例如，一个实施例包含一种方法，所述方法包含根据预测模式预测视频块以生成所述视频块的经预测视频块，及基于所述经预测视频块重构与所述视频块相关联的样本。所述方法进一步包含确定是否向所述经重构视频数据应用双边滤波，并基于所述确定对所述经重构样本执行双边滤波。

Description

视频译码中指示双边滤波器使用的方法
根据35 U.S.C.§119主张优先权
本专利申请主张2016年12月1日提交的名称为“视频译码中双边滤波器使用的指示(Indication of Bilateral Filter Usage in Video Coding)”的第62/429,052号临时申请的优先权，所述申请让渡给本受让人并特此以引用的方式明确地并入本文中。
技术领域
本公开涉及视频译码，例如，经压缩视频位流的编码和解码。
背景技术
数字视频能力可并入到各种装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置等等。数字视频装置实施视频压缩技术，例如描述于以下各项中的那些技术：由MPEG-2、MPEG-4、 ITU-T H.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、最近完成的ITU-T H.265高效率视频译码(HEVC)标准，及这些标准的扩展。视频装置可通过实施这些视频压缩技术而更高效地传输、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(即，视频帧或视频帧的一部分)可分割成视频块，视频块也可被称作树块、译码单元(CU)及/或译码节点。使用相对于相同图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于相同图片中的相邻块中的参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测产生待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据来编码。经帧内译码块根据帧内译码模式及残余数据来编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可量化所述残余变换系数。可扫描最初布置成二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。
发明内容
大体来说，本公开描述与滤波相关的技术，例如通过编码器和解码器作为环路内滤波器应用到经重构块的双边滤波的使用。具体地说，此类滤波可通过减少特定位速率下的假影来提高总译码效率。然而，在应用此类双边滤波时，此类效率需要高效传信。实施例包含显式和隐式地传送哪些块要应用双边滤波的信号的系统和方法。
一个实施例包含一种对视频数据进行解码的方法。方法包含从视频位流解码指示用于对视频块进行译码的模式的数据。方法进一步包含：根据经解码模式预测视频块以生成视频块的经预测视频块，从位流解码指示视频块和经预测视频块之间的差的数据，以及基于经预测视频块和差重构与视频块相关联的样本。方法进一步包含从位流解码指示是否向经重构视频数据应用双边滤波的标志。方法进一步包含基于标志对经重构样本执行双边滤波。
另一实施例包含一种对视频数据进行编码的方法。方法包含将指示用于对视频块进行译码的模式的数据编码到视频位流中，根据模式预测视频块以生成视频块的预测性块，将指示视频块和经预测视频块之间的差的数据编码到位流中，以及基于经预测视频块和差重构与视频块相关联的样本。方法进一步包含将指示是否向经重构视频数据应用双边滤波的标志编码到位流中，并基于标志的值对经重构样本执行双边滤波。
一个实施例包含一种用于对视频数据进行解码的设备。所述设备包含用于从视频位流解码指示用于对视频块进行译码的模式的数据的装置。所述设备进一步包含用于根据经解码模式预测视频块以生成视频块的经预测视频块的装置、用于从位流解码指示视频块和经预测视频块之间的差的数据的装置，以及用于基于经预测视频块和差重构与视频块相关联的样本的装置。所述设备进一步包含用于从位流解码指示是否向经重构视频数据应用双边滤波的标志的装置。所述设备进一步包含用于基于标志对经重构样本执行双边滤波的装置。
另一实施例包含用于对视频数据进行编码的装置。所述设备包含用于将指示用于对视频块进行译码的模式的数据编码到视频位流中的装置、用于根据模式预测视频块以生成视频块的预测性块的装置，用于将指示视频块和经预测视频块之间的差的数据编码到位流中的装置，以及用于基于经预测视频块和差重构与视频块相关联的样本的装置。所述设备进一步包含用于将指示是否向经重构视频数据应用双边滤波的标志编码到位流中的装置和用于基于标志的值对经重构样本执行双边滤波的装置。
另一实施例包含一种对视频数据进行编码的方法。方法包含将指示用于对视频块进行译码的模式的数据编码到视频位流中，根据模式预测视频块以生成视频块的预测性块，将指示视频块和经预测视频块之间的差的数据编码到位流中，以及基于经预测视频块和差重构与视频块相关联的样本。方法进一步包含将指示是否向经重构视频数据应用双边滤波的标志编码到位流中，并基于标志的值对经重构样本执行双边滤波。
一个实施例包含一种用于对视频数据进行解码的设备。所述设备包含经配置以存储视频数据的存储器。所述设备进一步包含视频处理器，所述视频处理器经配置以从视频位流解码指示用于对视频块进行译码的模式的数据，根据经解码模式预测视频块以生成视频块的预测性块，从位流解码指示视频块和经预测视频块之间的差的数据，基于经预测视频块和差重构与视频块相关联的样本，从位流解码指示是否向经重构视频数据应用双边滤波的标志，以及基于标志对经重构样本执行双边滤波。
一个实施例包含一种用于对视频数据进行编码的设备。所述设备包含经配置以存储视频数据的存储器。所述设备进一步包含视频处理器，所述视频处理器经配置以将指示用于对视频块进行译码的模式的数据编码到视频位流中，根据模式预测视频块以生成视频块的预测性块，将指示视频块和经预测视频块之间的差的数据编码到位流中，基于经预测视频块和差重构与视频块相关联的样本，将指示是否向经重构视频数据应用双边滤波的标志编码到位流中，以及基于标志的值对经重构样本执行双边滤波。
又一实施例包含一种对视频数据进行解码的方法。方法包含从视频位流解码指示用于对视频块进行译码的模式的数据。方法进一步包含根据经解码模式预测视频块以生成视频块的经预测视频块，从位流解码指示视频块和经预测视频块之间的差的数据，以及基于经预测视频块和差重构与视频块相关联的样本。方法进一步包含基于以下中的至少一个解码确定是否向经重构视频数据应用双边滤波：与视频块相关联的切片类型、与视频块相关联的运动精度、指示视频块和经预测视频块之间的差的变换系数、用于对视频块进行译码的模式或与块相关联的解块滤波器参数。方法进一步包含基于所述确定对经重构样本执行双边滤波。
附图说明
图1是说明变换单元块的实例和特定样本的滤波器孔径的图。
图2是说明可利用本公开中描述的技术的实例视频编码和解码系统的框图。
图3是说明可实施本公开中描述的技术的实例视频编码器的框图。
图4是说明可实施本公开中描述的技术的实例视频解码器的框图。
图5是说明对视频数据进行编码的方法的一个实施例的流程图。
图6是说明对视频数据进行解码的方法的一个实施例的流程图。
具体实施方式
视频编解码器可限定成使得编码器和解码器包含环路内滤波器，所述环路内滤波器在重构图片的块之后向图片的全部或部分应用滤波过程。在环路内滤波器中，滤波结果放置在具有图片的经解码图片缓冲器中，所述图片可用作用于对其它块进行帧间预测(例如在其它图片中)的参考图片。相比而言，向图片应用后滤波器，使得经滤波图片不用于帧间预测。因为应用环路内滤波器使得经滤波数据用于预测其它块，所以此类滤波器应该是编解码器规范的部分并在编码器和解码器处应用。视频编码器基于例如率失真优化的技术或应用到编码器和解码器的某些规则而确定哪些块上将应用特定环路内滤波器。
HEVC视频标准采用两个环路内滤波器，包含解块滤波器(DBF)和样本自适应偏移(SAO)滤波器。解块滤波器在经译码块边界处执行假影检测并通过应用所选滤波器来减轻它们。SAO的概念是通过首先利用所选分类器将区域样本分类成多个类别，获得每一类别的偏移，然后将所述偏移添加到所述类别的每一样本来减小区域的平均样本失真，其中分类器索引和区域的偏移在位流中进行译码。在HEVC中，区域(用于SAO参数传信的单元)限定为译码树单元(CTU)。在HEVC中采用可以满足低复杂性的要求的两个 SAO类型：边缘偏移(EO)和带偏移(BO)。对于EO，样本分类是基于根据1D定向模式——水平、竖直、135°对角线和45°对角线——的当前样本和相邻样本之间的比较。对于BO，样本分类是基于样本值。为了减少旁侧信息，多个CTU可以合并在一起(复制来自上部 CTU的参数(通过将sao_merge_left_flag设置成等于1)或左侧CTU的参数(通过将 sao_merge_up_flag设置成等于1)以共享SAO参数。
ITU-T VCEG(Q6/16)和ISO/IEC MPEG(JTC 1/SC 29/WG 11)目前正在研究具有大大超过当前HEVC标准(包含其当前扩展及屏幕内容译码和高动态范围译码的近似项扩展)的压缩能力的压缩能力的未来视频译码技术的标准化的潜在需要。这些小组通过被称为联合视频探索小组(JVET)的联合协作工作一起致力于这一探索活动以评估由他们在这个领域中的专家提出的压缩技术设计。JVET在2015年10月19日到21日期间首次会见。并且，参考软件的最新版本，即，联合探索模型3(JEM3)可获自https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-3.0/。
文档编号被称为JVET-C1001的联合探索测试模型3(JEM3)的算法描述可获自http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php？id＝2714。
除了修改后的DB和HEVC SAO方法之外，JEM还包含另一滤波方法，被称作基于几何结构变换的自适应环路滤波(GALF)。GALF旨在通过引入若干个新方面来改进 HEVC阶段研究的ALF的译码效率。ALF旨在通过使用基于威纳的自适应滤波器 (Wiener-basedadaptive filter)来最小化原始样本和经解码样本之间的均方误差。图片中的样本分类成多个类别，并且每一类别中的样本接着利用它们相关联的自适应滤波器来滤波。滤波器系数可进行传信或继承以优化均方误差和开销之间的权衡。
可使用其它类型的环路内滤波器。已提出双边滤波以免边缘中的像素出现非所要的过度平滑。双边滤波包含相邻样本的加权以便考虑像素值自身，从而对具有类似亮度或色度值的那些像素加权更多。位于(i,j)处的样本使用它的相邻样本(k,l)滤波。权重ω(i,j,k,l)是分配用于样本(k,l)以对样本(i,j)进行滤波的权重，它被定义为：
Figure BDA0002059913160000051
I(i,j)和I(k,l)分别是样本(i,j)和(k,l)的强度值。σd是空间参数，且σr是范围参数。经滤波样本值由ID(i,j)表示的滤波过程可定义为：
Figure BDA0002059913160000052
在一些实施例中，双边滤波器的性质(或强度)受这两个参数控制。位置更接近待滤波样本的样本和与待滤波样本具有更小强度差的样本的权重比更远和具有更大强度差的样本的权重大。在一些实施例中，变换单元(TU)中的每一经重构样本仅使用它的直接相邻经重构样本来滤波。
具体地说，图1是实例变换单元4的图，例如，8x8变换，其说明包含以为待滤波样本中心的加号形状的滤波器孔径5的滤波器。在一个此类实例中，σd将基于变换单元大小来设置(3)，且σr将基于用于当前块的QP来设置(4)。
Figure BDA0002059913160000053
Figure BDA0002059913160000054
应注意，在一些实施例中，双边滤波仅应用到具有至少一个非零系数的亮度块。在此类实施例中，对于具有全零系数的所有色度块和亮度块，始终停用双边滤波方法。在此类实施例中，不需要显式传送指示哪些块将应用双边滤波的信号。
启用/停用双边滤波的现有实施例可具有仍然待处理的各种限制。例如，对检查TU中的全零系数的依赖性可基于假设重构块(其与预测块相同)可能已经滤波过。所述假设对于经帧间译码块来说可成立，但是对于经帧内译码块来说通常并不成立。另外，在一些情况下，启用和停用双边滤波的传信的其它实施例可改进译码效率。
在一些实施例中，传送标志以启用和/或停用双边滤波。例如，此类标志可在块的变换单元、预测单元或最大译码单元的语法元素中传送。
具体地说，在一些实施例中，在解块滤波器已应用到块之后，在环路内向块应用双边滤波。在此类实施例中可能需要显式地传送哪些块要应用双边滤波的信号。
在一些实施例中，此类标志可针对相同块在不同层级下传送，使得与低层级结构相关联的标志覆写与高层级结构相关联的标志(例如，变换单元层级标志覆写来自预测单元或最大译码单元的标志，或预测单元标志覆写最大译码单元标志等)。在其它实施例中，经传送标志可结合推断的确定结果来启用或停用双边滤波。例如，块或切片可根据本文中所公开的实施例中的一或多个基于推断是否应用双边滤波来覆写。
在一个实施例中，以类似于HEVC中的正负号数据隐藏的方式在块的一个变换系数中传送标志。在一个实施例中，以类似于HEVC中的正负号数据隐藏的方式在块的多个变换系数中传送标志。例如，编码器确定标志是被显式地传送还是“被隐藏”。判定包括将其扫描次序中的第一个和最后一个非零系数之间的系数的数目与预定义阈值进行比较。如果这个数字低于预定义阈值，那么标志经显式译码。否则，根据预定义的定则 (例如，偶数对应于“+”，奇数对应于“-”)，从经量化系数的总和的奇偶校验推断标志。
可替代地，在一些实施例中，双边滤波的启用/停用可视情况而定(推断)。根据一个此类实施例，确定启用/停用双边滤波可基于切片类型。在一个实例中，对于I切片，双边滤波可始终启用，而无需检查是否存在至少一个非零系数。对于P或/和B切片，可根据本文中所描述的任何其它实施例推断启用/禁用双边滤波或传送启用/禁用双边滤波的信号。
在一些实施例中，双边滤波的启用/停用可基于运动向量精度而定(推断)。在一个实例中，在用于块的帧间预测的运动向量指向整数位置(全像素精度)时，即使不存在非零系数，块也可进行滤波。可替代地，在块的运动向量指向子像素运动位置(子像素精度) 时，即使不存在非零系数，块也可进行滤波。
在一些实施例中，双边滤波的启用/停用可基于残余(像素域或变换域中)的强度而定 (推断)。例如，是否滤波可基于指示块的变换系数中的一些或全部的能量的值是否超过指定阈值。
在一些实施例中，对于块的顶部行(几个顶部行)和/或左侧列(几个左侧列)，双边滤波的启用/停用可基于对应解块滤波器参数而定(推断)。双边滤波的启用/停用可取决于指示是否要应用解块的参数，和/或指示解块滤波器的强度的参数。在一个实例中，所指示的上述解块参数可应用到块的其它边界样本，例如右侧列或下部行。
在一些实施例中，双边滤波的启用/停用可基于块的译码模式而定(推断)。例如，在一个此类实施例中，它可取决于模式是不是PDPC(位置相关帧内预测组合)。在一个实例中，当针对一个块启用这个或另一特定模式时，双边滤波方法停用。
还应认识到，尽管本文中关于作为环路内滤波器的双边滤波公开某些实施例，但是其它实施例可包含作为其中根据上文所描述的任何合适的实施例进行传信或隐式导出的后滤波器的双边滤波。
图2是说明可实施本公开中描述的技术的实例视频编码和解码系统10的框图。如图2所示，系统10包含源装置12，所述源装置12生成在稍后时间由目的地装置14解码的经编码视频数据。源装置12和目的地装置14可包括各种装置中的任一个，包含台式计算机、笔记本计算机(即，膝上型计算机)、平板计算机、机顶盒、手持机(例如所谓的“智能”电话、所谓的“智能”平板)、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置等等。在一些情况下，源装置12和目的地装置14可经装备以用于无线通信。
目的地装置14可通过链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括使得源装置12能够实时地将经编码视频数据直接传输到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如无线通信协议)调制，并传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络的一部分，例如局域网、广域网或全球网络(例如，互联网)。通信媒体可包含路由器、交换机、基站或可适用于促进源装置12 与目的地装置14之间的通信的任何其它设备。
可替代地，经编码数据可从输出接口22输出到存储装置26。类似地，经编码数据可通过输入接口从存储装置26存取。存储装置26可包含各种分布式或本地存取的数据存储媒体中的任一个，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或任何其它合适的用于存储经编码视频数据的数字存储媒体。在另一实例中，存储装置26可对应于文件服务器或另一可存储由源装置12生成的经编码视频的中间存储装置。目的地装置14可通过流式传输或下载从存储装置26存取所存储视频数据。文件服务器可以是能够存储经编码视频数据并向目的地装置14传输所述经编码视频数据的任何类型的服务器。实例文件服务器包含网络服务器(例如，对于网站)、FTP服务器、网络连接存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过包含互联网连接的任何标准数据连接存取经编码视频数据。这可包含无线信道(例如， Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或适用于存取存储在文件服务器上的经编码视频数据的这两者的组合。经编码视频数据从存储装置26的传输可为流式传输、下载传输或其组合。
本公开的技术不一定限制在无线应用或设置。所述技术可应用到视频译码以支持各种多媒体应用中的任一个，例如空中电视广播、有线电视传输、卫星电视传输、流式视频传输，例如，通过互联网、存储在数据存储媒体上的数字视频的编码、存储在数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输，从而支持各种应用，例如视频流式传输、视频回放、视频广播和/或视频电话。
在图2的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)和/或传输器。在源装置12中，视频源18可包含源，例如视频捕获装置，如摄像机、含有先前捕获的视频的视频存档、用于从视频内容提供者接收视频的视频馈送接口和/或用于生成计算机图形数据作为源视频的计算机图形系统，或此类源的组合。作为一个实例，如果视频源18是摄像机，那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而，本公开中描述的技术可一般适用于视频译码，并且可应用到无线和/或有线应用。
所捕获、预捕获或计算机生成的视频可由视频编码器20进行编码。可通过源装置12的输出接口22将经编码视频数据直接传输到目的地装置14。经编码视频数据还可(或替代地)存储到存储装置26上以供稍后由目的地装置14或其它装置存取，以用于解码和 /或回放。
目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些情况下，输入接口28可包含接收器和/或调制解调器。目的地装置14的输入接口28通过链路16 接收经编码视频数据。通过链路16传送或在存储装置26上提供的经编码视频数据可包含由视频编码器20生成的各种语法元素以供视频解码器(例如，视频解码器30)在对视频数据进行解码时使用。此类语法元素可包含于在通信媒体上传输的经编码视频数据中、存储在存储媒体上，或存储在文件服务器处。
显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，并且经配置以与外部显示装置介接。在其它实例中，目的地装置14可以是显示装置。大体来说，显示装置32向用户显示经解码视频数据，并且可包括各种显示装置中的任一个，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30可根据视频压缩标准操作，例如最近完成的高效视频译码(HEVC)标准，并且可符合HEVC测试模型(HM)。可替代地，视频编码器20和视频解码器30可根据其它专用或行业标准操作，例如ITU-T H.264标准(或称为MPEG-4)，第10部分，高级视频译码(AVC)，或此类标准的扩展。然而，本公开的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。
为了易于解释，本公开的技术可利用HEVC术语。然而，不应假设本公开的技术限于HEVC，实际上，应明确地设想本公开的技术可实施于HEVC和其扩展的后续标准中。
尽管在图2中未示出，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器及解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件及软件，以处理公共数据流或单独数据流中的音频和视频两者的编码。在一些实例中，若适用，则 MUX-DEMUX单元可符合ITU H.223多路复用器协议或其它协议，例如，用户数据报协议(UDP)。
视频编码器20和视频解码器30各自可实施为各种合适的编码器电路系统中的任一个，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当技术部分地实施为软件时，装置可在合适的非暂时性计算机可读媒体中存储用于所述软件的指令，并使用一或多个处理器执行硬件中的指令以执行本公开的技术。视频编码器20和视频解码器30 中的每一个可包含在一或多个编码器或解码器中，其中的任一个可集成为相应装置中的组合编码器/解码器(编解码器)的一部分。
如上文所介绍，JCT-VC最近已经完成HEVC标准的建立。HEVC标准化工作是基于被称为HEVC测试模型(HM)的视频译码装置的演进模型。HM根据例如ITU-T H.264/AVC假定相对于现有装置的视频译码装置的若干个额外能力。例如，尽管H.264 提供九个帧内预测编码模式，但是HM可提供多达三十五个帧内预测编码模式。
在HEVC和其它视频译码规范中，视频序列通常包含一连串图片。图片还可被称作“帧”。图片可包含三个样本阵列，表示SL、SCb和SCr。SL是亮度样本的二维阵列(即，块)。SCb是Cb色度样本的二维阵列。SCr是Cr色度样本的二维阵列。色度(Chrominance) 样本在本文中还可被称作“色度(chroma)”样本。在其它情况下，图片可以是单色的，并且可以仅包含亮度样本阵列。
为了生成图片的经编码表示，视频编码器20可生成一组译码树单元(CTU)。每一个CTU可包括亮度样本的译码树块、色度样本的两个对应译码树块，及用于对译码树块的样本进行译码的语法结构。在单色图片或具有三个不同颜色平面的图片中，CTU可包括单个译码树块及用于对译码树块的样本进行译码的语法结构。译码树块可为NxN样本块。CTU还可被称作“树块”或“最大译码单元”(LCU)。HEVC的CTU可大致类似于其它标准(例如，H.264/AVC)的宏块。然而，CTU不一定限于特定大小，并且可包含一或多个译码单元(CU)。切片可包含以光栅扫描次序连续排序的整数数目个CTU。
为了生成经译码CTU，视频编码器20可以递归方式对CTU的译码树块执行四叉树分割以将译码树块划分成译码块，译码块因此被称为“译码树单元”。译码块可为NxN 样本块。CU可包括图片的亮度样本的一个译码块和色度样本的两个对应译码块，及用于对译码块的样本进行译码的语法结构，所述图片具有亮度样本阵列、Cb样本阵列和 Cr样本阵列。在单色图片或具有三个不同颜色平面的图片中，CU可包括单个译码块及用于对译码块的样本进行译码的语法结构。
视频编码器20可将CU的译码块分割成一或多个预测块。预测块是其上应用相同预测的矩形(即，正方形或非正方形)样本块。CU的预测单元(PU)可包括亮度样本的一个预测块、色度样本的两个对应预测块，及用于预测预测块的语法结构。在单色图片或具有三个不同颜色平面的图片中，PU可包括单个预测块及用于预测预测块的语法结构。视频编码器20可针对CU的每一PU的亮度、Cb和Cr预测块生成预测性亮度、Cb和Cr 块。
视频编码器20可使用帧内预测或帧间预测来生成PU的预测性块。如果视频编码器20使用帧内预测来生成PU的预测性块，那么视频编码器20可基于与PU相关联的图片的经解码样本来生成PU的预测性块。如果视频编码器20使用帧间预测来生成PU的预测性块，那么视频编码器20可基于除与PU相关联的图片以外的一或多个图片的经解码样本来生成PU的预测性块。
在视频编码器20生成CU的一或多个PU的预测性亮度、Cb和Cr块之后，视频编码器20可生成CU的亮度残余块。CU的亮度残余块中的每一样本指示一个CU的预测性亮度块中的亮度样本和CU的原始亮度译码块中的对应样本之间的差。此外，视频编码器20可生成CU的Cb残余块。CU的Cb残余块中的每一样本可指示一个CU的预测性Cb块中的Cb样本和CU的原始Cb译码块中的对应样本之间的差。视频编码器20 还可生成CU的Cr残余块。CU的Cr残余块中的每一样本可指示一个CU的预测性Cr 块中的Cr样本和CU的原始Cr译码块中的对应样本之间的差。
此外，视频编码器20可使用四叉树分割将CU的亮度、Cb和Cr残余块分解成一或多个亮度、Cb和Cr变换块。变换块是其上应用相同变换的矩形(例如，正方形或非正方形)样本块。CU的变换单元(TU)可包括亮度样本的一个变换块、色度样本的两个对应变换块，及用于变换变换块样本的语法结构。因此，CU的每一TU可与亮度变换块、Cb 变换块和Cr变换块相关联。与TU相关联的亮度变换块可以是CU的亮度残余块的子块。 Cb变换块可以是CU的Cb残余块的子块。Cr变换块可以是CU的Cr残余块的子块。在单色图片或具有三个不同颜色平面的图片中，TU可包括单个变换块及用于变换变换块的样本的语法结构。
视频编码器20可向TU的亮度变换块应用一或多个变换以生成TU的亮度系数块。系数块可以是变换系数的二维阵列。变换系数可以是标量。视频编码器20可向TU的 Cb变换块应用一或多个变换以生成TU的Cb系数块。视频编码器20可向TU的Cr变换块应用一或多个变换以生成TU的Cr系数块。
在生成系数块(例如，亮度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化系数块。量化通常是指其中变换系数进行量化以可能地减少用于表示变换系数的数据量从而提供进一步压缩的过程。在视频编码器20量化系数块之后，视频编码器20可对指示经量化变换系数的语法元素进行熵编码。例如，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。
视频编码器20可输出包含形成经译码图片和相关联的数据的表示的位序列的位流。位流可包括一系列NAL单元。NAL单元是一种语法结构，所述语法结构含有NAL单元中的数据类型的指示，以及含有呈根据需要散置有防止竞争位的RBSP形式的所述数据的字节。每一个NAL单元包含NAL单元标头，并包封RBSP。NAL单元标头可包含指示NAL单元类型代码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型代码指示NAL单元的类型。RBSP可以是含有包封在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零位。
不同类型的NAL单元可包封不同类型的RBSP。例如，第一类型的NAL单元可包封PPS的RBSP，第二类型的NAL单元可包封经译码切片的RBSP，第三类型的NAL 单元可包封SEI消息的RBSP等等。包封视频译码数据的RBSP(与参数集和SEI消息的 RBSP相反)的NAL单元可被称作VCL NAL单元。
视频解码器30可接收由视频编码器20生成的位流。此外，视频解码器30可解析位流以从位流获得语法元素。视频解码器30可至少部分地基于从位流获得的语法元素重构视频数据的图片。重构视频数据的过程通常可与由视频编码器20执行的过程互反。此外，视频解码器30可逆量化与当前CU的TU相关联的系数块。视频解码器30可对系数块执行逆变换以重构与当前CU的TU相关联的变换块。视频解码器30可通过将当前CU的PU的预测性块的样本添加到当前CU的TU的变换块的对应样本来重构当前 CU的译码块。通过重构图片的每一CU的译码块，视频解码器30可以重构图片。
在视频译码的领域中，通常应用滤波来增强经解码视频信号的质量。滤波器可用作后滤波器，其中经滤波帧不用于预测未来帧，或用作环路内滤波器，其中经滤波帧可用于预测未来帧。
图3是说明可实施本公开中描述的技术的实例视频编码器20的框图。视频编码器20可在视频切片内执行视频块的帧内和帧间译码。帧内译码依赖于空间预测以减小或移除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测以减小或移除视频序列的邻近帧或图片内的视频的时间冗余。帧内模式(I模式)可以指若干个基于空间的压缩模式中的任一个。例如单向预测(P模式)或双向预测(B模式)的帧间模式可以指若干个基于时间的压缩模式中的任一个。
在图3的实例中，视频编码器20包含视频数据存储器33、分割单元35、预测处理单元41、求和器50、变换处理单元52、量化单元54、熵编码单元56。预测处理单元 41包含运动估计单元(MEU)42、运动补偿单元(MCU)44和帧内预测单元46。为了视频块重构，视频编码器20还包含逆量化单元58、逆变换处理单元60、求和器62、环路内滤波单元64和经解码图片缓冲器(DPB)66。
如图3所示，视频编码器20接收视频数据并在视频数据存储器33中存储接收到的视频数据。视频数据存储器33可存储通过视频编码器20的组件编码的视频数据。例如，可从视频源18获得存储在视频数据存储器33中的视频数据。DPB 66可以是存储参考视频数据以供视频编码器20对视频数据进行编码(例如，在帧内或帧间译码模式中)的参考图片存储器。视频数据存储器33和DPB 66可由各种存储器装置中的任一个形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻RAM(MRAM)、电阻 RAM(RRAM)或其它类型的存储器装置。视频数据存储器33和DPB 66可由相同存储器装置或不同存储器装置提供。在各种实例中，视频数据存储器33可与视频编码器20的其它组件一起在片上，或相对于那些组件在片外。
分割单元35从视频数据存储器33撷取视频数据并将视频数据分割成视频块。这一分割还可包含分割成切片、图块或其它较大单元，以及视频块分割，例如，根据LCU 和CU的四叉树结构。视频编码器20通常说明对待编码视频切片内的视频块进行编码的组件。切片可划分成多个视频块(和可能地划分成被称为图块的多组视频块)。预测处理单元41可基于误差结果(例如，译码速率和失真水平)为当前视频块选择多个可能译码模式中的一个，例如多个帧内译码模式中的一或多个帧间译码模式中的一个。预测处理单元41可将所得经帧内或帧间译码块提供到求和器50以生成残余块数据，并提供到求和器62以重构经编码块以便用作参考图片。
预测处理单元41内的帧内预测单元46可相对于与待译码的当前块相同的帧或切片中的一或多个相邻块执行当前视频块的帧内预测以提供空间压缩。预测处理单元41内的运动估计单元42和运动补偿单元44相对于一或多个参考图片中的一或多个参考块执行当前视频块的帧间预测以提供时间压缩。
运动估计单元42可经配置以根据视频序列的预定图案确定视频切片的帧间预测模式。预定图案可将所述序列中的视频切片标示为P切片或B切片。运动估计单元42和运动补偿单元44可高度集成，但是出于概念性目的分开说明。由运动估计单元42执行的运动估计是生成运动向量的过程，所述运动向量估计视频块的运动。例如，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的移位。
预测性块是发现在像素差方面与待译码视频块的PU密切匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中，视频编码器 20可计算存储在DPB 66中的参考图片的子整数像素位置的值。例如，视频编码器20 可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于整数像素位置和分数像素位置执行运动搜索并以分数像素精度输出运动向量。
运动估计单元42通过比较经帧间译码切片中的视频块的PU的位置与参考图片的预测性块的位置来计算PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一个标识存储在DPB 66中的一或多个参考图片。运动估计单元42将计算出的运动向量发送到熵编码单元56和运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于通过运动估计确定的运动向量获取或生成预测性块，可能涉及执行到子像素精度的内插。在接收当前视频块的PU的运动向量后，运动补偿单元44可定位运动向量在一个参考图片列表中指向的预测性块。视频编码器20通过从正被译码的当前视频块的像素值减去预测性块的像素值形成像素差值来形成残余视频块。像素差值形成块的残余数据，并且可包含亮度和色度差分量。求和器50表示执行这一减法运算的组件。运动补偿单元44还可生成与视频块和视频切片相关联的语法元素以供视频解码器30在对视频切片的视频块进行解码时使用。
在预测处理单元41通过帧内预测或帧间预测生成当前视频块的预测性块之后，视频编码器20通过从当前视频块减去预测性块来形成残余视频块。残余块中的残余视频数据可包含在一或多个TU中，并应用到变换处理单元52。变换处理单元52使用一种变换(例如离散余弦变换(DCT)或在概念上类似的变换)将残余视频数据变换成残余变换系数。变换处理单元52可将残余视频数据从像素域转换到变换域，例如频域。
变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位速率。量化过程可减小与系数中的一些或全部相关联的位深度。量化程度可通过调整量化参数来修改。在一些实例中，量化单元54可接着执行包含经量化变换系数的矩阵的扫描。可替代地，熵编码单元56可执行扫描。
在量化之后，熵编码单元56对经量化变换系数进行熵编码。例如，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在熵编码单元56进行熵编码之后，经编码位流可传输到视频解码器 30，或存档以供视频解码器30随后传输或撷取。熵编码单元56还可对正被译码的当前视频切片的运动向量和其它语法元素进行熵编码。
逆量化单元58和逆变换处理单元60分别应用逆量化和逆变换以在像素域中重构残余块，以便随后用作参考图片的参考块。运动补偿单元44可通过将残余块添加到一个参考图片列表内的一个参考图片的预测性块来计算参考块。运动补偿单元44还可向经重构残余块应用一或多个内插滤波器以计算用于运动估计的子整数像素值。求和器62 将经重构残余块添加到由运动补偿单元44产生的运动补偿预测块以产生经重构块。
环路内滤波单元64对经重构块(例如，求和器62的输出)进行滤波，并在DPB 66 中存储经滤波的经重构块以用作参考块。参考块可供运动估计单元42和运动补偿单元 44用作对随后视频帧或图片中的块进行帧间预测的参考块。尽管在图3中没有明确示出，但是视频编码器20可包含滤波器，例如解块滤波器、样本自适应偏移(SAO)滤波器或另一类型的环路滤波器中的一或多个。例如，解块滤波器可应用解块滤波以将块边界滤波，从而从经重构视频移除成块效应假影。SAO滤波器可向经重构像素值应用偏移以便改进总译码质量。在一些实施方案中，SAO可以是ALF滤波的特殊情况或特殊模式。还可使用额外的环路滤波器(环路内或环路后)。具体地说，环路内滤波单元64可包含如本公开中所描述的那样应用的双边滤波器。在一个实施例中，如果应用，那么双边滤波器在解块滤波器之后应用到块。
图4是说明可实施本公开中描述的技术的实例视频解码器30的框图。在图4的实例中，视频解码器30包含视频数据存储器78、熵解码单元80、预测处理单元81、逆量化单元86、逆变换处理单元88、求和器90和经解码图片缓冲器(DPB)94。预测处理单元81包含运动补偿单元82和帧内预测单元84。在一些实例中，视频解码器30可执行通常与图3关于视频编码器20描述的编码遍次互反的解码遍次。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块和相关联的语法元素的经编码视频位流。视频解码器20在视频数据存储器78中存储接收到的经编码视频位流。视频数据存储器78可存储将由视频解码器30的组件解码的视频数据，例如经编码视频位流。可例如通过链路16从存储装置26或从本地视频源(例如，相机)或通过存取物理数据存储媒体获得存储在视频数据存储器78中的视频数据。视频数据存储器78可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。DPB 94可以是存储参考视频数据以供视频解码器30解码视频数据(例如，在帧内或帧间译码模式中)的参考图片存储器。视频数据存储器78和DPB 94可由各种存储器装置中的任一个形成，例如DRAM、SDRAM、MRAM、RRAM或其它类型的存储器装置。视频数据存储器78和DPB 94可由相同存储器装置或不同存储器装置提供。在各种实例中，视频数据存储器78可与视频解码器30的其它组件一起在片上，或相对于那些组件在片外。
视频解码器30的熵解码单元80对存储在视频数据存储器78中的视频数据进行熵解码以生成经量化系数、运动向量和其它语法元素。熵解码单元80将运动向量和其它语法元素转发到预测处理单元81。视频解码器30可在视频切片层级和/或视频块层级接收语法元素。
当视频切片译码为经帧内译码(I)切片时，预测处理单元81的帧内预测单元84可基于从当前帧或图片的先前解码的块传送的帧内预测模式和数据来生成当前视频切片的视频块的预测数据。当视频帧译码为经帧间译码切片(例如，B切片或P切片)时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收的运动向量和其它语法元素来产生当前视频切片的视频块的预测性块。预测性块可由一个参考图片列表内的一个参考图片产生。视频解码器30可基于存储在DPB 94中的参考图片使用默认构建技术来构建参考帧列表，即列表0和列表1。
运动补偿单元82通过解析运动向量和其它语法元素来确定当前视频切片的视频块的预测信息，并使用所述预测信息来产生正被解码的当前视频块的预测性块。例如，运动补偿单元82可使用接收到的语法元素中的一些来确定用于对视频切片的视频块进行译码的预测模式(例如，帧内或帧间预测)、帧间预测切片类型(例如，B切片或P切片)、切片的参考图片列表中的一或多个的构建信息、切片的每一经帧间编码视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态，和对当前视频切片中的视频块进行解码的其它信息。
运动补偿单元82还可基于内插滤波器执行内插。运动补偿单元82可使用视频编码器20在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元82可根据接收到的语法元素确定供视频编码器20使用的内插滤波器，并使用内插滤波器来产生预测性块。
逆量化单元86对提供于位流中且经熵解码单元80解码的经量化变换系数进行逆量化，即解量化。逆量化过程可包含使用视频编码器20针对视频切片中的每一视频块计算的量化参数以确定量化程度，以及同样地，应该应用的逆量化的程度。逆变换处理单元88向变换系数应用逆变换(例如，逆DCT、逆整数变换或概念上类似的逆变换过程)，以便产生像素域中的残余块。
在预测处理单元使用例如帧内或帧间预测生成当前视频块的预测性块之后，视频解码器30通过对来自逆变换处理单元88的残余块和由运动补偿单元82生成的对应预测性块进行求和来形成经重构视频块。求和器90表示执行这一求和运算的组件。环路内滤波单元92使用例如解块滤波器、SAO滤波器或其它类型的滤波器中的一或多个对经重构视频块进行滤波。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变平滑或以其它方式改进视频质量。例如，在一些实施例中，环路内滤波单元95 包含如本文中所描述的双边滤波器。在一个此类实施例中，如果应用，那么双边滤波器在解块滤波器之后应用到块。接着，给定帧或图片中的经解码视频块存储在DPB 94中， DPB 94存储用于随后运动补偿的参考图片。DPB 94可以是存储用于随后在显示装置(例如，图2的显示装置32)上呈现的经解码视频的额外存储器的一部分，也可与其分离。
图5是说明对视频数据进行编码的方法500的一个实施例的流程图。具体地说，方法500说明基于在视频位流中显式传送(且不仅仅由非零变换系数的数目指示)的标志启用和停用双边滤波的方法。
所说明的方法500开始于框510，其中视频编码器20从视频位流解码指示用于对视频块进行译码的模式的数据。例如，模式可指示预测方法(例如，帧间或帧内预测)和其它预测参数(例如特定预测模式)。在框520处，编码器(例如，预测处理单元41)根据所述模式预测块以生成视频块的经预测块。随后在框525处，编码器基于经预测块确定残余。残余块确定为经预测块样本和实际块样本之间的差。
移至框530，视频编码器20对指示残余块的数据进行编码。指示残余块的数据可包括零或多个变换系数。在一个实施例中，变换系数由变换处理单元52生成，通过量化单元54量化，并通过熵编码单元56熵译码。在框540处，视频编码器20基于经预测视频块和残余块重构与视频块相关联的样本。
在框550处，视频编码器将指示是否向经重构视频数据应用双边滤波器的标志编码到位流中。应认识到，这一标志可位于位流中的任何合适位置，并且可以在视频块的模式之前或之后且在视频块的变换系数之前或之后编码在位流中。任选地，编码器将所述标志编码到与包含视频块的变换单元、预测单元或最大译码单元中的一或多个相关联的语法结构中。具体地说，如上文所提到，多个标志可在不同层级(变换、预测、译码单元) 编码，使得低层级标志覆写高层级标志。
移至框560，视频编码器20基于标志的值例如通过环路内滤波单元64对经重构样本执行双边滤波。在一个特定实施例中，在经重构块经解块滤波之后通过环路内滤波单元64执行双边滤波。在一个一些实施例中，基于标志的值执行双边滤波包含基于标志的值确定是否执行双边滤波。
在一些实施例中，基于标志的值确定是否执行双边滤波可另外(即，结合标志)基于在不同译码层级(例如，图片、切片、最大译码单元、译码单元、预测单元或变换单元层级语法中的两个或更多个)传送的额外标志，使得包括低层级语法元素的标志可以覆写包括高层级语法元素的标志，从而启用或停用特定块或单元的双边滤波单元。在一些实施例中，基于标志的值确定是否执行双边滤波可另外基于以下中的至少一个：与视频块相关联的切片类型、与视频块相关联的运动精度、指示视频块和经预测视频块之间的差的变换系数、用于对视频块进行译码的模式，或与块相关联的解块滤波器参数。在另外其它实施例中，确定启用/停用双边滤波可在不传送标志的情况下确定，实际上基于以下中的至少一个来推断：与视频块相关联的切片类型、与视频块相关联的运动精度、指示视频块和经预测视频块之间的差的变换系数、用于对视频块进行译码的模式，或与块相关联的解块滤波器参数。
图6是说明对视频数据进行解码的方法600的一个实施例的流程图。具体地说，方法600说明基于在视频位流中显式传送(且不仅仅由非零变换系数的数目指示)的标志在视频解码器30处启用和停用双边滤波的方法。
所说明的方法600开始于框610，其中视频解码器30从视频位流解码指示用于对视频块进行译码的模式的数据。例如，模式可指示预测方法(例如，帧间或帧内预测)和其它预测参数(例如特定预测模式)。在框620处，解码器30(例如，预测处理单元81)根据所述模式预测块以生成视频块的经预测块。
移至框630，视频解码器30从视频位流解码指示残余块的数据。指示残余块的数据可包括零或多个变换系数。在一个实施例中，变换系数在通过熵解码单元80进行经解码并通过逆量化单元86进行去量化以生成残余块之后供逆变换处理单元88使用。在框 640处，视频解码器30基于经预测视频块和残余块重构与视频块相关联的样本。
在框650处，视频解码器30将指示是否向经重构视频数据应用双边滤波器的标志解码到位流中。应认识到，这一标志可位于位流中的任何合适位置，并且可以在视频块的模式之前或之后且在视频块的变换系数之前或之后编码在位流中。任选地，解码器30 将所述标志解码到与包含视频块的变换单元、预测单元或最大译码单元中的一或多个相关联的语法结构中。具体地说，如上文所提到，多个标志可在不同层级(变换、预测、译码单元)编码，使得低层级标志覆写高层级标志。
移至框660，视频解码器30基于标志的值例如通过环路内滤波单元92对经重构样本执行双边滤波。在一个特定实施例中，在经重构块经解块滤波之后通过环路内滤波单元92执行双边滤波。
结合本文中所公开的实施例所描述的各种说明性逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件，或两者的组合。为清楚地说明硬件与软件的此可互换性，上文已大体就各种说明性组件、块、模块、电路和步骤的功能性对它们加以描述。此功能性被实施为硬件还是软件取决于特定应用和施加于总体系统上的设计约束。熟练的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但这样的实施决策不应被解释为会引起脱离本发明的范围。
本文中所描述的技术可在硬件、软件、固件或其任何组合中实施。此类技术可实施于多种装置中的任一个中，例如通用计算机、无线通信装置手持机或集成电路装置，其具有包含在无线通信装置手持机及其它装置中的应用的多种用途。被描述为模块或组件的任何特征可一起实施于集成逻辑装置中或分开实施为离散但可互操作的逻辑装置。如果在软件中实施，那么所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体来实现，所述程序代码包括在执行时执行上文所描述的方法中的一或多个的指令。计算机可读数据存储媒体可形成计算机程序产品的一部分，所述计算机程序产品可包含封装材料。计算机可读媒体可包括存储器或数据存储媒体，例如，随机存取存储器(RAM) (例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等等。另外或替代地，所述技术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体以指令或数据结构的形式携载或传送程序代码且可由计算机存取、读取和/或执行(例如，传播的信号或波)。
程序代码可由处理器执行，所述处理器可包含一或多个处理器，例如，一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA) 或其它等效集成或离散逻辑电路系统。此处理器可经配置以执行本公开中所描述的技术中的任一个。通用处理器可为微处理器，但在替代方案中，处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器与DSP核心结合，或任何其它此类配置。因此，如本文中所使用的术语“处理器”可指前述结构中的任一个、上述结构的任何组合，或适合于实施本文中所描述的技术的任何其它结构或设备。另外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码和解码的专用软件模块或硬件模块内或并入组合的视频编码器-解码器(CODEC)中。
本文中论述的译码技术可为实例视频编码和解码系统中的实施例。系统包含提供待在稍后时间由目的地装置解码的经编码视频数据的源装置。具体地说，源装置通过计算机可读媒体将视频数据提供到目的地装置。源装置和目的地装置可包括各种装置中的任一个，包含台式计算机、笔记本计算机(即，膝上型计算机)、平板计算机、机顶盒、手持机(例如所谓的“智能”电话、所谓的“智能”平板)、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置等等。在一些情况下，源装置和目的地装置可经装备以用于无线通信。
目的地装置可通过计算机可读媒体接收待解码的经编码视频数据。计算机可读媒体可包括能够将经编码视频数据从源装置移动到目的地装置的任何类型的媒体或装置。在一个实例中，计算机可读媒体可包括使得源装置能够实时地将经编码视频数据直接传输到目的地装置的通信媒体。经编码视频数据可根据通信标准(例如无线通信协议)调制，并传输到目的地装置。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络的一部分，例如局域网、广域网或全球网络(例如，互联网)。通信媒体可包含路由器、交换机、基站或可适用于促进源装置与目的地装置之间的通信的任何其它设备。
在一些实例中，经编码数据可从输出接口输出到存储装置。类似地，经编码数据可通过输入接口从存储装置存取。存储装置可包含各种分布式或本地存取的数据存储媒体中的任一个，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或任何其它合适的用于存储经编码视频数据的数字存储媒体。在另一实例中，存储装置可对应于文件服务器或另一可存储由源装置生成的经编码视频的中间存储装置。目的地装置可通过流式传输或下载从存储装置存取所存储视频数据。文件服务器可以是能够存储经编码视频数据并向目的地装置传输所述经编码视频数据的任何类型的服务器。实例文件服务器包含网络服务器(例如，对于网站)、FTP服务器、网络连接存储(NAS)装置或本地磁盘驱动器。目的地装置可通过包含互联网连接的任何标准数据连接存取经编码视频数据。这可包含无线信道(例如，Wi-Fi连接)、有线连接(例如， DSL、电缆调制解调器等)或适用于存取存储在文件服务器上的经编码视频数据的这两者的组合。经编码视频数据从存储装置的传输可为流式传输、下载传输或其组合。
本公开的技术不一定限制在无线应用或设置。所述技术可应用到视频译码以支持各种多媒体应用中的任一个，例如空中电视广播、有线电视传输、卫星电视传输、互联网流式视频传输，例如，通过HTTP的动态自适应流式传输(DASH)、编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统可经配置以支持单向或双向视频传输，从而支持各种应用，例如视频流式传输、视频回放、视频广播和/或视频电话。
在一个实例中，源装置包含视频源、视频编码器和输出接口。目的地装置可包含输入接口、视频解码器和显示装置。源装置的视频编码器可经配置以应用本文所公开的技术。在其它实例中，源装置和目的地装置可包含其它组件或布置。例如，源装置可从外部视频源(例如，外部相机)接收视频数据。同样地，目的地装置可与外部显示装置介接，而不是包含集成显示装置。
上述实例系统仅仅是一个实例。用于同时处理视频数据的技术可通过任何数字视频编码和/或解码装置执行。尽管一般来说，本公开的技术由视频编码装置执行，但是技术还可由视频编码器/解码器(通常被称为“编解码器(CODEC)”)执行。此外，本公开的技术还可由视频预处理器执行。源装置和目的地装置仅仅是此类译码装置的实例，其中源装置生成用于传输到目的地装置的经译码视频数据。在一些实例中，源装置和目的地装置可以大体上对称的方式操作，使得源装置和目的地装置中的每一个包含视频编码和解码组件。因此，实例系统可支持视频装置之间的单向或双向视频传输，例如，用于视频流式传输、视频回放、视频广播或视频电话。
视频源可包含视频捕获装置(例如摄像机)、含有先前捕获的视频的视频存档和/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源可生成基于计算机图形的数据作为源视频，或实时视频、存档视频和计算机生成的视频的组合。在一些情况下，如果视频源是摄像机，那么源装置和目的地装置可形成所谓的相机电话或视频电话。然而，如上文所提及，本公开中描述的技术大体上可适用于视频译码，并且可应用到无线和/或有线应用。在每一情况下，所捕获的、预捕获的或计算机生成的视频可由视频编码器编码。接着，输出接口可将经编码视频信息输出到计算机可读媒体上。
如所提到，计算机可读媒体可包含暂时性媒体，例如无线广播或有线网络传输，或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未示出)可从源装置接收经编码视频数据并将经编码视频数据提供到目的地装置，例如，通过网络传输。类似地，媒体生产设施(例如，光盘冲压设施)的计算装置可从源装置接收经编码视频数据并产生含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体可理解为包含一或多个各种形式的计算机可读媒体。
目的地装置的输入接口从计算机可读媒体接收信息。计算机可读媒体的信息可包含由视频编码器限定的语法信息，其还供视频解码器使用，且包含描述块和其它经译码单元(例如，图片群组(GOP))的特征和/或处理的语法元素。显示装置向用户显示经解码视频数据，并且可包括各种显示装置中的任一个，例如阴极射线管(CRT)、液晶显示器 (LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。已经描述本发明的各种实施例。

Claims (16)

1.一种对视频数据进行解码的方法，其包括：
从视频位流解码指示用于对视频块进行译码的模式的数据；
根据所述模式预测所述视频块，以生成所述视频块的经预测视频块；
从所述视频位流解码指示所述视频块和所述经预测视频块之间的差的数据，所述指示所述差的数据包括指示所述差是否是通过至少一个非零变换系数来表示的数据；
基于所述经预测视频块和所述差重构与所述视频块相关联的样本；
从所述视频位流解码指示是否向所重构的样本应用双边滤波的标志；
对所述视频块的所重构的样本进行解块滤波；以及
基于所述标志，并且基于所述差是否是通过所述至少一个非零变换系数来表示的，执行所述双边滤波作为用于降低在所重构的样本上的假影的环路内滤波器，其中所述解块滤波是在所述双边滤波之前执行的，并且其中对所重构的样本执行所述双边滤波包括根据以下内容使用所重构的样本中的相邻样本来生成经滤波样本值ID(i,j)：
Figure FDA0003041848310000011
其中ω(i，j，k，l)是被分配用于样本(k,l)以对样本(i,j)进行滤波的权重，并且被定义为
Figure FDA0003041848310000012
其中I(i,j)和I(k,l)分别是样本(i,j)和(k,l)的强度值，σd是空间参数，以及σr是范围参数。
2.根据权利要求1所述的方法，其中解码所述标志包括从与以下各项中的至少一项相关联的语法结构解码所述标志：包含所述视频块的变换单元、包含所述视频块的预测单元或包含所述视频块的最大译码单元。
3.根据权利要求1所述的方法，其中所述视频块在图片的译码单元内，并且其中执行所述双边滤波还基于所述译码单元是帧内译码单元还是帧间译码单元。
4.根据权利要求1所述的方法，其中所述视频块在图片的切片内，并且其中执行所述双边滤波还基于所述切片是帧内译码切片还是帧间译码切片。
5.根据权利要求1所述的方法，其中基于所述标志且另外基于以下中的至少一个对所重构的样本执行所述双边滤波：与所述视频块相关联的译码单元类型、与所述视频块相关联的运动精度、或与所述视频块相关联的解块滤波器参数。
6.一种对视频数据进行编码的方法，其包括：
将指示用于对视频块进行译码的模式的数据编码到视频位流中；
根据所述模式预测所述视频块，以生成所述视频块的经预测视频块；
将指示所述视频块和所述经预测视频块之间的差的数据编码到所述视频位流中，所述指示所述差的数据包括指示所述差是否是通过至少一个非零变换系数来表示的数据；
基于所述经预测视频块和所述差重构与所述视频块相关联的样本；
将指示是否向所重构的样本应用双边滤波的标志编码到所述视频位流中；
对所述视频块的所重构的样本进行解块滤波；以及
基于所述标志的值，并且基于所述差是否是通过所述至少一个非零变换系数来表示的，执行所述双边滤波作为用于降低在所重构的样本上的假影的环路内滤波器，其中所述解块滤波是在所述双边滤波之前执行的，并且其中对所重构的样本执行所述双边滤波包括根据以下内容使用所重构的样本中的相邻样本来生成经滤波样本值ID(i,j)：
Figure FDA0003041848310000031
其中ω(i，j，k，l)是被分配用于样本(k,l)以对样本(i,j)进行滤波的权重，并且被定义为
Figure FDA0003041848310000032
其中I(i,j)和I(k,l)分别是样本(i,j)和(k,l)的强度值，σd是空间参数，以及σr是范围参数。
7.根据权利要求6所述的方法，其中编码所述标志包括从与以下各项中的至少一项相关联的语法结构编码所述标志：包含所述视频块的变换单元、包含所述视频块的预测单元或包含所述视频块的最大译码单元。
8.根据权利要求6所述的方法，其中所述视频块在图片的译码单元内，并且其中执行所述双边滤波还基于所述译码单元是帧内译码单元还是帧间译码单元。
9.根据权利要求6所述的方法，其中所述视频块在图片的切片内，并且其中执行所述双边滤波还基于所述切片是帧内译码切片还是帧间译码切片。
10.一种用于对视频数据进行解码的设备，其包括：
存储器，其经配置以存储所述视频数据；以及
视频处理器，其经配置以：
从视频位流解码指示用于对视频块进行译码的模式的数据；
根据所述模式预测所述视频块，以生成所述视频块的经预测视频块；
从所述视频位流解码指示所述视频块和所述经预测视频块之间的差的数据，所述指示所述差的数据包括指示所述差是否是通过至少一个非零变换系数来表示的数据；
基于所述经预测视频块和所述差重构与所述视频块相关联的样本；
从所述视频位流解码指示是否向所重构的样本应用双边滤波的标志；
对所述视频块的所重构的样本进行解块滤波；以及
基于所述标志，并且基于所述差是否是通过所述至少一个非零变换系数来表示的，执行所述双边滤波作为用于降低在所重构的样本上的假影的环路内滤波器，其中所述视频处理器被配置为在执行所述双边滤波之前对所述视频块的所重构的样本进行解块滤波，并且其中为了对所重构的样本执行所述双边滤波，所述视频处理器被配置为根据以下内容使用所重构的样本中的相邻样本来生成经滤波样本值ID(i,j)：
Figure FDA0003041848310000041
其中ω(i，j，k，l)是被分配用于样本(k,l)以对样本(i,j)进行滤波的权重，并且被定义为
Figure FDA0003041848310000042
其中I(i,j)和I(k,l)分别是样本(i,j)和(k,l)的强度值，σd是空间参数，以及σr是范围参数。
11.根据权利要求10所述的设备，其中为了对所述标志进行解码，所述视频处理器经配置以从与包含所述视频块的变换单元、预测单元或最大译码单元中的一或多个相关联的语法结构解码所述标志。
12.一种用于对视频数据进行编码的设备，其包括：
存储器，其经配置以存储所述视频数据；以及
视频处理器，其经配置以：
将指示用于对视频块进行译码的模式的数据编码到视频位流中；
根据所述模式预测所述视频块，以生成所述视频块的经预测视频块；
将指示所述视频块和所述经预测视频块之间的差的数据编码到所述视频位流中，所述指示所述差的数据包括指示所述差是否是通过至少一个非零变换系数来表示的数据；
基于所述经预测视频块和所述差重构与所述视频块相关联的样本；
将指示是否向所重构的样本应用双边滤波的标志编码到所述视频位流中；
对所述视频块的所重构的样本进行解块滤波；以及
基于所述标志的值，并且基于所述差是否是通过所述至少一个非零变换系数来表示的，执行所述双边滤波作为用于降低在所重构的样本上的假影的环路内滤波器，其中所述视频处理器被配置为在执行所述双边滤波之前对所述视频块的所重构的样本进行解块滤波，并且其中为了对所重构的样本执行所述双边滤波，所述视频处理器被配置为根据以下内容使用所重构的样本中的相邻样本来生成经滤波样本值ID(i,j)：
Figure FDA0003041848310000051
其中ω(i，j，k，l)是被分配用于样本(k,l)以对样本(i,j)进行滤波的权重，并且被定义为
Figure FDA0003041848310000052
其中I(i,j)和I(k,l)分别是样本(i,j)和(k,l)的强度值，σd是空间参数，以及σr是范围参数。
13.根据权利要求12所述的设备，其中为了对所述标志进行编码，所述视频处理器经配置以从与包含所述视频块的变换单元、预测单元或最大译码单元中的一或多个相关联的语法结构编码所述标志。
14.根据权利要求12所述的设备，其中所述视频块在图片的译码单元内，并且其中所述视频处理器还被配置为基于所述译码单元是帧内译码单元还是帧间译码单元来执行所述双边滤波。
15.一种上面存储有指令的非暂时性计算机可读介质 ，所述指令在由视频处理器执行时使所述视频处理器：
从视频位流解码指示用于对视频块进行译码的模式的数据；
根据所述模式预测所述视频块，以生成所述视频块的经预测视频块；
从所述视频位流解码指示所述视频块和所述经预测视频块之间的差的数据，所述指示所述差的数据包括指示所述差是否是通过至少一个非零变换系数来表示的数据；
基于所述经预测视频块和所述差重构与所述视频块相关联的样本；
从所述视频位流解码指示是否向所重构的样本应用双边滤波的标志；
对所述视频块的所重构的样本进行解块滤波；以及
基于所述标志，并且基于所述差是否是通过所述至少一个非零变换系数来表示的，执行所述双边滤波作为用于降低在所重构的样本上的假影的环路内滤波器，其中所述指令当被执行时使得所述视频处理器在执行所述双边滤波之前对所述视频块的所重构的样本进行解块滤波，并且其中为了对所重构的样本执行所述双边滤波，所述指令使得所述视频处理器根据以下内容使用所重构的样本中的相邻样本来生成经滤波样本值ID(i,j)：
Figure FDA0003041848310000061
其中ω(i，j，k，l)是被分配用于样本(k,l)以对样本(i,j)进行滤波的权重，并且被定义为
Figure FDA0003041848310000062
其中I(i,j)和I(k,l)分别是样本(i,j)和(k,l)的强度值，σd是空间参数，以及σr是范围参数。
16.根据权利要求15所述的非暂时性计算机可读介质 ，其中所述视频块在图片的译码单元内，并且其中所述指令还使得所述视频处理器基于所述译码单元是帧内译码单元还是帧间译码单元来执行所述双边滤波。
CN201780070555.5A 2016-12-01 2017-12-01 视频译码中指示双边滤波器使用的方法 Active CN109964482B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662429052P 2016-12-01 2016-12-01
US62/429,052 2016-12-01
US15/828,280 2017-11-30
US15/828,280 US10694202B2 (en) 2016-12-01 2017-11-30 Indication of bilateral filter usage in video coding
PCT/US2017/064358 WO2018102782A1 (en) 2016-12-01 2017-12-01 Indication of bilateral filter usage in video coding

Publications (2)

Publication Number Publication Date
CN109964482A CN109964482A (zh) 2019-07-02
CN109964482B true CN109964482B (zh) 2021-07-02

Family

ID=60703218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780070555.5A Active CN109964482B (zh) 2016-12-01 2017-12-01 视频译码中指示双边滤波器使用的方法

Country Status (8)

Country Link
US (1) US10694202B2 (zh)
EP (1) EP3549341A1 (zh)
JP (1) JP2020501434A (zh)
KR (1) KR20190089890A (zh)
CN (1) CN109964482B (zh)
AU (1) AU2017366734A1 (zh)
BR (1) BR112019010547A2 (zh)
WO (1) WO2018102782A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110431843A (zh) * 2017-03-23 2019-11-08 索尼公司 图像处理装置及方法
EP3451663A1 (en) * 2017-08-31 2019-03-06 Thomson Licensing Pools of transforms for local selection of a set of transforms in video coding
US11323705B2 (en) * 2018-03-09 2022-05-03 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus using sample filtering
TWI746994B (zh) 2018-06-19 2021-11-21 大陸商北京字節跳動網絡技術有限公司 用於不同參考列表的不同精確度
US11064196B2 (en) * 2018-09-03 2021-07-13 Qualcomm Incorporated Parametrizable, quantization-noise aware bilateral filter for video coding
EP4325859A3 (en) 2018-09-19 2024-05-15 Beijing Bytedance Network Technology Co., Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
WO2020156517A1 (en) 2019-01-31 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Fast algorithms for symmetric motion vector difference coding mode
KR20210121021A (ko) 2019-01-31 2021-10-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 어파인 모드 적응적 움직임 벡터 해상도 코딩 문맥
CN113519164A (zh) 2019-03-02 2021-10-19 北京字节跳动网络技术有限公司 对分割结构的限制
EP3928524A4 (en) 2019-04-15 2022-06-22 Beijing Bytedance Network Technology Co., Ltd. TIME PREDICTION OF PARAMETERS IN A NONLINEAR ADAPTIVE LOOP FILTER
WO2020211810A1 (en) 2019-04-16 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. On adaptive loop filtering for video coding
WO2020216177A1 (en) 2019-04-20 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma and luma syntax elements in video coding
CN113785574B (zh) 2019-05-30 2022-10-11 北京字节跳动网络技术有限公司 色度分量的自适应环路滤波
US11533491B2 (en) * 2019-08-28 2022-12-20 Qualcomm Incorporated Picture and sub-picture boundary processing for combined bilateral filter and Hadamard transform domain filter as in-loop filters
CN113727106B (zh) * 2020-05-25 2024-03-26 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、电子设备及存储介质
CN117716690A (zh) * 2021-06-25 2024-03-15 抖音视界有限公司 自适应双边滤波器的使用条件
WO2024094042A1 (en) * 2022-11-01 2024-05-10 Douyin Vision Co., Ltd. Using side information for bilateral filter in video coding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567964A (zh) * 2009-05-15 2009-10-28 南通大学 一种低码率视频应用中的预处理降噪去块效应方法
CN103702116A (zh) * 2013-12-06 2014-04-02 浙江宇视科技有限公司 一种图像的宽动态压缩方法和装置
US8824834B2 (en) * 2011-09-23 2014-09-02 Adobe Systems Incorporated Adaptive sampling guided by multilateral filtering
CN105791877A (zh) * 2016-03-15 2016-07-20 北京大学 视频编解码中自适应环路滤波的方法
CN105874797A (zh) * 2014-01-09 2016-08-17 高通股份有限公司 从预测性块的帧内预测

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6983017B2 (en) * 2001-08-20 2006-01-03 Broadcom Corporation Method and apparatus for implementing reduced memory mode for high-definition television
WO2003053066A1 (en) * 2001-12-17 2003-06-26 Microsoft Corporation Skip macroblock coding
US20060126725A1 (en) * 2004-12-10 2006-06-15 Weimin Zeng Automated test vector generation for complicated video system verification
US8045615B2 (en) * 2005-05-25 2011-10-25 Qualcomm Incorporated Deblock filtering techniques for video coding according to multiple video standards
JP2009500941A (ja) * 2005-07-08 2009-01-08 エルジー エレクトロニクス インコーポレイティド 情報を圧縮／圧縮解除するためにビデオ信号のコーディング情報をモデリングする方法
KR100678958B1 (ko) * 2005-07-29 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
KR100750128B1 (ko) * 2005-09-06 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
US8681867B2 (en) * 2005-10-18 2014-03-25 Qualcomm Incorporated Selective deblock filtering techniques for video coding based on motion compensation resulting in a coded block pattern value
KR100750137B1 (ko) * 2005-11-02 2007-08-21 삼성전자주식회사 영상의 부호화,복호화 방법 및 장치
WO2007081838A1 (en) * 2006-01-09 2007-07-19 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multi-view video coding
US8396134B2 (en) * 2006-07-21 2013-03-12 Vidyo, Inc. System and method for scalable video coding using telescopic mode flags
WO2008051995A2 (en) * 2006-10-23 2008-05-02 Vidyo, Inc. System and method for scalable video coding using telescopic mode flags
RU2461977C2 (ru) * 2006-12-18 2012-09-20 Конинклейке Филипс Электроникс Н.В. Сжатие и снятие сжатия изображения
WO2008134482A1 (en) * 2007-04-26 2008-11-06 Polycom, Inc. De-blocking filter arrangements
US8428133B2 (en) * 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
EP2191652B1 (en) * 2007-09-02 2017-02-08 Lg Electronics Inc. A method and an apparatus for processing a video signal
WO2009034555A2 (en) * 2007-09-14 2009-03-19 Nxp B.V. Image data processing and arrangements therefor
EP2304963B1 (fr) * 2008-07-01 2015-11-11 Orange Procede et dispositif de codage d'images mettant en oeuvre une prediction amelioree, procede et dispositif de decodage, signal et programmes d'ordinateur correspondants
EP2308229A4 (en) * 2008-07-01 2014-08-20 S K Nandy METHOD AND SYSTEM ON A CHIP TO ADAPT RECONFIGURABLE TIME-OF-EXECUTION MATERIAL FOR DECODING VIDEO STREAMS
WO2010036772A2 (en) * 2008-09-26 2010-04-01 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
WO2010041855A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for processing a video signal
US7932843B2 (en) * 2008-10-17 2011-04-26 Texas Instruments Incorporated Parallel CABAC decoding for video decompression
JPWO2010087157A1 (ja) * 2009-01-29 2012-08-02 パナソニック株式会社 画像符号化方法及び画像復号方法
US8189943B2 (en) * 2009-03-17 2012-05-29 Mitsubishi Electric Research Laboratories, Inc. Method for up-sampling depth images
US8270752B2 (en) * 2009-03-17 2012-09-18 Mitsubishi Electric Research Laboratories, Inc. Depth reconstruction filter for depth coding videos
US8395642B2 (en) * 2009-03-17 2013-03-12 Mitsubishi Electric Research Laboratories, Inc. Method for virtual image synthesis
US20100290716A1 (en) * 2009-05-18 2010-11-18 Hirofumi Mori Image processing apparatus and image processing method
CN102124741B (zh) * 2009-06-22 2014-09-24 松下电器产业株式会社 图像编码方法及图像编码装置
CN106131549B (zh) * 2010-04-13 2019-04-05 三星电子株式会社 执行去块滤波的对视频进行解码的设备
KR101791242B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
EP2947878B1 (en) * 2010-04-23 2017-02-15 M&K Holdings Inc. Apparatus for encoding an image
CN102893606B (zh) * 2010-05-14 2018-02-02 汤姆森特许公司 帧内编码将像素指定给各组的块的方法和装置
KR101379188B1 (ko) * 2010-05-17 2014-04-18 에스케이 텔레콤주식회사 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법
WO2011156250A1 (en) * 2010-06-07 2011-12-15 Thomson Licensing Learned transform and compressive sensing for video coding
WO2012005520A2 (en) * 2010-07-09 2012-01-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using block merging, and method and apparatus for decoding video by using block merging
KR101373814B1 (ko) * 2010-07-31 2014-03-18 엠앤케이홀딩스 주식회사 예측 블록 생성 장치
KR20120012385A (ko) * 2010-07-31 2012-02-09 오수미 인트라 예측 부호화 장치
US8542751B2 (en) * 2010-08-20 2013-09-24 Intel Corporation Techniques for identifying and reducing block artifacts
CN106454379B (zh) * 2010-09-30 2019-06-28 三菱电机株式会社 运动图像编码装置及其方法、运动图像解码装置及其方法
KR101772046B1 (ko) * 2010-11-04 2017-08-29 에스케이텔레콤 주식회사 예측모드에 따라 필터링된 화소값으로 인트라예측을 수행하는 영상 부호화/복호화 방법 및 장치
CN105847829B (zh) * 2010-11-23 2019-08-09 Lg电子株式会社 视频编码装置和视频解码装置
US20120163460A1 (en) * 2010-12-23 2012-06-28 Qualcomm Incorporated Sub-pixel interpolation for video coding
US9060174B2 (en) * 2010-12-28 2015-06-16 Fish Dive, Inc. Method and system for selectively breaking prediction in video coding
US20120182388A1 (en) * 2011-01-18 2012-07-19 Samsung Electronics Co., Ltd. Apparatus and method for processing depth image
CN105791875B (zh) 2011-06-10 2018-12-11 联发科技股份有限公司 可伸缩视频编码方法及其装置
HUE038712T2 (hu) * 2011-06-28 2018-11-28 Samsung Electronics Co Ltd Eljárás video dekódolására intra predikcióval
US10536701B2 (en) * 2011-07-01 2020-01-14 Qualcomm Incorporated Video coding using adaptive motion vector resolution
US9398307B2 (en) * 2011-07-11 2016-07-19 Sharp Kabushiki Kaisha Video decoder for tiles
US8767824B2 (en) * 2011-07-11 2014-07-01 Sharp Kabushiki Kaisha Video decoder parallelization for tiles
US9699456B2 (en) * 2011-07-20 2017-07-04 Qualcomm Incorporated Buffering prediction data in video coding
JP5986639B2 (ja) * 2011-11-03 2016-09-06 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 画像精緻化に基づくビデオ符号化及び復号化
IN2014CN03598A (zh) * 2011-11-04 2015-07-31 Sharp Kk
US9628789B2 (en) * 2011-11-18 2017-04-18 Qualcomm Incorporated Reference mode selection in intra mode coding
KR102113985B1 (ko) * 2012-01-19 2020-05-22 미쓰비시덴키 가부시키가이샤 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
JP6222576B2 (ja) * 2012-03-21 2017-11-01 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置
AU2013261845A1 (en) * 2012-05-14 2014-12-11 Guido MEARDI Encoding and reconstruction of residual data based on support information
JP6190361B2 (ja) * 2012-06-01 2017-08-30 シャープ株式会社 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置
US9762903B2 (en) * 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
US9307264B2 (en) * 2012-06-22 2016-04-05 Sharp Kabushiki Kaisha Arithmetic decoding device, arithmetic coding device, image decoding apparatus, and image coding apparatus
JP5902814B2 (ja) * 2012-07-09 2016-04-13 日本電信電話株式会社 映像符号化方法および装置、映像復号方法および装置、及びそれらのプログラム
US20140079135A1 (en) * 2012-09-14 2014-03-20 Qualcomm Incoporated Performing quantization to facilitate deblocking filtering
US9491461B2 (en) * 2012-09-27 2016-11-08 Qualcomm Incorporated Scalable extensions to HEVC and temporal motion vector prediction
WO2014053518A1 (en) * 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer
AU2013200051B2 (en) * 2013-01-04 2016-02-11 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking video data
US10136119B2 (en) * 2013-01-10 2018-11-20 Qualcomm Incoporated View synthesis in 3D video
WO2014120367A1 (en) * 2013-01-30 2014-08-07 Intel Corporation Content adaptive parametric transforms for coding for next generation video
US9800857B2 (en) * 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
US20140286413A1 (en) * 2013-03-25 2014-09-25 Qualcomm Incorporated Disabling sign data hiding in video coding
US9118932B2 (en) * 2013-06-14 2015-08-25 Nvidia Corporation Adaptive filtering mechanism to remove encoding artifacts in video data
US10015515B2 (en) * 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
US9386319B2 (en) 2013-09-05 2016-07-05 Microsoft Technology Licensing, Llc Post-process filter for decompressed screen content
US9215464B2 (en) * 2013-09-19 2015-12-15 Blackberry Limited Coding position data for the last non-zero transform coefficient in a coefficient group
US9813737B2 (en) * 2013-09-19 2017-11-07 Blackberry Limited Transposing a block of transform coefficients, based upon an intra-prediction mode
JP2015144423A (ja) * 2013-12-25 2015-08-06 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像符号化装置、画像復号化装置、それらの方法、プログラム及び画像処理システム
US10038915B2 (en) * 2014-05-22 2018-07-31 Qualcomm Incorporated Escape sample coding in palette-based video coding
US10264285B2 (en) * 2014-05-22 2019-04-16 Qualcomm Incorporated Coding runs in palette-based video coding
US10750198B2 (en) * 2014-05-22 2020-08-18 Qualcomm Incorporated Maximum palette parameters in palette-based video coding
US10327001B2 (en) * 2014-06-19 2019-06-18 Qualcomm Incorporated Systems and methods for intra-block copy
US20160050442A1 (en) * 2014-08-15 2016-02-18 Samsung Electronics Co., Ltd. In-loop filtering in video coding
WO2016056550A1 (ja) * 2014-10-08 2016-04-14 シャープ株式会社 画像復号装置
JP2018050091A (ja) * 2015-02-02 2018-03-29 シャープ株式会社 画像復号装置、画像符号化装置および予測ベクトル導出装置
US10057574B2 (en) * 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
KR20170128390A (ko) * 2015-03-19 2017-11-22 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
US20160321523A1 (en) * 2015-04-30 2016-11-03 The Regents Of The University Of California Using machine learning to filter monte carlo noise from images
US10631013B2 (en) * 2015-06-11 2020-04-21 Lg Electronics Inc. Method for re-positioning significant coefficient in image encoding/decoding process and device therefor
US11146788B2 (en) * 2015-06-12 2021-10-12 Qualcomm Incorporated Grouping palette bypass bins for video coding
US11477484B2 (en) * 2015-06-22 2022-10-18 Qualcomm Incorporated Video intra prediction using hybrid recursive filters
KR20180074773A (ko) * 2015-11-22 2018-07-03 엘지전자 주식회사 비디오 신호를 엔트로피 인코딩, 디코딩하는 방법 및 장치
US20170150176A1 (en) * 2015-11-25 2017-05-25 Qualcomm Incorporated Linear-model prediction with non-square prediction units in video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567964A (zh) * 2009-05-15 2009-10-28 南通大学 一种低码率视频应用中的预处理降噪去块效应方法
US8824834B2 (en) * 2011-09-23 2014-09-02 Adobe Systems Incorporated Adaptive sampling guided by multilateral filtering
CN103702116A (zh) * 2013-12-06 2014-04-02 浙江宇视科技有限公司 一种图像的宽动态压缩方法和装置
CN105874797A (zh) * 2014-01-09 2016-08-17 高通股份有限公司 从预测性块的帧内预测
CN105791877A (zh) * 2016-03-15 2016-07-20 北京大学 视频编解码中自适应环路滤波的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jacob Ström et al.Bilateral Filter After Inverse Transform.《Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 4th Meeting: Chengdu, CN, 15–21 October 2016》.2016, *
Non-SCE4: Adaptive up-sampling of base layer picture using Simplified Separable bilateral filters;Jie Zhao, Kiran Misra, and Andrew Segal;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Incheon, KR, 18–26 Apr. 2013》;20130426;第1小节 *

Also Published As

Publication number Publication date
EP3549341A1 (en) 2019-10-09
BR112019010547A2 (pt) 2019-09-17
CN109964482A (zh) 2019-07-02
WO2018102782A1 (en) 2018-06-07
US10694202B2 (en) 2020-06-23
KR20190089890A (ko) 2019-07-31
US20180160134A1 (en) 2018-06-07
JP2020501434A (ja) 2020-01-16
AU2017366734A1 (en) 2019-05-02

Similar Documents

Publication Publication Date Title
CN109964482B (zh) 视频译码中指示双边滤波器使用的方法
JP7422684B2 (ja) ブロックベースの適応ループフィルタ（ａｌｆ）の設計およびシグナリング
US10887604B2 (en) Signalling of filtering information
JP7423653B2 (ja) ビデオコーディングにおける適応パラメータセット（ａｐｓ）を用いるブロックベースの適応ループフィルタ（ａｌｆ）
US10440396B2 (en) Filter information sharing among color components
EP3417614B1 (en) Predicting filter coefficients from fixed filters for video coding
US11070847B2 (en) Intra-prediction with far neighboring pixels
CN109792525B (zh) 峰值样本自适应偏移
CN107258081B (zh) 对使用非正方形分割编码视频数据的优化
US20200204800A1 (en) Adaptive loop filter (alf) index signaling
KR20200023358A (ko) 무분할 양방향 필터
US20190320172A1 (en) Hardware-friendly sample adaptive offset (sao) and adaptive loop filter (alf) for video coding
EP3058732B1 (en) Systems and methods for separately defining dependencies for sub-layer based inter-layer prediction
US20190373292A1 (en) In-loop bilateral filter type decision based on block information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40003910

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant