CN110800295A - 无除法双边滤波器 - Google Patents

无除法双边滤波器 Download PDF

Info

Publication number
CN110800295A
CN110800295A CN201880043814.XA CN201880043814A CN110800295A CN 110800295 A CN110800295 A CN 110800295A CN 201880043814 A CN201880043814 A CN 201880043814A CN 110800295 A CN110800295 A CN 110800295A
Authority
CN
China
Prior art keywords
sample
video data
block
video
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880043814.XA
Other languages
English (en)
Other versions
CN110800295B (zh
Inventor
M·卡切维奇
张莉
钱威俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN110800295A publication Critical patent/CN110800295A/zh
Application granted granted Critical
Publication of CN110800295B publication Critical patent/CN110800295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明提供一种视频解码器，其可经配置以通过进行以下操作执行滤波操作：确定对应于所选择样本的样本值与第一相邻样本的样本值之间的差的第一差值；将所述第一差值乘以第一加权参数以确定第一加权差值；确定对应于所述所选择样本的所述样本值与第二相邻样本的样本值之间的差的第二差值；将所述第二差值乘以第二加权参数以确定第二加权差值；及将所述第一加权差值及所述第二加权差值与所述所选择样本的所述样本值相加以确定经修改样本值。

Description

无除法双边滤波器
本申请案主张2017年7月5日申请的美国临时专利申请案62/528,912及2018年7月3日申请的美国专利申请案16/027,173的权利，所述专利申请案的全部内容据此以引用的方式并入。
技术领域
本发明涉及视频编码及视频解码。
背景技术
数字视频能力可并入至广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式处理装置等等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、ITU-T H.265、高效率视频译码(HEVC)标准及这些标准的扩展中所描述的技术。视频装置可通过实施这些视频压缩技术而更高效地传输、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的部分)分割成视频块，其也可被称作树块、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测被编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测产生用于待译码块的预测性块。残差数据表示待译码的原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本的块的运动向量被编码，且残差数据指示经译码块与预测性块之间的差。经帧内译码块是根据帧内译码模式及残差数据被编码。出于进一步压缩，可将残差数据从像素域变换至变换域，从而产生可接着进行量化的残差变换系数。可扫描最初布置成二维阵列的经量化变换系数以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多的压缩。
发明内容
本发明描述与双边滤波有关的技术，且更特定地说，本发明描述可减少与双边滤波相关联的计算复杂度的技术。作为一个实例，本发明描述用于双边滤波的技术，与双边滤波的现有实施方案相比较，所述技术可减少或消除除法运算及高精确度乘法运算的数目。
根据一个实例，一种解码视频数据的方法包含：确定视频数据的块的样本的样本值；对所述视频数据的所述块的所选择样本的样本值执行滤波操作以产生包括经修改样本值的视频数据的经滤波块，其中执行所述滤波操作包括：确定对应于所述所选择样本的所述样本值与第一相邻样本的样本值之间的差的第一差值；将所述第一差值乘以第一加权参数以确定第一加权差值；确定对应于所述所选择样本的所述样本值与第二相邻样本的样本值之间的差的第二差值；将所述第二差值乘以第二加权参数以确定第二加权差值；及将所述第一加权差值及所述第二加权差值与所述所选择样本的所述样本值相加以确定所述经修改样本值；及输出视频数据的所述经滤波块。
根据另一实例，一种用于解码视频数据的装置包含：存储器，其经配置以存储所述视频数据；及一或多个处理器，其经配置以进行以下操作：确定所述视频数据的块的样本的样本值；对所述视频数据的所述块的所选择样本的样本值执行滤波操作以产生包括经修改样本值的视频数据的经滤波块，其中为执行所述滤波操作，所述一或多个处理器经配置以进行以下操作：确定对应于所述所选择样本的所述样本值与第一相邻样本的样本值之间的差的第一差值；将所述第一差值乘以第一加权参数以确定第一加权差值；确定对应于所述所选择样本的所述样本值与第二相邻样本的样本值之间的差的第二差值；将所述第二差值乘以第二加权参数以确定第二加权差值；及将所述第一加权差值及所述第二加权差值与所述所选择样本的所述样本值相加以确定所述经修改样本值；及输出视频数据的所述经滤波块。
根据另一实例，一种计算机可读存储媒体存储指令，所述指令在由一或多个处理器执行时致使所述一或多个处理器进行以下操作：确定视频数据的块的样本的样本值；对所述视频数据的所述块的所选择样本的样本值执行滤波操作以产生包括经修改样本值的视频数据的经滤波块，其中为执行所述滤波操作，所述指令致使所述一或多个处理器进行以下操作：确定对应于所述所选择样本的所述样本值与第一相邻样本的样本值之间的差的第一差值；将所述第一差值乘以第一加权参数以确定第一加权差值；确定对应于所述所选择样本的所述样本值与第二相邻样本的样本值之间的差的第二差值；将所述第二差值乘以第二加权参数以确定第二加权差值；及将所述第一加权差值及所述第二加权差值与所述所选择样本的所述样本值相加以确定所述经修改样本值；及输出视频数据的所述经滤波块。
根据另一实例，一种用于解码视频数据的装置包含：用于确定视频数据的块的样本的样本值的装置；用于对所述视频数据的所述块的所选择样本的样本值执行滤波操作以产生包括经修改样本值的视频数据的经滤波块的装置，其中所述用于执行所述滤波操作的装置包括：用于确定对应于所述所选择样本的所述样本值与第一相邻样本的样本值之间的差的第一差值的装置；用于将所述第一差值乘以第一加权参数以确定第一加权差值的装置；用于确定对应于所述所选择样本的所述样本值与第二相邻样本的样本值之间的差的第二差值的装置；用于将所述第二差值乘以第二加权参数以确定第二加权差值的装置；及用于将所述第一加权差值及所述第二加权差值与所述所选择样本的所述样本值相加以确定所述经修改样本值的装置；及用于输出视频数据的所述经滤波块的装置。
下文在附图及具体实施方式中阐述本发明的一或多个方面的细节。本发明中所描述的技术的其它特征、目标及优势将从具体实施方式及附图且从权利要求书显而易见。
附图说明
图1为绘示可利用本发明中所描述的技术的实例视频编码及解码系统的框图。
图2A展示HEVC中的CTU至CU分割的实例。
图2B展示图2A的对应四叉树表示。
图3A至3D展示用于边缘偏移(EO)样本分类的四个1-D方向图案。
图4展示用于双边滤波过程中的一个样本及其相邻四个样本的实例。
图5展示用于双边滤波过程中的一个样本及其相邻四个样本的实例。
图6展示用于无除法双边(DFBil)滤波过程中的一个样本及其相邻样本的实例。。
图7为绘示可实施本发明中所描述的技术的实例视频编码器的框图。
图8为绘示可实施本发明中所描述的技术的实例视频解码器的框图。
图9展示用于执行本发明的技术的滤波器单元的实例实施方案。
图10为绘示根据本发明的技术的视频解码器的实例操作的流程图。
具体实施方式
视频译码(例如视频编码或视频解码)通常涉及使用预测模式来预测视频数据的块。两个常用预测模式涉及从同一图片中的视频数据的已经译码的块(即，帧内预测模式)或从不同图片中的视频数据的已经译码的块(即，帧间预测模式)预测块。还可使用其它预测模式，例如块内复制模式、调色板模式或辞典模式。在一些情况下，视频编码器还通过比较预测性块与原始块来计算残差数据。因此，残差数据表示预测性块与原始块之间的差。视频编码器变换及量化残差数据，且在经编码位流中用信号发送所述经变换及经量化残差数据。
视频解码器解量化及反变换所接收的残差数据以确定由视频编码器计算的残差数据。由于变换及量化可为有损过程，因此由视频解码器确定的残差数据可能不会准确地匹配由编码器计算的残差数据。视频解码器将残差数据与预测性块相加以产生相比单独预测性块更紧密地匹配原始视频块的经重构视频块。为进一步改进经解码视频的质量，视频解码器可对经重构视频块执行一或多个滤波操作。举例来说，高效率视频译码(HEVC)标准利用解块滤波及样本自适应偏移(SAO)滤波。还可使用其它类型的滤波，例如自适应环路滤波(ALF)。用于这些滤波操作的参数可由视频编码器确定且在经编码视频位流中被明确地用信号发送，或可隐含地由视频解码器确定，而无需在经编码视频位流中明确地用信号发送参数。
提议包含于未来一代的视频译码标准中的另一类型的滤波是双边滤波。在双边滤波中，权重经指派给当前样本的相邻样本及当前样本，基于所述权重可修改(即，滤波)相邻样本的值及当前样本的值。尽管双边滤波可由其它滤波器以任何组合或排列应用，但通常紧接在一个块的重构之后应用双边滤波，使得经滤波块可用于译码/解码后继块。即，双边滤波器可在解块滤波应用于视频数据的块之前应用于所述块。在其它实例中，可紧接在块的重构之后且在译码后继块之前，或紧接在解块滤波器之前或在解块滤波器之后，或在SAO之后或在ALF之后，应用双边滤波。
解块滤波使块的边缘周围的转变平滑以避免具有块状外观的经解码视频。双边滤波通常不会跨越块边界进行滤波，而是仅对块内的样本进行滤波。举例来说，双边滤波器可通过帮助避免在一些译码情境下由解块滤波引起的不良过度平滑来改进总体视频译码质量。
本发明描述与双边滤波有关的技术，且更特定地说，本发明描述可减少与双边滤波相关联的计算复杂度的技术。作为一个实例，本发明描述用于双边滤波的技术，与双边滤波的现有实施方案相比较，所述技术可减少或消除除法运算及高精确度乘法运算的数目。
如本发明中所使用，术语视频译码一般是指视频编码或视频解码。类似地，术语视频译码器可一般是指视频编码器或视频解码器。此外，本发明中关于视频解码所描述的某些技术也可应用于视频编码，且反之亦然。举例来说，视频编码器及视频解码器时常经配置以执行相同过程或互逆过程。此外，作为确定如何编码视频数据的过程的部分，视频编码器通常执行视频解码。因此，除非有明确相反陈述，否则不应假定关于视频解码所描述的技术也无法由视频编码器执行，或反之亦然。
本发明还可使用例如当前层、当前块、当前图片、当前切片等等的术语。在本发明的上下文中，术语当前意图识别相对于例如先前或已经译码的块、图片及切片或尚待译码的块、图片及切片的当前正被译码的块、图片、切片等等。
图1是绘示可利用本发明中所描述的双边滤波技术的实例视频编码及解码系统10的框图。如图1中所展示，系统10包含源装置12，其产生在稍后时间将由目的地装置14解码的经编码视频数据。源装置12及目的地装置14可为广泛范围的装置中的任一者，包含桌上型计算机、笔记本(即，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手机、所谓的“智能”平板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式处理装置、头戴式显示器(HMD)装置等等。在一些情况下，源装置12及目的地装置14可能经装备以用于无线通信。
目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可为能够将经编码视频数据从源装置12移动至目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可为使源装置12能够实时将经编码视频数据直接传输至目的地装置14的通信媒体。可根据通信标准(例如无线通信协议)调制经编码视频数据，且将经编码视频数据传输至目的地装置14。通信媒体可为任何无线或有线通信媒体中的一者或其组合，例如射频(RF)频谱或一或多条物理传输线。通信媒体可形成基于数据包的网络(例如局域网、广域网或例如互联网的全局网络)的部分。通信媒体可包含路由器、交换机、基站，或可用于促进从源装置12至目的地装置14的通信的任何其它设备。
在另一实例中，可将经编码数据从输出接口22输出至存储装置26。类似地，可由输入接口从存储装置26存取经编码数据。存储装置26可包含多种分布式或本地存取数据存储媒体中的任一者，例如硬盘驱动器、蓝光(Blu-ray)光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适数字存储媒体。在另一实例中，存储装置26可对应于可保持由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可经由流式处理或下载而从存储装置26存取所存储的视频数据。文件服务器可为能够存储经编码视频数据并将所述经编码视频数据传输至目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如用于网站)、FTP服务器、网络连接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含互联网连接)而存取经编码视频数据。此连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如Wi-Fi连接)、有线连接(例如DSL、电缆调制解调器等等)或两者的组合。经编码视频数据从存储装置26的传输可为流式处理传输、下载传输或两者的组合。
本发明的技术未必限于无线应用或设定。所述技术可应用于支持多种多媒体应用中的任一者的视频译码，例如空中电视广播、有线电视传输、卫星电视传输、流式处理视频传输(例如经由互联网)、编码数字视频以供存储于数据存储媒体上、解码存储于数据存储媒体上的数字视频，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输，从而支持例如视频流式处理、视频回放、视频广播及/或视频电话的应用。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。在源装置12中，视频源18可包含例如视频捕获装置(例如视频相机)、含有先前所捕获的视频的视频存档、用以从视频内容提供者接收视频的视频馈送接口，及/或用于将计算机图形数据产生为源视频的计算机图形系统，或这些源的组合。作为一个实例，如果视频源18为视频相机，那么源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，本发明中所描述的技术一般可适用于视频译码，且可应用于无线及/或有线应用。
经捕获、经预捕获或计算机产生的视频可由视频编码器20编码。可经由源装置12的输出接口22将经编码视频数据直接传输至目的地装置14。经编码视频数据还可(或替代地)存储至存储装置26上用于稍后由目的地装置14或其它装置存取，用于解码及/或回放。
目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些情况下，输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28经由链路16接收经编码视频数据。经由链路16传达或在存储装置26上所提供的经编码视频数据可包含由视频编码器20产生的多种语法元素，其供例如视频解码器30的视频解码器在解码视频数据时使用。这些语法元素可与在通信媒体上传输的经编码视频数据包含在一起、存储于存储媒体上，或存储于文件服务器上。
显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。大体来说，显示装置32将经解码视频数据显示给用户，且可为多种显示装置中的任一者，例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30可根据视频压缩标准(例如高效率视频译码(HEVC)标准)操作且可符合HEVC测试模型(HM)。视频编码器20及视频解码器30可另外根据HEVC扩展(例如范围扩展、多视图扩展(MV-HEVC)，或已由视频译码联合合作小组(JCT-VC)以及ITU-T视频译码专家群(VCEG)及ISO/IEC动画专家群(MPEG)的3D视频译码扩展开发的联合合作小组(JCT-3V)开发的可缩放扩展(SHVC))操作。
视频编码器20及视频解码器30还可根据其它专有或行业标准(例如ITU-T H.264标准，被替代地称作ISO/IEC MPEG-4，第10部分，高级视频译码(AVC))或这些标准的扩展(例如可缩放视频译码(SVC)及多视图视频译码(MVC)扩展)操作。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263及ISO/IEC MPEG-4Visual。
ITU-T VCEG(Q6/16)及ISO/IEC MPEG(JTC 1/SC 29/WG 11)现正研究对于将压缩能力显著超过当前HEVC标准(包含其当前扩展及针对屏幕内容译码及高动态范围译码的近期扩展)的压缩能力的未来视频译码技术标准化的潜在需要。所述专家群正共同致力于联合合作工作(被称为联合视频探索小组(JVET))中的此探索活动，以评估由此领域中的专家提议的压缩技术设计。JVET在2015年10月19日至21日期间第一次会面。参考软件的一个版本，即，联合探索模型6(JEM6)，可从以下下载：
https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-6.0/。JEM 6的算法描述还在JVET-F1011中被描述。
本发明的技术可利用HEVC术语，以易于阐释。然而，并未假定本发明的技术受限于HEVC，而实际上，明确地预期到，本发明的技术可实施于HEVC的后续标准及其扩展中。例如预期到，本文中所描述的技术可与当前处于开发中的H.266标准及其扩展一起使用。
尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当MUX-DEMUX单元，或其它硬件及软件以处置共同数据流或单独数据流中的音频及视频两者的编码。适用时，在一些实例中，MUX-DEMUX单元可符合ITU H.223多路复用器协议或其它协议(例如用户数据报协议(UDP))。
视频编码器20及视频解码器30各自可被实施为多种合适编码器电路或解码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术以软件部分地实施时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器执行指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，编码器或解码器中的任一者可被集成为相应装置中的组合式编码器/解码器(编解码器)的部分。
在HEVC及其它视频译码规范中，视频序列通常包含一系列图片。图片也可被称为“帧”。在一个实例途径中，图片可包含三个样本阵列，被表示为SL、SCb及SCr。在此实例途径中，SL为亮度样本的二维阵列(即，块)。SCb为Cb彩度样本的二维阵列。SCr为Cr彩度样本的二维阵列。彩度样本也可在本文中被称作“色度(chroma)”样本。在其它情况下，图片可为单色的，且可仅包含亮度样本阵列。
为产生图片的经编码表示，视频编码器20可产生译码树单元(CTU)的集合。所述CTU中的每一者可包含亮度样本的译码树块、色度样本的两个对应译码树块，及用于译码所述译码树块的样本的语法结构。在单色图片或具有三个单独颜色平面的图片中，CTU可包含单个译码树块及用以译码所述译码树块的样本的语法结构。译码树块可为样本的N×N块。CTU也可被称作“树块”或“最大译码单元”(LCU)。HEVC的CTU可大致类似于例如H.264/AVC的其它标准的宏块。然而，CTU未必限于特定大小，且可包含一或多个译码单元(CU)。切片可包含按光栅扫描次序连续地排序的整数数目个CTU。
为产生经译码CTU，视频编码器20可对CTU的译码树块递归地执行四叉树分割，以将译码树块划分成译码块，之后命名为“译码树单元”。译码块可为样本的N×N块。CU可包含具有亮度样本阵列、Cb样本阵列及Cr样本阵列的图片的亮度样本的译码块及色度样本的两个对应译码块，及用于译码所述译码块的样本的语法结构。在单色图片或具有三个单独颜色平面的图片中，CU可包含单个译码块及用于译码所述译码块的样本的语法结构。
视频编码器20可将CU的译码块分割成一或多个预测块。预测块为供应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包含亮度样本的预测块、色度样本的两个对应预测块，及用以对预测块进行预测的语法结构。在单色图片或具有三个单独颜色平面的图片中，PU可包含单个预测块及用于对所述预测块进行预测的语法结构。视频编码器20可针对CU的每一PU的亮度预测块、Cb预测块及Cr预测块产生预测性亮度块、Cb块及Cr块。
视频编码器20可使用帧内预测或帧间预测来产生PU的预测性块。如果视频编码器20使用帧内预测产生PU的预测性块，那么视频编码器20可基于与PU相关联的图片的经解码样本产生PU的预测性块。如果视频编码器20使用帧间预测以产生PU的预测性块，那么视频编码器20可基于不同于与PU相关联的图片的一或多个图片的经解码样本产生PU的预测性块。
在视频编码器20产生CU的一或多个PU的预测性亮度块、预测性Cb块及预测性Cr块之后，视频编码器20可产生CU的亮度残差块。CU的亮度残差块中的每一样本指示CU的预测性亮度块中的一者中的亮度样本与CU的原始亮度译码块中的对应样本之间的差。另外，视频编码器20可产生用于CU的Cb残差块。CU的Cb残差块中的每一样本可指示CU的预测性Cb块中的中一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差。视频编码器20还可产生CU的Cr残差块。CU的Cr残差块中的每一样本可指示CU的预测性Cr块的中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差。
此外，视频编码器20可使用四叉树分割以将CU的亮度、Cb及Cr残差块分解成一或多个亮度、Cb及Cr变换块。变换块为供应用相同变换的样本的矩形(例如正方形或非正方形)块。CU的变换单元(TU)可包含亮度样本的变换块、色度样本的两个对应变换块，及用以对变换块样本进行变换的语法结构。因此，CU的每一TU可与亮度变换块、Cb变换块及Cr变换块相关联。与TU相关联的亮度变换块可为CU的亮度残差块的子块。Cb变换块可为CU的Cb残差块的子块。Cr变换块可为CU的Cr残差块的子块。在单色图片或具有三个单独颜色平面的图片中，TU可包含单个变换块及用以对所述变换块的样本进行变换的语法结构。
视频编码器20可将一或多个变换应用于TU的亮度变换块以产生TU的亮度系数块。系数块可为变换系数的二维阵列。变换系数可为标量。视频编码器20可将一或多个变换应用于TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块，以产生TU的Cr系数块。
具有CTU、CU、PU及TU的上述块结构通常描述在HEVC中使用的块结构。然而，其它视频译码标准可使用不同块结构。作为一个实例，尽管HEVC允许PU及TU具有不同大小或形状，但其它视频译码标准可需要预测性块及变换块具有相同大小。本发明的技术不限于HEVC的块结构且可与其它块结构兼容。作为替代块结构的实例，JEM利用四叉树-二叉树(QTBT)结构。JEM的QTBT结构移除多个分割类型的概念，例如HEVC的CU、PU及TU之间的间距。JEM的QTBT结构包含两个层级：根据四叉树分割而分割的第一层级，及根据二叉树分割而分割的第二层级。QTBT结构的根节点对应于CTU。二叉树的叶节点对应于CU。
在产生系数块(例如亮度系数块、Cb系数块或Cr系数块)之后，视频编码器20可将系数块量化。量化大体上是指将变换系数量化以可能地减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器20量化系数块之后，视频编码器20可对指示经量化变换系数的语法元素进行熵编码。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。
视频编码器20可输出包含形成经译码图片及相关联数据的表示的位序列的位流。位流可包含网络抽象层(NAL)单元的序列。NAL单元为含有NAL单元中的数据的类型的指示及含有所述数据的呈按需要穿插有仿真阻止位的原始字节序列有效负载(RBSP)的形式的字节的语法结构。NAL单元中的每一者包含NAL单元标头，且封装RBSP。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有封装在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位。
不同类型的NAL单元可封装不同类型的RBSP。举例来说，第一类型的NAL单元可封装PPS的RBSP，第二类型的NAL单元可封装经译码切片的RBSP，第三类型的NAL单元可封装SEI消息的RBSP，等等。封装用于视频译码数据的RBSP(与用于参数集及SEI消息的RBSP相对)的NAL单元可被称作VCL NAL单元。
视频解码器30可接收由视频编码器20产生的位流。此外，视频解码器30可解析位流以从所述位流获得语法元素。视频解码器30可至少部分地基于从位流获得的语法元素而重构视频数据的图片。重构视频数据的过程可与由视频编码器20执行的过程大体上互逆。另外，视频解码器30可反量化与当前CU的TU相关联的系数块。视频解码器30可对系数块执行反变换以重构与当前CU的TU相关联的变换块。视频解码器30可通过将当前CU的PU的预测性块的样本与当前CU的TU的变换块的对应样本相加来重构当前CU的译码块。通过重构图片的各CU的译码块，视频解码器30可重构图片。
如上文所介绍，HEVC利用四叉树结构用于分割块。在HEVC中，切片中的最大译码单元被称为译码树块(CTB)，也被称作CTU。CTB含有四叉树，所述四叉树的节点为CU。被指定为亮度及色度CTB的块可直接用作CU或可经进一步分割成多个CU。分割是使用树结构而实现。HEVC中的树分割通常同时应用于亮度及色度两者，但当针对色度达到某些最小大小时，例外状况适用。
CTU含有允许基于由CTB覆盖的区的信号特性将CU拆分成所选择适当大小的四叉树语法。四叉树拆分过程可经迭代直到亮度CB的大小达到由编码器使用SPS中的语法选择的最小允许亮度CB大小且总是为8×8或更大(以亮度样本为单位)为止。图2A及2B中描绘将一个CTU拆分成多个CB的实例。
图片的边界是以最小允许亮度CB大小为单位来界定。结果，在图片的右侧及底部边缘处，一些CTU可覆盖部分地在图片的边界外部的区。此条件由解码器检测，且CTU四叉树视需要经隐含地拆分以将CB大小减少至其中全部CB适合图片的点。
图2A展示HEVC中的CTU至CU分割的实例，且图2B展示对应四叉树表示。举例来说，视频编码器20及视频解码器30可经配置以执行图2A及2B中所展示的CTU至CU分割。四叉树分割的方面是在视频技术的电路及系统的IEEE汇刊(IEEE)22(12)，G.J.Sullivan；J.-R.Ohm；W.-J.Han；T.Wiegand(2012年12月)的“Overview of the High Efficiency VideoCoding(HEVC)Standard”中更详细地描述。应注意，当叶节点对应于8×8CU时不需要信号发送。
HEVC采用两个环路内滤波器，被称作解块滤波器及SAO滤波器。HEVC利用解块滤波以减少块边界周围的块伪影。至此译码工具的输入为在帧内或帧间预测之后的经重构图像。解块滤波器执行在经译码块边界处的伪影的检测且通过应用所选择滤波器将其衰减。与H.264/AVC解块滤波器相比，HEVC解块滤波器具有较低计算复杂度及较佳并行处理能力，同时仍实现视觉伪影的显著减少。HEVC中的解块滤波的方面是在电路系统视频技术IEEE汇刊22(12)：1746页至1754页(2012年)，A.Norkin,G.Bjontegaard,A.Fuldseth,M.Narroschke,M.Ikeda,K.Andersson,Minhua Zhou,G.Van der Auwera的“HEVCDeblocking Filter”中描述。
HEVC还利用SAO滤波，其为一种类型的滤波，其中偏移与样本值(例如后解块样本值)相加以可能地改进经解码视频的质量。在HEVC中，至SAO的输入为在调用解块滤波之后的经重构图像。SAO的通用概念为通过首先运用所选择分类器将区样本分类成多个类别，获得用于每一类别的偏移，且接着将偏移与类别的每一样本相加而减小区的平均样本失真，其中分类器索引及区的偏移是在位流中译码。在HEVC中，区(SAO参数信号发送的单元)经定义为CTU。
HEVC利用SAO滤波的两个不同类型，其两者皆可满足低复杂度的需求。用于HEVC中的SAO的两个类型为边缘偏移(EO)及频带偏移(BO)。当实施SAO滤波时，视频解码器30可例如接收指示所使用SAO的类型或指示SAO的无一类型被使用的索引(在0至2范围内)。
当执行EO时，视频编码器20及视频解码器30可根据1-D方向图案基于当前样本与相邻样本的比较使用样本分类。图3A至3D展示用于不同EO样本分类的1-D方向图案的实例。在图3A至3D的实例中，视频解码器30比较样本C与样本A及样本B以确定用于样本C的类别，如下文关于表I更详细地描述。图3A展示用于水平分类(EO类别＝0)的样本的实例。图3B展示用于竖直分类(EO类别＝1)的样本的实例。图3C展示用于135°对角分类(EO类别＝2)的样本的实例。图3D展示用于45°对角分类(EO类别＝3)的样本的实例。
根据所选择EO图案，HEVC定义由表I中的edgeIdx表示的五个类别。对于等于0～3的edgeIdx，偏移的量值可经用信号发送，而正负号旗标经隐式地译码，即，对于等于0或1的edgeIdx，负偏移，且对于等于2或3的edgeIdx，正偏移。对于等于4的edgeIdx，偏移始终经设定成0，这意指对于此情况不需要操作。因此，当滤波样本时，如果所述样本满足类别0的条件，那么视频解码器30将与类别0相关联的偏移与所述样本相加，且如果所述样本满足类别1的条件，那么视频解码器将与类别1相关联的偏移与所述样本相加，等等。如果所述样本不满足类别1-4中的任一者的条件，那么视频解码器30不将偏移与所述样本相加。
表I：用于EO的分类
Figure BDA0002342019780000121
对于BO，视频解码器30基于样本值执行样本分类。每一颜色分量可具有其自身SAO参数。BO暗示一个偏移与同一频带的所有样本相加。样本值范围经相等地分成32个频带。对于范围介于0至255的8位样本，频带的宽度为8，且从8k至8k+7的样本值属于频带k，其中k范围介于0至31。原始样本与频带中的经重构样本(即，频带的偏移)之间的平均值差经用信号发送至解码器。不存在对于偏移正负号的约束。仅仅四个连续频带的偏移及起始频带位置经用信号发送至解码器。所有剩余频带与0偏移相关联。
为减少与用信号发送旁侧信息(例如偏移类型及偏移值)相关联的信号发送开销，复制来自上方CTU(经由将sao_merge_left_flag设定为等于1)或左侧CTU(经由将sao_merge_up_flag设定为等于1)的参数以共享SAO参数，多个CTU可合并在一起。
除了经修改解块滤波及HEVC的SAO方法之外，JEM还已包含另一滤波方法，被称为基于几何变换的自适应环路滤波(GALF)。GALF旨在改进自适应环路滤波(ALF)的译码效率。ALF被认为包含于HEVC中，但最终并不包含于HEVC的最终版本中。ALF旨在通过使用基于维纳(Wiener)的自适应滤波而最小化原始样本与经解码样本之间的均方误差。如果执行ALF，那么视频解码器30将图片中的样本分类成多个类别且使用与类别相关联的自适应滤波器滤波每一类别中的样本。滤波器系数可经用信号发送或继承以优化均方误差与开销之间的权衡。GALF经提议以通过引入待应用于滤波器支撑区中的样本的例如旋转、对角翻转及竖直翻转的几何变换(这取决于ALF之前经重构样本的梯度的定向)而进一步改进ALF的性能。至ALF/GALF的输入为调用SAO之后的经重构图像。
在2016年2月20日至2月26日，ITU-T SG 16WP 3及ISO/IEC JTC 1/SC 29/WG 11的探索小组(JVET)，美国圣地亚哥举行的第2次会议，M.Karczewicz,L.Zhang,W.-J.Chien,X.Li的“EE2.5:Improvements on adaptive loop filter”文献JVET-B0060及2016年5月26日至6月1日，ITU-T SG 16WP 3及ISO/IEC JTC 1/SC 29/WG 11的探索小组(JVET)，瑞士日内瓦举行的第3次会议，M.Karczewicz,L.Zhang,W.-J.Chien,X.Li的“EE2.5:Improvementson adaptive loop filter”文献JVET-C0038中，GALF被提议且被采用至JEM 3.0中。在GALF中，运用所考虑的对角梯度修改分类且几何变换可应用于滤波器系数。如果执行GALF，那么视频解码器30基于2×2块的方向性及活动性的经量化值将每一2×2块分类成25个类别中的一者。
可由视频编码器20及视频解码器30实施的另一滤波技术为双边滤波。双边滤波先前在1998年1月印度孟买IEEE ICCV会刊中，C.Tomasi及R.Manduchi的“Bilateralfiltering for gray and color images”中进行描述。双边滤波经描述为避免在边缘处像素的不良过度平滑。双边滤波的主要想法是相邻样本中的加权考虑像素值自身以将更多权重给予具有类似亮度或彩度值的那些像素。位于(i,j)处的样本可使用其相邻样本(k,l)进行滤波。权重ω(i,j,k,l)是经指派用于样本(k,l)的权重以对样本(i,j)进行滤波，且其被定义为：
I(i,j)及I(k,l)分别为样本(i,j)及(k,l)的强度值。σd为空间参数，且σr为范围参数。具有由ID(i,j)指示的经滤波样本值的滤波过程可被定义为：
Figure BDA0002342019780000141
双边滤波器的特性(或强度)可由空间参数及范围参数控制。位于较接近待滤波样本处的样本及相对于待滤波样本具有较小强度差的样本与远离且具有较大强度差的样本相比较可具有较大权重。
如2016年10月15至21日在中国成都举行的第4次会议的Jacob
Figure BDA0002342019780000147
PerWennersten,Ying Wang,Kenneth Andersson,Jonatan Samuelsson的“Bilateral filterafter inverse transform”(JVET-D0069)中，变换单元(TU)中的每一经重构样本是仅使用其直接相邻的经重构样本来进行滤波。
图4展示用于双边滤波过程中的一个样本及所述样本的相邻四个样本的实例。图4的滤波器具有在待滤波样本处定中心的加号状滤波器孔径。σd的值是根据方程式(3)基于变换单元大小来设定，且σr的值是根据方程式(4)基于用于当前块的QP来设定。
Figure BDA0002342019780000143
如2017年1月12至20日在瑞士日内瓦举行的第5次会议上J.
Figure BDA0002342019780000148
P.Wennersten,K.Andersson,J.Enhorn的“Bilateral filter strength based on prediction mode”(JVET-E0032)，为在低延迟配置下进一步减少译码损失，滤波器强度经进一步设计为取决于经译码模式。对于经帧内译码块，仍使用以上方程式(3)。对于经帧间译码块，应用以下方程式：
Figure BDA0002342019780000144
σd的不同值意指帧间预测块的滤波器强度与帧内预测块的滤波器强度相比较相对较弱。帧间预测块通常具有比帧内预测块较小的残差，且因此双边滤波器经设计以对帧间预测块的重构进行较少滤波。
输出的经滤波样本值ID(i,j)经计算为：
由于滤波器仅仅接触样本及其4个相邻者，所以此方程式可被写为
其中IC为中心样本的强度，且IL、IR、IA及IB分别为左侧样本、右侧样本、上方样本及下方样本的强度。同样，ωC为中心样本的权重，且ωL、ωR、ωA及ωB为相邻样本的对应权重。滤波器仅仅使用块内的样本用于滤波；在外部的权重经设定为0。
为减少计算的数目，已使用查找表(LUT)实施JEM中的双边滤波器。对于每一QP，存在针对值ωL、ωR、ωA及ωB的一维LUT，其中值
被存储，其中
Figure BDA0002342019780000152
是使用取决于QP的方程式(4)来计算。由于LUT中的
Figure BDA0002342019780000153
Figure BDA0002342019780000154
所以对于帧内M×N其中minimum(M,N)等于4情况，运用65的中心权重ωC的情况下，其可被直接使用，这表示1.0。对于其它模式(即，帧内M×N但minimum(M,N)不等于4，帧间K×L个块)，我们使用相同LUT，但实际上使用中心权重
其中σd是由(3)或(5)获得。最终经滤波值被计算为：
Figure BDA0002342019780000156
其中所使用除法为整数除法且项(ωC+ωL+ωR+ωA+ωB)＞＞1相加以得到正确舍入。
在JEM参考软件中，方程式2中的除法运算由查找表(LUT)、乘法及移位操作替换。为减少分子及分母的大小，方程式2经进一步改善为
在JEM参考软件中，方程式11是以除法可由两个查找表实施的方式来实施，且(11)可被写为：
IF＝IC+sign(PixelDeltaSum)*((sign(PixelDeltaSum)*PixelDeltaSum+o)*LUT(sumWeights)＞＞(14+DivShift(sumWeights))) (12)
PixelDeltaSum＝(ωL(IL-IC)+ωR(IR-IC)+ωA(IA-IC)+ωB(IB-IC)
sumWeights＝ωC+ωL+ωR+ωA+ωB
o＝PixelDeltaSum+sign(PixelDeltaSum)
sign(x)＝x>＝0？1:-1；
两个查找表为用以在移位之后得到每一1/x(x为正整数值)的近似值的查找表LUT，及用以定义输入x的额外移位值的查找表DivShift。2017年3月31日至4月7日，在澳大利亚霍巴特(Hobart)举行的第6次会议，J.
Figure BDA0002342019780000158
P.Wennersten,K.Andersson,J.Enhorn的“EE2-JVET related:Division-free bilateral filter”JVET-F0096提供更多细节。
如果QP＜18，或如果块为帧间类型且块尺寸为16×16或更大，那么双边滤波器断开。应注意，所提议的双边滤波方法仅应用于具有至少一个非零系数的亮度块。在一实例中，对于具有全零系数的色度块及亮度块，始终停用双边滤波方法。
图5展示用于双边滤波过程中的一个样本及其相邻四个样本的实例。对于位于TU顶部及左侧边界(即，顶部行及左侧列)处的样本，仅当前TU内的相邻样本可用以对当前样本进行滤波，如图5的实例中所展示。
JVET-D0069、JVET-E0032及JVET-F0096中提议的双边滤波的设计可具有若干问题。作为一个实例，即使除法由查找表替换，计算复杂度仍相对高，其需要高精确度乘法。作为另一实例，对于所有视频序列运用固定加权参数的双边滤波器的设计可并不完全捕获视频内容的特性。本发明引入可由视频编码器20及视频解码器30实施以便解决这些问题及其它问题的技术。因此，本发明的技术可通过减少与实施双边滤波相关联的复杂度同时仍实现与双边滤波相关联的译码增益而改进视频编码器20及视频解码器30的功能性。减少与双边滤波相关联的复杂度可使视频编码器20及视频解码器30能够更快速处理视频数据，使用不大复杂硬件来实施，实现较佳电池寿命，及/或实现其它改进。
为可能地解决上文所介绍的问题，本发明提议无除法双边滤波(DFBil)方法。对于一个待滤波样本，DFBil滤波过程可被定义为：
Figure BDA0002342019780000161
其中IC为当前样本的强度且IF为在执行DFBil之后当前样本的经修改强度，Ii及wi分别为第m个相邻样本的强度及加权参数。
根据本发明的一种技术，视频解码器30可使用定位于模板中的相邻样本实施双边滤波。在一个实例中，所述模板可包含在空间上接近于当前样本的若干相邻样本。图6中描绘DFBil中所使用的当前样本及相邻样本的实例。在一个实例中，所述模板可包含来自先前经译码帧或参考图片的同置位置的一或多个相邻样本。在一个实例中，所述模板可包含在空间上接近于当前样本的样本及来自先前经译码图片或参考图片的同置位置的样本。在一个实例中，所述模板可包含在空间上接近于当前样本的样本、来自先前经译码图片或参考图片的同置位置的样本，及在空间上接近于在其它图片中的同置位置处的样本的样本。所述模板及/或相邻样本的总数(N)可经预定义及固定用于所有情况。替代地，所述模板及/或N可由编码器用信号发送，以由解码器接收。替代地，模板及/或N可根据经译码信息(包含但不限于模式信息及/或运动信息)而自适应地改变。
根据本发明的另一技术，加权因数wi可由两个部分表示，包含当前样本与一个相邻样本之间的距离信息的一个部分(由Disi指示)，及包含样本差信息的另一部分(由Rangi指示)。在一个实例中，wi＝Disi*Rangi。Rangi可进一步依赖于覆盖当前样本的块的量化参数(QP)及/或基于基于经重构样本及/或原始样本的局部样本特性(其可被用信号发送)。在一个实例中，局部区域中的样本特性可由例如像素方差、结构信息、结构类似性索引表示。距离可由函数f(xi-xc,yi-yc)定义，例如sqrt((xi-xc)2+(yi-yc)2)或((xi-xc)2+(yi-yc)2)，其中(xc,yc)表示当前样本的坐标且(xi,yi)表示相邻样本的坐标。Disi可进一步依赖于译码模式信息、变换信息、运动信息及/或预测方向。
在一个实例中，对于定位于经帧内译码块及经帧间译码块中的两个样本，甚至在第i个相邻样本及当前样本相同或Rangi相同时，对于经帧间译码样本，Disi可经设定为较小值。用于Rangi的多于一个候选者可被允许且多个候选者中的一者可经选择用于一个样本/块/分割区以决定真正Rangi。在一个实例中，候选者可指示QP差。用于Disi的多于一个候选者可被允许且多个候选者中的一者可经选择用于一个样本、块或分割区。在一个实例中，候选者可指示当前样本与相邻样本之间的通用加权差。Disi或Rangi或wi可进一步取决于切片类型、覆盖当前样本的块相对于图块及/或切片内的左上方样本的位置，或当前样本相对于覆盖当前样本的块的左上方样本的位置，或样本是否位于一个块的边界处，或基于像素方差的分类区而变化。此外，在一个实例中，用于像素方差计算的区可经预定义或由编码器在位流中用信号发送，以由解码器接收。Disi、Rangi、wi可由查找表界定以使得不需要在运作中对于每一待滤波样本计算参数。
根据本发明的另一技术，视频解码器30可紧接在解块滤波器过程之后调用DFBil。可紧接在块的重构过程之后调用DFBil。可在帧内预测或运动补偿之后将DFBil应用于预测块。或DFBil可应用于用于帧内预测的参考样本。DFBil及其它环路内滤波器的次序可取决于视频数据的切片类型。DFBil及其它环路内滤波器的次序可经预定义。或次序可自适应地改变且自适应次序可经明确地用信号发送或基于译码信息而导出。
根据本发明的另一技术，视频解码器30可接收每一单元(例如结合LCU/CU/四叉树分割区)DFBil需要的参数(例如上文所论述的Disi及Rangi的候选者索引)。在一个实例中，对于每一单元，DFBil可经启用或停用。即，指示DFBil的使用的一个额外位可由编码器进一步用信号发送并由解码器接收。在一个实例中，对于每一切片，一个旗标可首先由编码器用信号发送并由解码器接收以指示当前切片内的所有块是否将由DFBil滤波。
在一个实例中，类似于HEVC中采用的四叉树结构，DFBil的信号发送还可遵循具有一些变化的四叉树设计。一个此类变化为“LCU”可由整个切片及/或图块替换，即，四叉树结构的节点为整个切片及/或图块。另一可能变化为，对于第一拆分，区大小可经定义为(2K,2K)，其中K为正整数且2K小于切片及/或图块宽度且2K+1不小于切片及/或图块宽度。对于剩余拆分，区大小减小1/4，即，高度及宽度两者可减小一半。另一可能变化为用于用信号发送DFBil的最小大小可经预定义(例如64×64)，或在位流中用信号发送。
在一个实例实施方案中，如上文所定义，滤波过程可被表示为：
Figure BDA0002342019780000181
ωi＝*Rangi
Figure BDA0002342019780000182
Figure BDA0002342019780000183
Figure BDA0002342019780000184
σr＝(QP–minDFBilQP+2*Indexr–2*(RCandNum/2))*2
σd＝DCandidateList[Indexd]
其中minDFBilQP指示DFBil应用于的最小QP，例如其经设定为17。应注意，可每一CU、LCU、四叉树分割区、切片或图片用信号发送Indexd及Indexr。RCandNum指示用于σr确定的候选者的总数目，且阵列DCandidateList指示用于σd确定的候选者列表。
在一个实例中，N经设定为12，RCandNum经设定为5。DCandidateList经设定为[52,62,72,82]。替代地，DCandidateList可取决于切片类型或代码模式。在一个实例中，列表大小对于所有情况是相同的；替代地，列表大小对于不同译码信息可能是不同的。
图7为绘示可实施本发明中所描述的技术的实例视频编码器20的框图。视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测以减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的相邻帧或图片内的视频的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。帧间模式(例如单向预测(P模式)或双向预测(B模式))可指若干基于时间的压缩模式中的任一者。
在图7的实例中，视频编码器20包含视频数据存储器33、分割单元35、预测处理单元41、求和器50、变换处理单元52、量化单元54及熵编码单元56。预测处理单元41包含运动估计单元(MEU)42、运动补偿单元(MCU)44及帧内预测单元46。对于视频块重构，视频编码器20还包含反量化单元58、反变换处理单元60、求和器62、滤波器单元64及经解码图片缓冲器(DPB)66。
如图7中所展示，视频编码器20接收视频数据并将所接收的视频数据存储于视频数据存储器33中。视频数据存储器33可存储将由视频编码器20的组件编码的视频数据。可例如从视频源18获得存储于视频数据存储器33中的视频数据。DPB 66可为存储参考视频数据以用于由视频编码器20编码视频数据(例如在帧内或帧间译码模式中)的参考图片存储器。视频数据存储器33及DPB 66可由例如动态随机存取存储器(DRAM)的各种存储器装置中的任一者形成，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器33及DPB 66可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器33可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。
分割单元35从视频数据存储器33检索视频数据且将视频数据分割成视频块。此分割还可包含分割成切片、图块或其它较大单元，以及例如根据LCU及CU的四叉树结构的视频块分割。视频编码器20大体上绘示编码待编码的视频切片内的视频块的组件。切片可划分成多个视频块(且可能划分成被称作图块的视频块集合)。预测处理单元41可基于误差结果(例如译码速率及失真等级)选择多个可能译码模式中的一者(例如多个帧内译码模式中的一者或多个帧间译码模式中的一者)用于当前视频块。预测处理单元41可将所得的经帧内或帧间译码块提供至求和器50以产生残差块数据，且提供至求和器62以重构经编码块以用作参考图片。
预测处理单元41内的帧内预测单元46可执行当前视频块相对于与待译码的当前块相同的帧或切片中的一或多个相邻块的帧内预测性译码以提供空间压缩。预测处理单元41内的运动估计单元42及运动补偿单元44执行当前视频块相对于一或多个参考图片中的一或多个预测性块的帧间预测性译码，以提供时间压缩。
运动估计单元42可经配置以根据视频序列的预定图案来确定用于视频切片的帧间预测模式。预定图案可将序列中的视频切片指定为P切片或B切片。运动估计单元42及运动补偿单元44可高度地集成，但为概念目的而单独地绘示。由运动估计单元42执行的运动估计为产生运动向量的过程，所述运动向量估计视频块的运动。举例来说，运动向量可指示将当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的移位。
预测性块为就像素差来说被发现紧密地匹配待译码的视频块的PU的块，所述像素差可由绝对差和(SAD)、平方差和(SSD)或其它差度量确定。在一些实例中，视频编码器20可计算存储于DPB 66中的参考图片的次整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行关于全像素位置及分数像素位置的运动搜索且输出具有分数像素精确度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置而计算经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述参考图片列表中的每一者识别存储在DPB 66中的一或多个参考图片。运动估计单元42将所计算的运动向量发送至熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计(可能执行内插至子像素精确度)确定的运动向量而提取或产生预测性块。在接收到当前视频块的PU的运动向量之后，运动补偿单元44可在参考图片列表中的一者中定位运动向量所指向的预测性块。视频编码器20通过从正被译码的当前视频块的像素值减去预测性块的像素值来形成残差视频块，从而形成像素差值。像素差值形成用于块的残差数据，且可包含亮度及色度差分量两者。求和器50表示执行此减法运算的一或多个组件。运动补偿单元44还可产生与视频块及视频切片相关联的语法元素以供视频解码器30用于在解码视频切片的视频块时使用。
在预测处理单元41经由帧内预测或帧间预测产生当前视频块的预测性块之后，视频编码器20通过从当前视频块减去预测性块而形成残差视频块。残差块中的残差视频数据可包含于一或多个TU中且被应用于变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上类似变换的变换将残差视频数据变换成残差变换系数。变换处理单元52可将残差视频数据从像素域转换至变换域(例如频域)。
变换处理单元52可将所得变换系数发送至量化单元54。量化单元54量化变换系数以进一步减少位速率。量化过程可减小与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。在另一实例中，熵编码单元56可执行所述扫描。
在量化之后，熵编码单元56对经量化变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在由熵编码单元56熵编码之后，经编码位流可被传输至视频解码器30，或经存档以供视频解码器30稍后传输或检索。熵编码单元56还可熵编码正被译码的当前视频切片的运动向量及其它语法元素。
反量化单元58及反变换处理单元60分别应用反量化及反变换以在像素域中重构残差块以供稍后用作参考图片的参考块。运动补偿单元44可通过将残差块与参考图片列表中的一者内的参考图片中的一者的预测性块相加来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构残差块以计算次整数像素值以用于运动估计。求和器62将经重构残差块与由运动补偿单元44产生的运动补偿预测块相加以产生经重构块。
滤波器单元64对经重构块(例如求和器62的输出)进行滤波且将经滤波的经重构块存储于DPB 66中以供用作参考块。参考块可由运动估计单元42及运动补偿单元44用作为参考块以对后续视频帧或图片中的块进行帧间预测。举例来说，滤波器单元64可实施本发明中所描述的无除法双边滤波技术。滤波器单元64还可执行任何类型的滤波，例如解块滤波、SAO滤波、峰值SAO滤波、ALF及/或GALF，及/或其它类型的环路滤波器。解块滤波器可例如将解块滤波应用于滤波器块边界，以从经重构视频移除块伪影。峰值SAO滤波器可将偏移应用于经重构像素值，以便改进总体译码质量。还可使用额外环路滤波器(环路内或环路后)。
图8为绘示可实施本发明中所描述的技术的实例视频解码器30的框图。图8的视频解码器30可例如经配置以接收上文关于图7的视频编码器20所描述的信号发送。在图8的实例中，视频解码器30包含视频数据存储器78、熵解码单元80、预测处理单元81、反量化单元86、反变换处理单元88、求和器90、滤波器单元92及DPB 94。预测处理单元81包含运动补偿单元82及帧内预测单元84。在一些实例中，视频解码器30可执行与关于来自图7的视频编码器20所描述的编码遍次大体上互逆的解码遍次。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30将所接收的经编码视频位流存储于视频数据存储器78中。视频数据存储器78可存储将由视频解码器30的组件解码的视频数据，例如经编码视频位流。存储于视频数据存储器78中的视频数据可例如经由链路16从存储装置26或从本地视频源(例如相机)或通过存取物理数据存储媒体来获得。视频数据存储器78可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。DPB94可为存储参考视频数据以供视频解码器30例如在帧内或帧间译码模式中解码视频数据的参考图片存储器。视频数据存储器78及DPB 94可由各种存储器装置中的任一者形成，所述存储器装置是例如DRAM、SDRAM、MRAM、RRAM或其它类型的存储器装置。视频数据存储器78及DPB 94可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器78可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
视频解码器30的熵解码单元80熵解码存储于视频数据存储器78中的视频数据以产生经量化系数、运动向量及其它语法元素。熵解码单元80将运动向量及其它语法元素转发至预测处理单元81。视频解码器30可在视频切片层级及/或视频块层级接收语法元素。
当视频切片经译码为经帧内译码(I)切片时，预测处理单元81的帧内预测单元84可基于来自当前帧或图片的先前经解码块的经用信号发送的帧内预测模式及数据来产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码切片(例如B切片或P切片)时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收到的运动向量及其它语法元素产生当前视频切片的视频块的预测性块。预测性块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储于DPB 94中的参考图片使用默认构造技术来构造参考帧列表：列表0及列表1。
运动补偿单元82通过解析运动向量及其它语法元素来确定用于当前视频切片的视频块的预测信息，并使用所述预测信息以产生经解码当前视频块的预测性块。举例来说，运动补偿单元82使用所接收的语法元素中的一些以确定用以译码视频切片的视频块的预测模式(例如帧内预测或帧间预测)、帧间预测切片类型(例如B切片或P切片)、切片的参考图片列表中的一或多者的构造信息、切片的每一经帧间编码视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态，及用以解码当前视频切片中的视频块的其它信息。
运动补偿单元82还可执行基于内插滤波器的内插。运动补偿单元82可使用如由视频编码器20在视频块的编码期间使用的内插滤波器，以计算参考块的次整数像素的内插值。在此情况下，运动补偿单元82可从所接收的语法元素确定由视频编码器20使用的内插滤波器并使用所述内插滤波器以产生预测性块。
反量化单元86反量化(即，解量化)位流中所提供并由熵解码单元80解码的经量化变换系数。反量化过程可包含使用由视频编码器20针对视频切片中的每一视频块计算的量化参数，以确定量化程度且同样地确定应被应用的反量化程度。反变换处理单元88将反变换(例如反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数，以便在像素域中产生残差块。
在预测处理单元81使用例如帧内或帧间预测产生当前视频块的预测性块之后，视频解码器30通过将来自反变换处理单元88的残差块与对应预测性块求和而形成经重构视频块。求和器90表示执行此求和运算的一或多个组件。
滤波器单元92对经重构块(例如求和器90的输出)进行滤波且将经滤波的经重构块存储于DPB 94中以供用作参考块。参考块可由运动补偿单元82用作参考块以帧间预测后续视频帧或图片中的块。举例来说，滤波器单元92可实施本发明中所描述的无除法双边滤波技术。滤波器单元92还可执行任何类型的滤波，例如解块滤波、SAO滤波、SAO滤波、ALF及/或GALF、双边滤波，及/或其它类型的环路滤波器。解块滤波器可例如将解块滤波应用于滤波器块边界，以从经重构视频移除块伪影。SAO滤波器可将偏移应用于经重构像素值，以便改进总体译码质量。还可使用额外环路滤波器(环路内或环路后)。
给定帧或图片中的经解码视频块接着存储于DPB 94中，所述DPB存储用于后续运动补偿的参考图片。DPB 94可为额外存储器的部分或与其分离，所述额外存储器存储用于稍后呈现于显示装置(例如图1的显示装置32)上的经解码视频。
图9展示滤波器单元92的实例实施方案。滤波器单元64可以相同方式实施。滤波器单元64及92可可能地结合视频编码器20或视频解码器30的其它组件执行本发明的技术。在图9的实例中，滤波器单元92包含解块滤波器102、SAO滤波器104，及ALF/GALF滤波器106，如同实施于JEM 6中。滤波器单元92还包含双边滤波器108。如图9的实例中所展示，双边滤波器108可独立于解块滤波器102、SAO滤波器104及/或ALF/GLAF滤波器106，或结合解块滤波器102、SAO滤波器104及/或ALF/GLAF滤波器106而使用。在替代实施方案中，与图9中所展示的那些滤波器相比，滤波器单元92可包含较少滤波器及/或可包含额外滤波器。另外或替代地，图9中所展示的特定滤波器可以不同于图9中所展示的次序的次序实施。
图10为绘示根据本发明的技术的用于解码视频数据的视频解码器的实例操作的流程图。关于图10所描述的视频解码器可例如为例如视频解码器30的用于输出可显示经解码视频的视频解码器，或可为实施于视频编码器中的视频解码器，例如视频编码器20的解码环路，其包含反量化单元58、反变换处理单元60、滤波器单元64及DPB 66。
根据图10的技术，视频解码器确定视频数据的块的样本值(202)。视频解码器对视频数据的块的样本的样本值执行滤波操作以产生包括经修改样本值的视频数据的经滤波块(204)。作为执行滤波操作的部分，视频解码器确定对应于样本值与第一相邻样本的值之间的差的第一差值(206)且将第一差值乘以第一加权参数以确定第一加权差值(208)。视频解码器还确定对应于样本值与第二相邻样本的值之间的差的第二差值(210)，将第二差值乘以第二加权参数以确定第二加权差值(212)，且将第一加权差值及第二加权差值与样本值相加以确定经修改样本值(214)。视频解码器输出视频数据的经滤波块，例如作为包括视频数据的经滤波块的经解码图片的部分。在一些实例中，视频数据的经滤波块可在输出之前经历额外滤波。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么所述功能可作为一或多个指令或代码而在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体的有形媒体)或通信媒体(其包含例如根据通信协议促进计算机程序从一处传送至另一处的任何媒体)。以此方式，计算机可读媒体通常可对应于(1)非暂时性有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、代码及/或数据结构以用于实施本发明所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。此外，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术而从网站、服务器或其它远程源传输指令，那么同轴电缆、光缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是涉及非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘通过激光以光学方式再生数据。以上各者的组合也应包含于计算机可读媒体的范围内。
指令可由一或多个处理器执行，例如一或多个DSP、通用微处理器、ASIC、FPGA或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于经配置以供编码及解码或并入于组合式编解码器中的专用硬件及/或软件模块内。此外，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于多种装置或设备中，包含无线手机、集成电路(IC)或IC集合(例如芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求由不同硬件单元来实现。确切地说，如上文所描述，可将各种单元组合于编解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合结合合适软件及/或固件来提供所述单元。
各种实例已予以描述。这些及其它实例在所附权利要求书的范围内。

Claims (25)

1.一种解码视频数据的方法，所述方法包括：
确定视频数据的块的样本的样本值；
对所述视频数据的所述块的所选择样本的样本值执行滤波操作以产生包括经修改样本值的视频数据的经滤波块，其中执行所述滤波操作包括：
确定对应于所述所选择样本的所述样本值与第一相邻样本的样本值之间的差的第一差值；
将所述第一差值乘以第一加权参数以确定第一加权差值；
确定对应于所述所选择样本的所述样本值与第二相邻样本的样本值之间的差的第二差值；
将所述第二差值乘以第二加权参数以确定第二加权差值；及
将所述第一加权差值及所述第二加权差值与所述所选择样本的所述样本值相加以确定所述经修改样本值；及
输出视频数据的所述经滤波块。
2.根据权利要求1所述的方法，其中执行所述滤波操作包括根据以下方程式修改所述所选择样本的所述样本值：
Figure FDA0002342019770000011
其中IF为所述经修改样本值，IC为所述所选择样本的所述样本值，Ii为第i相邻样本的样本值，wi为用于所述第i相邻样本的加权参数，且N为相邻样本的数目。
3.根据权利要求1所述的方法，其中所述第一相邻样本包括紧邻所述所选择样本的样本，且其中所述第二相邻样本包括不紧邻所述所选择样本的样本。
4.根据权利要求1所述的方法，其中所述第一相邻样本包括来自先前经解码图片的样本。
5.根据权利要求1所述的方法，其进一步包括：
基于所述所选择样本与所述第一相邻样本之间的距离及基于所述第一差值确定所述第一加权因数。
6.根据权利要求5所述的方法，其进一步包括：
进一步基于用于视频数据的所述块的量化参数确定所述第一加权因数。
7.根据权利要求1所述的方法，其进一步包括：
基于包含于所述视频数据中的参数确定所述第一加权因数及所述第二加权因数。
8.根据权利要求1所述的方法，其中视频数据的所述块包括视频数据的经后解块滤波、经重构块。
9.根据权利要求1所述的方法，其中所述解码方法是作为视频编码过程的解码环路的部分而执行，且其中输出视频数据的所述经滤波块包括存储包括视频数据的所述经滤波块的参考图片，所述方法进一步包括：
在编码所述视频数据的另一图片时使用所述参考图片。
10.根据权利要求1所述的方法，其中输出经解码图片包括将视频数据的所述经滤波块输出至显示装置。
11.一种用于解码视频数据的装置，所述方法包括：
存储器，其经配置以存储所述视频数据；及
一或多个处理器，其经配置以进行以下操作：
确定所述视频数据的块的样本的样本值；
对所述视频数据的所述块的所选择样本的样本值执行滤波操作以产生包括经修改样本值的视频数据的经滤波块，其中为执行所述滤波操作，所述一或多个处理器经配置以进行以下操作：
确定对应于所述所选择样本的所述样本值与第一相邻样本的样本值之间的差的第一差值；
将所述第一差值乘以第一加权参数以确定第一加权差值；
确定对应于所述所选择样本的所述样本值与第二相邻样本的样本值之间的差的第二差值；
将所述第二差值乘以第二加权参数以确定第二加权差值；及
将所述第一加权差值及所述第二加权差值与所述所选择样本的所述样本值相加以确定所述经修改样本值；及
输出视频数据的所述经滤波块。
12.根据权利要求11所述的装置，其中为执行所述滤波操作，所述一或多个处理器经进一步配置以根据以下方程式修改所述所选择样本的所述样本值：
Figure FDA0002342019770000031
其中IF为所述经修改样本值，IC为所述所选择样本的所述样本值，Ii为第i相邻样本的样本值，wi为用于所述第i相邻样本的加权参数，且N为相邻样本的数目。
13.根据权利要求11所述的装置，其中所述第一相邻样本包括紧邻所述所选择样本的样本，且其中所述第二相邻样本包括不紧邻所述所选择样本的样本。
14.根据权利要求11所述的装置，其中所述第一相邻样本包括来自先前经解码图片的样本。
15.根据权利要求11所述的装置，其中所述一或多个处理器经进一步配置以进行以下操作：
基于所述所选择样本与所述第一相邻样本之间的距离及基于所述第一差值确定所述第一加权因数。
16.根据权利要求15所述的装置，其中所述一或多个处理器经进一步配置以进行以下操作：
进一步基于用于视频数据的所述块的量化参数确定所述第一加权因数。
17.根据权利要求11所述的装置，其中所述一或多个处理器经进一步配置以进行以下操作：
基于包含于所述视频数据中的参数确定所述第一加权因数及所述第二加权因数。
18.根据权利要求11所述的方法，其中视频数据的所述块包括视频数据的经后解块滤波、经重构块。
19.根据权利要求11所述的装置，其中所述装置经配置以作为视频编码过程的解码环路的部分而解码所述视频数据，且其中为输出视频数据的所述经滤波块，所述一或多个处理器经配置以存储包括视频数据的所述经滤波块的参考图片，其中所述一或多个处理器经进一步配置以在编码所述视频数据的另一图片时使用所述参考图片。
20.根据权利要求11所述的装置，其中为输出视频数据的所述经滤波块，所述一或多个处理器经配置以将包括视频数据的所述经滤波块的经解码图片输出至显示装置。
21.根据权利要求11所述的装置，其中所述装置包括无线通信装置，其进一步包括经配置以接收经编码视频数据的接收器。
22.根据权利要求21所述的装置，其中所述无线通信装置包括电话手机，且其中所述接收器经配置以根据无线通信标准解调包括所述经编码视频数据的信号。
23.根据权利要求11所述的装置，其中所述装置包括无线通信装置，其进一步包括经配置以发射经编码视频数据的发射器。
24.根据权利要求23所述的装置，其中所述无线通信装置包括电话手机，且其中所述发射器经配置以根据无线通信标准调制包括所述经编码视频数据的信号。
25.一种计算机可读存储媒体，其存储指令，所述指令在由一或多个处理器执行时致使所述一或多个处理器进行以下操作：
确定视频数据的块的样本的样本值；
对所述视频数据的所述块的所选择样本的样本值执行滤波操作以产生包括经修改样本值的视频数据的经滤波块，其中为执行所述滤波操作，所述指令致使所述一或多个处理器进行以下操作：
确定对应于所述所选择样本的所述样本值与第一相邻样本的样本值之间的差的第一差值；
将所述第一差值乘以第一加权参数以确定第一加权差值；
确定对应于所述所选择样本的所述样本值与第二相邻样本的样本值之间的差的第二差值；
将所述第二差值乘以第二加权参数以确定第二加权差值；及
将所述第一加权差值及所述第二加权差值与所述所选择样本的所述样本值相加以确定所述经修改样本值；及
输出视频数据的所述经滤波块。
CN201880043814.XA 2017-07-05 2018-07-05 基于无除法双边滤波器解码方法、装置、存储介质 Active CN110800295B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762528912P 2017-07-05 2017-07-05
US62/528,912 2017-07-05
US16/027,173 US10887622B2 (en) 2017-07-05 2018-07-03 Division-free bilateral filter
US16/027,173 2018-07-03
PCT/US2018/040933 WO2019010315A1 (en) 2017-07-05 2018-07-05 BILATERAL FILTER WITHOUT DIVISION

Publications (2)

Publication Number Publication Date
CN110800295A true CN110800295A (zh) 2020-02-14
CN110800295B CN110800295B (zh) 2022-01-04

Family

ID=64903535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880043814.XA Active CN110800295B (zh) 2017-07-05 2018-07-05 基于无除法双边滤波器解码方法、装置、存储介质

Country Status (9)

Country Link
US (1) US10887622B2 (zh)
EP (1) EP3649777A1 (zh)
KR (1) KR102309353B1 (zh)
CN (1) CN110800295B (zh)
AU (1) AU2018297286A1 (zh)
BR (1) BR112019027830A2 (zh)
SG (1) SG11201910917PA (zh)
TW (1) TW201907715A (zh)
WO (1) WO2019010315A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10834396B2 (en) 2018-04-12 2020-11-10 Qualcomm Incorporated Bilateral filter for predicted video data
US11936859B2 (en) * 2018-07-02 2024-03-19 Telefonaktiebolaget Lm Ericsson (Publ) Bilateral high frequency boost
WO2020228763A1 (en) * 2019-05-14 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Methods on scaling in video coding
WO2020256491A1 (ko) * 2019-06-19 2020-12-24 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2021034722A1 (en) * 2019-08-16 2021-02-25 Apple Inc. Adaptive bilateral filtering using look-up tables
CN117859325A (zh) * 2021-09-07 2024-04-09 北京达佳互联信息技术有限公司 用于视频编解码的自适应双边滤波

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030021489A1 (en) * 2001-07-24 2003-01-30 Seiko Epson Corporation Image processor and image processing program, and image processing method
US20080253682A1 (en) * 2007-04-10 2008-10-16 Giquila Corporation De-ringing filter for decompressed video data
CN101635849A (zh) * 2008-07-24 2010-01-27 青岛海信信芯科技有限公司 一种环路滤波方法及环路滤波器
CN101984669A (zh) * 2010-12-10 2011-03-09 河海大学 一种帧层次自适应维纳插值滤波器的迭代方法
CN102075753A (zh) * 2011-01-13 2011-05-25 中国科学院计算技术研究所 一种视频编解码中去块滤波方法
CN104041051A (zh) * 2011-06-30 2014-09-10 华为技术有限公司 一种简化的双边帧内平滑滤波器

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9471988B2 (en) * 2011-11-02 2016-10-18 Google Inc. Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
US8948253B2 (en) * 2011-12-15 2015-02-03 Flextronics Ap, Llc Networked image/video processing system
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US9386319B2 (en) * 2013-09-05 2016-07-05 Microsoft Technology Licensing, Llc Post-process filter for decompressed screen content
CN104794685B (zh) 2014-01-17 2019-04-26 腾讯科技（深圳）有限公司 一种实现图像去噪的方法及装置
US20160014176A1 (en) * 2014-07-09 2016-01-14 Liveu Ltd. System and method for content solicitation
KR20180107082A (ko) 2016-02-16 2018-10-01 삼성전자주식회사 비디오 부호화 방법 및 장치, 그 복호화 방법 및 장치
US11272175B2 (en) 2016-10-05 2022-03-08 Telefonaktiebolaget Lm Ericsson (Publ) Deringing filter for video coding
US20180184127A1 (en) 2016-12-22 2018-06-28 Qualcomm Incorporated Determining neighboring samples for bilateral filtering in video coding
WO2018149995A1 (en) 2017-02-16 2018-08-23 Telefonaktiebolaget Lm Ericsson (Publ) Filter apparatus and methods
US20190082176A1 (en) 2017-09-11 2019-03-14 Qualcomm Incorporated Non-local bilateral filter
US10721469B2 (en) 2017-11-28 2020-07-21 Qualcomm Incorporated Line buffer reduction for adaptive loop filtering in video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030021489A1 (en) * 2001-07-24 2003-01-30 Seiko Epson Corporation Image processor and image processing program, and image processing method
US20080253682A1 (en) * 2007-04-10 2008-10-16 Giquila Corporation De-ringing filter for decompressed video data
CN101635849A (zh) * 2008-07-24 2010-01-27 青岛海信信芯科技有限公司 一种环路滤波方法及环路滤波器
CN101984669A (zh) * 2010-12-10 2011-03-09 河海大学 一种帧层次自适应维纳插值滤波器的迭代方法
CN102075753A (zh) * 2011-01-13 2011-05-25 中国科学院计算技术研究所 一种视频编解码中去块滤波方法
CN104041051A (zh) * 2011-06-30 2014-09-10 华为技术有限公司 一种简化的双边帧内平滑滤波器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
EHSAN NADERNEJAD: "Enhancingperceivedqualityofcompressedimagesand", 《SIGNALPROCESSING: IMAGE COMMUNICATION》 *
沈沙: "H.264/HEVC视频解码的VLSI结构及实现研究", 《万方数据库》 *

Also Published As

Publication number Publication date
EP3649777A1 (en) 2020-05-13
KR20200023358A (ko) 2020-03-04
SG11201910917PA (en) 2020-01-30
WO2019010315A1 (en) 2019-01-10
TW201907715A (zh) 2019-02-16
KR102309353B1 (ko) 2021-10-05
US10887622B2 (en) 2021-01-05
CN110800295B (zh) 2022-01-04
AU2018297286A1 (en) 2019-12-19
US20190014349A1 (en) 2019-01-10
BR112019027830A2 (pt) 2020-07-07

Similar Documents

Publication Publication Date Title
CN109691102B (zh) 跨分量滤波器
CN110999291B (zh) 用于划分视频数据的帧间预测片段中的视频块的系统和方法
US10440396B2 (en) Filter information sharing among color components
US10506228B2 (en) Variable number of intra modes for video coding
JP7422684B2 (ja) ブロックベースの適応ループフィルタ（ａｌｆ）の設計およびシグナリング
CN109076218B (zh) 基于多个滤波器混淆的视频编码/解码方法、装置
KR102520295B1 (ko) 선형 모델 예측 모드를 위한 다운샘플링 프로세스
CN109076228B (zh) 滤波信息的发信号
CN109964482B (zh) 视频译码中指示双边滤波器使用的方法
CN110800295B (zh) 基于无除法双边滤波器解码方法、装置、存储介质
CN111373756B (zh) 具有远相邻像素的帧内预测
US20190082176A1 (en) Non-local bilateral filter
CN109792525B (zh) 峰值样本自适应偏移
US20190320172A1 (en) Hardware-friendly sample adaptive offset (sao) and adaptive loop filter (alf) for video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40014706

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant