CN107211154B - 用于译码视频数据的方法和装置以及计算机可读存储介质 - Google Patents

用于译码视频数据的方法和装置以及计算机可读存储介质 Download PDF

Info

Publication number
CN107211154B
CN107211154B CN201680009135.1A CN201680009135A CN107211154B CN 107211154 B CN107211154 B CN 107211154B CN 201680009135 A CN201680009135 A CN 201680009135A CN 107211154 B CN107211154 B CN 107211154B
Authority
CN
China
Prior art keywords
alf
video data
candidate
ctu
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680009135.1A
Other languages
English (en)
Other versions
CN107211154A (zh
Inventor
李想
刘鸿彬
陈颖
赵欣
张莉
陈建乐
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107211154A publication Critical patent/CN107211154A/zh
Application granted granted Critical
Publication of CN107211154B publication Critical patent/CN107211154B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

实例包含一种用于译码视频数据的装置,所述装置包含:存储器,其经配置以存储视频数据;和一或多个处理器,所述一或多个处理器经配置以:从以下各者中的一或多者获得用于当前译码树单元CTU的自适应环路滤波ALF信息:(i)所述当前CTU的一或多个空间相邻CTU或(ii)所述当前CTU的一或多个时间相邻CTU;至少部分地基于用于所述当前CTU的所述所获得ALF信息而形成候选项列表;以及使用与来自所述候选项列表的候选项相关联的ALF信息对所述当前CTU执行滤波操作。译码视频数据包含编码视频数据、解码视频数据,或编码和解码视频数据两者。

Description

用于译码视频数据的方法和装置以及计算机可读存储介质
本申请案主张2015年2月11日申请的美国临时专利申请案第62/115,067号的权益,所述申请案的全部内容并入本文中。
技术领域
本发明涉及视频译码。
背景技术
数字视频能力可并入到广泛范围的装置中,包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式发射装置和其类似者。数字视频装置实施视频压缩技术,例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)、最近定案的高效率视频译码(HEVC)标准定义的标准和这些标准的扩展中所描述的那些技术。视频装置可通过实施这些视频压缩技术而更有效地发射、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码,可将视频切片(即,视频帧或视频帧的一部分)分割成视频块(其也可被称作树型块)、译码单元(CU)和/或译码节点。可使用相对于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧,且参考图片可被称作参考帧。
空间或时间预测产生待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量和指示经译码块与预测性块之间的差异的残余数据来编码经帧间译码块。根据帧内译码模式和残余数据来编码经帧内译码块。为进一步压缩,可将残余数据从像素域变换到变换域,从而产生可接着进行量化的残余变换系数。可扫描最初布置成二维阵列的经量化变换系数以便产生变换系数的一维向量,且可应用熵译码以实现甚至更多压缩。
发明内容
本发明的方面涉及译码树单元(CTU)级自适应环路滤波(ALF)。本文中所描述的技术可应用于各种现存视频编解码器中的任一者,例如符合高效率视频译码(HEVC)标准的编解码器或任何未来视频编解码器。
各种实例包含一种用于译码视频数据的方法,所述方法包含:从以下各者中的一或多者获得用于当前译码树单元(CTU)的自适应环路滤波(ALF)信息:(i)所述当前CTU的一或多个空间相邻CTU或(ii)所述当前CTU的一或多个时间相邻CTU;至少部分地基于用于所述当前CTU的所述所获得ALF信息而形成候选项列表;以及使用与来自所述候选项列表的候选项相关联的ALF信息来对所述当前CTU执行滤波操作。
各种实例包含一种用于译码视频数据的装置,所述装置包含:存储器,其经配置以存储视频数据;和一或多个处理器,所述一或多个处理器经配置以:从以下各者中的一或多者获得用于当前译码树单元(CTU)的自适应环路滤波(ALF)信息:(i)所述当前CTU 的一或多个空间相邻CTU或(ii)所述当前CTU的一或多个时间相邻CTU;至少部分地基于用于所述当前CTU的所述所获得ALF信息而形成候选项列表;以及使用与来自所述候选项列表的候选项相关联的ALF信息来对所述当前CTU执行滤波操作。
各种实例包含一种用于译码视频数据的装置,所述装置包含:用于从以下各者中的一或多者获得用于当前译码树单元(CTU)的自适应环路滤波(ALF)信息的装置:(i)所述当前CTU的一或多个空间相邻CTU或(ii)所述当前CTU的一或多个时间相邻CTU;用于至少部分地基于用于所述当前CTU的所述所获得ALF信息而形成候选项列表的装置;以及用于使用与来自所述候选项列表的候选项相关联的ALF信息来对所述当前CTU执行滤波操作的装置。
各种实例包含一种存储有指令的非暂时性计算机可读存储介质,所述指令在被执行时使一或多个处理器进行以下操作:从以下各者中的一或多者获得用于当前译码树单元(CTU)的自适应环路滤波(ALF)信息:(i)所述当前CTU的一或多个空间相邻CTU或(ii) 所述当前CTU的一或多个时间相邻CTU;至少部分地基于用于所述当前CTU的所述所获得ALF信息而形成候选项列表;以及使用与来自所述候选项列表的候选项相关联的 ALF信息来对所述当前CTU执行滤波操作。
在以下随附图式和描述中阐述一或多个实例的细节。其它特征、目标和优点将从所述描述和所述图式以及从权利要求书而显而易见。
附图说明
图1是说明可利用本发明中所描述的技术的实例视频编码和解码系统的框图。
图2是说明活动性度量的范围和方向度量到滤波器的映射的概念图。
图3A到3C是说明实例滤波器形状的概念图。
图4是说明可实施本发明中所描述的技术的实例视频编码器的框图。
图5是说明可实施本发明中所描述的技术的实例视频解码器的框图。
图6是说明可实施本发明中所描述的技术的一或多个方法的流程图。
图7是说明可实施本发明中所描述的技术的一或多个方法的流程图。
具体实施方式
视频译码通常涉及从同一图片中的已经译码的视频数据块预测视频数据块(即,帧内预测)或从不同图片中的已经译码的视频数据块预测视频数据块(即,帧间预测)。在一些情况下,视频编码器也通过比较预测性块与原始块来计算残余数据。因此,残余数据表示预测性块与原始块之间的差异。视频编码器变换且量化残余数据,且在经编码位流中用信号发送经变换且经量化的残余数据。视频解码器将残余数据添加到预测性块以产生相比单独的预测性块更紧密匹配原始视频块的重建的视频块。为进一步改善经解码视频的质量,视频解码器可对重建的视频块执行一或多个滤波操作。这些滤波操作的实例包含解块滤波、样本自适应偏移(sample adaptive offset,SAO)滤波和自适应环路滤波(ALF)。用于这些滤波操作的参数可通过视频编码器确定且在经编码视频位流中显式地用信号发送,或可通过视频解码器隐式地确定。
本发明描述与在视频编码和/或视频解码过程中对重建的视频数据进行滤波相关联的技术,且更确切地说,本发明描述与ALF相关的技术。根据本发明,在编码器处应用滤波,且在位流中编码滤波器信息以使解码器能够识别在编码器处所应用的滤波。视频编码器可测试若干不同滤波情境,且基于率失真分析而选择产生重建的视频质量与压缩质量之间的所要折衷的一滤波器或滤波器集合。视频解码器接收包含滤波器信息的经编码视频数据,解码视频数据,且基于滤波信息来应用滤波。以此方式,视频解码器应用在视频编码器处所应用的相同滤波。
对ALF的一些提议包含基于图片的ALF方法,其中滤波器群组是在与图片或帧相关联的自适性参数集合(APS)或图片参数集合(PPS)中用信号发送。可使用块自适应(BA) 分类或区自适应(RA)分类来确定将来自滤波器集合的哪一滤波器应用于哪些像素。在 BA分类的一个实例中,可确定用于像素块的活动性度量(例如,拉普拉斯活动性 (Laplacianactivity))。基于所确定的活动性度量所属的范围,可选择用于块的滤波器。一定范围的活动性度量值可具有相关联滤波器。因此,可基于块的活动性度量所属的范围来选择用于所述块的滤波器。在BA分类的一些实例中,可使用多于一个度量。举例来说,拉普拉斯活动性的测量可被用作第一度量,且基于方向的度量可被用作第二度量,且可基于所述两个度量的范围来选择滤波器。将在下文更详细地论述使用BA分类来应用滤波器的方面。
在RA分类的一实例中,可将图片或帧划分成固定数目个区(例如,16个区),且每一区可具有相关联滤波器。区中的每一CU可具有相关联的开/关旗标,其指示是否使用与区相关联的滤波器对CU进行滤波,或是否将不对CU进行滤波。可在(例如)APS或 SPS中用信号发送是否将使用BA分类或RA分类对图片或帧进行滤波。使用RA分类相对于使用BA分类通常降低视频译码器复杂性,这是因为RA分类消除对视频解码器计算块的活动性度量的需要。将在下文更详细地论述使用RA分类来应用滤波器的方面。
如下文将更详细解释,本发明描述用于在译码树单元(CTU)级应用ALF的技术。本发明中所描述的各种技术涉及如何在经编码位流中用信号发送ALF信息,如何为一像素或像素群组选择ALF滤波器,和如何将ALF滤波器应用于一像素或像素群组。可参考视频编码或视频解码的特定实例来解释本发明的技术中的一些技术。然而,应理解,除非明确陈述相反,否则所述技术也可适用于视频编码或视频解码中的另一者。作为一个实例,视频编码器通常执行视频解码操作,作为确定如何编码视频数据的部分。因此,视频解码技术可通过视频编码器执行。此外,许多译码操作依赖于执行通过视频编码器执行的相同操作(或在某些状况下,互逆操作)的视频解码器。因此,作为解码视频数据的部分,视频解码器可执行用以编码视频数据的相同操作。
图1是说明可利用本发明中所描述的技术的实例视频编码和解码系统10的框图。如图1中所示,系统10包含源装置12,源装置12产生稍后待由目的地装置14解码的经编码视频数据。源装置12和目的地装置14可包括大范围装置中的任一者,包含台式计算机、笔记型(即,膝上型)计算机、平板计算机、机顶盒、电话手机(例如,所谓的“智能”电话)、所谓的“智能”板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或其类似者。在一些情况下,可配备源装置12和目的地装置 14以用于无线通信。
目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的介质或装置。在一个实例中,链路16可包括使源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信介质。经编码视频数据可根据通信标准(例如,无线通信协议)来调制,且发射到目的地装置14。通信介质可包括任何无线或有线通信介质,例如,射频(RF)频谱或一或多个物理发射线。通信介质可形成分组网络(例如局域网、广域网或例如因特网的全球网络)的一部分。通信介质可包含路由器、交换器、基站或可用于有助于从源装置12 到目的地装置14的通信的任何其它设备。
或者,经编码数据可从输出接口22输出到存储装置26。类似地,经编码数据可通过输入接口从存储装置26存取。存储装置26可包含各种分布式或本地存取的数据存储介质(例如,硬盘、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器,或用于存储经编码视频数据的任何其它合适数字存储介质)中的任一者。在另一实例中,存储装置26可对应于可保持由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可经由流式传输或下载而从存储装置26存取所存储的视频数据。文件服务器可以是能够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如,用于网站)、FTP 服务器、网络连接存储(NAS)装置和本地磁盘。目的地装置14可经由任何标准数据连接 (包含因特网连接)而存取经编码视频数据。此数据连接可包含适于存取存储于文件服务器上的经编码视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、缆线调制解调器等),或两者的组合。经编码视频数据从存储装置26的发射可以是流式传输发射、下载发射或两者的组合。
本发明的技术未必限于无线应用或设定。所述技术可适用于支持多种多媒体应用(例如,(例如)经由因特网的空中电视广播、有线电视发射、卫星电视发射、流式传输视频发射)中的任一者的视频译码、供存储于数据存储介质上的数字视频的编码、存储于数据存储介质上的数字视频的解码,或其它应用。在一些实例中,系统10可经配置以支持单向或双向视频发射以支持应用(例如,视频流式传输、视频播放、视频广播和/或视频电话的应用)。
在图1的实例中,源装置12包含视频源18、视频编码器20和输出接口22。在一些情况下,输出接口22可包含调制器/解调器(调制解调器)和/或发射器。在源装置12中,视频源18可包含例如视频捕捉装置(例如,视频相机)、含有先前捕捉的视频的视频存档、用以从视频内容提供者接收视频的视频馈入接口和/或用于产生作为源视频的计算机图形数据的计算机图形系统的源,或这些源的组合。作为一个实例,如果视频源18是视频相机,那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而,本发明中所描述的技术可大体上适用于视频译码,且可应用于无线和/或有线应用。
可由视频编码器20来编码所捕捉、预捕捉或计算机产生的视频。经编码视频数据可经由源装置12的输出接口22直接发射到目的地装置14。经编码视频数据也可(或替代地)存储到存储装置26上以供稍后由目的地装置14或其它装置存取以用于解码和/或播放。
目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些情况下,输入接口28可包含接收器和/或调制解调器。目的地装置14的输入接口28经由链路16 接收经编码视频数据。经由链路16传达或在存储装置26上所提供的经编码视频数据可包含由视频编码器20产生的多种语法元素以供例如视频解码器30的视频解码器在解码所述视频数据时使用。这些语法元素可与在通信介质上发射、存储于存储介质上或存储于文件服务器上的经编码视频数据包含在一起。
显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中,目的地装置14可包含集成式显示装置且也经配置以与外部显示装置介接。在其它实例中,目的地装置14可以是显示装置。一般来说,显示装置32向用户显示经解码视频数据,且可包括多种显示装置中的任一者,例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30可根据视频压缩标准(例如最近定案的高效率视频译码(HEVC)标准)来操作,且可符合HEVC测试模型(HM)。或者,视频编码器20和视频解码器30可根据其它专属或行业标准(例如,ITU-T H.264标准,替代地被称作MPEG-4,第10部分,高级视频译码(AVC))或这些标准的扩展而操作。然而,本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。
本发明的技术可利用HEVC术语,以易于解释。然而,不应假定本发明的技术限于HEVC,而实际上,明确预期本发明的技术可实施于HEVC的后续标准和其扩展中。
尽管图1中未展示,但在一些方面中,视频编码器20和视频解码器30可各自与音频编码器和解码器集成,且可包含适当MUX-DEMUX单元或其它硬件和软件,以处置共同数据流或单独数据流中的音频和视频两者的编码。如果适用,那么在一些实例中, MUX-DEMUX单元可符合ITU H.223多路复用器协议或其它协议(例如,用户数据报协议(UDP))。
视频编码器20和视频解码器30各自可实施为多种合适编码器电路中的任一者,例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分以软件实施时,装置可将用于软件的指令存储于合适的非暂时性计算机可读介质中,且在硬件中使用一或多个处理器执行指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含于一或多个编码器或解码器中,编码器或解码器中的任一者可集成为相应装置中的组合式编码器/解码器(编解码器)的部分。
如上文所介绍,JCT-VC最近已定案HEVC标准的开发。HEVC标准化努力是基于视频译码装置的演进模型(被称作HEVC测试模型(HM))。HM根据(例如)ITU-T H.264/AVC假定视频译码装置相对于现存装置的若干其它能力。举例来说,H.264提供九个帧内预测编码模式,而HM可提供多达三十五个帧内预测编码模式。
在HEVC和其它视频译码规范中,视频序列通常包含一系列图片。图片也可被称作“帧”。图片可包含三个样本阵列,指示为SL、SCb和SCr。SL是明度样本的二维阵列(即,块)。SCb是Cb色度样本的二维阵列。SCr是Cr色度样本的二维阵列。色度样本在本文中也可被称作“色度(chroma)”样本。在其它情况下,图片可以是单色的且仅可包含明度样本阵列。
为产生图片的经编码表示,视频编码器20可产生译码树单元(CTU)的集合。CTU 中的每一者可包括明度样本的译码树块、色度样本的两个对应译码树块和用以译码所述译码树块的样本的语法结构。在单色图片或具有三个单独彩色平面的图片中,CTU可包括单一译码树块和用以译码所述译码树块的样本的语法结构。译码树块可以是样本的 N×N块。CTU也可被称作“树块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于例如H.264/AVC的其它标准的宏块。然而,CTU未必限于特定大小,且可包含一或多个译码单元(CU)。切片可包含在光栅扫描次序中连续定序的整数数目个CTU。
为产生经译码CTU,视频编码器20可对CTU的译码树块递回地执行四叉树分割,以将译码树块划分成译码块,因此命名为“译码树单元”。译码块可以是样本的N×N块。 CU可包括具有明度样本阵列、Cb样本阵列和Cr样本阵列的图片的明度样本的译码块和色度样本的两个对应译码块,和用以译码所述译码块的样本的语法结构。在单色图片或具有三个单独彩色平面的图片中,CU可包括单一译码块和用以译码所述译码块的样本的语法结构。
视频编码器20可将CU的译码块分割为一或多个预测块。预测块是样本的矩形(即,正方形或非正方形)块,将对所述块应用相同预测。CU的预测单元(PU)可包括明度样本的预测块、色度样本的两个对应预测块和用以预测所述预测块的语法结构。在单色图片或具有三个单独彩色平面的图片中,PU可包括单一预测块和用以预测所述预测块的语法结构。视频编码器20可产生CU的每一PU的明度预测块、Cb预测块和Cr预测块的预测性明度块、Cb块和Cr块。
视频编码器20可使用帧内预测或帧间预测来产生PU的预测性块。如果视频编码器20使用帧内预测来产生PU的预测性块,那么视频编码器20可基于与PU相关联的图片的经解码样本而产生PU的预测性块。如果视频编码器20使用帧间预测来产生PU的预测性块,那么视频编码器20可基于不同于相关联于PU的图片的一或多个图片的经解码样本而产生PU的预测性块。
在视频编码器20产生CU的一或多个PU的预测性明度块、预测性Cb块和预测性 Cr块之后,视频编码器20可产生CU的明度残余块。CU的明度残余块中的每一样本指示CU的预测性明度块中的一者中的明度样本与CU的原始明度译码块中的对应样本之间的差异。另外,视频编码器20可产生CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差异。视频编码器20也可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。
此外,视频编码器20可使用四叉树分割将CU的明度残余块、Cb残余块和Cr残余块分解为一或多个明度变换块、Cb变换块和Cr变换块。变换块是样本的矩形(即,正方形或非正方形)块,将对所述块应用相同变换。CU的变换单元(TU)可包括明度样本的变换块、色度样本的两个对应变换块和用以对变换块样本进行变换的语法结构。因此,CU 的每一TU可与明度变换块、Cb变换块和Cr变换块相关联。与TU相关联的明度变换块可以是CU的明度残余块的子块。Cb变换块可以是CU的Cb残余块的子块。Cr变换块可以是CU的Cr残余块的子块。在单色图片或具有三个单独彩色平面的图片中,TU 可包括单一变换块和用以对变换块的样本进行变换的语法结构。
视频编码器20可将一或多个变换应用于TU的明度变换块,以产生TU的明度系数块。系数块可以是变换系数的二维阵列。变换系数可以是纯量。视频编码器20可将一或多个变换应用于TU的Cb变换块,以产生TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块,以产生TU的Cr系数块。
在产生系数块(例如,明度系数块、Cb系数块或Cr系数块)之后,视频编码器20可量化所述系数块。量化通常指对变换系数进行量化以可能减少用以表示变换系数的数据的量的过程,从而提供进一步压缩。在视频编码器20量化系数块之后,视频编码器20 可熵编码指示经量化变换系数的语法元素。举例来说,视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。
视频编码器20可输出包含形成经译码图片和相关联数据的表示的位序列的位流。位流可包括NAL单元序列。NAL单元是一语法结构,其含有NAL单元中的数据的类型的指示和以视需要穿插有仿真阻止位的RBSP的形式含有所述数据的字节。NAL单元中的每一者包含NAL单元标头且封装RBSP。NAL单元标头可包含指示NAL单元类型码的语法元素。通过NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可以是含有封装于NAL单元内的整数数目个字节的语法结构。在一些情况下,RBSP包含零位。
不同类型的NAL单元可封装不同类型的RBSP。举例来说,第一类型的NAL单元可封装用于PPS的RBSP,第二类型的NAL单元可封装用于经译码切片的RBSP,第三类型的NAL单元可封装用于SEI消息的RBSP等等。封装用于视频译码数据的RBSP(与用于参数集合和SEI消息的RBSP相对)的NAL单元可被称作VCL NAL单元。
视频解码器30可接收由视频编码器20产生的位流。此外,视频解码器30可剖析位流以从所述位流获得语法元素。视频解码器30可至少部分地基于从位流获得的语法元素而重建视频数据的图片。重建视频数据的过程通常可与通过视频编码器20执行的过程互逆。另外,视频解码器30可反量化与当前CU的TU相关联的系数块。视频解码器30可对系数块执行反变换以重建与当前CU的TU相关联的变换块。通过将当前CU 的PU的预测性块的样本添加到当前CU的TU的变换块的对应样本,视频解码器30可重建当前CU的译码块。通过重建图片的每一CU的译码块,视频解码器30可重建图片。
ALF是在HEVC中提议,且包含于各种工作草案和测试模型软件(即,HEVC测试模型(或“HM”))中,但ALF不包含于HEVC的最终版本中。在相关技术中,HEVC测试模型版本HM-3.0中的ALF设计经主张为最有效设计。(参见2011年3月16日到23 日于日内瓦召开的ITU-TSG16 WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合协作小组(JCT-VC)第5次会议中T.Wiegand、B.Bross、W.J.Han、J.R.Ohm和G.J.Sullivan 的“WD3:高效率视频译码的工作草案3(WD3:Working Draft 3 of High-Efficiency Video Coding)”JCTVC-E603(在下文中,“工作草案3”),其全部内容以引用的方式并入本文中)因此,本文中介绍来自HM-3.0的ALF设计。
HM-3.0中的ALF是基于图片级最佳化。即,ALF系数是在整个帧经译码之后导出。存在用于明度分量的两个模式,基于块的适应(BA)和基于区的适应(RA)。这两个模式共享相同滤波器形状、滤波操作以及语法元素。这两个模式之间的唯一差异在于分类方法。
BA中的分类处于块级。图片中的每一4×4明度块基于一维(1D)拉普拉斯方向(多达 3个方向)和二维(2D)拉普拉斯活动性(多达5个活动性值)而被分配群组索引。方向Dirb和非量化活动性Actb的计算展示于下文的方程(1)到方程(4)中,其中
Figure GDA0002450017830000101
指示具有4×4块的左上像素位置的相对座标(i,j)的重建的像素,Vi,j和Hi,j是位于(i,j)处的像素的竖直和水平梯度的绝对值。因而,方向Dirb是通过比较4×4块中的竖直梯度和水平梯度的绝对值而产生,且Actb是4×4块中的两个方向上的梯度的总和。Actb经进一步量化到范围0到 4(包含端点),如工作草案3中所描述。
Figure GDA0002450017830000102
Figure GDA0002450017830000103
Figure GDA0002450017830000104
Figure GDA0002450017830000105
因此,在图片中分类出总计15(5×3)个群组,且每一群组与一群组索引值相关联。
图2是说明用于BA分类的这15个群组的概念图。在图2的实例中,滤波器被映射到活动性度量(即,范围0到范围4)和方向度量的值的范围。图2中的方向度量展示为具有无方向、水平和竖直的值,所述值可对应于上文来自方程3的值0、1和2。图2的特定实例将六个不同滤波器(即,滤波器1、滤波器2、……、滤波器6)展示为映射到15 个类别,但可类似地使用更多或更少滤波器。尽管图2展示具有经标识为群组221到群组235的15个群组的一实例,但也可使用更多或更少群组。举例来说,替代活动性度量的五个范围,可使用更多或更少范围,从而产生更多群组。另外,也可使用额外方向 (例如,45度方向和135度方向),而非仅仅三个方向。
如下文将更详细地解释,与每一群组相关联的滤波器可使用一或多个合并旗标来用信号发送。对于一维群组合并,可发送单一旗标以指示群组是否与先前群组映射到同一滤波器。对于二维合并,可发送第一旗标以指示群组是否与第一相邻块(例如,水平相邻者或竖直相邻者中的一者)映射到同一滤波器,且如果所述旗标是假,那么可发送第二旗标以指示群组是否映射到第二相邻块(例如,水平相邻者或竖直相邻者中的另一者)。
对于RA分类,可首先将每一图片均匀分裂成16(4×4)个CTU对准区,所述对准区中的每一者是图片的图块,其具有图片的宽度和高度的四分之一(1/4)宽度和四分之一 (1/4)高度。区内的像素可被视为在同一群组中。
为节省信令成本和相关联带宽消耗,可合并具有邻近索引值的任何两个群组,即,使得所述两个群组使用相同ALF参数集合。可基于率失真成本将所述群组反复地合并,直到仅剩一个群组为止。不管对应模式是BA还是RA,所述群组经重新布置到1D向量 (3×5 2D活动性和方向阵列经重新布置到BA中的1D向量,或4×4图块经重新布置到 1D向量)。1D向量的右侧元素可仅再使用左侧元素中的那些的ALF参数。用于工作草案3的HM-3中的1D合并的分组信息是根据下表1的斜体部分用信号发送。
Figure GDA0002450017830000111
表1
(上文表1的语法的)相关语义如下。
alf_no_filters_minus1加1指定用于当前切片的滤波器集合数目。
alf_start_second_filter指定alf_no_filters_minus1等于1时的应用第二滤波器的情况下的明度样本的变化索引。
alf_filter_pattern[i]指定alf_no_filters_minus1大于1时的对应于明度样本的第i个变化索引的滤波器索引阵列。滤波器集合数目AlfNumFilters导出如下:
-如果alf_no_filters_minus1小于2,
那么AlfNumFilters=alf_no_filters_minus1+1 (7-15)
-否则(alf_no_filters_minus1大于2)
AlfNumFilters=Σi alf_filter_pattern[i],其中i=0…15 (7-16)
不管对应模式是BA还是RA,群组仍处于2D阵列中。2D阵列的任何一或多个元素可被分配到一个合并群组中,因此仅用信号发送ALF系数的集合。也应注意,基于 2D合并的方法已在2011年11月于日内瓦的ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合协作小组(JCT-VC)中T.Yamakage、T.Watanabe、T. Chujoh、C.-Y.Chen、C.-M.Fu、C.-Y.Tsai、Y.-W.Huang、S.Lei、I.S.Chong、M.Karczewicz、 T.Ikai的“CE8.a.1:2-D可合并语法(CE8.a.1:2-D mergeable syntax)”JCTVC-G316(在下文中,JCTVC-G316)中提议,其全部内容以引用的方式并入本文中。如下表2的斜体部分中所示,所提议方法需要显著信令开销来支持灵活的2D合并。
Figure GDA0002450017830000121
表2
下文语义对应于表2的斜体部分。
alf_region_idx[i]指定自适应环路滤波器的滤波器索引。
prev_alf_region_pred_flag[i]和rem_alf_region_pred_idx[i]指定自适应环路滤波器的系数索引CoeffIdx。当prev_alf_region_pred_flag[i]等于0时,将从相邻类别的索引推断alf_region_idx[i]。
阵列CoeffIdx导出如下。
CoeffIdx[0]经设定为0。
值alf_curr_filters经设定为1。
对于1到AlfNumRegions-1的范围中的每一i,进行以下步骤,
如果alf_no_filters_minus1是0,那么将CoeffIdx[i]设定为0。
否则,如果alf_no_filters_minus1是1,那么将CoeffIdx[i]设定为alf_region_idx[i]
否则,如果alf_no_filters_minus1大于1,那么CoeffIdx[i]如以下步骤所述地导出
alf_remain_regions的值经导出为AlfNumRegions-i
alf_remain_filters的值经导出为AlfNumFilters-alf_curr_filters
remain_fixed_region的值经导出为alf_remain_regions-alf_remain_filters
如果remain_fixed_region是0,那么推断CoeffIdx[i]是alf_curr_filters的值
否则,如果prev_alf_region_pred_flag[i]是1,那么推断CoeffIdx[i]是预测值mpm_region_idx[i]。
否则,如果rem_alf_region_pred_idx[i]小于mpm_region_idx[i],那么将CoeffIdx[i] 设定为prev_alf_region_pred_flag[i]。
否则,将CoeffIdx[i]设定为rem_alf_region_pred_idx[i]。
如果CoeffIdx[i]等于alf_curr_filters,那么alf_curr_filters递增1。
mpm_region_idx[i]导出如下,
如果alf_remain_regions大于alf_remain_filters>>1,那么mpm_region_idx[i]经导出为alf_curr_filters。
否则,如果(i%5)是0且alf_region_adaptation_flag是0,那么mpm_region_idx[i] 经导出为CoeffIdx[i-5]
否则,mpm_region_idx[i]经导出为CoeffIdx[i-1]
对于每一群组(在可能合并之后),用信号发送ALF系数的集合。支持多达三个环形对称滤波器形状(如图3A到3C中所示)。更具体地说,图3A到3C说明三个ALF滤波器形状,即,5×5菱形(例如,图3A)、7×7菱形(例如,图3B),和缺顶9×9菱形(例如,图3C)。另外,在CU级用信号发送旗标以指示ALF是否被应用于当前CU(按照工作草案3的ALF设计)。
滤波器系数(有时被称作滤波器分接头)可经定义或选择以便提升可缩减块效应(blockiness)的视频块滤波的所要水平和/或以其它方式改善视频质量。举例来说,滤波器系数集合可定义如何沿视频块的边缘或视频块内的其它位置应用滤波。不同滤波器系数可引起关于视频块的不同像素的不同级的滤波。举例来说,滤波可使邻近像素值的强度差异平滑或清晰,以便帮助消除非所要的伪影。
在本发明中,术语“滤波器”通常指滤波器系数集合。举例来说,3×3滤波器可通过9个滤波器系数的集合来定义,5×5滤波器可通过25个滤波器系数的集合来定义,9×5 滤波器可通过45个系数的集合来定义,等等。术语“滤波器集合”通常指具有多于一个滤波器的群组。举例来说,两个3×3滤波器的集合可包含9个滤波器系数的第一集合和9个滤波器系数的第二集合。术语“形状”(有时被称作“滤波器支持”)通常指用于特定滤波器的滤波器系数行的数目和滤波器系数列的数目。举例来说,9×9是第一形状的实例,7×5是第二形状的实例,且5×9是第三形状的实例。在一些情况下,滤波器可采用非矩形形状,包含菱形形状、类菱形形状、环形形状、类环形形状、六边形形状、八边形形状、十字形状、X形状、T形状、其它几何形状,或众多其它形状或配置。图 3A到3C中的实例是菱形形状,然而可使用其它形状。在最常见情况下,不管滤波器的形状如何,滤波器掩模中的中心像素是经滤波的像素。在其它实例中,经滤波像素可从滤波器掩模的中心偏移。
对于图片中的色度分量中的两者,在未分类的情况下应用ALF系数的一个单一集合。始终使用5×5菱形的滤波器形状。在解码器侧,每一像素样本
Figure GDA0002450017830000141
基于如下文方程 (5)中所示的计算经滤波到I′i,j,其中L指示滤波器长度,fm,n表示滤波器系数,且o指示滤波器偏移或DC系数。
Figure GDA0002450017830000142
在HM-3.0发布之后,ALF就较低复杂性和较佳信令来说经进一步改善。此外,为缩减通过HM-3中的图片级ALF引入的译码时延,也提议CTU级语法。更多信息可发现于C.-Y.Tsai、C.-Y.Chen、T.Yamakage;I.S.Chong、Y.-W.Huang、C.-M.Fu、T.Itoh、 T.Watanabe、T.Chujoh、M.Karczewicz、S.-M.Lei的“用于视频译码的自适应环路滤波 (Adaptive LoopFiltering for Video Coding)”(IEEE杂志信号处理选题(IEEE Journal of SelectedTopics in Signal Processing),2013年12月第6期第7卷)中,其全部内容以引用的方式并入本文中。
在所提议的CTU级ALF中,ALF参数可显式地用信号发送或从空间相邻CTU继承。当显式地用信号发送时,针对当前CTU用信号发送多达T(其中T经设定为特定值,例如,15)个ALF滤波器。当继承时,发送指示符以指示ALF滤波器是否是从相邻(例如,左侧或上方)CTU继承。当当前CTU的ALF滤波器经指示为从相邻(例如,左侧或上方CTU)继承时,将相邻CTU的所有ALF滤波器复制为当前CTU的那些ALF滤波器,且不再用信号发送ALF滤波器。在HM-6中,使用灵活语法以更好地支持ALF参数的空间继承,例如,使用延伸长度译码来支持“从左侧复制”。HM-6的这些方面的其它细节可发现于2012年2月于San Jose,CA的ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11 的视频译码联合协作小组(JCT-VC)的B.Bross、W.-J.Han、G.J.Sullivan、J.-R.Ohm、 T.Wiegand的“高效率视频译码(HEVC)文本规范草案6(HighEfficiency Video Coding (HEVC)text specification draft 6)”JCTVC-H1003(在下文中,“工作草案6”)中,其全部内容以引用的方式并入本文中。
上述与ALF相关的技术可显著改善译码效率。然而,如上文所描述的那些技术的技术可能仍存在一或多个潜在问题或局限性。举例来说,不管使用基于BA的分类还是基于RA的分类,HM-3.0中的ALF方法均可需要图片级优化,以导出用于多个群组的ALF 参数。这导致图片内的可能不需要的编码时延,这是因为导出ALF系数,直到整个帧已经译码为止。此外,需要若干次地载入整个图片以导出ALF系数,这大大增大(尤其对于硬件实施来说)存储器带宽要求。
本文中所描述的技术可将ALF扩展到CTU级而非图片级,以避免上文在标题符号(bullet)(1)中所描述的潜在问题,如在工作草案6中。然而,CTU级处的优化和用信号发送ALF参数的一些技术与图片级处的ALF信令和优化相比在效率上可能更小。
在各种实例中,在CTU级应用ALF技术的方面(例如,通过视频编码器20的ALF 单元65),且用所提议方法中的一或多者将ALF技术的方面作为CTU数据的一部分用信号发送。在各种实例中,ALF单元65可以与HEVC中的运动向量译码的合并模式相似的方式从CTU的空间和/或时间相邻CTU复制CTU的ALF信息。在此情况下,建构来自相邻CTU的ALF参数的候选项列表(例如,通过ALF单元65),且用信号发送到所述候选项列表的索引以确定ALF参数。上述候选项列表中的每一条目是用以执行用于当前CTU的自适应环路滤波(例如,通过ALF单元65)的ALF参数的全集合。
候选项列表中的条目的数目不限于条目的特定数目。在一些实例中,ALF参数的候选项列表中的条目的最大数目可预定义为固定值,或在位流中用信号发送,或是其它用信号发送的信息相依的变体(例如,取决于其它用信号发送的信息的变量),例如,设定为与运动合并候选项的数目相同。此信息可存在于图片参数集合(PPS)、切片标头、序列参数集合(SPS),或含有高级语法的其它级或位置中。
在一实例中,可使用多达五个候选项。然而,在各种实例中,可使用不同数目个候选项,包含少于或多于五个候选项。在一实例中,使用两个空间候选项(左侧CTU和顶部CTU)和三个时间候选项。
候选项列表的候选项的源不限于特定源。在各种实例中,候选项列表的候选项的源可包含空间和/或时间相邻的CTU。在各种实例中,不同规则应用于何源可用以提供候选项,且针对给定候选项列表可使用(最大数目)或必须使用(最小数目)候选项列表上的多少个候选项。
在一些实例中,仅允许将空间候选项用于帧内切片。在一些实例中,一或多个时间候选项是一或多个参考图片中的共置CTU。在一些实例中,时间候选项被限制于在具有相同切片类型和/或类似(例如,相同)QP范围的参考图片中。在一些实例中,也可使用除参考图片中的共置CTU之外的CTU,例如邻近于参考图片中的共置CTU的右下、左上、顶部、左侧CTU。
在各种实例中,当建构合并列表时,基于与时间候选项相关联的参考索引的次序来插入时间候选项。
在一实例中,假定CTU大小是2N×2N,将当前CTU相等地划分为M×M子块,其中2N是M的倍增(或倍数)。对于每一M×M子块,通过此子块的运动向量定位的一或多个时间候选项可用于导出ALF信息。在各种实例中,当用MV定位时间候选项时,覆盖通过MV指向的块的左上拐角的CTU可被用作时间候选项。或者,覆盖通过MV 指向的块的中心点的CTU可被用作时间候选项。在各种实例中,当将双向预测用于子块时,仅使用MV0来定位时间候选项。在一些实例中,仅使用MV1来定位时间候选项。或者,在位流中(例如,在SPS、PPS或切片标头中)用信号发送哪些MV用以定位时间候选项。在一实例中,M经设定为8。在另一实例中,M经设定为4。在另一实例中, M经设定为1。
ALF参数的候选项列表中的条目的最大数目可预定义为固定值,或在位流中用信号发送,或是其它用信号发送的信息相依的变体(例如,取决于其它用信号发送的信息的变量),例如,设定为与运动合并候选项的数目相同。此信息可存在于图片参数集合(PPS)、切片标头、序列参数集合(SPS),或含有高级语法的其它级或位置中。
在一些实例中,来自空间/时间相邻者的仅两个候选项可最终存在于列表中。在一些实例中,仅当用帧间预测模式来译码当前CTU中的块中的至少一者时才可能允许时间候选项。在一些实例中,可不允许将时间候选项用于经帧内译码切片的CTU。在一些实例中,可允许将时间候选项用于经帧内译码切片的CTU。在一些实例中,仅当启用时间运动向量预测时才可允许时间候选项。在一些实例中,仅仅允许来自固定或专用参考图片的时间候选项,所述时间候选项可在切片标头中用信号发送。或者(或另外),此图片可进一步约束为用于时间运动向量预测的图片。
在各种实例中,是否允许时间候选项的一指示是作为高级语法(例如,PPS、切片标头、SPS或含有高级语法的其它级/位置)而用信号发送。
类似于运动向量预测中,无需在列表中复制来自不同相邻者的含有相同内容的条目 (例如,ALF参数)。因此,在一些实例中,存在用以除去重复的修剪过程。可以预定义次序将空间或时间候选项添加到列表(使用或不使用修剪)。或者(或另外),此次序可取决于当前CTU中的一或多个块是否以某一方式进行时间预测。举例来说,如果时间运动预测适用于一些块,那么可将时间候选项置于列表的较早位置中。由于ALF是在整个 CTU的解码之后进行,因此使用时间运动预测的区域的百分比可用以决定列表中的时间候选项的相对次序/位置。
在一些实例中,当允许时间候选项时,可基于CTU内的经译码块的参考索引从参考图片选择仅一个时间候选项。举例来说,可选择使用频率最高的图片。或者(或另外),如果仅允许共置时间CTU,那么不考虑将指向在与当前CTU的像素共置的区外的像素的运动向量用于频率计算。
在各种实例中,可从空间和/或时间相邻CTU来预测CTU ALF信息。在此情况下,除用以识别预测子的索引以外,仅用信号发送差分信息。在一些实例中,以与上文所描述的方法相同的方法中的任一方法来定义空间和/或时间相邻CTU。
在各种实例中,由于样本自适应偏移(SAO)参数可被视为ALF参数的部分(例如,仅具有DC系数的CTU ALF的特殊情况),因此SAO信息也可与ALF参数组合在一起。另外,用于ALF信令和预测的以上方法可联合地用于ALF和SAO参数。或者,可独立用信号发送SAO和ALF参数,但共享相同合并机制。在此情况下,如关于ALF参数所描述,以上方法可作为改善方法应用于SAO参数的信令。
在各种实例中,可在CTU级用信号发送滤波器对称性信息(例如对称或非对称)。或者,可针对每一滤波器集合用信号发送滤波器对称性信息。另外,可用信号发送SPS/PPS/切片标头中的旗标,以指示非对称滤波器是否将用于位流的相关部分中。
在各种实例中,可在CTU级或针对每一滤波器集合用信号发送滤波器系数的量化信息。另外,可用信号发送SPS/PPS/切片标头中的数据(例如,指示符),以指示量化信息是否将在位流的相关部分(portion)/部分(part)中用信号发送。在一些实例中,量化信息可以是待向左移位以从经剖析滤波器系数产生滤波器系数的整数值的位的数目。在一些实例中,替代位流中的滤波器系数量化信息的显式信令(通过视频编码器20),基于ALF 系数隐式地导出滤波器系数量化信息(例如,通过视频解码器30的ALF单元91)。在一些实例中,基于所有alf加权系数的求和来计算量化位的数目(例如,通过视频解码器30 的ALF单元91)。在一些实例中,首先将非DC ALF系数的总和舍位到2n,例如,将总和126舍位到128(27,此处n=7)。随后,量化位的数目作为8与n之间的差导出(例如,通过视频解码器30的ALF单元91)。在先前实例中,n=7。因此,量化位的数目是1。
在各种实例中,对于滤波器,用信号发送(例如,通过视频编码器20)关于滤波器系数是否仅具有DC系数因而滤波器仅含有偏移值的信息。在此情况下,用信号发送DC,而非其它滤波器系数。在一些实例中,在对于滤波器仅存在DC系数且其它系数不存在的情况下,以像素单元或“单元像素值”来用信号发送DC系数。在一些实例中,以较高准确度(例如,单元像素值的1/256(在此情况下,“一”经正规化为值256))用信号发送DC和其它滤波器系数。
在各种实例中,对于滤波器,以不同于其它滤波器系数的方式用信号发送中心滤波器系数(例如图3A所展示的5×5菱形滤波器中的系数C6)。举例来说,在中心系数经差分译码时显式地用信号发送其它系数,此意味着仅中心系数值与默认值之间的差经译码。选择默认值,使其经正规化为一(1)。举例来说,如果系数经量化使得浮动值1.0由整数256来表示,那么系数是[F0,F1..,Fn-1]/256。在一些实例中,中心系数(例如,可指示为Fn-1)经译码如下:
·在视频编码器20处,v=Fn-1-256,且v经进一步译码。视频解码器30可剖析v 的值,且Fn-1经导出(例如,通过ALF单元91)为v+256。
·或者,在视频编码器20处,v=Fn-1-(256-sum(F0,F1..,Fn-2)),且v经进一步译码。视频解码器30可剖析v的值,且Fn-1经导出(例如,通过ALF单元91)为(v+(256-sum(F0, F1..,Fn-2)))。
在各种实例中,在多个群组被用于CTU中的情况下,可使用二维群组合并替代一维群组合并。在一个实施中,可合并仅水平或竖直相邻群组,而非允许任何两个群组合并为一个群组。作为一个实例,参看图2,如果基于群组的序数识别符来发射所述群组(例如,第一群组221,接着群组222等),那么群组228可与群组227或群组223合并。群组228可以不与群组229到235中的任一者合并,这是因为那些群组尚未用信号发送。此外,群组228可以不与群组221、222或225到227合并,这是因为那些群组并非是水平或竖直相邻者。
在一些实例中,在合并之后,针对每一经合并群组仅用信号发送ALF参数的一个集合。如果应用BA分类,那么CTU中的像素经分类成若干群组。群组索引以2D映射进行排序。对于2D群组合并,群组可合并到其在2D映射中的左侧或顶部相邻者,假定发射次序从左上位置开始。此实施方案的其它细节在下文予以解释。
在各种实例中,一维群组合并仍可在CTU内使用。然而,可以不同方式将(活动性和方向的)二维特性转换成一维群组索引。遵循以下原则来设计初始滤波器/群组索引:两个邻近滤波器(即,具有邻近索引的两个滤波器)必须具有邻近活动性或邻近方向。滤波器可仅合并到其邻近相邻者。将Dirb和Actb分别表示为块b的方向和活动性,且假定 Dirb可在0到(M-1)的范围内,且Actb可在0到(N-1)的范围内,即,存在至多M个方向和N个活动性。随后,块b的群组索引被计算为:Dirb*N+(Dirb%2==1?N-1-Actb: Actb),而非仅Dirb*N+Actb。在另一实例中,块b的群组索引被计算为:Actb*M+(Actb%2 ==1?M-1-Dirb:Dirb)。
在各种实例中,当启用ALF且CTU具有较大大小(例如256×256)时,CU/PU大小可进一步约束为不大于第二大小(例如64×64)。因此,对应于大于第二大小(例如,64×64) 的大小的节点的splitting_flag语法元素必须设定为值一(1)。在节点对应于大于第二大小的大小的情况下,可用信号发送旗标为1,或可避免用信号发送此旗标,且在此情况下,导出旗标为1。
本文中所描述的各种实例利用各种方法用于像素/块分类。在一些实例中,分类可基于重建的像素值。在各种实例中,在CTU级用信号发送CTU ALF译码模式以指示某一数目个方向。沿所述方向计算像素梯度。随后,根据所述梯度将像素分类。
在一些实例中,用于从滤波器的群组选择滤波器的分类可基于先前经译码的信息,例如CU译码模式、量化或变换。在一些实例中,在CTU内,块中的具有相同CU译码模式或具有相同CU大小或具有相同变换信息(例如,大小、类型)的像素被分类为相同类别,意味着所述像素是使用相同滤波器(例如,相同大小、相同形状、相同系数等)进行滤波。各种分类可(例如)替换关于图2所解释的分类技术,或可结合这些分类技术而使用。
在一些实例中,可在位流中(例如在SPS、PPS或切片标头中)单独地用信号发送若干CTU ALF明度模式和色度模式。在各种实例中,CTU ALF明度模式和色度模式的数目可以相同,且在位流中(例如在SPS、PPS或切片标头中)仅用信号发送一个数目。在此背景下,明度模式和色度模式指用于确定像素分类的模式。可(例如)在较高级(例如, SPS、PPS、切片标头等)用信号发送若干可用模式,且可在CTU级用信号发送实际模式。分类模式的实例包含活动性-方向模式、基于CU译码模式的分类模式、基于变换信息的分类模式,和其它此类分类模式。在一些实施中,也可将SAO视为分类模式。
在各种实例中,利用填充。在一些实例中,当需要在CTU或CTU行或切片或图块或图片边界外的像素以用于分类或滤波过程且所述像素不可用时,可应用内插过程中所使用的填充。
在各种实例中,CTU ALF可以是级联的。即,可通过(例如)对已经滤波的CTU执行滤波操作而对CTU多次应用ALF过程。到第二舍位ALF过程的输入是第一舍位ALF 过程的输出。可针对滤波的不同舍位用信号发送不同CTU ALF系数和控制信息。在一些实例中,可在位流中(例如,在SPS、PPS或切片标头中)用信号发送最大舍位数目。在一些实例中,如果CTU ALF在当前舍位中对于CTU中止,那么对于此CTU,需要 CTU ALF针对下一舍位中止,即使尚未达到在位流中用信号发送的舍位数目。
在各种实例中,选择块级(BA)分类作为CTU的CTU ALF模式。在各种实例中,使用二维(2D)群组合并。在一实例中,根据BA分类,CTU中的像素被分类成5×3个群组。可如下所述地将初始群组索引置入于2D映射中(参见下表3),其中水平方向和竖直方向对应于活动性和方向值,如上文所论述。
0 1 2 3 4
5 6 7 8 9
10 11 12 13 14
表3
在此实例中,允许任何群组合并到其左侧或顶部相邻群组。基于率失真成本或其它测量,15个群组最终可合并成如下表4中所示的4个群组,其中数字指示新群组索引。举例来说,新群组#0是由旧群组#0、#5(向上合并到旧#0)和#6(向左合并到旧#5)合并。
0 1 1 1 1
0 0 1 1 9
10 10 1 1 9
表4
在群组合并之后,视频编码器(例如视频编码器20)可用信号发送新群组#0、#1、#9和#10的滤波器系数。对于其它群组,视频编码器30可仅用信号发送合并指示符,例如向左合并或向上合并。
在各种实例中,定义两个CTU ALF模式,即Edge_VH和Edge_Diag。当使用Edge_VH时,将CTU中的像素分类成5个群组。令
Figure GDA0002450017830000211
表示重建的明度/色度样本,分类执行如下:
Figure GDA0002450017830000212
当使用Edge_Diag时,将CTU中的像素分类成5个群组。令
Figure GDA0002450017830000213
表示重建的明度/ 色度样本,分类执行如下:
Figure GDA0002450017830000214
在另一实例中,定义五个CTU ALF模式,即Edge_0、Edge_90、Edge_45、Edge_135,其类似于SAO分类中的水平、竖直、45度对角线、135度对角线EO类别。SAO分类描述于关于用于无线电技术的电路和系统的IEEE学报(IEEE Transactions on Circuits and Systemsfor Video Technology),2012年12月第22卷第12期中C.-M.Fu、E.Alshina、A. Alshin、Y.-W.Huang、C.-Y.Chen、C.-Y.Tsai、C.-W.Hsu、S.-M.Lei、J.-H.Park、W.-J.Han 的“HEVC标准中的样本自适应偏移(Sample Adaptive Offset in the HEVC Standard)”(在下文中,“HEVC标准中的SAO(SAO in the HEVC Standard)”)中,其全部内容以引用的方式并入本文中。
当使用所列出模式中的任一者时,CTU中的像素被分类成五个群组。用于前4个群组的分类与SAO分类中的那些群组相同(“HEVC标准中的SAO”的表1)。将不在前四个群组中的像素置于第五群组中。在上述实例中,也可连同BA模式使用Edge_VH、 Edge_Diag和Edge_0、Edge_90、Edge_45、Edge_135。
在一个实例中,每一4×4块被分类成25个群组中的一者。在分类中,使用沿竖直、水平、45度和135度方向的像素梯度。对于4×4块b,Vi,j和Hi,j可分别指示属于b的像素位置(i,j)的的竖直梯度和水平梯度,且Actb可指示块b的活动性(如上所定义)。
Figure GDA0002450017830000221
Figure GDA0002450017830000222
可指示沿像素位置(i,j)的45度方向和135度方向的梯度(或提供所述梯度的导出)。块b的平均梯度可定义如下:
Figure GDA0002450017830000223
Figure GDA0002450017830000224
Figure GDA0002450017830000225
Figure GDA0002450017830000226
块b的方向Dirb定义如下:
Figure GDA0002450017830000227
块b的群组索引经定义为:
Dirb×5+(Dirb%2?4-Actb:Actb)
在各种实例中,在HEVC(H.265)说明书之上实施语法和语义。最新提议的部分在以下语法表中是斜体(即,如本文中所包含的表5到表8)。
Figure GDA0002450017830000231
表5-序列参数集合(SPS)RBSP语法
其中:
alf_ctu_enabled_flag等于1指定在SAO过程之后将CTU级ALF过程应用于重建的图片。alf_ctu_enabled_flag等于0指定在SAO过程之后不将CTU级ALF过程应用于重建的图片。
alf_ctu_num_luma_mode_minus1指定CTU级ALF的明度模式的数目如下:AlfModeNumY=alf_ctu_num_luma_mode_minus1+1
alf_ctu_num_chroma_mode_minus1指定CTU级ALF的色度模式的数目如下:AlfModeNumC=alf_ctu_num_chroma_mode_minus1+1
ctu_alf_num_merge_cand加1指定用于CTU ALF合并的ALF候选项的数目。如果ctu_alf_num_merge_cand,那么不公式化候选项列表来预测当前CTU的ALF参数。当不存在时,推断ctu_alf_num_merge_cand等于0。
Figure GDA0002450017830000232
Figure GDA0002450017830000241
表6-译码树单元(CTU)语法
Figure GDA0002450017830000242
表7-CTU自适应环路滤波器(ALF)语法
其中:
alf_merge_flag等于1指定当前CTU的ALF参数合并到空间或时间相邻CTU。 alf_merge_flag等于0指定当前CTU的ALF参数在位流中用信号发送。
alf_merge_index指定CTU ALF合并候选项的索引。当不存在时,推断 alf_merge_index等于0。
alf_luma_enabled_flag等于1指定将明度ALF应用于当前CTU,且针对当前CTU 用信号发送明度ALF参数。alf_luma_enabled_flag等于0指定不将明度ALF应用于当前 CTU,且针对当前CTU不用信号发送明度ALF参数。
alf_luma_mode指定待用于当前CTU中的明度像素的分类方法。alf_luma_mode应不大于AlfModeNumY。关于分类方法的额外细节可发现于上文的5.2中。
alf_luma_shape指定用于当前CTU的明度滤波器形状。
alf_luma_filter_symmetry等于1指定对于当前CTU,明度滤波器是环形对称的。alf_luma_filter_symmetry等于0指定对于当前CTU,明度滤波器不对称。
alf_luma_filter_merge_idc指定当前明度滤波器是否合并到其在AlfLumaMergeMap 中的左侧或顶部明度滤波器。AlfLumaMergeMap指示如上所述的群组合并状态,且取决于alf_luma_mode。alf_luma_filter_merge_idc等于0指定群组不从顶部或左侧群组合并。 alf_luma_filter_merge_idc等于1指定群组不从左侧群组合并。alf_luma_filter_merge_idc 等于2指定群组不从顶部群组合并。
alf_chroma_enabled_flag等于1指定将色度ALF应用于当前CTU,且针对当前CTU用信号发送色度ALF参数。alf_chroma_enabled_flag等于0指定不将色度ALF应用于当前CTU,且针对当前CTU不用信号发送色度ALF参数。
alf_chroma_mode指定待用于当前CTU中的色度像素的分类方法。
alf_chroma_filter_merge_idc指定当前色度滤波器是否合并到其在AlfChromaMergeMap中的左侧或顶部色度滤波器。AlfChromaMergeMap取决于 alf_chroma_mode。
Figure GDA0002450017830000251
表8-CTU ALF系数语法
其中:
alf_filter_dc_only_flag等于1指定当前滤波器仅具有DC系数。所有其它系数是零。 alf_filter_dc_only_flag等于0指定当前滤波器除DC系数以外也具有非零系数。
alf_filter_coeff_dc指定当前滤波器的DC系数。
alf_filter_quant_bit指定用于滤波器系数量化中的位的数目。
alf_filter_coeff指定当前滤波器的非DC系数。当不存在时,推断ctu_alf_filter_coeff 等于0。
图4是说明可实施本发明中所描述的技术的实例视频编码器20的框图。视频编码器20可执行视频切片内的视频块的帧内译码和帧间译码。帧内译码依赖于空间预测以减少或移除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的邻近帧或图片内的视频的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。帧间模式(例如,单向预测(P模式)或双向预测(B模式))可指若干基于时间的压缩模式中的任一者。
在图4的实例中,视频编码器20包含视频数据存储器33、分割单元35、预测处理单元41、求和器50、变换处理单元52、量化单元54、熵编码单元56。预测处理单元 41包含运动估计单元(MEU)42、运动补偿单元(MCU)44和帧内预测单元46。对于视频块重建,视频编码器20也包含反量化单元58、反变换处理单元60、求和器62、ALF 单元64和经解码图片缓冲器(DPB)66。
如图4中所示,视频编码器20接收视频数据且将所接收视频数据存储于视频数据存储器33中。视频数据存储器33可存储待通过视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储于视频数据存储器33中的视频数据。DPB 66可以是参考图片存储器,其存储用于(例如)以帧内译码或帧间译码模式通过视频编码器20编码视频数据的参考视频数据。视频数据存储器33和DPB 66可由例如以下各者的多种存储器装置中的任一者形成:动态随机存取存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式 RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器33和 DPB 66可由同一存储器装置或单独存储器装置提供。在各种实例中,视频数据存储器 33可与视频编码器20的其它组件一起在芯片上,或相对于那些组件在芯片外。
分割单元35从视频数据存储器33检索视频数据且将视频数据分割成视频块。此分割也可包含分割成切片、图块或其它较大单元,以及(例如)根据LCU和CU的四叉树结构分割的视频块。视频编码器20大体上说明编码待编码的视频切片内的视频块的组件。切片可划分成多个视频块(且可能划分成被称作图块的视频块集合)。预测处理单元41可基于误差结果(例如,译码速率和失真程度)来选择用于当前视频块的多个可能译码模式中的一者,例如多个帧内译码模式中的一者或多个帧间译码模式中的一者。预测处理单元41可将所得经帧内译码或经帧间译码的块提供到求和器50以产生残余块数据,且提供到求和器62以重建经编码块以供用作参考图片。
预测处理单元41内的帧内预测单元46可执行当前视频块相对于与待译码的当前块在同一帧或切片中的一或多个相邻块的帧内预测性译码,以提供空间压缩。预测处理单元41内的运动估计单元42和运动补偿单元44执行当前视频块相对于一或多个参考图片中的一或多个预测性块的帧间预测性译码,以提供时间压缩。
运动估计单元42可经配置以根据视频序列的预定图案来确定用于视频切片的帧间预测模式。预定图案可将序列中的视频切片指定为P切片或B切片。运动估计单元42 和运动补偿单元44可高度集成,但为概念目的而分开来说明。由运动估计单元42执行的运动估计是产生运动向量的过程,所述运动向量估计视频块的运动。举例来说,运动向量可指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的位移。
预测性块是就像素差来说被发现紧密匹配待译码的视频块的PU的块,所述像素差可由绝对差总和(SAD)、平方差总和(SSD)或其它差度量确定。在一些实例中,视频编码器20可计算存储于DPB 66中的参考图片的子整数像素位置的值。举例来说,视频编码器20可内插所述参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此,运动估计单元42可执行关于全像素位置和分数像素位置的运动搜索且输出具有分数像素精确度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置而计算经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1),参考图片列表中的每一者识别存储于DPB 66中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56和运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计确定的运动向量来提取或产生预测性块,可能执行子像素精确度的内插。在接收到当前视频块的PU的运动向量之后,运动补偿单元44可在参考图片列表中的一者中定位运动向量所指向的预测性块。视频编码器20通过从译码中的当前视频块的像素值减去预测性块的像素值来形成残余视频块,从而形成像素差值。像素差值形成块的残余数据,且可包含明度和色度差分量两者。求和器50表示执行此减法运算的一或多个组件。运动补偿单元44也可产生与视频块和视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。
在预测处理单元41经由帧内预测或帧间预测产生当前视频块的预测性块之后,视频编码器20通过从当前视频块减去预测性块而形成残余视频块。残余块中的残余视频数据可包含于一或多个TU中且被应用于变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上类似的变换的变换将残余视频数据变换成残余变换系数。变换处理单元52可将残余视频数据从像素域转换到变换域(例如,频域)。
变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化所述变换系数以进一步减小位速率。量化过程可减小与一些或所有系数相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中,量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。或者,熵编码单元56可执行扫描。
在量化之后,熵编码单元56对经量化转换系数进行熵编码。举例来说,熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码 (CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、机率区间分割熵(PIPE) 译码或另一熵编码方法或技术。在由熵编码单元56进行的熵编码之后,经编码位流可发射到视频解码器30,或经存档以供视频解码器30稍后发射或检索。熵编码单元56也可对译码中的当前视频切片的运动向量和其它语法元素进行熵编码。
反量化单元58和反变换处理单元60分别应用反量化和反变换,以在像素域中重建残余块以供稍后用作参考图片的参考块。运动补偿单元44可通过将残余块添加到参考图片列表中的一者内的参考图片中的一者的预测性块来计算参考块。运动补偿单元44 也可将一或多个内插滤波器应用于重建的残余块,以计算子整数像素值以用于运动估计中。求和器62将重建的残余块添加到通过运动补偿单元44产生的运动补偿预测块以产生重建块。
ALF单元64对重建块(例如,求和器62的输出)进行滤波且将经滤波的重建块存储于DPB 66中以用作参考块。参考块可由运动估计单元42和运动补偿单元44用作为参考块以对后续视频帧或图片中的块进行帧间预测。尽管未明确展示于图4中,但视频编码器20可包含额外滤波器,例如解块滤波器、样本自适应偏移(SAO)滤波器,或其它类型的环路滤波器。解块滤波器可(例如)将解块滤波应用于滤波器块边界,以从重建视频移除块效应伪影。SAO滤波器可将偏移应用于重建像素值,以便改善总体译码质量。也可使用额外环路滤波器(环路中或环路后)。
与视频编码器20的其它组件结合的ALF单元64可经配置以执行本发明中所描述的各种技术。举例来说,视频编码器20可经配置以从以下各者中的一或多者获得用于当前CTU的ALF信息:(i)所述当前CTU的一或多个空间相邻CTU或(ii)所述当前CTU 的一或多个时间相邻CTU。视频编码器20可至少部分地基于用于所述当前CTU的所述所获得ALF信息而形成候选项列表,且使用与来自所述候选项列表的候选项相关联的 ALF信息对所述当前CTU执行滤波操作。ALF信息可包含ALF系数以及ALF滤波器到分类度量的映射。
在各种实例中,视频编码器20可确定新ALF信息,且产生包含与来自所述候选项列表的所述候选项相关联的索引的语法元素,以供包含于视频数据的经编码位流中。视频编码器20也可产生识别所述新ALF信息与相关联于所述候选项的所述ALF信息之间的一差异的差异信息,以供包含于视频数据的经编码位流中。在其它实例中,视频编码器20可产生指示与来自所述候选项列表的所述候选项相关联的索引的语法元素,以供包含于视频数据的经编码位流中,在此情况下,从所述候选项复制所述ALF滤波器信息且无差异信息产生。
一或多个分类度量可包含活动性度量和方向度量,或可包含其它分类度量,例如以下各者中的一或多者:包括一或多个像素的CU的大小、包括像素的CU的译码模式、对应于一或多个像素的变换单元的大小,或对应于一或多个像素的变换单元的类型。
在各种实例中,视频编码器20可通过使用所选择ALF滤波器对CTU的一或多个像素执行滤波操作来产生经滤波图像。作为编码操作的解码环路的部分,视频编码器20 可通过使用所选择ALF滤波器对CTU的一或多个像素执行滤波操作来产生经滤波图像,且将所述经过滤图像存储于经解码图片缓冲器(例如,DPB 94)中。一或多个空间相邻 CTU可邻近于图片内的当前CTU而定位。一或多个时间相邻CTU可表示相应参考图片中的共置CTU。
一或多个空间相邻CTU可包含相对于当前CTU的左侧相邻CTU和上方相邻CTU,且一或多个时间相邻CTU可包含三个(3)相应参考图片中的总共三个(3)时间相邻CTU。一或多个时间相邻CTU可以是一或多个参考图片中的共置CTU。在各种实例中,一或多个时间CTU可限制于在具有相同切片类型的一或多个参考图片中。
在各种实例中,一或多个时间CTU被限制于在具有相同量化参数(QP)范围的一或多个参考图片中。
在一些实例中,视频编码器20可通过基于与时间相邻CTU相关联的参考索引的次序将时间相邻CTU插入到候选项列表中来形成候选项列表。在一些实例中,视频编码器20可形成除共置时间相邻CTU之外也包含相应参考图片中的一或多个时间相邻CTU 的候选项列表。
在各种实例中,视频编码器20可获得用于当前CTU(即2N×2N CTU)的ALF信息;将CTU划分成M×M子块,其中2N是M的整数倍数;针对每一M×M子块确定通过M×M 子块的运动向量定位的一或多个时间候选项;以及从通过运动向量定位的一或多个时间候选项导出ALF信息。在各种实例中,视频编码器20可用运动向量定位时间候选项。可将覆盖通过运动向量指向的块的左上拐角的CTU用作时间候选项,或可将覆盖通过运动向量指向的块的中心点的CTU用作时间候选项。
在各种实例中视频编码器20可在将双向预测用于子块时,在仅使用运动向量0定位时间候选项时,或在仅使用运动向量1定位时间候选项时,或在位流中(例如在SPS、 PPS或切片标头中)用信号发送用以定位时间候选项的运动向量时。在各种实例中,M可设定为8、4、1或其它值。在各种实例中,候选项列表中的条目的最大数目可以是固定值,且条目的最大数目可在经编码视频位流中指示。
在各种实例中,候选项列表中的条目的最大数目可以是可变值,且条目的最大数目可从包含于经编码视频位流中的信息导出。在各种实例中,来自空间/时间相邻者的仅两个候选项可包含于候选项列表中。在各种实例中,仅当用帧间预测模式译码当前CTU 中的块中的至少一者时,可允许时间候选项,或针对经帧内译码切片的CTU,可以不允许时间候选项,或针对经帧内译码切片的CTU,可允许时间候选项。
在各种实例中,视频编码器20可用信号发送是否允许时间候选项或未作为高级语法(例如,PPS、切片标头、SPS或在含有高级语法的其它位置处)而用信号发送。在各种实例中,视频编码器20可通过应用修剪过程以除去一或多个重复候选项来形成候选项列表。
当允许空间或时间候选项时,可以预定义次序将候选项添加到候选项列表(使用或不使用修剪)。此次序可取决于当前CTU中的一些块是否以某一方式经时间预测。举例来说,如果时间运动预测应用于一些块,那么可将时间候选项置于列表的较前位置中,且可在整个CTU的解码之后执行ALF。使用时间运动预测的区域的百分比可用以决定候选项列表中的时间候选项的相对次序和位置。
在各种实例中,当允许时间候选项时,基于CTU内的经译码块的参考索引,可从参考图片选择仅一个时间候选项。可选择使用频率最高的图片,或如果仅允许共置时间 CTU,那么可以不考虑将指向在与当前CTU的像素共置的区外的像素的运动向量用于频率计算。
在各种实例中,视频编码器20可通过形成包含用于当前CTU的所获得ALF信息和与当前CTU相关联的一或多个SAO参数的候选项列表来形成候选项列表。在各种实例中,视频编码器20可独立地但使用相同合并机制来用信号发送一或多个SAO参数和 ALF参数。在各种实例中,视频编码器20可通过编码与用于当前CTU的所获得ALF 信息相关联的滤波器对称性信息来编码当前CTU。
在各种实例中,视频编码器20可在CTU级用信号发送滤波器对称性信息。滤波器对称性信息可包含对称和非对称信息,且可针对每一滤波器集合用信号发送。视频编码器20可在SPS/PPS/切片标头中用信号发送旗标,以指示非对称滤波器是否将用于位流的相关部分中。在各种实例中,视频编码器20可包含通过编码与用于当前CTU的所获得ALF信息相关联的量化信息来编码当前CTU。
图5是说明可实施本发明中所描述的技术的实例视频解码器30的框图。在图5的实例中,视频解码器30包含视频数据存储器78、熵解码单元80、预测处理单元81、反量化单元86、反变换处理单元88、求和器90和DPB 94。预测处理单元81包含运动补偿单元82和帧内预测单元84。在一些实例中,视频解码器30可执行与关于来自图4的视频编码器20所描述的编码遍次大体上互逆的解码遍次。
在解码过程期间,视频解码器30从视频编码器20接收表示经编码视频切片的视频块以及相关联语法元素的经编码视频位流。视频解码器20将所接收的经编码视频位流存储于视频数据存储器78中。视频数据存储器78可存储待由视频解码器30的组件解码的视频数据(例如,经编码视频位流)。存储于视频数据存储器78中的视频数据可(例如)经由链路16从存储装置26或从本地视频源(例如相机)或通过存取实体数据存储介质而获得。视频数据存储器78可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。DPB 94可以是存储用于(例如)在以帧内帧间译码模式通过视频解码器30解码视频数据时使用的参考视频数据的参考图片存储器。视频数据存储器78和 DPB 94可由多种存储器装置中的任一者形成,所述存储器装置例如DRAM、SDRAM、 MRAM、RRAM或其它类型的存储器装置。视频数据存储器78和DPB 94可由同一存储器装置或单独存储器装置提供。在各种实例中,视频数据存储器78可与视频解码器 30的其它组件在芯片上,或相对于那些组件在芯片外。
视频解码器30的熵解码单元80对存储于视频数据存储器78中的视频数据进行熵解码以产生经量化系数、运动向量和其它语法元素。熵解码单元80将运动向量和其它语法元素转递到预测处理单元81。视频解码器30可接收视频切片级和/或视频块级的语法元素。
当视频切片被译码为经帧内译码(I)切片时,预测处理单元81的帧内预测单元84可基于用信号发送的帧内预测模式和来自当前帧或图片的先前经解码块的数据而产生用于当前视频切片的视频块的预测数据。当视频帧被译码为经帧间译码切片(即,B切片或 P切片)时,预测处理单元81的运动补偿单元82基于从熵解码单元80接收的运动向量和其它语法元素而产生用于当前视频切片的视频块的预测性块。预测性块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储于DPB 94中的参考图片使用默认建构技术来建构参考帧列表,列表0和列表1。
运动补偿单元82通过剖析运动向量和其它语法元素来确定用于当前视频切片的视频块的预测信息,且使用所述预测信息产生用于解码中的当前视频块的预测性块。举例来说,运动补偿单元82使用所接收语法元素中的一些来确定用以译码视频切片的视频块的预测模式(例如,帧内或帧间预测)、帧间预测切片类型(例如,B切片或P切片)、用于所述切片的参考图片列表中的一或多者的建构信息、用于所述切片的每一经帧间编码视频块的运动向量、用于所述切片的每一经帧间译码视频块的帧间预测状态,和用以解码当前视频切片中的视频块的其它信息。
运动补偿单元82也可基于内插滤波器执行内插。运动补偿单元82可使用内插滤波器,如视频编码器20在视频块的编码期间所使用,以计算用于参考块的子整数像素的内插值。在此情况下,运动补偿单元82可根据所接收的语法元素确定由视频编码器20 使用的内插滤波器且使用所述内插滤波器产生预测性块。
反量化单元86对提供于位流中且由熵解码单元80解码的经量化变换系数进行反量化(即,解量化)。反量化过程可包含使用由视频编码器20针对视频切片中的每一视频块计算的量化参数,以确定量化过程和(同样地)应该应用的反量化程度。反变换处理单元 88将反变换(例如,反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数,以便在像素域中产生残余块。
在预测处理单元使用(例如)帧内或帧间预测产生用于当前视频块的预测性块之后,视频解码器30通过对来自反变换处理单元88的残余块与由运动补偿单元82产生的对应预测性块求和而形成重建的视频块。求和器90表示执行此求和运算的一或多个组件。 ALF单元92使用(例如)本发明中所描述的ALF技术中的一或多者对重建的视频块进行滤波。
尽管未明确展示于图5中,但视频解码器30也可包含解块滤波器、SAO滤波器或其它类型的滤波器中的一或多者。也可使用其它环路滤波器(在译码环路中或在译码环路之后)以使像素转变平滑,或以其它方式改善视频质量。给定帧或图片中的经解码视频块随后存储于DPB 94中,所述DPB存储用于后续运动补偿的参考图片。DPB 94可以是额外存储器的部分或与额外存储器分离,额外存储器存储供稍后呈现于显示装置(例如图 1的显示装置32)上的经解码视频。
与视频解码器30的其它组件结合的ALF单元92可经配置以执行本发明中所描述的各种技术。举例来说,解码器30可经配置以从以下各者中的一或多者获得用于当前CTU 的ALF信息:(i)所述当前CTU的一或多个空间相邻CTU或(ii)所述当前CTU的一或多个时间相邻CTU。视频解码器30可至少部分地基于用于所述当前CTU的所述所获得 ALF信息而形成候选项列表,且使用与来自所述候选项列表的候选项相关联的ALF信息对所述当前CTU执行滤波操作。ALF信息可包含ALF系数以及ALF滤波器到分类度量的映射。
在各种实例中,解码器30可接收包括与来自所述候选项列表的所述候选项相关联的索引的语法元素,且使用与来自所述候选项列表的所述候选项相关联的所述ALF信息对所述当前CTU执行滤波操作。
在各种实例中,视频解码器30接收包括与来自所述候选项列表的所述候选项相关联的索引的语法元素,接收差异信息,将所述差异信息添加到与所述候选项相关联的 ALF信息以确定新ALF信息,且使用新ALF信息对所述当前CTU执行滤波操作。ALF 滤波器信息可(例如)包含多个ALF滤波器,且视频解码器30可基于一或多个分类度量而从所述多个ALF滤波器选择一ALF滤波器,且使用所选择ALF滤波器对CTU的一或多个像素执行滤波操作。
在一些实例中,一或多个分类度量可包含活动性度量和方向度量。在其它实例中,一或多个分类度量可包含以下各者中的一或多者:包括一或多个像素的CU的大小、包括像素的CU的译码模式、对应于一或多个像素的变换单元的大小,或对应于一或多个像素的变换单元的类型。
在各种实例中,视频解码器30可通过使用所选择ALF滤波器对CTU的一或多个像素执行滤波操作来产生经滤波图像,且输出(例如显示或发射到显示器)经滤波图像。在各种实例中,一或多个空间相邻CTU可邻近于图片内的当前CTU而定位。在各种实例中,一或多个时间相邻CTU可表示相应参考图片中的共置CTU。一或多个空间相邻CTU 可包含相对于当前CTU的左侧相邻CTU和上方相邻CTU。一或多个时间相邻CTU可包含三个(3)相应参考图片中的总共三个(3)时间相邻CTU。在一些实例中,一或多个时间相邻CTU可以是一或多个参考图片中的共置CTU。另外或替代地,一或多个时间CTU 可限制于在具有相同切片类型的一或多个参考图片中。
在各种实例中,一或多个时间CTU可限制于在具有相同量化参数(QP)范围的一或多个参考图片中。在各种实例中,视频解码器30可通过基于与时间相邻CTU相关联的参考索引的次序将时间相邻CTU插入到候选项列表中来形成候选项列表。在各种实例中,视频解码器30可通过形成除共置时间相邻CTU之外也包含相应参考图片中的一或多个时间相邻CTU的候选项列表来形成候选项列表。
在各种实例中,视频解码器30可获得用于当前CTU(其为2N×2N CTU)的ALF信息;将CTU划分成M×M子块,其中2N是M的整数倍数;针对每一M×M子块确定通过M×M子块的运动向量定位的一或多个时间候选项;以及从通过运动向量定位的一或多个时间候选项导出ALF信息。在各种实例中,视频解码器30可用运动向量定位时间候选项。可将覆盖通过运动向量指向的块的左上拐角的CTU用作时间候选项,或将覆盖通过运动向量指向的块的中心点的CTU用作时间候选项。
在各种实例中,候选项列表中的条目的最大数目可以是可变值,且条目的最大数目可从包含于经编码视频位流中的信息导出。在各种实例中,来自空间/时间相邻者的仅两个候选项包含于候选项列表中。在各种实例中,仅当用帧间预测模式译码当前CTU中的块中的至少一者时,允许时间候选项,或针对经帧内译码切片的CTU,不允许时间候选项,或针对经帧内译码切片的CTU,允许时间候选项。
在各种实例中,仅当启用时间运动向量预测时,可允许时间候选项。在各种实例中,仅允许来自在切片标头中用信号发送的固定或专用参考图片的时间候选项,且参考图片可经进一步约束为用于时间运动向量预测的参考图片。
在各种实例中,视频解码器30可接收指示是否允许时间候选项的信令信息。此信令可包含为高级语法(例如PPS、切片标头、SPS)或在含有高级语法的其它位置处。视频解码器30可通过应用修剪过程以除去一或多个重复候选项来形成候选项列表。
在各种实例中,当允许空间或时间候选项时,视频解码器30可以预定义次序将那些候选项添加到候选项列表(使用或不使用修剪)。另外地或替代地,此次序可取决于当前CTU中的一些块是否经时间预测。如果时间运动预测应用于一些块,那么视频解码器30可将时间候选项置于列表的较前位置中,且可在整个CTU的解码之后应用ALF。视频解码器30可(例如)用使用时间运动预测的区域的百分比来决定候选项列表中的时间候选项的相对次序和位置。举例来说,如果参考块未经CTU对准,那么视频解码器 30可基于参考块与CTU对准良好的程度(如通过重叠百分比所确定)来确定时间候选项的次序。
在一些实例中,当允许时间候选项时,可基于CTU内的经译码块的参考索引而从参考图片选择仅一个时间候选项。举例来说,可选择使用频率最高的图片,或如果仅允许共置时间CTU,那么可不考虑将指向在与当前CTU的像素共置的区外的像素的运动向量用于频率计算。
在各种实例中,视频解码器30可通过形成包含用于当前CTU的所获得ALF信息和与当前CTU相关联的一或多个样本自适应偏移(SAO)参数的候选项列表来形成候选项列表。可独立地但使用相同合并机制来用信号发送一或多个样本自适应偏移SAO参数和 ALF参数。在各种实例中,视频解码器30可通过解码与用于当前CTU的所获得ALF 信息相关联的滤波器对称性信息来解码当前CTU。
在各种实例中,视频解码器30可接收指示CTU级的滤波器对称性信息的信令。滤波器对称性信息可包含对称和非对称信息,且可针对每一滤波器集合用信号发送滤波器对称性信息。视频解码器30可在SPS/PPS/切片标头中接收旗标,以指示非对称滤波器是否将用于位流的相关部分中。在各种实例中,视频解码器30可通过解码与用于当前 CTU的所获得ALF信息相关联的量化信息来解码当前CTU。
量化信息可包含待向左移位以从经剖析滤波器系数产生滤波器系数的整数值的位的数目。在一些实例中,视频解码器30可基于ALF系数隐式地导出滤波器系数量化信息,而非在位流中显式地用信号发送滤波器系数量化信息。
可基于所有ALF加权系数的总和来计算量化位的数目,其中首先将非DC ALF系数的总和舍位到2n,例如,将总和126舍位到128(27,此处n=7)。随后,量化位的数目可作为8与n之间的差导出。在先前实例中,n=7,且因此,量化位的数目是1。
在各种实例中,视频解码器30可解码指示用于当前CTU的所获得ALF信息是否经量化的数据。在各种实例中,如果用于当前CTU的所获得ALF信息仅包含DC系数,那么视频解码器30可通过仅解码相关于用于当前CTU的所获得ALF信息的偏移值来解码CTU。
在各种实例中,在对于滤波器仅DC系数存在且不存在其它系数的情况下,视频解码器30可接收像素单元中的DC系数的信令,且在其它情况下可以较高准确度(例如,单元像素值的1/256(在此情况下,“一”被正规化到值256))接收DC和其它滤波器系数的信令。在各种实例中,视频解码器30可通过以不同于用于当前CTU的所获得ALF 信息的一或多个非中心滤波器系数的方式解码用于当前CTU的所获得ALF信息的中心滤波器系数来解码CTU。
在各种实例中,可在中心系数被差分译码时显式地用信号发送其它系数,此意味着仅译码中心系数值与默认值之间的差,其中选择默认值使其被正规化为1。在各种实例中,视频解码器30可通过基于二维群组合并操作解码CTU来解码CTU。
在各种实例中,在合并之后,可针对每一经合并群组仅用信号发送ALF参数的一个集合。如果应用BA分类,那么可将CTU中的像素分类成若干群组,其中群组索引以 2D映射进行排序。对于2D群组合并,可将群组合并到其在2D映射中的左侧或顶部相邻者。在各种实例中,视频解码器30可通过基于一维群组合并操作(其基于一或多个二维特性)解码CTU来解码CTU。
在各种实例中,可遵循以下原则设计初始滤波器/群组索引:两个邻近滤波器(即,具有邻近索引的两个滤波器)必须具有邻近活动性或邻近方向,且其中滤波器仅合并到其邻近相邻者。一或多个二维特性可包含活动性特性和方向特性。
在各种实例中,视频解码器30可确定当前CTU是否超过阈值大小,且在CTU超过阈值大小的情况下将当前CTU分裂成两个或多于两个较小CTU。在各种实例中,对应于大于第二大小的一大小(例如,64×64)的节点的splitting_flag可设定为值1,且在节点对应于大于第二大小的一大小的情况下,旗标用信号发送为1,或可避免用信号发送此旗标,且在此情况下导出所述旗标是1。
举例来说,视频解码器30可经配置以执行一种视频译码方法,所述方法包含:获得用于当前CTU的ALF信息;基于重建像素值且基于一或多个分类度量而对所述CTU 内的一或多个像素分类;以及基于所述CTU内的所述一或多个像素的所述分类,选择用于所述一或多个像素的ALF滤波器。在各种实例中,一或多个分类度量可包含沿多个方向计算的像素梯度,视频解码器30也可操作以用信号发送所述多个方向的方向的数目。
一或多个分类度量可包含以下各者中的一或多者:包括一或多个像素的CU的译码模式、包括一或多个像素的CU的大小、用于一或多个像素的变换类型,或用于一或多个像素的变换大小。
在各种实例中,视频解码器30可通过将滤波器系数应用于围绕CUT内的一或多个像素的像素,基于重建像素值且基于一或多个分类度量而对CTU内的一或多个像素分类。视频解码器30可响应于围绕一或多个像素的像素不可用而执行填充操作,以确定用于围绕一或多个像素的像素的内插值。
在各种实例中,一或多个分类度量可包含沿多个方向计算的像素梯度。视频解码器 30可接收指示所述多个方向的方向的数目的信令。在各种实例中,一或多个分类度量可包含以下各者中的一或多者:包括一或多个像素的CU的译码模式、包括一或多个像素的CU的大小、用于一或多个像素的变换类型,或用于一或多个像素的变换大小。在各种实例中,视频解码器30可通过将滤波器系数应用于围绕CUT内的一或多个像素的像素,基于重建像素值且基于一或多个分类度量而对CTU内的一或多个像素分类。响应于围绕一或多个像素的像素不可用,视频解码器30可执行填充操作,以确定用于围绕一或多个像素的像素的内插值。
图6是说明可实施本发明中所描述的技术的一或多个方法的流程图(600)。图6中描述的方法可通过视频编码器或视频解码器的滤波器单元来执行,例如视频编码器20的ALF单元64,或视频解码器30的ALF单元92。滤波器单元从以下各者中的一或多者获得用于CTU的ALF信息:(i)当前CTU的一或多个空间相邻CTU或(ii)当前CTU的一或多个时间相邻CTU(602)。滤波器单元进一步至少部分地基于用于所述当前CTU的所述所获得ALF信息而形成候选项列表(604)。滤波器单元使用与来自候选项列表的候选项相关联的ALF信息对当前CTU执行滤波操作(606)。
图7是说明可实施本发明中所描述的技术的一或多个方法的流程图(700)。图6中所描述的方法可通过视频编码器或视频解码器的滤波器单元来执行,例如视频编码器20的ALF单元64,或视频解码器30的ALF单元92。
在各种实例中,滤波器单元获得用于当前CTU的ALF信息(702)。滤波器单元基于重建像素值且基于一或多个分类度量而对CTU内的一或多个像素分类(704)。基于CTU 内的一或多个像素的分类,滤波器单元在各种实例中选择用于一或多个像素的ALF滤波器(706)。
一或多个分类度量可(例如)包含沿多个方向计算的像素梯度、包括一或多个像素的 CU的译码模式、包括一或多个像素的CU的大小、用于一或多个像素的变换类型,或用于一或多个像素的变换大小。
在各种实例中,滤波器单元可执行用于基于重建像素值且基于一或多个分类度量而对CTU内的一或多个像素分类的操作,将滤波器系数应用于围绕CUT内的一或多个像素的像素。响应于围绕一或多个像素的像素不可用,滤波器单元可执行填充操作,以确定用于围绕一或多个像素的像素的内插值。
在一或多个实例中,所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施,那么所述功能可作为一或多个指令或代码而在计算机可读介质上存储或经由计算机可读介质发射,且由基于硬件的处理单元执行。计算机可读介质可包含计算机可读存储介质(其对应于例如数据存储介质的有形介质)或通信介质,通信介质包含(例如)根据通信协议促进计算机程序从一处传送到另一处的任何介质。以此方式,计算机可读介质大体可对应于(1)非暂时性的有形计算机可读存储介质,或(2)通信介质,例如信号或载波。数据存储介质可以是可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可包含计算机可读介质。
通过实例而非限制,这些计算机可读存储介质可包括RAM、ROM、EEPROM、 CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它介质。并且,将任何连接适当地称为计算机可读介质。举例来说,如果使用同轴缆线、光缆、双绞线、数字用户线(DSL)或无线技术(例如红外线、无线电和微波)从网站、服务器或其它远程源发射指令,那么同轴缆线、光缆、双绞线、DSL或无线技术(例如红外线、无线电和微波)包含于介质的定义中。然而,应理解,计算机可读存储介质和数据存储介质不包含连接、载波、信号或其它暂时性介质,而实际上有关于非暂时性有形存储介质。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘 (DVD)、软盘和蓝光光盘,其中磁盘通常以磁性方式再生数据,而光盘用激光以光学方式再生数据。以上的组合也应包含于计算机可读介质的范围内。
可由例如以下各者的一或多个处理器来执行指令:一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成式或离散逻辑电路。因此,如本文中所使用的术语“处理器”可指前述结构或合适于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,本文中所描述的功能性可提供于经配置用于编码和解码的专用硬件和/或软件模块内,或并入组合式编解码器中。此外,所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可在多种装置或设备中实施,所述装置或设备包含无线手机、集成电路(IC)或IC集合(例如,芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面,但未必要求由不同硬件单元来实现。确切地说,如上所述,各种单元可组合于编解码器硬件单元中,或通过互操作性硬件单元(包含如上所述的一或多个处理器)的集合与合适软件和/或固件一起组合来提供。
已描述各种实例。这些和其它实例在以下权利要求书的范围内。

Claims (53)

1.一种用于译码视频数据的方法,所述方法包括:
从以下各者中的一或多者获得用于当前译码树单元CTU的自适应环路滤波ALF信息:(i)所述当前CTU的一或多个空间相邻CTU或(ii)所述当前CTU的一或多个时间相邻CTU;
形成用于所述当前CTU的候选项列表,所述候选项列表包含多个候选项条目,所述候选项条目中的每一者至少部分地基于所获得的ALF信息;以及
使用与来自所述候选项列表的候选项相关联的ALF信息来对所述当前CTU执行滤波操作。
2.根据权利要求1所述的方法,其中所述ALF信息包括ALF系数。
3.根据权利要求1所述的方法,其中所述ALF信息包括ALF滤波器到分类度量的映射。
4.根据权利要求1所述的方法,其中译码视频数据的所述方法包括解码所述视频数据的方法,所述解码方法进一步包括:
接收包括与来自所述候选项列表的所述候选项相关联的索引的语法元素;以及
使用与来自所述候选项列表的所述候选项相关联的所述ALF信息来对所述当前CTU执行所述滤波操作。
5.根据权利要求1所述的方法,其中译码视频数据的所述方法包括编码所述视频数据的方法,所述编码方法进一步包括:
产生包括与来自所述候选项列表的所述候选项相关联的索引的语法元素,以供包含于视频数据的经编码位流中。
6.根据权利要求1所述的方法,其中译码视频数据的所述方法包括解码所述视频数据的方法,所述解码方法进一步包括:
接收包括与来自所述候选项列表的所述候选项相关联的索引的语法元素;
接收差异信息;
将所述差异信息添加到与所述候选项相关联的所述ALF信息以确定新ALF信息;
使用所述新ALF信息对所述当前CTU执行所述滤波操作。
7.根据权利要求1所述的方法,其中译码视频数据的所述方法包括编码所述视频数据的方法,所述编码方法进一步包括:
确定新ALF信息;
产生包括与来自所述候选项列表的所述候选项相关联的索引的语法元素,以供包含于视频数据的经编码位流中;以及
产生识别所述新ALF信息与相关联于所述候选项的所述ALF信息之间的差异的差异信息,以供包含于视频数据的所述经编码位流中。
8.根据权利要求1所述的方法,其中所述ALF滤波器信息包括多个ALF滤波器,所述方法进一步包括:
基于一或多个分类度量从所述多个ALF滤波器选择ALF滤波器;以及
使用所选择的ALF滤波器对所述CTU的一或多个像素执行滤波操作。
9.根据权利要求8所述的方法,其中所述一或多个分类度量包括活动性度量和方向度量。
10.根据权利要求8所述的方法,其中所述一或多个分类度量包括以下各者中的一或多者:包括所述一或多个像素的CU的大小、包括所述像素的所述CU的译码模式、对应于所述一或多个像素的变换单元的大小,或对应于所述一或多个像素的变换单元的类型。
11.根据权利要求8所述的方法,其进一步包括:
通过使用所选择的ALF滤波器对所述CTU的所述一或多个像素执行所述滤波操作来产生经滤波图像;以及
输出所述经滤波图像。
12.根据权利要求6所述的方法,其中用于译码的所述方法是作为编码操作的解码环路的部分而执行,且其中所述方法进一步包括:
通过使用所选择的ALF滤波器对所述CTU的所述一或多个像素执行所述滤波操作来产生经滤波图像;以及
将所述经滤波图像存储于经解码图片缓冲器中。
13.根据权利要求1所述的方法,所述方法是通过无线通信装置执行,其中所述无线通信装置包括:
接收器,其经配置以接收经编码视频数据;
处理器,其经配置以执行指令以处理所述经编码视频数据。
14.根据权利要求13所述的方法,其中所述无线通信装置包括蜂窝式电话,且所述经编码视频数据是通过所述接收器接收且根据蜂窝式通信标准解调。
15.根据权利要求1所述的方法,所述方法是通过无线通信装置执行,其中所述无线通信装置包括:
发射器,其经配置以发射经编码视频数据;
处理器,其经配置以执行指令以处理所述经编码视频数据。
16.根据权利要求15所述的方法,其中所述无线通信装置包括蜂窝式电话,且其中所述经编码视频数据是根据蜂窝式通信标准调制且通过所述发射器发射。
17.根据权利要求1所述的方法,其中所述多个候选项条目中的每一者包括可用以执行用于所述当前CTU的自适应环路滤波的ALF参数的全集合。
18.一种用于译码视频数据的装置,所述装置包括:
存储器,其经配置以存储视频数据;以及
一或多个处理器,所述一或多个处理器经配置以:
从以下各者中的一或多者获得用于当前译码树单元CTU的自适应环路滤波ALF信息:(i)所述当前CTU的一或多个空间相邻CTU或(ii)所述当前CTU的一或多个时间相邻CTU;
形成用于所述当前CTU的候选项列表,所述候选项列表包含多个候选项条目,所述候选项条目中的每一者至少部分地基于所获得的ALF信息;以及
使用与来自所述候选项列表的候选项相关联的ALF信息来对所述当前CTU执行滤波操作。
19.根据权利要求18所述的装置,其中所述一或多个处理器经配置以解码所述视频数据,其中为解码所述视频数据,所述一或多个处理器经进一步配置以:
接收包括与来自所述候选项列表的所述候选项相关联的索引的语法元素;以及
使用与来自所述候选项列表的所述候选项相关联的所述ALF信息来对所述当前CTU执行所述滤波操作。
20.根据权利要求18所述的装置,其中所述一或多个处理器经配置以编码所述视频数据,其中为编码所述视频数据,所述一或多个处理器经进一步配置以:产生包括与来自所述候选项列表的所述候选项相关联的索引的语法元素,以供包含于视频数据的经编码位流中。
21.根据权利要求18所述的装置,其中所述一或多个处理器经配置以解码所述视频数据,其中为解码所述视频数据,所述一或多个处理器经进一步配置以:
接收包括与来自所述候选项列表的所述候选项相关联的索引的语法元素;
接收差异信息;
将所述差异信息添加到与所述候选项相关联的所述ALF信息以确定新ALF信息;以及
使用所述新ALF信息对所述当前CTU执行所述滤波操作。
22.根据权利要求18所述的装置,其中所述一或多个处理器经配置以编码视频数据,其中为编码数据,所述一或多个处理器经进一步配置以:
确定新ALF信息;
产生包括与来自所述候选项列表的所述候选项相关联的索引的语法元素,以供包含于视频数据的经编码位流中;以及
产生识别所述新ALF信息与相关联于所述候选项的所述ALF信息之间的差异的差异信息,以供包含于视频数据的所述经编码位流中。
23.根据权利要求18所述的装置,其中所述ALF滤波器信息包括多个ALF滤波器,且所述一或多个处理器经进一步配置以:
基于一或多个分类度量从所述多个ALF滤波器选择ALF滤波器;以及
使用所选择的ALF滤波器对所述CTU的一或多个像素执行滤波操作。
24.根据权利要求23所述的装置,其中所述一或多个分类度量包括以下各者中的一或多者:包括所述一或多个像素的CU的大小、包括所述像素的所述CU的译码模式、对应于所述一或多个像素的变换单元的大小,或对应于所述一或多个像素的变换单元的类型。
25.根据权利要求23所述的装置,其中所述一或多个处理器经进一步配置以:
通过使用所选择的ALF滤波器对所述CTU的所述一或多个像素执行所述滤波操作来产生经滤波图像;以及
输出所述经滤波图像。
26.根据权利要求21所述的装置,其中所述一或多个处理器经配置以作为编码操作的解码环路的部分执行译码,且其中所述一或多个处理器经进一步配置以:
通过使用所选择的ALF滤波器对所述CTU的所述一或多个像素执行所述滤波操作来产生经滤波图像;以及
将所述经滤波图像存储于经解码图片缓冲器中。
27.根据权利要求18所述的装置,其中所述装置是无线通信装置,且其中所述无线通信装置包括:
接收器,其经配置以接收经编码视频数据,
其中所述一或多个处理器经配置以执行指令以处理所接收的经编码视频数据。
28.根据权利要求27所述的装置,其中所述无线通信装置包括蜂窝式电话,且所述经编码视频数据是通过所述接收器接收且根据蜂窝式通信标准解调。
29.根据权利要求18所述的装置,其中所述装置是无线通信装置,所述无线通信装置包括:
发射器,其经配置以发射经编码数据;且
其中所述一或多个处理器经配置以执行指令以处理所述视频数据,以为通过所述发射器发射作准备。
30.根据权利要求29所述的装置,其中所述无线通信装置是蜂窝式电话,且所述经编码视频数据是根据蜂窝式通信标准调制且接着通过所述发射器发射。
31.根据权利要求18所述的装置,其中所述多个候选项条目中的每一者包括可用以执行用于所述当前CTU的自适应环路滤波的ALF参数的全集合。
32.一种用于译码视频数据的装置,所述装置包括:
用于从以下各者中的一或多者获得用于当前译码树单元CTU的自适应环路滤波ALF信息的装置:(i)所述当前CTU的一或多个空间相邻CTU或(ii)所述当前CTU的一或多个时间相邻CTU;
用于形成用于所述当前CTU的候选项列表的装置,所述候选项列表包含多个候选项条目,所述候选项条目中的每一者至少部分地基于所获得的ALF信息;以及
用于使用与来自所述候选项列表的候选项相关联的ALF信息来对所述当前CTU执行滤波操作的装置。
33.根据权利要求32所述的装置,其进一步包括:
用于解码所述视频数据的装置,其中用于解码所述视频数据的所述装置进一步包括:
用于接收包括与来自所述候选项列表的所述候选项相关联的索引的语法元素的装置;以及
用于使用与来自所述候选项列表的所述候选项相关联的所述ALF信息来对所述当前CTU执行所述滤波操作的装置。
34.根据权利要求32所述的装置,其进一步包括:
用于编码所述视频数据的装置,其中用于编码所述视频数据的所述装置进一步包括用于产生包括与来自所述候选项列表的所述候选项相关联的索引的语法元素,以供包含于视频数据的经编码位流中的装置。
35.根据权利要求32所述的装置,其进一步包括:
用于解码所述视频数据的装置,其中用于解码所述视频数据的所述装置进一步包括:
用于接收包括与来自所述候选项列表的所述候选项相关联的索引的语法元素的装置;
用于接收差异信息的装置;
用于将所述差异信息添加到与所述候选项相关联的所述ALF信息以确定新ALF信息的装置;以及
用于使用所述新ALF信息对所述当前CTU执行所述滤波操作的装置。
36.根据权利要求32所述的装置,其进一步包括:
用于编码所述视频数据的装置,用于编码所述视频数据的所述装置进一步包括:
用于确定新ALF信息的装置;
用于产生包括与来自所述候选项列表的所述候选项相关联的索引的语法元素,以供包含于视频数据的经编码位流中的装置;以及
用于产生识别所述新ALF信息与相关联于所述候选项的所述ALF信息之间的差异的差异信息,以供包含于视频数据的所述经编码位流中的装置。
37.根据权利要求32所述的装置,其中所述ALF滤波器信息包括多个ALF滤波器,
且其中用于获得所述自适应环路滤波ALF信息的所述装置进一步包括:
用于基于一或多个分类度量从所述多个ALF滤波器选择ALF滤波器的装置;以及
用于使用所选择的ALF滤波器对所述CTU的一或多个像素执行滤波操作的装置。
38.根据权利要求37所述的装置,其中所述一或多个分类度量包括以下各者中的一或多者:包括所述一或多个像素的CU的大小、包括所述像素的所述CU的译码模式、对应于所述一或多个像素的变换单元的大小,或对应于所述一或多个像素的变换单元的类型。
39.根据权利要求37所述的装置,其进一步包括:
用于通过使用所选择的ALF滤波器对所述CTU的所述一或多个像素执行所述滤波操作来产生经滤波图像的装置;以及
用于输出所述经滤波图像的装置。
40.根据权利要求35所述的装置,其中用于解码所述视频数据的所述装置经配置以作为编码操作的解码环路的部分执行解码,且其中用于解码所述视频数据的所述装置进一步包括:
用于通过使用所选择的ALF滤波器对所述CTU的所述一或多个像素执行所述滤波操作来产生经滤波图像的装置;以及
用于将所述经滤波图像存储于经解码图片缓冲器中的装置。
41.根据权利要求32所述的装置,其进一步包括:
用于执行无线通信的装置,其中用于执行无线通信的所述装置包括:
用于接收经编码视频数据的装置;以及
用于执行指令以处理所述经编码视频数据的装置。
42.根据权利要求32所述的装置,其进一步包括:
用于执行无线通信的装置,其中用于执行无线通信的所述装置包括:
用于执行指令以编码所述视频数据的装置;以及
用于发射经编码的视频数据的装置。
43.根据权利要求32所述的装置,其中所述多个候选项条目中的每一者包括可用以执行用于所述当前CTU的自适应环路滤波的ALF参数的全集合。
44.一种存储有指令的非暂时性计算机可读存储介质,所述指令在由一或多个处理器执行时使所述一或多个处理器进行以下操作:
从以下各者中的一或多者获得用于当前译码树单元CTU的自适应环路滤波ALF信息:(i)所述当前CTU的一或多个空间相邻CTU或(ii)所述当前CTU的一或多个时间相邻CTU;
形成用于所述当前CTU的候选项列表,所述候选项列表包含多个候选项条目,所述候选项条目中的每一者至少部分地基于所获得的ALF信息;以及
使用与来自所述候选项列表的候选项相关联的ALF信息来对所述当前CTU执行滤波操作。
45.根据权利要求44所述的非暂时性计算机可读存储介质,其中所述指令使所述一或多个处理器执行视频数据的解码,且所述非暂时性计算机可读存储介质存储在经执行时使所述一或多个处理器进行以下操作的其它指令:
接收包括与来自所述候选项列表的所述候选项相关联的索引的语法元素;以及
使用与来自所述候选项列表的所述候选项相关联的所述ALF信息来对所述当前CTU执行所述滤波操作。
46.根据权利要求44所述的非暂时性计算机可读存储介质,其中所述指令使所述一或多个处理器执行视频数据的编码,所述非暂时性计算机可读存储介质存储在由所述一或多个处理器执行时使所述一或多个处理器进行以下操作的其它指令:产生包括与来自所述候选项列表的所述候选项相关联的索引的语法元素,以供包含于视频数据的经编码位流中。
47.根据权利要求44所述的非暂时性计算机可读存储介质,其中所述指令使所述一或多个处理器执行视频数据的解码,且所述非暂时性计算机可读存储介质存储在经执行时使所述一或多个处理器进行以下操作的其它指令:
接收包括与来自所述候选项列表的所述候选项相关联的索引的语法元素;
接收差异信息;
将所述差异信息添加到与所述候选项相关联的所述ALF信息以确定新ALF信息;以及
使用所述新ALF信息对所述当前CTU执行所述滤波操作。
48.根据权利要求44所述的非暂时性计算机可读存储介质,其中所述指令使所述一或多个处理器执行视频数据的编码,且所述非暂时性计算机可读存储介质存储在经执行时使所述一或多个处理器进行以下操作的其它指令:
确定新ALF信息;
产生包括与来自所述候选项列表的所述候选项相关联的索引的语法元素,以供包含于视频数据的经编码位流中;以及
产生识别所述新ALF信息与相关联于所述候选项的所述ALF信息之间的差异的差异信息,以供包含于视频数据的所述经编码位流中。
49.根据权利要求44所述的非暂时性计算机可读存储介质,其中所述ALF滤波器信息包括多个ALF滤波器,且所述非暂时性计算机可读存储介质存储在经执行时使所述一或多个处理器进行以下操作的其它指令:
基于一或多个分类度量从所述多个ALF滤波器选择ALF滤波器;以及
使用所选择的ALF滤波器对所述CTU的一或多个像素执行滤波操作。
50.根据权利要求49所述的非暂时性计算机可读存储介质,其中所述一或多个分类度量包括以下各者中的一或多者:包括所述一或多个像素的CU的大小、包括所述像素的所述CU的译码模式、对应于所述一或多个像素的变换单元的大小,或对应于所述一或多个像素的变换单元的类型。
51.根据权利要求49所述的非暂时性计算机可读存储介质,其存储在经执行时使所述一或多个处理器进行以下操作的其它指令:
通过使用所选择的ALF滤波器对所述CTU的所述一或多个像素执行所述滤波操作来产生经滤波图像;以及
输出所述经滤波图像。
52.根据权利要求47所述的非暂时性计算机可读存储介质,其存储在由所述一或多个处理器执行时使所述一或多个处理器进行以下操作的其它指令:使用与来自所述候选项列表的所述候选项相关联的ALF信息来作为编码操作的解码环路的部分对所述当前CTU执行所述滤波操作,且所述非暂时性计算机可读存储介质存储在经执行时使所述一或多个处理器进行以下操作的其它指令:
通过使用所选择的ALF滤波器对所述CTU的所述一或多个像素执行所述滤波操作来产生经滤波图像;以及
将所述经滤波图像存储于经解码图片缓冲器中。
53.根据权利要求44所述的非暂时性计算机可读存储介质,其中所述多个候选项条目中的每一者包括可用以执行用于所述当前CTU的自适应环路滤波的ALF参数的全集合。
CN201680009135.1A 2015-02-11 2016-02-11 用于译码视频数据的方法和装置以及计算机可读存储介质 Expired - Fee Related CN107211154B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562115067P 2015-02-11 2015-02-11
US62/115,067 2015-02-11
US15/040,913 2016-02-10
US15/040,913 US10057574B2 (en) 2015-02-11 2016-02-10 Coding tree unit (CTU) level adaptive loop filter (ALF)
PCT/US2016/017544 WO2016130801A1 (en) 2015-02-11 2016-02-11 Coding tree unit (ctu) level adaptive loop filter (alf)

Publications (2)

Publication Number Publication Date
CN107211154A CN107211154A (zh) 2017-09-26
CN107211154B true CN107211154B (zh) 2020-08-18

Family

ID=56565469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680009135.1A Expired - Fee Related CN107211154B (zh) 2015-02-11 2016-02-11 用于译码视频数据的方法和装置以及计算机可读存储介质

Country Status (7)

Country Link
US (1) US10057574B2 (zh)
EP (1) EP3257247A1 (zh)
JP (1) JP2018509074A (zh)
KR (1) KR20170117062A (zh)
CN (1) CN107211154B (zh)
TW (1) TW201633787A (zh)
WO (1) WO2016130801A1 (zh)

Families Citing this family (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2996269A1 (en) 2014-09-09 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio splicing concept
WO2016204374A1 (ko) * 2015-06-18 2016-12-22 엘지전자 주식회사 영상 코딩 시스템에서 영상 필터링 방법 및 장치
US11064195B2 (en) 2016-02-15 2021-07-13 Qualcomm Incorporated Merging filters for multiple classes of blocks for video coding
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
WO2018124957A1 (en) 2016-12-30 2018-07-05 Telefonaktiebolaget Lm Ericsson (Publ) Decoded picture buffer management for handling cross-picture data prediction
US10506230B2 (en) * 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
US11811975B2 (en) * 2017-05-31 2023-11-07 Interdigital Madison Patent Holdings, Sas Method and a device for picture encoding and decoding
EP3410711A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing A method and a device for picture encoding and decoding
US11228757B2 (en) 2017-05-31 2022-01-18 Interdigital Vc Holdings, Inc. Method and a device for picture encoding and decoding
EP3410723A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing A method and a device for picture encoding and decoding
WO2018225593A1 (ja) * 2017-06-05 2018-12-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
CN115442599A (zh) * 2017-10-20 2022-12-06 韩国电子通信研究院 图像编码、解码方法以及存储比特流的记录介质
CN111512632B (zh) * 2017-11-01 2023-07-14 Vid拓展公司 用于简化视频译码中的自适应环路滤波器的方法
KR20200095463A (ko) * 2017-11-01 2020-08-10 브이아이디 스케일, 인크. 병합 모드를 위한 서브-블록 모션 도출 및 디코더측 모션 벡터 정교화
US11457239B2 (en) * 2017-11-09 2022-09-27 Google Llc Block artefact reduction
US10721469B2 (en) * 2017-11-28 2020-07-21 Qualcomm Incorporated Line buffer reduction for adaptive loop filtering in video coding
US11290715B2 (en) * 2017-11-29 2022-03-29 Electronics And Telecommunications Research Institute Image encoding/decoding method and device employing in-loop filtering
EP3725083A1 (en) 2017-12-14 2020-10-21 InterDigital VC Holdings, Inc. Method and apparatus for encoding a picture block
EP3747192A1 (en) 2018-01-29 2020-12-09 InterDigital VC Holdings, Inc. Encoding and decoding with refinement of the reconstructed picture
WO2019154817A1 (en) * 2018-02-09 2019-08-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive in-loop filter with multiple feature-based classifications
CA3092900A1 (en) 2018-03-09 2019-09-12 Huawei Technologies Co., Ltd. Method and apparatus for image filtering with adaptive multiplier coefficients
CN112119639B (zh) * 2018-03-29 2024-03-12 艾锐势有限责任公司 用于对hdr内容进行去方块的系统和方法
KR20200128587A (ko) 2018-03-30 2020-11-13 인터디지털 브이씨 홀딩스 인코포레이티드 비디오 인코딩 및 디코딩에서의 크로마 양자화 파라미터 조정
WO2019194647A1 (ko) * 2018-04-06 2019-10-10 가온미디어 주식회사 필터 정보 기반의 적응적 루프 필터링 방법, 그를 이용한 영상 부호화 및 복호화 방법
WO2019225934A1 (ko) * 2018-05-21 2019-11-28 엘지전자 주식회사 영상 코딩 시스템에서 타일 내 ctu 어드레스 관련 영상 디코딩 방법 및 그 장치
CA3141303A1 (en) * 2018-05-30 2019-12-05 Digitalinsights Inc. Image encoding/decoding method and device
US11451773B2 (en) * 2018-06-01 2022-09-20 Qualcomm Incorporated Block-based adaptive loop filter (ALF) design and signaling
WO2019234612A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Partition tree with four sub-blocks symmetric or asymmetric
TWI731360B (zh) 2018-06-29 2021-06-21 大陸商北京字節跳動網絡技術有限公司 查找表的使用條件
EP3791586A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
SG11202012293RA (en) 2018-06-29 2021-01-28 Beijing Bytedance Network Technology Co Ltd Update of look up table: fifo, constrained fifo
TWI728390B (zh) 2018-06-29 2021-05-21 大陸商北京字節跳動網絡技術有限公司 查找表尺寸
CN110662043B (zh) 2018-06-29 2021-12-21 北京字节跳动网络技术有限公司 一种用于处理视频数据的方法、装置和计算机可读介质
CN110662035B (zh) * 2018-06-29 2022-06-10 北京字节跳动网络技术有限公司 零单元的滤波
CN110662052B (zh) 2018-06-29 2022-07-08 北京字节跳动网络技术有限公司 更新查找表(lut)的条件
EP3791585A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Partial/full pruning when adding a hmvp candidate to merge/amvp
WO2020008349A1 (en) 2018-07-02 2020-01-09 Beijing Bytedance Network Technology Co., Ltd. Merge index coding
JP2021166319A (ja) * 2018-07-06 2021-10-14 ソニーグループ株式会社 符号化装置、符号化方法、復号装置、及び、復号方法
US11064196B2 (en) * 2018-09-03 2021-07-13 Qualcomm Incorporated Parametrizable, quantization-noise aware bilateral filter for video coding
US11284075B2 (en) * 2018-09-12 2022-03-22 Qualcomm Incorporated Prediction of adaptive loop filter parameters with reduced memory consumption for video coding
WO2020053800A1 (en) 2018-09-12 2020-03-19 Beijing Bytedance Network Technology Co., Ltd. How many hmvp candidates to be checked
JP2022002353A (ja) * 2018-09-25 2022-01-06 ソニーグループ株式会社 符号化装置、符号化方法、復号装置、及び、復号方法
US20210168407A1 (en) * 2018-09-25 2021-06-03 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
CN109660797A (zh) * 2018-11-09 2019-04-19 北京达佳互联信息技术有限公司 自适应滤波方法、装置、电子设备及计算机可读介质
EP4325849A3 (en) 2018-11-22 2024-04-17 Beijing Bytedance Network Technology Co., Ltd. Coordination method for sub-block based inter prediction
US11051017B2 (en) 2018-12-20 2021-06-29 Qualcomm Incorporated Adaptive loop filter (ALF) index signaling
US11044473B2 (en) * 2018-12-21 2021-06-22 Qualcomm Incorporated Adaptive loop filtering classification in video coding
CN113498605A (zh) * 2018-12-23 2021-10-12 华为技术有限公司 编码器、解码器及使用自适应环路滤波器的相应方法
JP7275286B2 (ja) 2019-01-10 2023-05-17 北京字節跳動網絡技術有限公司 Lut更新の起動
WO2020143824A1 (en) * 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
JP7199550B2 (ja) 2019-02-01 2023-01-05 北京字節跳動網絡技術有限公司 パラメータセットを使用したインループ再成形情報のシグナリング
WO2020156533A1 (en) 2019-02-01 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interactions between in-loop reshaping and palette mode
CN113519164A (zh) 2019-03-02 2021-10-19 北京字节跳动网络技术有限公司 对分割结构的限制
WO2020177702A1 (en) * 2019-03-04 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Two-level signaling of filtering information in video processing
JP7256874B2 (ja) * 2019-03-08 2023-04-12 キヤノン株式会社 アダプティブループフィルタ
US11910024B2 (en) 2019-03-11 2024-02-20 Qualcomm Incorporated Boundary handling for adaptive loop filtering
CN117499644A (zh) 2019-03-14 2024-02-02 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
US11159791B2 (en) * 2019-03-16 2021-10-26 Mediatek Inc. Method and apparatus for signaling adaptive loop filter parameters in video coding
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
WO2020192613A1 (en) 2019-03-23 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Restrictions on in-loop reshaping parameter sets
MX2021011247A (es) 2019-03-24 2021-10-01 Beijing Bytedance Network Tech Co Ltd Filtrado de bucle adaptativo no lineal en procesamiento de video.
KR20230165888A (ko) 2019-04-02 2023-12-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 양방향 광학 흐름 기반 비디오 코딩 및 디코딩
EP3928524A4 (en) 2019-04-15 2022-06-22 Beijing Bytedance Network Technology Co., Ltd. TIME PREDICTION OF PARAMETERS IN A NONLINEAR ADAPTIVE LOOP FILTER
KR20210145749A (ko) 2019-04-16 2021-12-02 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩을 위한 적응형 루프 필터링
WO2020211866A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Applicability of prediction refinement with optical flow process
CN113711609B (zh) 2019-04-19 2023-12-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程中的增量运动矢量
CN113728630B (zh) 2019-04-19 2023-11-17 北京字节跳动网络技术有限公司 不同运动矢量细化中的基于区域的梯度计算
CN113711604B (zh) 2019-04-20 2023-10-27 北京字节跳动网络技术有限公司 视频编解码中色度和亮度语法元素的信令
US11284114B2 (en) * 2019-04-23 2022-03-22 Qualcomm Incorporated Adaptive loop filter set index signaling
KR102630415B1 (ko) 2019-04-24 2024-01-29 바이트댄스 아이엔씨 코딩 된 비디오의 양자화된 잔차 차동 펄스 코드 변조 표현의 제약
WO2020223467A1 (en) 2019-05-01 2020-11-05 Bytedance Inc. Intra coded video using quantized residual differential pulse code modulation coding
WO2020223615A1 (en) 2019-05-02 2020-11-05 Bytedance Inc. Coding mode based on a coding tree structure type
DE112020002032B4 (de) * 2019-05-16 2024-01-04 Lg Electronics Inc. Bilddecodierverfahren und Bilddecodiervorrichtung
CN115567707A (zh) 2019-05-30 2023-01-03 抖音视界有限公司 色度分量的自适应环路滤波
WO2020244571A1 (en) 2019-06-04 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction using neighboring block information
JP7446339B2 (ja) 2019-06-04 2024-03-08 北京字節跳動網絡技術有限公司 幾何学的分割モードコーディングを用いた動き候補リスト
KR102662603B1 (ko) 2019-06-06 2024-04-30 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩을 위한 움직임 후보 리스트 구성
EP3970366A4 (en) 2019-06-14 2023-03-29 Beijing Bytedance Network Technology Co., Ltd. HANDLING VIDEO UNIT LIMITS AND VIRTUAL LIMITS
CN112135129B (zh) * 2019-06-25 2024-06-04 华为技术有限公司 一种帧间预测方法及装置
US11930169B2 (en) 2019-06-27 2024-03-12 Hfi Innovation Inc. Method and apparatus of cross-component adaptive loop filtering for video coding
WO2021006624A1 (ko) 2019-07-08 2021-01-14 엘지전자 주식회사 적응적 루프 필터를 적용하는 비디오 또는 영상 코딩
CN117478878A (zh) 2019-07-09 2024-01-30 北京字节跳动网络技术有限公司 用于自适应环路滤波的样点确定
WO2021004542A1 (en) 2019-07-11 2021-01-14 Beijing Bytedance Network Technology Co., Ltd. Sample padding in adaptive loop filtering
CN117354547A (zh) * 2019-07-14 2024-01-05 北京字节跳动网络技术有限公司 自适应参数集中的自适应环路滤波的指示
BR112022000794A2 (pt) 2019-07-15 2022-03-15 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processamento de dados de vídeo, meios de armazenamento e gravação não transitórios legíveis por computador
WO2021025168A1 (en) * 2019-08-08 2021-02-11 Panasonic Intellectual Property Corporation Of America System and method for video coding
WO2021025167A1 (en) * 2019-08-08 2021-02-11 Panasonic Intellectual Property Corporation Of America System and method for video coding
KR20220043109A (ko) 2019-08-13 2022-04-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브 블록 기반 인터 예측의 모션 정밀도
WO2021034722A1 (en) * 2019-08-16 2021-02-25 Apple Inc. Adaptive bilateral filtering using look-up tables
CN114175638A (zh) * 2019-08-16 2022-03-11 华为技术有限公司 视频译码中的alf aps约束
AU2020332558A1 (en) * 2019-08-19 2022-03-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Usage of access unit delimiters and adaptation parameter sets
US20220286692A1 (en) * 2019-08-27 2022-09-08 Hyundai Motor Company Video encoding and decoding using differential encoding
KR20220044894A (ko) 2019-08-29 2022-04-12 엘지전자 주식회사 영상 코딩 장치 및 방법
WO2021045130A1 (en) 2019-09-03 2021-03-11 Panasonic Intellectual Property Corporation Of America System and method for video coding
US11303890B2 (en) * 2019-09-05 2022-04-12 Qualcomm Incorporated Reusing adaptive loop filter (ALF) sub-picture boundary processing for raster-scan slice boundaries
US11140388B2 (en) * 2019-09-06 2021-10-05 Tencent America LLC Method and apparatus for non-linear loop filtering
WO2021051046A1 (en) 2019-09-14 2021-03-18 Bytedance Inc. Quantization parameter for chroma deblocking filtering
CN114424529A (zh) * 2019-09-18 2022-04-29 北京字节跳动网络技术有限公司 视频编解码中自适应环路滤波器的两部分信令
WO2021052505A1 (en) 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Reference picture resampling in video processing
CN114430902B (zh) * 2019-09-22 2023-11-10 北京字节跳动网络技术有限公司 自适应环路滤波中的填充过程
WO2021057946A1 (en) 2019-09-27 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering between different video units
CN114450959A (zh) 2019-09-28 2022-05-06 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
WO2021072177A1 (en) 2019-10-09 2021-04-15 Bytedance Inc. Cross-component adaptive loop filtering in video coding
KR20220071203A (ko) 2019-10-10 2022-05-31 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링에서 이용 불가능한 샘플 위치들에서의 패딩 프로세스
CN114586370B (zh) 2019-10-14 2024-01-23 字节跳动有限公司 在视频编解码中使用色度量化参数的方法、装置及介质
CN115244924A (zh) 2019-10-29 2022-10-25 抖音视界有限公司 跨分量自适应环路滤波器的信令通知
US11432016B2 (en) * 2019-12-05 2022-08-30 Hfi Innovation Inc. Methods and apparatuses of syntax signaling constraint for cross-component adaptive loop filter in video coding system
US11356679B2 (en) * 2019-12-05 2022-06-07 Alibaba Group Holding Limited Method and apparatus for chroma sampling
EP4055827A4 (en) 2019-12-09 2023-01-18 ByteDance Inc. USING QUANTIFICATION GROUPS IN VIDEO CODING
KR102619404B1 (ko) 2019-12-11 2023-12-28 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로스 컴포넌트 적응적 루프 필터링을 위한 샘플 패딩
KR20220088501A (ko) * 2019-12-12 2022-06-27 엘지전자 주식회사 적응적 루프 필터를 적용하는 비디오 또는 영상 코딩
WO2021132158A1 (ja) * 2019-12-23 2021-07-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
CN114902657A (zh) 2019-12-31 2022-08-12 字节跳动有限公司 视频编解码中的自适应颜色变换
FR3109685A1 (fr) * 2020-04-22 2021-10-29 Orange Procédés et dispositifs de codage et de décodage d'une séquence vidéo multi-vues
KR20230029670A (ko) 2020-06-30 2023-03-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링을 위한 경계 위치
CN117082239A (zh) * 2021-01-22 2023-11-17 Oppo广东移动通信有限公司 视频编解码方法与系统、及视频编码器与视频解码器
WO2023143588A1 (en) * 2022-01-29 2023-08-03 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
CN114863351B (zh) * 2022-07-07 2022-09-20 河北工业大学 基于Web3.0的图声融合路基填料协同识别管理系统
WO2024088003A1 (en) * 2022-10-24 2024-05-02 Mediatek Inc. Method and apparatus of position-aware reconstruction in in-loop filtering

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102342101A (zh) * 2008-12-22 2012-02-01 高通股份有限公司 用于在视频译码中进行内插滤波、环路内滤波和环路后滤波的组合方案
CN102369731A (zh) * 2009-01-15 2012-03-07 高通股份有限公司 基于视频译码中的活动度量的滤波预测
CN103109530A (zh) * 2010-07-09 2013-05-15 三星电子株式会社 使用可调整环路滤波对视频编码的方法和设备以及使用可调整环路滤波对视频解码的方法和设备
CN103518374A (zh) * 2011-06-10 2014-01-15 联发科技股份有限公司 可伸缩视频编码方法及其装置
CN103716626A (zh) * 2009-07-31 2014-04-09 索尼公司 图像处理设备和方法
CN103828372A (zh) * 2011-11-24 2014-05-28 联发科技股份有限公司 储存于缓冲装置中的多重图像块编码图像的数据存取方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2262267A1 (en) * 2009-06-10 2010-12-15 Panasonic Corporation Filter coefficient coding scheme for video coding
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8982960B2 (en) 2011-02-23 2015-03-17 Qualcomm Incorporated Multi-metric filtering
WO2012137890A1 (ja) * 2011-04-05 2012-10-11 シャープ株式会社 画像フィルタ装置、復号装置、符号化装置、および、データ構造
EP2882190B1 (en) * 2011-04-21 2018-11-14 HFI Innovation Inc. Method and apparatus for improved in-loop filtering
CN106851319B (zh) * 2011-06-10 2020-06-19 寰发股份有限公司 推导方法及推导装置
IN2014CN04356A (zh) * 2012-01-19 2015-09-04 Mitsubishi Electric Corp
JP2013187868A (ja) * 2012-03-09 2013-09-19 Sharp Corp 画像復号装置、画像符号化装置、およびデータ構造
US9445088B2 (en) * 2012-04-09 2016-09-13 Qualcomm Incorporated LCU-based adaptive loop filtering for video coding
JP2013223050A (ja) * 2012-04-13 2013-10-28 Sharp Corp フィルタ装置、復号装置、および符号化装置
TWI625962B (zh) 2012-07-16 2018-06-01 三星電子股份有限公司 取樣自適應偏移解碼方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102342101A (zh) * 2008-12-22 2012-02-01 高通股份有限公司 用于在视频译码中进行内插滤波、环路内滤波和环路后滤波的组合方案
CN102369731A (zh) * 2009-01-15 2012-03-07 高通股份有限公司 基于视频译码中的活动度量的滤波预测
CN103716626A (zh) * 2009-07-31 2014-04-09 索尼公司 图像处理设备和方法
CN103109530A (zh) * 2010-07-09 2013-05-15 三星电子株式会社 使用可调整环路滤波对视频编码的方法和设备以及使用可调整环路滤波对视频解码的方法和设备
CN103518374A (zh) * 2011-06-10 2014-01-15 联发科技股份有限公司 可伸缩视频编码方法及其装置
CN103597827A (zh) * 2011-06-10 2014-02-19 联发科技股份有限公司 可伸缩视频编码方法及其装置
CN103828372A (zh) * 2011-11-24 2014-05-28 联发科技股份有限公司 储存于缓冲装置中的多重图像块编码图像的数据存取方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《《Sample Adaptive Offset with LCU-based Syntax》》;Chih-Ming Fu;《JCTVC-F506》;20110722;全文 *
《An improvement on pixel classification for ALF based on edge direction》;Kazuo Sugimoto;《JCTVC-F179》;20110722;全文 *

Also Published As

Publication number Publication date
US20160234492A1 (en) 2016-08-11
TW201633787A (zh) 2016-09-16
US10057574B2 (en) 2018-08-21
WO2016130801A1 (en) 2016-08-18
CN107211154A (zh) 2017-09-26
JP2018509074A (ja) 2018-03-29
KR20170117062A (ko) 2017-10-20
EP3257247A1 (en) 2017-12-20

Similar Documents

Publication Publication Date Title
CN107211154B (zh) 用于译码视频数据的方法和装置以及计算机可读存储介质
US20220337825A1 (en) Predicting filter coefficients from fixed filters for video coding
US10887604B2 (en) Signalling of filtering information
US10506228B2 (en) Variable number of intra modes for video coding
CN109076218B (zh) 基于多个滤波器混淆的视频编码/解码方法、装置
CN110463202B (zh) 一种用于解码视频数据的方法、装置和设备
CN114615506A (zh) 用于视频编解码的子块变换的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200818

Termination date: 20220211

CF01 Termination of patent right due to non-payment of annual fee