CN104813661A - 在视频译码中跨越受约束块内边界进行环路滤波 - Google Patents

在视频译码中跨越受约束块内边界进行环路滤波 Download PDF

Info

Publication number
CN104813661A
CN104813661A CN201380061268.XA CN201380061268A CN104813661A CN 104813661 A CN104813661 A CN 104813661A CN 201380061268 A CN201380061268 A CN 201380061268A CN 104813661 A CN104813661 A CN 104813661A
Authority
CN
China
Prior art keywords
block
video data
filter
sao
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380061268.XA
Other languages
English (en)
Inventor
钟仁肃
瓦迪姆·谢廖金
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104813661A publication Critical patent/CN104813661A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明描述用于译码视频数据的技术。明确地说，本发明描述用于视频译码的环路滤波技术。本发明的技术可应用于可缩放视频译码过程中跨越块边界的环路滤波及/或部分环路滤波。环路滤波可包含例如自适应环路滤波ALF、样本自适应偏移SAO滤波及解块滤波中的一或多者。

Description

在视频译码中跨越受约束块内边界进行环路滤波
本申请案主张2012年11月26日申请的第61/729,985号美国临时申请案的权益，所述申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频译码，且更确切地说，涉及用于在视频译码中进行环路滤波的技术。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及其类似者。数字视频装置实施视频压缩技术，例如在通过MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分、高级视频译码(AVC)、目前正在开发的高效率视频译码(HEVC)标准及此类标准的扩展部分定义的标准中描述的技术，以便更高效地发射、接收及存储数字视频信息。
视频压缩技术包含空间预测及/或时间预测，以减少或移除视频序列中所固有的冗余。对于基于块的视频译码，一视频帧或切片可分割成多个块。每一块可被进一步分割。使用相对于相同帧或切片中的相邻块中的参考样本的空间预测来编码经帧内译码(I)帧或切片中的块。经帧间译码(P或B)帧或切片中的块可使用相对于相同帧或切片中的相邻块中的参考样本的空间预测，或相对于其它参考帧中的参考样本的时间预测。空间或时间预测产生用于待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。
经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据而编码。经帧内译码块是根据帧内译码模式及残余数据来编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可对残余变换系数进行量化。可用特定次序扫描最初布置成二维阵列的经量化变换系数以产生变换系数的一维向量用于熵译码。
发明内容
一般来说，本发明描述用于译码视频数据的技术。明确地说，本发明描述用于视频译码的环路滤波技术。本发明的技术可应用于跨越块边界的环路滤波及/或部分环路滤波。环路滤波可包含例如自适应环路滤波(ALF)、样本自适应偏移(SAO)滤波及解块滤波中的一或多者。
在一个实例中，本发明描述一种视频译码方法，所述方法包括：根据可缩放视频译码过程译码视频数据块；以及基于所述可缩放视频译码过程的特性而限制环路滤波器到所述视频数据块的应用。
在另一实例中，本发明描述一种经配置以译码视频数据的设备，所述设备包括视频译码器，所述视频译码器经配置以根据可缩放视频译码过程译码视频数据块，且基于所述可缩放视频译码过程的特性而限制环路滤波器到所述视频数据块的应用。
在另一实例中，本发明描述一种经配置以译码视频数据的设备，所述设备包括：用于根据可缩放视频译码过程译码视频数据块的装置；以及用于基于所述可缩放视频译码过程的特性而限制环路滤波器到所述视频数据块的应用的装置。
在另一实例中，本发明描述一种存储指令的计算机可读存储媒体，所述指令在执行时致使经配置以译码视频数据的装置的一或多个处理器根据可缩放视频译码过程译码视频数据块，且基于所述可缩放视频译码过程的特性而限制环路滤波器到所述视频数据块的应用。
一或多个实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述及附图以及从权利要求书中显而易见。
附图说明
图1是说明实例视频编码及解码系统的框图。
图2是说明实例边缘偏移分类的概念图。
图3是说明实例能带偏移分类的概念图。
图4是展示用于自适应环路滤波器的基于区域的分类的概念图。
图5是展示用于自适应环路滤波器的基于块的分类的概念图。
图6A是展示具有填充像素的样本自适应偏移的概念图。
图6B是展示跳过样本自适应偏移过程的概念图。
图7是描绘在块边界处的环路滤波器的概念图。
图8是描绘在水平边界处的不对称部分滤波器的概念图。
图9是描绘在垂直边界处的不对称部分滤波器的概念图。
图10是描绘在水平边界处的对称部分滤波器的概念图。
图11是描绘在垂直边界处的对称部分滤波器的概念图。
图12是说明实例视频编码器的框图。
图13是说明实例视频解码器的框图。
图14是说明本发明的实例编码方法的流程图。
图15是说明本发明的实例解码方法的流程图。
具体实施方式
一般来说，本发明描述用于译码视频数据的技术。明确地说，本发明描述用于视频译码的环路滤波技术。
对于经配置以执行受约束帧内预测的视频译码器，可能不重构来自以非帧内模式(例如，帧间预测)译码的相邻块的像素。由此，来自相邻块的像素可能不可用于环路滤波器(例如，解块、样本自适应偏移(SAO)、自适应环路滤波器(ALF))中。鉴于受约束帧内预测的此特征，本发明呈现环路滤波技术，包含用于围绕经帧内预测块的边界的部分环路滤波技术。在一些实例中，本发明的环路滤波技术应用于受约束经帧内预测块(即，其中一些帧内预测技术受限及/或受约束的块)。本发明的技术可应用于任何环路滤波器，包含解块、ALF及SAO滤波器。在一个实例中，本发明提出用于根据可缩放视频译码过程(例如，可缩放高效率视频译码(SHEVC))来译码视频数据块的技术。本发明的技术包含基于可缩放视频译码过程的特性而限制环路滤波器到视频数据块的应用。
图1是说明根据本发明的实例的可经配置以在视频译码过程中利用环路滤波技术的实例视频编码及解码系统10的框图。如图1中所示，系统10包含经由通信信道16将经编码视频发射到目的地装置14的源装置12。经编码视频数据也可存储于存储媒体34或文件服务器36上，且在需要时可由目的地装置14存取。当存储到存储媒体或文件服务器时，视频编码器20可将经译码视频数据提供到另一装置，例如网络接口、压缩光盘(CD)、蓝光或数字视频光盘(DVD)烧录机或烫印设施装置，或用于将经译码视频数据存储到存储媒体的其它装置。同样，与视频解码器30分离的装置(例如网络接口、CD或DVD读取器，或其类似者)可从存储媒体检索经译码视频数据，且将所检索数据提供到视频解码器30。
源装置12及目的地装置14可包括任何广泛多种装置，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的智能电话)、电视、相机、显示装置、数字媒体播放器、视频游戏控制台等。在许多情况下，此类装置可经配备用于无线通信。因此，所述通信信道16可包括适合于发射经编码的视频数据的无线信道、有线信道或无线与有线信道的组合。类似地，文件服务器36可由目的地装置14通过任何标准数据连接(包含因特网连接)来存取。此可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。
根据本发明的实例的用于视频译码过程中的环路滤波技术可应用于支持任何多种多媒体应用的视频译码，所述多媒体应用例如是空中电视广播、有线电视发射、卫星电视发射、流视频发射(例如，经由因特网)，对用于存储于数据存储媒体上的数字视频编码，对存储于数据存储媒体上的数字视频的解码，其它应用。在一些实例中，所述系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频回放、视频广播及/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20、调制器/解调器22及发射器24。在源装置12中，视频源18可包含来源，例如视频俘获装置，例如摄像机，包含先前俘获的视频的视频存档，用于从视频内容提供者接收视频的视频馈入接口及/或用于产生计算机图形数据作为源视频的计算机图形系统，或此类来源的组合。作为一个实例，如果视频源18是摄像机，那么源装置12与目的地装置14可形成所谓的相机电话或视频电话。然而，本发明中描述的技术可大体适用于视频译码，且可应用于无线及/或有线应用或其中经编码的视频数据存储在本地磁盘上的应用。
可由视频编码器20来行编码所俘获、预俘获或计算机产生的视频。调制解调器22可根据例如无线通信协议等通信标准对经编码视频信息进行调制，且经由发射器24将经编码视频信息发射到目的地装置14。调制解调器22可包含各种混频器、滤波器、放大器或其它经设计用于信号调制的组件。发射器24可包含经设计以用于发射数据的电路，包含放大器、滤波器及一或多个天线。
被视频编码器20编码的俘获、预先俘获或计算机产生的视频还可存储到存储媒体34或文件服务器36上以用于以后消耗。存储媒体34可包含蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码视频的任何其它合适的数字存储媒体。目的地装置14可接着存取存储于存储媒体34上的经编码视频以用于解码及回放。
文件服务器36可为任何类型的能够存储经编码视频且将经编码视频发射到目的地装置14的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置、本机磁盘驱动器或任何其它类型的能够存储经编码的视频数据且将经编码的视频数据发射到目的地装置的装置。经编码的视频数据从文件服务器36的发射可能是流式发射、下载发射或两者的组合。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取文件服务器36。此可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器、以太网、USB等)或两者的组合。
在图1的实例中，目的地装置14包含接收器26、调制解调器28、视频解码器30及显示装置32。目的地装置14的接收器26经由信道16接收信息，且调制解调器28对所述信息进行解调以产生用于视频解码器30的经解调位流。经由信道16传送的信息可包含由视频编码器20产生用于视频解码器30在解码视频数据时使用的多种语法信息。此类语法还可包含在存储于存储媒体34或文件服务器36上的经编码的视频数据中。视频编码器20及视频解码器30中的每一者可形成能够编码或解码视频数据的相应编码器-解码器(编解码器)的部分。
显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
在图1的实例中，通信信道16可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线，或无线与有线媒体的任何组合。通信信道16可形成例如局域网、广域网或例如因特网等全球网络的基于包的网络的部分。通信信道16大体上表示用于将视频数据从源装置12发射到目的地装置14的任何合适的通信媒体或不同通信媒体的集合，包含有线或无线媒体的任何合适的组合。通信信道16可包含路由器、交换器、基站、或任何其它可用于促进从源装置12到目的地装置14的通信的设备。
尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频与视频两者的编码。在一些实例中，如果适用的话，多路复用器-多路分用器单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编解码器)的部分。
视频编码器20可实施用于在视频译码过程中进行环路滤波的本发明的技术中的任一者或所有。同样，视频解码器30可实施用于在视频译码过程中进行环路滤波的这些技术中的任一者或所有。如本发明中所描述，视频译码器可指视频编码器或视频解码器。类似地，视频译码单元可指视频编码器或视频解码器。在此上下文中，视频译码单元为物理硬件且不同于上文所论述的CU数据结构。同样，视频译码可指视频编码或视频解码。
视频编码器20及视频解码器30可根据视频压缩标准(例如目前正在开发的HEVC及/或SHEVC标准)来操作，且可符合HEVC测试模型(HM)。或者，视频编码器20及视频解码器30可根据其它专有或业界标准来操作，所述标准例如是ITU-T H.264标准，也被称为MPEG-4，第10部分，高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。其它实例包括MPEG-2及ITU-T H.263。
存在一种新的视频译码标准，即高效率视频译码(HEVC)，其正由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。称为“HEVC工作草案9”或“WD9”的HEVC标准的新近草案描述于布洛斯(Bross)等人的文档JCTVC-K1003_v9“高效率视频译码(HEVC)文本规格草案9(High efficiency video coding(HEVC)text specification draft 9)”(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第11次会议：中国上海，2012年10月10日到19日)中，其从2013年10月18日起可从以下链接下载：http://phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v9.zip。HEVC的更为新近草案描述于ITU-T H.265，系列H中：视听及多媒体系统(AUDIOVISUALAND MULTIMEDIA SYSTEMS)，移动视频视听服务译码基础结构(Infrastructure ofAudiovisual Services Coding of Moving Video)，“高效率视频译码”，2013年4月(下文中称“HEVC”)。HEVC以全文引用的方式并入本文中。已提出对HEVC的各种扩展。一个此类扩展为描述于“高效率视频译码(HEVC)范围扩展文字规范：草案4”(JCTVC-N1005_v1，2013年4月(下文中称“JCTVC-N1005”))中的HEVC范围扩展。标题为“高效率视频译码(HEVC)可缩放扩展草案3”的SHEVC的新近工作草案(WD)(ITU-T SG 16WP 3及ISO/IECJTC 1/SC 29/WG 11的视频译码联合合作小组(JCT-VC)，第14次会议，奥地利维也纳，2013年7月25日到8月2日，且在下文中称为SHEVC WD3)可得自http://phenix.it-sudparis.eu/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1008-v3.zip，其以全文引用的方式并入本文中。
数字视频装置实施视频压缩技术更高效地编码及解码数字视频信息。视频压缩可应用空间(帧内)预测及/或时间(帧间)预测技术来减少或去除视频序列中固有的冗余。
作为一个实例，对于根据HEVC的当前工作草案的视频译码，可将视频帧分割为译码单元。译码单元(CU)大体上是指充当对其应用各种译码工具以进行视频压缩的基本单元的图像区域。CU通常具有可标示为Y的明度分量及可标示为Cr及Cb的两个色度分量。取决于视频取样格式，依据样本数目来说的Cr及Cb分量的大小可与Y分量的大小相同或不同。CU通常为正方形的，且可被视为类似于例如在其它视频译码标准(例如，ITU-T H.264)下的所谓的宏块。
为实现较好的译码效率，译码单元可取决于视频内容而具有可变大小。另外，译码单元可分裂成较小块用于进行预测或变换。明确地说，每一译码单元可进一步分割成预测单元(PU)及变换单元(TU)。预测单元可认为是类似于根据例如H.264的其它视频译码标准的所谓的分区。变换单元(TU)是指残余数据块，变换被应用于所述残余数据块以产生变换系数。
在本申请案中出于说明的目的将描述根据正在开发的HEVC标准的目前所提议的方面中的一些方面的译码。然而，本发明中描述的技术可用于其它视频译码过程，例如根据H.264或其它标准定义的视频译码过程或专有视频译码过程。
HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的模型。所述HM假设视频译码装置优于根据例如ITU-T H.264/AVC的装置的若干能力。举例来说，尽管H.264提供9个帧内预测编码模式，但HM提供多达三十五个帧内预测编码模式。
根据HM，CU可包含一或多个预测单元(PU)及/或一或多个变换单元(TU)。位流内的语法数据可定义最大译码单元(LCU)，其为在像素数目方面的最大CU。一般来说，除了CU并不具有大小区别以外，CU具有类似于H.264的宏块的目的。因此，一个CU可分裂成若干子CU。一般来说，本发明中提到CU可指图片的最大译码单元或LCU的子CU。LCU可分裂成数个子CU，且每一子CU可进一步分裂成数个子CU。位流的语法数据可定义LCU可分裂的最大次数，这被被称作CU深度。因此，位流还可定义最小译码单元(SCU)。本发明还使用术语“块”、“分区”或“部分”来指CU、PU或TU中的任一者。一般来说，“部分”可指视频帧的任何子组。
LCU可与四叉树数据结构相关联。一般来说，四叉树数据结构包含每个CU一个节点，其中根节点对应于LCU。如果CU分裂成4个子CU，那么对应于CU的节点包含四个叶节点，其中页节点中的每一者对应于所述子CU中的一者。四叉树数据结构的每一节点可提供对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，指示对应于所述节点的所述CU是否分裂成子CU。用于CU的语法元素可递归地来定义，且可取决于CU是否分裂成数个子CU。如果CU未经进一步分裂，那么将其称作叶CU。
此外，叶CU的TU还可与相应四叉树数据结构相关联。即，叶CU可包含指示叶CU如何分割成TU的四叉树。本发明将指示LCU如何分割的四叉树称作CU四叉树且将指示叶CU如何分割成TU的四叉树称作TU四叉树。TU四叉树的根节点一般对应于叶CU，而CU四叉树的根节点一般对应于LCU。TU四叉树的未分裂的TU被称作叶TU。
叶CU可包含一或多个预测单元(PU)。一般来说，PU表示相对应的CU的全部或一部分，且可包含用于检索PU的参考样本的数据。举例来说，在对PU进行帧间模式编码时，PU可包含定义PU的运动向量的数据。举例来说，定义运动向量的数据可描述运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考帧及/或运动向量的参考列表(例如，列表0或列表1)。定义PU的叶CU的数据还可描述例如CU到一或多个PU的分隔。分割模式可取决于CU未经预测性译码、经帧内预测模式编码还是经帧间预测模式编码而有所不同。对于帧内译码，可将PU视为与下文所描述的叶变换单元相同。
为译码一块(例如，视频数据的预测单元(PU))，首先导出用于所述块的预测值。可经由帧内(I)预测(即空间预测)或帧间(P或B)预测(即，时间预测)来导出预测值。因此，一些预测单元可使用相对于相同帧中的相邻参考块的空间预测来进行帧内译码(I)，且其它预测单元可相对于其它帧中的参考块进行帧间译码(P或B)。用于预测的参考块可包含在所谓的整数像素位置的作为参考样本的实际像素值或通过在分数像素位置内插而产生的作为参考样本的合成像素值。
在识别出预测值之后，即刻计算原始视频数据块与其预测值之间的差。此差也称为预测残差，且是指待译码块的像素与参考块的对应参考样本(其可为整数精度像素或经内插分数精度像素，如上文所提及)(即，预测值)之间的像素差。为实现更好的压缩，预测残差(即，像素差值阵列)通常从像素(即，空间)域变换到变换域，例如使用离散余弦变换(DCT)、整数变换、卡亨南-洛维(Karhunen-Loeve，K-L)变换或其它变换。变换域可为例如频域。
使用帧间预测来译码PU涉及计算当前块与参考帧中的块之间的运动向量。经由被称作运动估计(或运动搜索)的过程计算运动向量。举例来说，运动向量可指示当前帧中的预测单元相对于参考帧的参考样本位移。参考样本可为发现接近匹配CU的包含PU的部分的块(其依据像素差进行译码)，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异量度来确定。参考样本可出现在参考帧或参考切片内的任何地方。在一些实例中，参考样本可完全或部分地经内插且出现于分数像素位置处。在发现最佳地匹配当前部分的参考帧的一部分后，编码器即刻将当前部分的当前运动向量确定为从当前部分到参考帧中的匹配部分(例如，从当前部分的中心到匹配部分的中心)的位置的差。
在一些实例中，编码器可在经编码视频位流中用信号表示每一部分的运动向量。用信号表示的运动向量由解码器使用以执行运动补偿以便解码视频数据。然而，直接用信号表示原始运动向量可导致效率不高的译码，因为通常需要大量位来传达信息。
一旦执行了运动估计以确定当前部分的运动向量，编码器就比较参考帧中的匹配部分与当前部分。此比较通常涉及从当前部分减去参考帧中的所述部分(其通常被称为“参考样本”)且导致所谓的残余数据，如上文所提及。残余数据指示当前部分与参考样本之间的像素差值。编码器接着将此残余数据从空间域变换到例如频域等变换域。通常，编码器将离散余弦变换(DCT)应用于残余数据以实现此变换。编码器执行此变换以便促进残余数据的压缩，因为所得变换系数表示不同频率，其中大部分能量通常集中在几个低频系数上。
通常，所得变换系数以实现熵译码的方式分组在一起，尤其是在首先对变换系数进行量化(四舍五入)的情况下。编码器接着执行统计无损(或所谓的“熵”)编码以进一步压缩经运行长度译码的经量化变换系数。在执行无损熵译码之后，编码器产生包含经编码视频数据的位流。
视频编码过程还可包含所谓的“重构环路”，借此经编码视频块经解码且存储于参考帧缓冲器中供用作用于随后译码的视频块的参考帧。参考帧缓冲器还称为经解码图片缓冲器或DPB。经重构视频块常常在存储于参考帧缓冲器中之前被滤波。滤波通常用以例如减少成块效应(blockiness)或基于块的视频译码所常见的其它假影。滤波器系数(有时称为滤波器抽头)可经定义或选择以便促进可减少成块效应的所要等级的视频块滤波及/或以其它方式改进视频质量。举例来说，一组滤波器系数可定义如何沿视频块的边缘或视频块内的其它位置应用滤波。不同滤波器系数可引起关于视频块的不同像素的不同等级的滤波。举例来说，滤波可平滑化或锐化邻近像素值的强度差异，以便帮助消除不想要的假影。
作为一个实例，解块滤波器可用以改进经译码视频数据块之间的外观(例如，使边缘平滑)。另一实例滤波器为样本自适应偏移(SAO)滤波器，其用以将偏移添加到经重构像素块以改进图像质量及译码效率。在一个HEVC提议中用于重构环路的另一类型的滤波器为自适应环路滤波器(ALF)。通常在解块滤波器之后执行ALF。ALF恢复由于视频译码压缩过程而降级的像素保真度。ALF试图最小化源帧中的初始像素值与经重构帧的像素值之间的均方误差。还可以与在编码过程期间应用的相同方式在视频解码器的输出处应用ALF。用于重构环路中的任何滤波器可统称为“环路滤波器”。环路滤波器可包含一或多个解块滤波、SAO滤波器及ALF。此外，供用于重构环路中的其它类型的滤波器也是可能的。
在HEVC的新兴可缩放扩展(SHEVC)中，上述HEVC技术还可用以译码两个或两个以上“层”。在SHEVC中，基础层及一或多个增强层可以如下方式译码：使得基础层独立于一或多个增强层而译码。在基础层中译码的视频提供第一(或基础)等级的视频分辨率。额外增强层还可以如下方式译码：当添加到基础层的输出时，可产生较高分辨率视频。SHEVC尤其可适用于其中较低等级的带宽可用于发射视频的情形。在一些情况下，可能仅能够发射基础层。当额外带宽可用时，还可发射一或多个增强层。以此方式，可通过暂时降低视频的质量来维持流式传输视频连接性。
在HEVC的一些提议中，使用解块(DB)及样本自适应偏移(SAO)滤波器。在SHEVC的一些提议中，DB及SAO用于基础层中，而DB、SAO及自适应环路滤波器(ALF)考虑用于增强层中。此外，SAO及ALF考虑用于层间预测路径(即，在两层之间执行的帧间预测)中。
在HEVC及SHEVC的一些实例SAO实施方案中，分区(其由一组LCU组成)可具有三个像素分类中的一者：无偏移、基于边缘分类的类型及基于能带分类的偏移类型。另外，基于边缘分类的类型包含四个边缘偏移分类：一维(1D)0度边缘(也称为分类零SAO边缘偏移或SAO_EO_0)、1D 90度边缘(也称为分类一SAO边缘偏移或SAO_EO_1)、1D 135度边缘(也称为分类二SAO边缘偏移或SAO_EO_2)，及1D 45度边缘(也称为分类三SAO边缘偏移或SAO_EO_3)。基于能带分类的偏移类型包含两个能带偏移类型分类：中心能带及旁侧能带。
基于边缘分类的类型SAO技术基于边缘信息对分区内的每一像素进行分类。图2是展示四个可能边缘偏移分类的概念图。JCT-VC E049(“CE13：具有独立于LCU的解码的样本自适应偏移(CE13:Sample adaptive offset with LCU-independent decoding)”，Fu等人，ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第5次会议，瑞士日内瓦，2011年3月16日到23日)描述边缘分类技术的一个实例，所述边缘分类技术包含上文所描述的四个边缘偏移类型分类。对于图2中所示的给定边缘分类中的每一者，通过将当前像素(C)的值与相邻像素(1及2)的值进行比较来计算当前像素的边缘类型。在一些实例中，像素值可为包含256个可能值的8位字符串或包含1024个可能值的10位字符串。对于SAO_EO_0(0度)，将当前像素与左方及右方相邻像素进行比较。对于SAO_EO_1(90度)，将当前像素与上部及下部相邻像素进行比较。对于SAO_EO_2(135度)，将当前像素与左上方及右下方相邻像素进行比较。对于SAO_EO_3(45度)，将当前像素与左下方及右上方相邻像素进行比较。
最初，假设当前像素的边缘类型是零。如果当前像素C的值等于左方及右方相邻像素(1及2)的值，那么边缘类型保持于零。如果当前像素C的值比相邻像素的值大1，那么边缘类型增加一。如果当前像素C的值比相邻像素的值小1，那么边缘类型减小一。同样，如果当前像素C的值比相邻像素的值小2，那么边缘类型增加一，且如果当前像素C的值比相邻像素的值小2，那么边缘类型减小1。
由此，当前像素C可具有为-2、-1、0、1或2的边缘类型，其中(1)如果当前像素C的值小于相邻像素1及2的值两者，那么边缘类型为-2；(2)如果当前像素C的值小于一个相邻像素但等于另一相邻像素，那么边缘类型为-1；(3)如果当前像素C的值与两个相邻像素都相同，或如果当前像素C的值大于一个相邻像素但小于另一相邻像素，那么边缘类型为0；(4)如果当前像素C的值大于一个相邻像素但等于另一相邻像素，那么边缘类型为1；且(5)如果当前像素C的值大于相邻像素1及2的值两者，那么边缘类型为2。应注意，当相邻像素1及2中的一者不可用(即，当前像素C位于帧或分区的边缘处)时，可定义默认边缘类型。
鉴于以上描述，对于每一边缘偏移分类，可使用以下等式计算边缘类型值：
边缘类型＝0；
如果(C>像素1)边缘类型＝边缘类型+1；
如果(C<像素1)边缘类型＝边缘类型-1；
如果(C>像素2)边缘类型＝边缘类型+1；
如果(C<像素2)边缘类型＝边缘类型-1；
一旦确定了当前像素的边缘类型，即可确定当前像素的偏移值。偏移值是基于初始视频帧与经重构视频帧之间的差。在一个实例中，每一非零边缘类型值(即，-2、-1、1及2)具有通过取属于分区中的每一类别的初始与经重构像素的值之间的差的平均值而计算的一个偏移值。四个偏移值可标示为eoffset-2、eoffset-1、eoffset1及eoffset2。因为eoffset-2、eoffset-1、eoffset1及eoffset2是基于在视频解码器处不可用的初始视频帧，因此视频解码器包含不依赖于初始视频帧导出四个偏移值的机制。
基于能带分类的偏移类型分类基于像素的强度将其分类成不同能带。如上文所描述，基于能带分类的偏移类型分类可包含两个能带偏移类型分类：中心能带及旁侧能带。图3是展示包含中心能带及旁侧能带的实例基于能带分类的偏移类型分类的概念图。如图3中所展示，像素强度0到MAX中的每一者可分类成32个能带中的一者。在一个实例中，像素可具有8位强度值，且MAX可等于255。在图3的实例中，中心中的16个能带分类成第一群组，且其余旁侧能带分类成第二群组。以类似于边缘类型偏移分类的方式，一旦确定了当前像素的能带类型，即可基于初始视频帧与经重构视频帧之间的差确定当前像素的偏移值。在一个实例中，每一能带类型值(即，0到31)具有通过取属于分区中的每一能带类型类别的初始与经重构像素的值之间的差的平均值而计算的一个偏移值。因此，对于每一能带群组(即，第一群组及第二群组)，确定16个偏移值。用于每一群组的16个偏移值可标示为boffset0，…，boffset15。如同eoffset-2、eoffset-1、eoffset1及eoffset2，boffset0，...，boffset15中的每一者是基于初始视频帧，且视频解码器包含用以导出所述16个偏移值的机制。
通常，经编码视频位流包含指示用于视频帧的每一分区的六个像素分类类型中的一者及对应偏移组(即，eoffset-2，...，eoffset2及boffset0，...，boffset15)的信息。在一些情况下，一组偏移值中的每一偏移值使用带正负号一元译码逐分区地进行独立译码。使用带正负号一元译码对偏移值进行独立译码未能利用一组偏移值内的偏移值之间或相邻分区(或来自先前帧的分区)的偏移值之间的可能相关。因此，使用带正负号一元译码对偏移值进行独立译码可能不提供最高效的位率。
另外，可结合额外滤波技术执行SAO技术。额外滤波技术可包含例如韦纳(Weiner)滤波技术。类似于用于SAO技术的偏移值的计算，额外滤波技术可基于初始帧与经重构帧之间的差计算滤波器系数。举例来说，可基于初始图片与经重构图片之间的差确定用于韦纳滤波器的滤波器系数。如同偏移值，所计算的系数还可包含在位流中以供视频解码器使用。
在针对HEVC及SHEVC提出的一个实例中，通过对视频块的分区内的当前及相邻像素的经调整值求和来导出经滤波像素值，其中当前及相邻像素的值是通过将所计算的AC系数相乘且将DC系数相加到当前及相邻像素而调整。可通过将求和结果除以包含在分区中的像素的总数目来进一步归一化所述求和值。以下等式提供用于使用AC及DC系数计算经滤波像素的实例等式，其中像素包含在大小l乘m的分区中且bit_shift为归一化因子：
经滤波像素(x,y)＝(suml,m(经预滤波像素(x+l,y+m)*AC系数(l,m))+DC系数)>>bit_shift。
在针对HEVC及SHEVC的一个ALF提议中，提出两个调适模式(即，块及区域调适模式)。对于区域自适应模式，帧划分成16个区域，且每一区域可具有一组线性滤波器系数(多个AC系数及一个DC系数)，且一个区域可与其它区域共享相同滤波器系数。图4是展示用于自适应环路滤波器的基于区域的分类的概念图。如图4中所示，帧120划分成16个区域，且每一区域可包含多个CU。这16个区域中的每一者由指示所述区域使用的特定组线性滤波器系数的编号(0到15)表示。编号(0到15)可为对存储在视频编码器及视频解码器两者处的一组预定滤波器系数的索引号。在一个实例中，视频编码器可在经编码视频位流用信号表示视频编码器针对特定区域所使用的滤波器系数组的索引号。基于用信号表示的索引，视频解码器可检索相同组预定滤波器系数以在对所述区域的解码过程中使用。在其它实例中，针对每一区域明确地用信号表示滤波器系数。
对于基于块的分类模式，帧划分成4×4块，且每一4×4块通过使用方向及活动性信息计算量度而导出一个类别。对于每一类别，可使用一组线性滤波器系数(多个AC系数及一个DC系数)，且一个类别可与其它类别共享相同滤波器系数。图5是展示用于自适应环路滤波器的基于块的分类的概念图。
下文展示方向及活动性的计算及基于方向及活动性的所得量度：
■方向
■Ver_act(i,j)＝abs(X(i,j)<<1-X(i,j-1)-X(i,j+1))
■Hor_act(i,j)＝abs(X(i,j)<<1-X(i-1,j)-X(i+1,j))
■HB＝∑i＝0,2∑j＝0,2H(i,j)
■VB＝∑i＝0,2∑j＝0,2V(i,j)
■方向＝0,1(H>2V),2(V>2H)
■活动性
■LB＝HB+VB
■5个种类(0,1,2,3,4)
■量度
■活动性+5*方向
Hor_act(i,j)一般指代当前像素(i,j)的水平活动性，且Vert_act(i,j)一般指代当前像素(i,j)的垂直活动性。X(i,j)一般指代像素(i,j)的像素值，其中i及j指示当前像素的水平及垂直坐标。在此上下文中，活动性一般是在某位置的像素之间的梯度或变化。
HB指代4×4块的水平活动性，其在此实例中是基于像素(0,0)、(0,2)、(2,0)及(2,2)的水平活动性的总和来确定。VB指代4×4块的垂直活动性，其在此实例中是基于像素(0,0)、(0,2)、(2,0)及(2,2)的垂直活动性的总和来确定。“<<1”表示乘以二操作。基于HB及VB的值，可确定方向。
作为一个实例，如果HB的值大于VB的值的2倍，那么可将方向确定为方向1(即，水平)，其可能对应于比垂直活动性更大的水平活动性。如果VB的值大于HB的值的2倍，那么可将所述方向确定为方向2(即，垂直)，其可能对应于比水平活动性更大的垂直活动性。否则，可将所述方向确定为方向0(即，没有方向)，从而意味着水平或垂直活动性都不占优势。用于各个方向的标记以及用于确定方向的比率仅构成一个实例，因为还可使用其它标记及比率。
可将4×4块的活动性(LB)确定为水平活动性与垂直活动性的总和。LB的值可分类成范围。此特定实例展示五个范围，但可类似地使用更多或更少的范围。基于活动性与方向的组合，可选择用于4×4像素块的滤波器。作为一个实例，可基于活动性及方向到滤波器的二维映射来选择滤波器，或活动性与方向可组合成单个量度，且所述单个量度可用以选择滤波器(例如，量度＝活动性+5*方向)。
返回到图5，块140表示4×4像素块。在此实例中，对于基于块的ALF，十六个像素中的仅四个用以计算活动性及方向量度。所述四个像素为标记为像素141的像素(0,0)、标记为像素142的像素(2,0)、标记为像素143的像素(0,2)及标记为像素144的像素(2,2)。基于左方相邻像素及右方相邻像素确定例如像素141的水平活动性(即，hor_act(0,0))。右方相邻像素标记为像素145。左方相邻像素位于与4×4块不同的块中且在图5中未展示。基于上部相邻像素及下部相邻像素确定例如像素142的垂直活动性(即，ver_act(2,0))。下部相邻像素标记为像素146，且上部相邻像素位于与4×4块不同的块中且在图5中未展示。可以类似方式计算像素143及144的水平及垂直活动性。
当执行SHEVC的单环路解码时，层间块预测(IntraBL)使用来自块类型为帧内(即，块经帧内预测)的基础层的经重构像素。在用于SHEVC的一个提议中，对此类基础层块执行的帧内预测始终为受约束帧内预测。受约束帧内预测为HEVC中的无弹性特征。认为任何经帧间预测块内部的相邻参考样本不可用，以便避免使潜在地损坏的先前经解码图片数据将误差传播到预测信号中。由此，在受约束帧内预测中，当对当前块执行帧内预测时，经帧间预测的相邻块不允许用作预测值。此约束允许目标层中的仅一个运动补偿。
为此目的，先前可缩放视频译码(SVC)技术(例如，H.264/AVC的可缩放视频扩展)对于解块操作使用特殊处理。不允许基础层的帧间与帧内块之间的解块，因为允许帧间与帧内块之间的解块需要重构相邻帧间块(即，在H.264-AVC/SVC中，如果interLayerDeblockingFlag等于1且mbType[mbAddrP]为帧间宏块预测模式，那么解块强度设定为0)。
现在，在SHEVC中，存在例如SAO及ALF等其它环路滤波器，其可得益于将那些滤波器应用于基础层中的受约束帧内块时的特殊处置。而且，当环路滤波器用于层间预测(例如，层间SAO及ALF)时，可能出现相同问题。
鉴于这些潜在缺点，本发明呈现环路滤波技术，包含围绕经帧内预测块的边界的部分环路滤波技术。在一些实例中，本发明的环路滤波技术应用于受约束经帧内预测块(即，其中一些帧内预测技术受限及/或受约束的块)。本发明的技术可应用于任何环路滤波器，包含解块、ALF及SAO滤波器。在一个实例中，本发明提出用于根据可缩放视频译码过程(例如，SHEVC)译码视频数据块的技术。本发明的技术包含基于可缩放视频译码过程的特性而限制环路滤波器到视频数据块的应用。
在此上下文中，限制环路滤波器的应用涉及执行环路滤波过程，其相对于在HEVC及SHEVC提议中指定的环路滤波器过程一定程度上不同或受限。下文描述的限制环路滤波器的应用的实例可包含以下限制：将何像素用作到滤波器过程的输入，实际上对何像素进行滤波，及基于可缩放视频译码过程的特定特性(例如，SHEVC的特性)而根本不执行滤波。可用以确定如何限制环路滤波过程的实例特性可包含受约束帧内译码的使用或未使用、层间预测的使用及待滤波块是否处于基础或增强层中。
接下来的部分将论述本发明的用于在基础层中进行SAO译码的技术。在本发明的一个实例中，当确定是否在基础层的受约束帧内块的边界处应用SAO滤波时，提供若干解决方案以帮助使用来自非帧内相邻块的像素。如上文所描述，因为在对于视频数据块使用受约束帧内预测使可能不能重构非帧内相邻块，因此用于非帧内相邻块的像素可能不可用于包含SAO滤波的环路滤波过程中。明确地说，来自相邻块的像素可能不可用以对于SAO进行边缘偏移或能带偏移确定。
在本发明的一个实例中，对于在受约束帧内块上的基础层中的SAO译码，并非使用非帧内相邻块的像素来应用SAO，而替代地使用填充像素。即，并非使用来自非帧内相邻块的像素来进行边缘偏移类型以及待使用的偏移的确定，代替相邻非帧内块所需要的任何不可用像素而重用(即，填充)来自受约束帧内块的像素。接着，可正常地确定边缘偏移类型以及偏移值本身，如以上参考图2所概述。图6A展示其中像素(像素P)因为位于非帧内相邻块中而不可用的边缘偏移类型零(SAO_EO_0)分类的实例。在图6A的实例中，代替不可用像素而使用填充像素。注意，类似技术可应用于其它边缘偏移类型。
在本发明的另一实例中，对于在受约束帧内块上的基础层中的SAO译码，在相邻块不是经帧内译码的情况下跳过对于边界像素的SAO译码。即，在其中需要来自不可用非帧内相邻块的像素来进行边缘偏移类型确定及/或需要所述像素来确定偏移值本身的情形中，对于在受约束帧内块的边界处的像素不应用SAO滤波。图6B展示其中像素(像素X)由于位于非帧内相邻块中而不可用的边缘偏移类型零(SAO_EO_0)分类的实例。在图6B的实例中，对于像素C跳过SAO。注意，类似技术可应用于其它边缘偏移类型。在一个实例中，可对于整个块跳过SAO译码，其中所述块中的一个像素使用来自非帧内相邻块的像素来进行边缘偏移类型确定。在另一实例中，如下文将论述，可仅对于使用来自非帧内相邻块的像素的像素跳过SAO译码。
在受约束帧内块上的基础层中的SAO译码的另一实例中，可取决于边界像素上的sao_type而选择性地跳过SAO译码。举例来说，当使用能带偏移(BO)时，不跳过任何像素，因为BO仅需要当前像素(即，经帧内译码块中的像素)用于分类。如果使用边缘偏移(EO)，那么仅在需要存取属于相邻帧间块(即，未经帧内译码的相邻块，如图6B中所示)的像素的像素位置上跳过SAO。
在本发明的另一实例中，对于在受约束帧内块上的基础层中的SAO译码，对于基础层的所有受约束帧内块，跳过SAO译码或将SAO类型设定为零(意味着不应用SAO)，而不管是否需要来自相邻块的像素来进行边缘偏移类型确定。在本发明的另一实例中，对于在受约束帧内块上的基础层中的SAO译码，当相邻块中的至少一者不是经帧内译码时，跳过SAO译码或将SAO类型设定为零(意味着不应用SAO)。
在本发明的另一实例中，对于在受约束帧内块上的基础层中的SAO译码，可经由编码器限制及强加位流约束(其中位流不应含有需要非帧内像素用于SAO过程(明确地说，用于像素分类)的SAO类型)来实现在SAO过程中避免使用非帧内像素(例如，来自相邻经帧间预测块的像素)。即，并非需要视频解码器30来进行是否将SAO应用于特定块的确定，视频编码器20可经配置而使得其不用信号表示在受约束帧内块的边界处可能需要特殊处置的SAO类型(例如，边缘偏移类型)。
除了上文所提及的用于基础层中的SAO译码的所有解决方案之外，视频编码器20可经配置以在经编码视频位流中用信号表示旗标(flag1)以指示限制SAO应用于基础层中的帧内像素。
本发明的接下来的部分将论述用于层间预测的SAO译码。在本发明的一个实例中，对于层间预测中的SAO译码，并非使用非帧内相邻块的像素来应用SAO(例如，用于确定SAO边缘偏移类型)，而替代地使用填充像素。可使用与上文参考图6A所描述的相同的技术。在一个实例中，可对于整个块跳过SAO译码，其中所述块中的一个像素使用来自非帧内相邻块的像素进行边缘偏移类型确定。在另一实例中，如下文将论述，可仅对于使用来自非帧内相邻块的像素的像素跳过SAO译码。
在本发明的另一实例中，对于层间预测中的SAO译码，用于其中相邻块不是经帧内译码的边界像素跳过SAO译码。可使用与上文参考图6B所描述的相同的技术。
在本发明的另一实例中，对于层间预测中的SAO译码，在相邻块不是经帧内译码的情况下取决于边界像素的sao_type而选择性地跳过SAO译码。举例来说，当使用能带偏移(BO)时，不跳过任何像素，因为BO仅需要当前像素用于分类。如果使用边缘偏移(EO)，那么仅在需要存取属于帧间块的像素的像素位置上跳过SAO。在层间预测中的SAO译码的另一实例中，对于基础层的受约束帧内块，跳过SAO译码或将SAO类型设定为零(意味着不应用SAO)。
在层间预测中的SAO译码的另一实例中，当相邻块中的至少一者不是经帧内译码时，对于基础层的受约束帧内块，跳过SAO译码或将SAO类型设定为零(意味着不应用SAO)。
在层间预测中的SAO译码的另一实例中，可经由编码器限制及强加位流约束(其中位流不应含有需要非帧内像素用于SAO过程(明确地说，用于像素分类)的SAO类型)来实现在SAO过程中避免使用非帧内像素。
除了上文所提及的所有解决方案之外，视频编码器可用信号表示且视频解码器可在经编码视频位流中接收旗标(flag2)以指示限制将SAO应用于基础层中的帧内像素。
接下来的部分将论述用于层间预测的ALF译码。当层间ALF用于受约束帧内块的边界中时，存在防止使用来自非帧内相邻块的像素的若干可能解决方案。如上文所论述，对于受约束帧内块/帧，来自非帧内相邻块的像素可能不经重构，且因此可能不可用于ALF。
在层间预测中的ALF译码的一个实例中，并非使用非帧内相邻块的像素来应用ALF，而替代地使用填充像素。在层间预测中的ALF译码的另一实例中，在其中相邻块不是经帧内译码的边界像素上跳过ALF译码。类似于以上关于图6A及6B的实例，如果用于ALF的滤波器掩码扩展到相邻非帧内块中的像素，那么可跳过对于此类边界像素的ALF滤波，或可使用填充数据。在层间预测中的ALF译码的另一实例中，对于基础层的受约束帧内块跳过ALF译码。在层间预测中的ALF译码的另一实例中，当相邻块中的至少一者不是经帧内译码时，对于基础层的受约束帧内块跳过ALF译码。
由此，在一个实例中，可对于整个块跳过ALF译码，其中所述块中的一个像素使用来自非帧内相邻块的像素来进行边缘偏移类型确定。在另一实例中，可仅对于使用来自非帧内相邻块的像素的像素跳过ALF译码。
在层间预测中的ALF译码的另一实例中，使用部分ALF滤波。在部分ALF滤波中，仅使用可用像素用于滤波器(即，不使用对应像素不可用的滤波器抽头)。部分滤波可为对称或不对称的。下文参考图7到11更详细地论述对称及不对称部分滤波。
图7是描绘在块边界处的ALF的概念图。水平块边界201描绘为水平线，且垂直块边界202描绘为垂直线。图7中的滤波器掩码200的经填充圆(即，点)表示滤波器的系数(即，权重)，其应用于切片及/或瓦片(tile)中的经重构视频块的像素。即，滤波器的系数值可应用于对应像素的值，使得对应的值乘以系数值以产生加权像素值。像素值可包含明度值及一或多个色度值。假定滤波器的中心定位于待滤波像素的位置处(或紧密接近)，可称滤波器系数对应于与系数的位置共置的像素。对应于滤波器的系数的像素还可称作“支持像素”或统称为用于所述滤波器的“支持组”。通过将滤波器掩码200中的每一系数乘以其对应像素的值且对每一所得值求和来计算当前像素203的经滤波值(对应于中心像素掩码系数C0)。
在本发明中，术语“滤波器”一般是指一组滤波器系数。举例来说，3×3滤波器可通过一组9个滤波器系数来定义，5×5滤波器可通过一组25个滤波器系数来定义，9×5滤波器可通过一组45个滤波器系数来定义，依此类推。图7中所示的滤波器掩码200为在水平方向上具有7个滤波器系数且在垂直方向上具有5个滤波器系数的7×5滤波器(对于每一方向计数中心滤波器系数)。然而，任何数目的滤波器系数可适用于本发明的技术。术语“滤波器组”一般是指一个以上滤波器的群组。举例来说，一组两个3×3滤波器可包括第一组9个滤波器系数及第二组9个滤波器系数。术语“形状”(有时称为“滤波器支持”)一般是指特定滤波器的滤波器系数行的数目及滤波器系数列的数目。举例来说，9×9为第一形状的实例，7×5为第二形状的实例，且5×9为第三形状的实例。在一些情况下，滤波器可采用非矩形形状，包含菱形形状、类菱形形状、圆形形状、类圆形形状、六边形形状、八边形形状、十字形状、X形状、T形状、其它几何形状，或众多其它形状或配置。图7中的实例为十字形状；然而，可使用其它形状。在最常见情况中，不管滤波器的形状是什么，滤波器掩码中的中心像素都是被滤波的像素。在其它实例中，滤波器像素从滤波器掩码的中心偏移。
根据上文所论述的实例，可跨越块边界停用或限制ALF。在一个实例中，本发明提出围绕块边界使用部分滤波器。部分滤波器为不使用通常用于滤波过程的一或多个滤波器系数的滤波器。在一个实例中，本发明提出使用部分滤波器，其中至少不使用对应于在块边界的另一侧上的像素的滤波器系数。因此，在一些实例中，不需要提供用于在块边界的另一侧上的像素的填充数据。而是，部分滤波器可经配置以省略在块边界的另一侧上的像素。
在一个实例中，在块边界附近使用不对称部分滤波器。图8是描绘在水平边界处的不对称部分滤波器的概念图。图9是描绘在垂直边界处的不对称部分滤波器的概念图。在此方法中，如图9及10中所示，仅可用像素(即，当前块内的像素)用于滤波。跳过在块边界之外的滤波器抽头。图8及图9中的滤波器称为不对称是因为在滤波器掩码的中心的一侧(水平或垂直侧)上使用的滤波器抽头比另一侧多。因为不使用整个滤波器掩码，因此滤波器系数可重新归一化以产生所需结果。下文将更详细地论述重新归一化技术。
在图8的情况1中，滤波器掩码220的中心221为离开水平块边界的一行像素。因为滤波器掩码220为7×5滤波器，因此在垂直方向上的一个滤波器系数对应于在水平边界上方的像素。此滤波器系数描绘为白色，即描绘为未填充圆。对应于白色滤波器系数的像素不可用于滤波。由此，不使用对应于那一像素的滤波器系数。同样，在情况2中，滤波器掩码225的中心222在邻近于水平块边界的一行像素上。在此情况下，两个滤波器系数对应于在水平边界上方的像素。由此，滤波器掩码225中的两个白色滤波器系数都不用于ALF。在情况1及情况2两者中，使用所有黑色(即，经填充圆)滤波器系数。应注意，根据本发明，对像素值进行滤波可包含对像素值的明度分量进行滤波、对像素值的色度分量进行滤波或对像素值的明度及色度分量两者进行滤波。
在图9的情况3中，滤波器掩码234的中心235为离开垂直瓦片边界的两列像素。因为滤波器掩码234为7×5滤波器，因此在水平方向上的一个滤波器系数对应于在垂直边界上方的像素。再次，此滤波器系数描绘为白色。对应于白色滤波器系数的像素不可用于滤波。由此，不使用对应于那一像素的滤波器系数。类似地，在情况4中，滤波器掩码232的中心233为离开垂直块边界的一列像素。在此情况下，两个滤波器系数对应于在垂直边界上方的像素。由此，滤波器掩码232中的两个白色滤波器系数都不用于ALF。在情况5中，滤波器掩码230的中心231在邻近于垂直边界的一列像素上。在此情况下，三个滤波器系数对应于在垂直边界上方的像素。由此，滤波器掩码230中的三个白色滤波器系数都不用于ALF。在所有情况1、2或3中，使用所有黑色滤波器系数。
在另一实例中，在块边界附近使用对称部分滤波器。图10是描绘在水平边界处的对称部分滤波器的概念图。图11是描绘在垂直边界处的对称部分滤波器的概念图。如同不对称部分滤波器，在此方法中，仅可用像素用于滤波。即，跳过在块边界之外的滤波器抽头。而且，也不使用滤波器掩码的在当前切片或瓦片内的一些系数，以便保持对称滤波器掩码。
举例来说，在图10的情况6中，滤波器掩码240中的一个滤波器系数在水平块边界之外。也不使用在滤波器掩码的另一侧上的在水平边界内的对应滤波器系数。以此方式，保留在垂直方向上围绕中心系数241的对称系数布置。在图10的情况7中，滤波器掩码242中的两个滤波器系数跨越水平边界。也不使用在中心滤波器系数243的另一侧上的在水平边界内的对应两个滤波器系数。针对垂直瓦片边界的类似实例展示于图11中。在情况8中，一个滤波器系数对应于跨越垂直块边界的像素。不使用此系数以及在滤波器掩码250的水平部分的左侧的另一像素以维持围绕中心系数251的对称性。在其中两个(情况9)及三个(情况10)滤波器系数对应于跨越垂直边界的像素的情况下，对滤波器掩码252与254进行类似的滤波器掩码调整。情况9及10中分别展示围绕中心系数253及255维持对称性。
如同图8及图9中所示的不对称部分滤波器，整个滤波器掩码不用于对称部分滤波器。因此，滤波器系数可重新归一化。下文将更详细地论述重新归一化技术。
重申，对于图8到12中所示的滤波器掩码中的每一者，通过将滤波器系数(由掩码中的涂黑圆表示)乘以相关联像素值且接着将相乘值相加在一起来计算对应于滤波器掩码中心的像素的经滤波值。
可以不同方式实现用于对称与不对称部分滤波器的滤波器系数的重新归一化。一般来说，重新归一化过程重新计算部分滤波器掩码中的剩余滤波器系数的值，使得剩余滤波器系数的总值等于初始滤波器系数的总值。常常，此总值为1。考虑其中初始滤波器系数标记为C_1，...，C_N的实例，其中C为特定系数的值。现在假定C_1，...，C_M系数并不具有可用对应像素(即，对应像素跨越切片或瓦片边界)。可如下定义重新归一化的滤波器系数：
实例1
Coeff_all＝C_1+C_2+…+C_N
Coeff_part＝Coeff_all-(C_1+…+C_M)
New_coeffs C_i'＝C_i*Coeff_all/Coeff_part,i＝M+1,…,N
在实例1中，Coeff_all表示滤波器掩码中的求和在一起的所有系数的值。Coeff_part表示部分滤波器掩码中的所有系数的值。即，从滤波器掩码中的所有可能系数的总和(Coeff_all)减去对应于不可用像素的系数的求和值(C_1+...+C_M)。New_coeffs_Ci'表示在重新归一化过程之后的部分系数中的滤波器系数的值。在以上实例1中，部分滤波器中剩余的系数的值乘以滤波器掩码中的所有可能系数的总值(Coeff_all)并除以部分滤波器掩码中的所有系数的总值(Coeff_part)。
下文实例2展示用于重新归一化部分滤波器中的滤波器系数的另一技术。
实例2
对于子组C_i,i＝M+1,…,N，相加C_k,k＝1,…,M
举例来说，
a.C_(M+1)'＝C_(M+1)+C_1,C_(M+2)'＝C_(M+2)+C_3,…或
b.C_L'＝C_L+(C_1+C_2+…+C_M)
在此实例中，通过将被跳过的滤波器抽头的系数(C_k)相加到非跳过滤波器抽头的系数(C_i)来重新归一化滤波器系数。
除了上文关于用于层间预测的ALF所提及的所有解决方案之外，还可由视频编码器用信号表示旗标(flag3)以指示限制将ALF应用于基础层中的帧内像素及/或层间滤波。
在本发明的一个实例中，新引入的旗标(即，flag1、flag2及flag3)可一起合并成单个旗标。在另一实例中，flag1、flag2及flag3可合并成具有用于DB的对应旗标(H.264中的interLayerDeblockingFlag)的一个旗标。作为又一实例，flag1、flag2及flag3可合并成具有约束帧内旗标的一个旗标。
图12是说明可使用如本发明中描述的用于视频译码过程中的环路滤波技术的视频编码器20的实例的框图。将出于说明的目的在SHEVC及HEVC译码的上下文中描述视频编码器20，但本发明不限制可能需要环路滤波的其它译码标准或方法。视频编码器20可对视频帧内的CU执行帧内及帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧内的视频数据中的空间冗余。帧间译码依赖于时间预测来减少或移除当前帧与视频序列的经先前译码帧之间的时间冗余。在一些实例中，视讯编码器可经配置以执行层间预测。帧内模式(I-模式)可指若干基于空间的视频压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指若干基于时间的视频压缩模式中的任一者。
如图12中所示，视频编码器20接收待编码视频帧内的当前视频块。在图12的实例中，视频编码器20包含运动补偿单元44、运动估计单元42、帧内预测模块46、参考帧缓冲器64、求和器50、变换模块52、量化单元54及熵编码单元56。图12中所说明的变换模块52为将实际变换或变换的组合应用于残余数据块的单元，且不应与变换系数块(其还可被称为CU的变换单元(TU))相混淆。对于视频块重构，视频编码器20还包含反量化单元58、反变换模块60、求和器62及环路滤波器单元43。环路滤波器单元43可包括解块滤波器单元、SAO滤波器单元及ALF滤波器单元中的一或多者。
在编码过程期间，视频编码器20接收待译码的视频帧或切片。所述帧或切片可划分成多个视频块，例如，最大译码单元(LCU)。运动估计单元42及运动补偿单元44可相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测性译码以提供时间压缩。帧内预测单元46可相对于与待译码块相同的帧或切片中的一或多个相邻块执行对所接收的视频块的帧内预测性译码以提供空间压缩。
模式选择单元40可例如基于每一模式的速率失真结果选择帧内或帧间译码模式中的一者，且将所得经帧内或经帧间预测块(例如，预测单元(PU))提供到求和器50以产生残余块数据且提供到求和器62以重构经编码块供用于参考帧中。求和器62组合经预测块与来自反变换模块60的用于所述块的经反量化、反变换的数据以便如下文更详细描述重构经编码块。一些视频帧可被指定为I帧，其中I帧中的所有块都在帧内预测模式下编码。在一些情况下，帧内预测模块46可在例如运动估计单元42执行的运动搜索未产生对块的足够预测的情况下执行P或B帧中的块的帧内预测编码。
运动估计单元42与运动补偿单元44可高度集成，但出于概念目的分开加以说明。运动估计(或运动搜索)为产生运动向量的过程，其估计视频块的运动。举例来说，运动向量可指示当前帧中的预测单元相对于参考帧的参考样本位移。在一些情况下，参考帧可与经译码帧处于不同层中(例如，在层间预测中)。运动估计单元42通过将预测单元与存储在参考帧缓冲器64中的参考帧的参考样本比较来计算经帧间译码帧的预测单元的运动向量。参考样本可为发现密切地匹配CU的包含PU的部分的块(其依据像素差进行译码)，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异量度来确定。参考样本可出现在参考帧或参考切片内的任何地方，而未必出现在参考帧或切片的块(例如，译码单元)边界处。在一些实例中，参考样本可出现在分数像素位置处。
运动估计单元42将计算出来的运动向量发送到熵编码单元56及运动补偿单元44。参考帧的通过运动向量识别的部分可被称为参考样本。运动补偿单元44可例如通过检索由PU的运动向量识别的参考样本来计算用于当前CU的预测单元的预测值。
帧内预测模块46可对所接收的块进行帧内预测，作为对由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案。帧内预测模块46可相对于相邻经先前译码块(例如，在当前块上方、右上方、左上方或左方的块)预测所接收的块，假定用于块的从左到右、从上到下编码次序。帧内预测模块46可配置有多种不同帧内预测模式。举例来说，帧内预测模块46可配置有某一数目的方向预测模式，例如基于正被编码的CU的大小的三十五个方向预测模式。
帧内预测模块46可例如通过计算各种帧内预测模式的误差值及选择产出最低误差值的模式来选择帧内预测模式。方向预测模式可包含用于组合空间相邻像素的值及向PU中的一或多个像素位置应用所述组合值的功能。一旦已经计算了PU中的所有像素位置的值，帧内预测模块46便可基于PU与待编码的接收到的块之间的像素差来计算所述预测模式的误差值。帧内预测模块46可继续测试帧内预测模式，直到发现得出可接受误差值的帧内预测模式为止。帧内预测模块46可接着将PU发送到求和器50。
视频编码器20通过从正被译码的原始视频块减去由运动补偿单元44或帧内预测模块46计算的预测数据来形成残余块。求和器50表示执行此减法运算的组件。残余块可对应于像素差值的二维矩阵，其中残余块中的值的数目与对应于所述残余块的PU中的像素的数目相同。残余块中的值可对应于PU中的共置像素与待译码的原始块中的共置像素之间的差，即误差。所述差可为色度或明度差，这取决于经译码的块的类型。
变换模块52可从残余块形成一或多个变换单元(TU)。变换模块52从多个变换当中选择变换。所述变换可基于例如块大小、译码模式或其类似者等一或多个译码特性来加以选择。变换模块52接着将所述选定变换应用于TU，从而产生包括变换系数的二维阵列的视频块。变换模块52可在经编码视频位流用信号表示所选变换分区。
变换模块52可将所得变换系数发送到量化单元54。量化单元54可接着对变换系数进行量化。熵编码单元56可接着根据扫描模式对矩阵中的经量化变换系数执行扫描。本发明描述熵编码单元56执行所述扫描。然而，应理解，在其它实例中，其它处理单元(例如量化单元54)可执行所述扫描。
一旦将变换系数扫描成一维阵列，熵编码单元56即可应用熵译码，例如CABAC。
为执行CABAC，熵编码单元56可选择适用于用以编码待发射的符号的某一上下文的上下文模型。举例来说，所述上下文可涉及相邻值是否为非零。熵编码单元56还可对例如表示所述选定变换的信号等语法元素进行熵编码。根据本发明的技术，熵编码单元56可基于例如用于帧内预测模式的帧内预测方向、对应于语法元素的系数的扫描位置、块类型及/或变换类型以及用于上下文模型选择的其它因素来选择用以编码这些语法元素的上下文模型。
在熵编码单元56的熵译码之后，可将所得的经编码视频发射到另一装置，例如视频解码器30，或者将所述视频存档用于以后发射或检索。
在一些情况下，熵编码单元56或视频编码器20的另一单元可经配置以执行其它译码功能(除熵译码之外)。举例来说，熵编码单元56可经配置以确定CU及PU的经译码块模式(CBP)值。而且，在一些情况下，熵编码单元56可执行系数的运行长度译码。
反量化单元58及反变换模块60分别应用反量化及反变换以分别在像素域中重构残余块，例如以供以后用作参考块。运动补偿单元44可通过将残余块相加到参考帧缓冲器64的帧中的一者的预测性块中来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构残余块以计算子整数像素值用于运动估计。求和器62将经重构残余块相加到由运动补偿单元44产生的运动补偿预测块以产生经重构视频块。
环路滤波器单元43可接着根据上文所描述的技术对经重构块执行环路滤波。在本发明的实例中，环路滤波器单元43单独或与视频编码器20的其它组件一起可经配置以在视频译码过程中执行环路滤波。
在对像素进行滤波之后，使用本发明中描述的环路滤波技术，经滤波经重构视频块接着存储于参考帧缓冲器64中。经重构视频块可由运动估计单元42及运动补偿单元44用作为参考块以对后续视频帧中的块进行帧间译码。
图13是说明解码经编码视频序列的视频解码器30的实例的框图。在图13的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测模块74、反量化单元76、反变换模块78、参考帧缓冲器82、环路滤波器单元79，及求和器80。在一些实例中，视频解码器30可执行总体上与相对于视频编码器20(见图12)描述的编码遍次相反的解码遍次。
熵解码单元70对经编码位流执行熵解码过程以检索变换系数的一维阵列。所使用的熵解码过程取决于视频编码器20所使用的熵译码(例如，CABAC)。编码器所使用的熵译码过程可在经编码位流中用信号表示或可为预定过程。
在一些实例中，熵解码单元70(或反量化单元76)可使用与视频编码器20的熵编码单元56(或量化单元54)所使用的扫描模式成镜像的扫描来扫描所接收的值。尽管可在反量化单元76中执行系数的扫描，但出于说明的目的将把扫描描述成由熵解码单元70执行。另外，尽管为了便于说明而展示为单独的功能单元，但熵解码单元70、反量化单元76及视频解码器30的其它单元的结构及功能性可彼此高度集成。
反量化单元76将在位流中提供且由熵解码单元70解码的经量化变换系数反量化，即去量化。反量化过程可包含常规过程，例如，类似于针对HEVC所提议的过程或H.264解码标准所定义的过程。所述反量化可包含使用视频编码器20针对CU计算以确定量化程度及同样应应用的反量化化程度的量化参数QP。反量化单元76可在将变换系数从一维阵列转换为二维阵列之前或之后反量化所述系数。
反变换模块78将反变换应用于经反量化的变换系数。在一些实例中，反变换模块78可基于来自视频编码器20的信令或通过根据例如块大小、译码模式等一或多个译码特性推断变换来确定反变换。在一些实例中，反变换模块78可基于在用于包含当前块的LCU的四叉树的根节点处用信号表示的变换来确定将应用于当前块的变换。或者，变换可在用于LCU四叉树中的叶节点CU的TU四叉树的根处用信号表示。在一些实例中，反变换模块78可应用级联的反变换，其中反变换模块78将两个或两个以上反变换应用于正解码的当前块的变换系数。
帧内预测模块74可基于用信号表示的帧内预测模式及来自当前帧的经先前解码块的数据产生用于当前帧的当前块的预测数据。
基于所检索的运动预测方向、参考帧索引及计算出的当前运动向量，运动补偿单元产生用于当前部分的运动补偿块。这些运动补偿块基本上重新产生用以产生残余数据的预测性块。
运动补偿单元72可产生运动补偿块，可能基于内插滤波器执行内插。待用于具有子像素精度的运动估计的内插滤波器的识别符可包括在语法元素中。运动补偿单元72可使用由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。运动补偿单元72可根据接收的语法信息而确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。
另外，在HEVC实例中，运动补偿单元72及帧内预测模块74可使用语法信息(例如，由四叉树提供)中的一些来确定用以编码经编码视频序列的帧的LCU的大小。运动补偿单元72及帧内预测模块74还可使用语法信息来确定分裂信息，所述分裂信息描述经编码视频序列的帧的每一CU如何被分裂(以及同样，子CU如何被分裂)。语法信息还可包含指示每一分裂如何经编码的模式(例如，帧内或帧间预测，且对于帧内预测为帧内预测编码模式)，用于每一经帧间编码的PU的一或多个参考帧(及/或包含用于参考帧的识别符的参考列表)及用于解码经编码视频序列的其它信息。
求和器80将残余块与由运动补偿单元72或帧内预测模块74产生的对应预测块组合以形成经解码块。环路滤波器单元79接着根据上文所描述的技术执行环路滤波。
在本发明的实例中，环路滤波器单元79单独或与视频解码器30的其它组件一起可经配置以在视频译码过程中执行环路滤波。环路滤波可包含解块、ALF及SAO滤波中的一或多者。
经解码视频块接着存储在参考帧缓冲器82中，所述参考帧缓冲器提供用于后续运动补偿以进行帧间预测性译码的参考块且还产生经解码视频以用于在显示装置(例如，图1的显示装置32)上呈现。
图14是说明本发明的实例编码方法的流程图。图14的方法可由包含环路滤波器单元43的视频编码器20实施。
视频编码器20可经配置以根据可缩放视频译码过程编码视频数据块以产生经编码视频数据块(1401)，解码所述经编码视频数据块以产生经重构视频数据块(1402)，基于可缩放视频译码过程的特性限制环路滤波器到经重构视频数据块的应用(1403)，且对所述经重构视频数据块进行环路滤波(1404)。
在本发明的一个实例中，视频编码器20使用受约束帧内预测过程编码基础层中的视频数据块，且环路滤波器为样本自适应偏移(SAO)滤波器。在一个实例中，限制SAO滤波器的应用包括在应用能带偏移SAO滤波的情况下将SAO滤波器应用于视频数据块的边界像素，且在应用边缘偏移SAO滤波且相邻块不是经帧内译码的情况下跳过将SAO滤波器应用于视频数据块的边界像素。在另一实例中，限制SAO滤波器的应用包括在相邻块不是经帧内译码的情况下跳过将SAO滤波器应用于视频数据块的边界像素。在另一实例中，限制SAO滤波器的应用包括在相邻块不是经帧内译码的情况下跳过将SAO滤波器应用于视频数据块。在另一实例中，限制SAO滤波器的应用包括在SAO类型使用来自不是经帧内译码的相邻块的像素的情况下不用信号表示SAO类型。
在本发明的另一实例中，视频编码器20使用层间预测编码视频数据块，且环路滤波器为样本自适应偏移(SAO)滤波器。在一个实例中，限制SAO滤波器的应用包括在应用能带偏移SAO滤波的情况下将SAO滤波器应用于视频数据块的边界像素，且在应用边缘偏移SAO滤波且相邻块不是经帧内译码的情况下跳过将SAO滤波器应用于视频数据块的边界像素。在另一实例中，限制SAO滤波器的应用包括在相邻块不是经帧内译码的情况下跳过将SAO滤波器应用于视频数据块的边界像素。在另一实例中，限制SAO滤波器的应用包括在相邻块不是经帧内译码的情况下且在视频数据块是使用受约束帧内预测过程译码的情况下跳过将SAO滤波器应用于视频数据块。在另一实例中，限制SAO滤波器的应用包括在SAO类型使用来自不是经帧内译码的相邻块的像素的情况下不用信号表示SAO类型。
在另一实例中，视频编码器20使用层间预测编码视频数据，且环路滤波器为自适应环路滤波器(ALF)。在一个实例中，限制ALF的应用包括在相邻块不是经帧内译码的情况下将部分ALF应用于视频数据块。
图15是说明本发明的实例解码方法的流程图。图15的方法可由包含环路滤波器单元79的视频解码器30实施。
视频解码器30可经配置以根据可缩放视频译码过程解码视频数据块以产生经重构视频数据块(1501)，基于可缩放视频译码过程的特性限制环路滤波器到经重构视频数据块的应用(1502)，且对所述经重构视频数据块进行环路滤波(1503)。
在本发明的一个实例中，视频解码器30使用受约束帧内预测过程解码基础层中的视频数据块，且环路滤波器为样本自适应偏移(SAO)滤波器。在一个实例中，限制SAO滤波器的应用包括在应用能带偏移SAO滤波的情况下将SAO滤波器应用于视频数据块的边界像素，且在应用边缘偏移SAO滤波且相邻块不是经帧内译码的情况下跳过将SAO滤波器应用于视频数据块的边界像素。在另一实例中，限制SAO滤波器的应用包括在相邻块不是经帧内译码的情况下跳过将SAO滤波器应用于视频数据块的边界像素。在另一实例中，限制SAO滤波器的应用包括在相邻块不是经帧内译码的情况下跳过将SAO滤波器应用于视频数据块。
在本发明的另一实例中，视频解码器30使用层间预测解码视频数据块，且环路滤波器为样本自适应偏移(SAO)滤波器。在一个实例中，限制SAO滤波器的应用包括在应用能带偏移SAO滤波的情况下将SAO滤波器应用于视频数据块的边界像素，且在应用边缘偏移SAO滤波且相邻块不是经帧内译码的情况下跳过将SAO滤波器应用于视频数据块的边界像素。在另一实例中，限制SAO滤波器的应用包括在相邻块不是经帧内译码的情况下跳过将SAO滤波器应用于视频数据块的边界像素。在另一实例中，限制SAO滤波器的应用包括在相邻块不是经帧内译码的情况下且在视频数据块是使用受约束帧内预测过程译码的情况下跳过将SAO滤波器应用于视频数据块。
在另一实例中，视频解码器30使用层间预测解码视频数据，且环路滤波器为自适应环路滤波器(ALF)。在一个实例中，限制ALF的应用包括在相邻块不是经帧内译码的情况下将部分ALF应用于视频数据块。
在一或多个实例中，所描述的功能可用硬件、软件、固件或其任何组合来实施。如果用软件实施，那么所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，且由基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体(例如，数据存储媒体)，或包含任何促进将计算机程序从一处传送到另一处(例如，根据通信协议)的媒体的通信媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储指令或数据结构的形式的期望程序代码且可由计算机存取的任何其它媒体。而且，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含于媒体的定义中。但是，应理解，所述计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包括紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地再现数据，而光盘使用激光光学地再现数据。上文各者的组合也应包含在计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文所述的功能性可在经配置用于编码及解码的专用硬件及/或软件模块内提供，或者并入在组合编解码器中。而且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中，所述装置或设备包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调其经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。而是，如上文所描述，各种单元可结合合适的软件及/或固件组合在编码解码器硬件单元中，或者由互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述了各种实例。这些及其它实例属于所附权利要求书的范围内。

Claims (30)

1.一种视频译码方法，所述方法包括：
根据可缩放视频译码过程译码视频数据块以产生经重构视频数据块；以及
基于所述可缩放视频译码过程的特性而限制环路滤波器到所述经重构视频数据块的应用。
2.根据权利要求1所述的方法，其中译码所述视频数据块包括使用受约束帧内预测过程译码基础层中的所述视频数据块，且其中所述环路滤波器为样本自适应偏移SAO滤波器。
3.根据权利要求2所述的方法，其中限制所述SAO滤波器的所述应用包括：
在应用能带偏移SAO滤波的情况下将所述SAO滤波器应用于所述经重构视频数据块的边界像素；以及
在应用边缘偏移SAO滤波且相邻块不是经帧内译码的情况下跳过将所述SAO滤波器应用于所述经重构视频数据块的边界像素。
4.根据权利要求2所述的方法，其中限制所述SAO滤波器的所述应用包括：
在相邻块不是经帧内译码的情况下跳过将所述SAO滤波器应用于所述经重构视频数据块的边界像素。
5.根据权利要求2所述的方法，其中限制所述SAO滤波器的所述应用包括：
在相邻块不是经帧内译码的情况下跳过将所述SAO滤波器应用于所述经重构视频数据块。
6.根据权利要求2所述的方法，其中限制所述SAO滤波器的所述应用包括：
在SAO类型使用来自不是经帧内译码的相邻块的像素的情况下不用信号表示所述SAO类型。
7.根据权利要求1所述的方法，其中所述可缩放视频译码过程包含层间预测，且其中所述环路滤波器为样本自适应偏移SAO滤波器。
8.根据权利要求7所述的方法，其中限制所述SAO滤波器的所述应用包括：
在应用能带偏移SAO滤波的情况下将所述SAO滤波器应用于所述经重构视频数据块的边界像素；以及
在应用边缘偏移SAO滤波且相邻块不是经帧内译码的情况下跳过将所述SAO滤波器应用于所述经重构视频数据块的边界像素。
9.根据权利要求7所述的方法，其中限制所述SAO滤波器的所述应用包括：
在相邻块不是经帧内译码的情况下跳过将所述SAO滤波器应用于所述经重构视频数据块的边界像素。
10.根据权利要求7所述的方法，其中限制所述SAO滤波器的所述应用包括：
在相邻块不是经帧内译码的情况下且在所述视频数据块是使用受约束帧内预测过程译码的情况下跳过将所述SAO滤波器应用于所述经重构视频数据块。
11.根据权利要求7所述的方法，其中限制所述SAO滤波器的所述应用包括：
在SAO类型使用来自不是经帧内译码的相邻块的像素的情况下不用信号表示所述SAO类型。
12.根据权利要求1所述的方法，其中所述可缩放视频译码过程包含层间预测，且其中所述环路滤波器为自适应环路滤波器ALF，且其中限制所述ALF的所述应用包括在相邻块不是经帧内译码的情况下将部分ALF应用于所述经重构视频数据块。
13.根据权利要求1所述的方法，其中译码所述视频数据块包括解码所述视频数据块，所述方法进一步包括：
解码所述视频数据块以产生经重构视频数据块；以及
对所述经重构视频数据块进行环路滤波。
14.根据权利要求1所述的方法，其中译码所述视频数据块包括编码所述视频数据块，所述方法进一步包括：
编码所述视频数据块以产生经编码视频数据块；
解码所述经编码视频数据块以产生经重构视频数据块；以及
对所述经重构视频数据块进行环路滤波。
15.一种经配置以译码视频数据的设备，所述设备包括：
视频译码器，其经配置以：
根据可缩放视频译码过程译码视频数据块以产生经重构视频数据块；以及
基于所述可缩放视频译码过程的特性而限制环路滤波器到所述经重构视频数据块的应用。
16.根据权利要求15所述的设备，其中所述视频译码器进一步经配置以使用受约束帧内预测过程译码基础层中的所述视频数据块，且其中所述环路滤波器为样本自适应偏移SAO滤波器。
17.根据权利要求16所述的设备，其中所述视频译码器经配置以通过以下操作限制所述SAO滤波器的所述应用：
在应用能带偏移SAO滤波的情况下将所述SAO滤波器应用于所述经重构视频数据块的边界像素；以及
在应用边缘偏移SAO滤波且相邻块不是经帧内译码的情况下跳过将所述SAO滤波器应用于所述经重构视频数据块的边界像素。
18.根据权利要求16所述的设备，其中所述视频译码器经配置以通过以下操作限制所述SAO滤波器的所述应用：
在相邻块不是经帧内译码的情况下跳过将所述SAO滤波器应用于所述经重构视频数据块的边界像素。
19.根据权利要求16所述的设备，其中所述视频译码器经配置以通过以下操作限制所述SAO滤波器的所述应用：
在相邻块不是经帧内译码的情况下跳过将所述SAO滤波器应用于所述经重构视频数据块。
20.根据权利要求16所述的设备，其中所述视频译码器经配置以通过以下操作限制所述SAO滤波器的所述应用：
在SAO类型使用来自不是经帧内译码的相邻块的像素的情况下不用信号表示所述SAO类型。
21.根据权利要求15所述的设备，其中所述可缩放视频译码过程包含层间预测，且其中所述环路滤波器为样本自适应偏移SAO滤波器。
22.根据权利要求21所述的设备，其中所述视频译码器经配置以通过以下操作限制所述SAO滤波器的所述应用：
在应用能带偏移SAO滤波的情况下将所述SAO滤波器应用于所述经重构视频数据块的边界像素；以及
在应用所述边缘偏移SAO滤波且相邻块不是经帧内译码的情况下跳过将所述SAO滤波器应用于所述经重构视频数据块的边界像素。
23.根据权利要求21所述的设备，其中所述视频译码器经配置以通过以下操作限制所述SAO滤波器的所述应用：
在相邻块不是经帧内译码的情况下跳过将所述SAO滤波器应用于所述经重构视频数据块的边界像素。
24.根据权利要求21所述的设备，其中所述视频译码器经配置以通过以下操作限制所述SAO滤波器的所述应用：
在相邻块不是经帧内译码的情况下且在所述视频数据块是使用受约束帧内预测过程译码的情况下跳过将所述SAO滤波器应用于所述经重构视频数据块。
25.根据权利要求21所述的设备，其中所述视频译码器经配置以通过以下操作限制所述SAO滤波器的所述应用：
在SAO类型使用来自不是经帧内译码的相邻块的像素的情况下不用信号表示所述SAO类型。
26.根据权利要求15所述的设备，其中所述可缩放视频译码过程包含层间预测，且其中所述环路滤波器为自适应环路滤波器ALF，且其中所述视频译码器经配置以通过在相邻块不是经帧内译码的情况下将部分ALF应用于所述经重构视频数据块而限制所述ALF滤波器的所述应用。
27.根据权利要求15所述的设备，其中所述视频译码器为视频解码器，所述视频解码器进一步经配置以：
解码所述视频数据块以产生经重构视频数据块；以及
对所述经重构视频数据块进行环路滤波。
28.根据权利要求15所述的设备，其中所述视频译码器为视频编码器，所述视频编码器进一步经配置以：
编码所述视频数据块以产生经编码视频数据块；
解码所述经编码视频数据块以产生经重构视频数据块；以及
对所述经重构视频数据块进行环路滤波。
29.一种经配置以译码视频数据的设备，所述设备包括：
用于根据可缩放视频译码过程译码视频数据块以产生经重构视频数据块的装置；以及
用于基于所述可缩放视频译码过程的特性而限制环路滤波器到所述经重构视频数据块的应用的装置。
30.一种存储指令的计算机可读存储媒体，所述指令在执行时致使经配置以译码视频数据的装置的一或多个处理器：
根据可缩放视频译码过程译码视频数据块以产生经重构视频数据块；以及
基于所述可缩放视频译码过程的特性而限制环路滤波器到所述经重构视频数据块的应用。
CN201380061268.XA 2012-11-26 2013-11-26 在视频译码中跨越受约束块内边界进行环路滤波 Pending CN104813661A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261729985P 2012-11-26 2012-11-26
US61/729,985 2012-11-26
US14/089,339 US9596461B2 (en) 2012-11-26 2013-11-25 Loop filtering across constrained intra block boundaries in video coding
US14/089,339 2013-11-25
PCT/US2013/072060 WO2014082088A1 (en) 2012-11-26 2013-11-26 Loop filtering across constrained intra block boundaries in video coding

Publications (1)

Publication Number Publication Date
CN104813661A true CN104813661A (zh) 2015-07-29

Family

ID=50773285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380061268.XA Pending CN104813661A (zh) 2012-11-26 2013-11-26 在视频译码中跨越受约束块内边界进行环路滤波

Country Status (5)

Country Link
US (1) US9596461B2 (zh)
EP (1) EP2923489A1 (zh)
KR (1) KR20150090172A (zh)
CN (1) CN104813661A (zh)
WO (1) WO2014082088A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10432961B2 (en) 2015-03-10 2019-10-01 Apple Inc. Video encoding optimization of extended spaces including last stage processes
CN110495168A (zh) * 2017-04-06 2019-11-22 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法及解码方法
CN111936929A (zh) * 2018-03-22 2020-11-13 联发科技股份有限公司 采用360°虚拟现实投影的投影布局的重构的基于投影的帧的样本适应性偏移滤波方法用于重构的基于投影的帧的样本适应性偏移滤波方法
WO2021004491A1 (en) * 2019-07-09 2021-01-14 Beijing Bytedance Network Technology Co., Ltd. Sample determination for adaptive loop filtering
WO2021052509A1 (en) * 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Selective application of sample padding in adaptive loop filtering
WO2021068906A1 (en) * 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Padding process at unavailable sample locations in adaptive loop filtering
US11490082B2 (en) 2019-06-14 2022-11-01 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
US11589042B2 (en) 2019-07-11 2023-02-21 Beijing Bytedance Network Technology Co., Ltd. Sample padding in adaptive loop filtering
US11683488B2 (en) 2019-09-27 2023-06-20 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering between different video units
US11700368B2 (en) 2019-07-15 2023-07-11 Beijing Bytedance Network Technology Co., Ltd. Classification in adaptive loop filtering
US12003712B2 (en) 2019-06-14 2024-06-04 Beijing Bytedance Network Technology Co., Ltd Handling video unit boundaries and virtual boundaries

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2509563A (en) * 2013-01-04 2014-07-09 Canon Kk Encoding or decoding a scalable video sequence using inferred SAO parameters
GB2509707B (en) * 2013-01-04 2016-03-16 Canon Kk A method, device, computer program, and information storage means for encoding or decoding a video sequence
US9998743B2 (en) * 2013-09-10 2018-06-12 Kt Corporation Method and apparatus for encoding/decoding scalable video signal
WO2015060614A1 (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
MX359902B (es) * 2013-10-22 2018-10-16 Kt Corp Metodo y dispositivo para codificar/descodificar una señal de video de multicapa.
KR20150050408A (ko) * 2013-10-29 2015-05-08 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015101329A1 (en) * 2014-01-02 2015-07-09 Mediatek Singapore Pte. Ltd. Method and apparatus for intra prediction coding with boundary filtering control
US10038919B2 (en) 2014-05-29 2018-07-31 Apple Inc. In loop chroma deblocking filter
US9924175B2 (en) 2014-06-11 2018-03-20 Qualcomm Incorporated Determining application of deblocking filtering to palette coded blocks in video coding
US10136141B2 (en) 2014-06-11 2018-11-20 Qualcomm Incorporated Determining quantization parameter (QP) values and delta QP values for palette coded blocks in video coding
EP2996269A1 (en) 2014-09-09 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio splicing concept
KR102423880B1 (ko) * 2015-10-06 2022-07-21 삼성전자주식회사 인코더의 작동방법과 상기 인코더를 포함하는 시스템 온 칩의 작동 방법
US10419755B2 (en) * 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
US10555006B2 (en) 2016-12-22 2020-02-04 Qualcomm Incorporated Deriving bilateral filter information based on a prediction mode in video coding
US20180184127A1 (en) * 2016-12-22 2018-06-28 Qualcomm Incorporated Determining neighboring samples for bilateral filtering in video coding
WO2018134362A1 (en) * 2017-01-19 2018-07-26 Telefonaktiebolaget Lm Ericsson (Publ) Filter apparatus and methods
US11457239B2 (en) 2017-11-09 2022-09-27 Google Llc Block artefact reduction
EP3750320B1 (en) * 2018-02-09 2023-11-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive in-loop filter with multiple feature-based classifications
US11044473B2 (en) * 2018-12-21 2021-06-22 Qualcomm Incorporated Adaptive loop filtering classification in video coding
EP3932072A4 (en) * 2019-03-11 2022-07-20 Huawei Technologies Co., Ltd. SUB-PICTURE MOTION VECTORS IN VIDEO CODING
BR112021025753A2 (pt) * 2019-06-21 2022-02-22 Samsung Electronics Co Ltd Método de decodificação de vídeo, aparelho de decodificação de vídeo, e método de codificação de vídeo
US11533491B2 (en) * 2019-08-28 2022-12-20 Qualcomm Incorporated Picture and sub-picture boundary processing for combined bilateral filter and Hadamard transform domain filter as in-loop filters

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011139121A2 (ko) * 2010-05-07 2011-11-10 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
WO2012150849A2 (ko) * 2011-05-04 2012-11-08 한국전자통신연구원 에러에 강인한 인-루프 필터를 이용하는 영상 부호화/복호화 방법과 그에 관한 시그널링 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204129B2 (en) 2007-03-27 2012-06-19 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
US8611435B2 (en) * 2008-12-22 2013-12-17 Qualcomm, Incorporated Combined scheme for interpolation filtering, in-loop filtering and post-loop filtering in video coding
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
CN103503456B (zh) 2011-05-10 2017-03-22 联发科技股份有限公司 用于重建视频的环内处理方法及其装置
US20130163660A1 (en) 2011-07-01 2013-06-27 Vidyo Inc. Loop Filter Techniques for Cross-Layer prediction
US9641866B2 (en) 2011-08-18 2017-05-02 Qualcomm Incorporated Applying partition-based filters
US9456212B2 (en) 2011-09-30 2016-09-27 Broadcom Corporation Video coding sub-block sizing based on infrastructure capabilities and current conditions
JP2013165340A (ja) 2012-02-09 2013-08-22 Sony Corp 画像処理装置と画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011139121A2 (ko) * 2010-05-07 2011-11-10 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
WO2012150849A2 (ko) * 2011-05-04 2012-11-08 한국전자통신연구원 에러에 강인한 인-루프 필터를 이용하는 영상 부호화/복호화 방법과 그에 관한 시그널링 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LEE J ET AL: "AHG:Constrained in-loop filtering", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16》 *
MCCANN K ET AL: "HEVC Test Model 3(HM3) Encoder Description", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16》 *
YE-KUI WANG ET AL: ""Dependency and loop filtering control over tile boundaries"", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10432961B2 (en) 2015-03-10 2019-10-01 Apple Inc. Video encoding optimization of extended spaces including last stage processes
CN110495168A (zh) * 2017-04-06 2019-11-22 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法及解码方法
CN110495168B (zh) * 2017-04-06 2021-12-07 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法及解码方法
CN111936929A (zh) * 2018-03-22 2020-11-13 联发科技股份有限公司 采用360°虚拟现实投影的投影布局的重构的基于投影的帧的样本适应性偏移滤波方法用于重构的基于投影的帧的样本适应性偏移滤波方法
US12003712B2 (en) 2019-06-14 2024-06-04 Beijing Bytedance Network Technology Co., Ltd Handling video unit boundaries and virtual boundaries
US11490082B2 (en) 2019-06-14 2022-11-01 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
WO2021004491A1 (en) * 2019-07-09 2021-01-14 Beijing Bytedance Network Technology Co., Ltd. Sample determination for adaptive loop filtering
US11831869B2 (en) 2019-07-09 2023-11-28 Beijing Bytedance Network Technology Co., Ltd. Sample determination for adaptive loop filtering
US11553179B2 (en) 2019-07-09 2023-01-10 Beijing Bytedance Network Technology Co., Ltd. Sample determination for adaptive loop filtering
US11589042B2 (en) 2019-07-11 2023-02-21 Beijing Bytedance Network Technology Co., Ltd. Sample padding in adaptive loop filtering
US11700368B2 (en) 2019-07-15 2023-07-11 Beijing Bytedance Network Technology Co., Ltd. Classification in adaptive loop filtering
WO2021052509A1 (en) * 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Selective application of sample padding in adaptive loop filtering
US11671594B2 (en) 2019-09-22 2023-06-06 Beijing Bytedance Network Technology Co., Ltd. Selective application of sample padding in adaptive loop filtering
US11652998B2 (en) 2019-09-22 2023-05-16 Beijing Bytedance Network Technology Co., Ltd. Padding process in adaptive loop filtering
CN114430902B (zh) * 2019-09-22 2023-11-10 北京字节跳动网络技术有限公司 自适应环路滤波中的填充过程
CN114430902A (zh) * 2019-09-22 2022-05-03 北京字节跳动网络技术有限公司 自适应环路滤波中的填充过程
US11683488B2 (en) 2019-09-27 2023-06-20 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering between different video units
US11706462B2 (en) 2019-10-10 2023-07-18 Beijing Bytedance Network Technology Co., Ltd Padding process at unavailable sample locations in adaptive loop filtering
WO2021068906A1 (en) * 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Padding process at unavailable sample locations in adaptive loop filtering

Also Published As

Publication number Publication date
US20140146875A1 (en) 2014-05-29
EP2923489A1 (en) 2015-09-30
US9596461B2 (en) 2017-03-14
WO2014082088A1 (en) 2014-05-30
KR20150090172A (ko) 2015-08-05

Similar Documents

Publication Publication Date Title
CN104813661A (zh) 在视频译码中跨越受约束块内边界进行环路滤波
EP3459245B1 (en) Confusion of multiple filters in adaptive loop filtering in video coding
US10419757B2 (en) Cross-component filter
CN103891293B (zh) 用于色度分量的自适应环路滤波的方法及设备
US10491922B2 (en) Non-separable secondary transform for video coding
CN104255035B (zh) 视讯译码中的量化参数(qp)译码
CN106105201B (zh) 使用像素距离的解块滤波
KR101524990B1 (ko) 비디오 코딩에서 적응적 루프 필터와 병합된 샘플 적응 오프셋
US20180176587A1 (en) Constrained position dependent intra prediction combination (pdpc)
CN102763415B (zh) 起因于几何运动划分的平滑重叠区域
CN103202016B (zh) 用于视频译码的自适应运动向量分辨率信令
CN104247434A (zh) 在视频译码中在切片边界或平铺块边界周围的环路滤波
CN105191315B (zh) 一种用于对视频信息进行译码的方法和设备
TW201818720A (zh) 使用解耦樹結構之視訊內寫碼
KR102606414B1 (ko) 디블로킹 필터의 경계 강도를 도출하는 인코더, 디코더 및 대응 방법
CN105723707A (zh) 用于视频译码的色彩残差预测
TW201811055A (zh) 使用解耦樹結構之視訊內寫碼
KR20180063094A (ko) 인트라 블록 카피 병합 모드 및 이용가능하지 않는 ibc 참조 영역의 패딩
CN105532007A (zh) 在视频译码中用于非亮度分量的自适应解块滤波
CN104054344A (zh) 对色度数据进行解块以用于视频译码
CN103947213A (zh) 瓦片边界上的环路滤波控制
CN104737537A (zh) 用于可缩放视频译码的加权预测模式
CN103141100A (zh) 用于视频译码的帧内平滑滤波器
RU2600537C1 (ru) Устройство и способ обработки изображений
CN104247417A (zh) 用于视频译码中的解块滤波器的β偏移控制

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20191022

AD01 Patent right deemed abandoned