CN104247434B - 在视频译码中在切片边界或平铺块边界周围的环路滤波 - Google Patents

在视频译码中在切片边界或平铺块边界周围的环路滤波 Download PDF

Info

Publication number
CN104247434B
CN104247434B CN201280051439.6A CN201280051439A CN104247434B CN 104247434 B CN104247434 B CN 104247434B CN 201280051439 A CN201280051439 A CN 201280051439A CN 104247434 B CN104247434 B CN 104247434B
Authority
CN
China
Prior art keywords
filter
pixel
block
mask
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280051439.6A
Other languages
English (en)
Other versions
CN104247434A (zh
Inventor
钟仁肃
翔林·王
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104247434A publication Critical patent/CN104247434A/zh
Application granted granted Critical
Publication of CN104247434B publication Critical patent/CN104247434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明的技术适用于视频译码过程中的横跨切片或平铺块边界的环路滤波。在一个实例中，一种用于执行视频译码过程中的环路滤波的方法包含：确定对应于环路滤波器的滤波器掩模的滤波系数的像素横跨切片或平铺块边界；从所述滤波器掩模移除对应于横跨所述切片或平铺块边界的所述像素的滤波系数；在无所述经移除的滤波系数的情况下，使所述滤波器掩模重新正规化；使用所述重新正规化的滤波器掩模执行环路滤波。

Description

在视频译码中在切片边界或平铺块边界周围的环路滤波
本申请案主张2011年10月21日申请的第61/550，211号美国临时申请案的权益，所述申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频译码，且更确切地说，涉及用于视频译码过程中的环路滤波的技术。
背景技术
数字视频能力可并入到各种各样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置等。数字视频装置实施视频压缩技术(例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(高级视频译码(AVC))定义的标准，目前处于开发下的高效视频译码(HEVC)标准，以及所述标准的扩展部分中所描述的视频压缩技术)以更有效地发射、接收及存储数字视频信息。
视频压缩技术包含空间预测和/或时间预测，以减少或移除视频序列中所固有的冗余。对于基于块的视频译码，可将视频帧或切片分割成若干块。可进一步分割每一块。经帧内译码(I)的帧或切片中的块相对于同一帧或切片中的相邻块中的参考样本使用空间预测而编码。经帧问译码的(P或B)帧或切片中的块可使用相对于同一帧或切片中的相邻块中的参考样本的空间预测或相对于其它参考帧中的参考样本的时间预测。空间或时间预测产生用于将要译码的块的预测块。残余数据表示将要译码的原始块与预测块之间的像素差。
根据指向形成预测块的参考样本的块的运动向量，及指示经译码的块与预测块之间的差的残余数据来对经帧问译码的块编码。根据帧内译码模式及残余数据来对经帧内译码的块编码。为了进一步压缩，残余数据可从像素域变换为变换域，从而产生残余变换系数，残余变换系数接着可被量化。可按特定次序扫描最初布置成二维阵列的经量化的变换系数以产生变换系数的一维向量以用于熵译码。
发明内容
一股来说，本发明描述用于对视频数据译码的技术。特定来说，本发明描述用于视频译码的环路滤波过程的技术。本发明的技术可适用于横跨切片或平铺块边界的环路滤波。环路滤波可包含自适应环路滤波(ALF)、样本自适应偏移(SAO)滤波及解块滤波中的一者或一者以上。
在本发明的一个实例中，提出一种用于执行视频译码过程中的环路滤波的方法。所述方法包含：针对当前像素，确定对应于环路滤波器的滤波器掩模的滤波系数的一个或一个以上像素横跨切片或平铺块边界中的一者；及使用部分环路滤波器对所述当前像素执行环路滤波。
在一个实例中，所述方法可进一步包含：从所述滤波器掩模移除对应于横跨所述切片或平铺块边界的所述一个或一个以上像素的所述滤波系数；及使用所述滤波器掩模中的剩余滤波系数创建用于所述部分环路滤波器的部分滤波器掩模。此实例可进一步包含使所述部分滤波器掩模重新正规化，其中执行环路滤波包括使用具有所述重新正规化的部分滤波器掩模的所述部分环路滤波器对所述当前像素执行环路滤波。
在另一实例中，所述方法可进一步包含：从所述滤波器掩模移除对应于横跨所述切片或平铺块边界的所述一个或一个以上像素的第一滤波系数；移除对应于所述切片及平铺块边界的内侧上的像素的第二滤波系数，以便维持关于所述经移除的第一滤波系数对称的滤波器掩模；及使用所述滤波器掩模中的剩余滤波系数创建用于所述部分环路滤波器的部分滤波器掩模。
一个或一个以上实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述及附图和从权利要求书中显而易见。
附图说明
图1为说明实例视频编码及解码系统的框图。
图2为展示自适应环路滤波器的基于区域分类的概念图。
图3为展示自适应环路滤波器的基于块分类的概念图。
图4为展示帧的平铺块的概念图。
图5为展示帧的切片的概念图。
图6为描绘在切片及平铺块边界处的环路滤波器的概念图。
图7为描绘在水平边界处的非对称部分滤波器的概念图。
图8为描绘在垂直边界处的非对称部分滤波器的概念图。
图9为描绘在水平边界处的对称部分滤波器的概念图。
图10为描绘在垂直边界处的对称部分滤波器的概念图。
图11为说明实例视频编码器的框图。
图12为说明实例视频解码器的框图。
图13为描绘根据本发明的环路滤波的实例方法的流程图。
具体实施方式
一股来说，本发明描述用于对视频数据译码的技术。特定来说，本发明描述用于视频译码过程中的环路滤波的技术。
数字视频装置实施视频压缩技术以更有效地对数字视频信息编码及解码。视频压缩可应用空间(帧内)预测及/或时间(帧问)预测技术以减少或移除视频序列中所固有的冗余。
存在新的视频译码标准，即正由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合协作小组(JCT-VC)开发的高效视频译码(HEVC)。被称作“HEVC工作草案6”或“WD6”的HEVC标准的新近草案描述于Bross等人的文件JCTVC-H1003“高效视频译码(HEVC)文本规范草案6”(ITU-T SG16WP3及ISO/IECJTC1/SC29/WG11的视频译码联合协作小组(JCT-VC)，第8次会议：美国，加利福尼亚，圣何塞，2012年2月)中，所述文件自2012年6月1日起可从http：//phenix.int-evrv.fr/ict/doc_end_user/documents/8_ San％20Jose/wgll/JCTVC-H1003-v22.zip下载得到。
HEVC的最新WD(且在下文中被称作HEVC WD7)自2012年8月2日起可从http：// phenix.int-evrv.fr/ict/doc_end_user/documents/9_Geneva/wgll/JCTVC-I1003- v6.zip得到。
对于根据HEVC的当前工作草案的视频译码，作为一个实例，可将视频帧分割成译码单元。译码单元(CU)通常指充当基本单元的图像区，各种译码工具应用于所述基本单元以用于视频压缩。CU通常具有可表示为Y的辉度分量，及可表示为Cr及Cb的两个色度分量。取决于视频取样格式，Cr及Cb分量的大小(以样本的数目为单位)可与Y分量的大小相同或不同。CU通常为正方形，且可被视为类似于所谓的宏块，例如在例如ITU-T H.264等其它视频译码标准下。
为了实现更佳译码效率，译码单元可取决于视频内容而具有可变大小。另外，可将译码单元分裂成较小的块以用于预测或变换。特定来说，可将每一译码单元进一步分割成预测单元(PU)及变换单元(TU)。在例如H.264等其它视频译码标准下，预测单元可被视为类似于所谓的分割区。变换单元(TU)指残余数据块，对所述残余数据应用变换以产生变换系数。
根据正开发的HEVC标准的当前所提出的方面中的一些的译码将在本申请案中出于说明的目的而描述。然而，本发明中所描述的技术可用于其它视频译码过程，例如根据H.264或其它标准定义的视频译码过程或专有视频译码过程。
HEVC标准化努力是基于视频译码装置的模型，其被称作HEVC测试模型(HM)。HM假设视频译码装置优于根据(例如)ITU-T H.264/AVC的装置的若干能力。举例来说，尽管H.264提供九个帧内预测编码模式，但HM提供多达35个帧内预测编码模式。
根据HM，CU可包含一个或一个以上预测单元(PU)及/或一个或一个以上变换单元(TU)。位流内的语法数据可定义最大译码单元(LCU)，其为在像素数目方面的最大CU。一股来说，CU具有与H.264的宏块类似的目的，只是CU不具有大小区别。因此，CU可分裂成子CU。一股来说，本发明中对CU的参考可指图片的最大译码单元或LCU的子CU。LCU可分裂成子CU，且每一子CU可进一步分裂成子CU。位流的语法数据可界定LCU可被分裂的最大次数(称为CU深度)。因此，位流还可定义最小译码单元(SCU)。本发明还使用术语“块”、“分割区”或“部分”来指CU、PU或TU中的任一者。一股来说，“部分”可指视频帧的任何子集。
LCU可与四分树数据结构相关联。一股来说，四分树数据结构的每一CU包含一个节点，其中根节点对应于LCU。如果将CU分裂为四个子CU，那么对应于所述CU的节点包含四个叶节点，所述叶节点中的每一者对应于所述子CU中的一者。四分树数据结构的每一节点可提供用于对应CU的语法数据。举例来说，在四分树中的节点可包含指示对应于节点的CU是否分裂为若干子CU的分裂旗标。用于CU的语法元素可以递归的方式界定，且可取决于CU是否分裂成子CU。如果CU未进一步分裂，那么其被称作叶CU。
此外，叶CU的TU还可与相应四分树数据结构相关联。即，叶CU可包含指示如何将叶CU分割成TU的四分树。本发明将指示如何分割LCU的四分树称作CU四分树，且将指示叶CU如何分割成TU的四分树称作TU四分树。TU四分树的根节点通常对应于叶CU，而CU四分树的根节点通常对应于LCU。TU四分树的未分裂的TU被称作叶TU。
叶CU可包含一个或一个以上预测单元(PU)。一股来说，PU表示所有对应CU或对应CU的一部分，且可包含用于检索用于PU的参考样本的数据。举例来说，当PU是经帧问模式编码时，PU可包含界定所述PU的运动向量的数据。界定运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考帧，和/或用于运动向量的参考列表(例如，列表0或列表1)。界定PU的叶CU的数据还可描述(例如)CU到一个或一个以上PU的分割。分割模式可取决于CU是未经预测性译码、经帧内预测模式编码还是经帧问预测模式编码而不同。对于帧内译码，PU可与下文所描述的叶变换单元相同地对待。
为了对块(例如，视频数据的预测单元(PU))译码，首先导出用于块的预测子。可经由帧内(I)预测(即，空间预测)或帧问(P或B)预测(即，时间预测)导出预测子。因此，可使用相对于相同帧中的相邻参考块的空间预测对一些预测单元帧内译码(I)，及可相对于其它帧中的参考块对其它预测单元帧问译码(P或B)。用于预测的参考块可包含在所谓的整数像素位置处的实际像素值作为参考样本，或在分数像素位置处由内插产生的合成像素值作为参考样本。
在识别预测子之后，计算原始视频数据块与其预测子之间的差。此差也被称作预测残余，且指待译码的块的像素与参考块(即，预测子)的对应参考样本(其可为整数精度像素或内插分数精度像素，如上文所提及)之间的像素差。为了实现更好的压缩，预测残余(即，像素差值的阵列)通常从像素(即，空间)域变换到变换域，例如使用离散余弦变换(DCT)、整数变换、卡-洛(K-L)变换或其它变换。变换域可为例如频域。
使用帧问预测对PU译码涉及计算当前块与参考帧中的块之间的运动向量。经由被称作运动估计(或运动搜索)的过程来计算运动向量。举例来说，运动向量可指示当前帧中的预测单元相对于参考帧的参考样本的移位。参考样本可为块，所述块是经发现在像素差方面密切地匹配包含经译码的PU的CU的部分，其可通过绝对差总和(SAD)、平方差总和(SSD)或其它差量度来确定。参考样本可在参考帧或参考切片内的任何地方出现。在一些实例中，参考样本可全部或部分经内插，及在分数像素位置处出现。在找到最佳地匹配当前部分的参考帧的部分之后，编码器确定用于当前部分的当前运动向量作为从当前部分到参考帧中的匹配部分(例如，从当前部分的中心到匹配部分的中心)的位置的差。
在一些实例中，编码器可在经编码的视频位流中用信号发出用于每一部分的运动向量。用信号发出的运动向量由解码器使用以执行运动补偿以便对视频数据解码。然而，直接用信号发出原始运动向量可导致译码效率降低，因为通常需要大量的位来传达信息。
一旦执行运动估计以确定用于当前部分的运动向量，编码器便将参考帧中的匹配部分与当前部分相比较。此比较通常涉及从当前部分减去参考帧中的部分(其通常被称作“参考样本”)，且导致所谓的残余数据，如上文所提及。残余数据指示当前部分与参考样本之间的像素差值。编码器接着将此残余数据从空间域变换到变换域(例如，频域)。通常，编码器将离散余弦变换(DCT)应用于残余数据以实现此变换。编码器执行此变换以便促进残余数据的压缩，这是因为所得变换系数表示不同频率，其中大多数能量通常集中于少数低频系数。
通常，所得变换系数以使得能够进行熵译码的方式分组在一起，尤其在首先量化(舍入)变换系数的情况下。编码器接着执行统计无损(或所谓的“熵”)编码以进一步压缩行程长度译码的量化变换系数。在执行无损熵译码之后，编码器产生包含经编码的视频数据的位流。
视频编码过程还可包含所谓的“重建构环路”，借此经编码的视频块经解码及存储于参考帧缓冲器中以用作用于随后译码的视频块的参考帧。参考帧缓冲器还被称作经解码的图片缓冲器或DPB。经重建构的视频块经常在存储于参考帧缓冲器中之前经滤波。滤波通常用以(例如)减少成块效应或基于块的视频译码所共有的其它假象。滤波系数(有时称为滤波器分接头)可经界定或选择以便促进可减少成块效应的所要等级的视频块滤波及/或以其它方式改进视频质量。举例来说，一组滤波系数可界定如何沿视频块的边缘或视频块内的其它位置应用滤波。不同滤波系数可引起关于视频块的不同像素的不同等级的滤波。举例来说，滤波可平滑化或锐化邻近像素值的强度差异，以便帮助消除不想要的假象。
作为一个实例，解块滤波器可用以改进经译码的视频数据的块之间的外观(例如，使边缘平滑化)。另一实例滤波器为用以将偏移与经重建构的像素块相加以改进图像质量及译码效率的样本自适应偏移(SAO)滤波器。在对HEVC的一个提议中，用于重建构环路中的另一类型的滤波器为自适应环路滤波器(ALF)。通常在解块滤波器之后执行ALF。ALF恢复由视频译码压缩过程降级的像素保真度。ALF试图最小化源帧中的原始像素值与经重建构的帧的像素值之间的均方误差。ALF还以与编码过程期间所应用的方式相同的方式应用于视频解码器的输出处。用于重建构环路中的任何滤波器可被统称为“环路滤波器”。环路滤波器可包含一个或一个以上解块滤波器、SAO滤波器及ALF。另外，用于重建构环路中的其它类型的滤波器也是可能的。
本发明呈现用于环路滤波的技术。特定来说，本发明呈现用于切片及平铺块边界周围的环路滤波的技术。本发明的技术可适用于任何环路滤波器，包含解块、ALF及SAO滤波器。
图1为说明根据本发明的实例的实例视频编码及解码系统10的框图，所述视频编码及解码系统可经配置以利用用于视频译码过程中的环路滤波的技术。如图1中所示，系统10包括源装置12，其经由通信信道16将经编码的视频发射到目的装置14。经编码的视频数据还可存储于存储媒体34或文件服务器36上，且可在需要时由目的地装置14存取。当存储到存储媒体或文件服务器时，视频编码器20可将经译码的视频数据提供到另一装置，例如网络接口、压缩光盘(CD)、蓝光或数字视频光盘(DVD)刻录机或冲压设施装置或其它装置，以用于将经译码的视频数据存储到存储媒体。同样，与视频解码器30分离的装置(例如，网络接口、CD或DVD读取器等)可从存储媒体检索经译码的视频数据，且将经检索的数据提供到视频解码器30。
源装置12及目的地装置14可包括各种各样的装置中的任一者，包括桌上型计算机、笔记本(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的智能电话)、电视、相机、显示装置、数字媒体播放器、视频游戏控制台等。在许多状况下，所述装置可经配备用于无线通信。因此，通信信道16可包括适合于发射经编码的视频数据的无线信道、有线信道或无线及有线信道的组合。类似地，文件服务器36可由目的地装置14经由包含因特网连接的任何标准数据连接存取。这可包含适用于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。
根据本发明的实例，用于视频译码过程中的环路滤波的技术可应用于支持例如以下各者的多种多媒体应用中的任一者的视频译码：空中电视广播、有线电视发射、卫星电视发射、流式传输视频发射(例如，经由因特网)、对数字视频编码以供存储于数据存储媒体上、对存储于数据存储媒体上的数字视频解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频播放、视频广播及/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20、调制器/解调器22和发射器24。在源装置12中，视频源18可包含源，例如视频俘获装置(例如，摄像机)、含有先前所俘获的视频的视频存档、用以从视频内容提供者接收视频的视频馈入接口，及/或用于产生计算机图形数据作为源视频的计算机图形系统，或所述源的组合。作为一个实例，如果视频源18为摄像机，那么源装置12及目的装置14可形成所谓的相机电话或视频电话。然而，本发明中描述的技术大体上可适用于视频译码，且可适用于无线及/或有线应用，或经编码的视频数据存储于本地磁盘上的应用。
可由视频编码器20来对经俘获的、经预先俘获的或计算机产生的视频编码。经编码的视频信息可根据例如无线通信协议等通信标准由调制解调器22调制，且经由反射器24被发射到目的地装置14。调制解调器22可包含各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。发射器24可包括经设计以用于发射数据的电路，包括放大器、滤波器和一个或一个以上天线。
由视频编码器20编码的经俘获的、经预先俘获的或计算机产生的视频还可存储到存储媒体34或文件服务器36上以供稍后消耗。存储媒体34可包含蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码的视频的任何其它合适的数字存储媒体。存储于存储媒体34上的经编码的视频接着可由目的地装置14存取以用于解码及播放。
文件服务器36可为能够存储经编码的视频且将所述经编码的视频发射到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置、本地磁盘驱动器或能够存储经编码的视频数据及将其发射到目的地装置的任何其它类型的装置。经编码的视频数据从文件服务器36的发射可为流式传输发射、下载发射或两者的组合。文件服务器36可由目的地装置14经由包含因特网连接的任何标准数据连接存取。这可包含适用于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器、以太网、USB等)或两者的组合。
在图1的实例中，目的地装置14包含接收器26、调制解调器28、视频解码器30和显示装置32。目的地装置14的接收器26经由信道16接收信息，及调制解调器28解调所述信息以产生用于视频解码器30的经解调位流。经由信道16传达的信息可包含由视频编码器20产生的多种语法信息以用于由视频解码器30在对视频数据解码的过程中使用。所述语法还可包含有存储于存储媒体34或文件服务器36上的经编码的视频数据。视频编码器20及视频解码器30中的每一者可形成能够对视频数据编码或解码的相应编码器-解码器(编码解码器)的部分。
显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置且还经配置以与外部显示装置集成。在其它实例中，目的地装置14可为显示装置。一股来说，显示装置32向用户显示经解码的视频数据，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
在图1的实例中，通信信道16可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一个或一个以上物理传输线或无线和有线媒体的任何组合。通信信道16可形成例如局域网、广域网或例如因特网等全球网络等基于包的网络的部分。通信信道16一股表示用于将视频数据从源装置12发射到目的地装置14的任何合适的通信媒体或不同通信媒体的集合，包括有线或无线媒体的任何合适组合。通信信道16可包含可用于促进从源装置12到目的地装置14的通信的路由器、交换器、基站或任何其它设备。
视频编码器20及视频解码器30可根据例如当前在开发中的高效视频译码(HEVC)标准等视频压缩标准而操作，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据其它专有或工业标准(例如，ITU-T H.264标准，或者称为MPEG-4第10部分，高级视频译码(AVC))或此些标准的扩展而操作。然而，本发明的技术不限于任何特定译码标准。其它实例包含MPEG-2及ITU-T H.263。
尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件及软件，以处理对共同数据流或单独数据流中的音频与视频两者的编码。如果适用，那么在一些实例中，MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
视频编码器20及视频解码器30各自可经实施为例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合的多种合适编码器电路中的任一者。当技术是部分以软件来实施时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且使用一个或一个以上处理器执行硬件中的指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含于一个或一个以上编码器或解码器中，其中任一者可集成为相应装置中的组合式编码器/解码器(CODEC)的部分。
视频编码器20可实施用于视频译码过程中的环路滤波的本发明的技术中的任一者或全部。同样，视频解码器30可实施用于视频译码过程中的环路滤波的这些技术中的任一者或全部。如本发明中所描述的视频译码器可指视频编码器或视频解码器。类似地，视频译码单元可指视频编码器或视频解码器。在此上下文中，视频译码单元为物理硬件且不同于上文所论述的CU数据结构。同样，视频译码可指视频编码或视频解码。
在对HEVC的一个ALF提议中，提出了两个调适模式(即，块及区域调适模式)。对于区域自适应模式，将帧划分成16个区域，且每一区域可具有线性滤波系数的一个集合(多个AC系数及一个DC系数)，且一个区域可与其它区域共享相同滤波系数。图2为展示自适应环路滤波器的基于区域分类的概念图。如图2中所示，将帧120划分成16个区域，且每一区域可包含多个CU。这些16个区域中的每一者由指示由所述区域使用的线性滤波系数的特定集合的数字(0到15)表示。数字(0到15)可为到滤波系数的预定集合的索引数字，其存储于视频编码器及视频解码器两者处。在一个实例中，视频编码器可在经编码的视频位流中用信号发出特定区域的由视频编码器使用的滤波系数的集合的索引数字。基于用信号发出的索引，视频解码器可检索用于所述区域的解码过程中的滤波系数的相同预定集合。在其它实例中，显式地用信号发出每一区域的滤波系数。
对于基于块分类模式，将帧划分成4x4块，且每一4x4块通过使用方向及活动信息计算量度来导出一个类。对于每一类，可使用线性滤波系数(多个AC系数及一个DC系数)的一个集合，且一个类可与其它类共享相同滤波系数。图3为展示自适应环路滤波器的基于块分类的概念图。
下文展示方向及活动以及基于方向及活动的所得量度的计算：
■方向
■Ver_act(i，j)＝abs(X(i，j)＜＜1-X(i，j-1)-X(i，j+1))
■Hor_act(i，j)＝abs(X(i，j)＜＜1-X(i-1，j)-X(i+1，j))
■HB＝∑i＝0，2Σj＝0，2H(i，j)
■VB＝∑i＝0，2Σj＝0，2V(i，j)
■方向＝0，1(H＞2V)，2(V＞2H)
■活动
■LB＝HB+VB
■5个类(0，1，2，3，4)
■量度
■活动+5*方向
Hor_act(i，j)通常指当前像素(i，j)的水平活动，且Vert_act(i，j)通常指当前像素(i，j)的垂直活动。X(i，j)通常指像素(i，j)的像素值，其中i及j指示当前像素的水平及垂直坐标。在此上下文中，活动通常为位置中的像素问的梯度或方差。
HB指4x4块的水平活动，所述水平活动在此实例中是基于像素(0，0)、(0，2)、(2，0)及(2，2)的水平活动的总和确定的。VB指4x4块的垂直活动，所述垂直活动在此实例中是基于像素(0，0)、(0，2)、(2，0)及(2，2)的水平活动的总和确定的。“＜＜1”表示乘以二操作。基于HB及VB的值，可确定方向。作为一个实例，如果HB的值大于VB的值的两倍，那么所述方向可确定为方向1(即，水平)，相比垂直活动，其可更对应于水平活动。如果VB的值大于HB的值的两倍，那么所述方向可确定为方向2(即，垂直)，相比水平活动，其可更对应于垂直活动。否则，方向可确定为方向0(即，无方向)，意谓水平及垂直活动皆不占主导。对各种方向的标示及用以确定方向的比率仅构成一个实例，因为还可使用其它标示及比率。
4x4块的活动(LB)可确定为水平及垂直活动的总和。可将LB的值分类成范围。此特定实例展示五个范围，但可类似地使用更多或更少的范围。基于活动及方向的组合，可选择用于4x4像素块的滤波器。作为一个实例，可基于活动及方向到滤波器的二维映射选择滤波器，或可将活动及方向组合成单个量度，且所述单个量度可用以选择滤波器(例如，量度＝活动+5*方向)。
返回到图3，块140表示4x4像素块。在此实例中，十六个像素中的仅四个像素用以计算用于基于块的ALF的活动及方向量度。四个像素为标示为像素141的像素(0，0)、标示为像素142的像素(2，0)、标示为像素143的像素(0，2)，及标示为像素144的像素(2，2)。举例来说，像素141的水平活动(即，hor_act(0，0))是基于左相邻像素及右相邻像素确定的。右相邻像素被标示为像素145。左相邻像素位于不同于4x4块的块中，且未展示于图3中。举例来说，像素142的垂直活动(即，ver_act(2，0))是基于上相邻像素及下相邻像素确定的。下相邻像素被标示为像素146，且上相邻像素位于不同于4x4块的块中，且未展示于图3中。可以类似方式计算像素143及144的水平及垂直活动。
在对HEVC标准的一个提议中，ALF与其它环路滤波器(例如，解块(DB)及SAO)一起被执行。当在输出视频数据作为像素数据以供显示之前由视频译码装置将滤波器应用于视频数据时，滤波器可据说“在环路内”被执行。以此方式，在环路内滤波的视频数据可用于由随后译码的视频数据参考。此外，视频编码器及视频解码器两者可经配置以执行实质上相同的滤波过程。环路滤波器是按以下次序来处理的：DB、SAO、ALF。在HEVC的一个WD中，环路滤波器中的每一者是基于帧的。然而，如果在切片层级(包含熵切片)处或在平铺块层级处应用环路滤波器中的任一者，那么特殊环路滤波器处理在切片及平铺块边界处可为有益的。独立地对熵切片熵译码，但其使用不同切片之间的相关像素处理(例如，帧内预测)。
图4为展示帧的实例平铺块的概念图。帧160可划分成多个最大译码单元(LCU)161。两个或两个以上LCU可分组成矩形形状平铺块。当能够进行基于平铺块的译码时，在对后续平铺块译码之前对每一平铺块内的译码单元一起译码(即，编码或解码)。如帧160所示，平铺块162及163以水平方式定向，且具有水平及垂直边界两者。如帧170所示，平铺块171及173以垂直方式定向，且具有水平及垂直边界两者。
图5为展示帧的实例切片的概念图。帧180可划分成由多个连续LCU(182)按横跨帧的光栅扫描次序构成的切片。在一些实例中，切片可具有均一形状(例如，切片181)，且包含帧中的LCU的一个或一个以上完整行。在其它实例中，切片经界定为按光栅扫描次序的特定数目个连续LCU，且可展现出不均一形状。举例来说，帧190划分成由10个连续LCU(182)按光栅扫描次序构成的切片191。因为帧190的宽仅为8个LCU，所以下一行中的额外两个LCU包含于切片191中。
应注意，在一些情况下，切片及平铺块边界可重合(即，其直接重叠)。本发明的技术适用于切片及平铺块边界重合的情形，以及切片及平铺块边界不重合的情形。
图6为描绘在切片及平铺块边界处的环路滤波器的概念图。水平切片及/或平铺块边界201被描绘为水平线，且处置平铺块边界202被描绘为垂直线。图6中的滤波器掩模200的填满的圈(即，圆点)表示滤波器的系数(即，权重)，其被应用于切片及/或平铺块中的经重建构的视频块的像素。即，滤波器的系数的值可应用于对应像素的值，以使得对应的值乘以系数值以产生加权像素值。像素值可包含辉度值及一个或一个以上色度值。假设滤波器的中心定位于待滤波的像素的位置处(或在其附近)，滤波系数据说可对应于与系数的位置搭配的像素。对应于滤波器的系数的像素还可被称作“支持像素”或被统称为滤波器的“支持集”。当前像素203的经滤波的值(对应于中心像素掩模系数CO)通过将滤波器掩模200中的每一系数乘以其对应像素的值及对每一所得值求和来计算。
在本发明中，术语“滤波器”通常指滤波系数的集合。举例来说，3x3滤波器可由9个滤波系数的集合界定，5x5滤波器可由25个滤波系数的集合界定，9x5滤波器可由45个滤波系数的集合界定等等。图6中所示的滤波器掩模200为具有在水平方向的7个滤波系数及在垂直方向的5个滤波系数的7x5滤波器(中心滤波系数在每一方向计数)，然而任何数目个滤波系数可适用于本发明的技术。术语“滤波器集合”通常指一个以上滤波器的群组。举例来说，两个3x3滤波器的集合可包含9个滤波系数的第一集合及9个滤波系数的第二集合。有时被称作“滤波器支持”的术语“形状”通常指特定滤波器的滤波系数的行数及滤波系数的列数。举例来说，9x9为第一形状的实例，7x5为第二形状的实例，且5x9为第三形状的实例。在一些情况下，滤波器可采取非矩形形状，包含菱形形状、类菱形形状、圆形形状、类圆形形状、六边形形状、八边形形状、十字形、X形、T形、其它几何形状或众多其它形状或配置。图6中的实例为十字形，然而可使用其它形状。在最常见状况下，滤波器掩模中的中央像素中的中心像素为经滤波的像素，而不管滤波器的形状。在其它实例中，滤波器像素从滤波器掩模的中心偏移。
在一些视频译码技术中，横跨切片及/或平铺块边界停用环路滤波(例如，解块、ALF及SAO)。这是因为相邻切片及/或平铺块中的像素可尚未经译码，且因此将不可用于供一些滤波器掩模使用。在这些状况下，填充数据用于不可用像素(即，在切片或平铺块边界的不同于当前切片或平铺块的另一侧上的像素)，且不执行滤波。使用所述填充数据可降低在切片及/或平铺块边界周围的图像的质量。
考虑到缺点，本发明提出用于执行沿着切片及平铺块边界的环路滤波的技术。本发明的技术可供用于视频译码的任何类型的环路滤波器使用，例如ALF、解块及SAO滤波器。一股来说，本发明提出使用在切片及平铺块边界周围的部分滤波器。部分滤波器为不使用通常用于滤波过程的一个或一个以上滤波系数的滤波器。在一个实例中，本发明提出使用部分滤波器，其中至少不使用对应于切片及/或平铺块边界的另一侧上的像素的滤波系数。因此，在一些实例中，不需要为切片及/或平铺块边界的另一侧上的像素提供填充数据。而是，部分滤波器可经配置以省略切片及/或平铺块边界的另一侧上的像素。
在一个实例中，在切片及平铺块边界附近使用非对称部分滤波器。图7为描绘在水平边界处的非对称部分滤波器的概念图。图8为描绘在垂直边界处的非对称部分滤波器的概念图。在此方法中，如图7及8中所示，仅可用的像素(即，在当前切片及/或平铺块内的像素)用于滤波。跳过在平铺块或切片边界之外的滤波器分接头。因此，不使用填充像素数据。图7及图8中的滤波器被称作非对称的，这是因为在滤波器掩模的中心的一侧(水平或垂直侧)上比另一侧使用更多的滤波器分接头。因为不使用整个滤波器掩模，所以滤波系数可重新正规化以产生所要结果。下文将更详细论述用于重新正规化的技术。
在图7的状况1中，滤波器掩模220的中心221为远离水平切片或平铺块边界的一个像素行。因为滤波器掩模220为7x5滤波器，所以在垂直方向上的一个滤波系数对应于在水平边界之上的像素。此滤波系数用白色描绘，即作为空的圈。对应于白色滤波系数的像素不可用于滤波，因为其尚未被译码(例如，编码或解码)。因此，不使用对应于所述像素的滤波系数。同样，在状况2中，滤波器掩模225的中心222在邻近于水平切片及/或平铺块边界的像素行上。在此状况下，两个滤波系数对应于在水平边界之上的像素。因此，滤波器掩模225中的两个白色滤波系数皆不用于环路滤波。在状况1及状况2两者中，使用所有黑色(即，填满的圈)滤波系数。应注意，根据本发明滤波像素值可包含滤波像素值的辉度分量、滤波像素值的色度分量或滤波像素值的辉度及色度分量两者。
在图8的状况3中，滤波器掩模235的中心234为远离垂直平铺块边界的两个像素列。因为滤波器掩模234为7x5滤波器，所以在水平方向上的一个滤波系数对应于在垂直边界之上的像素。再次，用白色来描绘此滤波系数。对应于白色滤波系数的像素不可用于滤波，因为其尚未被译码(例如，编码或解码)。因此，不使用对应于所述像素的滤波系数。类似地，在状况4中，滤波器掩模233的中心232为远离垂直平铺块边界的一个像素列。在此状况下，两个滤波系数对应于在垂直边界之上的像素。因此，滤波器掩模232中的两个白色滤波系数皆不用于环路滤波。在状况5中，滤波器掩模231的中心230在邻近于垂直平铺块边界的像素列上。在此状况下，三个滤波系数对应于在垂直边界之上的像素。因此，滤波器掩模230中的三个白色滤波系数皆不用于环路滤波。在所有的状况1、2或3中，使用所有黑色滤波系数。
在另一实例中，在切片及平铺块边界附近使用对称部分滤波器。图9为描绘水平边界处的对称部分滤波器的概念图。图10为描绘垂直边界处的对称部分滤波器的概念图。与非对称部分滤波器一样，在此方法中，仅可用的像素用于滤波。即，跳过在平铺块或切片边界之外的滤波器分接头。因此，不使用填充的像素数据。而且，也不使用滤波器掩模的在当前切片或平铺块内的一些系数，以便保留非对称滤波器掩模。
举例来说，在图9的状况6下，滤波器掩模240中的一个滤波系数在水平切片或平铺块边界之外。也不使用滤波器掩模的另一侧上的水平边界内的对应滤波系数。以此方式，保持在中心系数241周围的垂直方向上的系数的对称布置。在图9的状况7中，滤波器掩模242中的两个滤波系数横跨水平边界。也不使用在水平边界内的中心滤波系数243的另一侧上的对应两个滤波系数。图10中展示垂直平铺块边界的类似实例。在状况8中，一个滤波系数对应于横跨垂直平铺块边界的像素。不使用此系数以及在滤波器掩模250的水平部分的左侧处的另一像素来维持中心系数251周围的对称性。在其中两个(状况9)及四个(状况10)滤波系数对应于横跨垂直边界的像素的状况下，对滤波器掩模252及254进行类似滤波器掩模调整。在状况9及10中展示，分别在中心系数253及255周围维持对称性。
如同图7及图8中所示的非对称部分滤波器，整个滤波器掩模不同于非对称部分滤波器。因此，可使滤波系数重新正规化。下文将更详细论述用于重新正规化的技术。
重申一下，对于图6到10中所示的滤波器掩模中的每一者，通过将滤波系数(由掩模中的暗圈表示)与关联像素值相乘及接着将相乘的值相加在一起来计算对应于滤波器掩模的中心的像素的经滤波值。
是否应用部分滤波器(例如，非对称部分滤波器或对称部分滤波器)可为自适应决定。对于图7及图9中所示的实例，部分滤波器可用于状况1及状况6，但不用于状况2及状况7。将部分滤波器用于状况2及状况7可以不是优选的，因为未使用的滤波系数的数目较大。替代地，下文所描述的其它技术(例如，镜像填充、跳过滤波等)可用于状况2及状况7。同样，对于图8及图10中所示的实例，部分滤波的使用可适用于状况3、4、8及9，但不适用于状况5及10。
由译码器(即，编码器或解码器)作出的使用部分滤波器的决定还可基于其它准则。举例来说，当对应像素不可用的系数的数目大于某一阈值时可不使用部分滤波器。当对应像素不可用的系数值的总和大于某一阈值时可不使用部分滤波器。作为另一实例，当对应像素不可用的系数值的绝对值的总和大于某一阈值时可不使用部分滤波器。
·对应像素不可用的系数的数目＞Th1
·Sum(对应像素不可用的系数)＞Th2
·Sum(abs(对应像素不可用的系数))＞Th3。
可选择以上条件的子集以决定是否将部分滤波器应用于平铺块边界的特定切片。在以上条件中，对应像素为具有像素值的像素，对所述像素值将应用特定系数以加权像素值，例如作为像素值的加权总和的部分以产生当前像素的经滤波的像素值。
在本发明的另一实例中，可仅对水平切片及平铺块边界启用部分滤波。然而，在垂直边界处，可完全跳过环路滤波。更具体来说，在一个实例中，如果视频译码器确定环路滤波器掩模将使用在垂直平铺块边界的另一侧上的像素，那么将跳过所述像素的环路滤波。在其它实例中，如果视频译码器确定环路滤波器掩模将使用在垂直平铺块边界的另一侧上的像素对应于译码单元中的一个或一个以上像素，那么将跳过整个译码单元的环路滤波。
在本发明的其它实例中，当不使用部分滤波时，可在切片及平铺块边界处应用额外技术。在一个实例中，环路滤波技术可使用在切片或平铺块边界的另一侧上的镜像填充像素，而非使用重复填充像素。镜像像素反映在切片或平铺块边界的内侧上的像素值。举例来说，如果不可用像素邻近于平铺块或切片边界(即，在平铺块或切片边界之外)，那么其将采用在平铺块或切片边界的内侧上的也邻近于边界的像素的值(即，镜)。同样，如果不可用像素为远离平铺块或切片边界的一行或一列，那么其将采用在平铺块或切片边界的内侧上的也为远离边界的一行或一列的像素的值(即，镜)，等等。
在另一实例中，在平铺块或切片边界的另一侧上的像素的经滤波的值可根据以下等式来计算：a*使用填充数据a的环路滤波器+b*预先经滤波的输出，其中a+b＝1。即，填充像素(即，与切片或平铺块边界的另一侧相加的像素)乘以对应于填充像素的环路滤波系数且乘以常量“a”。此值接着与预先经滤波的填充像素值与常量“b”的乘相加，其中a+b＝1。值a及b为基于训练的预定义值，且通常为0.5及0.5。
可以不同方式实现对称及非对称部分滤波器的滤波系数的重新正规化。一股来说，重新正规化过程重新计算部分滤波器掩模中的剩余滤波系数的值，以使得剩余滤波系数的总值等于原始滤波系数的总值。此总值经常为1。考虑原始滤波系数被标示为C_1，...，C_N的实例，其中C为特定系数的值。现假设C_1，...，C_M系数不具有可用对应像素(即，对应像素横跨切片或平铺块边界)。重新正规化的滤波系数可如下定义：
实例1
Coeff_all＝C_1+C_2+...+C_N
Coeff_part＝Coeff_all-(C_1+...+C_M)
New_coeffs C_i′＝C_i*Coeff_all/Coeff_part，i＝M+1，...，N
在实例1中，Coeff_all表示一起求和的滤波器掩模中的所有系数的值。Coeff_part表示部分滤波器掩模中的所有系数的值。即，从滤波器掩模中的所有可能系数的总和(Coeff_all)减去对应于不可用像素的系数的求和值(C_1+...+C_M)。New_coeffs_Ci′表示在重新正规化过程之后的部分系数中的滤波系数的值。在上文实例1中，部分滤波器中剩余的系数的值乘以滤波器掩模中所有可能系数的总值(Coeff_all)且除以部分滤波器掩模中的所有系数的总值(Coeff_part)。
下文实例2展示用于使部分滤波器中的滤波系数重新正规化的另一技术。
实例2
对于C_i(i＝M+1，...，N)加上C_k(k＝1，...，M)的子集
例如，
a.C_(M+1)′＝C_(M+1)+C_1，C_(M+2)′＝C_(M+2)+C_3，...或
b.C_L′＝C_L+(C_1+C_2+...+C_M)
在此实例中，通过将跳过的滤波器分接头的系数(C_k)与未经跳过的滤波器分接头的系数(C_i)相加而使滤波系数重新正规化。
图11为说明视频编码器20的实例的框图，所述视频编码器可使用用于视频译码过程中的环路滤波的技术，如本发明中所描述。视频编码器20将在HEVC译码的上下文中出于说明的目的而予以描述，但不限制本发明以便其它译码标准或方法可需要环路滤波。视频编码器20可执行视频帧内的CU的帧内译码及帧问译码。帧内译码依赖于空间预测以减少或移除给定视频帧内的视频数据中的空间冗余。帧问译码依赖于时间预测以减少或移除当前帧与视频序列的先前译码的帧之间的时间冗余。帧内模式(I模式)可指若干基于空间的视频压缩模式中的任一者。帧问模式(例如，单向预测(P模式)或双向预测(B模式))可指若干基于时间的视频压缩模式中的任一者。
如图11所示，视频编码器20接收视频帧内的待编码的当前视频块。在图11的实例中，视频编码器20包含运动补偿单元44、运动估计单元42、帧内预测模块46、参考帧缓冲器64、求和器50、变换模块52、量化单元54及熵编码单元56。图11中所说明的变换模块52为将实际变换或变换的组合应用于残余数据块的单元，且将不与也可被称作CU的变换单元(TU)的变换系数块混淆。对于视频块重建，视频编码器20还包含反量化单元58、反变换模块60、求和器62和环路滤波器单元43。环路滤波器单元43可包含解块滤波器单元、SAO滤波器单元及ALF滤波器单元中的一者或一者以上。
在编码过程期间，视频编码器20接收待译码的视频帧或切片。帧或切片可划分为多个视频块，例如最大译码单元(LCU)。运动估计单元42和运动补偿单元44相对于一个或一个以上参考帧中的一个或一个以上块执行对所接收的视频块的帧问预测译码以提供时间压缩。帧内预测模块46可相对于与待译码的块在同一帧或切片中的一个或一个以上相邻块执行对所接收的视频块的帧内预测译码以提供空间压缩。
模式选择单元40可例如基于每一模式的速率失真结果选择译码模式(帧内或帧问)中的一者，及将所得经帧内或帧问预测块(例如，预测单元(PU))提供到求和器50以产生残余块数据，及提供到求和器62以重建构用于参考帧中的经编码的块。求和器62将经预测的块与来自块的反变换模块60的经反量化反变换数据组合以重建构经编码的块，如下文更详细所描述。一些视频帧可表示为I帧，其中I帧中的所有块在帧内预测模式中编码。在一些状况下，帧内预测模块46可执行P或B帧中的块的帧内预测编码，例如当由运动估计单元42执行的运动搜索不产生块的充分预测时。
运动估计单元42与运动补偿单元44可高度集成，但出于概念上的目的而分开予以说明。运动估计(或运动搜索)是产生估计视频块的运动的运动向量的过程。举例来说，运动向量可指示当前帧中的预测单元相对于参考帧的参考样本的移位。运动估计单元42通过比较预测单元与存储于参考帧缓冲器64中的参考帧的参考样本来计算用于经帧问译码的帧的预测单元的运动向量。参考样本可为块，所述块是经发现在像素差方面密切地匹配包含经译码的PU的CU的部分，其可通过绝对差总和(SAD)、平方差总和(SSD)或其它差量度来确定。参考样本可在参考帧或参考切片内的任何地方出现，且不一定在参考帧或切片的块(例如，译码单元)边界处。在一些实例中，参考样本可在分数像素位置处出现。
运动估计单元42将经计算的运动向量发送到熵编码单元56及运动补偿单元44。由运动向量识别的参考帧的部分可被称作参考样本。运动补偿单元44可例如通过检索由PU的运动向量识别的参考样本计算当前CU的预测单元的预测值。
帧内预测模块46可帧内预测所接收的块，作为由运动估计单元42及运动补偿单元44执行的帧问预测的替代。帧内预测模块46可与相邻先前译码的块(例如，假设块的从左到右从上到下的编码次序，在当前块上方、右上方、左上方或左方的块)相关地预测所接收的块。帧内预测模块46可经配置以具有多种不同帧内预测模式。举例来说，帧内预测模块46可经配置以具有基于经编码的CU的大小的某一数目个方向预测模式，例如35个方向预测模式。
帧内预测模块46可通过例如计算各种帧内预测模式的误差值及选择产生最低误差值的模式来选择帧内预测模式。方向预测模式可包含用于组合空间上相邻的像素的值及将组合的值应用于PU中的一个或一个以上像素位置的功能。一旦已计算PU中的所有像素位置的值，帧内预测模块46便可基于PU与待编码的所接收的块之间的像素差计算预测模式的误差值。帧内预测模块46可继续测试帧内预测模式直到发现产生可接受的误差值的帧内预测模式为止。帧内预测模块46接着可将PU发送到求和器50。
视频编码器20通过从经译码的原始视频块减去由运动补偿单元44或帧内预测模块46计算的预测数据来形成残余块。求和器50表示执行此减法运算的一个或一个以上组件。残余块可对应于像素差值的二维矩阵，其中残余块中的值的数目与对应于残余块的PU中的像素的数目相同。残余块中的值可对应于PU中及待译码的原始块中的同置像素的值之间的差，即误差。差可取决于经译码的块的类型而为辉度或色度差。
变换模块52可从残余块形成一个或一个以上变换单元(TU)。变换模块52从多个变换当中选择变换。变换可基于一个或一个以上译码特性(例如，块大小、译码模式等)来选择。变换模块52接着将选定变换应用于TU，产生包括变换系数的二维阵列的视频块。变换模块52可在经编码的视频位流中用信号发出选定变换分割区。
变换模块52可将所得变换系数发送到量化单元54。量化单元54接着可量化变换系数。熵编码单元56接着可根据扫描模式执行矩阵中的经量化的变换系数的扫描。本发明将熵编码单元56描述为执行扫描。然而，应理解，在其它实例中，例如量化单元54等其它处理单元可执行扫描。
一旦将变换系数扫描成一维阵列，熵编码单元56便可将熵译码(例如，CAVLC、CABAC、基于语法的上下文自适应二进制算法译码(SBAC)或另一熵译码方法)应用于系数。
为了执行CAVLC，熵编码单元56可选择用于待发射的符号的可变长度码。可建构VLC中的码字以使得相对较短的码对应于更大可能的符号，而较长的码对应于更小可能的符号。以此方式，VLC的使用可(例如)使用用于待发射的每一符号的相等长度码字而达成位节省。
为了执行CABAC，熵编码单元56可选择上下文模型应用于某一上下文以对待发射的符号编码。举例来说，上下文可涉及相邻值是否为非零。熵编码单元56还可对语法元素熵编码，例如表示选定变换的信号。根据本发明的技术，熵编码单元56可基于(例如)用于帧内预测模式的帧内预测方向、对应于语法元素的系数的扫描位置、块类型及/或变换类型以及用于上下文模型选择的其它因素来选择用以对语法元素编码的上下文模型。
在由熵编码单元56进行熵译码之后，可将所得经编码的视频发射到另一装置(例如，视频解码器30)或存档以供稍后发射或检索。
在一些状况下，熵编码单元56或视频编码器20的另一单元可经配置以执行除了熵译码之外的其它译码功能。举例来说，熵编码单元56可经配置以确定CU及PU的经译码的块模式(CBP)值。而且，在一些状况下，熵编码单元56可执行系数的行程长度译码。
反量化单元58和反变换模块60分别应用反量化和反变换，以重建像素域中的残余块，(例如)以用于稍后用作参考块。运动补偿单元44可通过将残余块与参考帧缓冲器64的帧中的一者的预测块相加来计算参考块。运动补偿单元44也可将一个或一个以上内插滤波器应用于经重构的残余块来计算子整数像素值以用于运动估计。求和器62将经重建的残余块与由运动补偿单元44所产生的经运动补偿的预测块相加以产生经重建的视频块。
环路滤波器单元43接着可根据上文所描述的技术对经重建构的块执行环路滤波。在本发明的实例中，环路滤波器单元43(单独地或与视频编码器20的其它组件一起)可经配置以执行视频译码过程中的环路滤波。举例来说，环路滤波器单元43可经配置以针对经重建构的块的当前像素确定对应于环路滤波器的滤波器掩模的滤波系数的一个或一个以上像素横跨切片或平铺块边界中的一者，及使用部分环路滤波器(例如，根据本发明的实例的对称或非对称部分环路滤波器)对当前像素执行环路滤波。
在一个实例中，环路滤波器单元43可经进一步配置以：从所述滤波器掩模移除对应于横跨所述切片或平铺块边界的所述一个或一个以上像素的所述滤波系数；及使用所述滤波器掩模中的剩余滤波系数创建用于所述部分环路滤波器的部分滤波器掩模。环路滤波器单元43还可使所述部分滤波器掩模重新正规化，其中执行环路滤波包括使用具有所述重新正规化的部分滤波器掩模的所述部分环路滤波器对所述当前像素执行环路滤波。
在另一实例中，环路滤波器单元43可经进一步配置以：从所述滤波器掩模移除对应于横跨所述切片或平铺块边界的所述一个或一个以上像素的第一滤波系数；移除对应于所述切片及平铺块边界的内侧上的像素的第二滤波系数，以便维持关于所述经移除的第一滤波系数对称的滤波器掩模；及使用所述滤波器掩模中的剩余滤波系数创建用于所述部分环路滤波器的部分滤波器掩模。
在滤波像素之后，使用本发明中所描述的环路滤波技术，接着将经滤波的经重建构的视频块存储于参考帧缓冲器64中。经重建的视频块可由运动估计单元42和运动补偿单元44用作用于对后续视频帧中的块进行帧问译码的参考块。以此方式，环路滤波器单元43表示根据本发明的技术(例如，如参看图6到10所描述)的执行视频数据的环路内滤波的滤波单元的实例。
图12为说明对经编码的视频序列解码的视频解码器30的实例的框图。在图12的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测模块74、反量化单元76、反变换单元78、参考帧缓冲器82、环路滤波器单元79和求和器80。视频解码器30在一些实例中可执行一股与关于视频编码器20(见图11)所描述的编码遍次互逆的解码遍次。
熵解码单元70对经编码的位流执行熵解码过程以检索变换系数的一维阵列。所使用的熵解码过程取决于由视频编码器20使用的熵译码(例如，CABAC、CAVLC等)。由编码器使用的熵译码过程可在经编码的位流中用信号发出，或可为预定过程。
在一些实例中，熵解码单元70(或反量化单元76)可使用与由视频编码器20的熵编码单元56(或量化单元54)使用的扫描模式镜像对称的扫描来扫描所接收的值。尽管可在反量化单元76中执行系数的扫描，但扫描将出于说明的目的而被描述成由熵解码单元70执行。另外，尽管为了说明容易起见展示为单独功能单元，但熵解码单元70、反量化单元76及视频解码器30的其它单元的结构及功能性可彼此高度集成。
反量化单元76将提供于位流中且由熵解码单元70解码的经量化的变换系数反量化(即，解量化)。反量化过程可包含常规过程，例如类似于对HEVC所提出或由H.264解码标准定义的过程。反量化过程可包含由视频编码器20针对CU计算的量化参数QP的使用以确定量化的程度，且同样确定应被应用的反量化的程度。反量化单元76可在将系数从一维阵列转变为二维阵列之前或之后反量化变换系数。
反变换模块78将反变换应用于经反量化的变换系数。在一些实例中，反变换模块78可基于来自视频编码器20的发信或通过从一个或一个以上译码特性(例如，块大小、译码模式等)推断变换来确定反变换。在一些实例中，反变换模块78可基于在包含当前块的LCU的四分树的根节点处的用信号发出的变换确定待应用于当前块的变换。或者，可在LCU四分树中的叶节点CU的TU四分树的根处用信号发出变换。在一些实例中，反变换模块78可应用级联反变换，其中反变换模块78将两个或两个以上反变换应用于经解码的当前块的变换系数。
帧内预测模块74可基于用信号发出的帧内预测模式及来自当前帧的先前经解码的块的数据，产生用于当前帧的当前块的预测数据。
基于经检索的运动预测方向、参考帧索引及计算的当前运动向量，运动补偿单元产生用于当前部分的经运动补偿的块。这些经运动补偿的块基本上重新创建用以产生残余数据的预测块。
运动补偿单元72可产生经运动补偿的块，可能执行基于内插滤波器的内插。待用于具有子像素精度的运动估计的内插滤波器的识别符可包含在语法元素中。运动补偿单元72可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插值。运动补偿单元72可根据所接收的语法信息来确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测块。
另外，在HEVC实例中，运动补偿单元72及帧内预测模块74可使用语法信息中的一些(例如，由四分树提供)以确定用以对经编码的视频序列的帧编码的LCU的大小。运动补偿单元72及帧内预测模块74还可使用语法信息来确定分裂信息，所述分裂信息描述经编码的视频序列的帧的每一CU分裂的方式(及同样，子CU分裂的方式)。语法信息还可包含指示如何对每一分裂编码的模式(例如，帧内或帧问预测，且对于帧内预测而言为帧内预测编码模式)、每一经帧问编码的PU的一个或一个以上参考帧(及/或参考列表)，及用以对经编码的视频序列解码的其它信息。
求和器80将残余块与由运动补偿单元72或帧内预测模块74产生的对应预测块组合以形成经解码的块。环路滤波器单元79接着根据上文所描述的技术执行环路滤波。
在本发明的实例中，环路滤波器单元79(单独地或与视频解码器30的其它组件一起)可经配置以执行视频译码过程中的环路滤波。环路滤波可包含解块、ALF及SAO滤波中的一者或一者以上。举例来说，环路滤波器单元79可经配置以：针对当前像素，确定对应于环路滤波器的滤波器掩模的滤波系数的一个或一个以上像素横跨切片或平铺块边界中的一者；及使用部分环路滤波器对所述当前像素执行环路滤波。
在一个实例中，环路滤波器单元79可经进一步配置以：从所述滤波器掩模移除对应于横跨所述切片或平铺块边界的所述一个或一个以上像素的所述滤波系数；及使用所述滤波器掩模中的剩余滤波系数创建用于所述部分环路滤波器的部分滤波器掩模。环路滤波器单元79还可使所述部分滤波器掩模重新正规化，其中执行环路滤波包括使用具有所述重新正规化的部分滤波器掩模的所述部分环路滤波器对所述当前像素执行环路滤波。
在另一实例中，环路滤波器单元79可经进一步配置以：从所述滤波器掩模移除对应于横跨所述切片或平铺块边界的所述一个或一个以上像素的第一滤波系数；移除对应于所述切片及平铺块边界的内侧上的像素的第二滤波系数，以便维持关于所述经移除的第一滤波系数对称的滤波器掩模；及使用所述滤波器掩模中的剩余滤波系数创建用于所述部分环路滤波器的部分滤波器掩模。
接着将经解码的视频块存储于参考帧缓冲器82中，参考帧缓冲器82提供用于帧问预测译码的后续运动补偿的参考块且还产生用于在显示装置(例如，图1的显示装置32)上呈现的经解码的视频。以此方式，环路滤波器单元79表示根据本发明的技术(例如，如参看图6到10所描述)的执行视频数据的环路内滤波的滤波单元的实例。
图13为描绘根据本发明的环路滤波的实例方法的流程图。图13中所示的技术可由视频编码器20或视频解码器30(通常由视频译码器)实施。视频译码器可经配置以针对当前像素，确定对应于环路滤波器的滤波器掩模的滤波系数的一个或一个以上像素横跨切片或平铺块边界中的一者(820)。视频译码器可经进一步配置以从滤波器掩模移除对应于横跨切片或平铺块边界的一个或一个以上像素的第一滤波系数(822)。在此状况下，形成非对称部分滤波器。视情况地，视频译码器可经进一步配置以移除对应于切片及平铺块边界的内侧上的像素的第二滤波系数，以便维持关于经移除的第一滤波系数对称的滤波器掩模(824)。
视频译码器可经进一步配置以使用滤波器掩模中的剩余滤波系数创建用于部分环路滤波器的部分滤波器掩模(826)，及使部分滤波器掩模重新正规化(828)。使滤波系数重新正规化可包含重新计算部分滤波器掩模中的剩余滤波系数的值以使得剩余滤波系数的总值等于全滤波器掩模中的滤波系数的总值。此总值经常为1。视频译码器接着使用具有重新正规化的部分滤波器掩模的部分环路滤波器对当前像素执行环路滤波(830)。
在一些实例中，视频译码器可经进一步配置以针对当前像素确定对应于用于环路滤波器的滤波器掩模的滤波系数的一个或一个以上像素横跨垂直平铺块边界，及跳过执行当前像素的环路滤波。
在一个或一个以上实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么功能可作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体传输，且由基于硬件的处理单元执行。计算机可读媒体可包含对应于例如数据存储媒体等有形媒体的计算机可读存储媒体，或包含促进计算机程序例如根据通信协议从一处传送到另一处的任何媒体的通信媒体。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波等通信媒体。数据存储媒体可以是可由一个或一个以上计算机或一个或一个以上处理器存取以检索用于实施本发明中所述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
举例来说且并非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来以指令或数据结构的形式存储所要程序代码且可由计算机存取的任何其它媒体。而且，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它暂态媒体，而是改为针对非暂态、有形的存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和蓝光光盘，其中磁盘通常磁性地复制数据，而光盘使用激光光学地复制数据。上文的组合也应包含在计算机可读媒体的范围内。
可由一个或一个以上处理器来执行指令，例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文描述的功能性可提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或并入在组合式编解码器中。而且，可将所述技术完全实施于一个或一个以上电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述了各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但不一定要求通过不同硬件单元来实现。而是，如上所述，各种单元可在编解码器硬件单元中组合或由互操作硬件单元(包含如上所述的一个或一个以上处理器)的集合结合合适软件和/或固件来提供。
已描述了各种实例。这些及其它实例属于所附权利要求书的范围内。

Claims (19)

1.一种用于执行视频译码过程中的自适应环路滤波的方法，所述方法包括：
接收用于自适应环路滤波器的滤波器掩模的滤波器系数；
针对第一像素，确定对应于所述滤波器掩模的滤波器系数的所有像素都在一边界内；
基于确定对应于所述滤波器掩模的所述滤波器系数的所有像素都在所述边界内，使用所述滤波器掩模的所有滤波器系数对所述第一像素执行自适应环路滤波；
针对第二像素，确定对应于所述滤波器掩模的滤波系数的一个或多个像素横跨一边界，所述边界包括第一切片和第二切片之间的切片边界或第一平铺块和第二平铺块之间的平铺块边界中的一者；
基于确定对应于所述滤波器掩模的所述滤波系数的一个或多个像素的第二群组横跨所述边界，界定部分自适应环路滤波器，其中界定所述部分自适应环路滤波器包括：
从所述滤波器掩模移除对应于横跨所述边界的所述一个或多个像素的第一滤波系数；
从所述滤波器掩模移除对应于所述边界的内侧上的像素的第二滤波系数的至少一部分，所述至少一部分足够维持相对于经移除的第一滤波系数的对称滤波器掩模；及
使用没有从所述滤波器掩模移除的滤波系数创建用于所述部分自适应环路滤波器的部分滤波器掩模，其中所述部分滤波器掩模界定所述部分自适应环路滤波器；及
使用所述部分自适应环路滤波器对所述第二像素执行自适应环路滤波。
2.根据权利要求1所述的方法，其中界定所述部分自适应环路滤波器包括：
使所述部分滤波器掩模重新正规化，其中执行自适应环路滤波包括使用具有所述重新正规化的部分滤波器掩模的所述部分自适应环路滤波器对所述第二像素执行自适应环路滤波。
3.根据权利要求1所述的方法，其中所述视频译码过程为视频编码过程，所述方法进一步包括：
对视频数据块编码以形成经编码的视频数据块；及
重建构所述经编码的视频数据块以形成经重建构的视频数据块，其中所述第二像素在所述经重建构的视频数据块内。
4.根据权利要求1所述的方法，其中所述视频译码过程为视频解码过程，所述方法进一步包括：
接收经编码的视频数据块；及
执行预测过程以形成经重建构的视频数据块，其中所述第二像素在所述经重建构的视频数据块内。
5.根据权利要求1所述的方法，
其中，针对所述第二像素确定对应于用于所述自适应环路滤波器的所述滤波器掩模的所述滤波系数的所述一个或多个像素横跨所述边界包括：确定所述第二像素位于所述第一切片或所述第一平铺块中的一者中，且对应于用于所述自适应环路滤波器的所述滤波器掩模的所述滤波系数的所述一个或多个像素位于所述第二切片或所述第二平铺块中的一者中。
6.根据权利要求1所述的方法，其进一步包括：
在无线通信装置的接收器处接收包括所述滤波器系数的视频数据；
将所述滤波器系数存储在所述无线通信装置的存储器上；及
在所述无线通信装置的一个或多个处理器上处理所述视频数据。
7.根据权利要求6所述的方法，其中所述无线通信装置包括电话手持机，且其中在所述无线通信装置的所述接收器处接收所述视频数据包括：根据无线通信标准解调包括所述视频数据的信号。
8.一种经配置以执行视频译码过程中的自适应环路滤波的设备，所述设备包括：
视频译码器，其经配置以：
接收用于自适应环路滤波器的滤波器掩模的滤波器系数；
针对第一像素，确定对应于所述滤波器掩模的滤波器系数的所有像素都在一边界内；
基于确定对应于所述滤波器掩模的所述滤波器系数的所有像素都在所述边界内，使用所述滤波器掩模的所有滤波器系数对所述第一像素执行自适应环路滤波；
针对第二像素，确定对应于所述滤波器掩模的滤波系数的一个或多个像素横跨一边界，所述边界包括第一切片和第二切片之间的切片边界或第一平铺块和第二平铺块之间的平铺块边界中的一者；
基于确定对应于所述滤波器掩模的所述滤波系数的一个或多个像素的第二群组横跨所述边界，界定部分自适应环路滤波器，其中所述视频译码器进一步经配置以：
从所述滤波器掩模移除对应于横跨所述边界的所述一个或多个像素的第一滤波系数；
从所述滤波器掩模移除对应于所述边界的内侧上的像素的第二滤波系数的至少一部分，所述至少一部分足够维持相对于经移除的第一滤波系数的对称滤波器掩模；及
使用没有从所述滤波器掩模移除的滤波系数创建用于所述部分自适应环路滤波器的部分滤波器掩模，其中所述部分滤波器掩模界定所述部分自适应环路滤波器；及
使用所述部分自适应环路滤波器对所述第二像素执行自适应环路滤波。
9.根据权利要求8所述的设备，其中所述视频译码器经进一步配置以：
使所述部分滤波器掩模重新正规化，其中执行自适应环路滤波包括使用具有所述重新正规化的部分滤波器掩模的所述部分自适应环路滤波器对所述第二像素执行自适应环路滤波。
10.根据权利要求8所述的设备，其中所述视频译码器为视频编码器，且其中所述视频编码器经进一步配置以：
对视频数据块编码以形成经编码的视频数据块；及
重建构所述经编码的视频数据块以形成经重建构的视频数据块，其中所述第二像素在所述经重建构的视频数据块内。
11.根据权利要求8所述的设备，其中所述视频译码器为视频解码器，且其中所述视频解码器经进一步配置以：
接收经编码的视频数据块；及
执行预测过程以形成经重建构的视频数据块，其中所述第二像素在所述经重建构的视频数据块内。
12.根据权利要求8所述的设备，
其中，为了针对所述第二像素确定对应于用于所述自适应环路滤波器的所述滤波器掩模的所述滤波系数的所述一个或多个像素横跨所述边界，所述视频译码器经进一步配置以确定所述第二像素位于所述第一切片或所述第一平铺块中的一者中，且对应于用于所述自适应环路滤波器的所述滤波器掩模的所述滤波系数的所述一个或多个像素位于所述第二切片或所述第二平铺块中的一者中。
13.根据权利要求8所述的设备，其中所述设备包括无线通信装置，且其中所述设备进一步包括经配置以接收视频数据的接收器。
14.根据权利要求13所述的设备，其中所述无线通信装置包括电话手持机，且其中所述接收器经配置以根据无线通信标准解调包括所述视频数据的信号。
15.一种经配置以执行视频译码过程中的自适应环路滤波的设备，所述设备包括：
用于接收用于自适应环路滤波器的滤波器掩模的滤波器系数的装置；
用于针对第一像素，确定对应于所述滤波器掩模的滤波器系数的所有像素都在一边界内的装置；
用于基于确定对应于所述滤波器掩模的所述滤波器系数的所有像素都在所述边界内，使用所述滤波器掩模的所有滤波器系数对所述第一像素执行自适应环路滤波的装置；
用于针对第二像素确定对应于所述滤波器掩模的滤波系数的一个或多个像素横跨一边界的装置，所述边界包括第一切片和第二切片之间的切片边界或第一平铺块和第二平铺块之间的平铺块边界中的一者；
用于基于确定对应于所述滤波器掩模的所述滤波系数的一个或多个像素的第二群组横跨所述边界而界定部分自适应环路滤波器的装置，其中所述用于界定所述部分自适应环路滤波器的装置包括：
用于从所述滤波器掩模移除对应于横跨所述边界的所述一个或多个像素的第一滤波系数的装置；
用于从所述滤波器掩模移除对应于所述边界的内侧上的像素的第二滤波系数的至少一部分的装置，所述至少一部分足够维持相对于经移除的第一滤波系数的对称滤波器掩模；及
用于使用没有从所述滤波器掩模移除的滤波系数创建用于所述部分自适应环路滤波器的部分滤波器掩模的装置，其中所述部分滤波器掩模界定所述部分自适应环路滤波器；及
用于使用所述部分自适应环路滤波器对所述第二像素执行自适应环路滤波的装置。
16.根据权利要求15所述的设备，其中所述用于界定所述部分自适应环路滤波器的装置包括：
用于使所述部分滤波器掩模重新正规化的装置，其中所述用于执行自适应环路滤波的装置包括用于使用具有所述重新正规化的部分滤波器掩模的所述部分自适应环路滤波器对所述第二像素执行自适应环路滤波的装置。
17.根据权利要求15所述的设备，其中所述视频译码过程为视频编码过程，所述设备进一步包括：
用于对视频数据块编码以形成经编码的视频数据块的装置；及
用于重建构所述经编码的视频数据块以形成经重建构的视频数据块的装置，其中所述第二像素在所述经重建构的视频数据块内。
18.根据权利要求15所述的设备，其中所述视频译码过程为视频解码过程，所述设备进一步包括：
用于接收经编码的视频数据块的装置；及
用于执行预测过程以形成经重建构的视频数据块的装置，其中所述第二像素在所述经重建构的视频数据块内。
19.根据权利要求15所述的设备，
其中，用于针对所述第二像素确定对应于用于所述自适应环路滤波器的所述滤波器掩模的所述滤波系数的所述一个或多个像素横跨所述边界的装置包括：用于确定所述第二像素位于所述第一切片或所述第一平铺块中的一者中，且对应于用于所述自适应环路滤波器的所述滤波器掩模的所述滤波系数的所述一个或多个像素位于所述第二切片或所述第二平铺块中的一者中的装置。
CN201280051439.6A 2011-10-21 2012-08-30 在视频译码中在切片边界或平铺块边界周围的环路滤波 Active CN104247434B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161550211P 2011-10-21 2011-10-21
US61/550,211 2011-10-21
US13/598,375 2012-08-29
US13/598,375 US9462298B2 (en) 2011-10-21 2012-08-29 Loop filtering around slice boundaries or tile boundaries in video coding
PCT/US2012/053176 WO2013058876A1 (en) 2011-10-21 2012-08-30 Loop filtering around slice boundaries or tile boundaries in video coding

Publications (2)

Publication Number Publication Date
CN104247434A CN104247434A (zh) 2014-12-24
CN104247434B true CN104247434B (zh) 2018-10-02

Family

ID=48135966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280051439.6A Active CN104247434B (zh) 2011-10-21 2012-08-30 在视频译码中在切片边界或平铺块边界周围的环路滤波

Country Status (8)

Country Link
US (1) US9462298B2 (zh)
EP (1) EP2769545B1 (zh)
JP (1) JP5876156B2 (zh)
KR (1) KR101607788B1 (zh)
CN (1) CN104247434B (zh)
ES (1) ES2677100T3 (zh)
HU (1) HUE038103T2 (zh)
WO (1) WO2013058876A1 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013060250A1 (en) * 2011-10-24 2013-05-02 Mediatek Inc. Method and apparatus for non-cross-tile loop filtering
US9432683B2 (en) * 2011-11-08 2016-08-30 Kt Corporation Method and apparatus for encoding image, and method and apparatus for decoding image
US9591331B2 (en) * 2012-03-28 2017-03-07 Qualcomm Incorporated Merge signaling and loop filter on/off signaling
WO2014078068A1 (en) * 2012-11-13 2014-05-22 Intel Corporation Content adaptive transform coding for next generation video
US20140341302A1 (en) * 2013-05-15 2014-11-20 Ce Wang Slice level bit rate control for video coding
CN104702963B (zh) * 2015-02-13 2017-11-24 北京大学 一种自适应环路滤波的边界处理方法及装置
CN108028937B (zh) 2015-09-25 2020-07-24 华为技术有限公司 视频运动补偿装置和方法
AU2015410095C1 (en) * 2015-09-25 2020-01-16 Huawei Technologies Co., Ltd. Adaptive sharpening filter for predictive coding
RU2696309C1 (ru) 2015-09-25 2019-08-01 Хуавэй Текнолоджиз Ко., Лтд. Устройство и способ компенсации движения видео
CN107925772B (zh) 2015-09-25 2020-04-14 华为技术有限公司 利用可选插值滤波器进行视频运动补偿的装置和方法
WO2017052405A1 (en) 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
US11563938B2 (en) * 2016-02-15 2023-01-24 Qualcomm Incorporated Geometric transforms for filters for video coding
JP6902604B2 (ja) 2017-04-06 2021-07-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置及び復号装置
WO2018225593A1 (ja) 2017-06-05 2018-12-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
WO2019131400A1 (ja) * 2017-12-26 2019-07-04 シャープ株式会社 画像フィルタ装置、画像復号装置、および画像符号化装置
CN109996069B (zh) 2018-01-03 2021-12-10 华为技术有限公司 视频图像编解码方法及设备
WO2019158812A1 (en) * 2018-02-16 2019-08-22 Nokia Technologies Oy A method and an apparatus for motion compensation
WO2019170259A1 (en) * 2018-03-09 2019-09-12 Huawei Technologies Co., Ltd. Method and apparatus for image filtering with adaptive multiplier coefficients
BR112020024142A2 (pt) 2018-06-29 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. método para processamento de vídeo, aparelho para codificação de dados de vídeo, meio de armazenamento e meio de gravação legíveis por computador não transitório
EP3794825A1 (en) 2018-06-29 2021-03-24 Beijing Bytedance Network Technology Co. Ltd. Update of look up table: fifo, constrained fifo
EP4322533A3 (en) 2018-06-29 2024-03-06 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in lut
TWI719525B (zh) 2018-06-29 2021-02-21 大陸商北京字節跳動網絡技術有限公司 Lut與amvp之間的交互
WO2020003282A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Managing motion vector predictors for video coding
CN114900694A (zh) 2018-06-29 2022-08-12 抖音视界(北京)有限公司 哪个查找表需要更新或不更新
EP3791586A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
JP7295230B2 (ja) 2018-06-29 2023-06-20 北京字節跳動網絡技術有限公司 スライス／タイル／ｌｃｕの行ごとのルックアップテーブルのリセット
JP7460617B2 (ja) 2018-06-29 2024-04-02 北京字節跳動網絡技術有限公司 Ｌｕｔ更新条件
TWI748202B (zh) 2018-07-02 2021-12-01 大陸商北京字節跳動網絡技術有限公司 Lamvr中取整和修剪的順序
CN111064961B (zh) 2018-09-12 2023-06-09 北京字节跳动网络技术有限公司 视频处理方法和装置
WO2020143741A1 (en) 2019-01-10 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Invoke of lut updating
CN113383554B (zh) * 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
CN113302937A (zh) 2019-01-16 2021-08-24 北京字节跳动网络技术有限公司 运动候选推导
SG11202109980WA (en) * 2019-03-11 2021-10-28 Huawei Tech Co Ltd Sub-picture level filtering in video coding
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
CN110147761A (zh) * 2019-05-20 2019-08-20 杭州电子科技大学 基于扩展卡尔曼滤波的卷积神经网络的道路损伤识别方法
CN114128264A (zh) * 2019-05-22 2022-03-01 弗劳恩霍夫应用研究促进协会 用于独立编码区域的无漂移填充和哈希的编码器和解码器，编码方法和解码方法
US20220417506A1 (en) * 2019-06-23 2022-12-29 Lg Electronics Inc. Deblocking filtering method and apparatus in video/image coding system
US11432015B2 (en) * 2019-07-11 2022-08-30 Qualcomm Incorporated Adaptive loop filtering across raster-scan slices
KR20220031002A (ko) * 2019-07-11 2022-03-11 삼성전자주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
US11303890B2 (en) * 2019-09-05 2022-04-12 Qualcomm Incorporated Reusing adaptive loop filter (ALF) sub-picture boundary processing for raster-scan slice boundaries
MX2022006734A (es) 2019-12-11 2022-06-09 Beijing Bytedance Network Tech Co Ltd Relleno de muestra para filtrado de circuito adaptivo de componente cruzado.
WO2021162494A1 (ko) * 2020-02-14 2021-08-19 엘지전자 주식회사 필터 가용 정보를 선택적으로 시그널링 하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20220163401A (ko) * 2020-03-29 2022-12-09 엘지전자 주식회사 인루프 필터링 기반 영상 코딩 장치 및 방법
WO2021197433A1 (en) * 2020-04-01 2021-10-07 Mediatek Inc. Method and apparatus for signaling slice partition information in image and video coding
JP2023531223A (ja) 2020-06-30 2023-07-21 北京字節跳動網絡技術有限公司 適応ループフィルタリングのための境界位置
CN117834864A (zh) * 2022-09-27 2024-04-05 中兴通讯股份有限公司 一种视频编解码环路滤波方法、视频解码方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1525397A (zh) * 1997-07-16 2004-09-01 ���ǵ�����ʽ���� 信号自适应滤波方法，信号自适应滤波器
CN101694694A (zh) * 2009-10-22 2010-04-14 上海交通大学 用于交互式演示系统中的手指识别方法
CN101959008A (zh) * 2009-03-03 2011-01-26 索尼株式会社 用于图像和视频处理的方法和装置
WO2011127961A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. Adaptive image filtering method and apparatus

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080267297A1 (en) 2007-04-26 2008-10-30 Polycom, Inc. De-blocking filter arrangements
US9648325B2 (en) 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8535255B2 (en) 2007-09-14 2013-09-17 Sage Products, Inc. Therapeutic boots stabilization wedge
JP5127557B2 (ja) 2008-05-12 2013-01-23 株式会社リコー 画像復号装置、画像復号方法、プログラム、及び、記録媒体
US20100329362A1 (en) 2009-06-30 2010-12-30 Samsung Electronics Co., Ltd. Video encoding and decoding apparatus and method using adaptive in-loop filter
JP5233897B2 (ja) 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
US20130156111A1 (en) 2010-07-09 2013-06-20 Samsung Electronics Co., Ltd. Method and apparatus for encoding video using adjustable loop filtering, and method and apparatus for decoding video using adjustable loop filtering

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1525397A (zh) * 1997-07-16 2004-09-01 ���ǵ�����ʽ���� 信号自适应滤波方法，信号自适应滤波器
CN101959008A (zh) * 2009-03-03 2011-01-26 索尼株式会社 用于图像和视频处理的方法和装置
CN101694694A (zh) * 2009-10-22 2010-04-14 上海交通大学 用于交互式演示系统中的手指识别方法
WO2011127961A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. Adaptive image filtering method and apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Slice Boundary Processing and Picture Layer Raw Byte Sequence Payload》;Chia-Yang Tsai等;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11》;20110128;1-13 *

Also Published As

Publication number Publication date
CN104247434A (zh) 2014-12-24
US9462298B2 (en) 2016-10-04
JP5876156B2 (ja) 2016-03-02
KR20140081882A (ko) 2014-07-01
US20130101016A1 (en) 2013-04-25
EP2769545A1 (en) 2014-08-27
JP2014533008A (ja) 2014-12-08
WO2013058876A1 (en) 2013-04-25
EP2769545B1 (en) 2018-04-18
HUE038103T2 (hu) 2018-09-28
ES2677100T3 (es) 2018-07-30
KR101607788B1 (ko) 2016-03-30

Similar Documents

Publication Publication Date Title
CN104247434B (zh) 在视频译码中在切片边界或平铺块边界周围的环路滤波
CN106105201B (zh) 使用像素距离的解块滤波
CN103404144B (zh) 视频译码中的经量化脉码调制
CN104584550B (zh) 用于可缩放视频译码的帧内预测改善
CN107211154B (zh) 用于译码视频数据的方法和装置以及计算机可读存储介质
CN103947207B (zh) 用于图片分割方案的统一设计
CN104685875B (zh) 用于视频译码的方法、设备、计算机可读存储媒体
CN103999465B (zh) 自适应性重叠块运动补偿
US11336900B2 (en) Combined inter and intra prediction mode for video coding
CN104205836B (zh) 用于视频编码中色度切片层级量化参数偏移及解块的方法和产品
JP2023126408A (ja) イントラ予測方法とそれを利用した符号化器及び復号化器
CN103181169B (zh) 使用联合上下文模型对系数进行熵译码
CN104255035B (zh) 视讯译码中的量化参数(qp)译码
CN104126301B (zh) 在视频译码中使用码簿对环路滤波器参数进行译码
CN104054339B (zh) 用信号通知视频译码中的解块滤波器参数
CN103493488B (zh) 用于视频译码的变换系数的译码
CN104137546B (zh) 用信号发送用于视频译码的量化矩阵
CN104081777B (zh) 对视频数据进行编码或解码的方法、装置、设备及非暂时计算机可读媒体
CN103891293B (zh) 用于色度分量的自适应环路滤波的方法及设备
CN103959778B (zh) 帧内脉码调制(ipcm)及无损失译码模式视频解块
US20200204801A1 (en) Adaptive loop filtering classification in video coding
CN110999291A (zh) 用于划分视频数据的帧间预测片段中的视频块的系统和方法
WO2019108550A1 (en) Line buffer reduction for adaptive loop filtering in video coding
CN103636223B (zh) 用于视频译码的多区扫描次序
KR20220020266A (ko) 비디오 코딩에서 저주파수 분리불가능한 변환을 위한 변환 및 마지막 유의 계수 위치 시그널링

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant