CN103999465B - 自适应性重叠块运动补偿 - Google Patents

自适应性重叠块运动补偿 Download PDF

Info

Publication number
CN103999465B
CN103999465B CN201280056733.6A CN201280056733A CN103999465B CN 103999465 B CN103999465 B CN 103999465B CN 201280056733 A CN201280056733 A CN 201280056733A CN 103999465 B CN103999465 B CN 103999465B
Authority
CN
China
Prior art keywords
subregion
pixel
motion vector
adjustment measurement
motion compensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280056733.6A
Other languages
English (en)
Other versions
CN103999465A (zh
Inventor
钱威俊
钟仁肃
郭立威
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103999465A publication Critical patent/CN103999465A/zh
Application granted granted Critical
Publication of CN103999465B publication Critical patent/CN103999465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

大体来说，本发明描述用于在译码视频数据时执行自适应性重叠块运动补偿的技术。经配置以译码视频数据的视频译码装置可实施所述技术。所述视频译码装置可包括一或多个处理器，所述一或多个处理器经配置以依据用于由分区边界分开的所述视频数据的一或多个块的第一分区及第二分区中的一者的支持区确定调适度量。所述支持区可不为完整的一或多个视频数据块。所述一或多个处理器可进一步经配置以基于所述调适度量调适重叠块运动补偿过程的应用以确定靠近表示所述视频块的所述第一分区的第一预测块的所述分区边界的预测像素值。

Description

自适应性重叠块运动补偿
本申请案主张2011年11月18日申请的第61/561,783号美国临时申请案的权益。
技术领域
本发明涉及视频译码，且更明确地说，涉及在视频译码期间自适应性地执行重叠块运动补偿。
背景技术
数字视频能力可并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频压缩技术。视频装置通过实施此些视频压缩技术可更有效地发射、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(即，视频帧或视频帧的一部分)可分割成视频块，视频块也可被称作树块、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称为参考帧。
空间或时间预测导致用于待译码块的预测块。残余数据表示待译码原始块与预测块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量及指示经译码块与预测块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余数据编码的。为了进一步压缩，可将残余数据从像素域变换到变换域，从而导致残余变换系数，接着可对残余变换系数进行量化。可扫描最初布置为二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。
发明内容
大体来说，本发明描述用于在译码视频数据时执行自适应性重叠块运动补偿的技术。视频编码器可以若干方式实施本发明中描述的技术以自适应性地执行OBMC。并非沿着所谓的运动边界(其在新兴的视频译码标准中是指视频数据块的统称为预测单元(PU)的两个区段之间的边界)将OBMC应用到像素，在一些情况下，所述技术可调适OBMC到特定视频数据块的应用以便潜在地改善沿着所述运动边界的像素的平滑化而不减低感知的视觉质量。即，可能存在其中沿着运动边界保持尖锐边缘(其为不连续性的一个实例)可能对于保持高视觉质量是合乎需要的一些情况。为适应这些情况，可根据本发明中描述的技术调适OBMC以潜在地减少那些将导致感知的视觉质量减低的不连续性同时还保持导致维持或提高感知的视觉质量的那些不连续性。
在一个实例中，一种用于译码视频数据的方法包括依据用于由分区边界分开的所述视频数据的一或多个块的第一分区及第二分区中的一者的支持区确定调适度量，其中所述支持区不为完整的所述一或多个视频数据块。所述方法进一步包括基于所述调适度量调适重叠块运动补偿过程的应用以确定靠近用于表示所述视频块的所述第一分区的第一预测块的所述分区边界的预测像素值。
在另一实例中，一种经配置以译码视频数据的视频译码装置包括一或多个处理器，所述一或多个处理器经配置以：依据用于由分区边界分开的所述视频数据的一或多个块的第一分区及第二分区中的一者的支持区确定调适度量，其中所述支持区不为完整的所述一或多个视频数据块；以及基于所述调适度量调适重叠块运动补偿过程的应用以确定靠近用于表示所述视频块的所述第一分区的第一预测块的所述分区边界的预测像素值。
在另一实例中，一种经配置以译码视频数据的视频译码装置包括：用于依据用于由分区边界分开的所述视频数据的一或多个块的第一分区及第二分区中的一者的支持区确定调适度量的装置，其中所述支持区不为完整的所述一或多个视频数据块；以及用于基于所述调适度量调适重叠块运动补偿过程的应用以确定靠近用于表示所述视频块的所述第一分区的第一预测块的所述分区边界的预测像素值的装置。
在另一实例中，一种计算机程序产品包括计算机可读存储媒体，所述计算机可读存储媒体在其上存储有指令，所述指令在被执行时致使用于译码视频数据的装置的一或多个处理器：依据用于由分区边界分开的所述视频数据的一或多个块的第一分区及第二分区中的一者的支持区确定调适度量，其中所述支持区不为完整的所述一或多个视频数据块；以及基于所述调适度量调适重叠块运动补偿过程的应用以确定靠近用于表示所述视频块的所述第一分区的第一预测块的所述分区边界的预测像素值。
随附图式及以下描述中阐述一或多个实例的细节。其它特征、目标及优点将从所述描述及图式以及权利要求书而显而易见。
附图说明
图1是说明可利用本发明中所描述的自适应性重叠块运动补偿技术的实例视频编码及解码系统的框图。
图2是说明可实施本发明中描述的自适应性重叠块运动补偿技术的实例视频编码器的框图。
图3是说明可实施本发明中描述的技术的实例视频解码器的框图。
图4A、4B是说明自适应性OBMC技术可应用到的相应块的图。
图5是说明可分割视频数据块的潜在方式的图。
图6是说明视频编码器执行本发明中描述的自适应性重叠块运动补偿技术的示范性操作的流程图。
图7是说明视频解码器执行本发明中描述的自适应性重叠块运动补偿技术的示范性操作的流程图。
具体实施方式
本发明中描述可使得例如视频编码器或视频解码器等视频译码器能够自适应性地执行重叠块运动补偿(OBMC)的技术。OBMC是指平滑化沿着运动边界的像素值的技术，其中术语“运动边界”是指当前在开发中的称为高效率视频译码(HEVC)的新兴视频译码标准中统称为“预测单元”或“PU”者之间的边界。这些预测单元指示译码单元(CU)的译码节点的部分，可针对所述部分执行运动补偿及运动估计以在这些部分是经帧间译码时确定运动向量。
通常，此运动边界(其还可被称为“预测边界”)表示邻近预测单元之间的不连续线，因为视频译码器可对于所述预测单元中的每一者确定不同运动向量。此不连续性可导致译码无效率，因为像素值中的不连续性或大的改变可能需要译码更多位。此外，如果未以足够位率进行充分译码，则此些不连续性可导致视觉假影，所述视觉假影可能显而易见且因此在从经译码视频数据重建视频数据时使视频数据的质量降低。OBMC可应用于这些运动边界处以平滑化或以其它方式减小此不连续性的程度，由此潜在地改善译码位率及视觉假影的发生。
OBMC一般来说涉及对于围绕此预测边界的区或区域内的像素产生两个预测。所述两个预测中的一者使用沿着预测边界的一个预测单元的运动向量，且所述两个预测中的另一者或第二者使用沿着预测边界的第二预测单元的运动向量。因此，在OBMC中，使用针对沿着第一PU与第二PU之间的预测边界的第一预测单元(其可指示为“PU0”)确定的运动向量(其可指示为“MV0”)预测用于预测块的像素的第一像素值，同时使用针对沿着PU0与第二PU(其可指示为“PU1”)之间的预测边界的PU1确定的运动向量(其可指示为“MV1”)预测用于预测块的像素的第二像素值。
为确定用于此预测块的最终像素值，视频编码器通常通过执行所述像素值的加权总和而组合所述第一与第二像素值两者，常常将较高权重指派给使用与由预测块的像素驻留于其中的PU识别的部分相关联的MV预测的像素值，且将较小权重指派给使用不与由预测块的像素不驻留于其中的PU识别的部分相关联的MV预测的像素值。视频译码器接着使用所述加权总和的结果作为所述预测块的像素值。以此方式，视频译码器可执行OBMC以平滑化沿着预测边界的不连续性，其再次可改善译码效率(根据用以译码视频数据的位)且潜在地减少假影。
尽管OBMC一般来说可平滑化沿着预测边界的像素值，但存在可能需要保持尖锐边缘(其为不连续性的一个实例)以保持高视觉质量的一些情况。在一些情况下，举例来说，此些不连续性可能对于恰当地定义给定视频帧中的对象或运动是必要的，且平滑化这些不连续性可能导致不合需要的模糊或不清楚的对象，从而使视觉质量严重降低。本发明的技术可调适OBMC以试图避免平滑化可增强视觉质量的不连续性。
为进行说明，视频编码器可实施本发明中描述的技术以基于过渡区中的像素值、所述过渡区内的像素值的子块、分区的特定特性、沿着特定分区的过渡区的边界条件或先前各者中的一或多者的任何组合而自适应性地执行OBMC。术语“过渡区”可大体指靠近或邻近于在邻近于分区边界的分区中的一者或两者内的分区边界的像素。
视频译码器可以数个方式调适OBMC的应用。在一些情况下，视频译码器可调适在计算第一与第二像素值的加权总和时使用的权重。尽管相对于第一及第二像素值进行描述，但OBMC可涉及两个以上像素值以确定预测像素值。在这些情况下，OBMC可认为是应用平滑化滤波器，所述平滑化滤波器通常在视频数据的一部分的一个分区内或跨越两个或两个以上分区具有各种大小，例如3x3或5x5(其中此标号可指平滑化滤波器应用到3像素乘3像素或5像素乘5像素的阵列)。即，可执行滤波以使得滤波器应用到视频数据块的第一分区中的像素及第二分区中的像素。在一些情况下，所述技术可调适这些滤波器的系数。在其它情况下，视频译码器可通过例如从滤波器的预定义非零集合针对过渡区中的不同像素选择不同滤波器而执行此调适。在其它情况下，视频译码器可通过启用及停用此滤波而自适应性地执行OBMC。在一些情况下，视频编码器可使用上文所描述的技术的三个调适方面中的两者或两者以上的组合自适应性地执行OBMC。
在操作中，视频译码器可首先确定支持区，支持区是指视频译码器考虑确定可被称为调适度量者的区域。支持区可包括整个帧或帧内的区。支持区可包括所考虑块内的像素的子集。换句话说，支持区可不包括整个帧或块，而仅包括所述帧或块内的像素的一部分或子集。通常，出于减小存储器带宽要求的目的，支持区覆盖邻近于分区边界的块。在某一实施方案中，为进一步减小存储器带宽要求，视频解码器可确定支持区以包含形成分区边界或沿着分区边界的分区中的每一者的过渡区。支持区可包含内插像素，所述内插像素通常由于使用具有四分之一或二分之一像素像素精度的运动向量而出现。
在任何情况下，在确定一或多个支持区之后，视频译码器接着确定用于所确定的一或多个支持区的调适度量。为进行说明，对于支持区中的给定一者，视频译码器可计算相同位置的两个像素值之间的差，其中所述像素值中的一者是从来自那一位置的当前分区运动向量预测，且另一者是从用于另一分区的运动向量预测。视频译码器可将所述差计算为差的绝对值或平方误差差(squared error difference)。
所述技术可经实施而使得可单独地或以彼此的变化组合使用任何数目的调适以适合多种复杂度(根据所执行的操作的数目)及存储器带宽要求。作为一个实例，将计算复杂度考虑为主要要求，可在视频译码器中实施基于分区的调适。自适应性OMBC的此示范性视频译码器实施方案可涉及用以启用或停用OBMC的调适。用于此示范性实施方案的支持区可被定义为过渡区的一部分，例如过渡区的中心区或向下取样的过渡区。对于调适度量，示范性实施方案可将所述度量设定为支持区中的像素的绝对差。基于此组合，OBMC的示范性视频译码器实施方案基于分区及过渡区的中心区两者中的像素的绝对差总和而启用或停用OBMC。如果绝对差总和大于阈值，则视频译码器停用对于此分区的OBMC。或者，如果绝对差总和小于或等于阈值，则视频译码器启用对于此分区的OBMC。
图1是说明可利用本发明中所描述的技术的实例视频编码及解码系统10的框图。如图1中所示，系统10包含源装置12，其提供稍后将由目的地装置14解码的经编码视频数据。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板电脑、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下，源装置12及目的地装置14可能经装备以用于无线通信。
目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括使得源装置12能够实时地将经编码视频数据直接传输到目的地装置14的通信媒体。经编码的视频数据可根据通信标准(例如无线通信协议)加以调制，且发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可能形成分组网络(例如局域网、广域网或全球网络，例如因特网)的一部分。通信媒体可包含路由器、交换器、基站或任何其它可用于促进从源装置12到目的地装置14的通信的装备。
或者，可将经编码数据从输出接口22输出到存储装置32。类似地，可通过输入接口从存储装置32存取经编码数据。存储装置32可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码视频数据的适当数字存储媒体。在另一实例中，存储装置32可对应于文件服务器或可保持源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置32存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置及本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。此可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置32的传输可为流式传输、下载传输或两者的组合。
本发明的技术不必限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用，例如空中电视广播、有线电视发射、卫星电视发射、流式视频传输(例如，经由因特网)、编码视频数据以存储于数据存储媒体上、解码存储于数据存储媒体上的视频数据，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频回放、视频广播及/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。在源装置12中，视频源18可包含例如视频俘获装置(例如摄像机)、包含先前俘获的视频的视频存档、用于从视频内容提供者接收视频的视频馈入接口及/或用于产生计算机图形数据作为源视频的计算机图形系统，或此类源的组合等源。作为一个实例，如果视频源18是摄像机，则源装置12与目的地装置14可形成所谓的相机电话或视频电话。然而，本发明中所描述的技术可大体上适用于视频译码，且可应用于无线及/或有线应用。
可由视频编码器20对所俘获、预先俘获或计算机产生的视频进行编码。经编码视频数据可经由源装置20的输出接口22直接发射到目的地装置14。经编码视频数据还可(或替代地)存储到存储装置32上以供稍后由目的地装置14或其它装置存取以用于解码及/或回放。
目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些情况下，输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28经由链路16接收经编码视频数据。经由链路16传达或在存储装置32上提供的经编码视频数据可包含由视频编码器20产生的多种语法元素以供由例如视频解码器30等视频解码器用于解码视频数据。此些语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服务器中的经编码视频数据包含在一起。
显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30可根据视频译码标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。或者，视频编码器20及视频解码器30可根据其它专属或业界标准来操作，所述标准例如是ITU-T H.264标准，也被称为MPEG-4第10部分高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2及ITU-T H.263。
尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当多路复用器-多路分用器单元或其它硬件及软件以处置对共同数据流或单独数据流中的音频或视频两者的编码。在一些实例中，如果适用，多路复用器-多路分用器单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合式编码器/解码器(编解码器)的部分。
JCT-VC正在努力开发HEVC标准。所述HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的进化的模型。HM假设视频译码装置根据例如ITU-TH.264/AVC相对于现有装置的几个额外能力。举例来说，虽然H.264提供了九种帧内预测编码模式，但HM可提供多达三十三种帧内预测编码模式。
一般来说，HM的工作模型描述视频帧或图片可划分成包含明度及色度样本两者的一连串树块或最大译码单元(LCU)。树块具有与H.264标准的宏块类似的目的。切片包含译码次序的多个连续树块。视频帧或图片可分割成一或多个切片。每一树块可根据四叉树分裂成译码单元(CU)。举例来说，作为四叉树的根节点的树块可分裂成四个子节点，且每一子节点又可为父节点且可分裂成另外四个子节点。最终的未分裂子节点(为四叉树的叶节点)包括译码节点，即经译码视频块。与经译码位流相关联的语法数据可定义树块可分裂的最大次数，且还可定义译码节点的最小大小。
CU包含译码节点以及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小且形状必须是正方形。CU的大小可从8x8像素到具有最大64x64像素或更大的树块的大小变动。每一CU可含有一或多个PU及一或多个TU。举例来说，与CU相关联的语法数据可描述CU到一或多个PU的分割。分割模式可在CU被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码之间有所不同。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树到一或多个TU的分割。TU可为正方形或非正方形形状。
HEVC标准允许根据TU的变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而确定，但情况可能并非始终如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残余样本可使用被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可变换与TU相关联的像素差值以产生变换系数，所述变换系数可经量化。
一般来说，PU包含与预测过程有关的数据。举例来说，当PU经帧内模式编码时，PU可包含描述PU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义PU的一或多个运动向量的数据。举例来说，定义运动向量的数据可描述运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，，四分之一像素精度或八分之一像素精度)、运动向量指向的参考图片、运动向量的预测方向(双向预测还是单向预测)及/或参考列表(例如，列表0、列表1，或列表C)。
一般来说，TU用于变换及量化过程。具有一或多个PU的给定CU还可包含一或多个变换单元(TU)。在预测之后，视频编码器20可计算对应于PU的残余值。残余值包括像素差值，所述像素差值可变换成变换系数、经量化且使用TU进行扫描以产生串行化变换系数用于熵译码。本发明通常使用术语“视频块”来指CU的译码节点。在一些特定情况下，本发明还可使用术语“视频块”来指包含译码节点以及PU及TU的树块，即LCU或CU。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列一或多个视频图片。GOP可包含GOP的标头、图片中的一或多者的标头或其它地方中的语法数据，其描述GOP中包含的图片的数目。图片的每一切片可包含切片语法数据，其描述用于相应切片的编码模式。视频编码器20通常对个别视频切片内的视频块进行操作以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而大小不同。
作为一实例，HM支持各种PU大小的预测。假设特定CU的大小是2Nx2N，则HM支持2Nx2N或NxN的PU大小的帧内预测，及2Nx2N、2NxN、Nx2N或NxN的对称PU大小的帧间预测。HM还支持用于2NxnU、2NxnD、nLx2N及nRx2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，而另一方向分割成25％及75％。CU的对应于25％分区的部分由“n”继之以“上方(U)”、“下方(D)”、“左侧(L)”或“右侧(R)”指示来指示。因而，举例来说，“2NxnU”是指水平地分割的2Nx2N CU，其中顶部为2Nx0.5N PU，而底部为2Nx1.5N PU。
在本发明中，“NxN”与“N乘N”可互换使用来根据垂直及水平尺寸指代视频块的像素尺寸，例如，16x16像素或16乘16像素。一般来说，16x16块将在垂直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样，NxN块一般来说在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可布置成行及列。此外，块未必需要在水平方向与垂直方向上具有相同数目的像素。举例来说，块可包括NxM像素，其中M未必等于N。
在使用CU的PU的帧内预测性或帧间预测性译码之后，视频编码器20可计算CU的TU的残余数据。PU可包括空间域(还称为像素域)中的像素数据，且TU在将变换应用到残余视频数据之后可包括变换域中的系数，所述变换例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换。所述残余数据可对应于未编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含用于CU的残余数据的TU，且接着变换TU以产生用于CU的变换系数。
在用于产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化大体指变换系数经量化以可能地减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说，n位值可在量化期间被舍去到m位值，其中n大于m。
在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应性扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对所述一维向量进行熵编码。视频编码器还20可对与经编码的视频数据相关联的语法元素进行熵编码以供视频解码器30在对视频数据解码时使用。
为了执行CABAC，视频编码器20可向待发射的符号指派上下文模型内的上下文。举例来说，所述上下文可与符号的相邻值是否为非零有关。为了执行CAVLC，视频编码器20可选择用于待发射的符号的可变长度码。VLC中的码字可经建构而使得相对短的代码对应于更有可能的符号，而较长的代码对应于不太可能的符号。以此方式，使用VLC可较之于例如对待发射的每一符号使用等长码字而实现位节省。概率确定可基于指派给符号的上下文。
可大体在执行运动估计及补偿以产生预测视频块(其在本文中可称为预测块)之后实施本发明中描述的技术。可沿着所谓的预测边界平滑化此预测块以使用上文指出的OBMC过程减小不连续性。所述技术可实现OBMC的自适应性应用以使得可提供更佳检视质量或体验的一些不连续性不被平滑化而一般来说并不提供更佳检视质量或体验的其它不连续性被平滑化。通过自适应性地应用OBMC，所述技术可使得例如视频编码器20及/或视频解码器30等视频译码器能够潜在地提供通常由OBMC提供的译码效率及假影减少益处中的至少一些而不牺牲许多视觉质量。
在操作中，视频译码器依据用于由分区边界分开的视频数据的块的第一分区及第二分区中的一者的支持区确定调适度量。视频译码器接着基于所述调适度量调适OBMC过程的应用以确定靠近用于表示所述视频块的所述第一分区的第一预测块的所述分区边界的预测像素值。确定调适度量及调适OBMC过程的应用的此过程可对于所谓的过渡区中的像素中的每一者而发生，所述过渡区可表示在当前像素上居中的区，其通常具有5x5或3x3像素的大小且包含来自另一分区的至少一个像素。相对于图4的实例更详细地描述此过渡区。在任何情况下，所述技术可因此逐像素地、逐子块地、逐过渡区地、逐分区地或逐(大体任何其它)支持区地调适OBMC过程，使得随时间推移以不同方式应用OBMC过程。
图2是说明可实施本发明中描述的技术的实例视频编码器20的框图。视频编码器20可对视频切片内的视频块执行帧内及帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻接帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干基于时间的压缩模式中的任一者。
在图2的实例中，视频编码器20包含分割单元35、预测处理单元41、参考图片存储器64、求和器50、变换处理单元52、量化单元54，及熵编码单元56。预测处理单元41包含运动估计单元42、运动补偿单元44，及帧内预测单元46。对于视频块重建，视频编码器20还包含逆量化单元58、逆变换单元60，及求和器62。还可包含解块滤波器(图2中未展示)以对块边界进行滤波以从经重建视频移除成块假影。必要时，解块滤波器将通常对求和器62的输出进行滤波。除了解块滤波器之外，还可使用额外环路滤波器(环路中或环路后)。
如图2中所示，视频编码器20接收视频数据，且分割单元35将所述数据分割成视频块。此分割还可包含分割成切片、瓦片或其它较大单元，以及视频块分割(例如根据LCU及CU的四叉树结构)。视频编码器20大体说明编码待编码视频切片内的视频块的组件。所述切片可划分成多个视频块(且可能划分成被称作瓦片的视频块集合)。预测处理单元41可基于错误结果(例如，译码速率及失真等级)针对当前视频块选择多种可能的译码模式中的一者，例如多种帧内译码模式中的一者或多种帧间译码模式中的一者。预测处理单元41可将所得经帧内或帧间译码块提供到求和器50以产生残余块数据，且提供到求和器62以重建经编码块以用作参考图片。
预测处理单元41内的帧内预测单元46可相对于与待译码当前块在相同的帧或切片中的一或多个相邻块执行当前视频块的帧内预测性译码，以提供空间压缩。预测处理单元41内的运动估计单元42及运动补偿单元44相对于一或多个参考图片中的一或多个预测块执行当前视频块的帧间预测性译码以提供时间压缩。
运动估计单元42可经配置以根据用于视频序列的预定模式为视频切片确定帧间预测模式。预定模式可将序列中的视频切片标明为P切片、B切片或GPB切片。运动估计单元42与运动补偿单元44可高度集成，但出于概念目的分开加以说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述运动向量估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测块的位移。
预测块是被发现在像素差方面与待译码视频块的PU密切匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。在一些实例中，视频编码器20可计算存储在参考图片存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插四分之一像素位置、八分之一像素位置或参考图片的其它分数像素位置的值。因此，运动估计单元42可相对于整数像素位置及分数像素位置执行运动搜索且输出具有分数像素精度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一者识别存储在参考图片存储器64中的一或多个参考图片。运动估计单元42将计算出来的运动向量发送到熵编码单元56及运动补偿单元44。
视频编码器20通过从正被译码的当前视频块的像素值减去预测块的像素值从而形成像素差值来形成残余视频块。像素差值形成用于所述块的残余数据，且可包含明度及色度差分量两者。求和器50表示可执行此减法运算的组件。运动补偿单元44还可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。
作为如上文所描述由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可对当前块进行帧内预测。明确地说，帧内预测单元46可确定用来编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可例如在分开的编码遍次期间使用各种帧内预测模式编码当前块，且帧内预测单元46(或在一些实例中为模式选择单元40)可从所述测试模式中选择适当帧内预测模式来使用。举例来说，帧内预测单元46可使用速率失真分析计算用于各种经测试帧内预测模式的速率失真值，且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析大体上确定经编码块与经编码以产生所述经编码块的原始未编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(即，位数目)。帧内预测单元46可根据用于各种经编码块的失真和速率计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率失真值。可与HEVC一起使用的帧内预测模式及对应模式索引的实例展示于附录2中。
在任何情况下，在选择了用于一块的帧内预测模式之后，帧内预测单元46可将指示用于所述块的选定帧内预测模式的信息提供到熵译码单元56。熵译码单元56可根据本发明的技术编码指示所述选定帧内预测模式的信息。视频编码器20在发射的位流中可包含配置数据，其可包含多个帧内预测模式指数表及多个经修改的帧内预测模式指数表(也称为码字映射表)，对用于各种块的上下文进行编码的定义，及对最可能帧内预测模式、帧内预测模式指数表及经修改的帧内预测模式指数表的指示以用于所述上下文中的每一者。
在预测处理单元41经由帧间预测或帧内预测产生用于当前视频块的预测块之后，视频编码器20通过从当前视频块减去所述预测块而形成残余视频块。残余块中的残余视频数据可包含在一或多个TU中且应用到变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上类似的变换等变换将残余视频数据变换成残余变换系数。变换处理单元52可将残余视频数据从像素值域转换到变换域，例如频域。
变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化所述变换系数以进一步减小位率。量化过程可减少与变换系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。或者，熵编码单元56可执行所述扫描。
在量化之后，熵编码单元56对经量化变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码方法或技术。在熵编码单元56进行的熵编码之后，可将经编码位流发射到视频解码器30，或将经编码位流存档以供稍后发射或由视频解码器30检索。熵编码单元56还可对正被编码的当前视频切片的运动向量及其它语法元素进行熵编码。
逆量化单元58及逆变换单元60分别应用逆量化及逆变换以在像素域中重建残余块，例如以供稍后用作参考图片的参考块。运动补偿单元44可通过将残余块添加到参考图片列表中的一者内的参考图片中的一者的预测块中来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于所重建的残余块以计算子整数像素值用于运动估计。求和器62将经重建的残余块添加到由运动补偿单元44产生的运动补偿预测块以产生参考块用于存储在参考图片存储器64中。参考块可由运动估计单元42及运动补偿单元44使用作为参考块以对后续视频帧或图片中的块进行帧间预测。
如上文所描述，运动补偿单元44可执行帧间预测以确定预测视频块。在一些情况下，运动补偿单元44可执行称为重叠块运动补偿(OBMC)的运动补偿形式。OBMC是指平滑化沿着运动边界的像素值的技术，其中术语“运动边界”是指当前在开发中的称为高效率视频译码(HEVC)的新兴视频译码标准中统称为“预测单元”或“PU”者之间的边界。这些预测单元指示译码单元(CU)的译码节点的部分，可针对所述部分执行运动补偿及运动估计以在这些部分是经帧间译码时确定运动向量。
通常，此运动边界(其还可被称为“预测边界”)表示邻近预测单元之间的不连续线，因为视频译码器可对于所述预测单元中的每一者确定不同运动向量。此不连续性可导致译码无效率，因为像素值中的不连续性或大的改变可能需要译码更多位。此外，如果未以足够位率进行充分译码，则此些不连续性可导致视觉假影，所述视觉假影可能显而易见且因此在从经译码视频数据重建视频数据时使视频数据的质量降低。OBMC可应用于这些运动边界处以平滑化或以其它方式减小此不连续性的程度，由此潜在地改善译码位率及视觉假影的发生。
OBMC一般来说涉及对于围绕此预测边界的区或区域内的像素产生两个预测。所述两个预测中的一者使用沿着预测边界的一个预测单元的运动向量，且所述两个预测中的另一者或第二者使用沿着预测边界的第二预测单元的运动向量。因此，在OBMC中，使用针对沿着第一PU与第二PU之间的预测边界的第一预测单元(其可指示为“PU0”)确定的运动向量(其可指示为“MV0”)预测用于预测块的像素的第一像素值，同时使用针对沿着PU0与第二PU(其可指示为“PU1”)之间的预测边界的PU1确定的运动向量(其可指示为“MV1”)预测用于预测块的像素的第二像素值。
为确定用于此预测块的最终像素值，运动补偿单元44通常通过执行像素值的加权总和而组合第一与第二像素值两者。运动补偿单元44常常将较高权重指派给使用与由预测块的像素驻留于其中的PU识别的部分相关联的MV预测的像素值，且将较小权重指派给使用不与由预测块的像素不驻留于其中的PU识别的部分相关联的MV预测的像素值。运动补偿单元44接着使用所述加权总和的结果作为所述预测块的像素值。以此方式，运动补偿单元44可执行OBMC以平滑化沿着预测边界的不连续性，其再次可改善译码效率(根据用以译码视频数据的位)且潜在地减少假影。
尽管OBMC一般来说可平滑化沿着预测边界的像素值，但存在可能有必要保持尖锐边缘(其为不连续性的一个实例)以保持高视觉质量的一些情况。在一些情况下，举例来说，此些不连续性可能对于恰当地定义给定视频帧中的对象或运动是必要的，且平滑化这些不连续性可能导致不合需要的模糊或不清楚的对象，从而使视觉质量严重降低。本发明的技术可调适OBMC以试图避免平滑化可增强视觉质量的不连续性。
为进行说明，运动补偿单元44可实施本发明中描述的技术以基于过渡区中的像素值、所述过渡区内的像素值的子块、分区的特定特性、沿着特定分区的过渡区的边界条件或先前各者中的一或多者的任何组合而自适应性地执行OBMC。术语“过渡区”可大体指靠近或邻近于在邻近于分区边界的分区中的一者或两者内的分区边界的像素。
举例来说，运动补偿单元44可相对于过渡区内的两个或两个以上像素自适应性地执行不同OBMC方法。作为另一实例，运动补偿单元44可相对于过渡区内的像素值的两个或两个以上子块自适应性地执行不同OBMC方法。作为又一实例，运动补偿单元44可相对于形成分区边界或邻近于分区边界的分区中的每一者的过渡区自适应性地执行不同OBMC方法。作为再一实例，运动补偿单元44可相对于形成分区边界或邻近于分区边界的分区两者的过渡区自适应性地执行不同OBMC方法。
运动补偿单元44可以数个方式调适OBMC的应用。在一些情况下，运动补偿单元44可调适在执行第一与第二像素值的加权总和时使用的权重。尽管相对于第一及第二像素值进行描述，但OBMC可涉及两个以上像素值以确定预测像素值。在这些情况下，OBMC可认为是应用具有一或多个各种大小(例如3x3或5x5)的平滑化滤波器。在一些情况下，所述技术可调适这些滤波器的系数。在其它情况下，运动补偿单元44可通过例如从滤波器的预定义非零集合针对过渡区中的不同像素选择不同滤波器而执行此调适。在其它情况下，运动补偿单元44可通过启用及停用此滤波而自适应性地执行OBMC。在一些情况下，运动补偿单元44可使用上文所描述的技术的三个调适方面中的两者或两者以上的组合自适应性地执行OBMC。
在操作中，运动补偿单元44可首先确定支持区，支持区是指视频译码器考虑确定可被称为调适度量者的区域。支持区可包括整个帧或帧内的区。换句话说，支持区可不包含完整的或整个帧，而仅包含整个帧的一部分。在一些情况下，支持区可包括所考虑块内的像素的子集。通常，出于减小存储器带宽要求的目的，支持区覆盖邻近于分区边界的块。在某一实施方案中，为进一步减小存储器带宽要求，运动补偿单元44可确定支持区以包含形成分区边界或沿着分区边界的分区中的每一者的过渡区。支持区可包含内插像素，所述内插像素通常由于使用具有四分之一或二分之一像素像素精度的运动向量而出现。
在一些实施方案中，运动补偿单元44可通过将四分之一像素像素精度运动向量减小到二分之一像素或整数像素像素精度运动向量及/或将二分之一像素像素精度运动向量减小到整数像素像素精度运动向量而降低运动向量的分辨率以减少支持区中的像素的数目(通常减小确定此支持区的复杂度，因为利用非整数像素像素精度运动向量时所需的像素内插过程可能在所执行的操作的数目方面引入复杂度)。
在任何情况下，在确定一或多个支持区之后，运动补偿单元44接着确定用于所确定的一或多个支持区的调适度量。为进行说明，对于支持区中的给定一者，运动补偿单元44计算相同位置的两个像素值之间的差，其中所述像素值中的一者是从来自那一位置的当前分区运动向量预测，且另一者是从用于另一分区的运动向量预测。视频译码器可将所述差计算为差的绝对值或平方误差差。在数学上，一个差对于第(x，y)位置可表达为diff(x，y)＝Ipixcurr(x，y)-pixother(x，y)I，其中pixcurr(x，y)是从当前分区的运动向量提取的像素的值，且pixother(x，y)是从相邻分区的运动向量提取的像素的值。
作为另一实例，运动补偿单元44可将调适度量导出为所确定支持区中的一者内的像素的子集或所有像素上的差的平均值。在数学上，此可表达为diff＝avg(diff(x，y))，其中(x，y)属于支持区的像素。在此实例中，运动补偿单元44用上文所描述的方式确定支持区中的每一像素的差，将所述差相加在一起以确定总差，并将所述总差除以支持区中的像素的数目。作为又一实例，运动补偿单元44可对于每一分区导出支持区内的像素的加权平均值。
以上调适度量都与基于像素值调适的这些有关。可基于其它上下文确定其它调适度量。在一些情况下，运动补偿单元44可选择性地启用及停用OBMC以便避免平均或最坏情况存储器带宽消耗的情况。即，运动补偿单元44可基于运动向量值(例如，运动向量是整数还是分数像素精度运动向量)而选择性地启用及停用OBMC。举例来说，运动补偿单元44可在运动向量为二分之一像素或四分之一像素(例如，分数)精度时停用OBMC。运动补偿单元44可在图片参数集(PPS)、序列参数集(SPS)及/或调适参数集(APS)中用信号通知使用二分之一像素还是四分之一像素运动向量准确度来选择性地启用及/或停用OBMC。
在一些情况下，运动补偿单元44可取决于块大小及/或变换大小而选择性地启用及停用OBMC。举例来说，如果运动向量小于指示为“T_blksize”的阈值，则运动补偿单元44可停用OBMC。典型T_blksize可包括16x16的变换块大小。运动补偿单元44可在图片参数集(PPS)、序列参数集(SPS)及/或调适参数集(APS)中“用信号通知”T_blksize。
在一些情况下，运动补偿单元44可基于帧间预测方向而选择性地启用及停用OBMC。举例来说，如果PU0指示将对第一分区进行双向预测(意味着使用一个以上运动向量预测其对应预测块)，则运动补偿单元44可停用对由PU1识别的第二分区的OBMC。运动补偿单元44可选择性地停用对第二分区的OBMC，因为运动补偿单元44将需要使用由P0识别的分区的运动信息提取额外线。因为此分区是经双向预测，所以需要视频译码器从两个帧提取数据，其增大存储器带宽。在另一实例中，如果由P0识别的第一分区是经双向预测且第二分区是经单向预测，则运动补偿单元44可停用对第一分区的OBMC且启用对第二分区的OBMC。运动补偿单元44可由于使用双向预测P0的运动信息时所需的额外线提取而停用对第一分区的OBMC，且从执行双向预测产生的预测块可能比使用单向预测产生的预测块更准确。换句话说，所述技术一般来说试图在确定准确度不相关的区域中执行OBMC，例如当执行单向预测时或当使用大块时，因为这些大体对应于不复杂、高度纹理化或以其它方式指定大量细节的视频数据。
所述技术还可包含针对基于运动信息(例如运动向量的像素精度或预测方向(例如，双向预测还是单向预测))调适OBMC的应用的方面。举例来说，运动补偿单元44可确定用于一分区的运动向量的像素精度为二分之一或四分之一像素，且为降低复杂度(根据操作)及存储器带宽要求，减小运动向量的分辨率而使得运动向量的像素精度为二分之一像素(如果原始像素精度为四分之一像素)、整数像素或甚至零值。分辨率减小的运动向量可因此表示原始运动向量的已舍入/经量化版本。因此，可调适OBMC以适应比那些最初在位流中指定或在编码期间导出的运动向量精度低的运动向量。
作为另一实例，运动补偿单元44可响应于预测方向而调适OBMC。为进行说明，运动补偿单元44可确定给定分区是从两个参考帧双向预测还是从单个参考帧单向预测。如果是双向预测，则运动补偿单元44可调适OBMC以利用参考所述两个参考帧中的一者的运动向量中的仅一者而非利用所述运动向量两者。以此方式，运动补偿单元44可实施所述技术以再次降低存储器带宽要求。
运动补偿单元44可使用此调适度量来确定待应用于给定分区的OBMC的类型。举例来说，运动补偿单元44可比较diff(x，y)的振幅与阈值，且在diff(x，y)小于阈值的情况下启用OBMC且在diff(x，y)大于或等于阈值的情况下停用OBMC。作为另一实例，运动补偿单元44可比较diff(x，y)的振幅与阈值以确定使用强滤波器(例如，如果diff(x，y)小于阈值)还是弱滤波器(例如，如果diff(x，y)大于或等于阈值)。作为又一实例，运动补偿单元44可基于diff(x，y)缩放用于执行OBMC的平滑化滤波器的滤波器系数。再次，diff(x，y)可表示相同位置的两个像素值之间的振幅差，其中像素值中的一者是从来自那一位置的当前分区运动向量预测，且另一者是从来自另一分区的运动向量预测。
在任何情况下，所述技术可经实施而使得可单独地或以彼此的变化组合使用任何数目的先前调适以适合多种复杂度(根据所执行的操作的数目)及存储器带宽要求。作为一个实例，将计算复杂度考虑为主要要求，可在运动补偿单元44中实施基于分区的调适。自适应性OMBC的此示范性实施方案可涉及用以启用或停用OBMC的调适。用于此示范性实施方案的支持区可被定义为过渡区的一部分，例如过渡区的中心区或向下取样的过渡区。对于调适度量，示范性实施方案可将所述度量设定为支持区中的像素的绝对差。基于此组合，OBMC的示范性实施方案基于分区及过渡区的中心区两者中的像素的绝对差总和而启用或停用OBMC。如果绝对差总和大于阈值，则运动补偿单元44停用对于此分区的OBMC。或者，如果绝对差总和小于或等于阈值，则运动补偿单元44启用对于此分区的OBMC。
尽管本发明中描述为大部分涉及OBMC的推断式调适，但在一些情况下，可明确地用信号通知是启用还是停用OBMC。举例来说，此用信号通知的等级包含LCU等级、切片标头等级、APS等级、PPS等级或SPS等级。举例来说，此用信号通知的范围包含是否对于给定用信号通知等级的所有CU大小启用及/或停用OBMC及/或是否对于给定用信号通知等级的CU大小的子集启用及/或停用OBMC。所述技术因此不应严格地限于其中推断或静态地设定OBMC过程的调适的实施方案，而可包含明确地用信号通知的实施方案及OBMC过程的调适的动态(例如，基于上下文的)导出两者。
以此方式，图2的视频编码器20表示经配置以依据用于由分区边界分开的视频数据的块的第一分区及第二分区中的一者的支持区确定调适度量的视频编码器的实例。视频编码器20可进一步经配置以基于所述调适度量调适重叠块运动补偿过程的应用以确定靠近用于表示所述视频块的所述第一分区的第一预测块的所述分区边界的预测像素值。
所述支持区可包括以下各者中的一者：视频块驻留于其中的帧；视频块驻留于其中的帧的区；第一分区；第二分区；以及用于第一分区或第二分区的过渡区，其包含靠近第一分区或第二分区中的分区边界的像素的一部分；第一分区的向下取样版本；第二分区的向下取样版本；以及用于第一或第二分区的过渡区的向下取样版本。
此外，视频编码器20可经配置以将调适度量确定为用于支持区中的至少一个像素的第一预测像素值与用于支持区中的至少一个像素的第二预测像素值之间的差。第一分区可与参考第一参考帧的第一块的第一运动向量相关联。第二分区可与参考第二参考帧的第二块的第二运动向量相关联。可从第一运动向量预测第一预测像素值。可从第二运动向量预测第二预测像素值。
此外，视频编码器20可经配置以将调适度量确定为用于支持区中的每一像素的第一预测像素值与用于支持区中的每一像素的第二预测像素值之间的绝对差。第一分区可与参考第一参考帧的第一块的第一运动向量相关联。第二分区可与参考第二参考帧的第二块的第二运动向量相关联。可从用于支持区中的像素中的每一者的第一运动向量预测第一预测像素值。可从用于支持区中的像素中的每一者的第二运动向量预测第二预测像素值。
此外，视频编码器20可经配置以将调适度量确定为用于支持区中的每一像素的第一预测像素值与用于支持区中的像素中的每一者的第二预测像素值之间的平均像素差。第一分区可与参考第一参考帧的第一块的第一运动向量相关联。第二分区可与参考第二参考帧的第二块的第二运动向量相关联。可从用于支持区中的像素中的每一者的第一运动向量预测第一预测像素值。可从用于支持区中的像素中的每一者的第二运动向量预测第二预测像素值。
在一些情况下，视频编码器20可经配置以将调适度量确定为支持区中的像素的平均加权平均值。
在其它情况下，第一分区可与具有精度的运动向量相关联，且视频编码器20可经配置以将调适度量确定为运动向量的所述精度，且通过在运动向量的所述精度小于阈值精度时选择性地停用重叠块运动补偿过程的应用而调适重叠块运动补偿过程的应用。所述阈值精度可包括整数精度、二分之一像素精度及四分之一像素精度中的一者。
在又其它情况下，所述块可与块大小相关联，且视频编码器20可经配置以将调适度量确定为所述块大小，且通过在块大小小于块大小阈值时选择性地停用重叠块运动补偿过程的应用而调适重叠块运动补偿过程的应用。块大小可包括视频块大小及识别应用到块的第一分区的变换的大小的变换块大小中的一者。
在一些实例中，第一分区可与预测方向相关联，且视频编码器20可经配置以将调适度量确定为预测方向。视频编码器20可接着通过在第一分区的预测方向为双向时选择性地停用重叠块运动补偿过程到第二分区的应用而调适重叠块运动补偿过程的应用。
在其它实例中，第一分区可与第一预测方向相关联，第二分区可与第二预测方向相关联，且视频编码器20可经配置以将调适度量确定为第一预测方向及第二预测方向，且通过在第一预测方向为双向且第二预测方向为单向时选择性地停用重叠块运动补偿过程到第一分区的应用且在第一预测方向为双向且第二预测方向为单向时选择性地启用重叠块运动补偿过程到第一分区的应用而调适重叠块运动补偿过程的应用。
在又其它实例中，第一分区可与具有精度的运动向量相关联，且视频编码器20可经配置以将调适度量确定为运动向量的所述精度，且通过在运动向量的精度为分数时减小运动向量的精度来调适重叠块运动补偿过程的应用以调适重叠块运动补偿过程的应用以使用精度减小的运动向量代替与第一分区相关联的运动向量。
此外，第一分区可与预测方向相关联，且视频编码器20可经配置以确定预测方向，通过在所确定的预测方向为双向时选择与第一分区相关联的两个运动向量中的仅一者而调适重叠块运动补偿过程的应用以调适重叠块运动补偿过程的应用以仅使用所述两个运动向量中的所选一者代替所述两个运动向量。
在一些其它实例中，支持区可包括以下各者中的一或多者：用于第一分区的过渡区的一部分，其包含靠近第一分区中的分区边界的像素的一部分；用于第一分区的过渡区的向下取样版本；以及第一分区。在一些情况下，支持区可不包含完整的视频数据块。在这些实例中，视频编码器20可经配置以将调适度量确定为用于支持区中的每一像素的第一预测像素值与用于支持区中的每一像素的第二预测像素值之间的绝对差。关于这些实例，第一分区可与参考第一参考帧的第一块的第一运动向量相关联，且第二分区可与参考第二参考帧的第二块的第二运动向量相关联。此外，可从用于支持区中的像素中的每一者的第一运动向量预测第一预测像素值，且可从用于支持区中的像素中的每一者的第二运动向量预测第二预测像素值。视频编码器20可进一步经配置以通过在所确定的绝对差大于差阈值时选择性地停用重叠块运动补偿过程的应用而调适重叠块运动补偿过程的应用。
图3是图解说明可实施本发明中描述的技术的实例视频解码器30的框图。在图3的实例中，视频解码器30包含熵解码单元80、预测单元81、逆量化单元86、逆变换单元88、求和器90，及参考图片存储器92。预测单元81包含运动补偿单元82及帧内预测单元84。在一些实例中，视频解码器30可执行大体上与关于来自图2的视频编码器20描述的编码遍次互逆的解码遍次。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30的熵解码单元80对位流进行熵解码以产生经量化系数、运动向量及其它语法元素。熵解码单元80将运动向量及其它语法元素转发到预测单元81。视频解码器30可接收视频切片等级及/或视频块等级的语法元素。
当视频切片经译码为经帧内译码(I)切片时，预测单元81的帧内预测单元84可基于用信号通知的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B、P或GPB)切片时，预测单元81的运动补偿单元82基于从熵解码单元80接收到的运动向量及其它语法元素产生用于当前视频切片的视频块的预测块。预测块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储在参考图片存储器92中的参考图片使用默认建构技术建构参考帧列表：列表0及列表1。
运动补偿单元82通过剖析运动向量和其它语法元素确定用于当前视频切片的视频块的预测信息，且使用所述预测信息产生用于经解码当前视频块的预测块。举例来说，运动补偿单元82使用所接收语法元素中的一些确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的建构信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态及用以对当前视频切片中的视频块进行解码的其它信息。
运动补偿单元82还可基于内插滤波器执行内插。运动补偿单元82可使用由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元82可根据接收的语法信息元素而确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测块。
逆量化单元86对在位流中提供且由熵解码单元80解码的经量化变换系数进行逆量化，即解量化。逆量化过程可包含使用视频编码器20针对视频切片中的每一视频块所计算的量化参数来确定应应用的量化程度且同样确定逆量化程度。逆变换单元88对变换系数应用逆变换，例如逆DCT、逆整数变换或概念上类似的逆变换过程，以便产生像素域中的残余块。
在运动补偿单元82基于运动向量及其它语法元素产生了当前视频块的预测块之后，视频解码器30通过将来自逆变换单元88的残余块与运动补偿单元82产生的对应预测块求和来形成经解码视频块。求和器90表示可执行此求和运算的组件。必要时，还可应用解块滤波器来对经解码块进行滤波以便移除成块假影。其它环路滤波器(在译码环路中或在译码环路之后)也可用于平滑化像素转变或以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器92中，参考图片存储器92存储参考图片供后续运动补偿之用。参考图片存储器92还存储经解码视频以供稍后在显示装置(例如图1的显示装置32)上呈现。
如上文所描述，运动补偿单元82可执行帧间预测以确定预测视频块。在一些情况下，运动补偿单元82可执行称为重叠块运动补偿(OBMC)的运动补偿形式。OBMC是指平滑化沿着运动边界的像素值的技术，其中术语“运动边界”是指当前在开发中的称为高效率视频译码(HEVC)的新兴视频译码标准中统称为“预测单元”或“PU”者之间的边界。这些预测单元表示译码单元(CU)的译码节点的部分，可针对所述部分执行运动补偿及运动估计以在这些部分经帧间译码时确定运动向量。
为确定用于此预测块的最终像素值，运动补偿单元82通常通过执行像素值的加权总和而组合第一与第二像素值两者。运动补偿单元82常常将较高权重指派给使用与由预测块的像素驻留于其中的PU识别的部分相关联的MV预测的像素值，且将较小权重指派给使用不与由预测块的像素不驻留于其中的PU识别的部分相关联的MV预测的像素值。运动补偿单元82接着使用所述加权总和的结果作为所述预测块的像素值。以此方式，运动补偿单元82可执行OBMC以平滑化沿着预测边界的不连续性，其再次可改善译码效率(根据用以译码视频数据的位)且潜在地减少假影。
尽管OBMC一般来说可平滑化沿着预测边界的像素值，但存在可能有必要保持尖锐边缘(其为不连续性的一个实例)以保持高视觉质量的一些情况。在一些情况下，举例来说，此些不连续性可能对于恰当地定义给定视频帧中的对象或运动是必要的，且平滑化这些不连续性可能导致不合需要的模糊或不清楚的对象，从而使视觉质量严重降低。本发明的技术可调适OBMC以试图避免平滑化可增强视觉质量的不连续性。
为进行说明，运动补偿单元82可实施本发明中描述的技术以基于过渡区中的像素值、所述过渡区内的像素值的子块、分区的特定特性、沿着特定分区的过渡区的边界条件或先前各者中的一或多者的任何组合而自适应性地执行OBMC。术语“过渡区”可大体指靠近或邻近于在邻近于分区边界的分区中的一者或两者内的分区边界的像素。
举例来说，运动补偿单元82可相对于过渡区内的两个或两个以上像素自适应性地执行不同OBMC方法。作为另一实例，运动补偿单元82可相对于过渡区内的像素值的两个或两个以上子块自适应性地执行不同OBMC方法。作为又一实例，运动补偿单元82可相对于形成分区边界或邻近于分区边界的分区中的每一者的过渡区自适应性地执行不同OBMC方法。作为再一实例，运动补偿单元82可相对于形成分区边界或邻近于分区边界的分区两者的过渡区自适应性地执行不同OBMC方法。
运动补偿单元82可以数个方式调适OBMC的应用。在一些情况下，运动补偿单元82可调适在执行第一与第二像素值的加权总和时使用的权重。尽管相对于第一及第二像素值进行描述，但OBMC可涉及两个以上像素值以确定预测像素值。在这些情况下，OBMC可认为是应用具有一或多个各种大小(例如3x3或5x5)的平滑化滤波器。在一些情况下，所述技术可调适这些滤波器的系数。在其它情况下，运动补偿单元82可通过例如从滤波器的预定义非零集合针对过渡区中的不同像素选择不同滤波器而执行此调适。在其它情况下，运动补偿单元82可通过启用及停用此滤波而自适应性地执行OBMC。在一些情况下，运动补偿单元82可使用上文所描述的技术的三个调适方面中的两者或两者以上的组合自适应性地执行OBMC。
在操作中，运动补偿单元82可首先确定支持区，支持区是指视频译码器考虑确定可被称为调适度量者之区域。支持区可包括整个帧或帧内的区。换句话说，支持区可不包含完整的或整个帧，而仅包含整个帧的一部分。在一些情况下，支持区可包括所考虑块内的像素的子集。通常，出于减小存储器带宽要求的目的，支持区覆盖邻近于分区边界的块。在某一实施方案中，为进一步减小存储器带宽要求，运动补偿单元82可确定支持区以包含形成分区边界或沿着分区边界的分区中的每一者的过渡区。支持区可包含内插像素，所述内插像素通常由于使用具有四分之一或二分之一像素像素精度的运动向量而出现。
在一些实施方案中，运动补偿单元82可通过将四分之一像素像素精度运动向量减小到二分之一像素或整数像素像素精度运动向量及/或将二分之一像素像素精度运动向量减小到整数像素像素精度运动向量而降低运动向量的分辨率以减少支持区中的像素的数目(通常减小确定此支持区的复杂度，因为利用非整数像素像素精度运动向量时所需的像素内插过程可能在所执行的操作的数目方面引入复杂度)。
在任何情况下，在确定一或多个支持区之后，运动补偿单元82接着确定用于所确定的一或多个支持区的调适度量。为进行说明，对于支持区中的给定一者，运动补偿单元82计算相同位置的两个像素值之间的差，其中所述像素值中的一者是从来自那一位置的当前分区运动向量预测，且另一者是从用于另一分区的运动向量预测。视频译码器可将所述差计算为差的绝对值或平方误差差。在数学上，一个差对于第(x，y)位置可表示为diff(x，y)＝Ipixcurr(x，y)-pixother(x，y)I，其中pixcurr(x，y)是从当前分区的运动向量提取的像素，且pixother(x，y)是从相邻分区的运动向量提取的像素。
作为另一实例，运动补偿单元82可将调适度量导出为所确定支持区中的一者内的像素的子集或所有像素上的差的平均值。在数学上，此可表达为diff＝avg(diff(x，y))，其中(x，y)属于支持区的像素。在此实例中，运动补偿单元82用上文所描述的方式确定支持区中的每一像素的差，将所述差相加在一起以确定总差，并将所述总差除以支持区中的像素的数目。作为又一实例，运动补偿单元82可对于每一分区导出支持区内的像素的加权平均值。
以上调适度量都与基于像素值调适的这些有关。可基于其它上下文确定其它调适度量。在一些情况下，运动补偿单元82可选择性地启用及停用OBMC以便避免平均或最坏情况存储器带宽消耗的情况。即，运动补偿单元82可基于运动向量值(例如，运动向量是整数还是分数像素精度运动向量)而选择性地启用及停用OBMC。举例来说，运动补偿单元82可在运动向量为二分之一像素或四分之一像素(例如，分数)精度时停用OBMC。如上文所描述，视频编码器20的运动补偿单元44可在图片参数集(PPS)、序列参数集(SPS)及/或调适参数集(APS)中用信号通知使用二分之一像素还是四分之一像素运动向量准确度来选择性地启用及/或停用OBMC。
在一些情况下，运动补偿单元82可取决于块大小及/或变换大小而选择性地启用及停用OBMC。举例来说，如果运动向量小于指示为“T_blksize”的阈值，则运动补偿单元82可停用OBMC。典型T_blksize可包括16x16的变换块大小。再次，视频编码器20可在图片参数集(PPS)、序列参数集(SPS)及/或调适参数集(APS)中“用信号通知”T_blksize。
在一些情况下，运动补偿单元82可基于帧间预测方向而选择性地启用及停用OBMC。举例来说，如果PU0指示将对第一分区进行双向预测(意味着使用一个以上运动向量预测其对应预测块)，则运动补偿单元82可停用对由PU1识别的第二分区的OBMC。运动补偿单元82可选择性地停用对第二分区的OBMC，因为运动补偿单元82将需要使用由P0识别的分区的运动信息提取额外线。因为此分区是经双向预测，所以需要视频译码器从两个帧提取数据，其增大存储器带宽。在另一实例中，如果由P0识别的第一分区是经双向预测且第二分区是经单向预测，则运动补偿单元82可停用对第一分区的OBMC且启用对第二分区的OBMC。运动补偿单元82可由于使用双向预测P0的运动信息时所需的额外线提取而停用对第一分区的OBMC，且从执行双向预测产生的预测块可能比使用单向预测产生的预测块更准确。换句话说，所述技术一般来说试图在确定准确度不相关的区域中执行OBMC，例如当执行单向预测时或当使用大块时，因为这些大体对应于不复杂、高度纹理化或以其它方式指定大量细节的视频数据。
所述技术还可包含针对基于运动信息(例如运动向量的像素精度或预测方向(例如，双向预测还是单向预测))调适OBMC的应用的方面。举例来说，运动补偿单元82可确定用于一分区的运动向量的像素精度为二分之一或四分之一像素，且为降低复杂度(根据操作)及存储器带宽要求，减小运动向量的分辨率而使得运动向量的像素精度为二分之一像素(如果原始像素精度为四分之一像素)、整数像素或甚至零值。分辨率减小的运动向量可因此表示原始运动向量的已舍入/经量化版本。因此，可调适OBMC以适应比最初指定的那些运动向量精度低的运动向量。
作为另一实例，运动补偿单元82可响应于预测方向而调适OBMC。为进行说明，运动补偿单元82可确定给定分区是从两个参考帧双向预测还是从单个参考帧单向预测。如果是双向预测，则运动补偿单元82可调适OBMC以利用运动向量中的仅一者参考所述两个参考帧中的一者而非利用所述运动向量两者。以此方式，运动补偿单元82可实施所述技术以再次降低存储器带宽要求。
运动补偿单元82可使用此调适度量来确定待应用于给定分区的OBMC的类型。举例来说，运动补偿单元82可比较diff(x，y)的振幅与阈值，且在diff(x，y)小于阈值的情况下启用OBMC且在diff(x，y)大于或等于阈值的情况下停用OBMC。作为另一实例，运动补偿单元82可比较diff(x，y)的振幅与阈值以确定使用强滤波器(例如，如果diff(x，y)小于阈值)还是弱滤波器(例如，如果diff(x，y)大于或等于阈值)。作为又一实例，运动补偿单元82可基于diff(x，y)缩放用于执行OBMC的平滑化滤波器的滤波器系数。
在任何情况下，所述技术可经实施而使得可单独地或以彼此的变化组合使用任何数目的先前调适以适合多种复杂度(根据所执行的操作的数目)及存储器带宽要求。作为一个实例，将计算复杂度考虑为主要要求，可在运动补偿单元82中实施基于分区的调适。自适应性OMBC的此示范性实施方案可涉及用以启用或停用OBMC的调适。用于此示范性实施方案的支持区可被定义为过渡区的一部分，例如过渡区的中心区或向下取样的过渡区。对于调适度量，示范性实施方案可将所述度量设定为支持区中的像素的绝对差。基于此组合，OBMC的示范性实施方案基于分区及过渡区的中心区两者中的像素的绝对差总和而启用或停用OBMC。如果绝对差总和大于阈值，则运动补偿单元82停用对于此分区的OBMC。或者，如果绝对差总和小于或等于阈值，则运动补偿单元82启用对于此分区的OBMC。
尽管本发明中描述为大部分涉及OBMC的推断式调适，但在一些情况下，可明确地用信号通知是启用还是停用OBMC。举例来说，此用信号通知的等级包含LCU等级、切片标头等级、APS等级、PPS等级或SPS等级。举例来说，此用信号通知的范围包含是否对于给定用信号通知等级的所有CU大小启用及/或停用OBMC及/或是否对于给定用信号通知等级的CU大小的子集启用及/或停用OBMC。所述技术因此不应严格地限于其中推断或静态地设定OBMC过程的调适的实施方案，而可包含明确地用信号通知的实施方案及OBMC过程的调适的动态(例如，基于上下文的)导出两者。
以此方式，图3的视频解码器30表示经配置以进行以下操作的视频解码器的实例：依据用于由分区边界分开的所述视频数据的块的第一分区及第二分区中的一者的支持区确定调适度量；以及基于所述调适度量调适重叠块运动补偿过程的应用以确定靠近用于表示所述视频块的所述第一分区的第一预测块的分区边界的预测像素值。
所述支持区可包括以下各者中的一者：视频块驻留于其中的帧；视频块驻留于其中的帧的区；第一分区；第二分区；以及用于第一分区或第二分区的过渡区，其包含靠近第一分区或第二分区中的分区边界的像素的一部分；第一分区的向下取样版本；第二分区的向下取样版本；以及用于第一或第二分区的过渡区的向下取样版本。
此外，视频解码器30可经配置以将调适度量确定为用于支持区中的至少一个像素的第一预测像素值与用于支持区中的至少一个像素的第二预测像素值之间的差。第一分区可与参考第一参考帧的第一块的第一运动向量相关联。第二分区可与参考第二参考帧的第二块的第二运动向量相关联。可从第一运动向量预测第一预测像素值。可从第二运动向量预测第二预测像素值。
此外，视频解码器30可经配置以将调适度量确定为用于支持区中的每一像素的第一预测像素值与用于支持区中的每一像素的第二预测像素值之间的绝对差。第一分区可与参考第一参考帧的第一块的第一运动向量相关联。第二分区可与参考第二参考帧的第二块的第二运动向量相关联。可从用于支持区中的像素中的每一者的第一运动向量预测第一预测像素值。可从用于支持区中的像素中的每一者的第二运动向量预测第二预测像素值。
此外，视频解码器30可经配置以将调适度量确定为用于支持区中的每一像素的第一预测像素值与用于支持区中的像素中的每一者的第二预测像素值之间的平均像素差。第一分区可与参考第一参考帧的第一块的第一运动向量相关联。第二分区可与参考第二参考帧的第二块的第二运动向量相关联。可从用于支持区中的像素中的每一者的第一运动向量预测第一预测像素值。可从用于支持区中的像素中的每一者的第二运动向量预测第二预测像素值。
在一些情况下，视频解码器30可经配置以将调适度量确定为支持区中的像素的平均加权平均值。
在其它情况下，第一分区可与具有精度的运动向量相关联，且视频解码器30可经配置以将调适度量确定为运动向量的所述精度，且通过在运动向量的所述精度小于阈值精度时选择性地停用重叠块运动补偿过程的应用而调适重叠块运动补偿过程的应用。所述阈值精度可包括整数精度、二分之一像素精度及四分之一像素精度中的一者。
在又其它情况下，所述块可与块大小相关联，且视频解码器30可经配置以将调适度量确定为所述块大小，调适重叠块运动补偿过程的应用包括在块大小小于块大小阈值时选择性地停用重叠块运动补偿过程的应用。块大小可包括视频块大小及识别应用到块的第一分区的变换的大小的变换块大小中的一者。
在一些实例中，第一分区可与预测方向相关联，且视频解码器30可经配置以将调适度量确定为预测方向，从而通过在第一分区的预测方向为双向时选择性地停用重叠块运动补偿过程到第二分区的应用而调适重叠块运动补偿过程的应用。
在其它实例中，第一分区可与第一预测方向相关联，第二分区可与第二预测方向相关联，且视频解码器30可经配置以将调适度量确定为第一预测方向及第二预测方向，且通过在第一预测方向为双向且第二预测方向为单向时选择性地停用重叠块运动补偿过程到第一分区的应用且在第一预测方向为双向且第二预测方向为单向时选择性地启用重叠块运动补偿过程到第一分区的应用而调适重叠块运动补偿过程的应用。
在又其它实例中，第一分区可与具有精度的运动向量相关联，且视频解码器30可经配置以将调适度量确定为运动向量的所述精度，且通过在运动向量的精度为分数时减小运动向量的精度来调适重叠块运动补偿过程的应用以调适重叠块运动补偿过程的应用以使用精度减小的运动向量代替与第一分区相关联的运动向量。
此外，第一分区可与预测方向相关联，且视频解码器30可经配置以确定预测方向，通过在所确定的预测方向为双向时选择与第一分区相关联的两个运动向量中的仅一者而调适重叠块运动补偿过程的应用以调适重叠块运动补偿过程的应用以仅使用所述两个运动向量中的所选一者代替所述两个运动向量。
在一些其它实例中，支持区可包括以下各者中的一或多者：用于第一分区的过渡区的一部分，其包含靠近第一分区中的分区边界的像素的一部分；用于第一分区的过渡区的向下取样版本；以及第一分区。在一些情况下，支持区可不包含完整的视频数据块。在这些实例中，视频解码器30可经配置以将调适度量确定为用于支持区中的每一像素的第一预测像素值与用于支持区中的每一像素的第二预测像素值之间的绝对差。
关于这些实例，第一分区可与参考第一参考帧的第一块的第一运动向量相关联，且第二分区可与参考第二参考帧的第二块的第二运动向量相关联。此外，可从用于支持区中的像素中的每一者的第一运动向量预测第一预测像素值，且可从用于支持区中的像素中的每一者的第二运动向量预测第二预测像素值。视频解码器30可进一步经配置以通过在所确定的绝对差大于差阈值时选择性地停用重叠块运动补偿过程的应用而调适重叠块运动补偿过程的应用。
图4A、4B是说明自适应性OBMC技术可应用到的相应块100A、100B的图。块100A、100B中的每一者包含由分区边界104分开的分区102A与分区102B。分区102A、102B中的每一者分别包含靠近分区边界104(在图4A、4B的实例中至多距分区边界104两个像素)的过渡区106A、106B。尽管展示为包含至多距分区边界104两个像素的像素，但过渡区106A、106B可包含更多或更少像素。此外，过渡区106A、106B可不必包含相同数目的像素。块100A与100B之间的差在分区102A、102B中的差中，其中块100A已水平分割，且块100B已垂直分割。关于图5展示分区的更多实例。
尽管描述且展示为相对于单个视频数据块执行本发明的技术，但可额外相对于两个或两个以上块执行所述技术。换句话说，可跨越两个块之间的边界执行所述技术。在此实例中，过渡区可包括来自第一块的分区及第二块的分区的像素。在一些情况下，第一块的分区可包括完整的第一块或其某一部分，且第二块的分区可包括完整的第二块或其某一部分。以此方式，所述技术可依据用于由分区边界分开的视频数据的一或多个块的第一分区及第二分区中的一者的支持区确定调适度量。因此，所述技术不应限于本发明中所提供的实例。
图5是说明可分割视频数据块的潜在方式的图。在图5的实例中，分割模式110表示对称的矩形或正方形分割模式。分割模式112表示不对称分割模式。分割模式114表示几何分割模式的一个实例。使用HEVC作为一实例，帧分区可首先划分成数个最大译码单元(LCU)，且典型LCU大小为64x64。LCU可进一步划分成较小CU，且每一CU可进一步划分。CU的分裂可根据分割模式110对称地分割、根据分割模式112不对称地分割，及根据几何分割模式(例如几何分割模式114)以几何方式分割。
返回参考图4A，视频译码器(例如相对于图1到3展示的视频编码器20及/或视频解码器30)可通过使对过渡区内部的像素的两个预测重叠而实施OBMC。为定义此过渡区，视频译码器可识别当前像素(例如像素108)，且形成居中于像素108上的3x3窗或像素块。如果所述窗内的像素中的任一者属于像素108不属于的分区(其中，在图4A的实例中，像素108属于分区106A，且居中于像素108上的3x3窗中的像素中的至少一者属于分区106B)，则当前像素(像素108)可分类为属于过渡区。尽管描述为相对于3x3窗加以定义，但此过渡区还可相对于任何其它大小的窗加以定义。
在将像素分类到过渡区之后，视频译码器可接着以上文所描述的方式识别支持区。此支持区可包括整个帧或帧的某一部分，其中通常出于上文所论述的存储器带宽原因而将支持区定义为小于整个帧。在图4A的实例中，视频译码器识别支持区110，其包括块100A的一部分。视频译码器可接着以上文所描述的方式基于支持区110中的像素的像素值识别调适度量。使用此调适度量，视频编码器可接着以上文所描述的各种方式自适应性地执行OBMC。尽管相对于图4A加以描述，但所述技术可同样相对于图4B中所示的分割模式或图5的实例中所说明的那些分割模式中的任一者加以实施。
图6是说明视频编码器(例如图1及2的实例中所示的视频编码器20)执行本发明中描述的自适应性重叠块运动补偿技术的示范性操作的流程图。视频编码器20最初接收视频数据，且分割单元35将所述数据分割成视频块。此分割还可包含分割成切片、瓦片或其它较大单元，以及视频块分割(例如根据LCU及CU的四叉树结构)。即，分割单元35可实施图4A、4B、5的实例中所示的分割模式中的一者以在视频数据块内形成第一分区及第二分区，其中这些分区可例如表示单独的预测单元(PU)。在此方面，分割单元35可确定视频数据块的第一分区，且确定视频数据块的第二分区(120，122)。
运动估计单元42计算经帧间译码切片中的视频块的第一及第二分区(PU)中的每一者的运动向量，方法是通过比较所述PU的位置与参考图片的预测块的位置。如上文所描述，参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一者识别存储在参考图片存储器64中的一或多个参考图片。运动估计单元42将计算出来的运动向量发送到熵编码单元56及运动补偿单元44。
运动补偿单元44可经配置以执行本发明中描述的自适应性OBMC技术，由此运动补偿单元44可经配置而以上文所描述的方式确定第一分区及第二分区中的一者或两者的调适度量(124)。即，运动补偿单元44可以上文所描述的方式识别支持区，且基于此支持区计算调适度量。运动补偿单元44可进一步经配置以再次如上文所描述基于所确定的调适度量调适OBMC的应用(126)。如上文进一步描述，运动补偿单元44还可经配置以通过执行经调适OBMC而确定视频数据的预测块(128)。
运动补偿单元44接着通过从正译码的当前视频块的像素值减去预测块的像素值而形成残余视频块，从而将残余数据形成为像素差值(130)。求和器50表示可执行此减法运算的组件。运动补偿单元44还可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。
变换处理单元52接着使用例如离散余弦变换(DCT)或概念上类似的变换等变换变换残余视频数据以确定变换系数(132)。变换处理单元52可将残余视频数据从像素(空间)值域转换到变换域，例如频域。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化所述变换系数以进一步减小位率(134)。量化过程可减少与变换系数中的一些或全部相关联的位深度。在量化之后，熵编码单元56对经量化变换系数进行熵编码(136)。
图7是说明视视频解码器(例如图1及3的实例中所示的视频解码器30)执行本发明中描述的自适应性重叠块运动补偿技术的示范性操作的流程图。在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30的熵解码单元80对位流进行熵解码以产生经量化变换系数(140)。熵解码单元80还可对位流进行熵解码以确定各种其它信息，例如运动向量及其它语法元素。熵解码单元80将运动向量及其它语法元素转发到预测单元81。视频解码器30可接收视频切片等级及/或视频块等级的语法元素。
逆量化单元86对在位流中提供且由熵解码单元80解码的经量化变换系数进行逆量化(即解量化)以确定变换系数(142)。逆变换单元88执行逆变换，例如逆DCT、逆整数变换或概念上类似的逆变换过程，以从所述变换系数产生用于视频数据块的残余数据(146)。
同时，预测单元81的运动补偿单元82基于从熵解码单元80接收的运动向量及其它语法元素产生用于当前视频切片的视频块的预测块。预测块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储在参考图片存储器92中的参考图片使用默认建构技术建构参考帧列表：列表0及列表1。
运动补偿单元82通过剖析运动向量和其它语法元素确定用于当前视频切片的视频块的预测信息，且使用所述预测信息产生用于经解码当前视频块的预测块。举例来说，运动补偿单元82使用所接收语法元素中的一些确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的建构信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态及用以对当前视频切片中的视频块进行解码的其它信息。
运动补偿单元82可经配置以识别或以其它方式确定(常常基于“用信号通知”译码节点到PU的分割模式或阶层式分割的语法元素)视频数据块的第一分区，且确定视频数据块的第二分区(148，150)。运动补偿单元82可进一步经配置以接着以上文所描述的方式确定用于第一分区及第二分区中的一者或两者的调适度量(152)。运动补偿单元82还可经配置以再次如上文所描述基于所确定的调适度量调适OBMC的应用(154)。在调适OBMC之后，运动补偿单元82可经配置以通过执行经调适OBMC而确定预测块(156)。
在运动补偿单元82基于运动向量及其它语法元素产生或以其它方式确定当前视频块的预测块之后，视频解码器30将所述预测块相加到来自逆变换单元88的残余数据以产生视频数据块(158)。接着将给定帧或图片中的经解码视频块存储在参考图片存储器92中，参考图片存储器92存储参考图片用于后续运动补偿。参考图片存储器92还存储经解码视频以供稍后在显示装置(例如图1的显示装置32)上呈现。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果用软件实施，则所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包括任何促进将计算机程序从一处传送到另一处的任何媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体大体上可对应于(1)有形计算机可读存储媒体，其是非暂时性的，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或任何其它可用来存储指令或数据结构的形式的所需程序代码且可由计算机存取的媒体。而且，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令，则同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电及微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对于非暂时性有形存储媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
指令可由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文所述的功能性可提供于经配置用于编码及解码的专用硬件及/或软件模块内，或并入在组合式编解码器中。而且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。确切地说，如上文所描述，各种单元可配合合适的软件及/或固件组合在编解码器硬件单元中，或通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述各种实例。这些及其它实例在所附权利要求书的范围内。

Claims (42)

1.一种用于译码视频数据的方法，其包括：
基于由分区边界分开的所述视频数据的一或多个块的第一分区及第二分区中的一者的支持区中的至少一个像素确定调适度量，其中所述支持区不为完整的所述视频数据的一或多个块，其中确定所述调适度量包括基于用于所述支持区中的所述至少一个像素的第一预测像素值与用于所述支持区中的所述至少一个像素的第二预测像素值之间的差确定所述调适度量；
基于所述调适度量调适重叠块运动补偿过程的应用以确定靠近表示所述视频数据的所述一或多个块的所述第一分区的第一预测块的所述分区边界的经滤波的预测像素值，其中调适所述重叠块运动补偿过程的应用包括调整滤波器的滤波强度，所述滤波强度被施加至靠近表示所述视频数据的所述一或多个块的所述第一分区的所述第一预测块的所述分区边界的预测像素值；以及
输出视频数据，所述视频数据使用经调适的所述重叠块运动补偿过程加以译码。
2.根据权利要求1所述的方法，其中所述支持区包括以下各者中的一者：所述视频数据的所述一或多个块驻留于其中的帧的一部分；所述视频数据的所述一或多个块驻留于其中的所述帧的一部分的区；所述第一分区；所述第二分区；以及所述第一分区或所述第二分区的过渡区，其包含靠近所述第一分区或所述第二分区中的所述分区边界的像素的一部分；所述第一分区的向下取样版本；所述第二分区的向下取样版本；以及所述第一或所述第二分区的所述过渡区的向下取样版本。
3.根据权利要求1所述的方法，
其中所述第一分区与参考第一参考帧的第一块的第一运动向量相关联，
其中所述第二分区与参考第二参考帧的第二块的第二运动向量相关联，
其中从所述第一运动向量预测所述第一预测像素值，且
其中从所述第二运动向量预测所述第二预测像素值。
4.根据权利要求1所述的方法，
其中基于用于所述支持区中的所述至少一个像素的第一预测像素值与用于所述支持区中的所述至少一个像素的第二预测像素值之间的差确定所述调适度量包括基于用于所述支持区中的每一像素的第一预测像素值与用于所述支持区中的每一像素的第二预测像素值之间的绝对差确定所述调适度量，
其中所述第一分区与参考第一参考帧的第一块的第一运动向量相关联，
其中所述第二分区与参考第二参考帧的第二块的第二运动向量相关联，
其中从用于所述支持区中的所述像素中的每一者的所述第一运动向量预测所述第一预测像素值，且
其中从用于所述支持区中的所述像素中的每一者的所述第二运动向量预测所述第二预测像素值。
5.根据权利要求1所述的方法，
其中基于用于所述支持区中的所述至少一个像素的第一预测像素值与用于所述支持区中的所述至少一个像素的第二预测像素值之间的差确定所述调适度量包括基于用于所述支持区中的每一像素的第一预测像素值与用于所述支持区中的所述像素中的每一者的第二预测像素值之间的平均像素差确定所述调适度量，
其中所述第一分区与参考第一参考帧的第一块的第一运动向量相关联，
其中所述第二分区与参考第二参考帧的第二块的第二运动向量相关联，
其中从用于所述支持区中的所述像素中的每一者的所述第一运动向量预测所述第一预测像素值，且
其中从用于所述支持区中的所述像素中的每一者的所述第二运动向量预测所述第二预测像素值。
6.根据权利要求1所述的方法，其中确定所述调适度量包括基于所述支持区中的像素的平均加权平均值确定所述调适度量。
7.根据权利要求1所述的方法，
其中所述第一分区与具有精度的运动向量相关联，
其中确定所述调适度量进一步包括基于所述至少一个像素及所述运动向量的所述精度确定所述调适度量，
其中基于所述调适度量调适所述重叠块运动补偿过程的应用包括在所述运动向量的所述精度小于阈值精度时选择性地停用所述重叠块运动补偿过程的应用，且
其中所述阈值精度包括整数精度、二分之一像素精度及四分之一像素精度中的一者。
8.根据权利要求1所述的方法，
其中所述视频数据的所述一或多个块各自与块大小相关联，
其中确定所述调适度量进一步包括基于所述至少一个像素及所述视频数据的所述一或多个块中的至少一者的所述块大小确定所述调适度量，且
其中基于所述调适度量调适所述重叠块运动补偿过程的应用包括在所述所确定的块大小小于块大小阈值时选择性地停用所述重叠块运动补偿过程的应用，且
其中所述所确定的块大小包括视频块大小或识别应用到所述块的所述第一分区的变换的大小的变换块大小中的一者。
9.根据权利要求1所述的方法，
其中所述第一分区与预测方向相关联，
其中确定所述调适度量进一步包括基于所述至少一个像素及所述预测方向确定所述调适度量，且
其中基于所述调适度量调适所述重叠块运动补偿过程的应用包括在所述第一分区的所述预测方向为双向时选择性地停用所述重叠块运动补偿过程到所述第二分区的应用。
10.根据权利要求1所述的方法，
其中所述第一分区与第一预测方向相关联，
其中所述第二分区与第二预测方向相关联，
其中确定所述调适度量进一步包括基于所述至少一个像素以及所述第一预测方向及所述第二预测方向确定所述调适度量，且
其中基于所述调适度量调适所述重叠块运动补偿过程的应用包括：
在所述第一预测方向为双向且所述第二预测方向为单向时选择性地停用所述重叠块运动补偿过程到所述第一分区的应用；以及
在所述第一预测方向为单向且所述第二预测方向为双向时选择性地启用所述重叠块运动补偿过程到所述第一分区的应用。
11.根据权利要求1所述的方法，
其中所述第一分区与具有精度的运动向量相关联，
其中确定所述调适度量进一步包括基于所述至少一个像素及所述运动向量的所述精度确定所述调适度量，
其中基于所述调适度量调适所述重叠块运动补偿过程的应用包括在所述运动向量的精度为分数时减小所述运动向量的所述精度以调适所述重叠块运动补偿过程的所述应用以使用所述精度减小的运动向量代替与所述第一分区相关联的所述运动向量。
12.根据权利要求1所述的方法，
其中所述第一分区与预测方向相关联，
其中确定所述调适度量进一步包括基于所述至少一个像素及所述预测方向确定所述调适度量，且
其中基于所述调适度量调适所述重叠块运动补偿过程的应用包括在所述所确定的预测方向为双向时选择与所述第一分区相关联的两个运动向量中的仅一者以调适所述重叠块运动补偿过程的应用以仅使用所述两个运动向量中的所述所选一者代替所述两个运动向量。
13.根据权利要求1所述的方法，
其中所述支持区包括以下各者中的一或多者：所述第一分区的过渡区的一部分，其包含靠近所述第一分区中的所述分区边界的所述像素的一部分；所述第一分区的所述过渡区的向下取样版本；以及所述第一分区，
其中确定所述调适度量进一步包括基于用于所述支持区中的每一像素的第一预测像素值与用于所述支持区中的每一像素的第二预测像素值之间的绝对差确定所述调适度量，
其中所述第一分区与参考第一参考帧的第一块的第一运动向量相关联，
其中所述第二分区与参考第二参考帧的第二块的第二运动向量相关联，
其中从用于所述支持区中的所述像素中的每一者的所述第一运动向量预测所述第一预测像素值，
其中从用于所述支持区中的所述像素中的每一者的所述第二运动向量预测所述第二预测像素值，
其中基于所述调适度量调适所述重叠块运动补偿过程的应用包括在所述所确定的绝对差大于差阈值时选择性地停用所述重叠块运动补偿过程的应用。
14.根据权利要求1所述的方法，其中所述方法包括解码方法，且其中所述方法由无线通信装置执行，所述无线通信装置包含：
存储器，其经配置以存储视频数据；
处理器，其经配置以执行指令从而处理存储在所述存储器中的所述视频数据；及
接收器，其经配置以接收所述视频数据。
15.根据权利要求14所述的方法，其中所述无线通信装置包含蜂窝式电话，所述蜂窝式电话经配置以接收包含所述视频数据的信号，且其中所述信号由所述接收器接收并根据蜂窝通信标准解调。
16.一种经配置以译码视频数据的视频译码装置，所述视频译码装置包括：
存储器，其经配置以存储所述视频数据；以及
一或多个处理器，其经配置以进行以下操作：
基于由分区边界分开的所述视频数据的一或多个块的第一分区及第二分区中的一者的支持区中的至少一个像素确定调适度量，其中所述支持区不为完整的所述视频数据的一或多个块，其中当确定所述调适度量时，基于用于所述支持区中的所述至少一个像素的第一预测像素值与用于所述支持区中的所述至少一个像素的第二预测像素值之间的差确定所述调适度量；以及
基于所述调适度量调适重叠块运动补偿过程的应用以确定靠近表示所述视频数据的所述一或多个块的所述第一分区的第一预测块的所述分区边界的经滤波的预测像素值，其中为了调适所述重叠块运动补偿过程的应用，所述一或多个处理器进一步经配置以调整滤波器的滤波强度，所述滤波强度被施加至靠近表示所述视频数据的所述一或多个块的所述第一分区的所述第一预测块的所述分区边界的预测像素值；以及
输出视频数据，所述视频数据使用经调适的所述重叠块运动补偿过程加以译码。
17.根据权利要求16所述的视频译码装置，其中所述支持区包括以下各者中的一者：
所述视频数据的所述一或多个块驻留于其中的帧的一部分；所述视频数据的所述一或多个块驻留于其中的所述帧的一部分的区；所述第一分区；所述第二分区；以及所述第一分区或所述第二分区的过渡区，其包含靠近所述第一分区或所述第二分区中的所述分区边界的所述像素的一部分；所述第一分区的向下取样版本；所述第二分区的向下取样版本；以及所述第一或所述第二分区的所述过渡区的向下取样版本。
18.根据权利要求16所述的视频译码装置，
其中所述第一分区与参考第一参考帧的第一块的第一运动向量相关联，
其中所述第二分区与参考第二参考帧的第二块的第二运动向量相关联，
其中从所述第一运动向量预测所述第一预测像素值，且
其中从所述第二运动向量预测所述第二预测像素值。
19.根据权利要求16所述的视频译码装置，
其中所述一或多个处理器经配置以在基于用于所述支持区中的所述至少一个像素的第一预测像素值与用于所述支持区中的所述至少一个像素的第二预测像素值之间的差确定所述调适度量时基于用于所述支持区中的每一像素的第一预测像素值与用于所述支持区中的每一像素的第二预测像素值之间的绝对差确定所述调适度量，
其中所述第一分区与参考第一参考帧的第一块的第一运动向量相关联，
其中所述第二分区与参考第二参考帧的第二块的第二运动向量相关联，
其中从用于所述支持区中的所述像素中的每一者的所述第一运动向量预测所述第一预测像素值，且
其中从用于所述支持区中的所述像素中的每一者的所述第二运动向量预测所述第二预测像素值。
20.根据权利要求16所述的视频译码装置，
其中所述一或多个处理器经配置以在基于用于所述支持区中的所述至少一个像素的第一预测像素值与用于所述支持区中的所述至少一个像素的第二预测像素值之间的差确定所述调适度量时基于用于所述支持区中的每一像素的第一预测像素值与用于所述支持区中的所述像素中的每一者的第二预测像素值之间的平均像素差确定所述调适度量，
其中所述第一分区与参考第一参考帧的第一块的第一运动向量相关联，
其中所述第二分区与参考第二参考帧的第二块的第二运动向量相关联，
其中从用于所述支持区中的所述像素中的每一者的所述第一运动向量预测所述第一预测像素值，且
其中从用于所述支持区中的所述像素中的每一者的所述第二运动向量预测所述第二预测像素值。
21.根据权利要求16所述的视频译码装置，其中所述一或多个处理器经配置以在确定所述调适度量时基于所述支持区中的像素的平均加权平均值确定所述调适度量。
22.根据权利要求16所述的视频译码装置，
其中所述第一分区与具有精度的运动向量相关联，
其中所述一或多个处理器经配置以在确定所述调适度量时基于所述至少一个像素及所述运动向量的所述精度确定所述调适度量，
其中所述一或多个处理器经配置以在调适所述重叠块运动补偿过程的应用时在所述运动向量的所述精度小于阈值精度时选择性地停用所述重叠块运动补偿过程的应用，且
其中所述阈值精度包括整数精度、二分之一像素精度及四分之一像素精度中的一者。
23.根据权利要求16所述的视频译码装置，
其中所述视频数据的所述一或多个块各自与块大小相关联，
其中所述一或多个处理器经配置以在确定所述调适度量时基于所述至少一个像素及所述视频数据的所述一或多个块中的至少一者的所述块大小确定所述调适度量，且
其中所述一或多个处理器经配置以在调适所述重叠块运动补偿过程的应用时在所述所确定的块大小小于块大小阈值时选择性地停用所述重叠块运动补偿过程的应用，且
其中所述所确定的块大小包括视频块大小及识别应用到所述块的所述第一分区的变换的大小的变换块大小中的一者。
24.根据权利要求16所述的视频译码装置，
其中所述第一分区与预测方向相关联，
其中所述一或多个处理器经配置以在确定所述调适度量时基于所述至少一个像素及所述预测方向确定所述调适度量，且
其中所述一或多个处理器经配置以在调适所述重叠块运动补偿过程的应用时在所述第一分区的所述预测方向为双向时选择性地停用所述重叠块运动补偿过程到所述第二分区的应用。
25.根据权利要求16所述的视频译码装置，
其中所述第一分区与第一预测方向相关联，
其中所述第二分区与第二预测方向相关联，
其中所述一或多个处理器经配置以在确定所述调适度量时基于所述至少一个像素以及所述第一预测方向及所述第二预测方向确定所述调适度量，且
其中所述一或多个处理器经配置以在调适所述重叠块运动补偿过程的应用时在所述第一预测方向为双向且所述第二预测方向为单向时选择性地停用所述重叠块运动补偿过程到所述第一分区的应用，且在所述第一预测方向为单向且所述第二预测方向为双向时选择性地启用所述重叠块运动补偿过程到所述第一分区的应用。
26.根据权利要求16所述的视频译码装置，
其中所述第一分区与具有精度的运动向量相关联，
其中所述一或多个处理器经配置以在确定所述调适度量时基于所述至少一个像素及所述运动向量的所述精度确定所述调适度量，
其中所述一或多个处理器经配置以在调适所述重叠块运动补偿过程的应用时在所述运动向量的精度为分数时减小所述运动向量的所述精度以调适所述重叠块运动补偿过程的所述应用以使用所述精度减小的运动向量代替与所述第一分区相关联的所述运动向量。
27.根据权利要求16所述的视频译码装置，
其中所述第一分区与预测方向相关联，
其中所述一或多个处理器经配置以在确定所述调适度量时基于所述至少一个像素及所述预测方向确定所述调适度量，且
其中所述一或多个处理器经配置以在调适所述重叠块运动补偿过程的应用时在所述所确定的预测方向为双向时选择与所述第一分区相关联的两个运动向量中的仅一者以调适所述重叠块运动补偿过程的应用以仅使用所述两个运动向量中的所述所选一者代替所述两个运动向量。
28.根据权利要求16所述的视频译码装置，
其中所述支持区包括以下各者中的一或多者：所述第一分区的过渡区的一部分，其包含靠近所述第一分区中的所述分区边界的所述像素的一部分；所述第一分区的所述过渡区的向下取样版本；以及所述第一分区，
其中所述一或多个处理器经配置以在确定所述调适度量时基于用于所述支持区中的每一像素的第一预测像素值与用于所述支持区中的每一像素的第二预测像素值之间的绝对差确定所述调适度量，
其中所述第一分区与参考第一参考帧的第一块的第一运动向量相关联，
其中所述第二分区与参考第二参考帧的第二块的第二运动向量相关联，
其中从用于所述支持区中的所述像素中的每一者的所述第一运动向量预测所述第一预测像素值，
其中从用于所述支持区中的所述像素中的每一者的所述第二运动向量预测所述第二预测像素值，
其中基于所述调适度量调适所述重叠块运动补偿过程的应用包括在所述所确定的绝对差大于差阈值时选择性地停用所述重叠块运动补偿过程的应用。
29.根据权利要求16所述的视频译码装置，其中所述装置包含无线通信装置，且其中所述装置进一步包含：
接收器，其经配置以接收所述视频数据。
30.根据权利要求29所述的视频译码装置，其中所述无线通信装置包含蜂窝式电话，所述蜂窝式电话经配置以接收包含所述视频数据的信号，且其中所述信号由所述接收器接收并根据蜂窝通信标准解调。
31.一种经配置以译码视频数据的视频译码装置，所述视频译码装置包括：
用于基于由分区边界分开的所述视频数据的一或多个块的第一分区及第二分区中的一者的支持区中的至少一个像素确定调适度量的装置，其中所述支持区不为完整的所述视频数据的一或多个块，其中用于确定所述调适度量的装置包括用于基于用于所述支持区中的所述至少一个像素的第一预测像素值与用于所述支持区中的所述至少一个像素的第二预测像素值之间的差确定所述调适度量的装置；以及
用于基于所述调适度量调适重叠块运动补偿过程的应用以确定靠近表示所述视频数据的所述一或多个块的所述第一分区的第一预测块的所述分区边界的经滤波的预测像素值的装置，其中用于调适所述重叠块运动补偿过程的应用的装置包括用于调整滤波器的滤波强度的装置，所述滤波强度被施加至靠近表示所述视频数据的所述一或多个块的所述第一分区的所述第一预测块的所述分区边界的预测像素值；以及
用于输出视频数据的装置，所述视频数据使用经调适的所述重叠块运动补偿过程加以译码。
32.根据权利要求31所述的视频译码装置，其中所述支持区包括以下各者中的一者：所述视频数据的所述一或多个块驻留于其中的帧的一部分；所述视频数据的所述一或多个块驻留于其中的所述帧的一部分的区；所述第一分区；所述第二分区；以及所述第一分区或所述第二分区的过渡区，其包含靠近所述第一分区或所述第二分区中的所述分区边界的所述像素的一部分；所述第一分区的向下取样版本；所述第二分区的向下取样版本；以及所述第一或所述第二分区的所述过渡区的向下取样版本。
33.根据权利要求31所述的视频译码装置，
其中所述第一分区与参考第一参考帧的第一块的第一运动向量相关联，
其中所述第二分区与参考第二参考帧的第二块的第二运动向量相关联，
其中从所述第一运动向量预测所述第一预测像素值，且
其中从所述第二运动向量预测所述第二预测像素值。
34.根据权利要求31所述的视频译码装置，
其中所述用于基于用于所述支持区中的所述至少一个像素的第一预测像素值与用于所述支持区中的所述至少一个像素的第二预测像素值之间的差确定所述调适度量的装置包括用于基于用于所述支持区中的每一像素的第一预测像素值与用于所述支持区中的每一像素的第二预测像素值之间的绝对差确定所述调适度量的装置，
其中所述第一分区与参考第一参考帧的第一块的第一运动向量相关联，
其中所述第二分区与参考第二参考帧的第二块的第二运动向量相关联，
其中从用于所述支持区中的所述像素中的每一者的所述第一运动向量预测所述第一预测像素值，且
其中从用于所述支持区中的所述像素中的每一者的所述第二运动向量预测所述第二预测像素值。
35.根据权利要求31所述的视频译码装置，
其中所述用于基于用于所述支持区中的所述至少一个像素的第一预测像素值与用于所述支持区中的所述至少一个像素的第二预测像素值之间的差确定所述调适度量的装置包括用于基于用于所述支持区中的每一像素的第一预测像素值与用于所述支持区中的所述像素中的每一者的第二预测像素值之间的平均像素差确定所述调适度量的装置，
其中所述第一分区与参考第一参考帧的第一块的第一运动向量相关联，
其中所述第二分区与参考第二参考帧的第二块的第二运动向量相关联，
其中从用于所述支持区中的所述像素中的每一者的所述第一运动向量预测所述第一预测像素值，且
其中从用于所述支持区中的所述像素中的每一者的所述第二运动向量预测所述第二预测像素值。
36.根据权利要求31所述的视频译码装置，
其中所述第一分区与具有精度的运动向量相关联，
其中所述用于确定所述调适度量的装置包括用于基于所述至少一个像素及所述运动向量的所述精度确定所述调适度量的装置，
其中所述用于基于所述调适度量调适所述重叠块运动补偿过程的应用的装置包括用于在所述运动向量的所述精度小于阈值精度时选择性地停用所述重叠块运动补偿过程的应用的装置，且
其中所述阈值精度包括整数精度、二分之一像素精度及四分之一像素精度中的一者。
37.根据权利要求31所述的视频译码装置，
其中所述视频数据的所述一或多个块各自与块大小相关联，
其中所述用于确定所述调适度量的装置包括用于基于所述至少一个像素及所述视频数据的所述一或多个块中的至少一者的所述块大小确定所述调适度量的装置，且
其中所述用于基于所述调适度量调适所述重叠块运动补偿过程的应用的装置包括用于在所述所确定的块大小小于块大小阈值时选择性地停用所述重叠块运动补偿过程的应用的装置，且
其中所述所确定的块大小包括视频块大小及识别应用到所述块的所述第一分区的变换的大小的变换块大小中的一者。
38.根据权利要求31所述的视频译码装置，
其中所述第一分区与预测方向相关联，
其中所述用于确定所述调适度量的装置包括用于基于所述至少一个像素及所述预测方向确定所述调适度量的装置，且
其中所述用于基于所述调适度量调适所述重叠块运动补偿过程的应用的装置包括用于在所述第一分区的所述预测方向为双向时选择性地停用所述重叠块运动补偿过程到所述第二分区的应用的装置。
39.根据权利要求31所述的视频译码装置，
其中所述第一分区与第一预测方向相关联，
其中所述第二分区与第二预测方向相关联，
其中所述用于确定所述调适度量的装置包括用于基于所述至少一个像素以及所述第一预测方向及所述第二预测方向确定所述调适度量的装置，且
其中所述用于基于所述调适度量调适所述重叠块运动补偿过程的应用的装置包括：
用于在所述第一预测方向为双向且所述第二预测方向为单向时选择性地停用所述重叠块运动补偿过程到所述第一分区的应用的装置；以及
用于在所述第一预测方向为单向且所述第二预测方向为双向时选择性地启用所述重叠块运动补偿过程到所述第一分区的应用的装置。
40.根据权利要求31所述的视频译码装置，
其中所述第一分区与具有精度的运动向量相关联，
其中所述用于确定所述调适度量的装置包括用于基于所述至少一个像素及所述运动向量的所述精度确定所述调适度量的装置，
其中所述用于基于所述调适度量调适所述重叠块运动补偿过程的应用的装置包括用于在所述运动向量的精度为分数时减小所述运动向量的所述精度以调适所述重叠块运动补偿过程的所述应用以使用所述精度减小的运动向量代替与所述第一分区相关联的所述运动向量的装置。
41.根据权利要求31所述的视频译码装置，
其中所述第一分区与预测方向相关联，
其中所述用于确定所述调适度量的装置包括用于基于所述至少一个像素及所述预测方向确定所述调适度量的装置，且
其中所述用于基于所述调适度量调适所述重叠块运动补偿过程的应用的装置包括用于在所述所确定的预测方向为双向时选择与所述第一分区相关联的两个运动向量中的仅一者以调适所述重叠块运动补偿过程的应用以仅使用所述两个运动向量中的所述所选一者代替所述两个运动向量的装置。
42.根据权利要求31所述的视频译码装置，
其中所述支持区包括以下各者中的一或多者：所述第一分区的过渡区的一部分，其包含靠近所述第一分区中的所述分区边界的所述像素的一部分；所述第一分区的所述过渡区的向下取样版本；以及所述第一分区，
其中所述用于确定所述调适度量的装置包括用于基于用于所述支持区中的每一像素的第一预测像素值与用于所述支持区中的每一像素的第二预测像素值之间的绝对差确定所述调适度量的装置，
其中所述第一分区与参考第一参考帧的第一块的第一运动向量相关联，
其中所述第二分区与参考第二参考帧的第二块的第二运动向量相关联，
其中从用于所述支持区中的所述像素中的每一者的所述第一运动向量预测所述第一预测像素值，
其中从用于所述支持区中的所述像素中的每一者的所述第二运动向量预测所述第二预测像素值，
其中所述用于基于所述调适度量调适所述重叠块运动补偿过程的应用的装置包括用于在所述所确定的绝对差大于差阈值时选择性地停用所述重叠块运动补偿过程的应用的装置。
CN201280056733.6A 2011-11-18 2012-11-16 自适应性重叠块运动补偿 Active CN103999465B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161561783P 2011-11-18 2011-11-18
US61/561,783 2011-11-18
US13/678,329 2012-11-15
US13/678,329 US9883203B2 (en) 2011-11-18 2012-11-15 Adaptive overlapped block motion compensation
PCT/US2012/065653 WO2013075011A1 (en) 2011-11-18 2012-11-16 Adaptive overlapped block motion compensation

Publications (2)

Publication Number Publication Date
CN103999465A CN103999465A (zh) 2014-08-20
CN103999465B true CN103999465B (zh) 2017-11-24

Family

ID=48426924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280056733.6A Active CN103999465B (zh) 2011-11-18 2012-11-16 自适应性重叠块运动补偿

Country Status (7)

Country Link
US (1) US9883203B2 (zh)
EP (1) EP2781095B1 (zh)
JP (2) JP5989794B2 (zh)
KR (1) KR101661828B1 (zh)
CN (1) CN103999465B (zh)
IN (1) IN2014MN00856A (zh)
WO (1) WO2013075011A1 (zh)

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2497273A4 (en) * 2009-11-05 2016-07-27 Ericsson Telefon Ab L M PREDICTING PIXELS IN PICTURE CODING
EP4124034B1 (en) * 2010-12-22 2023-08-23 LG Electronics Inc. Intra prediction in video coding
US9041817B2 (en) 2010-12-23 2015-05-26 Samsung Electronics Co., Ltd. Method and apparatus for raster output of rotated interpolated pixels optimized for digital image stabilization
JP5768491B2 (ja) * 2011-05-17 2015-08-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
EP2582134A1 (en) * 2011-10-12 2013-04-17 Thomson Licensing Saliency value determination of predictively encoded video streams
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
WO2015054811A1 (en) 2013-10-14 2015-04-23 Microsoft Corporation Features of intra block copy prediction mode for video and image coding and decoding
CN105659602B (zh) 2013-10-14 2019-10-08 微软技术许可有限责任公司 用于视频和图像编码的帧内块复制预测模式的编码器侧选项
WO2015054812A1 (en) 2013-10-14 2015-04-23 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
WO2015069734A1 (en) 2013-11-05 2015-05-14 Arris Enterprises, Inc. Bit depth variable for high precision data in weighted prediction syntax and semantics
US9813730B2 (en) * 2013-12-06 2017-11-07 Mediatek Inc. Method and apparatus for fine-grained motion boundary processing
EP3078196B1 (en) * 2013-12-06 2023-04-05 MediaTek Inc. Method and apparatus for motion boundary processing
MX360926B (es) 2014-01-03 2018-11-22 Microsoft Technology Licensing Llc Prediccion de vector de bloque en codificacion/descodificacion de video e imagen.
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10924746B2 (en) * 2014-01-29 2021-02-16 Mediatek Inc. Method and apparatus for adaptive motion vector precision
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
EP3253059A1 (en) 2014-03-04 2017-12-06 Microsoft Technology Licensing, LLC Block flipping and skip mode in intra block copy prediction
EP3111643B1 (en) * 2014-04-01 2019-09-25 MediaTek Inc. Method of adaptive interpolation filtering in video coding
EP3158734A4 (en) 2014-06-19 2017-04-26 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
US20160048701A1 (en) * 2014-08-18 2016-02-18 Spatial Digital Systems, Inc. Enveloping for remote Digital Camera
KR102330740B1 (ko) 2014-09-30 2021-11-23 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 파면 병렬 프로세싱이 인에이블되는 경우의 인트라 픽쳐 예측 모드에 대한 규칙
US9565451B1 (en) 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
US9838710B2 (en) * 2014-12-23 2017-12-05 Intel Corporation Motion estimation for arbitrary shapes
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US10230980B2 (en) * 2015-01-26 2019-03-12 Qualcomm Incorporated Overlapped motion compensation for video coding
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
US10250904B2 (en) * 2015-05-05 2019-04-02 Avago Technologies International Sales Pte. Limited Apparatus and method for overlapped motion compensation for video coding
US10659783B2 (en) 2015-06-09 2020-05-19 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
CA2988107A1 (en) * 2015-06-19 2016-12-22 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
US10212444B2 (en) * 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
CN107027040B9 (zh) 2016-01-29 2020-08-28 华为技术有限公司 一种去除块效应的滤波方法及装置
US11223852B2 (en) 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
CN109792535B (zh) * 2016-05-13 2023-03-28 夏普株式会社 预测图像生成装置、运动图像解码装置以及运动图像编码装置
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US10565463B2 (en) * 2016-05-24 2020-02-18 Qualcomm Incorporated Advanced signaling of a most-interested region in an image
US10390033B2 (en) * 2016-06-06 2019-08-20 Google Llc Adaptive overlapped block prediction in variable block size video coding
US10609423B2 (en) 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
US10681373B2 (en) * 2016-09-22 2020-06-09 Lg Electronics Inc. Inter-prediction method and device in image coding system
KR20190029748A (ko) * 2016-09-22 2019-03-20 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
US10880552B2 (en) 2016-09-28 2020-12-29 Lg Electronics Inc. Method and apparatus for performing optimal prediction based on weight index
US10951912B2 (en) 2016-10-05 2021-03-16 Qualcomm Incorporated Systems and methods for adaptive selection of weights for video coding
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US10798375B2 (en) 2016-11-01 2020-10-06 Samsung Electronics Co., Ltd. Encoding method and device therefor, and decoding method and device therefor
CN116886928A (zh) * 2016-11-28 2023-10-13 韩国电子通信研究院 对图像编码/解码的方法和设备及存储比特流的记录介质
US10848788B2 (en) 2017-01-06 2020-11-24 Qualcomm Incorporated Multi-type-tree framework for video coding
TW201902223A (zh) * 2017-03-24 2019-01-01 聯發科技股份有限公司 視頻編碼中重疊分塊運動補償的雙向光流的方法和裝置
CN116684602A (zh) * 2017-03-31 2023-09-01 松下电器（美国）知识产权公司 图像编码装置及方法、图像解码装置及方法、存储介质
CN116866609A (zh) * 2017-05-17 2023-10-10 株式会社Kt 用于解码图像信号的方法和用于编码图像信号的方法
CN115150613B (zh) * 2017-08-22 2024-02-06 松下电器（美国）知识产权公司 图像编码器、图像解码器、和比特流生成设备
CN117221524A (zh) * 2017-08-29 2023-12-12 株式会社Kt 视频解码方法、视频编码方法及装置
WO2019070770A1 (en) * 2017-10-02 2019-04-11 Arris Enterprises Llc SYSTEM AND METHOD FOR REDUCING BLOCKED ARTIFACTS AND PRODUCING ENHANCED ENCODING EFFICIENCY
US11877001B2 (en) 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
US10841610B2 (en) * 2017-10-23 2020-11-17 Avago Technologies International Sales Pte. Limited Block size dependent interpolation filter selection and mapping
US11425418B2 (en) 2017-11-01 2022-08-23 Vid Scale, Inc. Overlapped block motion compensation
US11412220B2 (en) * 2017-12-14 2022-08-09 Interdigital Vc Holdings, Inc. Texture-based partitioning decisions for video compression
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
US11388398B2 (en) 2018-01-11 2022-07-12 Qualcomm Incorporated Video coding using local illumination compensation
WO2019137735A1 (en) * 2018-01-15 2019-07-18 Telefonaktiebolaget Lm Ericsson (Publ) Restricted overlapped block motion compensation
EP4221201A1 (en) 2018-01-29 2023-08-02 InterDigital VC Holdings, Inc. Encoding and decoding with refinement of the reconstructed picture
WO2019157718A1 (zh) * 2018-02-14 2019-08-22 北京大学 运动补偿的方法、装置和计算机系统
WO2019157717A1 (zh) * 2018-02-14 2019-08-22 北京大学 运动补偿的方法、装置和计算机系统
US10715810B2 (en) 2018-02-20 2020-07-14 Qualcomm Incorporated Simplified local illumination compensation
CN111989926B (zh) 2018-02-26 2024-05-07 交互数字Vc控股公司 用于通用obmc的方法和装置
CN114554197A (zh) * 2018-04-16 2022-05-27 联发科技股份有限公司 视频编解码系统中具有重叠块运动补偿的视频处理的方法及装置
WO2019229683A1 (en) 2018-05-31 2019-12-05 Beijing Bytedance Network Technology Co., Ltd. Concept of interweaved prediction
US11051036B2 (en) 2018-07-14 2021-06-29 Mediatek Inc. Method and apparatus of constrained overlapped block motion compensation in video coding
WO2020016859A2 (en) * 2018-07-20 2020-01-23 Beijing Bytedance Network Technology Co., Ltd. Motion prediction based on updated motion vectors
US10701384B2 (en) * 2018-08-01 2020-06-30 Tencent America LLC Method and apparatus for improvement on decoder side motion derivation and refinement
BR122021006509A2 (pt) * 2018-08-09 2021-05-18 Lg Electronics Inc. método de decodificação de imagem com base na predição de movimento afim e dispositivo usando lista de candidatos à fusão afins no sistema de codificação de imagem
WO2020050283A1 (en) * 2018-09-07 2020-03-12 Panasonic Intellectual Property Corporation Of America System and method for video coding
WO2020089822A1 (en) 2018-10-31 2020-05-07 Beijing Bytedance Network Technology Co., Ltd. Overlapped block motion compensation with derived motion information from neighbors
EP3847814A4 (en) 2018-11-06 2021-07-14 Beijing Bytedance Network Technology Co. Ltd. POSITION DEPENDENT STORAGE, MOVEMENT INFORMATION
US10609411B1 (en) * 2018-11-18 2020-03-31 Sony Corporation Cross color prediction for image/video compression
WO2020103936A1 (en) 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Pruning method for inter prediction with geometry partition
US11394989B2 (en) * 2018-12-10 2022-07-19 Tencent America LLC Method and apparatus for video coding
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
JP7299362B2 (ja) * 2018-12-28 2023-06-27 Kddi株式会社 画像復号装置、画像符号化装置、画像復号方法及びプログラム
CN113597760A (zh) 2019-01-02 2021-11-02 北京字节跳动网络技术有限公司 视频处理的方法
US11394993B2 (en) 2019-03-13 2022-07-19 Tencent America LLC Method and apparatus for affine inter prediction with small subblocks
CN113728633B (zh) * 2019-04-01 2022-12-20 北京字节跳动网络技术有限公司 对基于历史的运动矢量预测使用插值滤波器
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression
CN115361550A (zh) * 2021-02-22 2022-11-18 北京达佳互联信息技术有限公司 用于帧间预测的改进重叠块运动补偿
US11622106B2 (en) * 2021-05-17 2023-04-04 Meta Platforms, Inc. Supporting multiple partition sizes using a unified pixel input data interface for fetching reference pixels in video encoders

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1574963A (zh) * 2003-06-16 2005-02-02 三星电子株式会社 提供基于块的运动补偿的装置及其方法
CN1926868A (zh) * 2003-10-17 2007-03-07 伦斯莱尔工艺研究院 在运动补偿时间滤波可伸缩视频编码器的环境中用于可变尺寸块的重叠块运动补偿

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0857392B1 (en) 1995-10-25 2004-08-11 Sarnoff Corporation Overlapping block zerotree wavelet image coder
JP4637585B2 (ja) * 2002-12-16 2011-02-23 エヌエックスピー ビー ヴィ モザイク番組案内生成装置およびモザイク番組案内生成方法
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US20100040146A1 (en) * 2006-09-22 2010-02-18 Beibei Wang Method and apparatus for multiple pass video coding and decoding
US8335261B2 (en) * 2007-01-08 2012-12-18 Qualcomm Incorporated Variable length coding techniques for coded block patterns
WO2008140656A2 (en) * 2007-04-03 2008-11-20 Gary Demos Flowfield motion compensation for video compression
KR101543298B1 (ko) 2008-10-13 2015-08-10 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치 및 그를 위한 가변 단위의 적응적 중첩 블록 움직임 보상 장치 및 방법
KR101543301B1 (ko) 2008-10-15 2015-08-10 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치 및 그를 위한 하이브리드 블록 움직임 보상/중첩 블록 움직임 보상 방법 및 장치
KR101553850B1 (ko) 2008-10-21 2015-09-17 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치 및 그를 위한 적응적 가중치를 사용하는 적응 중첩 블록 움직임 보상 방법 및 장치
US8995526B2 (en) 2009-07-09 2015-03-31 Qualcomm Incorporated Different weights for uni-directional prediction and bi-directional prediction in video coding
RS56473B1 (sr) * 2010-09-30 2018-01-31 Samsung Electronics Co Ltd Postupak za interpolaciju slika pomoću filtera za interpolaciju i uglačavanje
US9807424B2 (en) * 2011-01-10 2017-10-31 Qualcomm Incorporated Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1574963A (zh) * 2003-06-16 2005-02-02 三星电子株式会社 提供基于块的运动补偿的装置及其方法
CN1926868A (zh) * 2003-10-17 2007-03-07 伦斯莱尔工艺研究院 在运动补偿时间滤波可伸缩视频编码器的环境中用于可变尺寸块的重叠块运动补偿

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Methods of reduced-complexity overlapped block motion compensation;G.J.Sullivan;《PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》;19941116;第960-961页第3.3小节 *
Motion-compensated frame interpolation using bilateral motion estimation and adaptive overlapped block motion compensation;Byeong-Doo Choi et.al;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》;20070430;第17卷(第4期);正文第III部分第A、B、D小节，附图3、4、5 *

Also Published As

Publication number Publication date
JP5989794B2 (ja) 2016-09-07
JP2016184936A (ja) 2016-10-20
US9883203B2 (en) 2018-01-30
EP2781095B1 (en) 2020-02-26
WO2013075011A1 (en) 2013-05-23
IN2014MN00856A (zh) 2015-04-17
EP2781095A1 (en) 2014-09-24
JP2015502094A (ja) 2015-01-19
US20130128974A1 (en) 2013-05-23
KR101661828B1 (ko) 2016-09-30
KR20140096130A (ko) 2014-08-04
CN103999465A (zh) 2014-08-20

Similar Documents

Publication Publication Date Title
CN103999465B (zh) 自适应性重叠块运动补偿
CN103181169B (zh) 使用联合上下文模型对系数进行熵译码
CN105075259B (zh) 用于视频译码预测的存储器减少
CN104303501B (zh) 用于视频译码的量化矩阵和解块滤波器
CN103891293B (zh) 用于色度分量的自适应环路滤波的方法及设备
CN103348677B (zh) 像素层级自适应帧内平滑化
CN103959777B (zh) 视频译码中的与自适应环路滤波器合并的样本自适应偏移
CN106105201B (zh) 使用像素距离的解块滤波
CN103931182B (zh) 帧内预测视频译码中的非正方形变换
CN103563389B (zh) 具有方向性分区的帧内预测模式译码
CN106105203B (zh) 块自适应颜色空间转换译码
CN104969552B (zh) 存储减少的帧内预测模式决策
CN104584550B (zh) 用于可缩放视频译码的帧内预测改善
CN103202016B (zh) 用于视频译码的自适应运动向量分辨率信令
CN104040900B (zh) 用于对视频数据进行编码和解码的方法和设备
CN104081777B (zh) 对视频数据进行编码或解码的方法、装置、设备及非暂时计算机可读媒体
CN104247434B (zh) 在视频译码中在切片边界或平铺块边界周围的环路滤波
US20180041779A1 (en) Geometry transformation-based adaptive loop filtering
CN104221378B (zh) 在视频译码中用于量化矩阵的均匀粒度
CN104205829B (zh) 合并信令及环路滤波器开/关信令
CN104126301B (zh) 在视频译码中使用码簿对环路滤波器参数进行译码
CN108781293A (zh) 使用两级多型树框架对视频数据进行译码
CN103947205B (zh) 帧内模式译码中的参考模式选择
CN108141590A (zh) 用于矩形变换单元的量化的增量qp、基于短距离帧内预测sdip的视频译码
CN104255027B (zh) 用于视频译码的层间纹理预测

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant