CN105075259A - 用于视频译码预测的存储器减少 - Google Patents

用于视频译码预测的存储器减少 Download PDF

Info

Publication number
CN105075259A
CN105075259A CN201480018167.9A CN201480018167A CN105075259A CN 105075259 A CN105075259 A CN 105075259A CN 201480018167 A CN201480018167 A CN 201480018167A CN 105075259 A CN105075259 A CN 105075259A
Authority
CN
China
Prior art keywords
motion vector
video block
block
video
described video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480018167.9A
Other languages
English (en)
Other versions
CN105075259B (zh
Inventor
瓦迪姆·谢廖金
王翔林
霍埃尔·索赖罗哈斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105075259A publication Critical patent/CN105075259A/zh
Application granted granted Critical
Publication of CN105075259B publication Critical patent/CN105075259B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在一个实例中，一种用于对视频数据进行译码的设备包括视频译码器，所述视频译码器经配置以：获得用于预测具有非4:2:0色度格式的视频块的运动向量；确定所述视频块的视频块大小；在所述视频块大小满足大小准则的情况下修改所述运动向量以产生经修改运动向量以用于获得将用来预测所述视频块的至少一个参考图片的样本；以及使用所述至少一个参考图片的所述样本和所述经修改运动向量产生所述视频块的预测块。

Description

用于视频译码预测的存储器减少
本申请案主张2013年3月29日申请的第61/806,700号美国临时申请案和2013年4月4日申请的第61/808,479号美国临时申请案的权益，以上申请案中的每一者的整个内容以引入的方式并入本文中。
技术领域
本发明涉及视频译码，且更具体来说涉及用于视频译码的运动信息(例如，运动向量)预测。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及其类似者。数字视频装置实施视频压缩技术，例如，由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、目前正在开发的高效率视频译码(HEVC)标准及此类标准的扩展中所描述的视频压缩技术。视频装置通过实施这些视频压缩技术可以更有效地发射、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码，可以将视频切片(即，视频帧或视频帧的一部分)分割成视频块，视频块也可被称作树块、译码单元(CU)及/或译码节点。图片的经帧内编码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可称为帧，且参考图片可称为参考帧。
空间或时间预测导致对块的预测块进行译码。残余数据表示待译码的原始块与预测块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余数据而编码。为了进一步压缩，可以将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可以将残余变换系数量化。可扫描最初布置成二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多压缩。
发明内容
一般来说，本发明描述用于视频译码的存储器带宽减少的技术。确切地说，本发明描述视频译码器(例如，视频编码器或视频解码器)借以减少将从图片缓冲器读取的样本的数目以用于获得用于视频编码的预测块的技术。所述技术可具体来说适用于使用视频样本的非4:2:0色度格式的视频译码。
在一些实例中，所述技术可包含将对于双向帧间预测或“双向预测”的限制延伸到额外视频块大小，或者延伸到给定视频块的少于全部分量。在此些实例中，视频译码器可将为了获得视频块的预测符而接收的双向运动向量转换为单向运动向量。在一些实例中，所述技术可包含以不同方式分割给定视频块的不同分量以使得例如视频译码器可分裂明度分量以得到额外压缩效率，同时避免分裂至少一个色度分量以减少用于预测所需的像素样本的数目。在一些实例中，所述技术可包含用信号表示用于双向预测的相应运动向量的不同参考图片列表的不同分区大小。在一些实例中，所述技术可包含应用对双向预测的限制的阈值，所述阈值基于例如视频块的区域、大小区域内的块的数目，或视频块高度和宽度的总和值。根据以上技术中的任何一或多者操作的视频译码器因此可具有相对于视频译码标准界定视频译码器的硬件规范要求的减少的峰值存储器带宽，以及宽松的硬件规范要求的减少的成本。
在一个实例中，一种对视频数据进行译码的方法，所述方法包括：获得用于预测具有非4:2:0色度格式的视频块的运动向量；确定所述视频块的视频块大小；在所述视频块大小满足大小准则的情况下修改所述运动向量以产生经修改运动向量以用于获得将用来预测所述视频块的至少一个参考图片的样本；以及使用所述至少一个参考图片的所述样本和所述经修改运动向量产生所述视频块的预测块。
在另一实例中，一种用于对视频数据进行译码的设备包括经配置以进行以下操作的视频译码器：获得用于预测具有非4:2:0色度格式的视频块的运动向量；确定所述视频块的视频块大小；在所述视频块大小满足大小准则的情况下修改所述运动向量以产生经修改运动向量以用于获得将用来预测所述视频块的至少一个参考图片的样本；以及使用所述至少一个参考图片的所述样本和所述经修改运动向量产生所述视频块的预测块。
在另一个实例中，一种用于对视频数据进行译码的设备包括：用于获得用于预测具有非4:2:0色度格式的视频块的运动向量的装置；用于确定所述视频块的视频块大小的装置；用于在所述视频块大小满足大小准则的情况下修改所述运动向量以产生经修改运动向量以用于获得将用来预测所述视频块的至少一个参考图片的样本的装置；以及用于使用所述至少一个参考图片的所述样本和所述经修改运动向量产生所述视频块的预测块的装置。
在另一个实例中，一种计算机可读存储媒体具有存储于其上的指令，所述指令当执行时致使用于对视频数据进行译码的设备的一或多个处理器进行以下操作：获得用于预测具有非4:2:0色度格式的视频块的运动向量；确定所述视频块的视频块大小；在所述视频块大小满足大小准则的情况下修改所述运动向量以产生经修改运动向量以用于获得将用来预测所述视频块的至少一个参考图片的样本；以及使用所述至少一个参考图片的所述样本和所述经修改运动向量产生所述视频块的预测块。
一或多个实例的细节陈述于随附图式及以下描述中。其它特征、目标和优势将从所述描述和图式以及从权利要求书而显而易见。
附图说明
图1为说明可利用本发明中描述的技术的实例视频编码和解码系统的框图。
图2是说明实例视频块以及用于构造实例视频块的运动向量信息的代表性空间和时间相邻块的概念图。
图3为说明可实施本发明中描述的技术的实例视频编码器的框图。
图4是说明可实施本发明中描述的技术的实例视频解码器的框图。
图5是说明根据本文所描述的用于存储器带宽减少的技术以不同方式分割视频块的不同分量的实例方法的流程图。
图6是说明根据本文所描述的用于存储器带宽减少的技术以不同方式分割用于视频块的至少一个分量的双向预测的参考列表的预测块的实例方法的流程图。
图7是说明根据本文所描述的用于存储器带宽减少的技术以不同方式分割用于视频块的至少一个分量的双向预测的参考列表的预测块的实例方法的流程图。
图8是说明根据本文所描述的用于存储器带宽减少的技术以不同方式分割用于视频块的至少一个分量的双向预测的参考列表的预测块的实例方法的流程图。
图9是说明根据本文所描述的用于存储器带宽减少的技术以不同方式分割用于视频块的至少一个分量的双向预测的参考列表的预测块的实例方法的流程图。
图10是说明根据本文所描述的用于存储器带宽减少的技术以不同方式分割用于视频块的至少一个分量的双向预测的参考列表的预测块的实例方法的流程图。
图11是说明用于分量内插的实例整数和分数样本位置矩阵的框图。
相同的参考标号贯穿文字和图式表示相同的元件。
具体实施方式
如上文所论述，视频压缩技术包含相对于另一图片中的另一块中的参考样本对视频数据块(即，视频块)的时间(图片间)预测。经帧间译码块是根据运动信息(例如，指向形成另一图片中的预测块的参考样本的块的运动向量)而被译码。在一些实例中，为了实现进一步位流效率，视频块的运动信息(例如，运动向量、预测方向和参考图片索引值)自身可使用运动信息预测技术而预测，所述技术有时称为运动向量预测(MVP)技术。
根据此类运动信息预测技术，视频译码器可从参考块导出当前视频块的运动向量和/或其它运动信息。可从其导出运动信息的参考块大体上包含多个预定义空间相邻块，以及来自一或多个不同(例如，时间上)图片的一或多个位于同一地点或相邻的块。视频译码器(例如，视频编码器或视频解码器)可构造运动信息候选列表，也被称作候选者列表或候选集合，其包含空间和时间相邻块的运动信息作为用于对视频块进行译码的候选运动信息。视频译码器可将索引编码或解码到候选列表中以识别用于译码所述视频块的所选择的运动信息候选者。
用于高效率视频译码(HEVC)(也被称作H.265或ISO/IEC23008-HEVC)的运动信息预测模式包含合并模式和高级运动向量预测(AMVP)模式。对于两种模式，视频译码器(例如，视频编码器或视频解码器)可基于空间和时间相邻块的运动信息构造运动信息候选者的列表。另外，视频译码器可使用子样本精度用于运动向量。对于根据例如HEVC获得的明度块，视频译码器可使用具有用于内插分数样本位置的7分接头(用于四分之一样本位置)或8分接头滤波器(用于二分之一样本位置)的四分之一样本精度，即，明度样本之间的距离的四分之一。
对于相对于4:2:0色度格式对大量色度像素进行取样的非4:2:0取样格式，内插用于色度分量中的每一者的大量色度像素以便预测色度块可显著增加视频译码器的存储器带宽。存储器带宽指代数据从计算机可读存储媒体读取或写入到计算机可读存储媒体的数据速率。因此，增加存储器带宽可指代增加从此媒体读取的数据或对此媒体写入的数据的速率，且可导致由于针对用于非4:2:0取样的内插所需的额外数目的色度像素而来自更多数据负载的此情境。这可能增加视频译码器的硬件成本以便满足非4:2:0的规范，这在一些使用情况中是不可接受的。举例来说，较高需要的存储器带宽可需要较大总线、较大存储器、较快总线、较快存储器或这些改进的某种组合以用于满足较高需要的存储器带宽的规范。
在根据本发明的技术的实例中，视频译码器可针对额外情况限制用于非4:2:0格式的视频译码中的双向预测模式的使用。举例来说，如果色度格式是4:2:2或4:4:4，那么视频译码器可将带宽减少操作延伸到较大大小的块。因此，例如除限制4x8和8x4块的双向预测之外，视频译码器还可检测或经配置以对非4:2:0格式进行编码并且因此另外限制用于任何一或多个较大块分区大小的双向预测，例如8x8块、8x16/16x8块等。视频译码器可因此将此块的双向运动向量(再次，当视频译码器应用扩展限制时)转换为单向运动向量。视频译码器可使用上述用于合并模式或AMVP的转换技术中的一者将双向运动向量转换为单向运动向量。
在如本文中所描述限制用于非4:2:0格式的视频译码中的双向预测模式的使用的视频译码器的一些实例中，视频译码器可除根据HEVC标准限制用于4x8和8x4块的双向预测之外或替代于根据HEVC标准限制用于4x8和8x4块的双向预测，还根据分量的类型限制用于较大大小的块的双向预测。对于例如以非4:2:0格式编码的8x8块，视频译码器可限制用于色度分量中的至少一者的双向预测，同时允许用于明度分量的双向预测。因此，视频译码器可将用于此些分量的双向运动向量(再次，当视频应用此扩展的每分量限制时)转换为单向运动向量。因为扩展带宽减少限制对总译码效率具有不等的影响，所以将此限制应用于色度分量可对将限制应用于明度分量的总译码性能具有较少影响，同时仍潜在地获得用于视频译码过程的所需存储器带宽的减少。
图1为说明可利用本发明中所描述的技术的实例视频编码和解码系统10的框图。如图1中所展示，系统10包含源装置12，其产生稍后时间待由目的地装置14解码的经编码视频数据。源装置12和目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板计算机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下，可装备源装置12和目的地装置14以用于无线通信。
目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型媒体或装置。在一个实例中，链路16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如，无线通信协议)来调制，且被发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或任何其它可以用于促进从源装置12到目的地装置14的通信的设备。
替代地，可将经编码数据从输出接口22输出到存储装置36。类似地，可由目的地装置14的输入接口28从存储装置36存取经编码数据。存储装置36可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码视频数据的适当数字存储媒体。在另一实例中，存储装置36可对应于文件服务器或可保持由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置36存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码的视频数据。此可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置36的发射可为流式传输发射、下载发射或两者的组合。
本发明的技术不一定限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用，例如，空中电视广播、有线电视传输、卫星电视传输、流式视频传输(例如，经由因特网)、编码数字视频以用于存储于数据存储媒体上、解码存储于数据存储媒体上的数字视频或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射，以支持例如视频串流、视频重放、视频广播和/或视频电话的应用。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些情况下，输出接口22可包含调制器/解调制器(调制解调器)及/或发射器。在源装置12中，视频源18可包含例如视频俘获装置(例如摄像机)、包含先前俘获的视频的视频存档、用于从视频内容提供者接收视频的视频馈入接口及/或用于产生计算机图形数据作为源视频的计算机图形系统，或此类源的组合等源。作为一个实例，如果视频源18是摄像机，那么源装置12和目的地装置14可以形成所谓的摄像机电话或视频电话。然而，本发明中所描述的技术可大体上适用于视频译码，且可应用于无线及/或有线应用。
可由视频编码器20编码所俘获视频、预俘获的视频或计算机产生的视频。可经由源装置12的输出接口22将经编码视频数据直接发射到目的地装置14。经编码视频数据还可(或替代地)存储到存储装置36上以供稍后由目的地装置14或其它装置存取以用于解码及/或回放。
目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些情况下，输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28可经由链路16接收经编码视频数据。经由链路16传送或在存储装置36上提供的经编码视频数据可包含由视频编码器20所产生的多种语法元素以供由例如视频解码器30的视频解码器用于解码视频数据。此类语法元素可与在通信媒体上发射、存储在存储媒体上或存储文件服务器的经编码视频数据包含在一起。
显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30可根据视频压缩标准(例如，目前正在开发的高效率视频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。替代地，视频编码器20及视频解码器30可以根据其它专有或业界标准来操作，所述标准例如ITU-TH.264标准，替代地被称作MPEG-4第10部分高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-TH.263。
尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件，以处理对共同数据流或单独数据流中的音频与视频两者的编码。在一些实例中，如果适用，那么多路复用器－多路分用器单元可符合ITUH.223多路复用器协议，或例如用户数据报协议(UDP)的其它协议。
视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可以包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可以集成为相应装置中的组合编码器/解码器(编解码器)的部分。
本发明通常可指视频编码器20将某些信息“用信号表示”到另一装置(例如视频解码器30)。术语“用信号表示”可以大体上是指对用以对经压缩的视频数据进行解码的语法元素和/或其它数据的通信。此通信可实时或接近实时地发生。替代性地，可历时时间跨度而发生此通信，例如当在编码时，以经编码位流将语法元素存储到计算机可读存储媒体时，可发生此通信，接着，在存储到此媒体之后可由解码装置在任何时间检索所述语法元素。
在HEVC及其它视频译码标准中，视频序列通常包含一系列图片。图片也可被称作“帧”。根据三色激励YCbCr颜色空间，图片可包含三个样本阵列，表示为SL、SCb和SCr。SL是明度样本的二维阵列(即，块)。SCb是Cb色度样本的二维阵列。SCr是Cr色度样本的二维阵列。Cb色度样本在本文中可以被称为“U样本”。Cr色度样本在本文中可以被称为“V样本”。色度样本在本文中还可以被称为“色度”样本。在其它情况下，图片可为单色的且可仅包含明度样本阵列。
视频编码器20可使用4:2:0取样来反映人视觉系统相对于色度对明度的灵敏度。在此实例或其它实例中，视频编码器20可相对于明度阵列对图片的色度阵列(即，SCb和SCr)进行向下取样。然而，在再其它情况中，可避免向下取样以确保最高质量视频。例如，视频编码器20可以使用YUV4:2:0视频格式、YUV4:2:2视频格式或4:4:4视频格式。在YUV4:2:0视频格式中，视频编码器20可以对色度阵列进行向下取样，使得色度阵列高度是明度阵列高度的1/2并且宽度是明度阵列宽度的1/2。在YUV4:2:2视频格式中，视频编码器20可以对色度阵列进行向下取样，使得色度阵列宽度是明度阵列宽度的1/2并且高度与明度阵列高度相同。在YUV4:4:4视频格式中，视频编码器20并不对色度阵列进行向下取样。可使用例如8位或10位精度表示Y、Cr和Cr组件中的每一者的样本。
为了产生图片的经编码的表示，视频编码器20可以产生译码树单元(CTU)的集合。CTU中的每一者可包括明度样本的译码树块、色度样本的两个对应的译码树块，以及用以对译码树块的样本进行译码的语法结构。在单色图片或具有三个单独颜色平面的图片中，CTU可包括单个译码树块及用于对所述译码树块的样本进行译码的语法结构。译码树块可以是样本的NxN块。CTU也可以被称为树块或最大译码单元(LCU)。HEVC的CTU可以广泛地类似于例如H.264/AVC等其它视频译码标准的宏块。然而，CTU未必限于特定大小，并且可以包含一或多个译码单元(CU)。切片可包含在光栅扫描中连续排序的整数数目的CTU。
本发明可使用术语“视频单元”或“视频块”来指代一或多个样本块及用于译码所述一或多个样本块的样本的语法结构。实例类型的视频单元可包含CTU、CU、PU、变换单元(TU)、宏块、宏块分区等。
为了产生经译码的CTU，视频编码器20可以对CTU的译码树块递归地执行四叉树分割，以将译码树块划分为译码块，因此命名为“译码树单元”。译码块可以是样本的NxN块。CU可包括具有明度样本阵列、Cb样本阵列和Cr样本阵列的图片的明度样本的译码块，以及色度样本的两个对应的译码块，以及用以对译码块的样本进行译码的语法结构。在单色图片或具有三个单独颜色平面的图片中，CU可包括单个译码块及用于对所述译码块的样本进行译码的语法结构。
视频编码器20可以将CU的译码块分割成一或多个预测块。预测块可以是应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括图片的明度样本的预测块(PB)、图片的色度样本的两个对应的预测块(PB)，以及用以对PB样本进行预测的语法结构。在单色图像或具有三个单独彩色平面的图片中，PU可包括单个预测块，及用以对预测块样本进行预测的语法结构。视频编码器20可以产生CU的每一PU的明度预测块、Cb预测块以及Cr预测块的预测性明度块、Cb块以及Cr块。
视频编码器20以及视频解码器30可以支持具有各种大小的PU。如上文所指示，CU的大小可指CU的明度译码块的大小并且PU的大小可指PU的明度预测块的大小。假定特定CU的大小是2Nx2N，则视频编码器20以及视频解码器30可以支持用于帧内预测的2Nx2N或NxN的PU大小，以及用于帧间预测的2Nx2N、2NxN、Nx2N、NxN或类似大小的对称PU大小。视频编码器20以及视频解码器30还可以支持用于帧间预测的2NxnU、2NxnD、nLx2N以及nRx2N的PU大小的非对称分割。
视频编码器20可以使用帧内预测或帧间预测来产生用于PU的预测性块。如果视频编码器20使用帧内预测产生PU的预测性块，则视频编码器20可以基于与PU相关联的图片的经解码样本来产生PU的PB。PB大小可针对所有块大小(例如，对于所有N)设定为与CB大小相同，位流中可允许的最小译码块大小除外。在此例外情况中，CB可分裂成四个预测块象限，每一象限具有单独的图片内预测模式。
如果视频编码器20使用帧间预测以产生PU的PB，那么明度和色度CB可分裂成一个、两个或四个PB。如上文相对于分裂为PU的CU所提到，CU的CB可分裂成用于PB的对称或不对称运动分区。视频编码器20为每一经帧间预测预测块指派一个或两个运动向量(MV)和到参考图片列表的索引(下文进一步详细描述)。HEVC指定，由于原本将由于参考图片存储器加载而发生的存储器带宽瓶颈，具有大小4x4的明度PB不可经帧间预测，且4x8大小和8x4大小的明度不可使用双向预测来帧间预测(即，这些尺寸的明度受限于单向预测)。
此外，如果视频编码器20使用帧间预测以产生PU的预测性块，那么视频编码器20可基于除与PU相关联的图片外的一或多个图片的经解码样本而产生PU的预测性块。帧间预测可以是单向帧间预测(即，单向预测)或双向帧间预测(即，双向预测)。为了执行单向预测或双向预测，视频编码器20可以产生用于当前切片的第一参考图片列表(RefPicList0)以及第二参考图片列表(RefPicList1)。参考图片列表中的每一者可以包含一或多个参考图片。当使用单向预测时，视频编码器20可以搜索RefPicList0以及RefPicList1中的任一者或两者中的参考图片，以确定参考图片内的参考位置。此外，当使用单向预测时，视频编码器20可以至少部分基于对应于参考位置的样本产生PU的预测性样本块。此外，在使用单向预测时，视频编码器20可产生指示PU的预测块与参考位置之间的空间位移的单一运动向量。为了指示PU的预测块与参考位置之间的空间位移，运动向量可以包含指定PU的预测块与参考位置之间的水平位移的水平分量并且可以包含指定PU的预测块与参考位置之间的垂直位移的垂直分量。
在使用双向预测来编码PU时，视频编码器20可确定RefPicList0中的参考图片中的第一参考位置及RefPicList1中的参考图片中的第二参考位置。视频编码器20接着可至少部分基于对应于第一及第二参考位置的样本产生PU的预测性块。此外，当使用双向预测对PU进行编码时，视频编码器20可以产生指示PU的样本块与第一参考位置之间的空间位移的第一MV，以及指示PU的预测块与第二参考位置之间的空间位移的第二MV。虽然本文中描述为可用于“双向”帧间预测，但不同参考图片列表RefPicList0和RefPicList1中的参考图片在时间意义上不一定分别在先前/之前以及随后/之后。而是，所述两个参考图片列表在某些情况下可均包含来自一或多个先前帧的数据，或可均包含来自一或多个后续帧的数据。所述两个参考图片列表中的数据在一些情形中也可为相同的。
视频编码器20可使用子样本精度用于MV。对于根据例如HEVC获得的明度PB，视频编码器20可使用具有用于内插分数样本位置的7分接头(用于四分之一样本位置)或8分接头滤波器(用于二分之一样本位置)的四分之一样本精度，即，明度样本之间的距离的四分之一。
色度样本MV分数准确性可根据色度取样格式变化。举例来说，在存在多达水平和垂直尺寸中的每一者的色度样本的二分之一的条件下，4:2:0格式导致色度样本之间的距离的1/8的单元。然而，用于色度PB的分数样本内插类似于明度PB的分数样本内插。然而，视频编码器20可使用4分接头滤波器用于色度分量的内插，其对于4:2:0格式再次导致1/8分数准确性。对于4:2:2格式，4分接头滤波器的水平分数准确性是1/8，且垂直分数准确性是1/4。对于4:4:4格式，色度样本MV分数准确性等同于明度块的分数准确性。
因此，为了导出明度PB，视频编码器20使用8分接头滤波器执行分数样本内插。图11是说明用于分量内插的实例整数和分数样本位置矩阵400的框图当前HEVC标准如表1中示出界定用于二分之一样本(hfilter)和四分之一样本(qfilter)内插位置的这些8分接头滤波器。
表1：分数样本内插滤波器
矩阵400中标记为A0,0的位置是整数位置Ai,j的实例，其表示针对整数i,j的不同值的明度样本。视频编码器20如下应用分数样本内插滤波器以获得分数样本值：
a i , j = ( Σ i = - 3..3 A i , j q f i l t e r [ i ] ) > > - - - ( B - 8 )
b i , j = ( Σ i = - 3..4 A i , j h f i l t e r [ i ] ) > > - - - ( B - 8 )
c i , j = ( Σ i = - 2..4 A i , j q f i l t e r [ 1 - i ] ) > > - - - ( B - 8 )
d i , j = ( Σ i = - 3..3 A 0 , j q f i l t e r [ i ] ) > > - - - ( B - 8 )
h i , j = ( Σ i = - 3..4 A 0 , j h f i l t e r [ i ] ) > > - - - ( B - 8 )
n i , j = ( Σ i = - 2..4 A 0 , j q f i l t e r [ 1 - i ] ) > > - - - ( B - 8 )
在以上等式中，B指代参考样本的位深度，例如8位，且>>表示右移位运算。视频编码器20可通过根据用于矩阵400中的剩余位置e、f、g、i、j、k、p、q和r的对应公式将对应滤波器应用于位于垂直邻近位置处的样本来导出位于所述剩余位置处的分数样本。现在返回到图1，视频编码器20因此获得位于参考块之外的像素/样本以便进行内插。在用于明度PB的8分接头滤波器的以上滤波公式的情况下，视频编码器20可在水平和垂直方向两者中读取位置-3到+4处的样本，其对于8x8明度预测块需要获取用于单向预测的参考图片的像素的15x15集合。对于双向预测，像素的数目连同参考图片的数目一起加倍，导致15x15*2像素。对于8x4和4x8明度PB，待获取的像素的数目是15x11*2以用于单向预测。如上所述，HEVC将8x4和4x8明度PB限制于单向预测。
视频编码器20对于明度类似地将分数样本内插应用于色度分量，但使用4分接头滤波器。视频编码器20可因此在水平和垂直方向两者中读取位置-2到+1处的样本。对于4:2:0格式中的8x8双向预测色度预测块，这需要获取参考图片的像素的11x11*2*2集合。对于8x4和4x8单向预测色度PB，待获取的像素的数目是11x7*2*2。表2中提供根据HEVC需要的用于分数样本内插的像素的数目。
表2：用于分数样本内插所需的像素
从表2可以看出，针对4:2:0色度格式和4:4:4色度格式两者的最差情况是使用双向预测帧间预测的8x8预测单元。应注意，对于明度帧间预测需要的像素的数目并不改变，因为明度在4:2:0、4:2:2或4:4:4中不经子取样。然而，针对用于4:4:4色度格式的分数样本内插从存储器获取样本所需的带宽比4:2:0色度格式高大约45％。支持非4:2:0色度格式(例如，4:2:2和4:4:4)的硬件设计必须考虑在所需帧产生速率下需要的额外带宽。这可导致用于更多和/或更快存储器的增加的硬件实施方案成本、增加的系统总线速度等等。
在视频编码器20产生CU的一或多个PU的预测性明度、Cb及Cr块之后，视频编码器20可产生CU的明度残余块。CU的明度残余块中的每一样本指示CU的预测性明度块中的一者中的明度样本与CU的原始明度译码块(CB)中的对应样本之间的差异。另外，视频编码器20可以产生CU的Cb残余块。CU的Cb残余块中的每个样本可以指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中对应的样本之间的差异。视频编码器20还可以产生CU的Cr残余块。CU的Cr残余块中的每个样本可以指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中对应的样本之间的差异。
此外，视频编码器20可使用四叉树分割将CU的明度、Cb及Cr残余块分解成一或多个明度、Cb及Cr变换块。变换块可以是应用相同变换的样本的矩形块。CU的变换单元(TU)可包括明度样本的变换块、色度样本的两个对应变换块及用以对变换块样本进行变换的语法结构。在单色图像或具有三个单独彩色平面的图片中，TU可包括单个变换块，及用以对变换块样本进行变换的语法结构。因此，CU的每一TU可以与明度变换块、Cb变换块以及Cr变换块相关联。与TU相关联的明度变换块可以是CU的明度残余块的子块。Cb变换块可以是CU的Cb残余块的子块。Cr变换块可以是CU的Cr残余块的子块。
视频编码器20可将一或多个变换应用到TU的明度变换块以产生TU的明度系数块。系数块可以是变换系数的二维阵列。变换系数可以是标量。视频编码器20可以将一或多个变换应用到TU的Cb变换块从而为TU产生Cb系数块。视频编码器20可以将一或多个变换应用到TU的Cr变换块从而产生TU的Cr系数块。
在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化系数块。量化总体上是指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。此外，视频编码器20可将变换系数逆量化且对变换系数应用逆变换以便重构图片的CU的TU的变换块。视频编码器20可使用CU的TU的经重构变换块以及CU的PU的预测性块以重构CU的译码块。通过重构图片的每一CU的译码块，视频编码器20可以重构所述图片。视频编码器20可将经重构图片存储在经解码图片缓冲器(DPB)中。视频编码器20可以使用DPB中的经重构图片来用于帧间预测及帧内预测。
在视频编码器20量化系数块之后，视频编码器20可以对指示经量化变换系数的语法元素进行熵编码。例如，视频编码器20可以对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。视频编码器20可以在位流中输出经熵编码的语法元素。
视频编码器20可进一步例如在帧标头、块标头、切片标头或GOP标头中将例如基于块的语法数据、基于帧的语法数据及基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的数个帧，及帧语法数据可指示用以对对应帧进行编码的编码/预测模式。
另外，视频编码器20可例如通过对残余数据进行逆量化及逆变换而对经编码图片进行解码，且将残余数据与预测数据进行组合。以此方式，视频编码器20可模拟由视频解码器30执行的解码过程。视频编码器20及视频解码器30两者因此将具有对实质上相同的经解码图片的存取权以供图片间预测。
一般来说，视频解码器30可执行与由视频编码器执行的编码过程相反的解码过程。举例来说，视频解码器30可使用由视频编码器用于对经量化视频数据进行熵编码的熵编码技术的相反过程来执行熵解码。视频解码器30可进一步使用由视频编码器20采用的量化技术的相反过程来逆量化所述视频数据，且可执行由视频编码器20用于产生经量化的变换系数的变换的相反过程。视频解码器30可随后将所得的残余块应用于邻近的参考块(帧内预测)或来自另一图片(帧间预测)的参考块以产生用于最终显示的所述视频块。视频解码器30可经配置、经指令控制或经引导以基于由视频编码器20提供的语法元素与由视频解码器30接收的位流中的经编码视频数据来执行由视频编码器20执行的各种过程的相反过程。
为了图片间预测的进一步效率，视频编码器20及视频解码器30可实施用于运动信息预测(例如，运动向量预测(MVP))的技术。由HM支持的运动信息预测的模式包含(例如)合并模式和AMVP。
合并模式是指一或多个视频译码模式，其中待译码的当前视频块的运动信息(例如，运动向量、参考帧索引、预测方向或其它信息)是从与当前视频块相同的图片中的空间相邻视频块或(在时间上)不同的图片中的位于同一地点或相邻的视频块继承的。同一图片中的空间相邻块可被称为局部空间相邻块。不同图片中的位于同一地点或相邻的块可被称为时间相邻块。
为了实施合并模式，视频编码器20及视频解码器30两者实施共同的预定义的过程来评估相邻块的运动信息，且从此类运动信息构造运动信息候选列表。从视频编码器20用信号表示到视频解码器30的索引值可用于识别候选列表中的哪一候选者用于对视频块进行译码，及因此当前视频块从哪一相邻块继承其运动信息(例如，相对于当前块的上方、右上方、左边、左下方或左上方的块，或从在时间上邻近的图片)。
跳过模式可包括一种类型的合并模式(或类似于合并模式的模式)。在跳过模式下，运动信息被继承，但不对残余信息进行译码。残余信息一般是指指示待译码的块的原始未经编码版本与从空间相邻块或位于同一地点的块继承的运动信息所识别的预测块之间的像素差的像素差信息。直接模式可为另一类型的合并模式(或类似于合并模式的模式)。直接模式可类似于跳过模式，原因在于运动信息被继承，但在直接模式下，视频块被译码以包含残余信息。短语“合并模式”在本文中用以指代可被称为跳过模式、直接模式或合并模式的这些模式中的任一者。
如上所述，用于HEVC标准的帧间预测受限于用于8x4和4x8PU的单向预测。为了转换到用于8x4和4x8PU的单向预测，根据HEVC标准操作的视频编码器20可将用于此些PU的双向MV转换到用于合并模式的从RefPicList0的单向MV。对于AMVP，根据HEVC标准操作的视频编码器20可仅用信号表示与单向MV预测符相关联的MVP索引。
根据本发明的技术的一个实例，视频编码器20可应用经修改压缩技术以改善压缩。举例来说，视频编码器20可移除经建立以减少存储器带宽要求的对帧间预测的前述限制，以便改善位流的压缩效率。因此，视频编码器20可甚至对于非4:2:0格式也获得且用信号表示8x4和4x8PU的双向预测MV信息。因此，对于合并模式，视频编码器20用信号表示用于RefPicList0和RefPicList1的双向预测MV和索引。因此，对于AMVP，视频编码器20用信号表示与用于双向预测的第一和第二MV相关联的MVP索引。
在应用经修改压缩技术的另一实例中，视频编码器20可通过应用用于根据例如8x4或4x8等特定分区大小分割的译码单元的不同分量的不同形式的分割而放宽对带宽减少的限制。举例来说，对于具有非2Nx2N分区类型的CU，视频编码器20可根据CB分区类型分割明度CB，且还根据2Nx2N分区类型(即，不分裂)分割色度CB中的至少一者。作为一个实例，视频编码器20可将具有2NxN分区类型的CU分割为两个明度2Nx2PB，2Nx2NCr分量PB和2Nx2NCb分量PB。视频编码器20可通过始终从第一明度PB、始终从第二、第三或第四明度PB获得运动信息或通过以某种方式组合来自各种明度PB的运动信息而导出以与明度CB不同的方式分割的所述至少一个色度CB的运动信息。这可减少执行用于色度分量PB的分数样本内插需要的存储器带宽。
在应用经修改压缩技术的另一实例中，视频编码器20可针对双向预测帧间预测用信号表示至少一个明度或色度分量以具有用于将使用来自一个参考图片列表的参考图片预测的块的非2Nx2N分区类型，同时使用用于同一块的2Nx2N分区类型(即，不分裂)获得来自另一参考图片列表的图片的预测符。举例来说，视频编码器20可用信号表示用于参考列表RefPicList0的2NxN分区类型，同时使用用于RefPicList1的2Nx2N分区(或反之亦然)来双向预测块。这些技术可减少帧间预测的带宽要求且允许潜在地避免上文所提及的伴随的硬件成本增加。
在根据本发明的技术的另一实例中，视频编码器20可针对额外情况限制用于非4:2:0格式的视频译码中的双向预测模式的使用。举例来说，如果色度格式是4:2:2或4:4:4，那么视频编码器20可将带宽减少操作延伸到较大大小的PU。因此，例如，除限制用于4x8和8x4PU的双向预测之外，视频编码器20还可检测或经配置以编码非4:2:0格式并且因此另外限制用于满足例如用于任何一或多个较大PU分区大小的大小准则的PU分区大小的双向预测，例如8x8PU、8x16/16x8PU等等。视频编码器20可因此将用于此些PU的双向运动向量(再次，当视频编码器20应用扩展限制时)转换到单向运动向量。视频编码器20可使用上述用于合并模式或AMVP的转换技术中的一者将双向MV转换到单向MV。
在另一个实例中，视频编码器20可将用于PU的所述一或多个MV舍入到用于较小大小PU的PU的整数像素，例如4x8和8x4PU。将运动向量舍入到整数像素可指代将运动向量的水平分量和垂直分量舍入到参考图片中的分量的最接近的样本位置。在一些情况下，视频编码器20可仅针对使用双向预测获得的PU应用整数像素舍入。
上文的技术可带来带宽减少，其中针对用于PU分数样本内插所获取的像素的数目符合表3。色度格式4:4:4的最差情况从934个像素改善到638个像素，其与其中将双向预测到单向预测应用于4x8和8x4PU的4:2:0色度格式的最差情况相当。
表3：用于具有8x8限制的分数样本内插所需的像素
在如本文中所描述限制用于非4:2:0格式的视频译码中的双向预测模式的使用的视频编码器20的一些实例中，视频编码器20可除根据HEVC标准限制用于4x8和8x4PU的双向预测之外或替代于根据HEVC标准限制用于4x8和8x4PU的双向预测，还根据分量的类型限制用于较大大小的PU的双向预测。对于例如以非4:2:0格式编码的8x8CU，视频编码器20可限制用于色度PB中的至少一者的双向预测，同时允许用于明度PB的双向预测。因此，视频编码器20可将用于此些PB的双向运动向量(再次，当视频编码器20应用此扩展的每分量限制时)转换为单向运动向量。因为扩展带宽减少限制对总译码效率具有不等的影响，所以将此限制应用于色度分量可对将限制应用于明度分量的总译码性能具有较少影响，同时仍潜在地获得用于视频译码过程的所需存储器带宽的减少。
上文的技术可带来存储器带宽减少，其中针对用于PU分数样本内插所获取的像素的数目符合表4。色度格式4:4:4的最差情况从934个像素改善到692个像素，其与其中将双向预测到单向预测应用于4x8和8x4PU的4:2:0色度格式的最差情况也相当。
表4：用于具有每分量限制的分数样本内插所需的像素
此存储器带宽减少可相对于并不采用本文所描述的技术的系统减少存储缓冲器的大小、存储缓冲器的速度、存储器总线的大小和/或速度，减小为了促进存储器读取/写入所需的电力的量，或以上的某种组合。
在如本文中所描述限制用于非4:2:0格式的视频译码中双向预测模式的使用的视频编码器20的一些实例中，替代于其中视频编码器20确定具有对双向预测的限制的CU的至少一个色度PB的以上描述，视频编码器20可改为针对色度PB使用双向预测(即，获得两个预测符)，但针对所述两个预测符使用相同的运动信息。换句话说，视频编码器20可将单向预测符中的任一者复制到另一单向预测符。所述单向预测符可来自RefPicList0或RefPicList1。视频编码器20可随后将经加权双向预测应用于所述两个预测符，其中相应权重w0和w1用于第一预测符和作为第一预测符的副本的第二预测符。举例来说，考虑可为使用参考RefPicList0的运动信息获得的帧间预测的Pred0，以及可为使用参考RefPicList1的运动信息获得的帧间预测的Pred1。根据经加权双向预测，使用双向预测获得的所确定的预测符是：
PredBi＝w0*Pred0(MV0,refIdx0)+w1*Pred1(MV1,refIdx1),(1)
其中MV0和MV1是对应预测符的运动向量，且refIdx0和refIdx1是到对应RefPicList0和RefPicList1的索引。使用上述替代的技术，视频编码器20设定Pred1＝Pred0或Pred0＝Pred1。当Pred1和Pred0相等时，PredBi＝(w0+w1)*Pred0或PredBi＝(w0+w1)*Pred1。虽然在所有情况下w0+w1可能并非总和为1，但如果w0+w1＝1，那么此技术获得针对先前技术获得的相似预测符，其中视频编码器20可限制用于色度PB中的至少一者的双向预测且针对色度PB(即色度分量)中的至少一者将双向预测运动向量转换到单向预测运动向量。
在以上描述中，仅出于说明性目的已经使用8x8块。上述技术也适用于其它块大小。
在根据本发明的技术的另一实例中，视频编码器20可根据块中的像素的数目应用双向预测限制。针对例如给定阈值T，视频编码器20可针对大小为HxW的任何块应用双向预测限制和双向到单向转换，其中H*W≤T。如果例如T＝64，那么4x8、8x4、8x8、4x16和16x4PU包含在双向预测限制中。在一些实例中，视频编码器20可将针对阈值T的双向预测限制应用于大小为HxW的任何块，其中H+W≤T。视频编码器20可替代地应用其它类型的阈值设定。
除先前段落中描述的基于维度的阈值技术之外，视频编码器20还可将双向预测限制限于用于译码单元或大小区域的阈值数目的块。如果超过双向预测限制所应用的CU的块的数目，那么视频编码器20可避免针对由所述CU界定的大小区域的剩余块应用所述限制，所述CU自身可根据四叉树分裂过程而分裂。在上文的一个实例中，16x16CU可包含四个8x8PU。如果块的阈值数目是2，那么视频编码器20可将双向预测限制应用于16x16CU的仅第一2个(或某另外2个)块。即使8x8大小将原本满足双向预测的大小限制(至少对于非4:2:0格式的色度分量)，也可双向预测剩余的8x8PU。
上述由视频编码器执行的技术可类似地由视频解码器30执行。视频编码器20和视频解码器30可组合地或在替代方案中应用以上实例中的任一者。由于应用上述技术中的任何一或多者，视频编码器20和视频解码器30可减少针对分数样本内插将获取的像素的数目，且进而减少界定针对视频编码器20和视频解码器30的硬件规范要求的峰值存储器带宽。
图2是说明当前视频块40以及用于构造实例视频块40的运动信息候选列表的代表性空间和时间相邻块的实例的概念图。如上文所论述，合并模式和AMVP模式两者包含从空间和时间相邻块的运动信息识别正译码的当前视频块的运动信息候选者。此外，根据HEVC，对于合并模式和AMVP模式两者，视频译码器可当构造运动信息候选列表时考虑相同的候选块的运动信息，例如图2说明的候选块的集合。
图2的实例说明空间相邻块41-45和时间相邻块T1和T2作为相邻块，其运动信息根据合并模式或AMVP模式可视为用于对当前块40进行译码的潜在运动信息候选者。块41(左边相邻者)、块42(上方相邻者)、块43(右上方相邻者)、块44(左下方相邻者)和块45(左上方相邻者)是图2中说明的当前视频块40的空间相邻块。块41-45可为用于识别运动信息候选者的空间相邻块，所述运动信息候选者用于构造用于根据合并模式或AMVP模式中的任一者或两者对当前视频块40进行译码的运动信息候选列表。
展示时间相邻块T1和T2分别邻近于当前视频块40且在当前视频块40内，但具有虚线的边界以反映它们实际上位于与当前视频块40不同的图片中(且因此是其时间相邻者)。时间相邻块T1和T2中的一者或两者可为用于识别运动信息候选者的时间相邻块，所述运动信息候选者用于构造用于根据合并模式或AMVP模式中的任一者或两者对当前视频块40进行译码的运动信息候选列表。时间候选块T1可在当前块40的右下方(但来自参考图片)，且时间候选者T2可在当前视频块40的中心处或附近(但来自参考图片)，如图2中示出。
视频编码器20和视频解码器30可各自以用于根据合并模式或AMVP模式对当前块40进行译码的相同或相似方式形成运动信息候选者的列表。在从候选者列表选择候选者之后，视频编码器20可向视频解码器用信号表示选定候选者的索引。基于所述索引，视频解码器(例如，视频解码器30)可识别由视频编码器20选择的候选者。基于与选定的候选者相关联的运动信息，视频解码器30可对当前视频块进行解码。为了从候选者列表选择恰当的候选者，视频解码器30可构造由视频编码器20使用的相同的候选集合。
在HEVC译码标准中，可使用合并帧间预测模式和基于合并模式的跳过模式对视频块进行译码，其中来自运动信息候选者的例如运动向量、参考图片索引和帧间方向等运动信息可复制到当前块40的运动信息。在一些实例中，可连同一个时间运动信息候选者(有时称为时间运动向量预测符或“TMVP”)一起考虑五个空间候选者以形成候选者列表，例如多达五个运动信息候选者的列表。根据HEVC，将在合并模式运动信息候选列表中使用的候选者的总数固定在五个(或可由视频编码器以最大值五来选择)，其中所述列表包含多达四个空间运动信息候选者和一个时间运动信息候选者。因此，在一些实例中，合并模式运动信息候选列表可包含空间候选者中的四个(即，图2中由块41-45指示的候选者中的四个)和一个时间运动信息候选者(即，图2中由块T1和T2指示的两个候选者中的一者)。时间运动信息候选者可为T1，或如果T1不可用则为T2。
如果空间或时间运动信息候选者中的一者不可用，或冗余而具有已经包含的运动信息候选者，那么视频译码器可用第五空间候选者替换冗余或不可用的候选者。在一些实例中，冗余或不可用候选者可被T1或T2中的另一者代替。图2中所示的编号可对应于其中可能将添加到候选者列表的实例排序。因此，使用此实例排序，空间候选者45将为第五空间候选者且添加在空间候选者41-44之后。
考虑用于包含在运动信息候选列表中的运动信息相邻候选块41-45、T1和T2的扫描次序可例如为41-44、T1、45。在其它实例中，可使用任何扫描次序，只要其由视频编码器20和视频解码器30两者采用即可。举例来说，在其它配置中，第五空间候选者可视为在时间运动信息候选者之前。为了添加到运动信息候选列表而考虑运动信息候选者的扫描次序可例如影响与所述候选者相关联的索引。如果列表中存在具有索引0到4的五个候选者，那么可将时间运动信息候选者指派给那些索引中的任一者。类似地，空间候选者也可以指派给任何索引。
视频编码器20和视频解码器30可将分数样本内插应用于候选块T1和T2中的任一者以用于确定预测符，其由于所获取像素的数目而可导致高存储器带宽。根据本文所描述的技术，视频编码器20和视频解码器30可关于当前块40和以非4:2:0色度格式编码的候选者T1、T2应用带宽减少以用于确定预测符。视频编码器20和视频解码器30可因此减少标准HEVC原本将经历的峰值存储器带宽。
图3是说明可实施本发明中描述的技术的实例视频编码器20的框图。视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或去除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可以指若干基于时间的压缩模式中的任一者。
在图3的实例中，视频编码器20包含分割单元135、预测处理单元141、参考图片存储器164、求和器150、变换处理单元152、量化单元154和熵编码单元156。预测处理单元141包含运动估计单元142、运动补偿单元144和帧内预测处理单元146。对于视频块重构，视频编码器20还包含逆量化单元158、逆变换处理单元160且求和器162。还可包含解块滤波器(图3中未图示)以便对块边界进行滤波，以从经重构视频移除成块效应假象。必要时，解块滤波器通常将对求和器162的输出进行滤波。除了解块滤波器之外，还可使用额外环路滤波器(环路中或环路后)。
如图3中所展示，视频编码器20接收视频数据，且分割单元135将所述数据分割成视频块。此分割还可包含分割成切片、瓦片或其它较大单元，以及例如根据LCU及CU的四叉树结构的视频块分割。图3中说明的视频编码器20的实例配置大体上说明对待编码视频切片内的视频块进行编码的组件。所述切片可划分成多个视频块(且可能划分成被称作瓦片的视频块集合)。
预测处理单元141可基于错误结果(例如，译码速率及失真等级)针对当前视频块选择多种可能译码模式中的一者，例如，多种帧内译码模式中的一者或多种帧间译码模式中的一者。预测处理单元141可将所得的经帧内译码或经帧间译码块提供到求和器150以产生残余块数据，且提供到求和器162以重构经编码块以用于用作参考图片。
预测处理单元141内的帧内预测处理单元146可相对于与待译码的当前块在同一帧或切片中的一或多个相邻块执行当前视频块的帧内预测性译码，以提供空间压缩。预测处理单元141内的运动估计单元142及运动补偿单元144相对于一或多个参考图片中的一或多个预测性块执行当前视频块的帧间预测性译码以提供时间压缩。
运动估计单元142可经配置以根据用于视频序列的预定模式为视频切片确定帧间预测模式。预定模式可将序列中的视频切片指明为P切片、B切片或GPB切片。运动估计单元142与运动补偿单元144可高度集成，但出于概念目的单独地加以说明。运动估计单元142所执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的位移。
预测性块是被发现在像素差方面与待译码的视频块的PU密切匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。在一些实例中，视频编码器20可计算存储于参考图片存储器164中的参考图片的子整数像素位置的值。举例来说，视频编码器20可以内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元142可以相对于全像素位置及分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。
运动估计单元142通过比较经帧间译码切片中的视频块的PU的位置与参考图片的预测性块的位置来计算PU的运动向量。参考图片可选自第一参考图片列表(列表0或RefPicList0)或第二参考图片列表(列表1或RefPicList1)，其中的每一者识别存储在参考图片存储器164中的一或多个参考图片。运动估计单元142将计算的运动向量发送到熵编码单元156和运动补偿单元144。
由运动补偿单元144执行的运动补偿可以涉及基于通过运动估计(可能执行达子像素精度的内插)确定的运动向量提取或产生预测性块。在接收到当前视频块的PU的运动向量后，运动补偿单元144即刻可以在参考图片列表中的一者中定位所述运动向量指向的预测性块。视频编码器20通过从正被译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块。像素差值形成用于所述块的残余数据，且可包含明度及色度差分量两者。求和器150表示执行此减法运算的一或多个组件。运动补偿单元144还可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。
作为如上文所描述由运动估计单元142和运动补偿单元144执行的帧间预测的替代方案，帧内预测单元146可以对当前块进行帧内预测。明确地说，帧内预测处理单元146可以确定用以编码当前块的帧内预测模式。在一些实例中，帧内预测单元146可以例如在单独的编码编次期间使用各种帧内预测模式对当前块进行编码，并且帧内预测单元146(或在一些实例中为模式选择单元(未图示))可以从所述测试模式中选择适当帧内预测模式来使用。举例来说，帧内预测处理单元146可以使用速率失真分析计算用于各种经测试帧内预测模式的速率失真值，并且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内预测处理单元146可以从用于各种经编码块的失真及速率计算比率，以确定哪种帧内预测模式对于所述块来说展现最佳速率失真值。
在任何状况下，在选择用于块的帧内预测模式之后，帧内预测处理单元146可将指示块的选定帧内预测模式的信息提供到熵编码单元156。熵编码单元156可以对指示所选帧内预测模式的信息进行编码。视频编码器20在发射的位流中可包含配置数据，其可包含多个帧内预测模式指数表及多个经修改的帧内预测模式指数表(也称为码字映射表)，对用于各种块的上下文进行编码的定义，及对最可能帧内预测模式、帧内预测模式指数表及经修改的帧内预测模式指数表的指示以用于所述上下文中的每一者。
在预测处理单元141经由帧间预测或帧内预测产生当前视频块的预测块之后，视频编码器20通过从当前视频块减去预测性块而形成残余视频块。残余块中的残余视频数据可包含在一或多个TU中并应用于变换处理单元152。变换处理单元152使用例如离散余弦变换(DCT)或概念上类似变换的变换将残余视频数据变换成残余变换系数。变换处理单元152可将残余视频数据从像素域转换到变换域，例如频域。
变换处理单元152可将所得变换系数发送到量化单元154。量化单元154对变换系数进行量化以进一步降低位速率。量化过程可减少与变换系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元154可接着执行对包含经量化变换系数的矩阵的扫描。替代地，熵编码单元156可执行所述扫描。
在量化之后，熵编码单元156对经量化的变换系数进行熵编码。举例来说，熵编码单元156可执行上下文自适应二进制算术译码(CABAC)、上下文自适应可变长度译码(CAVLC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在熵编码单元156进行的熵编码之后，可将经编码位流发射到视频解码器30，或将经编码位流存档以供稍后发射或由视频解码器30检索。熵编码单元156还可对正译码的当前视频切片的运动向量、其它运动信息和其它语法元素进行熵编码。
逆量化单元158和逆变换处理单元160分别应用逆量化和逆变换以在像素域中重构残余块以供稍后用作参考图片的参考块。运动补偿单元144可以通过将残余块添加到参考图片列表中的一者内的参考图片中的一者的预测性块来计算参考块。运动补偿单元144还可将一或多个内插滤波器应用于经重构的残余块以计算子整数像素值用于运动估计。求和器162将经重构的残余块添加到由运动补偿单元144产生的运动补偿预测块以产生参考块用于存储在参考图片存储器164中。参考块可由运动估计单元142和运动补偿单元144用作参考块以对后续视频帧或图片中的块进行帧间预测。
例如由运动估计单元142和运动补偿单元144执行的运动估计和运动补偿可包含根据多个不同运动信息预测模式(例如，合并模式和AMVP模式)的运动信息预测。根据本发明的技术，运动估计单元142和/或运动补偿单元144可延伸或另外修改对用于通过非4:2:0色度格式的不同运动信息预测模式中的任一者执行的帧间预测的双向预测的限制。一般来说，运动估计单元142和/或运动补偿单元144可执行本文所描述的技术中的任一者(例如，包含相对于图1、5-10描述的那些)以用于限制或另外修改对用于帧间预测的双向预测的限制。
图4是说明可实施本发明中描述的技术的实例视频解码器30的框图。在图4的实例中，视频解码器30包含熵解码单元180、预测处理单元181、逆量化单元186、逆变换处理单元188、求和器190和参考图片存储器192。预测处理单元181包含运动补偿单元182和帧内预测处理单元184。在一些实例中，视频解码器30可执行大体上与相对于来自图3的视频编码器20描述的编码遍次互逆的解码遍次。
在解码过程期间，视频解码器30从视频编码器20接收表示经解码视频切片的视频块的经编码视频位流及相关联的语法元素。视频解码器30的熵解码单元180对位流进行熵解码以产生经量化系数、运动向量、其它运动信息和其它语法元素。熵解码单元180将运动信息和其它语法元素转发到预测处理单元181。作为实例，视频解码器30可以接收视频切片层级和/或视频块层级处的语法元素。视频解码器30在某些情况下可从由视频解码器30接收的位流提取语法元素。
当视频切片经译码为经帧内译码(I)切片时，预测处理单元181的帧内预测处理单元184可基于用信号表示的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当将视帧帧译码为经帧间译码(即，B、P或GPB)切片时，预测处理单元181的运动补偿单元182基于从熵解码单元180接收的运动向量和其它语法元素而产生当前视频切片的视频块的预测性块。预测块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储在参考图片存储器192中的参考图片使用默认构造技术构造参考帧列表：列表0及列表1。
运动补偿单元182通过剖析运动向量和其它语法元素确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于经解码当前视频块的预测性块。举例来说，运动补偿单元182使用一些接收到的语法元素确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一者或一者以上的构造信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态和用以对当前视频切片中的视频块进行解码的其它信息。
运动补偿单元182还可基于内插滤波器执行内插。运动补偿单元182可使用由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在这种情况下，运动补偿单元182可根据接收的语法信息元素而确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。
逆量化单元186将提供于位流中且由熵解码单元180解码的经量化的变换系数逆量化，即，解量化。逆量化过程可包含使用由视频编码器20针对视频切片中的每一视频块计算的量化参数以确定应应用的量化程度及同样确定应应用的逆量化程度。逆变换处理单元188对变换系数应用逆变换，例如逆DCT、逆整数变换或概念上类似的逆变换过程，以便产生像素域中的残余块。
在运动补偿单元182基于运动向量和其它语法元素产生了当前视频块的预测性块之后，视频解码器30通过将来自逆变换处理单元188的残余块与运动补偿单元182产生的对应预测性块求和来形成经解码视频块。求和器190表示可执行此求和运算的一或多个组件。必要时，解块滤波器还可应用于对经解码块进行滤波以便移除成块效应假象。其它环路滤波器(在译码环路中或在译码环路之后)也可用于使像素转变变平滑或者以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器192中，参考图片存储器192存储用于后续运动补偿的参考图片。参考图片存储器192还存储经解码视频用于以后在显示装置(例如图1的显示装置32)上呈现。
可作为运动补偿过程的部分在视频解码器30中由预测处理单元181和/或运动补偿单元182执行的运动估计可包含根据多个运动信息预测模式(例如，合并模式和AMVP模式)的运动信息预测。根据本发明的技术，根据所述多个运动信息预测模式的运动信息预测可包含共同运动信息候选列表构造过程。在一些实例中，预测处理单元181和/或运动补偿单元182可根据用于运动信息预测模式中的一者(例如，合并模式)的列表构造过程产生运动信息候选列表，其可当根据合并模式或AMVP模式对视频块进行译码时使用。
预测处理单元181和/或运动补偿单元182可从熵解码单元180接收由视频编码器20包含在位流中的语法元素，其可指示用于对当前视频块进行解码的运动信息。根据本发明的技术，预测处理单元181和/或运动补偿单元182可延伸或另外修改对用于通过非4:2:0色度格式的不同运动信息预测模式中的任一者执行的帧间预测的双向预测的限制。一般来说，预测处理单元181和/或运动补偿单元182可执行本文所描述的技术中的任一者(例如，包含相对于图1、5-10描述的那些)以用于限制或另外修改对用于帧间预测的双向预测的限制。
图5是说明根据本文所描述的用于存储器带宽减少的技术以不同方式分割视频块的不同分量的实例方法的流程图。根据图5的实例方法，作为帧间预测过程的部分，视频译码器(例如，视频编码器20或视频解码器30)根据视频块的分区类型分割视频块的明度分量(200)。举例来说，视频块可具有2NxN分区类型，且视频译码器可将明度分量分割为两个2NxN预测块。然而，视频译码器根据与用于视频块的分区类型不同的分区类型来分割视频块的至少一个色度分量(202)。举例来说，视频块可具有2NxN分区类型且视频译码器可将视频块的Cb和Cr分量中的至少一者分割为一个2Nx2N预测块。
图6是说明根据本文所描述的用于存储器带宽减少的技术以不同方式分割用于视频块的至少一个分量的双向预测的参考列表的预测块的实例方法的流程图。根据图6的实例方法，作为帧间预测过程的部分，视频译码器(例如，视频编码器20或视频解码器30)接收具有在用于第一参考列表的位流中用信号表示的分区类型的视频块的分量(210)。如果指定双向预测(212的是分支)，那么视频译码器根据对应于来自第二参考列表的预测符且与在用于第一参考列表的位流中用信号表示的分区类型不同的分区类型分割经双向预测的视频块(214)。视频译码器随后获得用于第一和第二参考图片列表的参考图片的相应分区的对应块区且使用双向预测和所述对应块区应用帧间预测(216)。如果未指定双向预测(212的否分支)，那么视频译码器使用单向预测应用帧间预测(218)。
图7是说明根据本文所描述的用于存储器带宽减少的技术以不同方式分割用于视频块的至少一个分量的双向预测的参考列表的预测块的实例方法的流程图。根据图7的实例方法，作为帧间预测过程的部分，视频译码器(例如，视频编码器20或视频解码器30)获得视频块的双向运动向量(220)。如果视频块是在非4:2:0色度格式经取样且视频块大小为8x8或以下(例如，8x8、8x4或4x8)(222和224的是分支)，那么视频译码器将双向运动向量转换为单向运动向量(226)且使用单向运动向量应用帧间预测以获得用于视频块的预测符(228)。如果视频块的大小大于8x8或色度格式是4:2:0(222和224的否分支)，那么视频译码器使用双向运动向量获得视频块的预测符(228)。
图8是说明根据本文所描述的用于存储器带宽减少的技术以不同方式分割用于视频块的至少一个分量的双向预测的参考列表的预测块的实例方法的流程图。根据图8的实例方法，作为帧间预测过程的部分，视频译码器(例如，视频编码器20或视频解码器30)获得视频块的双向运动向量(240)。如果视频块是在非4:2:0色度格式经取样且视频块大小为8x8或以下(例如，8x8、8x4或4x8)(242和244的是分支)，那么视频译码器将双向运动向量转换为单向运动向量，但仅是针对视频块的色度分量中的一者或两者且不针对明度分量(246)。对于具有经转换向量的分量，使用单向运动向量应用帧间预测以获得用于所述分量的预测符(248)。如果视频块的大小大于8x8或色度格式是4:2:0(222和224的否分支)，那么视频译码器使用双向运动向量获得视频块的预测符(248)。
图9是说明根据本文所描述的用于存储器带宽减少的技术以不同方式分割用于视频块的至少一个分量的双向预测的参考列表的预测块的实例方法的流程图。根据图9的实例方法，作为帧间预测过程的部分，视频译码器(例如，视频编码器20或视频解码器30)获得视频块的双向运动向量(250)。如果视频块是在非4:2:0色度格式经取样且视频块大小为8x8或以下(例如，8x8、8x4或4x8)(252和254的是分支)，那么视频译码器将来自第一参考图片列表(例如，List0)的用于视频块的色度块的双向运动向量的第一预测符设定为来自第二参考图片列表(例如，List1)的第二预测符(256)。
视频译码器通过根据相应权重对第一和第二预测符进行加权，使用第一和第二预测符应用双向预测帧间预测以便获得色度块的预测符(258)。以此方式，视频译码器可减少用于获取导出预测符所需的像素的存储器带宽。
图10是说明根据本文所描述的用于存储器带宽减少的技术以不同方式分割用于视频块的至少一个分量的双向预测的参考列表的预测块的实例方法的流程图。根据图10的实例方法，作为帧间预测过程的部分，视频译码器(例如，视频编码器20或视频解码器30)获得视频块的双向运动向量(270)。如果视频块的大小(例如，HxW或H+W)超过可配置阈值(272的是分支)且视频块的色度格式是除4:2:0外的格式(274的是分支)，那么视频译码器将双向运动向量转换为单向运动向量(276)。视频译码器随后根据运动向量的数目(例如，用于两个运动向量的双向预测或用于经转换运动向量的单向预测)执行帧间预测以获得视频块的预测符(278)。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果用软件实施，则所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包括任何促进将计算机程序从一处传送到另一处的任何媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体大体上可以对应于(1)非暂时形的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可以是可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用的媒体。计算机程序产品可包含计算机可读媒体。
以实例说明且非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。并且，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是针对于非暂时性有形存储媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
指令可由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。此外，在一些方面中，本文所描述的功能性可提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或者并入于组合式编解码器中。而且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可以在广泛多种装置或设备中实施，包括无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示的技术的装置的功能方面，但未必需要由不同硬件单元实现。确切地说，如上文所描述，各种单元可结合合适的软件和/或固件组合在一个编解码器硬件单元中，或由互操作硬件单元的集合来提供，所述硬件单元包括如上文所描述的一或多个处理器。
已描述各种实例。这些和其它实例在所附权利要求书的范围内。

Claims (30)

1.一种对视频数据进行译码的方法，所述方法包括：
获得用于预测具有非4:2:0色度格式的视频块的运动向量；
确定所述视频块的视频块大小；
在所述视频块大小满足大小准则的情况下修改所述运动向量以产生经修改运动向量以用于获得将用来预测所述视频块的至少一个参考图片的样本；以及
使用所述至少一个参考图片的所述样本和所述经修改运动向量产生所述视频块的预测块。
2.根据权利要求1所述的方法，其中如果所述视频块大小是除4x8或8x4外的大小，那么所述视频块大小满足所述大小准则。
3.根据权利要求1所述的方法，其进一步包括：
获得所述视频块的分区类型；
根据所述视频块的所述分区类型分割所述视频块的第一分量；以及
根据与所述视频块的所述分区类型不同的所述视频块的第二分量的分区类型分割所述第二分量，
其中修改所述运动向量包括至少基于所述视频块的所述第一分量的运动向量产生所述视频块的所述第二分量的运动向量。
4.根据权利要求1所述的方法，
其中所述运动向量包括所述视频块的双向运动向量，且
其中修改所述运动向量包括将所述双向运动向量转换为所述视频块的单向运动向量。
5.根据权利要求1所述的方法，
其中所述运动向量包括所述视频块的多个分量中的每一者的相应双向运动向量，且
其中修改所述运动向量包括将所述视频块的所述多个分量中的仅第一分量的所述双向运动向量转换为所述第一分量的单向运动向量。
6.根据权利要求1所述的方法，
其中所述运动向量包括所述视频块的双向运动向量，且
其中修改所述运动向量包括将所述双向运动向量转换为单向运动向量，且
其中产生所述视频块的预测块包括将单向运动向量仅应用于所述视频块的少于全部所述多个分量。
7.根据权利要求1所述的方法，
其中所述视频块的第一预测符包括用于双向预测时间预测的第一运动向量且所述视频块的第二预测符包括用于双向预测时间预测的第二运动向量，
其中修改所述运动向量包括修改包括所述运动向量的运动信息以将所述第一预测符设定为所述第二预测符，且
其中产生所述视频块的预测块包括使用所述第一预测符和所述第二预测符应用双向预测。
8.根据权利要求7所述的方法，其中使用所述第一预测符和所述第二预测符应用双向预测包括将第一权重应用于所述第一预测符且将第二权重应用于所述第二预测符。
9.根据权利要求1所述的方法，
其中对视频数据进行译码包括对所述视频数据进行解码，且
其中获得用于预测具有所述非4:2:0色度格式的所述视频块的所述运动向量包括从位流提取指定所述运动向量的运动信息的一或多个语法元素。
10.根据权利要求1所述的方法，
其中对视频数据进行译码包括对所述视频数据进行编码，且
其中获得用于预测具有所述非4:2:0色度格式的所述视频块的所述运动向量包括从至少一个参考块导出所述视频块的所述运动向量且将所述运动向量的运动信息编码到用于位流的一或多个语法元素。
11.一种用于对视频数据进行译码的设备，所述设备包括经配置以进行以下操作的视频译码器：
获得用于预测具有非4:2:0色度格式的视频块的运动向量；
确定所述视频块的视频块大小；
在所述视频块大小满足大小准则的情况下修改所述运动向量以产生经修改运动向量以用于获得将用来预测所述视频块的至少一个参考图片的样本；以及
使用所述至少一个参考图片的所述样本和所述经修改运动向量产生所述视频块的预测块。
12.根据权利要求11所述的设备，其中如果所述视频块大小是除4x8或8x4外的大小，那么所述视频块大小满足所述大小准则。
13.根据权利要求11所述的设备，其中所述视频译码器进一步经配置以：
获得所述视频块的分区类型；
根据所述视频块的所述分区类型分割所述视频块的第一分量；以及
根据与所述视频块的所述分区类型不同的所述视频块的第二分量的分区类型分割所述第二分量，
其中为了修改所述运动向量，所述视频译码器进一步经配置以至少基于所述视频块的所述第一分量的运动向量产生所述视频块的所述第二分量的运动向量。
14.根据权利要求11所述的设备，
其中所述运动向量包括所述视频块的双向运动向量，且
其中为了修改所述运动向量，所述视频译码器进一步经配置以将所述双向运动向量转换为所述视频块的单向运动向量。
15.根据权利要求11所述的设备，
其中所述运动向量包括所述视频块的多个分量中的每一者的相应双向运动向量，且
其中为了修改所述运动向量，所述视频译码器进一步经配置以所述视频块的所述多个分量中的仅第一分量的所述双向运动向量到所述第一分量的单向运动向量。
16.根据权利要求11所述的设备，
其中所述运动向量包括所述视频块的双向运动向量，且
其中为了修改所述运动向量，所述视频译码器进一步经配置以将所述双向运动向量转换为单向运动向量，且
其中为了产生所述视频块的所述预测块，所述视频译码器进一步经配置以将单向运动向量仅应用于所述视频块的少于全部所述多个分量。
17.根据权利要求11所述的设备，
其中所述视频块的第一预测符包括用于双向预测时间预测的第一运动向量且所述视频块的第二预测符包括用于双向预测时间预测的第二运动向量，且
其中为了修改所述运动向量，所述视频译码器进一步经配置以修改包括所述运动向量的运动信息以将所述第一预测符设定为所述第二预测符，且
其中为了产生所述视频块的预测块，所述视频译码器进一步经配置以使用所述第一预测符和所述第二预测符应用双向预测。
18.根据权利要求17所述的设备，其中为了使用所述第一预测符和所述第二预测符应用双向预测，所述视频译码器进一步经配置以将第一权重应用于所述第一预测符且将第二权重应用于所述第二预测符。
19.根据权利要求11所述的设备，
其中所述视频译码器包括经配置以对所述视频数据进行解码的视频解码器，且
其中为了获得用于预测具有所述非4:2:0色度格式的所述视频块的所述运动向量，所述视频解码器经配置以从位流提取指定所述运动向量的运动信息的一或多个语法元素。
20.根据权利要求11所述的设备，
其中所述视频译码器包括经配置以对所述视频数据进行编码的视频编码器，且
其中为了获得用于预测具有所述非4:2:0色度格式的所述视频块的所述运动向量，所述视频编码器经配置以从至少一个参考块导出所述视频块的所述运动向量且将所述运动向量的运动信息编码到用于位流的一或多个语法元素。
21.一种用于对视频数据进行译码的设备，所述设备包括：
用于获得用于预测具有非4:2:0色度格式的视频块的运动向量的装置；
用于确定所述视频块的视频块大小的装置；
用于在所述视频块大小满足大小准则的情况下修改所述运动向量以产生经修改运动向量以用于获得将用来预测所述视频块的至少一个参考图片的样本的装置；以及
用于使用所述至少一个参考图片的所述样本和所述经修改运动向量产生所述视频块的预测块的装置。
22.根据权利要求21所述的设备，其中如果所述视频块大小是除4x8或8x4外的大小，那么所述视频块大小满足所述大小准则。
23.根据权利要求21所述的设备，其进一步包括：
用于获得所述视频块的分区类型的装置；
用于根据所述视频块的所述分区类型分割所述视频块的第一分量的装置；以及
用于根据与所述视频块的所述分区类型不同的所述视频块的第二分量的分区类型分割所述第二分量的装置，
其中所述用于修改所述运动向量的装置包括用于至少基于所述视频块的所述第一分量的运动向量产生所述视频块的所述第二分量的运动向量的装置。
24.根据权利要求21所述的设备，
其中所述运动向量包括所述视频块的多个分量中的每一者的相应双向运动向量，且
其中所述用于修改所述运动向量的装置包括用于将所述视频块的所述多个分量中的仅第一分量的所述双向运动向量转换为所述第一分量的单向运动向量的装置。
25.根据权利要求21所述的设备，
其中所述运动向量包括所述视频块的双向运动向量，且
其中所述用于修改所述运动向量的装置包括将所述双向运动向量转换为单向运动向量，且
其中所述用于产生所述视频块的预测块的装置包括用于将单向运动向量仅应用于所述视频块的少于全部所述多个分量的装置。
26.根据权利要求21所述的设备，
其中所述视频块的第一预测符包括用于双向预测时间预测的第一运动向量且所述视频块的第二预测符包括用于双向预测时间预测的第二运动向量，
其中所述用于修改所述运动向量的装置包括用于修改包括所述运动向量的运动信息以将所述第一预测符设定为所述第二预测符的装置，且
其中所述用于产生所述视频块的预测块的装置包括用于使用所述第一预测符和所述第二预测符应用双向预测的装置。
27.一种具有存储于其上的指令的计算机可读存储媒体，所述指令当执行时致使用于对视频数据进行译码的设备的一或多个处理器进行以下操作：
获得用于预测具有非4:2:0色度格式的视频块的运动向量；
确定所述视频块的视频块大小；
在所述视频块大小满足大小准则的情况下修改所述运动向量以产生经修改运动向量以用于获得将用来预测所述视频块的至少一个参考图片的样本；以及
使用所述至少一个参考图片的所述样本和所述经修改运动向量产生所述视频块的预测块。
28.根据权利要求27所述的计算机可读存储媒体，其中如果所述视频块大小是除4x8或8x4外的大小，那么所述视频块大小满足所述大小准则。
29.根据权利要求27所述的计算机可读存储媒体，其进一步包括在执行时致使所述一或多个处理器进行以下操作的指令：
获得所述视频块的分区类型；
根据所述视频块的所述分区类型分割所述视频块的第一分量；以及
根据与所述视频块的所述分区类型不同的所述视频块的第二分量的分区类型分割所述第二分量，
其中为了修改所述运动向量，所述指令致使所述一或多个处理器至少基于所述视频块的所述第一分量的运动向量产生所述视频块的所述第二分量的运动向量。
30.根据权利要求27所述的计算机可读存储媒体，
其中所述运动向量包括所述视频块的多个分量中的每一者的相应双向运动向量，且
其中为了修改所述运动向量，所述指令致使所述一或多个处理器将所述视频块的所述多个分量中的仅第一分量的所述双向运动向量转换为所述第一分量的单向运动向量。
CN201480018167.9A 2013-03-29 2014-03-28 用于视频译码预测的存储器减少 Expired - Fee Related CN105075259B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361806700P 2013-03-29 2013-03-29
US61/806,700 2013-03-29
US201361808479P 2013-04-04 2013-04-04
US61/808,479 2013-04-04
US14/227,839 US9491460B2 (en) 2013-03-29 2014-03-27 Bandwidth reduction for video coding prediction
US14/227,839 2014-03-27
PCT/US2014/032180 WO2014160943A1 (en) 2013-03-29 2014-03-28 Memory reduction for video coding prediction

Publications (2)

Publication Number Publication Date
CN105075259A true CN105075259A (zh) 2015-11-18
CN105075259B CN105075259B (zh) 2018-10-12

Family

ID=51620836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480018167.9A Expired - Fee Related CN105075259B (zh) 2013-03-29 2014-03-28 用于视频译码预测的存储器减少

Country Status (6)

Country Link
US (1) US9491460B2 (zh)
EP (1) EP2979448B1 (zh)
JP (1) JP6342477B2 (zh)
KR (1) KR20150139881A (zh)
CN (1) CN105075259B (zh)
WO (1) WO2014160943A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019056839A1 (en) * 2017-09-21 2019-03-28 Huawei Technologies Co., Ltd. RESTRICTION ON SUB-BLOCK SIZE DERIVATION FOR AFFINE INTER-IMAGE PREDICTION
CN110301135A (zh) * 2017-02-21 2019-10-01 高通股份有限公司 在视频解码器处导出运动向量信息
CN111279701A (zh) * 2019-03-13 2020-06-12 北京大学 视频处理方法和设备
WO2020156526A1 (en) * 2019-02-01 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interactions between in-loop reshaping and inter coding tools
CN112369032A (zh) * 2018-06-27 2021-02-12 Vid拓展公司 用于降低解码器侧运动修正的译码等待时间的方法和装置
WO2021027862A1 (en) * 2019-08-13 2021-02-18 Beijing Bytedance Network Technology Co., Ltd. Motion precision in sub-block based inter prediction
WO2021052504A1 (en) * 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Scaling method for sub-block based inter prediction
CN113396591A (zh) * 2018-12-21 2021-09-14 Vid拓展公司 针对用于基于模板的视频译码的改进的线性模型估计的方法、架构、装置和系统
CN113475078A (zh) * 2019-01-08 2021-10-01 腾讯美国有限责任公司 用于小帧间块的存储器带宽减小的方法和装置
US11140386B2 (en) 2018-11-22 2021-10-05 Beijing Bytedance Network Technology Co., Ltd. Coordination method for sub-block based inter prediction
US11343505B2 (en) 2019-02-01 2022-05-24 Beijing Bytedance Network Technology Co., Ltd. Configuring luma-dependent chroma residue scaling for video coding
US11375188B2 (en) 2019-03-23 2022-06-28 Beijing Bytedance Network Technology Co., Ltd. Restrictions on adaptive-loop filtering parameter sets
US20220239932A1 (en) 2019-03-14 2022-07-28 Beijing Bytedance Network Technology Co., Ltd. Signaling and syntax for in-loop reshaping information
US11871025B2 (en) 2019-08-13 2024-01-09 Beijing Bytedance Network Technology Co., Ltd Motion precision in sub-block based inter prediction

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2955938T3 (es) * 2010-12-22 2023-12-11 Lg Electronics Inc Intrapredicción en codificación de vídeo
CN108650508B (zh) 2011-09-29 2022-07-29 夏普株式会社 图像解码装置、图像解码方法、图像编码装置及图像编码方法
KR102215433B1 (ko) * 2012-07-02 2021-02-15 엘지전자 주식회사 영상 정보 코딩 방법 및 이를 이용하는 장치
US9213781B1 (en) 2012-09-19 2015-12-15 Placemeter LLC System and method for processing image data
CN104717512B (zh) * 2013-12-16 2019-07-23 浙江大学 一种前向双假设编码图像块的编解码方法和装置
US10924746B2 (en) * 2014-01-29 2021-02-16 Mediatek Inc. Method and apparatus for adaptive motion vector precision
JP2017525064A (ja) 2014-05-30 2017-08-31 プレイスメーター インコーポレイテッドＰｌａｃｅｍｅｔｅｒ Ｉｎｃ． ビデオデータを用いた活動モニタリングのためのシステム及び方法
CN107809642B (zh) 2015-02-16 2020-06-16 华为技术有限公司 用于视频图像编码和解码的方法、编码设备和解码设备
US10043078B2 (en) 2015-04-21 2018-08-07 Placemeter LLC Virtual turnstile system and method
US11334751B2 (en) 2015-04-21 2022-05-17 Placemeter Inc. Systems and methods for processing video data for activity monitoring
US10997428B2 (en) 2015-06-01 2021-05-04 Placemeter Inc. Automated detection of building entrances
CN113965747B (zh) * 2016-07-05 2024-06-14 株式会社Kt 对视频进行解码或编码的方法和计算机可读介质
CN109479149B (zh) 2016-07-05 2022-04-15 株式会社Kt 视频信号处理方法和设备
ES2699748B2 (es) 2016-07-05 2021-05-13 Kt Corp Metodo y aparato para procesar senal de video
CN116614639A (zh) * 2016-07-12 2023-08-18 韩国电子通信研究院 图像编码/解码方法和用于所述方法的记录介质
CN116708784A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
WO2018062892A1 (ko) * 2016-09-28 2018-04-05 엘지전자(주) 가중치 인덱스에 기초하여 최적의 예측을 수행하는 방법 및 장치
EP3306937A1 (en) * 2016-10-05 2018-04-11 Thomson Licensing Method and apparatus for encoding and decoding a video
US10750203B2 (en) * 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
US10262393B2 (en) * 2016-12-29 2019-04-16 Intel Corporation Multi-sample anti-aliasing (MSAA) memory bandwidth reduction for sparse sample per pixel utilization
WO2018131986A1 (ko) * 2017-01-16 2018-07-19 세종대학교 산학협력단 영상의 부호화/복호화 방법 및 장치
TWI812414B (zh) * 2017-07-13 2023-08-11 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置及記錄媒體
JP6825506B2 (ja) * 2017-07-19 2021-02-03 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
US11212551B2 (en) * 2018-01-09 2021-12-28 Sharp Kabushiki Kaisha Motion vector derivation apparatus, video decoding apparatus, and video coding apparatus
WO2019234607A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between ibc and affine
TWI729422B (zh) 2018-06-21 2021-06-01 大陸商北京字節跳動網絡技術有限公司 色彩分量間的子區塊移動向量繼承
TWI739120B (zh) 2018-06-21 2021-09-11 大陸商北京字節跳動網絡技術有限公司 合併仿射模式與非合併仿射模式的統一拘束
JP2021526762A (ja) * 2018-07-06 2021-10-07 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
CN110719470B (zh) * 2018-07-15 2023-10-03 北京字节跳动网络技术有限公司 视频编码的块尺寸限制
US11277628B2 (en) * 2018-09-24 2022-03-15 Qualcomm Incorporated Restrictions for the worst-case bandwidth reduction in video coding
CA3141117A1 (en) * 2018-09-25 2020-04-02 Digitalinsights Inc. Method and device for encoding or decoding image on basis of inter mode
CN111083492B (zh) 2018-10-22 2024-01-12 北京字节跳动网络技术有限公司 双向光流中的梯度计算
CN112970255B (zh) 2018-11-06 2024-07-23 北京字节跳动网络技术有限公司 具有几何分割的帧间预测的边信息的信令
CN116886926A (zh) * 2018-11-10 2023-10-13 北京字节跳动网络技术有限公司 成对平均候选计算中的取整
KR20240007302A (ko) 2018-11-12 2024-01-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인터 및 인트라 통합 예측의 단순화
JP7241870B2 (ja) 2018-11-20 2023-03-17 北京字節跳動網絡技術有限公司 部分的な位置に基づく差分計算
JP7182098B2 (ja) * 2018-11-22 2022-12-02 北京字節跳動網絡技術有限公司 映像処理におけるパルス符号変調技術
CN113170166B (zh) 2018-12-30 2023-06-09 北京字节跳动网络技术有限公司 具有几何分割的帧间预测在视频处理中有条件的应用
AU2020214083B2 (en) 2019-02-02 2023-06-01 Beijing Bytedance Network Technology Co., Ltd. Buffer management for intra block copy in video coding
KR20240117647A (ko) 2019-02-02 2024-08-01 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 버퍼 관리
CN113508597B (zh) 2019-03-01 2023-11-21 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的基于方向的预测
CN113545068B (zh) 2019-03-01 2023-09-15 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的基于顺序的更新
CN113508581B (zh) 2019-03-04 2023-11-14 北京字节跳动网络技术有限公司 视频编解码中的帧内块复制中的实施方式方面
CN113545065B (zh) 2019-03-06 2023-12-12 北京字节跳动网络技术有限公司 转换后的单向预测候选的使用
KR20210076125A (ko) * 2019-03-12 2021-06-23 텐센트 아메리카 엘엘씨 비디오 인코딩 또는 디코딩을 위한 방법 및 장치
US11039150B2 (en) 2019-04-19 2021-06-15 Tencent America LLC Method and apparatus for video coding
BR112021022540A2 (pt) * 2019-05-10 2021-12-28 Fraunhofer Ges Forschung Aparelho para previsão com base em bloco e para codificação e decodificação de figura, seu método e fluxo contínuo de dados
KR20230170800A (ko) 2019-07-06 2023-12-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 카피를 위한 가상 예측 버퍼
AU2020312053B2 (en) 2019-07-10 2023-09-14 Beijing Bytedance Network Technology Co., Ltd. Sample identification for intra block copy in video coding
CN114097221B (zh) 2019-07-11 2024-01-12 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的比特流一致性约束
JP7309046B2 (ja) 2019-09-02 2023-07-14 北京字節跳動網絡技術有限公司 カラーフォーマットに基づいたビデオ領域のパーティション
JP2023506877A (ja) * 2019-12-20 2023-02-20 フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 基準画像リサンプリングのための部分サンプル補間
US11546592B2 (en) * 2020-01-08 2023-01-03 Tencent America LLC Flexible block partitioning for chroma component
EP4128778A4 (en) * 2020-03-31 2024-04-17 Alibaba Group Holding Limited PALETTE PREDICTION METHODS
US20220286675A1 (en) * 2021-03-05 2022-09-08 Tencent America LLC Decoupled transform partitioning
US11838498B2 (en) 2021-06-28 2023-12-05 Tencent America LLC Harmonized design for intra bi-prediction and multiple reference line selection
US20230336748A1 (en) * 2022-04-19 2023-10-19 Tencent America LLC Chroma from luma prediction using mapping and different types
US20240031566A1 (en) * 2022-07-20 2024-01-25 Tencent America LLC Signaling of downsampling filters for chroma from luma intra prediction mode
US20240179304A1 (en) * 2022-11-29 2024-05-30 Tencent America LLC Systems and methods for signaling of downsampling filters for chroma from luma intra prediction mode

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009126260A1 (en) * 2008-04-11 2009-10-15 Thomson Licensing Methods and apparatus for template matching prediction (tmp) in video encoding and decoding
US20130077696A1 (en) * 2011-09-26 2013-03-28 Texas Instruments Incorporated Method and System for Lossless Coding Mode in Video Coding

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602851B2 (en) * 2003-07-18 2009-10-13 Microsoft Corporation Intelligent differential quantization of video coding
KR100716791B1 (ko) * 2005-08-08 2007-05-14 삼성전기주식회사 이미지 압축디바이스 및 그 방법
JP4763549B2 (ja) * 2006-08-18 2011-08-31 富士通セミコンダクター株式会社 フレーム間予測処理装置、画像符号化装置、及び画像復号化装置
US7545293B2 (en) * 2006-11-14 2009-06-09 Qualcomm Incorporated Memory efficient coding of variable length codes
US8432968B2 (en) * 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
US20110002391A1 (en) * 2009-06-11 2011-01-06 Motorola, Inc. Digital image compression by resolution-adaptive macroblock coding
JP5234368B2 (ja) * 2009-09-30 2013-07-10 ソニー株式会社 画像処理装置および方法
US20110274162A1 (en) * 2010-05-04 2011-11-10 Minhua Zhou Coding Unit Quantization Parameters in Video Coding
CN106210733B (zh) * 2010-04-13 2020-03-24 Ge视频压缩有限责任公司 解码器、重建数组的方法、编码器、编码及解码方法
US9300970B2 (en) * 2010-07-09 2016-03-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding motion vector
US9357229B2 (en) * 2010-07-28 2016-05-31 Qualcomm Incorporated Coding motion vectors in video coding
US9008175B2 (en) * 2010-10-01 2015-04-14 Qualcomm Incorporated Intra smoothing filter for video coding
US9288496B2 (en) * 2010-12-03 2016-03-15 Qualcomm Incorporated Video coding using function-based scan order for transform coefficients
GB2488815C (en) * 2011-03-09 2018-03-28 Canon Kk Video decoding
TW201335769A (zh) * 2011-11-07 2013-09-01 Vid Scale Inc 使用奇偶整數轉換影像處理
JP2013102305A (ja) * 2011-11-07 2013-05-23 Nippon Hoso Kyokai <Nhk> 画像復号装置、画像復号方法、プログラム及び画像符号化装置
US9253487B2 (en) * 2012-05-31 2016-02-02 Qualcomm Incorporated Reference index for enhancement layer in scalable video coding
US9906786B2 (en) * 2012-09-07 2018-02-27 Qualcomm Incorporated Weighted prediction mode for scalable video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009126260A1 (en) * 2008-04-11 2009-10-15 Thomson Licensing Methods and apparatus for template matching prediction (tmp) in video encoding and decoding
US20130077696A1 (en) * 2011-09-26 2013-03-28 Texas Instruments Incorporated Method and System for Lossless Coding Mode in Video Coding

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110301135A (zh) * 2017-02-21 2019-10-01 高通股份有限公司 在视频解码器处导出运动向量信息
CN110301135B (zh) * 2017-02-21 2023-06-30 高通股份有限公司 解码视频数据的方法和装置以及计算机可读存储介质
US10609384B2 (en) 2017-09-21 2020-03-31 Futurewei Technologies, Inc. Restriction on sub-block size derivation for affine inter prediction
WO2019056839A1 (en) * 2017-09-21 2019-03-28 Huawei Technologies Co., Ltd. RESTRICTION ON SUB-BLOCK SIZE DERIVATION FOR AFFINE INTER-IMAGE PREDICTION
CN112369032A (zh) * 2018-06-27 2021-02-12 Vid拓展公司 用于降低解码器侧运动修正的译码等待时间的方法和装置
US11973974B2 (en) 2018-06-27 2024-04-30 Vid Scale, Inc. Methods and apparatus for reducing the coding latency of decoder-side motion refinement
US12069239B2 (en) 2018-11-22 2024-08-20 Beijing Bytedance Network Technology Co., Ltd Sub-block based motion candidate selection and signaling
US11671587B2 (en) 2018-11-22 2023-06-06 Beijing Bytedance Network Technology Co., Ltd Coordination method for sub-block based inter prediction
US11632541B2 (en) 2018-11-22 2023-04-18 Beijing Bytedance Network Technology Co., Ltd. Using collocated blocks in sub-block temporal motion vector prediction mode
US11140386B2 (en) 2018-11-22 2021-10-05 Beijing Bytedance Network Technology Co., Ltd. Coordination method for sub-block based inter prediction
US11431964B2 (en) 2018-11-22 2022-08-30 Beijing Bytedance Network Technology Co., Ltd. Coordination method for sub-block based inter prediction
CN113396591A (zh) * 2018-12-21 2021-09-14 Vid拓展公司 针对用于基于模板的视频译码的改进的线性模型估计的方法、架构、装置和系统
CN113475078A (zh) * 2019-01-08 2021-10-01 腾讯美国有限责任公司 用于小帧间块的存储器带宽减小的方法和装置
US11394995B2 (en) 2019-02-01 2022-07-19 Beijing Bytedance Network Technology Co., Ltd. Interactions between in-loop reshaping and inter coding tools
US11558636B2 (en) 2019-02-01 2023-01-17 Beijing Bytedance Network Technology Co., Ltd. Configuring luma-dependent chroma residue scaling for video coding
WO2020156526A1 (en) * 2019-02-01 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interactions between in-loop reshaping and inter coding tools
US11627333B2 (en) 2019-02-01 2023-04-11 Beijing Bytedance Network Technology Co., Ltd. Interactions between in-loop reshaping and palette mode
US11343505B2 (en) 2019-02-01 2022-05-24 Beijing Bytedance Network Technology Co., Ltd. Configuring luma-dependent chroma residue scaling for video coding
US11553203B2 (en) 2019-02-01 2023-01-10 Beijing Bytedance Network Technology Co., Ltd. Signaling of in-loop reshaping information using parameter sets
CN111279701B (zh) * 2019-03-13 2023-05-23 北京大学 视频处理方法和设备
WO2020181543A1 (zh) * 2019-03-13 2020-09-17 北京大学 视频处理方法和设备
CN111279701A (zh) * 2019-03-13 2020-06-12 北京大学 视频处理方法和设备
US11412238B2 (en) 2019-03-14 2022-08-09 Beijing Bytedance Network Technology Co., Ltd. Signaling and syntax for in-loop reshaping information
US20220239932A1 (en) 2019-03-14 2022-07-28 Beijing Bytedance Network Technology Co., Ltd. Signaling and syntax for in-loop reshaping information
US11375188B2 (en) 2019-03-23 2022-06-28 Beijing Bytedance Network Technology Co., Ltd. Restrictions on adaptive-loop filtering parameter sets
US12063362B2 (en) 2019-03-23 2024-08-13 Beijing Bytedance Network Technology Co., Ltd Restrictions on adaptive-loop filtering parameter sets
WO2021027862A1 (en) * 2019-08-13 2021-02-18 Beijing Bytedance Network Technology Co., Ltd. Motion precision in sub-block based inter prediction
US11871025B2 (en) 2019-08-13 2024-01-09 Beijing Bytedance Network Technology Co., Ltd Motion precision in sub-block based inter prediction
WO2021052504A1 (en) * 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Scaling method for sub-block based inter prediction
US11695946B2 (en) 2019-09-22 2023-07-04 Beijing Bytedance Network Technology Co., Ltd Reference picture resampling in video processing

Also Published As

Publication number Publication date
EP2979448B1 (en) 2018-07-04
US9491460B2 (en) 2016-11-08
CN105075259B (zh) 2018-10-12
JP2016518052A (ja) 2016-06-20
US20140294078A1 (en) 2014-10-02
WO2014160943A1 (en) 2014-10-02
KR20150139881A (ko) 2015-12-14
JP6342477B2 (ja) 2018-06-13
EP2979448A1 (en) 2016-02-03

Similar Documents

Publication Publication Date Title
CN105075259B (zh) 用于视频译码预测的存储器减少
JP7504925B2 (ja) ビデオコーディングのための組み合わされたインターおよびイントラ予測モード
JP6396439B2 (ja) 残差差分パルスコード変調（ｄｐｃｍ）拡張ならびに変換スキップ、回転、および走査との調和
CN103891293B (zh) 用于色度分量的自适应环路滤波的方法及设备
CN103339936B (zh) 用于视频译码的单一参考图片列表建构
CN103190147B (zh) 用于视频译码的语法元素的联合译码方法及设备
CN104272742B (zh) 加权预测参数译码
CN104429072B (zh) 自适应差域空间和时间参考重构及平滑
CN105556969A (zh) 视频译码中使用视差向量的块识别
JP2018509032A (ja) ビデオコーディングのための重複動き補償
EA035270B1 (ru) Способ и устройство кодирования видеоданных
CN104838658A (zh) 具有不对称空间分辨率的纹理和深度视图分量当中的内部视图运动预测
CN104756499A (zh) 用于视频译码的参考图片状态
CN104737537A (zh) 用于可缩放视频译码的加权预测模式
CN104412591A (zh) 用于差域帧内预测的帧内模式扩展
CN104685883A (zh) 用于3d视频的经视图间预测运动向量
CN105308959A (zh) 用于视频译码的自适应颜色变换
CN103999465A (zh) 自适应性重叠块运动补偿
CN105075265A (zh) 3d视频译码中针对跳过和直接模式的视差向量导出
CN103141100A (zh) 用于视频译码的帧内平滑滤波器
CN103975597A (zh) 纹理及深度视图分量当中的内部视图运动预测
CN103609123A (zh) 统一合并模式和自适应运动向量预测模式候选者选择
CN103597832A (zh) 用于使用相邻模式的视频译码的增强的帧内预测模式信令
CN103202016A (zh) 用于视频译码的自适应运动向量分辨率信令
CN104221380A (zh) 用于并行运动估计的共同空间候选块

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181012

Termination date: 20210328