CN111684806B - 用于视频译码的块内复制 - Google Patents

用于视频译码的块内复制 Download PDF

Info

Publication number
CN111684806B
CN111684806B CN201980011713.9A CN201980011713A CN111684806B CN 111684806 B CN111684806 B CN 111684806B CN 201980011713 A CN201980011713 A CN 201980011713A CN 111684806 B CN111684806 B CN 111684806B
Authority
CN
China
Prior art keywords
block
blocks
color component
sub
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980011713.9A
Other languages
English (en)
Other versions
CN111684806A (zh
Inventor
张莉
张凯
钱威俊
M·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN111684806A publication Critical patent/CN111684806A/zh
Application granted granted Critical
Publication of CN111684806B publication Critical patent/CN111684806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开描述视频译码器(例如视频编码器或视频解码器)可用于确定色度块的块向量的实例技术,其中用于色度分量及明度分量的分割树是不同的(例如解耦分割树)。

Description

用于视频译码的块内复制
本申请要求2019年2月6日申请的美国申请第16/269,349号的优先权且要求2018年2月8日申请的美国临时申请第62/628,101号的权益,所述两个申请的全部内容以引用的方式并入。
技术领域
本公开涉及视频编码及视频解码。
背景技术
数字视频能力可并入至广泛范围的装置中,所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌面计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电话(所谓的“智能电话”)、视频电传会议装置、视频串流装置及其类似者。数字视频装置实施视频译码技术,诸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分进阶视频译码(AVC)所定义的标准、高效率视频译码(HEVC)标准、ITU-T H.265/高效率视频译码(HEVC)及此类标准的扩展中描述的那些视频译码技术。视频装置可通过实施此类视频译码技术来更有效地传输、接收、编码、解码及/或存储数字视频信息。
视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或去除为视频序列所固有的冗余。对于基于块的视频译码,视频图块(例如视频图片或视频图片的一部分)可分割成视频块,视频块还可被称作译码树单元(CTU)、译码单元(CU)及/或译码节点。图片的经帧内译码(I)图块中的视频块是使用关于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)图块中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称作图框,且参考图片可被称作参考图框。
发明内容
一般来说,本公开描述用于块内复制(IBC)译码的技术。实例技术可应用于诸如高效率视频译码(HEVC)的现存视频编码解码器,或可为用于未来视频译码标准的高效视频译码工具。实例技术可关于利用具有各种运动相关工具的IBC,以及使用解耦分割树中的IBC。
举例来说,在IBC中,块是经指向与经译码的块相同的图片中的参考块的块向量译码(例如经编码或经解码)。在明度分量与色度分量以相同方式分割(例如存在分割树的耦合)的情况下,明度块及对应色度块可使用块向量以及按比例调整用于色度块的潜在块向量。然而,在色度分量与明度分量以不同方式分割(例如存在分割树的解耦)的情况下,由于色度块以与明度块不同的方式成形引起色度块与明度块之间的较差对应性,因此视频译码可能存在技术问题。
本公开描述视频译码器(例如视频编码器或视频解码器)可用于确定色度块的块向量的实例技术,其中用于色度分量与明度分量的分割树是不同的(例如解耦分割树)。举例来说,视频译码器可基于用于分割明度分量的分割树而将色度块进一步分割成多个子块。在此实例中,色度块的子块中的每一者与多个明度块中的一明度块之间可能存在一对一对应性。
视频译码器可基于在IBC模式中经预测的多个明度块中的一或多者的块向量而确定色度块的子块中的一或多者的块向量。以此方式,虽然存在解耦明度分量与色度分量之间的分割树,但实例技术允许色度块可自明度块继承块向量的方式。通过允许由色度块继承明度块的块向量,实例技术可减小若色度块的块向量需要明确传信时的传信带宽。
在一个实例中,本公开描述一种译码视频数据的方法,所述方法包括:确定对应于第二色彩分量的块的第一色彩分量的多个块,其中所述第一色彩分量的多个块是通过根据第一分割树分割所述第一色彩分量的样本而产生,且所述第二色彩分量的所述块是通过根据第二分割树分割所述第二色彩分量的样本而产生;基于所述第一分割树分割所述第二色彩分量的所述块以产生各自对应于所述第一色彩分量的所述多个块中的块的所述第二色彩分量的子块;基于所述第一色彩分量的多个块中的一或多个对应块的一或多个块向量而确定在块内复制(IBC)预测模式中经预测的所述第二色彩分量的所述子块中的一或多者的一或多个块向量;及基于所述一或多个经确定块向量译码所述第二色彩分量的所述块。
在一个实例中,本公开描述一种用于译码视频数据的装置,所述装置包括:存储器,其经配置以存储所述视频数据的第一色彩分量的样本及第二色彩分量的样本;及视频译码器,其包括可编程及固定功能电路中的至少一者。所述视频译码器经配置以:确定对应于第二色彩分量的块的第一色彩分量的多个块,其中所述第一色彩分量的多个块是通过根据第一分割树分割所述第一色彩分量的样本而产生,且所述第二色彩分量的所述块是通过根据第二分割树分割所述第二色彩分量的样本而产生;基于所述第一分割树分割所述第二色彩分量的所述块以产生各自对应于所述第一色彩分量的多个块中的块的所述第二色彩分量的子块;基于所述第一色彩分量的多个块的一或多个对应块的一或多个块向量而确定在块内复制(IBC)预测模式中经预测的所述第二色彩分量的子块中的一或多者的一或多个块向量;及基于所述一或多个经确定块向量译码所述第二色彩分量的所述块。
在一个实例中,本公开描述一种存储指令的计算机可读存储媒体,所述指令在经执行时使得一或多个处理器进行以下操作:确定对应于第二色彩分量的块的第一色彩分量的多个块,其中所述第一色彩分量的所述多个块是通过根据第一分割树分割所述第一色彩分量的样本而产生,且所述第二色彩分量的所述块是通过根据第二分割树分割所述第二色彩分量的样本而产生;基于所述第一分割树分割所述第二色彩分量的所述块以产生各自对应于所述第一色彩分量的所述多个块中的块的所述第二色彩分量的子块;基于所述第一色彩分量的所述多个块的一或多个对应块的一或多个块向量而确定在块内复制(IBC)预测模式中经预测的所述第二色彩分量的所述子块中的一或多者的一或多个块向量;及基于所述一或多个经确定块向量译码所述第二色彩分量的所述块。
在一个实例中,本公开描述一种用于译码视频数据的装置,所述装置包括:用于确定对应于第二色彩分量的块的第一色彩分量的多个块的装置,其中所述第一色彩分量的所述多个块是通过根据第一分割树分割所述第一色彩分量的样本而产生,且所述第二色彩分量的所述块是通过根据第二分割树分割所述第二色彩分量的样本而产生;用于基于所述第一分割树分割所述第二色彩分量的所述块以产生各自对应于所述第一色彩分量的所述多个块中的块的所述第二色彩分量的子块的装置;用于基于所述第一色彩分量的所述多个块的一或多个对应块的一或多个块向量确定在块内复制(IBC)预测模式中经预测的所述第二色彩分量的所述子块中的一或多者的一或多个块向量的装置;及用于基于所述一或多个经确定块向量译码所述第二色彩分量的所述块的装置。
在以下随附图式及描述中阐述一或多个实例的细节。其它特征、目标及优势自描述、图式及权利要求书将是显而易见的。
附图说明
图1为说明可执行本公开的技术的实例视频编码及解码系统的框图。
图2A及2B为说明实例四分树二元树(QTBT)结构及对应译码树型单元(CTU)的概念图。
图3为说明可执行本公开的技术的实例视频编码器的框图。
图4为说明可执行本公开的技术的实例视频解码器的框图。
图5为说明用于合并的空间相邻运动向量(MV)候选者及进阶运动向量预测(AMVP)的概念图。
图6A为说明时间运动向量预测符(TMVP)候选者的概念图。
图6B为说明按比例调整用于TMVP候选者的运动向量(MV)的概念图。
图7为说明块内复制(IBC)译码的实例的概念图。
图8为说明用于译码单元(CU)的替代时间运动向量预测(ATMVP)的实例的概念图。
图9为说明帧率上变换(frame-rate up conversion,FRUC)双向匹配的实例的概念图。
图10为说明FRUC模板匹配的实例的概念图。
图11A及11B为说明FRUC模板匹配模式的实例的流程图。
图12为说明基于双向模板匹配的解码器侧运动向量导出(DMVD)的概念图。
图13为说明光流轨迹的概念图。
图14为用于8×4块的双向光学(BIO)的概念图。
图15A及15B为说明其中应用重叠块运动补偿(OBMC)的子块的概念图。
图16A至16D说明OBMC加权的实例。
图17A为用于明度QTBT结构的CTU分割结构的实例。
图17B为用于色度QTBT结构的CTU分割结构的实例。
图18A及18B说明用于明度QTBT结构及色度QTBT结构的子块分割及模式继承的实例。
图19为说明译码视频数据的实例方法的流程图。
具体实施方式
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也称作ISO/IECMPEG-4AVC),包含其可调式视频译码(SVC)及多视图视频译码(MVC)扩展。
高效率视频译码(HEVC)视频译码标准已由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发。最新HEVC标准:ITU-TH.265,H系列:视听及多媒体系统、视听服务-移动视频的译码的信息基础设施、用于通用视听服务的进阶视频编码(国际电信联盟(The International Telecommunication Union)2016年12月)且下文中被称为HEVC WD获自http://phenix.int-evry.fr/jct/doc_end_user/documents/23_San%20Diego/wg11/JCTVC-W1005-v4.zip。
ITU-T VCEG(Q6/16)及ISO/IEC MPEG(JTC 1/SC 29/WG 11)现正研究对于将具有显著超过当前HEVC标准(包含其当前扩展及针对屏幕内容译码及高动态范围译码的近期扩展)的压缩能力的未来视频译码技术标准化的潜在需要。所述群组正共同致力于联合合作工作(被称为联合视频探索小组(JVET))中的此探索活动,以评估由此领域中的专家提出的压缩技术设计。JVET在2015年10月19日至21日期间第一次会面。参考软件的最新版本(即联合探索模型7(JEM 7))可自https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-7.0/下载。联合探索测试模型7(JEM7)的算法描述被称为JVET-G1001。
基于JEM7的新的视频译码标准的早期草案(被称为H.266/多功能视频译码(VVC)标准)是在文件JVET-J1001,本杰明·布罗斯(Benjamin Bross)的“多功能视频译码(草案1)(Versatile Video Coding(Draft 1))”中获得,且其算法描述是在文件JVET-J1002,陈建乐(Jianle Chen)及埃琳娜·阿什娜(Elena Alshina)的“用于多功能视频译码及测试模型1(VTM 1)的算法描述(Algorithm description for Versatile Video Coding andTest Model 1(VTM 1))”中获得。然而,本公开的技术不限于任何特定译码标准。
VVC提供与用作HEVC的屏幕内容译码(SCC)的部分的IBC预测模式类似但不相同的块内复制(IBC)预测模式。在块内复制(IBC)中,IBC模式中经译码(例如经编码或经解码)块的块向量指向同一图片中的参考块作为经译码块。存在不同类型的块。举例来说,视频数据的图片包含明度分量及色度分量。明度分量经分割以形成多个明度块,且色度分量经分割以形成多个色度块。
在VVC中,明度分量及色度分量可以不同方式分割。举例来说,明度分量可根据第一分割树分割,且色度分量可根据第二分割树分割。在一些实例中,为减少译码色度块所需的信息量,在IBC预测模式中经预测的色度块可能继承对应明度块的块向量信息而非视频编码器明确传信块向量信息用于色度块。作为一个实例,若明度块及色度块为同一译码单元(CU)的部分,则明度块对应于色度块且反之亦然。
然而,若明度块及色度块以不同方式分割,则随后对于色度块而言,可能存在以与将为对应块的色度块不同的方式分割的多个不同明度块。由于明度块及色度块的不同分割且存在对应于色度块的多个明度块,因此可能不清楚色度块应自哪一明度块继承块向量。
根据本公开中所描述的技术,视频译码器(例如视频编码器或视频解码器)可经配置以基于明度分量经分割的方式而将色度块分割成色度块的多个子块。以此方式,色度块及多个明度块的每一子块之间存在一对一对应性。视频译码器可经配置以将在IBC预测模式中经译码的明度块的块向量分配至色度块的相应对应子块。
图1为说明可执行本公开的技术的实例视频编码及解码系统100的框图。本公开的技术大体上是针对译码(编码及/或解码)视频数据。一般来说,视频数据包含用于处理视频的任何数据。因此,视频数据可包含原始未经译码的视频、经编码视频、经解码(例如经重建构)视频及视频元数据,诸如传信的数据。
如图1中所示,在此实例中,系统100包含源装置102,其提供待由目的地装置116解码及显示的经编码视频数据。特定来说,源装置102经由计算机可读媒体110将视频数据提供至目的地装置116。源装置102及目的地装置116可包括广泛范围装置中的任一者,包含桌面计算机、笔记型(即,膝上型)计算机、平板计算机、机顶盒、电话手持机(诸如智能电话)、电视、摄像机、显示装置、数字媒体播放器、视频游戏控制台、视频串流装置或其类似者。在一些情况下,源装置102及目的地装置116可经装备用于无线通信,且由此可称为无线通信装置。
在图1的实例中,源装置102包含视频源104、存储器106、视频编码器200及输出接口108。目的地装置116包含输入接口122、视频解码器300、存储器120及显示装置118。根据本公开,源装置102的视频编码器200及目的地装置116的视频解码器300可经配置以应用块内复制技术。由此,源装置102表示视频编码装置的实例,而目的地装置116表示视频解码装置的实例。在其它实例中,源装置及目的地装置可包含其它组件或配置。举例来说,源装置102可自外部视频源(诸如,外部摄像机)接收视频数据。同样地,目的地装置116可与外部显示装置介接,而非包含整合式显示装置。
如图1中所示的系统100仅为一个实例。一般来说,任何数字视频编码及/或解码装置可执行块内复制(IBC)技术。源装置102及目的地装置116仅为源装置102产生经译码视频数据以供传输至目的地装置116的此类译码装置的实例。本公开将“译码”装置称为对数据执行译码(编码及/或解码)的装置。由此,视频编码器200及视频解码器300表示译码装置的实例,特定来说,分别表示视频编码器及视频解码器的实例。在一些实例中,装置102、116可以基本上对称的方式操作,使得装置102、116中的每一者包含视频编码及解码组件。因此,系统100可支持视频装置102、116之间的单向或双向视频传输,例如以用于视频串流、视频播放、视频广播或视频电话。
一般来说,视频源104表示视频数据源(即,原始未经译码的视频数据)且将视频数据的依序图片(也称为“图框”)序列提供至视频编码器200,所述视频编码器编码图片的数据。源装置102的视频源104可包含视频俘获装置,诸如,视频摄像机、含有先前俘获的原始视频的视频存盘及/或用于自视频内容提供商接收视频的视频馈入接口。作为另一替代,视频源104可产生基于计算机图形的数据作为源视频,或实况视频、存盘视频及计算机产生的视频的组合。在每种情况下,视频编码器200对所俘获、预先俘获或计算机产生的视频数据进行编码。视频编码器200可将接收次序(有时称作“显示次序”)的图片重新排列成译码次序以供译码。视频编码器200可产生包含经编码视频数据的位流。源装置102可经由输出接口108将经编码视频数据输出至计算机可读媒体110上以由例如目的地装置116的输入接口122接收及/或检索。
源装置102的存储器106及目的地装置116的存储器120表示通用存储器。在一些实例中,存储器106、120可存储原始视频数据,例如来自视频源104的原始视频及来自视频解码器300的原始经解码视频数据。另外或替代地,存储器106、120可存储可分别由例如视频编码器200及视频解码器300执行的软件指令。尽管在此实例中展示为与视频编码器200及视频解码器300分开,但应理解,视频编码器200及视频解码器300还可包含功能上类似或同等目的的内部存储器。另外,存储器106、120可存储例如自视频编码器200输出的经编码视频数据且输入至视频解码器300。在一些实例中,可分配存储器106、120的部分作为一或多个视频缓冲器,以例如存储原始、经解码及/或经编码视频数据。
计算机可读媒体110可表示能够将经编码视频数据自源装置102传送至目的地装置116的任何类型的媒体或装置。在一个实例中,计算机可读媒体110表示通信媒体以启用源装置102以经由例如射频网络或基于计算机的网络实时地将经编码视频数据直接地传输至目的地装置116。根据诸如无线通信协议的通信标准,输出接口108可调变包含经编码视频数据的传输信号,且输入接口122可调变所接收的传输信号。通信媒体可包括任何无线或有线通信媒体,诸如射频(RF)频谱或一或多个实体传输线。通信媒体可形成基于封包的网络(诸如局域网络、广域网或诸如因特网的全局网络)的部分。通信媒体可包含路由器、交换器、基站或可用于促进自源装置102至目的地装置116的通信的任何其它设备。
在一些实例中,源装置102可将经编码数据自输出接口108输出至存储装置116。类似地,目的地装置116可经由输入接口122自存储装置116存取经编码数据。存储装置116可包含多种分布式或本机存取式数据存储媒体中的任一者,诸如,硬盘机、蓝光光盘、DVD、CD-ROM、闪存、易失性或非易失性存储器或用于存储经编码视频数据的任何其它适合数字存储媒体。
在一些实例中,源装置102可将经编码视频数据输出至文件服务器114,或可存储由源装置102所产生的经编码视频的另一中间存储装置。目的地装置116可经由串流或下载而自文件服务器114存取所存储的视频数据。文件服务器114可为能够存储经编码视频数据且将所述经编码视频数据传输至目的地装置116的任何类型的服务器装置。文件服务器114可表示网页服务器(例如用于网站)、档案传送协议(FTP)服务器、内容递送网络装置或网络附接存储(NAS)装置。目的地装置116可经由包含因特网连接的任何标准数据连接自文件服务器114存取经编码视频数据。此可包含无线通道(例如Wi-Fi连接)、有线连接(例如DSL、电缆调制解调器等等)或适用于存取存储于文件服务器114上的经编码视频数据的两者的组合。文件服务器114及输入接口122可经配置以根据串流传输协议、下载传输协议或其组合操作。
输出接口108及输入接口122可表示无线传输器/接收器、调制解调器、有线网络连接组件(例如以太网卡)、根据各种IEEE 802.11标准中的任一者来操作的无线通信组件或其它实体组件。在输出接口108及输入接口122包括无线组件的实例中,输出接口108及输入接口122可经配置以根据蜂窝式通信标准(诸如4G、4G-LTE(长期演进)、LTE进阶、5G或其类似者)来传送数据,诸如经编码视频数据。在输出接口108包括无线传输器的一些实例中,输出接口108及输入接口122可经配置以根据其它无线标准(诸如IEEE802.11规格、IEEE802.15规格(例如ZigBeeTM)、BluetoothTM标准或类似者)来传送数据,诸如经编码视频数据。在一些实例中,源装置102及/或目的地装置116可包含相应芯片上系统(SoC)装置。举例来说,源装置102可包含SoC装置以执行归于视频编码器200及/或输出接口108的功能性,且目的地装置116可包含SoC装置以执行归于视频解码器300及/或输入接口122的功能性。
本公开的技术可应用于支持多种多媒体应用中的任一者的视频译码,诸如,空中电视广播、有线电视传输、卫星电视传输、因特网串流视频传输(诸如,经由HTTP的动态自适应串流(DASH))、经编码至数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码或其它应用。
目的地装置116的输入接口122自计算机可读媒体110(例如存储装置112、文件服务器114或类似者)接收经编码视频位流。经编码视频位流计算机可读媒体110可包含由视频编码器200定义的传信信息,其也由视频解码器300使用,诸如具有描述视频块或其它经译码单元的特征及/或处理的值的语法元素(例如图块、图片、图片群、序列或类似者)。显示装置118向用户显示经解码视频数据的经解码图片。显示装置118可表示各种显示装置中的任一者,诸如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
尽管图1中未展示,但在一些实例中,视频编码器200及视频解码器300可分别与音频编码器及/或音频解码器整合,且可包含合适的MUX-DEMUX单元或其它硬件及/或软件,以处置在共同数据串流中包含音频及视频两者的多任务串流。若适用,则MUX-DEMUX单元可遵照ITU H.223多任务器协议或诸如用户数据报协议(UDP)的其它协议。
视频编码器200及视频解码器300各自可经实施为各种适合的编码器及/或解码器电路中的任一者,诸如一或多个微处理器、数字信号处理器(DSP)、特殊应用集成电路(ASIC)、场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术以软件部分地实施时,装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中,且在硬件中使用一或多个处理器执行指令以执行本公开的技术。视频编码器200及视频解码器300中的每一者可包含于一或多个编码器或解码器中,编码器或解码器中的任一者可整合为相应装置中的组合式编码器/解码器(编码解码器)的部分。包含视频编码器200及/或视频解码器300的装置可包括集成电路、微处理器及/或无线通信装置,诸如蜂窝式电话。
视频编码器200及视频解码器300可根据视频译码标准操作,诸如ITU-T H.265,也被称作高效视频译码(HEVC)或其扩展,诸如多视图及/或可调式视频译码扩展。可替代地,视频编码器200及视频解码器300可根据其它专有或工业标准操作,诸如联合探索测试模型(JEM7)用于当前处于开发中的通用视频译码(VVC)标准。然而,本公开的技术不限于任何特定译码标准,且可适用于处于开发中的视频译码标准。
一般来说,视频编码器200及视频解码器300可执行图片的基于块的译码。术语“块”一般是指包含待处理(例如编码、解码或以其它方式用于编码及/或解码处理程序中)的数据的结构。举例来说,块可包含明度及/或色度数据的样本的二维矩阵。一般来说,视频编码器200及视频解码器300可译码以YUV(例如Y、Cb、Cr)格式表示的视频数据。即,视频编码器200及视频解码器300可译码明度及色度分量,而非译码图片的样本的红色、绿色及蓝色(RGB)数据,其中所述色度分量可包含红色调及蓝色调色度分量两者。在一些实例中,视频编码器200在编码之前将所接收的RGB格式化数据转换成YUV表示,且视频解码器300将YUV表示转换成RGB格式。可替代地,预处理单元及后处理单元(未展示)可执行这些转换。
本公开通常可指对图片进行译码(例如编码及解码)以包含编码或解码图片的数据的程序。类似地,本公开可指译码图片的块以包含编码或解码块的数据的程序,例如预测及/或残余译码。经编码视频位流一般包含表示译码决策(例如译码模式)及图片至块的分割的语法元素的一系列值。因此,对译码图片或块的提及一般应理解为译码形成所述图片或块的语法元素的值。
HEVC定义各种块,包含译码单元(CU)、预测单元(PU)及变换单元(TU)。根据HEVC,视频译码器(诸如视频编码器200)根据四分树结构将译码树单元(CTU)分割成CU。即,视频译码器将CTU及CU分割成四个相同的非重叠正方形,且四分树的每一节点具有零个或四个子节点。不具有子节点的节点可被称作“叶节点”,且此类叶节点的CU可包含一或多个PU及/或一或多个TU。视频译码器可进一步分割PU及TU。举例来说,在HEVC中,残余四分树(RQT)表示TU的分割。在HEVC中,PU表示帧间预测数据,而TU表示残余数据。经帧内预测的CU包含帧内预测信息,诸如帧内模式指示。
在HEVC中,图块中的最大译码单元称为译码树型块(CTB)。CTB含有四分树,所述四分树的节点为译码单元。CTB的大小可介于HEVC主规范中的16×16至64×64的范围(尽管技术上可支持8×8CTB大小)。译码单元(CU)可与CTB具有相同大小,但可为且小如8×8。每一译码单元使用一个模式译码。当CU经帧间译码时,CU可进一步分割成两个预测单元(PU)或当不应用进一步分割时变为仅一个PU。当两个PU存在于一个CU中时,其可为一半大小的矩形或具有CU的1/4或3/4大小的两个矩形大小。
当CU经帧间译码时,针对每一PU存在运动信息的一个集合。另外,每一PU使用唯一帧间预测模式译码以导出运动信息集合。在HEVC中,最小PU大小为8×4及4×8。
作为另一实例,视频编码器200及视频解码器300可经配置以根据JEM操作。根据JEM,视频译码器(诸如视频编码器200)将图片分割成多个译码树型单元(CTU)。视频编码器200可根据树状结构(诸如四分树二元树(QTBT)结构)分割CTU。JEM的QTBT结构去除多个分割类型的概念,诸如HEVC的CU、PU及TU之间的间距。JEM的QTBT结构包含两个层级:根据四分树分割进行分割的第一层级,及根据二元树分割进行分割的第二层级。QTBT结构的根节点对应于CTU。二元树的叶节点对应于译码单元(CU)。
在一些实例中,视频编码器200及视频解码器300可使用单一QTBT结构以表示明度分量及色度分量中的每一者,而在其它实例中,视频编码器200及视频解码器300可使用两个或更多个QTBT结构,诸如用于明度分量的一个QTBT结构及用于两个色度分量的另一QTBT结构(或用于相应色度分量的两个QTBT结构)。
视频编码器200及视频解码器300可经配置以使用根据HEVC的四分树分割、根据JEM(例如VVC)的QTBT分割,或其它分割结构。出于解释的目的,关于QTBT分割呈现本公开的技术的描述。然而,应理解,本公开的技术还可应用于经配置以使用四分树分割或其它类型的分割的视频译码器。
本公开可能可互换地使用“N×N”及“N乘N”以指块(诸如CU或其它视频块)关于竖直及水平尺寸的样本尺寸,例如16×16样本或16乘16样本。一般来说,16×16CU在竖直方向上将具有16个样本(y=16)且在水平方向上将具有16个样本(x=16)。同样地,N×N CU通常在竖直方向上具有N个样本且在水平方向上具有N个样本,其中N表示非负整数值。可按列及行来配置CU中的样本。此外,CU不一定在水平方向上及竖直方向上具有相同数目个样本。举例来说,CU可包括N×M个样本,其中M未必等于N。
视频编码器200编码CU的表示预测及/或残余信息及其它信息的视频数据。预测信息指示将如何对CU进行预测以形成CU的预测块。残余信息一般表示编码前CU与预测块的样本之间的逐样本差。
为预测CU,视频编码器200可通常经由帧间预测或帧内预测形成CU的预测块。帧间预测一般是指自先前经译码图片的数据预测CU,而帧内预测一般是指自同一图片的先前经译码数据预测CU。为执行帧间预测,视频编码器200可使用一或多个运动向量来产生预测块。视频编码器200可通常执行运动搜索以例如关于CU与参考块之间的差异来识别紧密匹配CU的参考块。视频编码器200可使用绝对差总和(SAD)、平方差总和(SSD)、平均绝对差(MAD)、均方差(MSD)或其它此类差计算来计算差度量以确定参考块是否紧密匹配当前CU。在一些实例中,视频编码器200可使用单向预测或双向预测来预测当前CU。
对于每一块,运动信息的集合可供使用。运动信息集合含有用于前向及后向预测方向的运动信息。本文中前向及后向预测方向为双向预测模式的两个预测方向,且术语“前向”及“后向”未必具有几何含义;实情为其对应于当前图片的参考图片列表0(RefPicList0)及参考图片列表1(RefPicList1)。当仅一个参考图片列表可供用于图片或图块时,仅RefPicList0为可用的,且图块的每一块的运动信息始终为前向的。
对于每一预测方向,运动信息含有参考索引及运动向量。在一些情况下,为简单起见,可以假设运动向量自身具有相关联参考索引的方式参考所述运动向量。参考索引用于识别当前参考图片列表(RefPicList0或RefPicList1)中的参考图片。运动向量具有水平分量及竖直分量。
视频译码标准中广泛使用图片次序计数(POC)以识别图片的显示次序。虽然存在一个经译码视频序列内的两个图片可具有相同POC值的情况,但经译码视频序列内通常不发生此类情况。当位流中存在多个经译码视频序列时,就解码次序而言,具有同一POC值的图片可更接近于彼此。图片的POC值通常用于参考图片列表建构、如HEVC中的参考图片集的导出及移动向量按比例调整。
JEM还提供仿射运动补偿模式,其可被视为帧间预测模式。在仿射运动补偿模式中,视频编码器200可确定表示非平移运动(诸如放大或缩小、旋转、透视运动或其它不规则运动类型)的两个或更多个运动向量。
为执行帧内预测,视频编码器200可选择帧内预测模式以产生预测块。在一些实例中,六十七种帧内预测模式为可用的,包含各种定向模式以及平面模式及DC模式。一般来说,视频编码器200选择描述相邻样本的帧内预测模式至当前块(例如CU的块),自其中以预测当前块的样本。此类样本一般可与当前块在同一图片中,在当前块的上方、左上方或左侧,假定视频编码器200以光栅扫描次序(左至右、上至下)译码CTU及CU。
视频编码器200编码表示当前块的预测模式的数据。举例来说,针对帧间预测模式,视频编码器200可编码表示使用多种可用帧间预测模式中的哪一个以及对应模式的运动信息的数据。举例来说,针对单向或双向帧间预测,视频编码器200可使用进阶运动向量预测(AMVP)或合并模式来编码运动向量。视频编码器200可使用类似模式来编码仿射运动补偿模式的运动向量。
在HEVC标准中,对于预测单元(PU)存在两个帧间预测模式,分别命名为合并(略过被视为合并的特殊情况)及进阶运动向量预测(AMVP)模式。在AMVP或合并模式中,针对多个运动向量预测符维持运动向量(MV)候选列表。当前PU的运动向量以及合并模式中的参考索引通过自MV候选列表中选取一个候选者来产生。
MV候选者列表含有用于合并模式的至多5个候选者及用于AMVP模式的仅两个候选者。合并候选者可含有运动信息集合,例如对应于两个参考图片列表(列表0及列表1)的运动向量及参考索引。若由合并索引来识别合并候选者,则参考图片用于当前块的预测,以及确定相关联的运动向量。然而,在针对自列表0或列表1的每一潜在预测方向的AMVP模式下,需要明确地将参考索引连同MVP索引传信至MV候选者列表,因为AMVP候选者仅含有运动向量。在AMVP模式中,可进一步改进经预测运动向量。
如可自上文看出,合并候选者对应于运动信息的整个集合,而AMVP候选者仅含有用于特定预测方向的一个运动向量及参考索引。以类似方式自相同空间及时间相邻块导出两个模式的候选者。
对于合并及AMVP而言,尽管用于自块产生候选者的方法对于合并及AMVP模式不同,但对于特定PU(PU0),空间MV候选者是自图5中展示的相邻块中导出。在合并模式中,五个空间MV候选者的位置展示于图5中。对于每一候选者位置,根据顺序:{a1,b1,b0,a0,b2}检查可用性。
在AMVP模式中,相邻块经划分成两组:包含块a0及a1的左边组,及包含块b0、b1及b2的上方组,如图5中所展示。对于左边组,根据顺序:{a0,a1}检查可用性。对于上方组,根据顺序:{b0,b1,b2}检查可用性。对于每一组,参考与由经传信的参考索引指示的相同参考图片的相邻块中的潜在候选者具有待选择的最高优先权以形成所述组的最终候选者。有可能所有相邻块均不含有指向相同参考图片的运动向量。因此,若无法发现此候选者,则将按比例调整第一可用候选者以形成最终候选者,因此可补偿时间距离差。
对于合并及AMVP模式,存在除空间相邻候选者以外的其它候选者。在合并模式中,在确证空间候选者后,去除两种冗余类型。若当前PU的候选者位置将指代相同CU中的第一PU,则不包含所述位置,此是由于相同合并可通过一个CU来达成,而无需将其分裂成预测分区。另外,还可排除候选者具有完全相同运动信息的任何冗余条目。在检查空间相邻候选者之后,验证时间候选者。对于时间候选者,若刚好在参考图片的并列PU外部的右下方位置为可用的,则使用所述位置。否则,替代地使用中心位置。选择并列PU的方式类似于先前标准中的方式,但HEVC通过传输索引以指定将哪一参考图片列表用于并列参考图片而允许更多灵活性。与时间候选者的使用相关的一个问题为存储器存储参考图片的运动信息的量。此通过将用于存储时间运动候选者的粒度限定为仅16×16明度栅格分辨率(即使在参考图片中的对应位置处使用更小PB(或可能PU)结构时)而经解决。
此外,PPS(图片参数集合)-层级旗标允许视频编码器200停用时间候选者的使用,其适用于具有易错传输的应用。在图块标头中指定合并候选者的最大数目C。若发现的合并候选者(包含时间候选者)的数目大于C,则仅保持第一C-1空间候选者及时间候选者。否则,若所识别的合并候选者的数目小于C,则可产生额外候选者直至数目等于C。此简化解析且使得其更加稳固,此是由于解析经译码数据的能力并非视合并候选者可用性而定。对于B图块,可通过根据参考图片列表0及列表1的预定义次序选择两个现有候选者来产生额外合并候选者。举例来说,第一所产生候选者使用列表0的第一合并候选者及列表1的第二合并候选者。HEVC在已建构合并候选列表中按以下顺序指定总计12个预定义双对:(0,1)、(1,0)、(0,2)、(2,0)、(1,2)、(2,1)、(0,3)、(3,0)、(1,3)、(3,1)、(2,3)及(3,2)。其中,在去除冗余条目之后可包含至多五个候选者。当合并候选者的数目仍小于C时,使用包含预设运动向量及对应参考索引的默认合并候选者,而非将与自零至参考图片的数目减去一的参考索引相关联的零运动向量用于填充合并候选列表中的任何剩余条目。
在AMVP模式中,由于视频编码器200可发送运动向量中的改变的经译码差值(例如运动向量差值(MVD)),因此HEVC仅允许明显较低数目的候选者用于运动向量预测程序情况。另外,视频编码器200可执行运动估计,其为视频编码器200中的计算成本最高的操作中的一者,且通过允许较小数目的候选者降低复杂度。当相邻PU的参考索引不等于当前PU的参考索引时,使用运动向量的按比例调整版本。根据分别由相邻PU及当前PU的参考索引指示的当前图片与参考图片之间的时间距离按比例调整相邻运动向量。当两个空间候选者具有相同运动向量分量时,可排除一个冗余空间候选者。当运动向量预测符的数目不等于二且不明确停用时间MV预测的使用时,包含时间MV预测候选者。此意指在两个空间候选者为可用时完全不使用时间候选者。最后,可重复包含预设运动向量(其为零运动向量)直至运动向量预测候选者的数目等于二,其可确保运动向量预测符的数目为二。因此,在AMVP模式的情况下,仅经译码旗标为识别使用哪一运动向量预测所必需的。
时间运动向量预测符(TMVP)候选者(若启用且可用)在空间运动向量候选者之后添加至MV候选者列表中。用于TMVP候选者的运动向量导出程序对于合并及AMVP模式两者相同,然而,合并模式中的TMVP候选者的目标参考索引始终设定为0。
用于TMVP候选导出的原始块位置为如图6A中展示为块“T”的并列PU外部的右下块,以补偿用于产生空间相邻候选的上方及左侧块的偏差。然而,若块定位于当前CTB列的外部或运动信息不可用,则块经PU的中心块取代。
用于TMVP候选的运动向量是自图块层级中所指示的共置图片的共置PU导出。用于共置PU的运动向量称为共置MV。类似于AVC中的时间引导模式,为导出TMVP候选者运动向量,共置MV可经按比例调整以补偿时间距离差,如图6B中所展示。
合并及AMVP模式的若干方面值得如下提及。
运动向量按比例调整:假定运动向量的值与呈现时间中的图片的距离成比例。运动向量与两个图片相关联:参考图片及含有运动向量的图片(即,含有图片)。当利用一运动向量预测另一运动向量时,基于图片次序计数(POC)值而计算含有图片与参考图片的距离。
对于待预测的运动向量,其相关联的含有图片及参考图片两者可不同。因此,新距离(基于POC)经计算,且基于这些两个POC距离按比例调整运动向量。对于空间相邻候选者,用于两个运动向量的含有图片相同,而参考图片则为不同的。在HEVC中,对于空间及时间相邻候选者,运动向量按比例调整适用于TMVP及AMVP两者。
人工运动向量候选者产生:若运动向量候选物列表不完整,则在列表结束时产生且插入人工运动向量候选者直至其将具有所有候选者。
在合并模式中,存在两种类型的人工MV候选者:仅针对B-图块导出的组合候选者及仅针对AMVP使用的零候选者,若第一类型并未提供足够人工候选者。
对于已在候选者列表中且具有必要运动信息的每一对候选者,双向组合运动向量候选者通过参考列表0中的图片的第一候选者的运动向量与参考列表1中的图片的第二候选者的运动向量的组合导出。
用于候选者插入的修剪程序:自不同块的候选可恰好相同,此降低合并/AMVP候选列表的效率。应用修剪程序来解决此问题。修剪程序将当前候选列表中的一个候选者与其它候选者进行比较,以在一定程度上避免插入相同候选者。为减小复杂度,应用仅受限制数目个修剪程序,而非将每一潜在候选者与所有其它现有候选者进行比较。
HEVC中的合并/层级的并行处理:在HEVC中,LCU可经划分成平行运动估计区(MER)且仅允许属于自当前PU的不同MER的那些相邻PU包含于合并/略过MVP列表建构程序中。MER的大小以图片参数集合传信为log2_parallel_merge_level_minus2。当MER大小大于N×N时(其中2N×2N为最小CU大小),MER以如下方式起作用:若空间相邻块在与当前PU相同的MER内部时,则所述空间相邻块被视为不可用。
用于色度译码的运动向量可根据用于明度的运动向量而按比例调整。运动向量经导出用于当前PU/CU的明度分量。在其用于色度运动补偿前,基于色度取样格式按比例调整运动向量。
除块的帧内预测或帧间预测之外,另一译码模式还包含块内复制(IBC)预测模式且包含于HEVC的屏幕内容译码(SCC)扩展中。在IBC预测模式中,当前CU/PU经通过当前CU/PU的块向量指代的当前图片/图块的已经解码块预测,如图7中所展示。应注意,预测信号经重建构但未经环路内滤波,包含解块及样本自适应偏移(SAO)。
在帧间预测中,当前CU/PU根据已经解码块经预测,但在不同图片中,但在块内复制中,已经解码块及当前块处于同一图片中。在帧内预测中,根据当前图片/图块中的样本预测当前CU/PU,但不像块内复制中通过块向量指代。在一些实例中,块内复制可被视为帧间预测的形式,其中当前图片包含于参考图片列表中。
对于块内复制(BC)中的块补偿,对于经块内复制译码的明度分量或色度分量,块补偿通过整数块补偿完成,因此不需要内插法。此外,块向量经预测且以整数层级传信。在当前屏幕内容译码(SCC)中,块向量预测符在每一CTB的起点处设定为(-w,0),其中w为CU的宽度。此块向量预测符更新为最新经译码CU/PU中的一者(在用块内复制模式进行译码的情况下)。若CU/PU未经块内复制译码,则块向量预测符保持(例如维持)不变。在块向量预测之后,使用MV差值(MVD)译码方法编码块向量差值,所述MV差值(MVD)译码方法为HEVC。在CU及PU层级两者处启用当前块内复制。对于PU层级块内复制,针对所有CU大小支持2N×N及N×2N PU分割。另外,当CU为最小CU时,支持N×N PU分割。
以下描述块内复制类似于帧间预测经处理的方式。在美国专利公开案第2015/0271487号中,当前图片用作参考图片且添加至参考列表中。随后,块内复制经处理类似于帧间模式。在李冰(Li B)等人,“非SCCE1:帧内BC及帧间模式的统一(Non-SCCE1:Unification of intra BC and inter modes)”,18.JCT-VC会议(JCT-VC MEETING);30-6-2014-9-7-2014;札幌(SAPPORO);(ISO/IEC JTC1/SC29/WG11及ITU-T SG.16的视频译码的联合合作团队(JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16));URL:HTTP://WFTP3.ITU.INT/AV-ARCH/JCTVC-SITE/,第JCTVC-R0100-v2号,2014年6月29日(2014-06-29),XP030116357(下文为“JCTV-R0100”)中,描述块内复制及帧间的统一。当前图片经添加至参考列表中。其在当前图片的解码前标记为长期,且在当前图片的解码后标记为短期。当块内复制经启用时,P图块的语法解析程序及解码程序跟随I图块。
在美国专利公开案第2016/0057420号中,提出某些解决方案以解决关于时间运动向量预测(TMVP)导出、与约束帧内预测的相互作用、参考列表建构等等的问题。在美国专利公开案第2016/0100189号中,当块内复制类似帧间模式经处理时,提出某些解决方案以避免额外情况检查且解决针对TMVP之间的相互作用、约束帧内预测、块内复制MV精确度等等存在的问题。
在最终HEVC SCC中,其信息可见于2016年12月由徐小中(Xiaozhong Xu)、刘山(Shan Liu)、慈德·创(Tzu-Der Chuang)、黄于文(Yu-Wen Huang)、雷肖民(Shaw-MinLei)、克里希纳砍特·拉帕卡(Krishnakanth Rapaka)、庞超(Chao Pang)、瓦丁·塞吉欧(Vadim Seregin)、王叶奎(Ye-Kui Wang)及玛尔塔·卡兹维茨(Marta Karczewicz)的“HEVC屏幕内容扩展中的块内复制(Intra Block Copy in HEVC Screen ContentExtensions),”关于电路及系统中的新兴及选定话题的IEEE期刊(第6卷,第4期)中,当IBC模式在图片层级处启用时,当前重建构图片也为用于解码当前图块的参考图片。为避免按比例调整用于时间运动向量预测的可能运动向量,此参考图片在当前图片的解码期间经标记为“用于长期参考”。此参考图片经置于列表0的参考图片列表(RPL)中,且还置于B图块的列表1中。在长期参考图片(如适用)后,其置于初始RPL的最后位置中。因此当当前重建构图片经添加至初始RPL中时,可变NumPicTotalCurr增加1。
在块的预测(诸如帧内预测、帧间预测或IBC预测)之后,视频编码器200可计算块的残余数据。残余数据(诸如残余块)表示块与所述块的使用对应预测模式所形成的预测块之间的逐样本差。视频编码器200可将一或多个变换应用于残余块,以在变换域而非样本域中产生经变换数据。举例来说,视频编码器200可将离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换应用于残余视频数据。另外,视频编码器200可在一级变换之后应用次级变换,诸如模式相关不可分次级变换(MDNSST)、信号相关变换、Karhunen-Loeve变换(KLT)或其类似者。视频编码器200在应用一或多个变换之后产生变换系数。
如上文所提及,在产生变换系数的任何变换之后,视频编码器200可执行变换系数的量化。量化大体上是指量化变换系数以可能地减少用于表示系数的数据量从而提供进一步压缩的程序。通过执行量化程序,视频编码器200可减少与系数中的一些或所有相关联的位深度。举例来说,视频编码器200可在量化期间将n位值舍入至m位值,其中n大于m。在一些实例中,为执行量化,视频编码器200可执行待量化值的按位右移位。
在量化之后,视频编码器200可扫描变换系数,从而自包含经量化变换系数的二维矩阵产生一维向量。扫描可经设计以将较高能量(且因此较低频率)系数置于向量前部,且将较低能量(且因此较高频率)变换系数置于向量后部。在一些实例中,视频编码器200可利用预定义扫描次序来扫描经量化变换系数以产生串行化向量,且随后对向量的经量化变换系数进行熵编码。在其它实例中,视频编码器200可执行自适应扫描。在扫描经量化变换系数以形成一维向量后,视频编码器200可例如根据上下文适应性二元算术译码(CABAC)对一维向量进行熵编码。视频编码器200还可熵编码描述与经编码视频数据相关联的元数据的语法元素的值,以供由视频解码器300用于解码视频数据。
为执行CABAC,视频编码器200可将上下文模型内的上下文指派给待传输的符号。所述上下文可关于例如符号的相邻值是否为零值。机率确定可基于指派给符号的上下文而进行。
视频编码器200可进一步例如在图片标头、块标头、图块标头或其它语法数据(诸如序列参数集(SPS)、图片参数集(PPS)或视频参数集(VPS))中产生语法数据,诸如基于块的语法数据、基于图片的语法数据及基于序列的语法数据至视频解码器300中。视频解码器300可同样解码此类语法数据以确定如何解码对应视频数据。
以此方式,视频编码器200可产生包含经编码视频数据(例如描述将图片分割成块(例如CU)的语法元素及块的预测及/或残余信息)的位流。最后,视频解码器300可接收位流并解码经编码视频数据。
一般来说,视频解码器300执行与视频编码器200所执行的程序互逆的程序,以解码位流的经编码视频数据。举例来说,视频解码器300可使用CABAC以与视频编码器200的CABAC编码处理程序基本上类似但互逆的方式解码位流的语法元素的值。语法元素可定义图片至CTU的分割信息及每一CTU根据对应分割结构(诸如QTBT结构)的分割,以定义CTU的CU。语法元素可进一步定义视频数据的块(例如CU)的预测及残余信息。
残余信息可由例如经量化变换系数表示。视频解码器300可反量化及反变换块的经量化变换系数,以再生块的残余块。视频解码器300使用传信预测模式(帧内或帧间预测)及相关预测信息(例如帧间预测的运动信息)以形成块的预测块。视频解码器300可接着(在逐样本基础上)使预测块与残余块组合以再生原始块。视频解码器300可执行额外处理,诸如执行解块程序以减少沿块边界的视觉假影。
本公开通常可指“传信”某些信息,诸如语法元素。术语“传信”通常可指用于解码经编码视频数据的语法元素及/或其它数据的值的传达。即,视频编码器200可在位流中传信语法元素的值。一般来说,传信是指在位流中产生值。如上文所提及,源装置102可基本上实时地将位流传送至目的地装置116,或不实时传送,诸如可在将语法元素存储至存储装置112以供目的地装置116稍后检索时发生。
如上文所描述,在一些实例中,明度分量及色度分量可以不同方式分割。举例来说,视频译码器(例如视频编码器200或视频解码器300)可经配置以根据第一分割树分割第一色彩分量(例如明度分量)的样本,且根据第二分割树分割第二色彩分量(例如色度分量)的样本。分割的结果可为多个明度块及对应色度块。若色度块及明度块属于同一CU,则色度块及明度块为对应块。举例来说,如上文所描述,视频数据以Y、Cb、Cr格式表示。CU为图片的块及CU包含共同地表示块的图片中的颜色的明度块及其对应色度块。
在一些实例中,色度分量相对于明度分量而经次取样。举例来说,在4:2:2次取样中,明度分量的8×8样本对应于色度分量中的每一者的4×4样本。由于次取样,每一色度块可对应于多个明度块。举例来说,假定明度分量的8×8样本划分成四个4×4明度块且色度分量的4×4样本形成一个4×4色度块。在此实例中,四个明度块对应于一个色度块。
对于IBC预测模式,为减小视频编码器200可能需要传信至视频解码器300的信息量,而非传信指示色度块的块向量的信息,色度块或许有可能继承其对应明度块的块向量,通过某种按比例调整以解决次取样。在明度分量与色度分量以相同方式分割的实例中,与继承块向量相关联的一些技术问题可由于色度块及明度块经类似设定大小及成形(例如两者为正方形4×4大小的块)而最小化。
然而,在明度分量与色度分量以不同方式分割的实例中,可能存在关于视频译码的技术问题。举例来说,由于用于明度及色度分量的不同分割方案,一色度块可对应于多个明度块,其中明度块中的两个或更多个以与色度块不同的方式设定大小及成形。在这些实例中,可能不知道色度块将继承哪一明度块(或多个明度块)的块向量信息。
在一或多个实例中,视频译码器可经配置以确定对应于第二色彩分量(例如色度块)的块的第一色彩分量(例如明度分量)的多个块。视频译码器可经配置以基于第一分割树(例如基于分割第一色彩分量的方式)分割第二色彩分量的块以产生第二色彩分量的块的子块。在此实例中,由于色度块是基于第一分割树而经分割,因此可能存在每一色度子块的一个对应明度块。举例来说,多个明度块共同地对应于色度块。在将色度块分割成子块后,子块中的每一者对应于多个明度块中的一者。
视频译码器可基于在IBC预测模式中经预测的第一色彩分量的多个块的一或多个块向量而确定第二色彩分量的块的一或多个子块的一或多个块向量。举例来说,在多个明度块当中,这些明度块的子集可在IBC预测模式中经预测。子集中的每一明度块对应于色度块的子块,且色度块的子块可自子块对应的子集继承明度块的块向量。
以此方式,对于在IBC模式中经预测的色度块且其中不同分割树用于分割明度及色度分量,视频编码器200可能不需要将指示色度块的块向量的信息传信至视频解码器300。相反,视频编码器200及视频解码器300可以类似于用于明度分量的分割方式的方式将色度块分割成子块使得明度块与色度块的子块之间存在一对一对应性。在一些实例中,并非所有明度块可在IBC预测模式中经预测,且在此类实例中,视频编码器200及视频解码器300可将在IBC预测模式中经预测的明度块的块向量分配至色度块的其相应对应子块作为色度块的子块自明度块继承块向量的方式。
除基于多个明度块的块向量将块向量分配至色度块的子块之外,视频编码器200及视频解码器300可能需要基于次取样格式按比例调整块向量。举例来说,若使用4:2:2次取样格式,则随后视频编码器200及视频解码器300可将块向量的x分量及y分量两者除以二。
在以上实例中,色度子块经描述为自明度块继承块向量。在一些实例中,可出现相反情况。举例来说,视频编码器200或视频解码器300可确定色度块的块向量且随后基于色度分量的样本经分割的方式来分割明度分量的样本。视频编码器200及视频解码器300可随后将块向量分配至由分割产生的明度块。为易于描述,关于自相应对应明度块继承(通过潜在按比例调整)块向量的色度子块来描述实例技术。在一些实例中,对应明度块可以与色度块的子块相同的方式(例如水平矩形、竖直矩形或正方形)成形。
除描述用于确定色度块的子块的块向量以允许子块继承块向量之外,本公开还描述关于可能在VVC的IBC预测模式中存在的其它问题的技术。这些技术可与用于色度块的子块继承块向量的技术组合使用或可与用于色度块的子块继承块向量的技术分离。
图2A及2B为说明实例四分树二元树(QTBT)结构130及对应译码树型单元(CTU)132的概念图。实线表示四分树分裂,且点线指示二元树分裂。在二元树的每一分裂(即,非叶)节点中,一个旗标经传信以指示使用哪一分裂类型(即,水平或竖直),其中在此实例中,0指示水平分裂且1指示竖直分裂。对于四分树分裂,不需要指示分裂类型,此是由于四分树节点将块水平地及竖直地分裂成具有相等大小的4个子块。因此,视频编码器200可编码,且视频解码器300可解码用于QTBT结构130的区域树层级(即实线)的语法元素(诸如分裂信息)及用于QTBT结构130的预测树层级(即虚线)的语法元素(诸如分裂信息)。视频编码器200可编码,且视频解码器300可解码用于由QTBT结构130的端叶节点表示的CU的视频数据(诸如预测及变换数据)。
一般来说,图2B的CTU 132可与定义对应于第一及第二层级处的QTBT结构130的节点的块的大小的参数相关联。这些参数可包含CTU大小(表示样本中的CTU 132的大小)、最小四分树大小(MinQTSize,表示最小允许四分树叶节点大小)、最大二元树大小(MaxBTSize,表示最大允许二元树根节点大小)、最大二元树深度(MaxBTDepth,表示最大允许二元树深度),及最小二元树大小(MinBTSize,表示最小允许二元树叶节点大小)。
QTBT结构中对应于CTU的根节点可具有在QTBT结构的第一层级处的四个子节点,所述节点中的每一者可根据四分树分割来分割。即,第一层级的节点为叶节点(不具有子节点)或具有四个子节点。QTBT结构130的实例表示诸如包含具有用于分枝的实线的父节点及子节点的节点。若第一层级的节点不大于最大允许二元树根节点大小(MaxBTSize),则其可通过相应二元树进一步分割。一个节点的二元树分裂可重复,直至由分裂产生的节点达到最小允许二元树叶节点大小(MinBTSize),或最大允许二元树深度(MaxBTDepth)为止。QTBT结构130的实例表示诸如具有用于分枝的虚线的节点。二元树叶节点被称为译码单元(CU),其用于预测(例如图片内或图片间预测)及变换,无需更进一步分割。如上文所论述,CU还可被称作“视频块”或“块”。
在QTBT分割结构的一个实例中,CTU大小经设定为128×128(明度样本及两个对应64×64色度样本),MinQTSize经设定为16×16,MaxBTSize经设定为64×64,MinBTSize(对于宽度及高度两者)经设定为4,且MaxBTDepth经设定为4。四分树分割首先应用于CTU以产生四分树叶节点。四分树叶节点可具有16×16(即,MinQTSize)至128×128(即,CTU大小)的大小。若叶四分树节点为128×128,则其将不会由二元树进一步分裂,此是由于大小超过MaxBTSize(即,在此实例中64×64)。否则,叶四分树节点将由二元树进一步分割。因此,四分树叶节点也为二元树的根节点且其二元树深度为0。当二元树深度达到MaxBTDepth(在此实例中为4)时,不准许进一步分裂。当二元树节点的宽度等于MinBTSize(在此实例中为4)时,其意指不准许进一步水平分裂。类似地,二元树节点具有等于MinBTSize的高度意指不准许对所述二元树节点进行进一步竖直分裂。如上文所提及,二元树的叶节点被称作CU,且根据预测及变换来进一步处理而不进一步分割。
在VCEG提议COM16-C966(J.An、Y.-W.陈(Chen)、K.张(Zhang)、H.黄(Huang)、Y.-W.黄(Huang)及S.雷(Lei)的“用于下一代视频译码的块分割结构(Block partitioningstructure for next generation video coding)”,(国际电信联盟,COM16-C966,2015年9月))中,针对除HEVC以外的未来视频译码标准提出四分树-二元树(QTBT)。仿真展示所提出QTBT结构比在HEVC中使用的四分树结构更有效。
在QTBT结构中,如上文所描述,CTB首先由四分树分割,其中一个节点的四分树分裂可重复直至节点达到最小允许四分树叶节点大小(MinQTSize)为止。若四分树叶节点大小不大于最大允许二元树根节点大小(MaxBTSize),则其可由二元树进一步分割。一个节点的二元树分裂可重复直至节点达到最小允许二元树叶节点大小(MinBTSize)或最大允许二元树深度(MaxBTDepth)为止。二元树叶节点即为CU,其在不更进一步分割的情况下将用于预测(例如图片内或图片间预测)及变换。
在二元树分裂中存在两种分裂类型:对称水平分裂及对称竖直分裂。在QTBT分割结构的一个实例中,CTU大小经设定为128×128(明度样本及两个对应64×64色度样本),MinQTSize经设定为16×16,MaxBTSize经设定为64×64,MinBTSize(对于宽度及高度两者)经设定为4,以及MaxBTDepth经设定为4。四分树分割首先应用于CTU以产生四分树叶节点。
四分树叶节点可具有16×16(即,MinQTSize)至128×128(即,CTU大小)的大小。若叶四分树节点为128×128,则其将不通过二元树进一步分裂,此是由于大小超出MaxBTSize(即,64×64)。否则,叶四分树节点将由二元树进一步分割。因此,四分树叶节点也为二元树的根节点且其二元树深度为0。当二元树深度达到MaxBTDepth(即,4)时,其意指无进一步分裂。当二元树节点的宽度等于MinBTSize(即,4)时,其意指无进一步水平分裂。类似地,当二元树节点的高度等于MinBTSize时,其意指无进一步竖直分裂。二元树的叶节点即为在无更进一步分割的情况下通过预测及变换进一步处理的CU。
图2B说明通过使用QTBT进行的块分割的实例,且图2A说明对应树状结构。实线指示四分树分裂,且点线指示二元树分裂。在二元树的每一分裂(即,非叶)节点中,一个旗标经传信以指示使用哪一分裂类型(即,水平或竖直),其中0指示水平分裂且1指示竖直分裂。对于四分树分裂,不需要指示分裂类型,此是由于四分树分裂始终将块水平地及竖直地分裂成具有相等大小的4个子块。
此外,QTBT块结构支持明度及色度具有单独QTBT结构的特征。当前,对于P及B图块,一个CTU中的明度及色度CTU共享同一QTBT结构。对于I图块,明度CTU通过QTBT结构(例如第一分割树)分割成CU,且色度CTU通过另一QTBT结构(例如第二不同分割树)分割成色度CU。此意指I图块中的CU包含明度分量的译码块或两个色度分量的译码块,且P及B图块中的CU包含所有三个色彩分量的译码块。
下文描述子块运动向量候选者,如图8中所说明。在具有QTBT的JEM中,每一CU可具有用于每一预测方向的运动参数的至多一个集合。通过将较大CU分裂成子CU且导出较大CU的所有子CU的运动信息而在视频编码器200中考虑两种子CU层级运动向量预测方法。替代时间运动向量预测(ATMVP)方法允许每一CU自小于同置参考图片中的当前CU的多个块提取多个运动信息集合。在空间时间运动向量预测(STMVP)方法中,通过使用时间运动向量预测符及空间相邻运动向量递回地导出子CU的运动向量。为保持用于子CU运动预测的更准确运动场,当前停用用于参考图框的运动压缩。
举例来说,在图8中,块400是指待执行ATMVP且说明为分裂成N×N个子PU的块。块400与块401共置于运动源图片中。块401经划分成块400的分裂块的对应块。块401包含分裂块402A-402D。块402D可为ATMVP中的代表性中心块。块402A-402D中的每一者可包含一个运动向量(例如指向第一参考图片列表中的图片的块的运动向量MV0,或指向第二参考图片列表中的图片的块的运动向量MV1)或两个运动向量(例如MV0及MV1)。在图8中,运动向量404A、404B及404C为指向第一参考图片列表中的图片中的块的所有运动向量(例如皆为MV0),且运动向量406A、406B及406C为指向第二参考图片列表中的图片中的块的所有运动向量(例如皆为MV1)。
对于自适应运动向量分辨率,子像素运动补偿通常比整数像素运动补偿更加高效。然而,对于某些内容,诸如具有极高频的组织或屏幕内容,子像素运动补偿展示同样或甚至更糟的效能。在此类情况下,仅具有含整数像素精确度的MV为更佳的。在美国专利公开案第2015/0195562号中,提议传信MV精确度信息(整数像素或四分之一像素)用于块。在2017年10月3日提交的美国申请案第15/724,044号(发布为美国专利公开案第2018/0098089号)中,其提议允许更高MV精确度,诸如4-像素或8-像素。
对于JEM中的解码器侧运动向量导出(DMVD),在JEM参考软件中,存在导出或改进用于解码器侧(视频解码器300处)的当前块的运动向量(MV)的数个帧间译码工具。这些解码器侧MV导出(DMVD)方法更详细地描述于下文中。
图案匹配运动向量导出(PMMVD)模式为基于图框速率上变频(FRUC)技术的特定合并模式。通过PMMVD模式,块的运动信息未经传信而是在解码器侧处经导出。此技术包含于JEM中。
在PMMVD模式中,当FRUC合并旗标为真时对于CU传信FRUC旗标。当FRUC旗标为假时,传信合并索引且使用常规合并模式。在FRUC旗标为真时,传信额外FRUC模式旗标以指示哪一方法(双向匹配或模板匹配)将用于导出用于块的运动信息。
在运动导出程序期间,基于双向匹配或模板匹配针对整个CU首先导出初始运动向量。首先,检查CU的合并列表(或被称作PMMVD晶种),且选择产生最小匹配成本的候选者作为起始点。接着,基于双向匹配或模板匹配围绕起始点执行本地搜寻,且将产生最小匹配成本的MV视为用于整个CU的MV。随后,在子块层级处用作为起始点的经导出CU运动向量来进一步改进运动信息。
如图9中所展示,通过发现沿着两个不同参考图片中的当前块的运动轨迹的两个参考块之间的最佳匹配,使用双向匹配导出当前块的运动信息。在连续运动轨迹的假设下,用于当前图片500中的当前块的指向两个参考块的运动向量MV0 506及MV1 508(例如MV0指向参考块R0 502且MV1 508指向参考块R1 504)可与当前图片与两个参考图片之间的时间距离成比例。作为特定情况,在当前图片在时间上介于两个参考图片之间,且当前图片至两个参考图片的时间距离相同时,双向匹配变为基于镜像的双向MV。
如图10中所展示,通过发现当前图片中的模板(当前块的上方及/或左侧相邻块)与参考图片中的块(与模板相同大小)之间的最佳匹配,使用模板匹配来导出当前块的运动信息。
在编码器侧(例如视频编码器200)处,关于是否使用FRUC合并模式用于CU的决策是基于对于正常合并候选者完成的速率失真(RD)成本选择。即,通过使用RD成本选择针对CU检查两个匹配模式(双向匹配及模板匹配)两者。产生最小成本的模式进一步与其它CU模式相比较。若FRUC匹配模式为最高效模式,则FRUC旗标对于CU设定成真且使用相关匹配模式。
在第5次JVET会议中,JVET-E0035进一步描述用于FRUC模板匹配的技术。图11A中展示现有FRUC模板匹配模式的流程图。在第一步骤中,自list0参考图片找到匹配当前块的当前模板TC的模板T0(及其对应运动信息MV0)。在第二步骤中,自list1参考图片找到模板T1(及其对应运动信息MV1)。使用所获得运动信息MV0及MV1来执行双向预测以产生当前块的预测符。
可通过在单向预测与双向预测之间引入双向模板匹配及自适应性选择来增强现有FRUC模板匹配模式。相较于图11A,图11B中的修改通过斜体及下划线突出显示。
基于现有单向模板匹配来实施双向模板匹配。如图11B中所展示,首先在模板匹配的第一步骤中自list0参考图片发现匹配模板T0(应注意,此处list0仅仅视为一实例)。实际上,无论list0或list1是否用于第一步骤中,其对于对应参考图片中的当前模板与初始模板之间的初始失真成本为自适应的。初始模板可用在执行第1模板匹配之前可用的当前块的初始运动信息来确定。在模板匹配的第一步骤中将使用对应于最小初始模板失真成本的参考图片列表。举例来说,若对应于list0的初始模板失真成本不大于对应于list1的成本(list0用于模板匹配的第一步骤中,且list1用于第二步骤中),则更新当前块的当前模板TC,如下:T'C=2×TC-T0
使用经更新当前模板T'C(而非当前模板TC)自第二模板匹配中的list1参考图片中找出另一匹配模板T1。因此,通过联合地使用list0及list1参考图片找出匹配模板T1。此匹配过程被称作双向模板匹配。
用于运动补偿预测(MCP)的单向预测与双向预测之间的所提议选择是基于模板匹配失真。如图11B中所展示,在模板匹配期间,可将模板T0与Tc(当前模板)之间的失真计算为cost0,且可将模板T1与T'C(经更新当前模板)之间的失真计算为cost1。若cost0小于0.5×cost1,则将基于MV0的单向预测应用于FRUC模板匹配模式;否则,应用基于MV0及MV1的双向预测。应注意,将cost0与0.5×cost1进行比较,此是由于cost1指示模板T1与T'C(经更新当前模板)之间的差,所述差为Tc(当前模板)与其预测0.5×(T0+T1)之间的差的2倍。应注意,所提议的方法可能仅应用于PU层级运动改进。子PU层级运动改进保持不变。
下文描述双向模板匹配。双向模板分别自list0的初始MV0及list1的MV1产生为两个预测块的加权组合,如图12中所展示。模板匹配操作包含计算参考图片中的产生模板与样本区(初始预测块周围)之间的成本量度。对于两个参考图片中的每一者,将产生最小模板成本的MV视为所述列表的经更新MV以替代原始MV。最终,两个新MV(即,如图12中所展示的MV0'及MV1')用于常规双向预测。如块匹配运动估计中所常用的,绝对差总和(SAD)用作成本量度。在无额外语法元素的传输的情况下,所提议的解码器侧运动向量导出(DMVD)应用于具有来自过去的参考图片的预测及来自未来的参考图片的预测的双向预测的合并模式。在JEM4.0中,当针对一个CU选择LIC、仿射、ATMVP或STMVP合并候选者或FRUC时,不应用DMVD。
下文描述JEM中的双向光学流。双向光学流(BIO)为在双向预测的情况下紧接着块样运动补偿执行的像素样运动改进。由于其补偿,精细运动可在块内部进行,从而使得BIO导致放大块大小以供运动补偿。样本层级运动改进并不需要竭尽式搜寻或传信,此是由于存在针对每一样本给出精细运动向量的明确等式。为易于解释,关于图13描述实例。
在补偿运动块后,使I(k)为来自参考k(k=0,1)的明度值,且分别为I(k)梯度的水平及竖直分量。假定光学流为有效的,图13中所展示的运动向量场(vx,vy)由以下等式给出:/>
针对每一样本的运动轨迹将光学流等式与厄米特内插(Hermite interpolation)组合,得出一唯一三阶多项式,其最终匹配函数值I(k)及导出项两者。此多项式的值在t=0下为BIO预测:/>
此处τ0(图13中的T0)及τ1(图13中的T1)指示到如图13中展示的参考图框的距离距离τ0及τ1是基于针对Ref0及Ref1的图片次序计数(POC)值计算的:τ0=POC(当前)-POC(Ref0),τ1=POC(Ref1)-POC(当前)。若两个预测均来自相同时间方向(两者均来自过去或两者均来自未来),则正负号为不同τ0·τ1<0。在此情况下,仅在预测不来自相同时刻的情况下(τ0≠τ1)应用BIO,两个参考区域皆具有非零运动(MVx0,MVy0,MVx1,MVy1≠0),且块运动向量与时间距离成比例(MVx0/MVx1=MVy0/MVy1=-τ01)。
运动向量场(vx,vy)通过最小化点A与点B中的值之间的差Δ来确定(图13上的运动轨迹与参考图框平面的交叉点)。模型仅将本地泰勒扩展(Taylor expansion)的第一线性术语用于Δ:
(1)中的所有值取决于样本位置(i′,j′),其目前为止被省略。假定运动在本地环境中为一致的,我们最小化当前经预测点(i,j)中心的(2M+1)×(2M+1)正方形窗口Ω内部的Δ:
对于此优化问题,我们使用简化解决方案,在竖直方向上且接着在水平方向上进行首次最小化。其使得
其中,
为了避免被零或极小值除,等式(2)、(3)中引入规律化参数r及m。
r=500·4d-8 (8)
m=700·4d-8 (9)
此处,d为输入视频的内部位深度。
在一些情况下,BIO的MV方案可能由于噪声或不规律运动而不可靠。因此,在BIO中,MV方案的量值经削减至某一阈值thBIO。基于当前图片的所有参考图片是否均来自一个方向而确定所述阈值。若当前图片的当前图片的所有参考图片来自一个方向,则临限的值经设定为12×214-d;否则其经设定为12×213-d
使用符合HEVC运动补偿程序的操作,在运动补偿内插的同时计算BIO的梯度(2D可分离FIR)。根据块运动向量的分数部分,对于此2D可分离FIR的输入与对于运动补偿程序及分数位置(fracX,fracY)的输入为相同参考图框样本。在水平梯度信号首先使用BIOfilterS而对应于解调整移位d-8的分数位置fracY竖直插入的情况下,梯度滤波器BIOfilterG应用于对应于解调整移位18-d的分数位置fracX的水平方向中。在使用BIOfilterG对应于解调整移位d-8的分数位置fracY竖直应用竖直梯度/>第一梯度滤波器的情况下,使用BIOfilterS在对应于解调整移位18-d的分数位置fracX的水平方向上执行信号移位。用于梯度计算BIOfilterG及信号移位BIOfilterF的内插滤波器的长度较短(6-抽头)以便维持合理的复杂度。表1展示用于BIO中的块运动向量的不同分数位置的梯度计算的滤波器。表2展示用于BIO中的预测信号产生的内插滤波器。
图14展示8×4块的梯度计算的实例。对于8×4块,译码器(例如视频编码器200或视频解码器300)需要提取运动补偿预测符且计算当前块内的所有像素以及像素外部两条线的HOR/VER梯度,此是由于求解每一像素的vx及vy需要位于每一像素中心的窗Ω内的像素的HOR/VER梯度值及运动补偿预测符,如等式(4)中所展示。在JEM中,此窗的大小经设定为5×5。因此,译码器需要提取运动补偿预测符并计算像素外部两条线的梯度。
表1:用于BIO中的梯度计算的滤波器
分数像素位置 用于梯度的内插滤波器(BIOfilterG)
0 {8,-39,-3,46,-17,5}
1/16 {8,-32,-13,50,-18,5}
1/8 {7,-27,-20,54,-19,5}
3/16 {6,-21,-29,57,-18,5}
1/4 {4,-17,-36,60,-15,4}
5/16 {3,-9,-44,61,-15,4}
3/8 {1,-4,-48,61,-13,3}
7/16 {0,1,-54,60,-9,2}
1/2 {1,4,-57,57,-4,1}
表2:用于BIO中的预测信号产生的内插滤波器
分数像素位置 用于预测信号的内插滤波器(BIOfilterS)
0 {0,0,64,0,0,0}
1/16 {1,-3,64,4,-2,0}
1/8 {1,-6,62,9,-3,1}
3/16 {2,-8,60,14,-5,1}
1/4 {2,-9,57,19,-7,2}
5/16 {3,-10,53,24,-8,2}
3/8 {3,-11,50,29,-9,2}
7/16 {3,-11,44,35,-10,3}
1/2 {1,-7,38,38,-7,1}
在JEM中,当两个预测来自不同参考图片时,BIO应用于所有双向预测块。当针对CU启用LIC(本地照明补偿)时,停用BIO。
下文描述JEM中的重叠块运动补偿(OBMC)。重叠块运动补偿(OBMC)已用于早期视频标准,例如H.263中。在JEM中,针对所有运动补偿(MC)块边界执行OBMC,CU的右侧及底部边界除外。另外,其应用于明度及色度分量两者。在JEM中,MC块对应于译码块。当CU通过子CU模式(包含上文所描述的子CU合并、仿射及FRUC模式)译码时,CU的每一子块为MC块。为按统一方式处理CU边界,针对所有MC块边界在子块层级执行OBMC,其中子块大小经设定为等于4×4,如图15A及15B中所说明。
当OBMC应用于当前子块时,除当前运动向量之外,四个连接相邻子块的运动向量若可用且不等同于当前运动向量,则还用于导出当前子块的预测块。基于多个运动向量的这些多个预测块经组合以产生当前子块的最终预测信号。
如图16A至16D中所展示,基于相邻子块的运动向量的预测块表示为PN,其中N指示相邻上方子块、下方子块、左侧子块及右侧子块的索引,且基于当前子块的运动向量的预测块表示为PC。当PN是基于含有与当前子块相同的运动信息相同的相邻子块的运动信息时,OBMC不用PN执行。否则,将PN的每一像素添加至PC中的相同像素,即将PN的四列/四行添加至PC。加权因子{1/4,1/8,1/16,1/32}用于PN,且加权因子{3/4,7/8,15/16,31/32}用于PC。例外为小型MC块(即,当译码块的高度或宽度等于4或CU经子CU模式译码时),PN的仅两列/两行添加至PC。在此情况下,加权因子{1/4,1/8}用于PN,且加权因子{3/4,7/8}用于PC。对于基于竖直(水平)相邻子块的运动向量而产生的PN,将PN的同一列(行)的像素添加至具有同一加权因子的PC。应注意,BIO还应用于预测块Pn的导出。
在JEM中,对于大小小于或等于256个明度样本的CU,传信CU层级旗标以指示是否针对当前CU应用OBMC。对于大小大于256个明度样本或未通过AMVP模式译码的CU,根据预设应用OBMC。在视频编码器200处,当OBMC应用于CU时,在运动估计阶段期间考虑其影响。通过使用顶部相邻块及左侧相邻块的运动信息的预测信号用于补偿当前CU的原始信号的顶部边界及左侧边界,且接着应用正常运动估计程序。
可能存在关于JEM中的全部新译码工具(诸如在与IBC一起使用时)的一些技术问题。通过用于IBC操作的技术解决方案解决这些技术问题可产生更佳视频编码及解码,诸如其中可使得视频编码器200及视频解码器300的操作更佳。作为一个实例,HEVC SCC中的IBC用于一个明度块及两个对应色度块连同相同运动向量(具有对于色度分量的潜在按比例调整)。如何指示/传信用于解耦分割树下的IBC的运动向量为关于视频译码,且特定来说关于IBC视频译码的技术问题。作为另一实例,已研究数种新运动相关工具。如何将其与IBC组合为关于视频译码,且特定来说关于IBC视频译码的技术问题。
下文描述针对技术问题的技术解决方案的实例。这些解决方案可共同地、单独地或以其任何组合形式使用。
当分割树经解耦用于不同色彩分量时,传信用于块的IBC模式及/或IBC运动向量可能仅应用于一个色彩分量(例如明度分量)。可替代地,另外在预先经译码分量(例如明度)后经译码的分量(例如Cb或Cr)的块始终继承使用所述预先经译码分量的对应块的IBC模式。
在一个实例中,可利用如美国专利申请第15/676,314号(美国专利公开案第2018/0048889号)及第15/676,345号(美国专利公开案第2018-0063553号)中所描述的DM(导出)模式旗标或索引。若由DM旗标或索引识别的对应明度块经IBC译码,则当前色度块经设定为经IBC译码。在一个实例中,“对应”块是指任何预定义映射。举例来说,对应块为当前块的中心处的4×4块,诸如图17A中的C3。可替代地,可利用位于其它位置(例如C0、C1、C2、BR、BL、TL、TR)中的块,如图17A中所展示。
当针对块启用所继承IBC模式时,当前全部块的运动信息可由对应预先经译码分量(诸如明度分量)区域的一个对应块继承或导出,或由预设运动向量导出。
当针对块启用所继承IBC模式时,当前全部块内的子块的运动信息可由预先经译码分量的区域内的多个对应块继承或导出,或由预设运动向量导出。举例来说,如在下文更详细地描述,假设预先经译码分量为明度分量,则表示为图17B中的阴影块706的Cb块可自对应明度分割继承运动及模式信息。若对应明度块(例如覆盖TL的分割及覆盖C2的分割)经IBC译码,则相关联的运动向量可因此进一步按比例调整。一实例描绘于图18A及18B中。
举例来说,图17A说明根据明度QTBT结构分割的明度分量的明度样本700,所述明度QTBT结构类似于图2A中所说明的分割树。举例来说,图17A中的明度样本700的分割与图2B中所说明的分割相同。基于第一分割树分割明度样本700产生包含多个块的明度分区701(以加粗框展示),所述多个块包含明度块704A及明度块704B作为两个实例。明度块704A可在IBC预测模式中预测且具有<-8,-6>的块向量,且明度块704B可在IBC预测模式中经预测且具有<-12,-4>的块向量。
图17B说明根据色度QTBT结构分割的色度分量的色度样本702A。色度样本702A与明度样本700彼此对应且为相同CU的部分。在所说明的实例中,基于不同于用于分割明度样本700的第一分割树的第二分割树来分割色度样本702A。根据第二分割树分割色度样本702A产生色度块706。
在图17A及17B的实例中,色度块706对应于明度分区701。然而,明度分区701包含使用IBC预测模式预测的两个块:块704A及块704B。因此,可能不清楚色度块706应继承哪一块向量(例如块704A的块向量或块704B的块向量)。
图18A为图17A的再现。根据本公开中描述的技术且如图18B中所说明,视频编码器200及视频解码器300可基于用于明度样本700(如通过色度分量的色度样本702B所说明)的分割树来分割色度块706。举例来说,图17B的色度块706为图18B中的色度分区710,其中色度分区710以与明度分区701相同的方式进行分割。
视频编码器200及视频解码器300可分割色度块706以产生子块708A及708B。在图18B中所说明的实例中,子块708A与明度块704A对应,且子块708B与明度块704B对应。举例来说,色度子块708A与明度块704A为相同形状,且色度子块708A在色度分区710内的相对位置与明度块704A在明度分区701内的相对位置相同。在此情况下,色度子块708A与明度块704A之间存在一对一对应性。此外,色度子块708B与明度块704B为相同形状,且色度子块708B在色度分区710内的相对位置与明度块704B在明度分区701内的相对位置相同。在此情况下,色度子块708B与明度块704B之间存在一对一对应性。
在一或多个实例中,视频编码器200及视频解码器300可向色度子块708A指派明度块704A的块向量(例如色度子块708A自明度块704A继承块向量)。视频编码器200及视频解码器300可向色度子块708B指派明度块708A的块向量(例如色度子块708B自明度块704B继承块向量)。此外,视频编码器200及视频解码器300可执行块向量的按比例调整。举例来说,明度块704A的块向量为<-8,-6>且明度块704B的块向量为<-12,-4>。在此实例中,视频编码器200及视频解码器300可用x分量及y分量除以二,此是由于明度样本700为4×色度样本702A或702B的大小(例如4:2:2次取样格式)。如所说明,色度子块708A的块向量为<-4,-3>,其中-4为-8除以2,且-3为-6除以2。色度子块708B的块向量为<-6,-2>,其中-6为-12除以,且-2为-4除以2。
以此方式,视频译码器(例如视频编码器200或视频解码器300)可经配置以根据第一分割树(例如如图17A及18A中所说明的明度QTBT结构)分割第一色彩分量的样本(例如明度分量的明度样本700),且根据第二分割树(例如如图17B中所说明的色度QTBT结构)分割第二色彩分量(例如色度分量)的样本。第二分割树不同于第一分割树,且第二色彩分量不同于第一色彩分量。
视频译码器可确定对应于第二色彩分量的块的第一色彩分量的多个块(例如分区701的块对应于色度块706)。第一色彩分量的多个块由根据第一分割树分割第一色彩分量的样本而产生(例如明度分量的明度样本700经分割以产生包含多个块的明度分区701),且第二色彩分量的块(例如块706)由根据第二分割树分割第二色彩分量的样本而产生。
在本公开中描述的一或多个实例中,视频译码器可基于第一分割树而分割第二色彩分量的块以产生各自对应于第一色彩分量的多个块中的块的第二色彩分量的子块。举例来说,如图18B中所说明,对应于色度块706的色度分区710是基于明度QTBT而经分割以产生色度子块708A及708B。色度子块708A及708B各自对应于明度块704A及704B。
视频译码器可基于第一色彩分量的多个块的一或多个对应块的一或多个块向量而确定用于在块内复制(IBC)预测模式中预测的第二色彩分量的子块中的一或多者的一或多个块向量。举例来说,色度子块708A及708B是在IBC预测模式中经预测,且视频译码器可基于明度块704A及704B的块向量而确定用于子块708A及708B的块向量。
视频译码器可基于一或多个经确定块向量来译码第二色彩分量的块。举例来说,当译码为编码时,对于色度子块708A,视频编码器200可基于子块708A的块向量而确定预测块,自子块708A减去预测块以产生残余块及指示残余块的信号信息。当译码为解码时,对于色度子块708A,视频解码器300可基于子块708A的块向量来确定预测块,确定子块708A的残余块(例如基于经传信信息),且将残余块添加至预测块以重建构色度块706的子块708。
替代地,对于某些子块(set 0),可继承运动信息,而对于其它子块(set 1),可自set 0或自预设运动向量导出运动信息。此外,在一个实例中,传信指示使用所继承IBC模式用于其余色彩分量的各者或全部的一个模式索引。对于每一色彩分量,或分别对于明度及色度分量,旗标可在SPS/VPS/PPS/图块标头/图像块标头中传信以指示是否可启用或停用IBC。
下文描述与OBMC的块内复制相互作用。在一个实例中,可始终停用OBMC。因此,当块经IBC译码时不需要传信OBMC旗标。可替代地,可在指示IBC模式(例如指向当前图片的参考索引;或表示IBC模式的模式索引)前传信OBMC旗标;在此情况下,略过IBC指示的传信。
在一个实例中,还可启用OBMC,但在限制待以相同译码模式译码的相邻块的情况下。举例来说,若当前块经IBC模式译码且当前块的相邻块中的一者存在但相邻块未经IBC模式译码,则此相邻块经设定为不可用。即,运动参数不用于用于当前块的OBMC程序中。举例来说,若当前块经非IBC模式译码,则其相邻块中的一者存在,但若经IBC模式译码,则此相邻块经设定为不可用。即,运动参数不用于用于当前块的OBMC程序中。
在一个实例中,还可启用OBMC且不管相邻块的经译码模式可利用现有相邻块的全部运动信息。此外,可替代地,加权因子可进一步视当前块的经译码模式而定。此外,可替代地,加权因子可进一步视当前块及相邻块是否共享相同经译码模式而定。
下文描述用块内复制的子块。可应用子块IBC,其中一个块是使用IBC模式译码;然而,对于块内的每一子块,运动向量(例如块向量)可能不同。举例来说,子块708A的块向量与子块708B的块向量可能不同。
在一个实例中,基础运动向量可经传信。子块运动向量可视基础运动向量而定。在一个实例中,基础运动向量可经传信为最佳运动向量减运动向量预测符之间的差值。运动向量预测符可为自空间及/或时间相邻块的运动向量导出的一者。在一个实例中,基础运动向量可为用于传信与子块相关联的真实运动向量的预测符。在一个实例中,基础运动向量可为与多个子块中的一者相关联的运动向量。因此,不再需要传信用于子块的运动向量。在一个实例中,基础运动向量可用作起点且因此子块的运动向量可经导出(或改进)(例如使用模板匹配方法)。
在一些实例中,图块层级索引可经传信以指示用于经IBC译码块的运动向量的精确度。可替代地,索引可在块层级/区域层级/图像块/PPS/SPS/VPS中经传信。在一个实例中,MV精确度的候选者可包含例如整数像素、四分之一像素、二分之一像素、两个像素、四个像素。在一个实例中,MV精确度的候选者集合可视经译码信息而定,诸如图块类型、时间层索引、运动向量范围。
下文描述与仿射运动的块内复制相互作用。在一个实例中,当块经仿射模式译码时,IBC模式未经传信。在一个实例中,当块经IBC模式译码时仿射模式未经传信。举例来说,视频译码器可确定块在IBC预测模式中经译码。视频译码器可基于块在IBC预测模式中经译码的确定而进行避免传信或解析指示是否启用仿射模式用于块的信息中的至少一者。举例来说,视频编码器200可不传信指示是否启用仿射模式用于块的信息,且视频解码器300可不解析指示是否启用仿射模式用于块的信息。
与经IBC译码的块相关联的运动可经视为习知转译运动。因此,描述于2017年11月14日提交的美国申请案第62/586,117号及2018年11月13日提交的美国申请案第16/188,774号中的实例技术可仍然起作用。替代地,第三运动类别(除了现有仿射及习知转译运动之外)经定义。且对于合并模式,若经解码合并索引指示使用IBC模式,则仅来自相邻块的属于第三类别的运动信息可经添加至合并候选列表中。
在一些实例中,可能需要不允许采用IBC运动向量作为ATMVP导出程序的起点。在一个实例中,提取运动的图片不能为当前图片。在一个实例中,如在当前ATMVP设计中,用于提取运动信息的起点来自第一可用空间合并候选者。通过所提议方法,第一可用非IBC运动用作起点。举例来说,若第一可用空间合并候选者与IBC运动信息相关联且第二可用空间合并候选者与习知转译运动相关联,则第2可用空间合并候选者用作起点。若在提取运动时子块中的一者经IBC模式译码,则其可经视为ATMVP程序中的帧内模式。在此情况下,例如预设运动可经视为子块的运动。可替代地,来自相邻子块的运动可用作子块的运动。
作为一个实例,视频译码器可确定第一色彩分量或第二色彩分量的块是使用ATMVP预测,确定用于在块上执行ATMVP的参考图片中的一或多个块,确定参考图片中的一或多个块中的至少一个块是在IBC预测模式中经预测,且对块执行ATMVP操作而无需使用在IBC预测模式中经预测的参考图片中的至少一个块的块向量。
下文描述与照明补偿(IC)的块内复制相互作用。在一个实例中,当块经IC模式译码时,IBC模式未经传信。在一个实例中,当块经IBC模式译码时,IC模式未经传信。
举例来说,视频译码器可确定块在IBC预测模式中经译码,且基于块在IBC预测模式中经译码的确定避免传信或解析信息中的至少一者,所述信息指示是否启用照明补偿(IC)模式用于块。举例来说,视频编码器200可不传信指示是否启用IC模式用于第二块的信息,且视频解码器300可不解析指示是否启用IC模式用于第二块的信息。
在一个实例中,IC模式可应用于经IBC译码的块。在此情况下,参考块的相邻样本在当前块的相同图片中。
下文描述与自适应运动向量精确度的块内复制相互作用。在一个实例中,仅在块经MV精确度(诸如在一或多个整数像素规模下的运动精确度)的预定义子集译码时传信IBC模式。在一个实例中,当块经IBC模式译码时,MV精确度的子集未经传信。在一个实例中,当块经IBC模式译码时,MV精确度未经传信。精确度可经限定于较高层级中,诸如图块标头中。
举例来说,视频译码器可确定第一色彩分量或第二色彩分量的第一块未在IBC预测模式中经预测且确定第一块的第一运动向量精确度集合。视频译码器可确定第一色彩分量或第二色彩分量的第二块是在IBC预测模式中经预测且确定第二块的第二运动向量精确度集合。第二运动向量精确度集合为第一运动向量精确度集合的子集。
下文描述与双向光流(BIO)的块内复制相互作用。在一个实例中,若两个运动向量中的至少一者是指当前图片,即两个运动向量中的至少一者为IBC中的块向量,则不进行BIO。举例来说,视频译码器可确定块是经向量译码,所述向量是指包含块的图片。在此实例中,视频译码器可基于经向量译码的块而避免在所述块上执行BIO,所述向量是指包含块的图片。
在另一实例中,若两个运动向量中的至少一者是指当前图片,即两个运动向量中的至少一者为IBC中的块向量,则进行BIO。在此情况下,用于IBC的当前图框及参考图框(实际上其也为当前图框)的POC差值等于零。不等于0的固定数值可用于替代BIO导出,诸如Eq(3)-Eq(7)中的POC差值。
下文描述与图框率上变频(FRUC)的块内复制相互作用。在一个实例中,若晶种运动向量是指当前图片,则不能进行模板匹配。在一个实例中,若晶种运动向量是指当前图片,则通过与当前图片相同的参考图片进行模板匹配。在一个实例中,若两个运动向量中的至少一者是指当前图片,即,两个运动向量中的至少一者为IBC中的块向量,则不能进行双文字匹配。举例来说,视频译码器可确定块是经向量译码,所述向量是指包含块的图片。视频译码器可基于经向量译码的块而避免在所述块上执行双文字匹配,所述向量是指包含所述块的图片。
图3为说明可执行本公开的技术的实例视频编码器200的框图。出于解释的目的而提供图3,且不应将所述图视为对如本公开中广泛例示及描述的技术的限制。出于解释的目的,本公开在诸如HEVC视频译码标准及研发中的H.266视频译码标准(例如VCC)的视频译码标准的情况下描述视频编码器200。然而,本公开的技术不限于这些视频译码标准,且大体可适用于视频编码及解码。
在图3的实例中,视频编码器200包含视频数据存储器230、模式选择单元202、残余产生单元204、变换处理单元206、量化单元208、反量化单元210、反变换处理单元212、重建构单元214、滤波器单元216、经解码图片缓冲器(DPB)218及熵编码单元220。
视频数据存储器230可存储待由视频编码器200的组件编码的视频数据。视频编码器200可自例如视频源104(图1)接收存储于视频数据存储器230中的视频数据。DPB 218可充当参考图片存储器,其存储参考视频数据以供用于通过视频编码器200预测后续视频数据。视频数据存储器230及DPB 218可由诸如动态随机存取存储器(DRAM)的多种存储器装置中的任一者形成,包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器230及DPB 218可由同一存储器装置或单独存储器装置提供。在各种实例中,视频数据存储器230可在芯片上具有视频编码器200的其它组件,如所说明,或芯片外与那些组件有关。
在本公开中,对视频数据存储器230的参考不应解释为将存储器限于在视频编码器200内部(除非特定地如此描述),或将存储器限于在视频编码器200外部(除非特定地如此描述)。实情为,对视频数据存储器230的参考应理解为存储视频编码器200所接收以用于编码的视频数据(例如待编码的当前块的视频数据)的参考存储器。图1的存储器106还可提供对来自视频编码器200的各种单元的输出的暂时存储。
图3的各种单元经说明以辅助理解通过视频编码器200执行的操作。单元可经实施为固定功能电路、可编程电路或其组合。固定功能电路是指提供特定功能性且默认可经执行的操作的电路。可编程电路是指可经编程以执行各种任务并在可经执行的操作中提供灵活功能性的电路。举例来说,可编程电路可执行使得可编程电路以由软件或固件的指令定义的方式操作的软件或固件。固定功能电路可执行软件指令(例如以接收参数或输出参数),但固定功能电路执行的操作的类型通常是不可变的。在一些实例中,单元中的一或多者可为不同电路块(固定功能或可编程),且在一些实例中,一或多个单元可为集成电路。
视频编码器200可包含由可编程电路形成的算术逻辑单元(ALU)、基本功能单元(EFU)、数字电路、模拟电路及/或可编程核心。在视频编码器200的操作是使用由可编程电路执行的软件执行的实例中,存储器106(图1)可存储视频编码器200接收并执行的软件的目标程序代码,或视频编码器200内的另一存储器(未展示)可存储此类指令。
视频数据存储器230经配置以存储所接收视频数据。视频编码器200可自视频数据存储器230检索视频数据的图片,并将视频数据提供至残余产生单元204及模式选择单元202。视频数据存储器230中的视频数据可为待编码的原始视频数据。
模式选择单元202包含运动估计单元222、运动补偿单元224及帧内预测单元226。模式选择单元202可包含额外功能单元以根据其它预测模式执行视频预测。作为实例,模式选择单元202可包含调色板单元、块内复制单元(其可为运动估计单元222及/或运动补偿单元224的部分)、仿射单元、线性模型(LM)单元或其类似者。
模式选择单元202大体协调多个编码遍次以测试编码参数的组合,及用于这些组合的所得速率失真值。编码参数可包含CTU至CU的分割、用于CU的预测模式、用于CU的残余数据的变换类型、用于CU的残余数据的量化参数等。模式选择单元202可最终选择相比其它所测试组合具有更佳速率失真值的编码参数的组合。
视频编码器200可将自视频数据存储器230检索的图片分割成一系列CTU,并将一或多个CTU囊封于图块内。模式选择单元202可根据树状结构分割图片的CTU,诸如上文所描述的QTBT结构或HEVC的四分树结构。如上文所描述,视频编码器200可用根据树状结构分割CTU来形成一或多个CU。此CU通常也可被称作“视频块”或“块”。
一般来说,模式选择单元202还控制其组件(例如运动估计单元222、运动补偿单元224及帧内预测单元226)以产生用于当前块(例如当前CU,或在HEVC中,PU及TU的重叠部分)的预测块。对于当前块的帧间预测,运动估计单元222可执行运动搜寻以识别一或多个参考图片(例如存储于DPB 218中的一或多个先前译码图片)中一或多个紧密匹配的参考块。特定来说,运动估计单元222可例如根据绝对差总和(SAD)、平方差总和(SSD)、平均值绝对差(MAD)、均方差(MSD)或其类似者来计算表示潜在参考块与当前块类似程度的值。运动估计单元222可使用当前块与所考虑的参考块之间的逐样本差大体执行这些计算。运动估计单元222可识别具有由这些计算产生的最小值的参考块,从而指示最紧密匹配当前块的参考块。
运动估计单元222可形成一或多个运动向量(MV),其关于当前图片中的当前块的位置定义参考图片中的参考块的位置。运动估计单元222可接着将运动向量提供至运动补偿单元224。举例来说,对于单向帧间预测,运动估计单元222可提供单个运动向量,而对于双向帧间预测,运动估计单元222可提供两个运动向量。运动补偿单元224可接着使用运动向量产生预测块。举例来说,运动补偿单元224可使用运动向量检索参考块的数据。作为另一实例,若运动向量具有分数样本精确度,则运动补偿单元224可根据一或多个内插滤波器为预测块内插值。此外,对于双向帧间预测,运动补偿单元224可检索用于通过相应运动向量识别的两个参考块的数据,并例如经由逐样本求平均值或经加权求平均值来组合所检索的数据。
作为另一实例,对于帧内预测,或帧内预测译码,帧内预测单元226可自相邻当前块的样本产生预测块。举例来说,对于方向模式,帧内预测单元226可在数学上大体组合相邻样本的值,且在横跨当前块的所定义方向上填入这些计算值以产生预测块。作为另一实例,对于DC模式,帧内预测单元226可计算至当前块的相邻样本的平均值,并产生预测块以针对预测块的每一样本包含此所得平均值。
模式选择单元202将预测块提供至残余产生单元204。残余产生单元204自视频数据存储器230接收当前块的原始的未经译码版本,且自模式选择单元202接收预测块的原始的未经译码版本。残余产生单元204计算当前块与预测块之间的逐样本差。所得逐样本差定义用于当前块的残余块。在一些实例中,残余产生单元204还可确定残余块中的样本值之间的差,以使用残余差分脉码调变(RDPCM)产生残余块。在一些实例中,可使用执行二进制减法的一或多个减法器电路形成残余产生单元204。
在模式选择单元202将CU分割成PU的实例中,每一PU可与明度预测单元及对应色度预测单元相关联。视频编码器200及视频解码器300可支持具有各种大小的PU。如上文所指示,CU的大小可指CU的明度译码块的大小,且PU的大小可指PU的明度预测单元的大小。假定特定CU的大小为2N×2N,则视频编码器200可支持用于帧内预测的2N×2N或N×N的PU大小,及用于帧间预测的2N×2N、2N×N、N×2N、N×N或类似大小的对称PU大小。视频编码器20及视频解码器30还可支持用于帧间预测的2N×nU、2N×nD、nL×2N及nR×2N的PU大小的非对称分割。
在模式选择单元202未将CU进一步分割为PU的实例中,每一CU可与明度译码块及对应色度译码块相关联。如上,CU的大小可指CU的明度译码块的大小。视频编码器200及视频解码器300可支持2N×2N、2N×N或N×2N的CU大小。
对于诸如块内复制模式译码、仿射模式译码及线性模型(LM)模式译码的其它视频译码技术,如少数实例,模式选择单元202经由与译码技术相关联的相应单元产生用于正编码的当前块的预测块。在诸如调色板模式译码的一些实例中,模式选择单元202可能不会产生预测块,而是产生指示基于所选择调色板重建构块的方式的语法元素。在这些模式中,模式选择单元202可将这些语法元素提供至熵编码单元220以待编码。
如上文所描述,残余产生单元204接收用于当前块及对应预测块的视频数据。残余产生单元204随后产生用于当前块的残余块。为产生残余块,残余产生单元204计算预测块与当前块之间的逐样本差。因此,
变换处理单元206将一或多个变换应用于残余块以产生变换系数的块(在本文中被称作“变换系数块”)。变换处理单元206可将各种变换应用于残余块以形成变换系数块。举例来说,变换处理单元206可将离散余弦变换(DCT)、定向变换、Karhunen-Loeve变换(KLT)或概念上类似的变换应用于残余块。在一些实例中,变换处理单元206可对残余块执行多重变换,例如初级变换及次级变换,诸如旋转变换。在一些实例中,变换处理单元206未将变换应用于变换块。
量化单元208可量化变换系数块中的变换系数,以产生经量化变换系数块。量化单元208可根据与当前块相关联的量化参数(QP)值量化变换系数块的变换系数。视频编码器200(例如经由模式选择单元202)可通过调节与CU相关联的QP值来调节应用于与当前块相关联的系数块的量化程度。量化可引入信息的损耗,且因此,经量化变换系数可相比由变换处理单元206产生的原始变换系数具有较低精确度。
反量化单元210及反变换处理单元212可将反量化及反变换分别应用于经量化变换系数块,以用变换系数块重建构残余块。重建构单元214可基于经重建构残余块及通过模式选择单元202产生的预测块来产生对应于当前块的经重建构块(尽管可能具有一些程度的失真)。举例来说,重建构单元214可将经重建构残余块的样本添加至来自模式选择单元202产生的预测块的对应样本,以产生经重建构块。
滤波器单元216可对经重建块执行一或多个滤波操作。举例来说,滤波器单元216可执行解块操作以沿CU的边缘减少块效应伪影。如通过虚线所说明,在一些实例中,可略过滤波器单元216的操作。
视频编码器200将经重建块存储于DPB 218中。举例来说,在不需要滤波器单元216的操作的实例中,重建构单元214可将经重建块存储至DPB 218。在需要滤波器单元216的操作的实例中,滤波器单元216可将经滤波重建块存储至DPB 218。运动估计单元222及运动补偿单元224可自DPB 218检索由经重建构(及可能经滤波)块形成的参考图片,以对随后经编码图片的块进行帧间预测。另外,帧内预测单元226可使用当前图片的DPB 218中的经重建块来对当前图片中的其它块进行帧内预测。
一般来说,熵编码单元220可熵编码自视频编码器200的其它功能组件接收的语法元素。举例来说,熵编码单元220可熵编码来自量化单元208的经量化变换系数块。作为另一实例,熵编码单元220可熵编码来自模式选择单元202的预测语法元素(例如对于帧间预测的运动信息,或对于帧内预测的帧内模式信息)。熵编码单元220可对语法元素(其为视频数据的另一实例)执行一或多个熵编码操作以产生经熵编码数据。举例来说,熵编码单元220可对数据执行CABAC操作、上下文自适应可变长度译码(CAVLC)操作、可变至可变(V2V)长度译码操作、基于语法的上下文自适应二位算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码(Exponential-Golomb encoding)操作或另一类型的熵编码操作。在一些实例中,熵编码单元220可在旁路模式中操作,其中语法元素未经熵编码。
视频编码器200可输出位流,所述位流包含重建构图块或图片的块所需的经熵编码语法元素。特定来说,熵编码单元220可输出所述位流。
上文所描述的操作关于块进行描述。此描述应理解为用于明度译码块及/或色度译码块的操作。如上文所描述,在一些实例中,明度译码块及色度译码块为CU的明度及色度分量。在一些实例中,明度译码块及色度译码块为PU的明度及色度分量。
在一些实例中,无需针对色度译码块重复关于明度译码块执行的操作。作为一个实例,无需重复识别明度译码块的运动向量(MV)及参考图片的操作用于识别色度块的MV及参考图片。实情为,明度译码块的MV可按比例调整以确定色度块的MV,且参考图片可为相同的。作为另一实例,帧内预测程序可针对明度译码块及色度译码块为相同的。
视频编码器200表示经配置以编码视频数据的装置的实例,包含经配置以存储视频数据的存储器及实施于电路中且经配置以执行本公开中描述的实例编码操作的一或多个处理单元,所述操作包含对于块内复制与上文所描述的不同译码模式之间的各种相互作用的操作。
图4为说明可执行本公开的技术的实例视频解码器300的框图。出于解释的目的而提供图4,且其并不限制如本公开中所广泛例示及描述的技术。出于解释的目的,本公开描述视频解码器300是根据JEM及HEVC的技术来描述的。然而,本公开的技术可由经配置为其它视频译码标准的视频译码装置执行。
在图4的实例中,视频解码器300包含经译码图片缓冲器(CPB)存储器320、熵解码单元302、预测处理单元304、反量化单元306、反变换处理单元308、重建构单元310、滤波器单元312及经解码图片缓冲器(DPB)314。预测处理单元304包含运动补偿单元316及帧内预测单元318。预测处理单元304可包含根据其它预测模式执行预测的额外单元。作为实例,预测处理单元304可包含调色板单元、块内复制单元(其可形成运动补偿单元316的部分)、仿射单元、线性模型(LM)单元或其类似者。在其它实例中,视频解码器300可包含较多、较少或不同功能组件。
CPB存储器320可存储待由视频解码器300的组件解码的视频数据,诸如经编码视频位流。可例如自计算机可读媒体110(图1)获得存储于CPB存储器320中的视频数据。CPB存储器320可包含存储来自经编码视频位流的经编码视频数据(例如语法元素)的CPB。此外,CPB存储器320可存储除经译码图片的语法元素之外的视频数据,诸如表示来自视频解码器300的各种单元的输出的临时数据。DPB 314通常存储经解码图片,其中视频解码器300可在解码经编码视频位流的后续数据或图片时输出所述经解码图片及/或将其用作参考视频数据。CPB存储器320及DPB 314可由诸如动态随机存取存储器(DRAM)的多种存储器装置中的任一者形成,包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。CPB存储器320及DPB 314可由同一存储器装置或单独存储器装置提供。在各种实例中,CPB存储器320可与视频解码器300的其它组件一起在芯片上,或相对于那些组件在芯片外。
另外地或可替代地,在一些实例中,视频解码器300可自存储器120(图1)检索经译码视频数据。即,存储器120可用CPB存储器320存储如上文所论述的数据。同样,当视频解码器300的一些或所有功能性实施于软件中以通过视频解码器300的处理电路执行时,存储器120可存储待由视频解码器300执行的指令。
图4中所展示的各种单元经说明以辅助理解由视频解码器300执行的操作。单元可经实施为固定功能电路、可编程电路或其组合。类似于图3,固定功能电路指代提供特定功能性,且在可执行的操作上预设的电路。可编程电路是指可经编程以执行各种任务并在可经执行的操作中提供灵活功能性的电路。举例来说,可编程电路可执行使得可编程电路以由软件或固件的指令定义的方式操作的软件或固件。固定功能电路可执行软件指令(例如以接收参数或输出参数),但固定功能电路执行的操作的类型通常是不可变的。在一些实例中,单元中的一或多者可为不同电路块(固定功能或可编程),且在一些实例中,一或多个单元可为集成电路。
视频解码器300可包含ALU、EFU、数字电路、模拟电路及/或由可编程电路形成的可编程核心。在视频解码器300的操作由执行于可编程电路上的软件执行的实例中,芯片上或芯片外存储器可存储视频解码器300接收并执行的软件的指令(例如目标码)。
熵解码单元302可自CPB接收经编码视频数据,并熵解码视频数据以再生语法元素。预测处理单元304、反量化单元306、反变换处理单元308、重建构单元310及滤波器单元312可基于自位流中提取的语法元素而产生经解码视频数据。
一般来说,视频解码器300在逐块基础上重建构图片。视频解码器300可单独地对每一块执行重建构操作(其中当前正重建构(即经解码)的块可被称为“当前块”)。
熵解码单元302可熵解码定义经量化变换系数块的经量化变换系数的语法元素,以及诸如量化参数(QP)及/或变换模式指示的变换信息。反量化单元306可使用与经量化变换系数块相关联的QP确定量化程度,且同样确定反量化程度供反量化单元306应用。反量化单元306可例如执行按位左移操作以将经量化变换系数反量化。反量化单元306可从而形成包含变换系数的变换系数块。
在反量化单元306形成变换系数块后,反变换处理单元308可将一或多个反变换应用于变换系数块以产生与当前块相关联的残余块。举例来说,反变换处理单元308可将反DCT、反整数变换、反Karhunen-Loeve变换(KLT)、反旋转变换、反定向变换或另一反变换应用于系数块。
此外,预测处理单元304根据通过熵解码单元302熵解码的预测信息语法元素产生预测块。举例来说,若预测信息语法元素指示当前块经帧间预测,则运动补偿单元316可产生预测块。在此情况下,预测信息语法元素可指示DPB 314中的参考图片(自其检索参考块),以及运动向量,其识别参考图片中的参考块相对于当前图片中的当前块的位置的位置。运动补偿单元316可总体上以基本上类似于关于运动补偿单元224(图3)所描述的方式的方式执行帧间预测程序。
作为另一实例,若预测信息语法元素指示当前块经帧内预测,则帧内预测单元318可根据通过预测信息语法元素指示的帧内预测模式产生预测块。同样,帧内预测单元318可总体上以基本上类似于关于帧内预测单元226(图3)所描述的方式的方式执行帧内预测程序。帧内预测单元318可将相邻样本的数据自DPB 314检索至当前块。
重建构单元310可使用预测块及残余块重建构当前块。举例来说,重建构单元310可将残余块的样本添加至预测块的对应样本以重建构当前块。
滤波器单元312可对经重建构块执行一或多个滤波操作。举例来说,滤波器单元312可执行解块操作以沿经重建块的边缘减少块效应伪影。如通过图4中的虚线所说明,无需在所有实例中执行滤波器单元312的操作。
视频解码器300可将经重建构块存储于DPB 314中。如上文所论述,DPB 314可将参考信息提供至预测处理单元304,诸如用于帧内预测的当前图片及用于后续运动补偿的先前经解码图片的样本。此外,视频解码器300可输出来自DPB的经解码图片用于后续呈现于显示装置上,诸如图1的显示装置118。
以此方式,视频解码器300表示包含经配置以存储视频数据的存储器及实施于电路中且经配置以执行本公开中描述的实例解码操作的一或多个处理单元的视频解码装置的实例,所述操作包含对于块内复制与上文所描述的不同译码模式之间的各种相互作用的操作。
图19为说明译码视频数据的实例方法的流程图。为易于描述,实例技术涉及经配置以译码(例如编码或解码)的视频译码器(例如视频编码器200或视频解码器300)所描述。在图19中所说明的实例中,视频译码器可自存储器(例如视频数据存储器230、DPB218、或用于视频编码器200的某一其它视频数据存储器或CPB存储器320、DPB 314、或用于视频解码器300的某一其它视频数据存储器)检索视频数据,诸如第一色彩分量及第二色彩分量的样本。
视频编码器200可根据第一分割树分割第一色彩分量的样本且根据第二分割树分割第二色彩分量的样本。视频编码器200可传信视频解码器300指示分割的信息使得视频解码器300可确定视频解码器300针对哪些块接收信息。
在本公开中描述的实例中,第二分割树与第一分割树不同,且第二色彩分量与第一色彩分量不同。第一色彩分量为明度分量而第二色彩分量为色度分量,或反之亦然。作为一个实例,视频译码器可根据明度QTBT结构(如图2B、17A及18A中所说明)分割第一色彩分量的样本。视频译码器可根据如图17B中所说明的色度QTBT结构分割第二色彩分量的样本。
视频译码器可确定对应于第二色彩分量的块的第一色彩分量的多个块(800)。如上文所描述,第一色彩分量的多个块是通过根据第一分割树(例如图2B、17A及18A的明度QTBT结构)分割第一色彩分量的样本而产生,且第二色彩分量的块是通过根据第二分割树(例如图17B的色度QTBT结构)分割第二色彩分量的样本而产生。第一色彩分量的多个块及第二色彩分量的块可为视频数据的图片的同一译码块的每一部分。
举例来说,为确定对应于第二色彩分量的块的第一色彩分量的多个块,视频译码器可确定第一色彩分量的多个块及第二色彩分量的块的位置,第一色彩分量的块的样本值及第二色彩分量的块的样本值是否共同形成译码块的样本的样本值及类似者。作为实例,包含多个明度块的明度分区701与色度块706一致。明度分区701及色度块706的样本值共同形成CU的样本的样本值(例如明度分区701的第一样本及色度块706的第一样本共同形成CU的第一样本,明度分区701的第二样本及色度块706的第二样本共同形成CU的第二样本等)。
视频译码器可基于第一分割树分割第二色彩分量的块以产生各自对应于第一色彩分量的多个块中的块的第二色彩分量的子块(802)。举例来说,如图18B中所说明,视频译码器可分割包含子块708A及708B的色度分区710中的色度块706。色度子块708A及708B各自分别对应于明度块704A及明度块704B。举例来说,明度块704A的第一样本及色度子块708A的第一样本共同形成CU的第一样本,明度块704A的第二样本及色度子块708A的第二样本共同形成CU的第二样本等等。类似地,明度块704B的第一样本及色度子块708B的第一样本共同形成CU的第三样本,明度块704B的第二样本及色度子块708B的第二样本共同形成CU的第四样本等等。
在一或多个实例中,视频译码器可基于第一色彩分量的多个块的一或多个对应块的一或多个块向量确定在块内复制(IBC)预测模式中经预测的第二色彩分量的子块中的一或多者的一或多个块向量(804)。举例来说,视频译码器可确定第二色彩分量的块将继承第一色彩分量的多个块的一或多个对应块的一或多个块向量(例如基于至参考图片列表中的所传信信息,诸如参考索引)。
响应于确定第二色彩分量的块将继承第一色彩分量的多个块的一或多个对应块的一或多个块向量,视频译码器可基于第一色彩分量的多个块的一或多个对应块的一或多个块向量而确定在IBC预测模式中经预测的一或多个子块的一或多个块向量。举例来说,视频译码器可确定色度子块708A及708B将继承明度块704A及704B的块向量,且响应于所述确定,视频译码器可基于明度块704A及704B的块向量而确定色度子块708A及708B的块向量。
在一些实例中,为确定一或多个子块的一或多个块向量,视频译码器可经配置以基于第一色彩分量及第二色彩分量的子取样格式而按比例调整第一色彩分量的多个块的一或多个对应块的一或多个块向量。举例来说,在图18A及18B中,使用4:2:2次取样格式,且因此明度块704A及704B的块向量的x组件及y组件两者除以视频译码器以确定分别子块708A及708B的块向量。
此外,在一些实例中,色度子块中的一者的多个块向量中的至少一者与色度子块中的另一者的多个块向量中的另一者不同。举例来说,色度子块708A的块向量与色度子块708B的块向量不同。
视频译码器可经配置以基于一或多个经确定块向量译码第二色彩分量的块(806)。在视频译码器为视频编码器200的实例中,视频编码器200可经配置以基于一或多个经确定块向量编码第二色彩分量的块。举例来说,视频编码器200可经配置以基于一或多个子块的一或多个经确定块向量确定一或多个预测块,自相应一或多个子块减去一或多个预测块以产生一或多个残余块,且传信指示所述一或多个残余块的信息。
在视频译码器为视频解码器300的实例中,视频解码器300可经配置以基于一或多个经确定块向量解码第二色彩分量的块。举例来说,视频解码器300可经配置以基于一或多个子块的一或多个经确定块向量而确定一或多个预测块,确定一或多个子块的一或多个残余块(例如基于经传信信息),且将一或多个残余块添加至相应一或多个预测块以重建构第二色彩分量的块的子块。
如上文所描述,本公开描述通过视频译码技术应用IBC预测模式的技术。举例来说,假定图19的第二色彩分量的块为第一图片中的第一块。在一些实例中,视频译码器可经配置以确定未在IBC预测模式中预测第一色彩分量或第二色彩分量的第二图片中的第二块,确定第二块的第一运动向量精确度集合,确定第一色彩分量或第二色彩分量的第三块是在IBC预测模式中经预测,及确定第三块的第二运动向量精确度集合,其中第二运动向量精确度集合为第一运动向量精确度集合的子集。
作为另一实例,假定图19的第二色彩分量的块为第一图片中的第一块。在一些实例中,视频译码器可经配置以确定第一色彩分量或第二色彩分量的第二图片中的第二块使用可替代时间运动向量预测(ATMVP)经预测,确定用于在第二块上执行ATMVP的参考图片中的一或多个块,确定参考图片中的一或多个块中的至少一个块在IBC预测模式中经预测,且对第二块执行ATMVP操作且不使用在IBC预测模式中经预测的参考图片中的至少一个块的块向量。
作为另一实例,假定图19的第二色彩分量的块为第一图片中的第一块。在一些实例中,视频译码器可经配置以确定第二图片中的第二块在IBC预测模式中经译码,且基于第二块在IBC预测模式中经译码的确定避免传信或解析信息中的至少一者,所述信息指示是否启用仿射模式用于第二块。举例来说,视频编码器200可不传信指示是否启用仿射模式用于第二块的信息,且视频解码器300可不解析指示是否启用仿射模式用于第二块的信息。
作为另一实例,假定图19的第二色彩分量的块为第一图片中的第一块。在一些实例中,视频译码器可经配置以确定第二图片中的第二块在IBC预测模式中经译码,且基于第二块在IBC预测模式中经译码的确定避免传信或解析信息中的至少一者,所述信息指示是否启用照明补偿(IC)模式用于第二块。举例来说,视频编码器200可不传信指示是否启用IC模式用于第二块的信息,且视频解码器300可不解析指示是否启用IC模式用于第二块的信息。
作为另一实例,假定图19的第二色彩分量的块为第一图片中的第一块。在一些实例中,视频译码器可经配置以确定第二图片中的第二块是使用指代第二图片的向量经译码且可基于第二块正使用指代第二图片的向量经译码而避免在第二块上执行双向光流(BIO)。
作为另一实例,假定图19的第二色彩分量的块为第一图片中的第一块。在一些实例中,视频译码器可经配置以确定第二图片中的第二块是使用指代第二图片的向量经译码且可基于第二块是使用指代第二图片的向量经译码而避免在第二块上执行双文字匹配。
应认识到,视实例而定,本文中所描述的技术中的任一者的某些动作或事件可以不同序列执行、可经添加、合并或完全省去(例如并非所有所描述动作或事件为实践所述技术所必要的)。此外,在某些实例中,可例如经由多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。
在一或多个实例中,所描述功能可以硬件、软件、固件或其任何组合来实施。若以软件实施,则所述功能可作为一或多个指令或代码而在计算机可读媒体上存储或传输,且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于诸如数据存储媒体的有形媒体)或通信媒体(其包含例如根据通信协议促进计算机程序自一处传送至另一处的任何媒体)。以此方式,计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体,或(2)诸如信号或载波的通信媒体。数据存储媒体可为可通过一或多个计算机或一或多个处理器存取以检索指令、代码及/或数据结构以用于实施本公开所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为实例而非限制,此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、闪存或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。此外,任何连接被适当地称为计算机可读媒体。举例来说,若使用同轴缆线、光缆、双绞线、数字用户线(digitalsubscriber line;DSL)或无线技术(诸如红外线、无线电及微波)自网站、服务器或其它远程源传输指令,则同轴缆线、光缆、双绞线、DSL或无线技术(诸如红外线、无线电及微波)包含于媒体的定义中。然而,应理解,计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体,而替代地关于非暂时性有形存储媒体。如本文中所使用,磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能盘(DVD)、软盘及Blu-ray光盘,其中磁盘通常以磁性方式再生数据,而光盘通过激光以光学方式再生数据。以上各者的组合还应包含于计算机可读媒体的范畴内。
指令可由诸如一或多个数字信号处理器(DSP)、通用微处理器、特殊应用集成电路(ASIC)、场可编程门阵列(FPGA)或其它等效集成或离散逻辑电路的一或多个处理器来执行。因此,如本文所用的术语“处理器”可指代前述结构或适用于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,本文所描述的功能可经提供于经配置以供编码及解码或并入于经组合编码解码器中的专用硬件及/或软件模块内。此外,所述技术可完全实施于一或多个电路或逻辑组件中。
本公开的技术可实施于多种装置或设备中,包含无线手持机、集成电路(IC)或IC集合(例如芯片集合)。在本公开中描述各种组件、模块或单元以强调经配置以执行所公开技术的装置的功能方面,但未必要求由不同硬件单元来实现。确切地说,如上文所描述,可将各种单元组合于编码解码器硬件单元中,或由互操作性硬件单元的集合结合合适软件及/或固件来提供所述单元,所述硬件单元包含如上文所描述的一或多个处理器。
已描述各种实例。这些及其它实例在随附权利要求书的范畴内。

Claims (30)

1.一种译码视频数据的方法,所述方法包括:
确定对应于第二色彩分量的块的第一色彩分量的多个块,其中所述第一色彩分量的所述多个块通过根据第一分割树分割所述第一色彩分量的样本而产生,且所述第二色彩分量的所述块通过根据第二分割树分割所述第二色彩分量的样本而产生;
基于所述第一分割树分割所述第二色彩分量的所述块以产生各自对应于所述第一色彩分量的所述多个块中的块的所述第二色彩分量的子块;
基于所述第一色彩分量的所述多个块中的一或多个对应块的一或多个块向量而确定在块内复制IBC预测模式中经预测的所述第二色彩分量的所述子块中的一或多个子块的一或多个块向量;及
基于经确定的所述一或多个块向量译码所述第二色彩分量的所述块。
2.根据权利要求1所述的方法,其中确定一或多个子块的所述一或多个块向量包括确定多个子块的多个块向量,且其中所述子块中的一者的所述多个块向量中的至少一者与所述子块中的另一者的所述多个块向量中的另一者不同。
3.根据权利要求1所述的方法,其中确定一或多个子块的所述一或多个块向量包括基于所述第一色彩分量及所述第二色彩分量的子取样格式而按比例调整所述第一色彩分量的所述多个块的所述一或多个对应块的所述一或多个块向量。
4.根据权利要求1所述的方法,其中所述第一色彩分量包括明度分量,且其中所述第二色彩分量包括色度分量。
5.根据权利要求1所述的方法,其进一步包括:
确定所述第二色彩分量的所述块将继承所述第一色彩分量的所述多个块的所述一或多个对应块的所述一或多个块向量,
其中确定所述第二色彩分量的所述子块中的所述一或多个子块的所述一或多个块向量包括响应于确定所述第二色彩分量的所述块将继承所述第一色彩分量的所述多个块的所述一或多个对应块的所述一或多个块向量,基于所述第一色彩分量的所述多个块的所述一或多个对应块的所述一或多个块向量而确定在所述IBC预测模式中经预测的所述一或多个子块的所述一或多个块向量。
6.根据权利要求1所述的方法,其中所述第一色彩分量的所述多个块及所述第二色彩分量的所述块各自为所述视频数据的图像的相同译码块的部分。
7.根据权利要求1所述的方法,其中所述第二色彩分量的所述块包括第一图像中的第一块,所述方法进一步包括:
确定所述第一色彩分量或所述第二色彩分量的第二图像中的第二块未在所述IBC预测模式中经预测;
确定所述第二块的第一运动向量精确度集合;
确定所述第一色彩分量或所述第二色彩分量的第三块在所述IBC预测模式中经预测;及
确定所述第三块的第二运动向量精确度集合,其中所述第二运动向量精确度集合为所述第一运动向量精确度集合的子集。
8.根据权利要求1所述的方法,其中所述第二色彩分量的所述块包括第一图像中的第一块,所述方法进一步包括:
确定所述第一色彩分量或所述第二色彩分量的第二图像中的第二块是使用替代时间运动向量预测ATMVP来预测的;
确定用于对所述第二块执行ATMVP的参考图像中的一或多个块;
确定所述参考图像中的所述一或多个块中的至少一个块是在所述IBC预测模式中预测的;及
对所述第二块执行ATMVP操作而不使用用于在所述IBC预测模式中预测的所述参考图像中的所述至少一个块的块向量。
9.根据权利要求1所述的方法,其中所述第二色彩分量的所述块包括第一图像中的第一块,所述方法进一步包括:
确定第二图像中的第二块在所述IBC预测模式中经译码;及
基于所述第二块在所述IBC预测模式中经译码的所述确定而避免传信或解析信息中的至少一者,所述信息指示是否启用仿射模式用于所述第二块。
10.根据权利要求1所述的方法,其中所述第二色彩分量的所述块包括第一图像中的第一块,所述方法进一步包括:
确定第二图像中的第二块在所述IBC预测模式中经译码;及
基于所述第二块在所述IBC预测模式中经译码的所述确定而避免传信或解析信息中的至少一者,所述信息指示是否启用照明补偿IC模式用于所述第二块。
11.根据权利要求1所述的方法,其中所述第二色彩分量的所述块包括第一图像中的第一块,所述方法进一步包括:
确定第二图像中的第二块是使用指代所述第二图像的向量经译码的;及
基于所述第二块是使用指代所述第二图像的所述向量经译码的而避免对所述第二块执行双向光流BIO。
12.根据权利要求1所述的方法,其中所述第二色彩分量的所述块包括第一图像中的第一块,所述方法进一步包括:
确定第二图像中的第二块是使用指代所述第二图像的向量经译码的;及
基于所述第二块是使用指代所述第二图像的所述向量经译码的而避免对所述第二块执行双文字匹配。
13.根据权利要求1所述的方法,其中译码所述第二色彩分量的所述块包括解码所述第二色彩分量的所述块,且其中解码所述第二色彩分量的所述块包括:
基于所述一或多个子块的经确定的所述一或多个块向量而确定一或多个预测块;
确定所述一或多个子块的一或多个残余块;及
将所述一或多个残余块添加至相应一或多个预测块以重建构所述第二色彩分量的所述块的所述子块。
14.根据权利要求1所述的方法,其中译码所述第二色彩分量的所述块包括编码所述第二色彩分量的所述块,且其中编码所述第二色彩分量的所述块包括:
基于所述一或多个子块的经确定的所述一或多个块向量而确定一或多个预测块;
自所述一或多个子块中的相应者减去所述一或多个预测块以产生一或多个残余块;及
传信指示所述一或多个残余块的信息。
15.一种用于译码视频数据的装置,所述装置包括:
存储器,其经配置以存储所述视频数据的第一色彩分量的样本及第二色彩分量的样本;及
视频译码器,其包括可编程及固定功能电路中的至少一者,其中所述视频译码器经配置以:
确定对应于第二色彩分量的块的第一色彩分量的多个块,其中所述第一色彩分量的所述多个块是通过根据第一分割树分割所述第一色彩分量的样本而产生,且所述第二色彩分量的所述块是通过根据第二分割树分割所述第二色彩分量的样本而产生;
基于所述第一分割树分割所述第二色彩分量的所述块以产生各自对应于所述第一色彩分量的所述多个块中的块的所述第二色彩分量的子块;
基于所述第一色彩分量的所述多个块的一或多个对应块的一或多个块向量来确定在块内复制IBC预测模式中经预测的所述第二色彩分量的所述子块中的一或多个子块的一或多个块向量;及
基于经确定的所述一或多个块向量译码所述第二色彩分量的所述块。
16.根据权利要求15所述的装置,其中为确定一或多个子块的所述一或多个块向量,所述视频译码器经配置以确定多个子块的多个块向量,且其中所述子块中的一者的所述多个块向量中的至少一者与所述子块中的另一者的所述多个块向量中的另一者不同。
17.根据权利要求15所述的装置,其中为确定一或多个子块的所述一或多个块向量,所述视频译码器经配置以基于所述第一色彩分量及所述第二色彩分量的子取样格式而按比例调整所述第一色彩分量的所述多个块的所述一或多个对应块的所述一或多个块向量。
18.根据权利要求15所述的装置,其中所述第一色彩分量包括明度分量,且其中所述第二色彩分量包括色度分量。
19.根据权利要求15所述的装置,其中所述视频译码器经配置以:
确定所述第二色彩分量的所述块将继承所述第一色彩分量的所述多个块的所述一或多个对应块的所述一或多个块向量,
其中为确定所述第二色彩分量的所述子块中的所述一或多个子块的所述一或多个块向量,所述视频译码器经配置以响应于确定所述第二色彩分量的所述块将继承所述第一色彩分量的所述多个块的所述一或多个对应块的所述一或多个块向量,基于所述第一色彩分量的所述多个块的所述一或多个对应块的所述一或多个块向量而确定在所述IBC预测模式中经预测的所述一或多个子块的所述一或多个块向量。
20.根据权利要求15所述的装置,其中所述第一色彩分量的所述多个块及所述第二色彩分量的所述块各自为所述视频数据的图像的相同译码块的部分。
21.根据权利要求15所述的装置,其中所述第二色彩分量的所述块包括第一块,且其中所述视频译码器经配置以:
确定所述第一色彩分量或所述第二色彩分量的第二块未在所述IBC预测模式中经预测;
确定所述第二块的第一运动向量精确度集合;
确定所述第一色彩分量或所述第二色彩分量的第三块在所述IBC预测模式中经预测;及
确定所述第三块的第二运动向量精确度集合,其中所述第二运动向量精确度集合为所述第一运动向量精确度集合的子集。
22.根据权利要求15所述的装置,其中所述第二色彩分量的所述块包括第一块,且其中所述视频译码器经配置以:
确定所述第一色彩分量或所述第二色彩分量的第二块是使用替代时间运动向量预测ATMVP来预测的;
确定用于对所述第二块执行ATMVP的参考图像中的一或多个块;
确定所述参考图像中的所述一或多个块中的至少一个块在所述IBC预测模式中经预测;及
对所述第二块执行ATMVP操作而不使用用于在所述IBC预测模式中预测的所述参考图像中的所述至少一个块的块向量。
23.根据权利要求15所述的装置,其中所述第二色彩分量的所述块包括第一图像中的第一块,且其中所述视频译码器经配置以:
确定第二图像中的第二块在所述IBC预测模式中经译码;及
基于所述第二块在所述IBC预测模式中经译码的所述确定而避免传信或解析信息中的至少一者,所述信息指示是否启用仿射模式用于所述第二块。
24.根据权利要求15所述的装置,其中所述第二色彩分量的所述块包括第一图像中的第一块,且其中所述视频译码器经配置以:
确定第二图像中的第二块在所述IBC预测模式中经译码;以及
基于所述第二块在所述IBC预测模式中经译码的所述确定而避免传信或解析信息中的至少一者,所述信息指示是否启用照明补偿IC模式用于所述第二块。
25.根据权利要求15所述的装置,其中所述第二色彩分量的所述块包括第一图像中的第一块,且其中所述视频译码器经配置以:
确定第二图像中的第二块是使用指代所述第二图像的向量经译码的;及
基于所述第二块是使用指代所述第二图像的所述向量经译码的而避免对所述第二块执行双向光流BIO。
26.根据权利要求15所述的装置,其中所述第二色彩分量的所述块包括第一图像中的第一块,且其中所述视频译码器经配置以:
确定第二图像中的第二块是使用指代所述第二图像的向量经译码的;及
基于所述第二块是使用指代所述第二图像的所述向量经译码的而避免对所述第二块执行双文字匹配。
27.根据权利要求15所述的装置,其中所述视频译码器包括视频解码器,其中为译码所述第二色彩分量的所述块,所述视频解码器经配置以解码所述第二色彩分量的所述块,且其中为解码所述第二色彩的所述块,所述视频解码器经配置以:
基于所述一或多个子块的经确定的所述一或多个块向量而确定一或多个预测块;
确定所述一或多个子块的一或多个残余块;及
将所述一或多个残余块添加至相应一或多个预测块以重建构所述第二色彩分量的所述块的所述子块。
28.根据权利要求15所述的装置,其中所述视频译码器包括视频编码器,其中为译码所述第二色彩分量的所述块,所述视频编码器经配置以编码所述第二色彩分量的所述块,且其中为编码所述第二色彩的所述块,所述视频编码器经配置以:
基于所述一或多个子块的经确定的所述一或多个块向量而确定一或多个预测块;
自所述一或多个子块中的相应者减去所述一或多个预测块以产生一或多个残余块;及
传信指示所述一或多个残余块的信息。
29.一种存储指令的计算机可读存储媒体,所述指令在经执行时使得用于译码视频数据的装置的一或多个处理器进行以下操作:
确定对应于第二色彩分量的块的第一色彩分量的多个块,其中所述第一色彩分量的所述多个块是通过根据第一分割树分割所述第一色彩分量的样本而产生,且所述第二色彩分量的所述块是通过根据第二分割树分割所述第二色彩分量的样本而产生;
基于所述第一分割树分割所述第二色彩分量的所述块以产生各自对应于所述第一色彩分量的所述多个块中的块的所述第二色彩分量的子块;
基于所述第一色彩分量的所述多个块的一或多个对应块的一或多个块向量而确定在块内复制IBC预测模式中经预测的所述第二色彩分量的所述子块中的一或多个子块的一或多个块向量;及
基于经确定的所述一或多个块向量译码所述第二色彩分量的所述块。
30.一种用于译码视频数据的装置,其包括:
用于确定对应于第二色彩分量的块的第一色彩分量的多个块的装置,其中所述第一色彩分量的所述多个块是通过根据第一分割树分割所述第一色彩分量的样本而产生,且所述第二色彩分量的所述块是通过根据第二分割树分割所述第二色彩分量的样本而产生;
用于基于所述第一分割树分割所述第二色彩分量的所述块以产生各自对应于所述第一色彩分量的所述多个块中的块的所述第二色彩分量的子块的装置;
用于基于所述第一色彩分量的所述多个块的一或多个对应块的一或多个块向量而确定在块内复制IBC预测模式中经预测的所述第二色彩分量的所述子块中的一或多个子块的一或多个块向量的装置;及
用于基于经确定的所述一或多个块向量译码所述第二色彩分量的所述块的装置。
CN201980011713.9A 2018-02-08 2019-02-07 用于视频译码的块内复制 Active CN111684806B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862628101P 2018-02-08 2018-02-08
US62/628,101 2018-02-08
US16/269,349 2019-02-06
US16/269,349 US11012715B2 (en) 2018-02-08 2019-02-06 Intra block copy for video coding
PCT/US2019/017055 WO2019157186A1 (en) 2018-02-08 2019-02-07 Intra block copy for video coding

Publications (2)

Publication Number Publication Date
CN111684806A CN111684806A (zh) 2020-09-18
CN111684806B true CN111684806B (zh) 2024-03-15

Family

ID=67475818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980011713.9A Active CN111684806B (zh) 2018-02-08 2019-02-07 用于视频译码的块内复制

Country Status (8)

Country Link
US (1) US11012715B2 (zh)
EP (1) EP3750317A1 (zh)
KR (1) KR20200116462A (zh)
CN (1) CN111684806B (zh)
BR (1) BR112020016133A2 (zh)
SG (1) SG11202006301YA (zh)
TW (1) TW201941605A (zh)
WO (1) WO2019157186A1 (zh)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4072141A1 (en) * 2016-03-24 2022-10-12 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding video signal
US10687071B2 (en) 2018-02-05 2020-06-16 Tencent America LLC Method and apparatus for video coding
US20190273946A1 (en) * 2018-03-05 2019-09-05 Markus Helmut Flierl Methods and Arrangements for Sub-Pel Motion-Adaptive Image Processing
US10873748B2 (en) * 2018-05-12 2020-12-22 Qualcomm Incorporated Storage of high precision motion vectors in video coding
WO2019234604A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Extended quad-tree with asymmetric sub-blocks
WO2019234598A1 (en) * 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between ibc and stmvp
WO2019244051A1 (en) * 2018-06-19 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Selected mvd precision without mvp truncation
EP4307671A3 (en) 2018-06-21 2024-02-07 Beijing Bytedance Network Technology Co., Ltd. Sub-block mv inheritance between color components
TWI739120B (zh) 2018-06-21 2021-09-11 大陸商北京字節跳動網絡技術有限公司 合併仿射模式與非合併仿射模式的統一拘束
TWI820197B (zh) 2018-08-28 2023-11-01 大陸商北京字節跳動網絡技術有限公司 與擴展四叉樹相關的分割的二值化
EP4387224A1 (en) 2018-08-28 2024-06-19 Huawei Technologies Co., Ltd. Picture partitioning method and apparatus
TWI815967B (zh) 2018-09-19 2023-09-21 大陸商北京字節跳動網絡技術有限公司 仿射模式編解碼的模式相關自適應調整運動矢量分辨率
CN117768651A (zh) 2018-09-24 2024-03-26 北京字节跳动网络技术有限公司 处理视频数据的方法、装置、介质、以及比特流存储方法
US11140404B2 (en) 2018-10-11 2021-10-05 Tencent America LLC Method and apparatus for video coding
WO2020089823A1 (en) 2018-10-31 2020-05-07 Beijing Bytedance Network Technology Co., Ltd. Overlapped block motion compensation with adaptive sub-block size
CN112997480B (zh) 2018-11-10 2023-08-22 北京字节跳动网络技术有限公司 成对平均候选计算中的取整
WO2020098683A1 (en) 2018-11-13 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction method for intra block copy
CN113170195A (zh) 2018-12-22 2021-07-23 北京字节跳动网络技术有限公司 具有双树分割的帧内块复制模式
EP3902257A4 (en) * 2018-12-27 2022-01-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. CODING PREDICTION METHOD AND DEVICE AND COMPUTER STORAGE MEDIUM
US11800089B2 (en) * 2019-01-02 2023-10-24 Lg Electronics Inc. SbTMVP-based inter prediction method and apparatus
JP7317973B2 (ja) * 2019-01-08 2023-07-31 華為技術有限公司 画像予測方法、機器、及びシステム、装置、及び記憶媒体
US11153590B2 (en) * 2019-01-11 2021-10-19 Tencent America LLC Method and apparatus for video coding
CN118118659A (zh) 2019-01-31 2024-05-31 北京字节跳动网络技术有限公司 记录仿射模式自适应运动矢量分辨率的上下文
CN113383549A (zh) * 2019-02-02 2021-09-10 北京字节跳动网络技术有限公司 使用用于视频编解码中的帧内块复制的帧内缓冲区样点的预测
KR102662448B1 (ko) 2019-02-02 2024-05-02 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 버퍼내 데이터 저장
CN113454996A (zh) 2019-02-17 2021-09-28 北京字节跳动网络技术有限公司 帧内块复制模式的运动候选列表构建
CN112514380A (zh) * 2019-02-26 2021-03-16 株式会社 Xris 用于对视频信号进行编码/解码的方法及其设备
WO2020173483A1 (en) * 2019-02-27 2020-09-03 Beijing Bytedance Network Technology Co., Ltd. Improvement on adaptive motion vector difference resolution in intra block copy mode
EP3915265A4 (en) 2019-03-01 2022-06-22 Beijing Bytedance Network Technology Co., Ltd. DIRECTION-BASED PREDICTION FOR INTRA BLOCK COPY IN VIDEO CODING
CN113508581B (zh) 2019-03-04 2023-11-14 北京字节跳动网络技术有限公司 视频编解码中的帧内块复制中的实施方式方面
WO2020180166A1 (ko) * 2019-03-07 2020-09-10 디지털인사이트주식회사 영상 부호화/복호화 방법 및 장치
KR20200108798A (ko) * 2019-03-11 2020-09-21 한국전자통신연구원 화면 내 블록 복사 기반 부호화/복호화 방법, 장치 및 비트스트림 저장매체
CN113574869B (zh) * 2019-03-17 2024-01-05 北京字节跳动网络技术有限公司 基于光流的预测细化
CN114270844A (zh) * 2019-06-20 2022-04-01 交互数字Vc控股法国有限公司 用于视频编码和解码的运动向量处理
KR20230170800A (ko) 2019-07-06 2023-12-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 카피를 위한 가상 예측 버퍼
CN114175633B (zh) 2019-07-10 2023-12-29 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的样点标识
EP3981146A4 (en) 2019-07-11 2022-08-03 Beijing Bytedance Network Technology Co., Ltd. BITSTREAM CONFORMITY RESTRICTIONS FOR INTRA-BLOCK COPY IN VIDEO ENCODING
KR20220036937A (ko) 2019-07-25 2022-03-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 블록 복사 가상 버퍼에 대한 매핑 제한
CN114208186B (zh) 2019-07-25 2023-12-22 北京字节跳动网络技术有限公司 帧内块复制虚拟缓冲区的尺寸限制
EP3997868A4 (en) * 2019-08-10 2023-02-22 Beijing Bytedance Network Technology Co., Ltd. BUFFER MANAGEMENT DURING SUBPICTURE DECODING
US11218718B2 (en) * 2019-08-26 2022-01-04 Tencent America LLC Adaptive motion vector resolution signaling
CN114342410A (zh) 2019-09-05 2022-04-12 北京字节跳动网络技术有限公司 帧内块复制模式下块矢量的范围约束
JP6960969B2 (ja) * 2019-09-20 2021-11-05 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN114430901A (zh) 2019-09-20 2022-05-03 北京字节跳动网络技术有限公司 带有色度缩放的亮度映射
WO2021057751A1 (en) 2019-09-23 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Setting intra-block copy virtual buffer based on virtual pipeline data unit
CN114631321B (zh) 2019-10-18 2024-04-12 北京字节跳动网络技术有限公司 子图片与环路滤波之间的相互影响
KR20210138114A (ko) * 2019-12-23 2021-11-18 텐센트 아메리카 엘엘씨 비디오 코딩 방법 및 장치
CN115152229A (zh) * 2020-02-07 2022-10-04 抖音视界有限公司 merge估计区域下IBC块的BV列表构建过程
CN115191115A (zh) 2020-02-24 2022-10-14 字节跳动有限公司 子图片和片行信令通知之间的交互
JP7479492B2 (ja) 2020-03-03 2024-05-08 バイトダンス インコーポレイテッド ビデオ・コーディングにおける低周波ノン・セパラブル変換シグナリング
CN115362674A (zh) 2020-03-18 2022-11-18 抖音视界有限公司 帧内块复制缓冲区和调色板预测值更新
CN111669581B (zh) * 2020-06-09 2022-12-20 浙江大华技术股份有限公司 视频编码方法及其相关装置
KR20230002091A (ko) * 2021-06-29 2023-01-05 주식회사 케이티 화면내 예측 기반의 비디오 신호 부호화/복호화 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2023008888A1 (ko) * 2021-07-26 2023-02-02 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2023062614A1 (ko) * 2021-10-12 2023-04-20 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
WO2023182698A1 (ko) * 2022-03-24 2023-09-28 현대자동차주식회사 복원 루마 정보 기반 크로마 성분 예측을 위한 방법
WO2024010377A1 (ko) * 2022-07-05 2024-01-11 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2024085656A1 (ko) * 2022-10-18 2024-04-25 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 이를 위한 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015078304A1 (en) * 2013-11-27 2015-06-04 Mediatek Singapore Pte. Ltd. Method of video coding using prediction based on intra picture block copy
CN106134196A (zh) * 2014-03-21 2016-11-16 高通股份有限公司 在视频译码中用于帧内块复制的搜索区域确定
CN107615765A (zh) * 2015-06-03 2018-01-19 联发科技股份有限公司 视频编解码系统中在帧内块复制模式和帧间预测模式之间的资源共享的方法和装置
CN107646195A (zh) * 2015-06-08 2018-01-30 Vid拓展公司 用于屏幕内容编码的帧内块复制模式

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US10531116B2 (en) 2014-01-09 2020-01-07 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
US9883197B2 (en) * 2014-01-09 2018-01-30 Qualcomm Incorporated Intra prediction of chroma blocks using the same vector
US9860559B2 (en) * 2014-03-17 2018-01-02 Mediatek Singapore Pte. Ltd. Method of video coding using symmetric intra block copy
US10432928B2 (en) 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
JP6345805B2 (ja) * 2014-05-06 2018-06-20 寰發股▲ふん▼有限公司HFI Innovation Inc. Intraブロックコピーモード符号化のブロックベクトル予測の方法
US10412387B2 (en) 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
CN107005708A (zh) * 2014-09-26 2017-08-01 Vid拓展公司 使用时间块向量预测的块内复制译码
US9918105B2 (en) 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
US9591325B2 (en) * 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
US20160360205A1 (en) * 2015-06-08 2016-12-08 Industrial Technology Research Institute Video encoding methods and systems using adaptive color transform
US10368107B2 (en) 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10326986B2 (en) 2016-08-15 2019-06-18 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10979732B2 (en) 2016-10-04 2021-04-13 Qualcomm Incorporated Adaptive motion vector precision for video coding
WO2018142903A1 (en) * 2017-01-31 2018-08-09 Sharp Kabushiki Kaisha Systems and methods for partitioning a picture into video blocks for video coding
US10820017B2 (en) * 2017-03-15 2020-10-27 Mediatek Inc. Method and apparatus of video coding
EP3611925A4 (en) * 2017-04-13 2020-03-25 Panasonic Intellectual Property Corporation of America ENCODING DEVICE, DECODING DEVICE, ENCODING METHOD, AND DECODING METHOD
US10687071B2 (en) * 2018-02-05 2020-06-16 Tencent America LLC Method and apparatus for video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015078304A1 (en) * 2013-11-27 2015-06-04 Mediatek Singapore Pte. Ltd. Method of video coding using prediction based on intra picture block copy
CN106134196A (zh) * 2014-03-21 2016-11-16 高通股份有限公司 在视频译码中用于帧内块复制的搜索区域确定
CN107615765A (zh) * 2015-06-03 2018-01-19 联发科技股份有限公司 视频编解码系统中在帧内块复制模式和帧间预测模式之间的资源共享的方法和装置
CN107646195A (zh) * 2015-06-08 2018-01-30 Vid拓展公司 用于屏幕内容编码的帧内块复制模式

Also Published As

Publication number Publication date
CN111684806A (zh) 2020-09-18
EP3750317A1 (en) 2020-12-16
US11012715B2 (en) 2021-05-18
KR20200116462A (ko) 2020-10-12
TW201941605A (zh) 2019-10-16
WO2019157186A1 (en) 2019-08-15
US20190246143A1 (en) 2019-08-08
BR112020016133A2 (pt) 2020-12-08
SG11202006301YA (en) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111684806B (zh) 用于视频译码的块内复制
AU2019321565B2 (en) History-based candidate list with classification
US10863193B2 (en) Buffer restriction during motion vector prediction for video coding
CN110771164B (zh) 视频译码中的帧间预测与帧内预测的组合
CN109792526B (zh) 帧率上转换译码模式的改进
CN111567043B (zh) 对视频数据进行译码的方法、装置和计算机可读存储介质
US20200344482A1 (en) Simplified local illumination compensation
CN112806012A (zh) 用于帧间预测译码的基于历史的运动向量预测
CN112703740A (zh) 用于仿射模式的基于历史的运动矢量预测
EP3888369A1 (en) Simplification of history-based motion vector prediction
JP7379391B2 (ja) シグナリングサブ予測ユニット動きベクトル予測子
US20200120335A1 (en) Affine candidate derivation for video coding
US11570442B2 (en) Reducing motion field storage for prediction of video data using non-rectangular prediction modes
US10958932B2 (en) Inter-prediction coding of video data using generated motion vector predictor list including non-adjacent blocks
WO2019199953A1 (en) Decoder-side motion vector derivation for video coding
CN114009039A (zh) 视频译码中的时间运动矢量预测候选的推导
CN112437299B (zh) 一种帧间预测方法、装置及存储介质
CN112534820B (zh) 信令通知子预测单元运动矢量预测器
KR20230135587A (ko) 비디오 코딩을 위한 모델-기반 모션 벡터 차이 도출및 템플릿 매칭 예측
CN116601952A (zh) 视频译码的多假设预测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant