CN117319645A - 用于处理视频数据的方法、装置以及计算机可读存储介质 - Google Patents

用于处理视频数据的方法、装置以及计算机可读存储介质 Download PDF

Info

Publication number
CN117319645A
CN117319645A CN202311522941.7A CN202311522941A CN117319645A CN 117319645 A CN117319645 A CN 117319645A CN 202311522941 A CN202311522941 A CN 202311522941A CN 117319645 A CN117319645 A CN 117319645A
Authority
CN
China
Prior art keywords
video
block
samples
sample
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311522941.7A
Other languages
English (en)
Inventor
张凯
张莉
刘鸿彬
邓智玭
许继征
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN117319645A publication Critical patent/CN117319645A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/563Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供了用于处理视频数据的方法、装置以及计算机可读存储介质。该方法包括:做出关于是否对于视频的当前图片的当前块与所述视频的比特流之间的转换启用解码器侧运动矢量细化工具的第一确定;基于所述第一确定,做出关于是否在用于确定所述当前块的预测块的参考图片中根据用于参考样点填充的限位块来剪切整数样点位置处的样点的第二确定,其中所述整数样点位置处的所述样点在所述参考图片中,并且是根据所述当前块的第一运动矢量获取的;以及基于所述第二确定执行所述转换。

Description

用于处理视频数据的方法、装置以及计算机可读存储介质
本申请是申请日为2020年8月24日、申请号为202080059745.9、发明名称为“参考图片重采样中的剪切”的发明专利申请的分案申请。
相关申请的交叉引用
本申请的母案申请是于2020年8月24日提交的国际专利申请第PCT/CN2020/110768号的国家阶段,其及时要求2019年8月23日提交的国际专利申请第PCT/CN2019/102289号、2019年10月23日提交的第PCT/CN2019/112820号、2019年12月30日提交的国际专利申请的第PCT/CN2019/129959号的优先权和权益。通过引用将上述申请的全部公开并入,作为本申请公开的一部分。
技术领域
本专利文档涉及视频编码和解码。
背景技术
尽管在视频压缩方面取得了进步,但数字视频仍然是互联网和其他数字通信网络中使用带宽最多的部分。随着能够接收和显示视频的连接用户设备的数量增加,预计数字视频使用的带宽需求将继续增长。
发明内容
与数字视频编解码有关的设备、系统和方法,特别是与其中当前图片和参考图片具有不同尺寸或分辨率的视频和图像编解码和解码有关。
在一个示例方面,公开了一种视频处理方法。所述方法包括:做出关于是否对于视频的当前图片的当前块与所述视频的比特流之间的转换启用解码器侧运动矢量细化工具的第一确定;基于所述第一确定,做出关于是否在用于确定所述当前块的预测块的参考图片中根据用于参考样点填充的限位块来剪切整数样点位置处的样点的第二确定,其中所述整数样点位置处的所述样点在所述参考图片中,并且是根据所述当前块的第一运动矢量获取的;以及基于所述第二确定执行所述转换。
在一个示例方面,公开了一种用于处理视频数据的方法,包括:对于视频的当前图片的当前块和所述视频的比特流之间的转换,基于至少一个语法元素确定应用于参考图片的环绕剪切操作的使用,以确定所述当前块的预测块;基于所述确定执行所述转换;其中所述环绕剪切操作用于在样点在所述参考图片之外的情况下重新选择所述参考图片中的样点,以及其中所述至少一个语法元素包括包含在图片参数集(PPS)中的第一语法元素。
在一个示例方面,公开了一种用于处理视频数据的方法,包括:对于作为色度块的视频的第一视频块和所述视频的比特流之间的转换,确定对所述第一视频块应用交叉分量线性模型(CCLM),其中所述交叉分量线性模型包括根据线性模型基于重构的临近亮度样点来预测色度样点;导出所述交叉分量线性模型的参数,以及基于所导出的参数执行所述转换;其中,在X等于或小于零的情况下,针对所述参数的所述导出避免log2(X)运算。
在一个示例方面,公开了一种视频处理方法。所述方法包括:做出关于是否对于视频的当前图片的当前块与所述视频的编解码表示之间的转换启用解码器侧运动矢量细化(DMVR)工具的第一确定;基于所述第一确定,根据规则做出关于是否或如何在用于确定所述当前块的预测块的参考图片中根据用于参考样点填充的限位块(bounding block)来剪切运动矢量的第二确定;以及基于所述第一确定和所述第二确定执行所述转换;其中,在用于确定所述预测块之前,使用所述DMVR工具对来自所述编解码表示的经编解码的运动矢量进行细化。
在另一示例方面,公开了另一种视频处理方法。所述方法包括:做出关于是否对于视频的当前图片的当前块与所述视频的编解码表示之间的转换启用参考图片环绕(reference picture warpping)的第一确定;基于所述第一确定,根据规则做出关于是否或如何在用于确定所述当前块的预测块的参考图片中根据用于参考样点填充的限位块来剪切运动矢量的第二确定;以及基于所述第一确定和所述第二确定执行所述转换。
在另一示例方面,公开了另一种视频处理方法。所述方法包括:做出关于是否对于视频的当前图片的当前块与所述视频的编解码表示之间的转换启用编解码工具的第一确定;基于所述第一确定,根据规则做出关于是否或如何在用于确定所述当前块的预测块的参考图片中将色度或亮度样点剪切到整数位置的第二确定;以及基于所述第一确定和所述第二确定执行所述转换。
在另一示例方面,公开了另一种视频处理方法。所述方法包括:对于包括包含当前块的当前图片的视频和所述视频的编解码表示之间的转换,确定在从来自两个参考图片列表中的一个或多个参考图片生成所述当前块的预测块时,是否要执行整数样点剪切操作;以及基于所述确定执行所述转换,其中规则基于与所述当前图片相关联的第一尺寸和/或与所述两个参考图片列表中的所述一个或多个参考图片相关联的第二尺寸,或者是否启用解码器侧运动矢量细化(DMVR),其中在所述DMVR中,在生成所述预测块之前细化所述编解码表示中编解码的运动矢量。
在另一示例方面,公开了另一种视频处理方法。所述方法包括:对于包括包含当前块的当前图片的视频和所述视频的编解码表示之间的转换,根据规则在用于确定所述当前块的预测块的参考图片中推导用于参考信号填充的边界框的左上坐标;以及基于所述推导执行所述转换,其中所述规则基于所述当前图片的维度或所述参考图片的维度。
在另一示例方面,公开了另一种视频处理方法。所述方法包括:对于包括包含当前块的当前图片的视频和所述视频的编解码表示之间的转换,确定在从参考图片生成所述当前块的预测块时,是否要执行整数样点剪切操作;以及基于所述确定执行所述转换,其中规则基于与所述当前图片相关联的第一尺寸和/或与所述参考图片相关联的第二尺寸。
在又一代表性方面,公开了一种用于处理视频数据的装置,包括处理器和其上具有指令的非暂时性存储器,其中所述指令在由所述处理器执行时使得所述处理器执行上述方法。
在又一代表性方面,上述方法以处理器可执行代码的形式实施,并且存储在计算机可读的程序介质中。
在又一代表性方面,公开了一种设备,其被配置为或可操作以执行上述方法。该设备可以包括被编程以实现该方法的处理器。
在又一代表性方面,一种视频解码器装置,其可以实现如本文所述的方法。
在另一示例方面,公开了一种计算机可读存储介质。所述介质包括视频的编解码表示,所述编解码表示是根据本文所述的方法生成的。
在附图、说明书和权利要求书中更详细地描述了所公开技术的上述方面、以及其他方面和特征。
附图说明
图1示出了16x16的块被划分成16个4x4区域。
图2A-2C示出了视频块中的特定位置的示例。
图3是用于视频处理的硬件平台的示例实现的框图。
图4是视频处理的示例方法的流程图。
图5示出了VVC中环绕剪切的示例。
图6是视频编解码系统的示例实现的框图。
图7是视频编码器的示例实现的框图。
图8是视频解码器的示例实现的框图。
图9A-9H示出了例示所公开技术的实施例的各种表。
图10A-10F是视频处理的示例方法的流程图。
具体实施方式
所公开技术的实施例可应用于现有视频编解码标准(例如HEVC、H.265)和未来的标准,以改进压缩性能。在本文档中,章节标题用于提高描述的可读性,并且不以任何方式将讨论或实施例(和/或实现)仅限于相应的章节。此外,在本文档中,在H.265的上下文中描述的一些实施例使用当前VVC规范出版物的相应章节号。此外,“…”的使用指示当前VVC规范出版物的其余部分的继续,而无需进一步修改。
1.介绍
本文涉及视频编解码技术。具体来说,它与视频编解码中的自适应分辨率转换有关。它可以应用于现有的视频/图像编解码标准,如HEVC,也可以应用于待定的标准(多功能视频编解码)。它也适用于未来的视频编解码标准或视频编解码器。
2.初步讨论
视频编解码标准主要是通过公知的ITU-T和ISO/IEC标准的发展而演化的。ITU-T制作了H.261和H.263,ISO/IEC制作了MPEG-1和MPEG-4Visual,这两个组织共同制作了H.262/MPEG-2视频和H.264/MPEG-4先进视频编解码(AVC)和H.265/HEVC标准。从H.262开始,视频编解码标准基于混合视频编解码结构,其中利用了时域预测加变换编解码。为了探索HEVC之外的未来视频编解码技术,VCEG和MPEG于2015年联合成立了联合视频探索小组(JVET)。此后,JVET采纳了许多新方法并将其引入到名为“联合探索模型”(JEM)的参考软件中。2018年4月,VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家团队(JVET)成立,以致力于目标是与HEVC相比其降低50%比特率的多功能视频编解码(VVC)标准。
AVC和HEVC不具有在不必引入IDR或帧内随机访问点(IRAP)图片的情况下更改分辨率的能力;这种能力可以称为自适应分辨率更改(adaptive resolution change,ARC)。存在可以受益于ARC功能的使用案例或应用场景中,,其中包括:
-视频电话和会议中的速率适配:为了使编解码视频适应不断更改的网络状况,当网络状况变得更糟从而可用带宽变得更低时,编解码器可以通过编码较小分辨率的图片来适应它。目前,只有在IRAP图片之后才能做出更改图片分辨率;这有几个问题。具有合理质量的IRAP图片将比帧间编解码图片大得多,并且解码起来也将相应地更加复杂:这会浪费时间和资源。如果解码器出于加载原因请求更改分辨率,则会出现问题。它还可能破坏低延迟缓冲区条件,从而迫使音频重新同步,并且流的端到端延迟将增加,至少是暂时增加。这会给用户带来糟糕的体验。
-在多方视频会议中活动发言人的更改:对于多方视频会议,通常以比其他会议参与者的视频更大的视频尺寸显示活动发言人。当活动发言人更改时,可能还需要调整每个参与者的图片分辨率。当有源扬声器中频繁发生此类更改时,具有ARC特征的需求变得尤为重要。
-流传输中的快速启动:对于流传输应用,通常在开始显示之前,该应用将缓冲多达一定长度的解码图片。以较小的分辨率启动比特流将允许应用在缓冲区中具有足够的图片以更快地开始显示。
流传输中的自适应流切换:基于HTTP的动态自适应流传输(Dynamic AdaptiveStreaming over HTTP,DASH)规范包括名为@mediaStreamStructureId的特征。这使得能够在具有不可解码的前导图片(例如,HEVC中的具有相关联的RASL图片的CRA图片)的开放式GOP随机访问点处在不同表示之间进行切换。当同一视频的两个不同表示具有不同的比特率但具有相同的空域分辨率,同时它们具有相同的@mediaStreamStructureId值时,可以在具有相关联的RASL图片的CRA图片上执行两种表示之间的切换,并且与可以以可接受的质量解码与切换处的CRA图片相关联的RASL图片,从而实现无缝切换。使用ARC,@mediaStreamStructureId特征也可用于在具有不同空域分辨率的DASH表示之间进行切换。
ARC也称为动态分辨率转换。
ARC也可以被视为参考图片重采样(RPR)的特殊情况,诸如H.263附件P。
2.1 H.263附件P中的参考图片重采样
该模式描述了在参考图片用于预测之前扭曲(warp)参考图片的算法。对于重采样具有与正在预测的图片不同的源格式的参考图片可能很有用。通过扭曲参考图片的形状、尺寸和位置,还可以将其用于全局运动估算或旋转运动估算。语法包括要使用的扭曲参数以及重采样算法。参考图片重采样模式的最简单操作级别是4重采样的隐式因子,因为仅需要将FIR滤波器用于上采样和下采样处理。在这种情况下,当新图片的尺寸(在图片标头中指示)与先前图片的尺寸不同时,由于理解了它的用法,因此不需要额外的信令开销。
2.2.ARC对VVC的贡献
针对ARC提出了几个贡献,如下所示:
JVET-M0135、JVET-M0259、JVET-N0048、JVET-N0052、JVET-N0118、JVET-N0279。
2.3.JVET-O2001-v14中的ARC
ARC,又称RPR(参考图片重采样)被纳入JVET-O2001-v14中。
对于JVET-O2001-v14中的RPR,如果共位图片与当前图片的分辨率不同,则TMVP被禁用。此外,当参考图片与当前图片的分辨率不同时,BDOF和DMVR被禁用。
当参考图片的分辨率与当前图片不同时,为了处理正常的MC,插值部分的定义如下(章节编号参考当前VVC标准,并且斜体文本指示与先前版本的差异):
8.5.6.3.1概述
该过程的输入是:
-亮度位置(xSb,ySb),其指定相对于当前图片的左上亮度样点的当前编解码子块的左上样点,
-变量sbWidth,其指定当前编解码子块的宽度,
-变量sbHeight,其指定当前编解码子块的高度,
-运动矢量偏移mvOffset,
-细化的运动矢量refMvLX,
-选择的参考图片样点阵列refPicLX,
-半样点插值滤波器索引hpelIfIdx,
-双向光流标志bdofFlag,
-变量cIdx,其指定当前块的颜色分量索引。
该过程的输出是:
-预测样点值的(sbWidth+brdExtSize)x(sbHeight+brdExtSize)阵列predSamplesLX。预测块边界扩展尺寸brdExtSize导出如下:
brdExtSize=(bdofFlag||(inter_affine_flag[xSb][ySb]&&sps_affine_prof_enabled_flag))?2:0 (8-752)
变量fRefWidth被设置为等于亮度样点中的参考图片的PicOutputWidthL。
变量fRefHeight被设置为等于亮度样点中的参考图片的PicOutputHeightL。
运动矢量mvLX被设置为等于(refMvLX-mvOffset)。
-如果cIdx等于0,则以下适用:
-缩放因子及其定点表示(fixed-point representation)被定义为:
-令(xIntL,yIntL)为以全样点单位给定的亮度位置并且(xFracL,yFracL)为
以1/16样点单位给定的偏移。这些变量仅在本节中用于指定参考样点阵列refPicLX内的分数样点位置。
-用于参考样点填充的限位块的左上坐标(xSbIntL,ySbIntL)被设置为等于(xSb+(mvLX[0]>>4),ySb+(mvLX[1]>>4))。
-对于预测亮度样点阵列predSamplesLX内的每个亮度样点位置(xL=0..sbWidth-1+brdExtSize,yL=0..sbHeight-1+brdExtSize),对应的预测亮度样点值predSamplesLX[xL][yL]导出如下:
-如果bdofFlag等于真(TRUE)或(sps_affine_prof_enabled_flag等于TRUE且inter_affine_flag[xSb][ySb]等于TRUE),并且以下条件中的一个或多个为真,
则以(xIntL+(xFracL>>3)-1),yIntL+(yFracL>>3)-1)和refPicLX为输入,通过调用8.5.6.3.3节中规定的亮度整数样点提取过程来导出预测亮度样点值predSamplesLX[xL][yL]。
-xL等于0。
-xL等于sbWidth+1。
-yL等于0。
-yL等于sbHeight+1。
-否则,以(xIntL-(brdExtSize>0?1:0),yIntL-(brdExtSize>0?1:0)),
(xFracL,yFracL),(xSbIntL,ySbIntL),refPicLX,hpelIfIdx,sbWidth,sbHeight和(xSb,ySb)为输入,通过调用8.5.6.3.2节中规定的亮度样点8抽头插值滤波过程来导出预测亮度样点值predSamplesLX[xL][yL]。
-否则(cIdx不等于0)以下适用:
-令(xIntC,yIntC)为以全样点单位给定的色度位置,并且(xFracC,yFracC)为以1/32样点单位未定的偏移。这些变量仅用于在本节中指定参考样点阵列refPicLX内的一般分数样点位置。
-用于参考样点填充的限位块的左上坐标(xSbIntC,ySbIntC) 被设置为等于((xSb/SubWidthC)+(mvLX[0]>>5), (ySb/SubHeightC)+(mvLX[1]>>5))。
-对于预测色度样点阵列predSamplesLX内的每个色度样点位置(xC=0..sbWidth-1,yC=0..sbHeight-1),对应的预测色度样点值predSamplesLX[xC][yC]导出如下:
-变量xIntC,yIntC,xFracC和yFracC导出如下:
xIntC = refxC >> 5 (8-767)
yIntC = refyC >> 5 (8-768)
xFracC = refyC & 31 (8-769)
yFracC = refyC & 31 (8-770)
-以(xIntC,yIntC),(xFracC,yFracC),(xSbIntC,ySbIntC),sbWidth,sbHeight和refPicLX为输入,通过调用8.5.6.3.4节中规定的过程导出预测样点值predSamplesLX[xC][yC]。
亮度样点插值滤波过程
该过程的输入是:
-全样点单位的亮度位置(xIntL,yIntL),
-分数样点单位的亮度位置(xFracL,yFracL),
-全样点单位的亮度位置(xSbIntL,ySbIntL),其指定相对于参考图片的左上亮度样点的用于参考样点填充的限位块的左上样点,
-亮度参考样点阵列refPicLXL
-半样点插值滤波器索引hpelIfIdx,
-变量sbWidth,其指定当前子块的宽度,
-变量sbHeight,其指定当前子块的高度,
-亮度位置(xSb,ySb),其指定相对于当前图片的左上亮度样点的当前子块的左上样点,
该过程的输出是预测的亮度样点值predSampleLXL
变量shift1,shift2和shift3导出如下:
-变量shift1被设置为等于Min(4,BitDepthY-8),变量shift2被设置为等于6并且变量shift3被设置为等于Max(2,14-BitDepthY)。
-变量picW被设置为等于pic_width_in_luma_samples并且变量picH被设置为等于pic_height_in_luma_samples。
等于xFracL或yFracL的每个1/16分数样点位置p的亮度插值滤波器系数fL[p],导出如下:
-如果MotionModelIdc[xSb][ySb]大于0,并且sbWidth和sbHeight都等于4,则亮度插值滤波器系数fL[p]在表8-12中规定8-12。
-否则,亮度插值滤波器系数fL[p]在表8-11中规定,取决于hpelIfIdx。
全样点单位的亮度位置(xInti,yInti)导出如下,对于i=0..7:
-如果subpic_treated_as_pic_flag[SubPicIdx]等于1,则以下适用:
xInti=Clip3(SubPicLeftBoundaryPos,SubPicRightBoundaryPos,xIntL+i-3)(8-771)
yInti=Clip3(SubPicTopBoundaryPos,SubPicBotBoundaryPos,yIntL+i-3)(8-772)
-否则(subpic_treated_as_pic_flag[SubPicIdx]等于0)以下适用:
xInti=Clip3(0,picW-1,sps_ref_wraparound_enabled_flag?ClipH((sps_ref_wraparound_offset_minus1+1)*MinCbSizeY,picW,xIntL+i-3): xIntL+i-3)(8-773)
yInti=Clip3(0,picH-1,yIntL+i-3) (8-774)
全样点单位的亮度位置进一步修改如下,对于i=0..7:
xInti=Clip3(xSbIntL-3,xSbIntL+sbWidth+4,xInti) (8-775)
yInti=Clip3(ySbIntL-3,ySbIntL+sbHeight+4,yInti) (8-776)
预测的亮度样点值predSampleLXL导出如下:
-如果xFracL和yFracL二者都等于0,则predSampleLXL的值导出如下:
predSampleLXL = refPicLXL[ xInt3 ][ yInt3 ] << shift3 (8-777)
-否则,如果xFracL不等于0并且yFracL等于0,predSampleLXL的值导出如下:
-否则,如果xFracL等于0并且yFracL不等于0,则predSampleLXL的值导出如下:
-否则,如xFracL不等于0并且yFracL不等于0,则predSampleLXL的值导出如下:
-样点阵列temp[n](n=0..7)导出如下:
-预测的亮度样点值predSampleLXL导出如下:
表8-11–每个1/16分数样点位置p的亮度插值滤波器系数fL[p]的规范
表8-12–仿射运动模式的每个1/16分数样点位置p的亮度插值滤波器系数fL[p]的规范
亮度整数样点提取过程
该过程的输入是:
-全样点单位的亮度位置(xIntL,yIntL),
-亮度参考样点阵列refPicLXL
该过程的输出是预测的亮度样点值predSampleLXL
变量shift被设置为等于Max(2,14-BitDepthY)。
变量picW被设置为等于pic_width_in_luma_samples并且变量picH被设置为等于pic_height_in_luma_samples。
全样点单位的亮度位置(xInt,yInt)导出如下:
xInt = Clip3( 0, picW - 1, sps_ref_wraparound_enabled_flag ? (8-782)
ClipH((sps_ref_wraparound_offset_minus1+1)*MinCbSizeY,picW,xIntL):xIntL)
yInt=Clip3(0,picH-1,yIntL)(8-783)
预测的亮度样点值predSampleLXL导出如下:
predSampleLXL = refPicLXL[ xInt ][ yInt ] << shift3 (8-784)色度样点插值过程
该过程的输入是:
-全样点单位的色度位置(xIntC,yIntC),
-1/32分数样点单位的色度位置(xFracC,yFracC),
-全样点单位的色度位置(xSbIntC,ySbIntC),其指定相对于参考图片的左上色度样点的用于参考样点填充的限位块的左上样点,
–变量sbWidth,其指定当前子块的宽度,
–变量sbHeight,其指定当前子块的高度,
-色度参考样点阵列refPicLXC
该过程的输出是预测的色度样点值predSampleLXC
变量shift1,shift2和shift3导出如下:
-变量shift1被设置为等于Min(4,BitDepthC-8),变量shift2被设置为等于6并且变量shift3被设置为等于Max(2,14-BitDepthC)。
-变量picWC被设置为等于pic_width_in_luma_samples/SubWidthC并且变量picHC被设置为等于pic_height_in_luma_samples/SubHeightC。
等于xFracC或yFracC的每个1/32分数样点位置p的色度插值滤波器系数fC[p],如表8-13中规定。
变量xOffset被设置为等于(sps_ref_wraparound_offset_minus1+1)*MinCbSizeY)/SubWidthC。
全样点单位的色度位置(xInti,yInti)导出如下,对于i=0..3:
-如果subpic_treated_as_pic_flag[SubPicIdx]等于1,则以下适用:
xInti=Clip3(SubPicLeftBoundaryPos/SubWidthC,SubPicRightBoundaryPos/SubWidthC,xIntL+i)(8-785)
yInti=Clip3(SubPicTopBoundaryPos/SubHeightC,SubPicBotBoundaryPos/SubHeightC,yIntL+i)(8-786)
-否则(subpic_treated_as_pic_flag[SubPicIdx]等于0)以下适用:
xInti=Clip3(0,picWC-1,sps_ref_wraparound_enabled_flag?ClipH(xOffset,picWC,xIntC+i-1):xIntC+i-1) (8-787)
yInti=Clip3(0,picHC-1,yIntC+i-1)(8-788)
全样点单位的色度位置(xInti,yInti)进一步修改如下,对于i=0..3:
xInti=Clip3(xSbIntC-1,xSbIntC+sbWidth+2,xInti) (8-789)
yInti=Clip3(ySbIntC-1,ySbIntC+sbHeight+2,yInti) (8-790)
预测的色度样点值predSampleLXC导出如下:
-如果xFracC和yFracC二者都等于0,则predSampleLXC的值导出如下:
predSampleLXC=refPicLXC[xInt1][yInt1]<<shift3 (8-791)
-否则,如果xFracC不等于0并且yFracC等于0,则predSampleLXC的值导出如下:
-否则,如果xFracC等于0并且yFracC不等于0,则predSampleLXC的值导出如下:
-否则,如果xFracC不等于0并且yFracC不等于0,则predSampleLXC的值导出如下:
-样点阵列temp[n](n=0..3)导出如下:
-预测的色度样点值predSampleLXC导出如下:
表8-13–每个1/32分数样点位置p的色度插值滤波器系数fC[p]的规范
2.4VVC中的环绕剪切(wrap-around cliping)
为处理如图5所示的ERP或PERP图片格式,提出了JVET-L0231的环绕剪切。这有时也称为参考图片环绕。
在JVET-P2001-v9中,环绕剪切被指定为
并且水平位置将取决于是否应用环绕剪切进行剪切。在JVET-P2001-v9中,规定如下:
全样点单位的亮度位置(xInti,yInti)导出如下,对于i=0..7:
-如果subpic_treated_as_pic_flag[SubPicIdx]等于1,则以下适用:
xInti=Clip3(SubPicLeftBoundaryPos,SubPicRightBoundaryPos,xIntL+i-3)
(8-754)
yInti=Clip3(SubPicTopBoundaryPos,SubPicBotBoundaryPos,yIntL+i-3)(8-755)
-否则(subpic_treated_as_pic_flag[SubPicIdx]等于0)以下适用:
xInti=Clip3(0,picW-1,sps_ref_wraparound_enabled_flag?ClipH((sps_ref_wraparound_offset_minus1+1)*MinCbSizeY,picW,xIntL+i-3): xIntL+i-3)(8-756)
yInti=Clip3(0,picH-1,yIntL+i-3) (8-757)
2.5 VVC中的CCLM
根据JVET-P2001-v9中的规定,为VVC中的跨分量线性模型(CCLM)预测导出参数:
8.4.5.2.13 INTRA_LT_CCLM,INTRA_L_CCLM和INTRA_T_CCLM帧内预测模式的规范
7.变量a,b,和k导出如下:
-如果numSampL等于0,并且numSampT等于0,则以下适用:
k=0(8-211)
a=0(8-212)
b=1<<(BitDepth-1)(8-213)
-否则,以下适用:
diff=maxY-minY(8-214)
-如果diff不等于0,则以下适用:
diffC=maxC-minC(8-215)
x=Floor(Log2(diff))(8-216)
normDiff=((diff<<4)>>x)&15 (8-217)
x+=(normDiff!=0)?1:0 (8-218)
y = Floor( Log2( Abs ( diffC ) ) ) + 1 (8-219)
a = ( diffC * ( divSigTable[ normDiff ] | 8 ) + 2y - 1 ) >> y (8-220)
k = ( ( 3 + x - y ) < 1 ) ? 1 : 3 + x - y (8-221)
a = ( ( 3 + x - y ) < 1 ) ? Sign( a ) * 15 : a (8-222)
b = minC - ( ( a * minY ) >> k ) (8-223)
其中divSigTable[]规定如下:
divSigTable[]={0,7,6,5,5,4,4,3,3,2,2,
1,1,1,1,0}(8-224)
-否则(diff等于0),以下适用:
k = 0 (8-225)
a = 0 (8-226)
b = minC (8-227)
2.6VVC中的角度预测
VVC中的角度预测在JVET-P2001-v9中规定为:
8.4.5.2.12INTRA_ANGULAR2..INTRA_ANGULAR66帧内预测模式的规范
该过程的输入是:
-帧内预测模式predModeIntra,
-变量refIdx,其指定帧内预测参考行索引,
-变量nTbW,其指定变换块宽度,
-变量nTbH,其指定变换块高度,
-变量refW,其指定参考样点宽度,
-变量refH,其指定参考样点高度,
-变量nCbW,其指定编解码块宽度,
-变量nCbH,其指定编解码块高度,
-变量refFilterFlag,其指定参考滤波器标志的值,
-变量cIdx,其指定当前块的颜色分量,
-临近样点p[x][y],其中x=-1-refIdx,y=-1-refIdx..refH-1和
x=-refIdx..refW-1,y=-1-refIdx。
该过程的输出是预测样点predSamples[x][y],其中x=0..nTbW-1,y=0..nTbH-1。
变量nTbS被设置为等于(Log2(nTbW)+Log2(nTbH))>>1。
变量filterFlag导出如下:
-如果以下条件中的一个或多个为真,则filterFlag被设置为等于0。
-refFilterFlag等于1;
-refIdx不等于0;
-IntraSubPartitionsSplitType不等于ISP_NO_SPLIT;
-否则,以下适用:
-变量minDistVerHor被设置为等于Min(Abs(predModeIntra-50),Abs(predModeIntra-18))。
-变量intraHorVerDistThres[nTbS]如表8-7中规定。
-变量filterFlag导出如下:
-如果minDistVerHor大于intraHorVerDistThres[nTbS]并且refFilterFlag等于0,则filterFlag被设置为等于1。
-否则,filterFlag被设置为等于0。
表8-7–各种变换块尺寸nTbS的intraHorVerDistThres[nTbS]的规范
nTbS=2 nTbS=3 nTbS=4 nTbS=5 nTbS=6 nTbS=7
intraHorVerDistThres[nTbS] 24 14 2 0 0 0
表8-8规定了predModeIntra和角度参数intraPredAngle之间的映射表
表8-8–intraPredAngle的规范
predModeIntra -14 -13 -12 -11 -10 -9 -8 -7 -6 -5 -4 -3 -2 -1 2 3 4
intraPredAngle 512 341 256 171 128 102 86 73 64 57 51 45 39 35 32 29 26
predModeIntra 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
intraPredAngle 23 20 18 16 14 12 10 8 6 4 3 2 1 0 -1 -2 -3
predModeIntra 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38
intraPredAngle -4 -6 -8 -10 -12 -14 -16 -18 -20 -23 -26 -29 -32 -29 -26 -23 -20
predModeIntra 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55
intraPredAngle -18 -16 -14 -12 -10 -8 -6 -4 -3 -2 -1 0 1 2 3 4 6
predModeIntra 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72
intraPredAngle 8 10 12 14 16 18 20 23 26 29 32 35 39 45 51 57 64
predModeIntra 73 74 75 76 77 78 79 80
intraPredAngle 73 86 102 128 171 256 341 512
逆角度参数invAngle基于intraPredAngle导出如下:
2.7VVC中帧间预测的样点提取
8.5.6.3.2亮度样点插值滤波过程
全样点单位的亮度位置(xInti,yInti)导出如下,对于i=0..7:
-如果subpic_treated_as_pic_flag[SubPicIdx]等于1,则以下适用:
xInti=Clip3(SubPicLeftBoundaryPos,SubPicRightBoundaryPos,xIntL+i-3)
(8-754)
yInti=Clip3(SubPicTopBoundaryPos,SubPicBotBoundaryPos,yIntL+i-3)
(8-755)
-否则(subpic_treated_as_pic_flag[SubPicIdx]等于0)以下适用:
xInti=Clip3(0,picW-1,sps_ref_wraparound_enabled_flag?
ClipH((sps_ref_wraparound_offset_minus1+1)*MinCbSizeY,picW,xIntL+i-3):xIntL+i-3)
yInti=Clip3(0,picH-1,yIntL+i-3)
预测的亮度样点值predSampleLXL导出如下:
-如果xFracL和yFracL都等于0,并且hori_scale_fp和vert_scale_fp都小于20481,
则predSampleLXL的值导出如下:
predSampleLXL=refPicLXL[xInt3][yInt3]<<shift3
8.5.6.3.4色度样点插值处过程
全样点单位的色度位置(xInti,yInti)进一步修改如下,对于i=0..3:
2.8子图片
在VVC中,引入了子图片的概念。子图片是图片中一个或多个条带的矩区域。对于视频序列,可使用多个子图片。并且所有的图片都被划分成相数量的子图片,其在SPS中定义。
相关的语法元素和语义定义如下:
7.3.2.3序列参数集RBSP语法
subpics_present_flag等于1指定子图片参数在SPS RBSP语法中存在。subpics_present_flag等于0指定子图片参数在SPS RBSP语法中不存在。
注释2–当比特流是子比特流提取过程的结果,并且仅包含子比特流提取过程的输入比特流的子图片的子集时,可能需要在SPS的RBSP中将subpics_present_flag的值设置为等于1。
sps_num_subpics_minus1加1指定子图片的数量。sps_num_subpics_minus1应在0到254的范围内。如果不存在,则推断sps_num_subpics_minus1的值等于0。
subpic_ctu_top_left_x[i]指定第i个子图的左上CTU的水平位置(以CtbSizeY为单位)。语法元素的长度是Ceil(Log2(pic_width_max_in_luma_samples/CtbSizeY))比特。如果不存在,则推断subpic_ctu_top_left_x[i]的值等于0。
subpic_ctu_top_left_y[i]指定第i个子图片的左上CTU的垂直位置(以CtbSizeY为单位)。语法元素的长度是Ceil(Log2(pic_height_max_in_luma_samples/CtbSizeY))比特。如果不存在,则推断subpic_ctu_top_left_y[i]的值等于0。
subpic_width_minus1[i]加1指定第i个子图片的宽度(以CtbSizeY为单位)。语法元素的长度是Ceil(Log2(pic_width_max_in_luma_samples/CtbSizeY))比特。当不存在时,则推断subpic_width_minus1[i]的值等于Ceil(pic_width_max_in_luma_samples/CtbSizeY)-1。
subpic_height_minus1[i]加1指定第i个子图片的高度(以CtbSizeY为单位)。语法元素的长度是Ceil(Log2(pic_height_max_in_luma_samples/CtbSizeY))比特。如果不存在,则推断subpic_height_minus1[i]的值等于Ceil(pic_height_max_in_luma_samples/CtbSizeY)-1。
subpic_treated_as_pic_flag[i]等于1指定CLVS中每个编解码图片的第i个子图片在不包括环路滤波操作操作的解码过程中被视为图片。subpic_treated_as_pic_flag[i]等于0指定CLVS中每个编解码图片的第i个子图片在不包括环路滤波操作操作的解码过程中不被视为图片。如果不存在,则推断subpic_treated_as_pic_flag[i]的值等于0。
loop_filter_across_subpic_enabled_flag[i]等于1指定可以跨CLVS中每个编解码图片中的第i个子图片的边界执行环路滤波操作操作。loop_filter_across_subpic_enabled_flag[i]等于0指定不跨CLVS中每个编解码图片中的第i个子图片的边界执行环路滤波操作操作。如果不存在,则推断loop_filter_across_subpic_enabled_pic_flag[i]的值等于1。
应用以下约束是比特流一致性的要求:
-对于任意两个子图片subpicA和subpicB,当subpicA的子图片索引小于subpicB的子图片索引时,在解码顺序中subpicA的任何编解码条带NAL单元都应在subpicB的任何编解码条带NAL单元之前。
-子图片的形状应使每一子图片在解码时都具有其完整的左边界和完整的上边界,包括图片边界或包括先前解码的子图片的边界。
sps_subpic_id_present_flag等于1指定SPS中存在子图片ID映射。sps_subpic_id_present_flag等于0指定SPS中不存在子图片ID映射。
sps_subpic_id_signalling_present_flag等于1指定在SPS中信令通知子图片ID映射。sps_subpic_id_signaling_present_flag等于0指定不在SPS中信令通知子图片ID映射。如果不存在,则将sps_subpic_id_signalling_present_flag的值推断为等于0。
sps_subpic_id_len_minus1加1指定用于表示语法元素sps_subpic_id[i]的比特数。sps_subpic_id_len_minus1的值应在0到15的范围内(包括0和15)。
sps_subpic_id[i]指定第i个子图片的子图片ID。sps_subpic_id[i]语法元素的长度为sps_subpic_id_len_minus1+1比特。当不存在且当sps_subpic_id_present_flag等于0时,对于0到sps_num_subpics_minus1(包括0和sps_num_subpics_minus1)中的每个i,sps_subpic_id[i]的值被推断为等于i。
7.3.2.4图片参数集RBSP语法
/>
single_slice_per_subpic_flag等于1指定每个子图片由一个且仅由一个矩形条带组成。single_slice_per_subpic_flag等于0指定每个子图片可以由一个或多个矩形条带组成。当subpics_present_flag等于0时,single_slice_per_subpic_flag应等于0。当single_slice_per_subpic_flag等于1时,推断num_slices_in_pic_minus1等于sps_num_subpics_minus1。
7.3.7.1通用条带标头语法
slice_subpic_id指定包含条带的子图片的子图片标识符。如果slice_subpic_id存在,则变量SubPicIdx的值将被导出为使得SubpicIdList[SubPicIdx]等于slice_subpic_id;否则(slice_subpic_id不存在),变量SubPicIdx将被导出为等于0。slice_subpic_id的长度(以比特为单位)导出如下:
-如果sps_subpic_id_signalling_present_flag等于1,则slice_subpic_id的长度等于sps_subpic_id_len_minus1+1。
-否则,如果ph_subpic_id_signalling_present_flag等于1,则slice_subpic_id的长度等于ph_subpic_id_len_minus1+1。
-否则,如果pps_subpic_id_signalling_present_flag等于1,则slice_subpic_id的长度等于pps_subpic_id_len_minus1+1。
-否则,slice_subpic_id的长度等于Ceil(Log2(sps_num_subpics_minus1+1))。
3.本文公开的技术方案解决的技术问题
当RPR应用于VVC时,RPR(ARC)可能存在以下问题:
1.使用RPR,对于块中的相邻样点,插值滤波器可能不同,这在SIMD(单指令多数据)实现中是不可取的。
2.边界区域不考虑RPR。
3.在序列级信令通知环绕偏移量(sps_ref_wraparound_offset_minus1),但是由于序列中的RPR,图片的维度可能会有所不同。
4.Abs(diffC)在导出CCLM的参数的Log2(Abs(diffC))中可能等于0。
5.intraPredAngle可能为0,这使得invAngle没有意义。
6.第2.7节中描述的高亮剪切操作(表示为“整数样点剪切操作”)可能会破坏RPR的运动补偿。
7.在当前VVC中,帧内(I)条带被定义为仅使用帧内预测解码的条带。然而,由于最近在帧内和帧间预测之外采用IBC和调色板模式编解码作为额外的预测模式,对于I条带,除了帧内预测之外,也可以应用IBC/调色板模式。这种定义需要作出相应的修订。
8.在VVC中定义了子图片的指示,其中首先信令通知subpics_present_flag,然后是sps_num_subpics_minus1。然而,我们注意到,即使子图片存在标志为真,信令通知的sps_num_subpics_minus1仍然可以等于0,这意味着在一个图片中只有一个子图片,即,子图片等于图片;并且当子图片存在标志为假时,sps_num_subpics_minus1也被推断为0。因此,当信令通知时,将sps_num_subpics_minus1的范围定义为0到254(包括0和254)是不合理的。
4.实施例和技术的列表
以下列表应被视为解释一般概念的示例。不应狭隘地解释这些项目。此外,这些项目可以任何方式组合。
运动矢量用(mv_x,mv_y)表示,其中mv_x是水平分量,并且mv_y是垂直分量。
RPR相关
1.当参考图片的分辨率与当前图片不同时,可以使用相同的水平和/或垂直插值滤波器来生成当前块的一组样点(至少两个样点)的预测值。
a.在一个示例中,该组可以包括块的区域中的所有样点。
i.例如,可以将块划分为彼此不重叠的S个MxN矩形。每个MxN矩形是一个组。在如图1所示的示例中,16x16块可以被分成16个4x4个矩形,每个矩形都是一个组。
ii.例如,具有N个样点的行是一个组。N是不大于块宽度的整数。
在一个示例中,N是4或8或块宽度。
iii.例如,具有N个样点的列是一个组。N是不大于块高度的整数。
在一个示例中,N是4或8或块的高度。
iv.M和/或N可以预先定义的或动态导出的,例如基于块维度/编解码信息,或信令通知的。
b.在一个示例中,组中的样点可以拥有相同的MV(表示为共享MV)。
c.在一个示例中,组中的样点可以拥有具有相同水平分量(表示为共享水平分量)的MV。
d.在一个示例中,组中的样点可以拥有具有相同垂直分量(表示为共享垂直分量)的MV。
e.在一个示例中,组中的样点可以拥有具有水平分量的相同分数部分的MV(表示为共享分数水平分量)。
i.例如,假设第一个样点的MV是(MV1x,MV1y)并且第二个样点的MV是(MV2x,MV2y),则应该满足MV1x&(2M-1)等于MV2x&
(2M-1),其中M表示MV精度。例如,M=4。
f.在一个示例中,组中的样点可以拥有具有垂直分量的相同分数部分的MV(表示为共享分数垂直分量)。
i.例如,假设第一个样点的MV是(MV1x,MV1y)并且第二个样点的MV是(MV2x,MV2y),则应该满足MV1y&(2M-1)等于MV2y&
(2M-1),其中M表示MV精度。例如,M=4。
g.在一个示例中,对于要预测的组中的样点,可以首先根据当前图片和参考图片的分辨率(例如在JVET-O2001-v14中的8.5.6.3.1中导出的(refxL,refyL))来导出用MVb表示的运动矢量。然后,MVb可被进一步修改(例如,取整/截断/剪切)为MV’,以满足诸如上述项的要求,并且MV’将用于导出样点的预测样点。
i.在一个示例中,MV’具有与MVb相同的整数部分,并且MV’的分数部分被设置为共享分数水平和/或垂直分量。
ii.在一个示例中,MV’被设置为具有共享分数水平和/或垂直分量,并且最接近MVb的一个。
h.共享运动矢量(和/或共享水平分量和/或共享垂直分量和/或共享分数水平分量和/或共享分数垂直分量)可以设置为组中特定样点的运动矢量(和/或共享水平分量和/或共享垂直分量和/或共享分数水平分量和/或共享分数垂直分量)。
i.例如,特定样点可以位于矩形组的一角,例如图2A所示的“A”、
“B”、“C”和“D”。
ii.例如,特定样点可以位于矩形组的中心,例如图2A所示的“E”、
“F”、“G”和“H”。
iii.例如,特定样点可位于行形或列形组的末端,例如图2B和2C所示的“A”和“D”。
iv.例如,特定样点可位于行形或列形组的中间,例如图2B和2C所示的“B”和“C”。
v.在一个示例中,特定样点的运动矢量可以是g项中提到的MVb。
i.共享运动矢量(和/或共享水平分量和/或共享垂直分量和/或共享分数水平分量和/或共享分数垂直分量)可以设置为位于与该组中所有样点相比都不同位置处的虚拟样点的运动矢量(和/或共享水平分量和/或共享垂直分量和/或共享分数水平分量和/或共享分数垂直分量)。
i.在一个示例中,虚拟样点不在该组中,但它位于覆盖该组中所有样点的区域中。
1)可选地,虚拟样点位于覆盖该组中所有样点的区域之外,例如,靠近区域的右下位置。
ii.在一个示例中,虚拟样点的MV是以与真实样点相同的方式导出的,但位置不同。
iii.图2A-2C中的“V”示出了三个虚拟样点的示例。
j.共享MV(和/或共享水平分量和/或共享垂直分量和/或共享分数水平分量和/或共享分数垂直分量)可以设置为多个样点和/或虚拟样点的MV(和/或共享水平分量和/或共享垂直分量和/或共享分数水平分量和/或共享分数垂直分量)的函数。
i.例如,共享MV(和/或共享水平分量和/或共享垂直分量和/或共享分数水平分量和/或共享分数垂直分量)可以设置为该组中的所有或部分样点,或图2A中的样点“E”、“F”、“G”、“H”、或图2A中的样点“E”、
“H”,或图2A中的样点“A”、“B”、“C”、“D”,或图2A中的样点“A”、
“D”,或图2B中的样点“B”、“C”,或图2B中的样点“A”、“D”,或图2C中的样点“B”、“C”,或图2C中的样点“A”、“D”的MV(和/或共享水平分量和/或共享垂直分量和/或共享分数水平分量和/或共享分数垂直分量)的平均值。
2.提出当参考图片的分辨率与当前图片的分辨率不同时,仅允许整数MV执行运动补偿过程以导出当前块的预测块。
a.在一个示例中,用于要预测的样点的解码的运动矢量在被使用之前被取整为整数MV。
3.用于当前块中的样点的运动补偿过程中的运动矢量(例如,上述项中提到的共享MV/共享水平或垂直或分数分量/MV’)可以存储在解码图片缓冲器中,并用于当前/不同图片中的后续块的运动矢量预测。
a.可选地,用于当前块中的样点的运动补偿过程中的运动矢量(例如,上述项中提到的共享MV/共享水平或垂直或分数分量/MV’)可以不被允许用于当前/不同图片中的后续块的运动矢量预测。
i.在一个示例中,解码的运动矢量(例如,上述项中的MVb)可用于当前/不同图片中的后续块的运动矢量预测。
b.在一个示例中,用于当前块中的样点的运动补偿过程中的运动矢量可用于滤波过程(例如,去方块滤波器/SAO/ALF)。
i.可选地,可以在滤波过程中使用解码的运动矢量(例如,上述项中的MVb)。
4.提出取决于参考图片的分辨率是否不同于当前图片的分辨率来选择在运动补偿过程中用于导出当前块的预测块的插值滤波器。
a.在一个示例中,当参考图片的分辨率与当前图片的分辨率不同时,插值滤波器具有较少的抽头。
i.在一个示例中,当参考图片的分辨率与当前图片的分辨率不同时,应用双线性滤波器。
ii.在一个示例中,当参考图片的分辨率与当前图片的分辨率不同时,应用4抽头滤波器或6抽头滤波器。
5.提出当参考图片的分辨率与当前图片的分辨率不同时,应用两步预测块生成过程。
a.在第一步中,取决于当前图片和参考图片的宽度和/或高度,通过上采样或下采样参考图片中的区域生成虚拟参考块。
b.在第二步中,通过应用插值滤波从虚拟参考块生成预测样点,而与当前图片和参考图片的宽度和/或高度无关。
6.提出取决于当前图片和参考图片的宽度和/或高度,导出JVET-O2001-v14中8.5.6.3.1中定义的用于参考样点填充的限位块左上坐标(xSbIntL,ySbIntL)的计算。
a.在一个示例中,全样点单位的亮度位置被修改为:
xInti=Clip3(xSbIntL-Dx,xSbIntL+sbWidth+Ux,xInti),
yInti=Clip3(ySbIntL-Dy,ySbIntL+sbHeight+Uy,yInti),
其中Dx和/或Dy和/或Ux和/或Uy可取决于当前图片和参考图片的宽度和/或高度。
b.在一个示例中,全样点单位的色度位置被修改为:
xInti=Clip3(xSbIntC-Dx,xSbIntC+sbWidth+Ux,xInti),
yInti=Clip3(ySbIntC-Dy,ySbIntC+sbHeight+Uy,yInti),
其中Dx和/或Dy和/或Ux和/或Uy可取决于当前图片和参考图片的宽度和/或高度。
7.提出是否和/或如何根据JVET-O2001-v14中8.5.6.3.1中定义的用于参考样点填充的限位块(例如,(xSbIntL,ySbIntL))剪切MV可取决于DMVR的使用。
a.在一个示例中,仅当应用DMVR时,根据用于参考样点填充的限位块(例如,8.5.6.3.1中定义的(xSbIntL,ySbIntL))来剪切MV。
i.例如,只有将DMVR用于当前块时,才会应用JVET-O2001-v14中定义的亮度样点插值滤波过程中的操作8-775和8-776。
ii.例如,只有将DMVR用于当前块时,才会应用JVET-O2001-v14中定义的色度样点插值滤波过程中的操作8-789和8-790。
b.可选地,此外,上述方法也可以适用于色度样点的剪切。
8.提出是否和/或如何根据用于参考样点填充的限位块(如JVET-O2001-v14中8.5.6.3.1中定义的(xSbIntL,ySbIntL))剪切MV取决于是否使用图片环绕(例如sps_ref_wraparound_enabled_flag等于0还是1)。
a.在一个示例中,仅当不使用图片环绕时,才根据用于参考样点填充的限位块(例如,8.5.6.3.1中定义的(xSbIntL,ySbIntL))来剪切MV。
i.例如,仅当不使用图片环绕时,才会应用JVET-O2001-v14中定义的亮度样点插值滤波过程中的操作8-775和8-776。
ii.例如,仅当不使用图片环绕时,才会应用JVET-O2001-v14中定义的色度样点插值滤波过程中的操作8-789和8-790。
b.可选地,此外,上述方法也可以适用于色度样点的剪切。
c.在一个示例中,全样点单位的亮度位置被修改为:
xInti=Clip3(xSbIntL-Dx,xSbIntL+sbWidth+Ux,xInti),
yInti=Clip3(ySbIntL-Dy,ySbIntL+sbHeight+Uy,yInti),
其中Dx和/或Dy和/或Ux和/或Uy可取决于是否使用图片环绕。
d.在一个示例中,全样点单位的色度位置被修改为:
xInti=Clip3(xSbIntC-Dx,xSbIntC+sbWidth+Ux,xInti)
yInti=Clip3(ySbIntC-Dy,ySbIntC+sbHeight+Uy,yInti)
其中Dx和/或Dy和/或Ux和/或Uy可取决于是否使用图片环绕。
9.是否/如何应用滤波过程(例如,去方块滤波器)可以取决于参考图片是否具有不同的分辨率。
a.在一个示例中,除运动矢量差外,去方块滤波器中的边界强度设置还可以考虑分辨率差。
b.在一个示例中,去方块滤波器中的边界强度设置可以是基于分辨率差的缩放运动矢量差。
c.在一个示例中,如果块A的至少一个参考图片的分辨率不同于(或小于或大于)块B的至少一个参考图片的分辨率,则增加去块滤波器的强度。
d.在一个示例中,如果块A的至少一个参考图片的分辨率不同于(或小于或大于)块B的至少一个参考图片的分辨率,则减小去块滤波器的强度。
e.在一个示例中,如果块A和/或块B的至少一个参考图片的分辨率不同于(或小于或大于)当前块的分辨率,则增加去方块滤波器的强度。
f.在一个示例中,如果块A和/或块B的至少一个参考图片的分辨率不同于(或小于或大于)当前块的分辨率,则减小去方块滤波器的强度。
10.代替基于与当前图片相同的参考图片分辨率存储/使用块的运动矢量,提出使用考虑分辨率差的真实运动矢量。
a.可选地,此外,当使用运动矢量来生成预测块时,不需要根据当前图片和参考图片的分辨率(例如,在JVET-O2001-v14中8.5.6.3.1中导出的(refxL,refyL))进一步改变运动矢量。
11.在一个示例中,当存在子图片时,参考图片必须具有与当前图片相同的分辨率。
a.可选地,当参考图片具有与当前图片不同的分辨率时,当前图片中必须没有子图片。
12.在一个示例中,可以为具有不同分辨率的图片单独定义子图片。
13.在一个示例中,如果参考图片具有与当前图片不同的分辨率,则可以通过缩放和/或偏移当前图片的子图片来导出参考图片中的相应子图片。
14.提出可以在视频单元中(例如在图片/视图/条带/片/砖块/子图片/CTU行级别等)而不是在序列级别中信令通知与环绕剪切相关联的全部或部分信息。
a.在一个示例中,信息可以在PPS、APS、图片标头、条带标头等中用信令通知。
b.例如,可以在第一个PPS中信令通知语法元素(例如,命名为pps_ref_wraparound_offset_minus1)来指示用于计算水平环绕位置的偏移量。i.在一个示例中,pps_ref_wraparound_offset_minus1可被信令通知,并且pps_ref_wraparound_offset_minus1加1指定用于计算以MinCbSizeY亮度样点为单位的水平环绕位置的偏移量,其中MinCbSizeY表示亮度块的最小Cb尺寸。
ii.pps_ref_wraparound_offset_minus1的范围可决于第一个PPS中的pic_width_in_luma_samples。例如,pps_ref_wraparound_offset_minus1的值应在(CtbSizeY/MinCbSizeY)+1到(pic_width_in_luma_samples/
MinCbSizeY)-1的范围内(包括(CtbSizeY/MinCbSizeY)+1和(pic_width_in_luma_samples/MinCbSizeY)-1),其中pic_width_in_luma_samples位于第一个PPS中。
iii.在一个示例中,可使用定长/截断一元/一元/截断二元/K阶EG(例如,K=0)二值化方法来编解码语法元素。
c.例如,可在第一PPS中信令通知语法元素(例如,命名为pps_ref_wraparound_enabled_flag)以指示是否在帧间预测中应用水平环绕运动补偿。
i.在一个示例中,pps_ref_wraparound_enabled_flag等于1指定在帧间预测中应用水平环绕运动补偿。pps_ref_wraparound_enabled_flag等于0指定不应用水平环绕运动补偿。
ii.可选地,另外,可以有条件地信令通知语法元素。
1)在一个示例中,是否信令通知pps_ref_wraparound_offset_minus1可取决于pps_ref_wraparound_enabled_flag。
a)例如,只有当pps_ref_wraparound_enabled_flag等于1时,才信令通知pps_ref_wraparound_offset_minus1。
d.在一个示例中,可以在第一视频单元中信令通知第一语法元素(例如,在SPS中信令通知),并且可以在第二视频单元中信令通知第二语法元素(例如,在PPS、APS、图片标头、条带标头等中信令通知)。第一语法元素和第二语法元素在环绕剪切上可具有相同的功能,但在不同的级别上。
i.第二视频单元可以参考第一视频单元。
ii.例如,可在SPS中信令通知sps_ref_wraparound_offset_minus1,可在PPS中信令通知pps_ref_wraparound_offset_minus1。
iii.例如,可在SPS中信令通知sps_ref_wraparound_enabled_flag,可在PPS中信令通知pps_ref_wraparound_enabled_flag。
vi.在一个示例中,在一致性比特流中,第一语法元素应该与第二语法元素相同。
1)例如,在一致性比特流中,sps_ref_wraparound_enabled_flag应等于pps_ref_wraparound_enabled_flag。
v.在一个示例中,第二语法元素可以取决于第一语法元素。
1)例如,如果sps_ref_wraparound_enabled_flag为0,则pps_ref_wraparound_enabled_flag必须为0。
2)例如,如果sps_ref_wraparound_enabled_flag为1,则pps_ref_wraparound_enabled_flag可以为0或1。
vi.在一个示例中,如果两个语法元素都出现,则第一语法元素被忽略,并且第二语法元素执行功能。
vii.在一个示例中,如果两个语法元素都出现,则第二语法元素被忽略,并且第一语法元素执行功能。
e.在一个示例中,当(CtbSizeY/MinCbSizeY+Offset1)的值不小于或等于(pic_width_in_luma_samples/MinCbSizeY–Offset2)时(其中pic_width_in_luma_samples是任何参考SPS的PPS中的pic_width_in_luma_samples的值),sps_ref_wraparound_enabled_flag的值应等于0。例如,Offset1=Offset2=1。
f.在一个示例中,当(CtbSizeY/MinCbSizeY+Offset1)的值不小于(pic_width_in_luma_samples/MinCbSizeY–Offset2)时(其中pic_width_in_luma_samples是任何参考SPS的PPS中的pic_width_in_luma_samples的值),sps_ref_wraparound_enabled_flag的值应等于0。例如,Offset1=Offset2=1。
g.在一个示例中,当(CtbSizeY/MinCbSizeY+Offset1)的值大于或等于(pic_width_in_luma_samples/MinCbSizeY–Offset2)时(其中pic_width_in_luma_samples是任何参考SPS的PPS中的pic_width_in_luma_samples的值),sps_ref_wraparound_enabled_flag的值应等于0。例如,Offset1=Offset2=1。
h.在一个示例中,当(CtbSizeY/MinCbSizeY+Offset1)的值大于(pic_width_in_luma_samples/MinCbSizeY–Offset2)时(其中pic_width_in_luma_samples是任何参考SPS的PPS中的pic_width_in_luma_samples的值),sps_ref_wraparound_enabled_flag的值应等于0。例如,Offset1=Offset2=1。
i.在一个示例中,当(CtbSizeY/MinCbSizeY+Offset1)的值不小于或等于(pic_width_in_luma_samples/MinCbSizeY–Offset2)时(其中pic_width_in_luma_samples在PPS中),sps_ref_wraparound_enabled_flag的值应等于0。例如,Offset1=Offset2=1。
j.在一个示例中,当(CtbSizeY/MinCbSizeY+Offset1)的值不小于(pic_width_in_luma_samples/MinCbSizeY–Offset2)时(其中pic_width_in_luma_samples在PPS中),sps_ref_wraparound_enabled_flag的值应等于0。例如,Offset1=Offset2=1。
k.在一个示例中,当(CtbSizeY/MinCbSizeY+Offset1)的值大于或等于(pic_width_in_luma_samples/MinCbSizeY–Offset2)时(其中pic_width_in_luma_samples在PPS中),sps_ref_wraparound_enabled_flag的值应等于0。例如,Offset1=Offset2=1。
l.在一个示例中,当(CtbSizeY/MinCbSizeY+Offset1)的值大于(pic_width_in_luma_samples/MinCbSizeY–Offset2)时(其中pic_width_in_luma_samples在PPS中),sps_ref_wraparound_enabled_flag的值应等于0。例如,Offset1=Offset2=1。
15.提出应当避免其中X等于或小于0的Log2(X)方程来导出仿射Merge候选。
a.例如,该过程可以以X是否大于0为条件。
b.例如,该过程可以以X是否等于0为条件。
c.例如,计算Log2(Height)-Log2(Width)而不是Log2(Height/Width)。
d.基于JVET-P2001-v9的示例规范修改如下:
8.5.5.6构造的仿射控制点运动矢量Merge候选的推导过程
6.如果availableFlagCorner[0]等于TRUE并且availableFlagCorner[2]等于TRUE,则以下适用:
-对于X替换为0或1,以下适用:
-变量availableFlagLX导出如下:
-如果以下所有条件为TRUE,则availableFlagLX被设置为等于TRUE:
-predFlagLXCorner[0]等于1
-predFlagLXCorner[2]等于1
-refIdxLXCorner[0]等于refIdxLXCorner[2]
-否则,availableFlagLX被设置为等于假(FALSE)。
-如果availableFlagLX等于TRUE,则以下适用:
-第二控制点运动矢量cpMvLXCorner[1]导出如下:
cpMvLXCorner[1][0]=(cpMvLXCorner[0][0]<<7)+((cpMvLXCorner[2][1]-cpMvLXCorner[0][1]) <<(7+Log2(cbHeight)-Log2(cbWidth)[[Log2(cbHeight/cbWidth)]])) (8-625)
cpMvLXCorner[1][1]=(cpMvLXCorner[0][1]<<7)+((cpMvLXCorner[2][0]-cpMvLXCorner[0][0]) <<(7+ Log2(cbHeight)-Log2(cbWidth)[[Log2(cbHeight/cbWidth)]])) (8-626)
-以mvX设置为等于cpMvLXCorner[1],rightShift设置为等于7,和leftShift设置为等于0为输入并且以取整的cpMvLXCorner[1]作为输出,调用8.5.2.14节中规定的运动矢量的取整过程。
-进行以下分配:
predFlagLXConst6=1 (8-627)
refIdxLXConst6 = refIdxLXCorner[ 0 ] (8-628)
cpMvLXConst6[ 0 ] = cpMvLXCorner[ 0 ] (8-629)
cpMvLXConst6[ 1 ] = cpMvLXCorner[ 1 ] (8-630)
cpMvLXConst6[0][0]=Clip3(-217,217-1,cpMvLXConst6[0][0])(8-631)
cpMvLXConst6[0][1]=Clip3(-217,217-1,cpMvLXConst6[0][1])(8-632)
cpMvLXConst6[1][0]=Clip3(-217,217-1,cpMvLXConst6[1][0])(8-633)
cpMvLXConst6[1][1]=Clip3(-217,217-1,cpMvLXConst6[1][1])(8-634)
-双向预测加权索引bcwIdxConst6被设置为等于bcwIdxCorner[0]。
-变量availableFlagConst6和motionModelIdcConst6导出如下:
-如果availableFlagL0或availableFlagL1等于1,则availableFlagConst6被设置为等于TRUE并且motionModelIdcConst6被设置为等于1。
否则,availableFlagConst6被设置为等于FALSE并且motionModelIdcConst6被设置为等于0。
16.提出在导出跨分量线性模型(CCLM)中的参数的过程中,应避免其中X等于或小于0的Log2(X)方程。
a.例如,该过程可以以X是否大于0为条件。
b.例如,该过程可以以X是否等于0为条件。
c.基于JVET-P2001-v9的示例规范修改如下:
8.4.5.2.13INTRA_LT_CCLM,INTRA_L_CCLM和INTRA_T_CCLM帧内预测模式的规范
7.变量a,b,和k导出如下:
-如果numSampL等于0,并且numSampT等于0,则以下适用:
k = 0 (8-211)
a = 0 (8-212)
b = 1 << ( BitDepth - 1 ) (8-213)
-否则,以下适用:
diff = maxY - minY (8-214)
-如果diff不等于0,则以下适用:
diffC=maxC-minC(8-215)
x=Floor(Log2(diff))(8-216)
normDiff=((diff<<4)>>x)&15 (8-217)
x+=(normDiff!=0)?1:0 (8-218)
y=diffC>0?Floor(Log2(Abs(diffC)))+1:0 (8-219)
a=(diffC*(divSigTable[normDiff]|8)+2y-1)>>y(8-220)
k=((3+x-y)<1)?1:3+x-y (8-221)
a=((3+x-y)<1)?Sign(a)*15:a (8-222)
b=minC-((a*minY)>>k) (8-223)
其中divSigTable[]规定如下:
divSigTable[]={0,7,6,5,5,4,4,3,3,2,2,1,1,1,1,0} (8-224)
-否则(diff等于0)以下适用:
k=0(8-225)
a=0(8-226)
b=minC(8-227)
d.基于JVET-P2001-v9的更多示例规范修改如下所示:
i.y=Abs(diffC)>0?Floor(Log2(Abs(diffC)))+1:0:
ii.y=diffC==0?0:Floor(Log2(Abs(diffC)))+1:
iii.y=Ceil(Log2(Abs(diffC)+1)))
17.提出应当在角度帧内预测过程中避免被0除。
e.例如,invAngle的推导可以以intraPredAngle是否等于0为条件。
f.基于JVET-P2001-v9的示例规范修改如下:
8.4.5.2.12INTRA_ANGULAR2..INTRA_ANGULAR66帧内预测模式的规范该过程的输入是:
-帧内预测模式predModeIntra,
-变量refIdx,其指定帧内预测参考行索引,
-变量nTbW,其指定变换块宽度,
-变量nTbH,其指定变换块高度,
-变量refW,其指定参考样点宽度,
-变量refH,其指定参考样点高度,
-变量nCbW,其指定编解码块宽度,
-变量nCbH,其指定编解码块高度,
-变量refFilterFlag,其指定参考滤波器标志的值,
-变量cIdx,其指定当前块的颜色分量,
-临近样点p[x][y],其中x=-1-refIdx,y=-1-refIdx..refH-1和x=-refIdx..refW-1,y=-1-refIdx。
该过程的输出是预测样点predSamples[x][y],其中x=0..nTbW-1,y=0..nTbH-1。变量nTbS被设置为等于(Log2(nTbW)+Log2(nTbH))>>1。
变量filterFlag导出如下:
-如果以下条件中的一个或多个为真,则filterFlag被设置为等于0。
-refFilterFlag等于1;
-refIdx不等于0;
-IntraSubPartitionsSplitType不等于ISP_NO_SPLIT;
-否则,以下适用:
-变量minDistVerHor被设置为等于Min(Abs(predModeIntra-50),Abs(predModeIntra-18))。
-变量intraHorVerDistThres[nTbS]如表8-7中规定。
-变量filterFlag导出如下:
-如果minDistVerHor大于intraHorVerDistThres[nTbS]并且refFilterFlag等于0,则filterFlag被设置为等于1。
-否则,filterFlag被设置为等于0。
表8-7–各种变换块尺寸nTbS的intraHorVerDistThres[nTbS]的规范
nTbS=2 nTbS=3 nTbS=4 nTbS=5 nTbS=6 nTbS=7
intraHorVerDistThres[nTbS] 24 14 2 0 0 0
表8-8规定了predModeIntra和角度参数intraPredAngle之间的映射表
表8-8–intraPredAngle的规范
predModeIntra -14 -13 -12 -11 -10 -9 -8 -7 -6 -5 -4 -3 -2 -1 2 3 4
intraPredAngle 512 341 256 171 128 102 86 73 64 57 51 45 39 35 32 29 26
predModeIntra 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
intraPredAngle 23 20 18 16 14 12 10 8 6 4 3 2 1 0 -1 -2 -3
predModeIntra 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38
intraPredAngle -4 -6 -8 -10 -12 -14 -16 -18 -20 -23 -26 -29 -32 -29 -26 -23 -20
predModeIntra 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55
intraPredAngle -18 -16 -14 -12 -10 -8 -6 -4 -3 -2 -1 0 1 2 3 4 6
predModeIntra 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72
intraPredAngle 8 10 12 14 16 18 20 23 26 29 32 35 39 45 51 57 64
predModeIntra 73 74 75 76 77 78 79 80
intraPredAngle 73 86 102 128 171 256 341 512
逆角度参数invAngle基于intraPredAngle导出如下:
18.是否和/或如何对亮度和/或色度样点应用整数样点剪切操作可取决于参考图片(或其一致性窗口或其缩放窗口)的宽度和/或高度,以及当前图片(或其一致性窗口或其缩放窗口)的宽度和/或高度。
a.在一个示例中,仅当参考图片(或其一致性窗口或其缩放窗口)的宽度和/或高度等于当前图片(或其一致性窗口或其缩放窗口)的宽度和/或高度时,才应用整数样点剪切操作。
i.可选地,另外,如果参考图片(或其一致性窗口或其缩放窗口)的宽度或高度不等于当前图片(或其一致性窗口或其缩放窗口)的宽度或高度,则跳过整数样点剪切操作。
b.可选地,是否和/或如何对亮度和/或色度样点应用整数样点剪切操作可取决于参考图片(或其一致性窗口或其缩放窗口)与当前图片(或其一致性窗口或其缩放窗口)之间的的水平和/或垂直缩放因子。
i.在一个示例中,仅当参考图片(或其一致性窗口或其缩放窗口)与当前图片(或其一致性窗口或其缩放窗口)的水平和/或垂直缩放因子等于1时,才应用整数样点剪切操作。
ii.可选地,如果水平或垂直缩放因子不等于1,则跳过整数样点剪切操作。
c.在一个示例中,水平方向上的整数样点剪切操作以参考图片(或其一致性窗口或其缩放窗口)的宽度和当前图片(或其一致性窗口或其缩放窗口)的宽度为条件。
i.在一个示例中,水平方向上的整数样点剪切操作以参考图片(或其一致性窗口或其缩放窗口)与当前图片(或其一致性窗口或其缩放窗口)之间的水平缩放因子为条件。
d.在一个示例中,垂直方向上的整数样点剪切操作以参考图片(或其一致性窗口或其缩放窗口)的高度和当前图片(或其一致性窗口或其缩放窗口)的高度为条件。
i.在一个示例中,垂直方向上的整数样点剪切操作以参考图片(或其一致性窗口或其缩放窗口)与当前图片(或其一致性窗口或其缩放窗口)之间的垂直缩放因子为条件。
e.基于JVET-P2001-v9的示例规范修改如下:
8.5.6.3.2亮度样点插值滤波过程
全样点单位的亮度位置(xInti,yInti)导出如下,对于i=0..7:
-如果subpic_treated_as_pic_flag[SubPicIdx]等于1,则以下适用:
xInti=Clip3(SubPicLeftBoundaryPos,SubPicRightBoundaryPos,xIntL+i-3)(8-754)
yInti=Clip3(SubPicTopBoundaryPos,SubPicBotBoundaryPos,yIntL+i-3)(8-755)
-否则(subpic_treated_as_pic_flag[SubPicIdx]等于0)以下适用:
xInti=Clip3(0,picW-1,sps_ref_wraparound_enabled_flag?ClipH((sps_ref_wraparound_offset_minus1+1)*MinCbSizeY,picW,xIntL+i-3):xIntL+i-3)
yInti=Clip3(0,picH-1,yIntL+i-3)
如果hori_scale_fp等于(1<<14)并且vert_scale_fp等于(1<<14),则全样点单位的亮度位置进一步修改如下,对于i=0..7:
xInti=Clip3(xSbIntL-3,xSbIntL+sbWidth+4,xInti)
yInti=Clip3(ySbIntL-3,ySbIntL+sbHeight+4,yInti)
预测的亮度样点值predSampleLXL导出如下:
-如果xFracL和yFracL都等于0,并且hori_scale_fp和vert_scale_fp都小于20481,
则predSampleLXL的值导出如下:
predSampleLXL=refPicLXL[xInt3][yInt3]<<shift3
8.5.6.3.4色度样点插值过程
如果hori_scale_fp等于(1<<14)并且vert_scale_fp等于(1<<14),则全样点单位的色度位置(xInti,yInti)进一步修改如下,对于i=0..3:
xInti = Clip3( xSbIntC - 1, xSbIntC + sbWidth + 2, xInti ) (8-774)
yInti = Clip3( ySbIntC - 1, ySbIntC + sbHeight + 2, yInti ) (8-775)
f.基于JVET-P2001-v9的另一个示例规范修改如下:
8.5.6.3.2亮度样点插值滤波过程
全样点单位的亮度位置(xInti,yInti)导出如下,对于i=0..7:
-如果subpic_treated_as_pic_flag[SubPicIdx]等于1,则以下适用:
xInti=Clip3(SubPicLeftBoundaryPos,SubPicRightBoundaryPos,xIntL+i-3)(8-754)
yInti=Clip3(SubPicTopBoundaryPos,SubPicBotBoundaryPos,yIntL+i-3)(8-755)
-否则(subpic_treated_as_pic_flag[SubPicIdx]等于0)以下适用:
xInti=Clip3(0,picW-1,sps_ref_wraparound_enabled_flag?ClipH((sps_ref_wraparound_offset_minus1+1)*MinCbSizeY,picW,xIntL+i-3):xIntL+i-3)
yInti=Clip3(0,picH-1,yIntL+i-3)
全样点单位的亮度位置进一步修改如下,对于i=0..7:
如果hori_scale_fp等于(1<<14)并且vert_scale_fp等于(1<<14),则
xInti=Clip3(xSbIntL-3,xSbIntL+sbWidth+4,xInti)
如果hori_scale_fp等于(1<<14)并且vert_scale_fp等于(1<<14),则
yInti=Clip3(ySbIntL-3,ySbIntL+sbHeight+4,yInti)
预测的亮度样点值predSampleLXL导出如下:
-如果xFracL和yFracL都等于0,并且hori_scale_fp和vert_scale_fp都小于20481,则predSampleLXL的值导出如下:
predSampleLXL=refPicLXL[xInt3][yInt3]<<shift3
8.5.6.3.4色度样点插值过程
全样点单位的色度位置(xInti,yInti)进一步修改如下,对于i=0..3:
如果hori_scale_fp等于(1<<14)并且vert_scale_fp等于(1<<14),则
xInti=Clip3(xSbIntC-1,xSbIntC+sbWidth+2,xInti) (8-774)
如果hori_scale_fp等于(1<<14)并且vert_scale_fp等于(1<<14),则
yInti=Clip3(ySbIntC-1,ySbIntC+sbHeight+2,yInti) (8-775)
g.在一个示例中,是否应用整数样点剪切操作可取决于两个参考列表的参考图片(或其一致性窗口或其缩放窗口)的宽度和/或高度,以及当前图片(或其一致性窗口或其缩放窗口)的宽度和/或高度。
i.在一个示例中,仅当当前块(或其一致性窗口或其缩放窗口)使用的所有参考图片(例如,来自参考列表0或来自参考列表1,或来自两者)的宽度和/或高度等于当前图片(或其一致性窗口或其缩放窗口)的宽度和/或高度时,才应用整数样点剪切操作。
1)替代地,另外,如果当前块(或其一致性窗口或其缩放窗口)使用的任何参考图片(例如来自参考列表0或来自参考列表1)的宽度或高度不等于当前图片(或其一致性窗口或其缩放窗口)的宽度或高度,将跳过整数样点剪切操作。
h.基于JVET-P2001-v14的示例规范修改如下:
8.5.6.3.2亮度样点插值滤波过程
该过程的输入是:
-全样点单位的亮度位置(xIntL,yIntL),
如果RefPicIsScaled[0][refIdxL0]等于0并且RefPicIsScaled[1][refIdxL1]等 于0,则全样点单位的亮度位置进一步修改如下,对于i=0..7:
xInti=Clip3(xSbIntL-3,xSbIntL+sbWidth+4,xInti) (959)
yInti=Clip3(ySbIntL-3,ySbIntL+sbHeight+4,yInti) (960)
预测的亮度样点值predSampleLXL导出如下:
8.5.6.3.4色度样点插值过程
该过程的输入是:
-全样点单位的色度位置(xIntC,yIntC),
如果RefPicIsScaled[0][refIdxL0]等于0并且RefPicIsScaled[1][refIdxL1]等 于0,则全样点单位的色度位置(xInti,yInti)进一步修改如下,对于i=0..3:
xInti=Clip3(xSbIntC-1,xSbIntC+sbWidth+2,xInti) (975)
yInti=Clip3(ySbIntC-1,ySbIntC+sbHeight+2,yInti) (976)
预测的色度样点值predSampleLXC导出如下:
i.在一个示例中,是否应用整数样点剪切操作可取决于是否应用DMVR。
j.基于JVET-P2001-v14的示例规范修改如下:
8.5.6.3.2亮度样点插值滤波过程
该过程的输入是:
-全样点单位的亮度位置(xIntL,yIntL),
如果dmvrFlag等于1,则全样点单位的亮度位置进一步修改如下,对于i=0..7:
xInti=Clip3(xSbIntL-3,xSbIntL+sbWidth+4,xInti) (959)
yInti=Clip3(ySbIntL-3,ySbIntL+sbHeight+4,yInti) (960)
预测的亮度样点值predSampleLXL导出如下:
8.5.6.3.4色度样点插值过程
该过程的输入是:
-全样点单位的色度位置(xIntC,yIntC),
如果dmvrFlag等于1,则全样点单位的色度位置(xInti,yInti)进一步修改如下,对于i=0..3:
xInti=Clip3(xSbIntC-1,xSbIntC+sbWidth+2,xInti) (975)
yInti=Clip3(ySbIntC-1,ySbIntC+sbHeight+2,yInti) (976)
预测的色度样点值predSampleLXC导出如下:
19.是否和/或如何在亮度和/或色度样点上应用整数样点剪切操作可以取决于是否应用了编解码工具X。(例如,X是解码器侧运动矢量细化(DMVR))。
a.在一个示例中,仅当应用了编解码工具X时,才应用整数样点剪切操作。
b.在一个示例中,仅当未应用编解码工具X时,才应用整数样点剪切操作。
GEO相关
20.GEO中允许使用哪些角度/距离可取决于解码信息(例如,相关语法元素、块维度)。
a.在一个示例中,在GEO中可以使哪种角度/距离可取决于块维度。
i.在一个示例中,一组角度/距离可用于块维度A(例如,A可指示高度大于宽度的块),而另一组角度/距离可用于块维度B(例如,B可指示高度不大于宽度的块)。
b.在一个示例中,如何将GEO模式索引映射到角度/距离索引可以取决于解码信息(例如,相关语法元素、块维度)。
c.在一个示例中,如何将解码/信令通知的GEO模式索引映射到用于导出GEO角度/距离索引的GEO模式索引可以取决于解码信息(例如,相关语法元素、块维度)。
d.在一个示例中,如何将解码/信令通知的GEO模式索引映射到GEO角度/距离索引可以取决于解码信息(例如,相关语法元素、块维度)。
e.基于JVET-Q0160_CE4_1_CommonBaseWD_w_fixes的示例规范更改如下,其中新添加的文本以下划线粗体显示。删除的案文用方括号[[]]括起来表示。
8.5.7GEO帧间块的解码过程
8.5.7.1综述
当解码其中MergeGeoFlag[xCb][yCb]等于1的编解码单元时调用该过程。
该过程的输入是:
-亮度位置(xCb,yCb),其指定相对于当前图片的左上亮度样点的当前编解码块的左上样点,
-变量cbWidth,其指定以亮度样点表示的当前编解码块的宽度,
-变量cbHeight,其指定以亮度样点表示的当前编解码块的高度,
-以1/16分数样点精度表示的亮度运动矢量mvA和mvB,
-色度运动矢量mvCA和mvCB,
-参考索引refIdxA和refIdxB,
-预测列表标志predListFlagA和predListFlagB。
该过程的输出是:
-亮度预测样点的(cbWidth)x(cbHeight)阵列predSamplesL,
–分量Cb的色度预测样点的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列predSamplesCb,
–分量Cr的色度预测样点的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列predSamplesCr.
令predSamplesLAL和predSamplesLBL为预测的亮度样点值的(cbWidth)x(cbHeight)的阵列predSamplesLACb,predSamplesLBCb,并且令predSamplesLACr和predSamplesLBCr为预测的色度样点值的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)的阵列。
predSamplesL,predSamplesCb和predSamplesCr用以下顺序步骤导出:
1.对于N为A和B中的每个,以下适用:
–以X设置为等于predListFlagN,refIdxX设置为等于refIdxN为输入,通过调用第8.5.6.2条中规定的过程,导出由亮度样点的有序二维阵列refPicLNL和色度样点的两个有序二维阵列refPicLNCb和refPicLNCr组成的参考图片。
–以亮度位置(xCb,yCb),亮度编解码块宽度sbWidth设置为等于cbWidth、亮度编解码块高度sbHeight设置为等于cbHeight、运动矢量偏移mvOffset设置为等于(0,0)、运动矢量mvLX设置为等于mvN、参考阵列refPicLXL设置为等于refPicLNL、变量bdofFlag设置为等于FALSE、变量cIdx设置为等于0、和RefPicScale[predListFlagN][refIdxN]作为输入,通过通过调用第8.5.6.3条中规定的分数样点插值过程来导出阵列predSamplesLNL
–以亮度位置是亮度位置(xCb,yCb)、编解码块宽度sbWidth设置为等于cbWidth/SubWidthC、编解码块高度sbHeight设置为等于cbHeight/SubHeightC、运动矢量偏移量mvOff设置为等于(0,0)、运动矢量mvLX设置为等于mvCN、参考阵列refPicLXCb设置为等于refPicLNCb、变量bdofFlag设置为等于FALSE、变量cIdx设置为等于1、和RefPicScale[predListFlagN][refIdxN]作为输入,通过调用第8.5.6.3条中规定的分数样点插值过程来导出阵列predSamplesLNCb。
–以亮度位置是亮度位置(xCb,yCb)、编解码块宽度sbWidth设置为等于cbWidth/SubWidthC、编解码块高度sbHeight设置为等于cbHeight/SubHeightC、运动矢量偏移量mvOff设置为等于(0,0)、运动矢量mvLX设置为等于mvCN、参考阵列refPicLXCr设置为等于refPicLNCr、变量bdofFlag设置为等于FALSE、变量cIdx设置为等于1、和RefPicScale[predListFlagN][refIdxN]作为输入,通过调用第8.5.6.3条中规定的分数样点插值过程来导出阵列predSamplesLNCr。
2.以merge_geo_partition_idx[xCb][yCb]的值和变量isNarrowBlk设置为等于cbHeight>cbWidth作为输入,根据表36设置Merge GEO模式变量的分割角度和距离angleIdx和distanceIdx。
3. 根据表36[[中规定的merge_geo_partition_idx[xCb][yCb]的值]]设置Merge GEO模式变量的分割角度和距离angleIdx和distanceIdx。
4.以编解码块宽度nCbW设置为等于cbWidth、编解码块高度nCbH设置为等于cbHeight、样点阵列predSamplesLAL和predSamplesLBL、变量angleIdx和distanceIdx、以及cIdx等于0作为输入,通过调用第8.5.7.2节中规定的Merge GEO模式的加权样点预测过程来导出当前亮度编解码块内的预测样点predSamplesL[xL][yL],其中xL=0..cbWidth-1并且yL=0..cbHeight-1。
5.以编解码块宽度nCbW设置为等于cbWidth/SubWidthC、编解码块高度nCbH设置为等于cbHeight/SubHeightC、样点阵列predSamplesLACb和predSamplesLBCb、变量angleIdx和distanceIdx、以及cIdx等于1作为输入,通过调用第8.5.7.2节中规定的MergeGEO模式的加权样点预测过程来导出当前色度分量Cb编解码块内的预测样点predSamplesCb[xC][yC],其中xC=0..cbWidth/SubWidthC-1并且yC=0..cbHeight/SubHeightC-1。
6.以编解码块宽度nCbW设置为等于cbWidth/SubWidthC、编解码块高度nCbH设置为等于cbHeight/SubHeightC、样点阵列predSamplesLACr和predSamplesLBCr、变量angleIdx和distanceIdx、以及cIdx等于2作为输入,通过调用第8.5.7.2节中规定的MergeGEO模式的加权样点预测过程来导出当前色度分量Cr编解码块内的预测样点predSamplesCr[xC][yC],其中xC=0..cbWidth/SubWidthC-1并且yC=0..cbHeight/SubHeightC-1。
7.以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度cbWidth、亮度编解码块高度cbHeight、分割方向angleIdx和distanceIdx、亮度运动矢量mvA和mvB、参考索引refIdxA和refIdxB、以及预测列表标志predListFlagA和predListFlagB作为输入,调用第8.5.7.3节中规定的Merge GEO模式的运动矢量存储过程。
表36–基于merge_geo_partition_idx值的angleIdx和distanceIdx值的规范。
图9A和9B示出了表36的示例实施例。
i.基于JVET-Q0160_CE4_1_CommonBaseWD_w_fixes的另一个示例规范更该如下:
8.5.6GEO帧间块的解码处理
8.5.7.1综述
当解码其中MergeGeoFlag[xCb][yCb]等于1的编解码单元时涉及该过程。
该过程的输入是:
–亮度位置(xCb,yCb),其指定相对于当前图片的左上亮度样点的当前编解码块的左上样点,
–变量cbWidth,其指定以亮度样点表示的当前编解码块的宽度,
–变量cbHeight,其指定以亮度样点表示的当前编解码块的高度,
–以1/16分数样点精度表示的亮度运动矢量mvA和mvB,
–色度运动矢量mvCA和mvCB,
–参考索引refIdxA和refIdxB,
–预测列表标志predListFlagA和predListFlagB。
该过程的输出是:
–亮度预测样点的(cbWidth)x(cbHeight)阵列predSamplesL,
–分量Cb的色度预测样点的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列predSamplesCb,
–分量Cr的色度预测样点的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列predSamplesCr.
令predSamplesLAL和predSamplesLBL为预测的亮度样点值的(cbWidth)x(cbHeight)阵列,并且令predSamplesLACb,predSamplesLBCb,predSamplesLACr和predSamplesLBCr为预测的色度样点值的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列。
predSamplesL,predSamplesCb和predSamplesCr用以下顺序步骤导出:
2.对于N为A和B中的每个,则以下适用:
–以X设置为等于predListFlagN,refIdxX设置为等于refIdxN为输入,通过调用第8.5.6.2条中规定的过程,导出由亮度样点的有序二维阵列refPicLNL和色度样点的两个有序二维阵列refPicLNCb和refPicLNCr组成的参考图片。
–以亮度位置(xCb,yCb),亮度编解码块宽度sbWidth设置为等于cbWidth、亮度编解码块高度sbHeight设置为等于cbHeight、运动矢量偏移mvOffset设置为等于(0,0)、运动矢量mvLX设置为等于mvN、参考阵列refPicLXL设置为等于refPicLNL、变量bdofFlag设置为等于FALSE、变量cIdx设置为等于0、和RefPicScale[predListFlagN][refIdxN]作为输入,通过调用第8.5.6.3条中规定的分数样点插值过程来导出阵列predSamplesLNL
–以亮度位置(xCb,yCb)、编解码块宽度sbWidth设置为等于cbWidth/SubWidthC、编解码块高度sbHeight设置为等于cbHeight/SubHeightC、运动矢量偏移量mvOff设置为等于(0,0)、运动矢量mvLX设置为等于mvCN、参考阵列refPicLXCb设置为等于refPicLNCb、变量bdofFlag设置为等于FALSE、变量cIdx设置为等于1、和RefPicScale[predListFlagN][refIdxN]作为输入,通过调用第8.5.6.3条中规定的分数样点插值过程来导出阵列predSamplesLNCb
–以亮度位置(xCb,yCb)、编解码块宽度sbWidth设置为等于cbWidth/SubWidthC、编解码块高度sbHeight设置为等于cbHeight/SubHeightC、运动矢量偏移量mvOff设置为等于(0,0)、运动矢量mvLX设置为等于mvCN、参考阵列refPicLXCr设置为等于refPicLNCr、变量bdofFlag设置为等于FALSE、变量cIdx设置为等于1、和RefPicScale[predListFlagN][refIdxN]作为输入,通过调用第8.5.6.3条中规定的分数样点插值过程来导出阵列predSamplesLNCr
2.以merge_geo_partition_idx[xCb][yCb]的值和变量isNarrowBlk设置为等于cbHeight>cbWidth作为输入,根据表36设置Merge GEO模式变量的分割角度和距离angleIdx和distanceIdx。
3. 根据表36[[中规定的merge_geo_partition_idx[xCb][yCb]的值]]设置Merge GEO模式变量的分割角度和距离angleIdx和distanceIdx。
4.以编解码块宽度nCbW设置为等于cbWidth、编解码块高度nCbH设置为等于cbHeight、样点阵列predSamplesLAL和predSamplesLBL、变量angleIdx和distanceIdx、以及cIdx等于0作为输入,通过调用第8.5.7.2节中规定的Merge GEO模式的加权样点预测过程来导出当前亮度编解码块内的预测样点predSamplesL[xL][yL],其中xL=0..cbWidth-1并且yL=0..cbHeight-1。
5.以编解码块宽度nCbW设置为等于cbWidth/SubWidthC、编解码块高度nCbH设置为等于cbHeight/SubHeightC、样点阵列predSamplesLACb和predSamplesLBCb、变量angleIdx和distanceIdx、以及cIdx等于1作为输入,通过调用第8.5.7.2节中规定的MergeGEO模式的加权样点预测过程来导出当前色度分量Cb编解码块内的预测样点predSamplesCb[xC][yC],其中xC=0..cbWidth/SubWidthC-1并且yC=0..cbHeight/SubHeightC-1。
6.以编解码块宽度nCbW设置为等于cbWidth/SubWidthC、编解码块高度nCbH设置为等于cbHeight/SubHeightC、样点阵列predSamplesLACr和predSamplesLBCr、变量angleIdx和distanceIdx、以及cIdx等于2作为输入,通过调用第8.5.7.2节中规定的MergeGEO模式的加权样点预测过程来导出当前色度分量Cr编解码块内的预测样点predSamplesCr[xC][yC],其中xC=0..cbWidth/SubWidthC-1并且yC=0..cbHeight/SubHeightC-1。
7.以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度cbWidth、亮度编解码块高度cbHeight、分割方向angleIdx和distanceIdx、亮度运动矢量mvA和mvB、参考索引refIdxA和refIdxB、以及预测列表标志predListFlagA和predListFlagB作为输入,调用第8.5.7.3节中规定的Merge GEO模式的运动矢量存储过程。
表36–基于merge_geo_partition_idx值的angleIdx和distanceIdx值的规范。
图9C和9D示出了表36的本实施例的示例。
f.基于JVET-Q0160_CE4_1_CommonBaseWD_w_fixes的另一个示例规范更改例如下:
8.5.7GEO帧间块的解码过程
8.5.7.1综述
当解码其中MergeGeoFlag[xCb][yCb]等于1的编解码单元时涉及该过程。
该过程的输入是:
–亮度位置(xCb,yCb),其指定相对于当前图片的左上亮度样点的当前编解码块的左上样点,
–变量cbWidth,其指定以亮度样点表示的当前编解码块的宽度,
–变量cbHeight,其指定以亮度样点表示的当前编解码块的高度,
–以1/16分数样点精度表示的亮度运动矢量mvA和mvB,
–色度运动矢量mvCA和mvCB,
–参考索引refIdxA和refIdxB,
–预测列表标志predListFlagA和predListFlagB。
该过程的输出是:
–亮度预测样点的(cbWidth)x(cbHeight)阵列predSamplesL,
–分量Cb的色度预测样点的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列predSamplesCb,
–分量Cr的色度预测样点的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列predSamplesCr.
令predSamplesLAL和predSamplesLBL为预测的亮度样点值的(cbWidth)x(cbHeight)阵列,并且令predSamplesLACb,predSamplesLBCb,predSamplesLACr和predSamplesLBCr为预测的色度样点值的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列。
predSamplesL,predSamplesCb和predSamplesCr用以下顺序步骤导出:
3.对于N为A和B中的每个,则以下适用:
–以X设置为等于predListFlagN,refIdxX设置为等于refIdxN为输入,调用第8.5.6.2条中规定的过程,导出由亮度样点的有序二维阵列refPicLNL和色度样点的两个有序二维阵列refPicLNCb和refPicLNCr组成的参考图片。
–以亮度位置(xCb,yCb),亮度编解码块宽度sbWidth设置为等于cbWidth、亮度编解码块高度sbHeight设置为等于cbHeight、运动矢量偏移mvOffset设置为等于(0,0)、运动矢量mvLX设置为等于mvN、参考阵列refPicLXL设置为等于refPicLNL、变量bdofFlag设置为等于FALSE、变量cIdx设置为等于0、和RefPicScale[predListFlagN][refIdxN]作为输入,通过通过调用第8.5.6.3条中规定的分数样点插值过程来导出阵列predSamplesLNL
–以亮度位置(xCb,yCb)、编解码块宽度sbWidth设置为等于cbWidth/SubWidthC、编解码块高度sbHeight设置为等于cbHeight/SubHeightC、运动矢量偏移量mvOff设置为等于(0,0)、运动矢量mvLX设置为等于mvCN、参考阵列refPicLXCb设置为等于refPicLNCb、变量bdofFlag设置为等于FALSE、变量cIdx设置为等于1、和RefPicScale[predListFlagN][refIdxN]作为输入,通过调用第8.5.6.3条中规定的分数样点插值过程来导出阵列predSamplesLNCb。
–以亮度位置是亮度位置(xCb,yCb)、编解码块宽度sbWidth设置为等于cbWidth/SubWidthC、编解码块高度sbHeight设置为等于cbHeight/SubHeightC、运动矢量偏移量mvOff设置为等于(0,0)、运动矢量mvLX设置为等于mvCN、参考阵列refPicLXCr设置为等于refPicLNCr、变量bdofFlag设置为等于FALSE、变量cIdx设置为等于1、和RefPicScale[predListFlagN][refIdxN]作为输入,通过调用第8.5.6.3条中规定的分数样点插值过程来导出阵列predSamplesLNCr
2.以merge_geo_partition_idx[xCb][yCb]的值和变量isNarrowBlk设置为等于cbHeight>cbWidth作为输入,根据表36设置Merge GEO模式变量的分割角度和距离angleIdx和distanceIdx。
4.根据表36中规定的merge_geo_partition_idx’[xCb][yCb]的值设置Merge GEO模式变量的分割角度和距离angleIdx和distanceIdx。
5.以编解码块宽度nCbW设置为等于cbWidth、编解码块高度nCbH设置为等于cbHeight、样点阵列predSamplesLAL和predSamplesLBL、变量angleIdx和distanceIdx、以及cIdx等于0作为输入,通过调用第8.5.7.2节中规定的Merge GEO模式的加权样点预测过程来导出当前亮度编解码块内的预测样点predSamplesL[xL][yL],其中xL=0..cbWidth-1并且yL=0..cbHeight-1。
6.以编解码块宽度nCbW设置为等于cbWidth/SubWidthC、编解码块高度nCbH设置为等于cbHeight/SubHeightC、样点阵列predSamplesLACb和predSamplesLBCb、变量angleIdx和distanceIdx、以及cIdx等于1作为输入,通过调用第8.5.7.2节中规定的MergeGEO模式的加权样点预测过程来导出当前色度分量Cb编解码块内的预测样点predSamplesCb[xC][yC],其中xC=0..cbWidth/SubWidthC-1并且yC=0..cbHeight/SubHeightC-1。
7.以编解码块宽度nCbW设置为等于cbWidth/SubWidthC、编解码块高度nCbH设置为等于cbHeight/SubHeightC、样点阵列predSamplesLACr和predSamplesLBCr、变量angleIdx和distanceIdx、以及cIdx等于2作为输入,通过调用第8.5.7.2节中规定的MergeGEO模式的加权样点预测过程来导出当前色度分量Cr编解码块内的预测样点predSamplesCr[xC][yC],其中xC=0..cbWidth/SubWidthC-1并且yC=0..cbHeight/SubHeightC-1。
8.以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度cbWidth、亮度编解码块高度cbHeight、分割方向angleIdx和distanceIdx、亮度运动矢量mvA和mvB、参考索引refIdxA和refIdxB、以及预测列表标志predListFlagA和predListFlagB作为输入,调用第8.5.7.3节中规定的Merge GEO模式的运动矢量存储过程。
图9E示出了表xx–基于geo_partition_idx值的geo_partition_idx’值的映射表的本实施例。
图9F示出了表36-基于merge_geo_partition_idx值的angleIdx和distanceIdx值的规范的本实施例。
g.基于JVET-Q0160_CE4_1_CommonBaseWD_w_fixes的另一个示例规范更改如下:
8.5.7GEO帧间块的解码过程
8.5.7.1综述
当解码其中MergeGeoFlag[xCb][yCb]等于1的编解码单元时涉及该过程。
该过程的输入是:
–亮度位置(xCb,yCb),其指定相对于当前图片的左上亮度样点的当前编解码块的左上样点,
–变量cbWidth,其指定以亮度样点表示的当前编解码块的宽度,
–变量cbHeight,其指定以亮度样点表示的当前编解码块的高度,
–以1/16分数样点精度表示的亮度运动矢量mvA和mvB,
–色度运动矢量mvCA和mvCB,
–参考索引refIdxA和refIdxB,
–预测列表标志predListFlagA和predListFlagB。
该过程的输出是:
–亮度预测样点的(cbWidth)x(cbHeight)阵列predSamplesL,
–分量Cb的色度预测样点的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列predSamplesCb,
–分量Cr的色度预测样点的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列predSamplesCr.
令predSamplesLAL和predSamplesLBL为预测的亮度样点值的(cbWidth)x(cbHeight)阵列,并且令predSamplesLACb,predSamplesLBCb,predSamplesLACr和predSamplesLBCr为预测的色度样点值的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)的阵列。
predSamplesL,predSamplesCb和predSamplesCr用以下顺序步骤导出:
4.对于N为A和B中的每个,则以下适用:
–以X设置为等于predListFlagN,refIdxX设置为等于refIdxN为输入,调用第8.5.6.2条中规定的过程,导出由亮度样点的有序二维阵列refPicLNL和色度样点的两个有序二维阵列refPicLNCb和refPicLNCr组成的参考图片。
–以亮度位置(xCb,yCb)、亮度编解码块宽度sbWidth设置为等于cbWidth、亮度编解码块高度sbHeight设置为等于cbHeight、运动矢量偏移mvOffset设置为等于(0,0)、运动矢量mvLX设置为等于mvN、参考阵列refPicLXL设置为等于refPicLNL、变量bdofFlag设置为等于FALSE、变量cIdx设置为等于0、和RefPicScale[predListFlagN][refIdxN]作为输入,通过通过调用第8.5.6.3条中规定的分数样点插值过程来导出阵列predSamplesLNL
–以亮度位置(xCb,yCb)、编解码块宽度sbWidth设置为等于cbWidth/SubWidthC、编解码块高度sbHeight设置为等于cbHeight/SubHeightC、运动矢量偏移量mvOff设置为等于(0,0)、运动矢量mvLX设置为等于mvCN、参考阵列refPicLXCb设置为等于refPicLNCb、变量bdofFlag设置为等于FALSE、变量cIdx设置为等于1、和RefPicScale[predListFlagN][refIdxN]作为输入,通过调用第8.5.6.3条中规定的分数样点插值过程来导出阵列predSamplesLNCb
–以亮度位置(xCb,yCb)、编解码块宽度sbWidth设置为等于cbWidth/SubWidthC、编解码块高度sbHeight设置为等于cbHeight/SubHeightC、运动矢量偏移量mvOff设置为等于(0,0)、运动矢量mvLX设置为等于mvCN、参考阵列refPicLXCr设置为等于refPicLNCr、变量bdofFlag设置为等于FALSE、变量cIdx设置为等于1、和RefPicScale[predListFlagN][refIdxN]作为输入,通过调用第8.5.6.3条中规定的分数样点插值过程来导出阵列predSamplesLNCr
2.以merge_geo_partition_idx[xCb][yCb]的值和变量isNarrowBlk设置为等于cbHeight>cbWidth作为输入,根据表36设置Merge GEO模式变量的分割角度和距离angleIdx和distanceIdx。
4.根据表36中规定的merge_geo_partition_idx’[xCb][yCb]的值设置Merge GEO模式变量的分割角度和距离angleIdx和distanceIdx。
5.以编解码块宽度nCbW设置为等于cbWidth、编解码块高度nCbH设置为等于cbHeight、样点阵列predSamplesLAL和predSamplesLBL、变量angleIdx和distanceIdx、以及cIdx等于0作为输入,通过调用第8.5.7.2节中规定的Merge GEO模式的加权样点预测过程来导出当前亮度编解码块内的预测样点predSamplesL[xL][yL],其中xL=0..cbWidth-1并且yL=0..cbHeight-1。
6.以编解码块宽度nCbW设置为等于cbWidth/SubWidthC、编解码块高度nCbH设置为等于cbHeight/SubHeightC、样点阵列predSamplesLACb和predSamplesLBCb、变量angleIdx和distanceIdx、以及cIdx等于1作为输入,通过调用第8.5.7.2节中规定的MergeGEO模式的加权样点预测过程来导出当前色度分量Cb编解码块内的预测样点predSamplesCb[xC][yC],其中xC=0..cbWidth/SubWidthC-1并且yC=0..cbHeight/SubHeightC-1。
7.以编解码块宽度nCbW设置为等于cbWidth/SubWidthC、编解码块高度nCbH设置为等于cbHeight/SubHeightC、样点阵列predSamplesLACr和predSamplesLBCr、变量angleIdx和distanceIdx、以及cIdx等于2作为输入,通过调用第8.5.7.2节中规定的MergeGEO模式的加权样点预测过程来导出当前色度分量Cr编解码块内的预测样点predSamplesCr[xC][yC],其中xC=0..cbWidth/SubWidthC-1并且yC=0..cbHeight/SubHeightC-1。
8.以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度cbWidth、亮度编解码块高度cbHeight、分割方向angleIdx和distanceIdx、亮度运动矢量mvA和mvB、参考索引refIdxA和refIdxB、以及预测列表标志predListFlagA和predListFlagB作为输入,调用第8.5.7.3节中规定的Merge GEO模式的运动矢量存储过程。
图9G示出了表xx–基于geo_partition_idx值的geo_partition_idx’值的映射表的示例。
图9H示出了表36-基于merge_geo_partition_idx值的angleIdx和distanceIdx值的规范。
高级语法
关于帧内条带/图片的定义
21.代替将帧内(I)条带(或图片)定义为仅使用帧内预测解码的条带,提出将帧内条带定义为不使用帧间预测解码的条带(或图片)。
a.替代地,提出将帧内条带定义为不参考任何图片(不是包含该条带的图片)解码的条带。
b.替代地,提出将帧内条带定义为使用帧内预测或帧内块内复制(IBC)预测或调色板预测模式解码的条带。
22.提出将帧内图片定义为不使用帧间预测解码的图片。
c.替代地,提出将帧内图片定义为不参考任何图片(不是包含该条带的图片)解码的图片。
d.替代地,提出将帧内图片定义为使用帧内预测或帧内块内复制(IBC)预测或调色板预测模式解码的图片。
关于信令通知的子图片数量的范围
23.一致性比特流应满足:当存在子图片时,子图片的数量应不少于2个。
a.替代地,另外,信令通知的sps_num_subpics_minus1应在1到N的范围内(例如,N=254)。
b.替代地,另外,信令通知的sps_num_subpics_minus1被替换为sps_num_subpics_minus2,其中sps_num_subpics_minus2加2指定子图片的数量。
i.替代地,另外,sps_num_subpics_minus2的值应在0到(N-1)的范围内(例如,N=254)。
24.通过检查sps_num_subpics_minus1是否等于0来替换取决于子图存在标志(例如,subpics_present_flag)的语法元素(例如,是否信令通知语法元素或语法元素的语义)。
图3是视频处理装置300的框图。装置300可用于实现本文所述的一种或多种方法。装置300可以体现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置300可以包括一个或多个处理器302、一个或多个存储器304和视频处理硬件306。(多个)处理器302可以被配置成实现本文档中描述的一个或多个方法。存储器(多个存储器)304可用于存储用于实现本文所述的方法和技术的数据和代码。视频处理硬件306可用于在硬件电路中实现本文中描述的一些技术。在一些实施例中,硬件306可以至少部分地在处理器302(例如,图形协处理器)内部。
图6是示出可利用本公开的技术的示例性视频编解码系统100的框图。
如图6所示,视频编解码系统100可以包括源设备110和目的地设备120。源设备110生成可称为视频编码设备的编码视频数据。目的地设备120可以对源设备110生成的编码视频数据进行解码,目的地设备120可以被称为视频解码设备。
源设备110可以包括视频源112、视频编解码器114和输入/输出(I/O)接口116。
视频源112可以包括诸如视频捕获设备、从视频内容提供商接收视频数据的接口和/或用于生成视频数据的计算机图形系统等源,或者这些源的组合。视频数据可以包括一个或多个图片。视频编解码器114对来自视频源112的视频数据进行编码以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关数据。编解码图片是图片的编解码表示。相关数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发射器。编码后的视频数据可以通过网络130a经由I/O接口116直接发送到目的地设备120。编码后的视频数据还可以存储到存储介质/服务器130b上以供目的地设备120访问。
目的地设备120可以包括I/O接口126、视频解码器124和显示设备122。
I/O接口126可以包括接收器和/或调制解调器。I/O接口126可从源设备110或存储介质/服务器130b获取经编码的视频数据。视频解码器124可对经编码的视频数据进行解码。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目的地设备120集成,或者可以在被配置成在与外部显示设备接口的目的地设备120的外部。
视频编码器114和视频解码器124可以根据视频压缩标准操作,诸如当前的高效视频编解码(HEVC)标准、VVM标准和其他当前和/或进一步的标准。
图7是示出视频编码器200的示例的框图,视频编码器200可以是图6所示的系统100中的视频编码器114。
视频编码器200可以被配置成执行本公开的任何或所有技术。在图7的示例中,视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各个组件之间共享。在一些示例中,处理器可以被配置为执行本公开中描述的任何或所有技术。
视频编码器200的功能组件可以包括分割单元201、可包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206的预测单元202、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲器213和熵编码单元214。
在其他示例中,视频编码器200可以包括更多、更少或不同的功能组件。在示例中,预测单元可以包括帧内块复制(IBC)单元。IBC单元可以在IBC模式下执行预测,其中至少一个参考图片是当前视频块所在的图片。
此外,一些组件(诸如运动估计单元204和运动补偿单元205)可以高度集成,但是为了解释的目的,在图7的示例中是分开表示的。
分割单元201可以将当前图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。
模式选择单元203可以例如基于误差结果选择编解码模式(帧内或帧间)中的一个,并将得到的帧内或帧间编解码块提供给残差生成单元207,以生成残差块数据,并且提供给重构单元212以重构编码块以用作参考图片。在一些示例中,模式选择单元203可以选择其中预测基于帧间预测信号和帧内预测信号的组合帧内帧间(CIIP)模式。在帧间预测的情况下,模式选择单元203还可以为块的运动矢量(例如,子像素或整数像素精度)选择分辨率。
为了对当前视频块执行帧间预测,运动估计单元204可以通过将来自缓冲器213中的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可以基于来自缓冲器213的图片(不同于与当前视频块相关联的图片)(例如,参考图片)的运动信息和解码样点来确定当前视频块的预测视频块。
例如,取决于当前视频块是在I条带、P条带还是B条带中,运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作。
在一些示例中,运动估计单元204可以对当前视频块执行单向预测,并且运动估计单元204可以在列表0或列表1的参考图片中搜索当前视频块的参考视频块。然后,运动估计单元204可以生成指示包含参考视频块的列表0或列表1中的参考图片的参考索引和指示当前视频块与参考视频块之间的空间位移的运动矢量。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
在其他示例中,运动估计单元204可以对当前视频块执行双向预测,运动估计单元204可以在列表0的参考图片中搜索当前视频块的参考视频块,并且也可以在列表1的参考图片中搜索当前视频的另一参考视频块。然后,运动估计单元204可以生成指示包含参考视频块的列表0或列表1中的参考图片的参考索引和指示参考视频块与当前视频块之间的空间位移的运动矢量。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
在一些示例中,运动估计单元204不输出当前视频的全套运动信息(例如给熵编码单元214)。相反,运动估计单元204可以参考另一视频块的运动信息来信令通知当前视频块的运动信息。例如,运动估计单元204可以确定当前视频块的运动信息与临近视频块的运动信息足够相似。
在一个示例中,运动估计单元204可以在与当前视频块相关联的语法结构中指示值,该值向视频解码器300指示当前视频块与另一视频块具有相同的运动信息。
在另一示例中,运动估计单元204可以在与当前视频块相关联的语法结构中标识另一个视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量与所指示的视频块的运动矢量之间的差。视频解码器300可以使用所指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。
如上所述,视频编码器200可以预测地信令通知运动矢量。可由视频编码器200实现的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和Merge模式信令。
帧内预测单元206可以对当前视频块进行帧内预测。当帧内预测单元206对当前视频块进行帧内预测时,帧内预测单元206可以基于相同图片中的其他视频块的解码样点生成当前视频块的预测数据。当前视频块的预测数据可以包括预测的视频块和各种语法元素。
残差生成单元207可以通过从当前视频块减去(例如,由减号指示)当前视频块的(多个)预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中的样点的不同样点分量的残差视频块。
在其他示例中,例如在跳过模式下,针对当前视频块可以没有当前视频块的残差数据,并且残差生成单元207可以不执行减法操作。
变换处理单元208可以通过对与当前视频块相关联的残差视频块应用一个或多个变换来为当前视频块生成一个或多个变换系数视频块。
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后,量化单元209可以基于与当前视频块相关联的量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
逆量化单元210和逆变换单元211可以分别对变换系数视频块应用逆量化和逆变换,以从变换系数视频块重构残差视频块。重构单元212可以将重构的残差视频块添加到由预测单元生成的一个或多个预测视频块的对应样点中,以产生与当前块相关联的重构视频块以存储在缓冲器213中。
在重构单元212重构视频块之后,可以执行环路滤波操作以减少视频块中的视频块伪影。
熵编码单元214可以从视频编码器200的其它功能组件接收数据。当熵编码单元214接收数据时,熵编码单元214可以执行一个或多个熵编码操作以生成熵编码数据并输出包括熵编码数据的比特流。
图8是示出可以是图6所示的系统100中的视频解码器114的视频解码器300的示例的框图。视频解码器300可以被配置成执行本公开的任何或所有技术。在图8的示例中,视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各个组件之间共享。在一些示例中,处理器可以被配置为执行本公开中描述的任何或所有技术。
在图8的示例中,视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、以及重构单元306和缓冲器307。在一些示例中,视频解码器300可以执行通常与关于视频编解码器200描述的编码遍(图7)相反的解码遍。
熵解码单元301可以检索编码的比特流。编码的比特流可以包括熵编解码视的频数据(例如,视频数据的编码块)。熵解码单元301可以解码熵编解码的视频数据,并且运动补偿单元302可以从熵解码的视频数据中确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。例如,运动补偿单元302可以通过执行AMVP和Merge模式来确定这些信息。
运动补偿单元302可以使用在比特流中接收到的运动矢量和/或MVD来识别缓冲器307中的参考图片中的预测视频块。
运动补偿单元302产生运动补偿块,可能基于插值滤波器执行插值。语法元素中可以包括用于采用子像素精度的运动估计的插值滤波器的标识符。
运动补偿单元302可以使用视频编解码器200在视频块编码期间使用的插值滤波器来计算参考块的子整数像素的插值的值。运动补偿单元302可以根据接收到的语法信息来确定视频编解码器200使用的插值滤波器,并且使用该插值滤波器来产生预测块。
运动补偿单元302可以使用一些语法信息来确定用于对编码的视频序列的(多个)帧和/或(多个)条带进行编码的块的尺寸、描述如何对编码的视频序列的图片的每个宏块进行分割的分割信息、指示如何对每个分割进行编码的模式、每个帧间编码块的一个或多个参考帧(和参考帧列表)、以及用于解码编码的视频序列的其他信息。
帧内预测单元303可以使用例如在比特流中接收到的帧内预测模式来从空域相邻块形成预测块。逆量化单元304对在比特流中提供并由熵解码单元301解码的量化视频块系数进行逆量化(即去量化)。逆变换单元305应用逆变换。
重构单元306可以将残差块与由运动补偿单元202或帧内预测单元303生成的相应预测块相加以形成解码块。如果需要,还可以应用去方块滤波器来滤波解码块以去除块效应伪影。解码的视频块随后被存储在缓冲器307中,其提供用于后续运动补偿的参考块,并且还产生解码的视频以在显示设备上呈现。
在一些实施例中,以下解决方案可以实现为优选解决方案。
以下解决方案可与上一节所列项目(例如项1)中所述的附加技术一起实施。
1.一种视频处理方法(例如,图4所示的方法400),包括:对于视频的当前块与视频的编解码表示之间的转换,确定(402)包含当前块的当前图片和用于转换的参考图片的分辨率不同,以及基于确定执行(404)转换,使得使用水平或垂直插值滤波器来生成当前块的样点组的预测值。
2.根据解决方案1所述的方法,其中所述样点组对应于当前块的所有样点。
3.根据解决方案1所述的方法,其中所述样点组对应于当前块的一些样点。
4.根据解决方案3所述的方法,其中所述样点组对应于当前块中某个区域的所有样点。
5.根据解决方案1-4中任一项所述的方法,其中选择所述样点组使其具有在转换期间使用的相同运动矢量(MV)。
6.根据解决方案1-4中任一项所述的方法,其中所述样点组具有相同的水平运动矢量分量。
7.根据解决方案1-4中任一项所述的方法,其中所述样点组具有相同的垂直运动矢量分量。
8.根据解决方案1-4中任一项所述的方法,其中所述样点组具有相同的分数水平运动矢量分量部分。
9.根据解决方案1-4中任一项所述的方法,其中所述样点组具有相同的分数垂直运动矢量分量部分。
10.根据解决方案1-9中任一项所述的方法,其中,在转换期间,通过修改步骤(包括截断、剪切或取整)修改基于当前图片的分辨率和参考图片的分辨率导出的运动矢量的值,来导出特定样点的运动矢量。
11.根据解决方案1-7中任一项所述的方法,其中,在转换期间,将特定样点的运动矢量设置为等于由样点组中的所有样点共享的共享运动矢量的值。
12.根据解决方案1-9中任一项所述的方法,其中,所述样点组在转换期间共享共享运动矢量,并且其中,所述共享运动矢量是从所述样点组中的一个或多个样点的运动矢量导出的。
13.根据解决方案11所述的方法,其中进一步从虚拟样点导出共享运动矢量。
以下解决方案可与上一节所列项目(例如项6)中所述的附加技术一起实施。
14.一种视频处理方法,包括:对于视频的当前块与视频的编解码表示之间的转换,确定包含当前块的当前图片和用于转换的参考图片的分辨率不同,以及基于确定执行转换,使得当前块的样点组的预测值被生成为虚拟参考块的插值版本,该虚拟参考块的插值版本是通过改变参考图片中的区域的采样率而生成的,其中,采样率改变取决于当前图片或参考图片的高度或宽度。
15.根据解决方案14所述的方法,其中使用其系数不取决于当前图片或参考图片的高度或宽度的插值滤波器来生成插值版本。
以下解决方案可与上一节所列项目(例如项6)中所述的附加技术一起实施。
16.一种视频处理方法,包括:对于视频的当前块与视频的编解码表示之间的转换,确定包含当前块的当前图片和用于转换的参考图片的分辨率不同,以及基于确定、基于取决于当前图片或参考图片的高度或宽度的方案,导出用于参考样点填充的边界块的左上坐标,以及使用导出的边界框的左上坐标执行转换。
17.根据解决方案16所述的方法,所述方案包括将位于整数样点位置的亮度样点计算为:
xInti=Clip3(xSbIntL-Dx,xSbIntL+sbWidth+Ux,xInti),
yInti=Clip3(ySbIntL-Dy,ySbIntL+sbHeight+Uy,yInti),
其中Dx和/或Dy和/或Ux和/或Uy取决于当前图片或参考图片的宽度和/或高度,并且其中(xSbIntL,ySbIntL)是左上坐标。
18.根据解决方案16所述的方法,所述方案包括将位于整数样点位置的色度样点计算为:
xInti=Clip3(xSbIntC-Dx,xSbIntC+sbWidth+Ux,xInti)
yInti=Clip3(ySbIntC-Dy,ySbIntC+sbHeight+Uy,yInti)
其中Dx和/或Dy和/或Ux和/或Uy取决于当前图片或参考图片的宽度和/或高度,并且其中(xSbIntL,ySbIntL)是左上坐标。
以下解决方案可与上一节所列项目(例如项7)中所述的附加技术一起实施。
19.一种视频处理方法,包括:对于视频的当前图片中的当前块与视频的编解码表示之间的转换,基于解码器侧运动矢量细化(DMVR)在当前块的转换期间的使用,根据用于参考样点填充的限位块确定应用于运动矢量计算的剪切操作;以及基于剪切操作执行转换。
20.根据解决方案19所述的方法,其中,由于DMVR被用于当前块而确定启用传统剪切操作。
21.根据解决方案19-20中任一项所述的方法,其中当前块是色度块。
以下解决方案可与上一节所列项目(例如项8)中所述的附加技术一起实施。
22.一种视频处理方法,包括:对于视频的当前图片中的当前块与视频的编解码表示之间的转换,基于图片环绕在转换中的使用,根据用于参考样点填充的限位块确定应用于运动矢量计算的剪切操作;以及基于剪切操作执行转换。
23.根据解决方案22所述的方法,其中,仅当对当前块禁用图片环绕时,才确定启用传统剪切操作。
24.根据解决方案22-23中任一项所述的方法,其中当前块是色度块。
25.根据解决方案22-23中任一项所述的方法,其中使用剪切操作来将亮度样点计算为:
xInti=Clip3(xSbIntL-Dx,xSbIntL+sbWidth+Ux,xInti),
yInti=Clip3(ySbIntL-Dy,ySbIntL+sbHeight+Uy,yInti),
其中Dx和/或Dy和/或Ux和/或Uy取决于图片环绕的使用,并且其中(xSbIntL,ySbIntL)表示限位块。
26.根据解决方案1-25中任一项所述的方法,其中,所述转换包括将视频编码为编解码表示。
27.根据解决方案1-25中任一项所述的方法,其中,所述转换包括解码编解码表示以生成视频的像素值。
28.一种视频解码装置,包括处理器,所述处理器被配置成实现在解决方案1-27中的一项或多项所述的方法。
29.一种视频编解码装置,包括处理器,所述处理器被配置成实现在解决方案1-27中的一项或多项所述的方法。
30.一种计算机程序产品,其上存储有计算机代码,当由处理器执行时,所述代码使处理器实现解决方案1-27中任一项所述的方法。
31.本文中描述的方法、装置或系统。
下面描述根据所公开技术的优选实施例的各种示例。在这些示例中,描述了基于各种规则的视频编码或解码。例如,这些规则涉及在哪些条件下(并且仅在这些条件下)剪切操作可用于确保运动矢量指向参考帧中的实际样点,而不是指向参考帧之外。
以下示例可与上一节所列项目(例如项7)中所述的附加技术一起实施。
1.一种视频处理方法(例如,图10A所示的方法1000),包括:做出关于是否对于视频的当前图片的当前块与所述视频的编解码表示之间的转换启用解码器侧运动矢量细化(DMVR)工具的第一确定(1002);基于所述第一确定,根据规则做出关于是否或如何在用于确定所述当前块的预测块的参考图片中根据用于参考样点填充的限位块来剪切运动矢量的第二确定(1004);以及基于所述第一确定和所述第二确定执行(1006)所述转换;其中,在用于确定所述预测块之前,使用所述DMVR工具对来自所述编解码表示的经编码的运动矢量进行细化。
2.根据示例1所述的方法,其中所述规则规定在对所述当前块启用所述DMVR工具的情况下,根据所述限位块剪切所述运动矢量;否则在对所述当前块禁用所述DMVR工具的情况下,不根据所述限位块剪切所述运动矢量。
3.根据示例1-2所述的方法,其中,在对所述当前块启用所述DMVR工具的情况下,使用剪切将表示为(xInti,yInti)的整数样点位置处的亮度样点进行如下剪切:
xInti=Clip3(xSbIntL-3,xSbIntL+sbWidth+4,xInti)
yInti=Clip3(ySbIntL-3,ySbIntL+sbHeight+4,yInti)
其中(xSbIntL,ySbIntL)是左上坐标,sbWidth和sbHeight表示所述当前块的宽度和高度,并且函数Clip3()定义为:
4.根据示例1-2所述的方法,其中,在对所述当前块启用所述DMVR工具的情况下,使用剪切将表示为(xInti,yInti)的整数样点位置处的色度样点进行如下剪切:
xInti=Clip3(xSbIntC-3,xSbIntL+sbWidth+4,xInti)
yInti=Clip3(ySbIntC-3,ySbIntL+sbHeight+4,yInti)
其中(xSbIntC,ySbIntC)是左上坐标,sbWidth和sbHeight表示所述当前块的宽度和高度,并且函数Clip3()定义为:
5.根据示例1-4中任一项所述的方法,其中将指示是否启用所述DMVR的语法元素包括在所述编解码表示中。
以下示例可与上一节所列项目(例如项8)中所述的附加技术一起实施。
6.一种视频处理方法(例如,图10B中所示的方法1010),包括:做出关于是否对于视频的当前图片的当前块与所述视频的编解码表示之间的转换启用参考图片环绕的第一确定(1012);基于所述第一确定,根据规则做出关于是否或如何在用于确定所述当前块的预测块的参考图片中根据用于参考样点填充的限位块来剪切运动矢量的第二确定(1014);以及基于所述第一确定和所述第二确定执行(1016)所述转换。
7.根据示例6所述的方法,其中所述规则指定在对所述当前块启用所述参考图片环绕的情况下,根据所述限位块剪切所述运动矢量;否则在所述参考图片环绕对所述当前块不可用的情况下,不根据所述限位块剪切所述运动矢量。
8.根据示例6-7所述的方法,其中,使用剪切将表示为(xInti,yInti)的整数样点位置处的亮度样点进行如下剪切:
xInti=Clip3(xSbIntL-3,xSbIntL+sbWidth+4,xInti)
yInti=Clip3(ySbIntL-3,ySbIntL+sbHeight+4,yInti)
其中(xSbIntL,ySbIntL)是左上坐标,sbWidth和sbHeight表示所述当前块的宽度和高度,并且函数Clip3()定义为:
9.根据示例6-7所述的方法,其中,使用剪切将表示为(xInti,yInti)的整数样点位置处的色度样点进行如下剪切:
xInti=Clip3(xSbIntC-3,xSbIntL+sbWidth+4,xInti)
yInti=Clip3(ySbIntC-3,ySbIntL+sbHeight+4,yInti)
其中(xSbIntC,ySbIntC)是左上坐标,sbWidth和sbHeight表示所述当前块的宽度和高度,并且函数Clip3()定义为:
10.根据示例6-9中任一项所述的方法,其中将指示是否对所述当前块启用所述参考图片环绕的语法元素包括在所述编解码表示中。
11.根据示例6-10中任一项所述的方法,其中,使用参考图片环绕将指向所述限位块之外的运动矢量环绕,以指向所述限位块内的参考样点。
以下示例可与上一节所列项目(例如项19)中所述的附加技术一起实施。
12.一种视频处理方法(例如,图10C所示的方法1020),包括:做出关于是否对于视频的当前图片的当前块与所述视频的编解码表示之间的转换启用编解码工具的第一确定(1022);基于所述第一确定,根据规则做出关于是否或如何在用于确定所述当前块的预测块的参考图片中将色度或亮度样点剪切到整数位置的第二确定(1024);以及基于所述第一确定和所述第二确定执行(1026)所述转换。
13.根据示例12所述的方法,其中所述编解码工具包括解码器侧运动矢量细化工具,其中在确定所述当前块的预测块之前细化所述编解码表示中编解码的运动矢量。
14.根据示例12-13所述的方法,其中所述规则规定在对所述当前块启用编解码工具的情况下,剪切所述亮度或色度样点位置;否则在对所述当前块禁用所述编解码工具的情况下,不剪切所述亮度或色度样点位置。
15.根据示例12-13所述的方法,其中所述规则规定在对所述当前块禁用编解码工具的情况下,剪切亮度或色度样点位置;否则在对所述当前块启用所述编解码工具的情况下,不剪切所述亮度或色度样点位置。
以下示例可与上一节所列项目(例如项18(g))中所述的附加技术一起实施。
16.一种视频处理方法(例如,图10D中所示的方法1030),包括:对于包括包含当前块的当前图片的视频与所述视频的编解码表示之间的转换,基于规则确定(1032)在从来自两个参考图片列表中的一个或多个参考图片生成所述当前块的预测块时,是否要执行整数样点剪切操作,以及基于所述确定执行(1034)所述转换,其中规则基于与所述当前图片相关联的第一尺寸和/或与所述两个参考图片列表中的所述一个或多个参考图片相关联的第二尺寸,或者是否启用解码器侧运动矢量细化(DMVR),其中在所述DMVR中,在生成所述预测块之前细化所述编解码表示中编解码的运动矢量。
17.根据示例16所述的方法,其中所述第一尺寸对应于所述当前图片的尺寸、或所述当前图片的一致性窗口的尺寸、或所述当前图片的缩放窗口的尺寸。
18.根据示例16-17中任一项所述的方法,其中,所述第二尺寸对应于所述两个参考图片列表中的所述一个或多个参考图片的尺寸、或所述两个参考图片列表中的所述一个或多个参考图片的一致性窗口的尺寸、或所述两个参考图片列表中的所述一个或多个参考图片的缩放窗口的尺寸。
19.根据示例16-18中任一项所述的方法,其中所述规则规定,在所述第一尺寸和所述第二尺寸相等的情况下,执行所述整数样点剪切操作;并且在所述第一尺寸和所述第二尺寸不相等的情况下,禁用所述整数样点剪切操作。
20.根据示例16-18中任一项所述的方法,其中所述规则规定,在所述第一尺寸和所述第二尺寸不相等的情况下,执行所述整数样点剪切操作;并且在所述第一尺寸和所述第二尺寸相等的情况下,禁用所述整数样点剪切操作。
21.根据示例16-18中任一项所述的方法,其中所述第一尺寸和所述第二尺寸通过缩放因子相关,并且其中,将指示所述缩放因子的语法字段包括在所述编解码表示中。
22.根据示例16所述的方法,其中将指示所述DMVR被启用的语法字段包括在所述编解码表示中。
23.根据示例22所述的方法,其中所述语法字段是标志。
以下示例可与上一节所列项目(例如项6)中所述的附加技术一起实施。
24.一种视频处理方法(例如,图10E所示的方法1040),包括:对于包括包含当前块的当前图片的视频与所述视频的编解码表示之间的转换,根据规则在用于确定所述当前块的预测块的参考图片中推导(1042)用于参考信号填充的边界块的左上坐标;以及基于所述推导执行(1044)所述转换,其中所述规则基于所述当前图片的维度或所述参考图片的维度。
25.根据示例24所述的方法,其中所述规则规定用于确定如下的表示为(xInti,yInti)的整数样点位置处的亮度样点的值Dx、Dy、Ux或Uy:
xInti=Clip3(xSbIntL-Dx,xSbIntL+sbWidth+Ux,xInti),
yInti=Clip3(ySbIntL-Dy,ySbIntL+sbHeight+Uy,yInti),
其中(xSbIntL,ySbIntL)是左上坐标,sbWidth和sbHeight表示所述当前块的宽度和高度,函数Clip3()定义为:
26.根据示例24所述的方法,其中所述规则规定用于确定如下的表示为(xInti,yInti)的整数样点位置处的色度样点的值Dx、Dy、Ux或Uy:
xInti=Clip3(xSbIntC-Dx,xSbIntC+sbWidth+Ux,xInti)
yInti=Clip3(ySbIntC-Dy,ySbIntC+sbHeight+Uy,yInti)
其中(xSbIntC,ySbIntC)是左上坐标,sbWidth和sbHeight表示所述当前块的宽度和高度,函数Clip3()定义为:
以下示例可与上一节所列项目(例如项18)中所述的附加技术一起实施。
27.一种视频处理方法(例如,图10F所示的方法1050),包括:对于包括包含当前块的当前图片的视频与所述视频的编解码表示之间的转换,基于规则确定(1052)在从参考图片生成所述当前块的预测块时,是否要执行整数样点剪切操作;以及基于所述确定执行(1054)所述转换,其中规则基于与所述当前图片相关联的第一尺寸和/或与所述参考图片相关联的第二尺寸。
28.根据示例27所述的方法,其中与所述当前图片相关联的所述第一尺寸对应于所述当前图片的尺寸、所述当前图片的一致性窗口的尺寸、或所述当前图片的缩放窗口的尺寸。
29.根据示例27-28中任一项所述的方法,其中与所述参考图片相关联的所述第二尺寸对应于参考图片的尺寸、参考图片的一致性窗口的尺寸、或参考图片的缩放窗口的尺寸。
30.根据示例27-29中任一项所述的方法,其中所述规则规定,在所述第一尺寸和所述第二尺寸相等的情况下,执行所述整数样点剪切操作;并且在所述第一尺寸和所述第二尺寸不相等的情况下,禁用所述整数样点剪切操作。
31.根据示例27-29中任一项所述的方法,其中所述规则规定,在所述第一尺寸和所述第二尺寸不相等的情况下,执行所述整数样点剪切操作;并且在所述第一尺寸和所述第二尺寸相等的情况下,禁用所述整数样点剪切操作。
32.根据示例27-29中任一项所述的方法,其中所述第一尺寸和所述第二尺寸通过所述当前图片和所述参考图片之间的缩放因子相关。
33.根据示例32所述的方法,其中,所述规则规定,当且仅当所述缩放因子等于1时才使用所述整数样点剪切操作。
34.根据示例32所述的方法,其中,所述规则规定,当且仅当所述缩放因子不等于1时才使用所述整数样点剪切操作。
35.根据示例27-29中任一项所述的方法,其中与所述当前图片相关联的所述第一尺寸和与所述参考图片相关联的所述第二尺寸是宽度,其中所述规则规定在水平方向上使用所述整数样点剪切操作。
36.根据示例35所述的方法,其中与所述当前图片相关联的所述第一尺寸和与所述参考图片相关联的所述第二尺寸通过水平缩放因子相关,并且其中,所述规则规定在水平方向上使用所述整数样点剪切操作。
37.根据示例27-29中任一项所述的方法,其中与所述当前图片相关联的所述第一尺寸和与所述参考图片相关联的所述第二尺寸是高度,其中所述规则规定在垂直方向上使用所述整数样点剪切操作。
38.根据示例37所述的方法,其中与所述当前图片相关联的所述第一尺寸和与所述参考图片相关联的所述第二尺寸通过垂直缩放因子相关,并且其中,所述规则规定在垂直方向上使用所述整数样点剪切操作。
39.根据示例35-38中任一项所述的方法,其中所述编解码表示中包括的语法字段指示所述水平缩放因子和所述垂直缩放因子的浮点表示。
40.根据示例39所述的方法,其中所述水平缩放因子和所述垂直缩放因子等于(1<<14),其中<<是向左比特移位操作。
41.根据示例1到40中任一项所述的方法,其中所述转换包括将所述视频编码成所述编解码表示。
42.根据示例1到40中任一项所述的方法,其中所述转换包括对所述编解码表示进行解码以生成所述视频的像素值。
43.一种视频解码装置,包括处理器,所述处理器被配置成实现示例1-42中的一项或多项所述的方法。
44.一种视频编码装置,包括处理器,所述处理器被配置成实现示例1-42中的一项或多项所述的方法。
45.一种计算机程序产品,其上存储有计算机代码,当由处理器执行时,所述代码使所述处理器实现示例1-42中任一项所述的方法。
46.一种存储指令的非暂时性计算机可读存储介质,使处理器实现示例1-42中任一项所述的方法。
47.一种非暂时性计算机可读记录介质,存储与由示例1-42中任一项所述的方法产生的所述编解码表示相对应的比特流。
48.本文中描述的方法、装置或系统。
在上述解决方案中,执行转换包括在编码或解码操作期间使用上一判定步骤的结果来获得转换结果。
在本文中,术语“视频处理”可指视频编码、视频解码、视频压缩或视频解压缩。例如,可以在从视频的像素表示到对应的比特流的转换期间应用视频压缩算法,反之亦然。例如,当前视频块的比特流或编解码表示可以对应于由语法定义的比特流中的并置位置或在不同位置传播的比特。例如,可以根据经过转换和编解码的误差残差来编码视频块,并且也可以使用比特流中的标头和其他字段中的比特来编码视频块。此外,在转换期间,如上述解决方案中描述的,解码器可以在知道某些字段可能存在或不存在的情况下,基于所述确定来解析比特流。类似地,编码器可以通过在编解码表示中包括或不包括语法字段来确定是否包括某些语法字段,并对应地生成编解码表示。
所公开技术的一些实施例包括:作出启用视频处理工具或模式的决策或确定。在一个示例中,当视频处理工具或模式被启用时,编码器将在视频块的处理中使用或实现该工具或模式,但不一定基于该工具或模式的使用来修改产生的比特流。也就是说,当基于决策或确定启用视频处理工具或模式时,从视频块到视频的比特流的转换将使用该视频处理工具或模式。在另一示例中,当视频处理工具或模式被启用时,解码器将在知晓已经基于视频处理工具或模式修改了比特流的情况下处理比特流。也就是说,将使用基于决策或确定而启用的视频处理工具或模式来执行从视频的比特流到视频块的转换。
所公开技术的一些实施例(例如如上所述的解决方案和示例)包括:作出禁用视频处理工具或模式的决策或确定。在一个示例中,当视频处理工具或模式被禁用时,编码器将不在将视频块到视频的比特流的转换中使用该工具或模式。在另一示例中,当视频处理工具或模式被禁用时,解码器将在知晓未使用基于所述决策或确定而禁用的视频处理工具或模式修改比特流的情况下来处理比特流。
本文所述的所公开的和其它解决方案、示例、实施例、模块和功能操作可以在数字电子电路中、或在计算机软件、固件或硬件中实现,包括本文中所公开的结构及其结构等效体,或其中一个或多个的组合。所公开的以及其它实施例可以实现为一个或多个计算机程序产品,即一个或多个编码在计算机可读介质上的计算机程序指令的模块,以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或其中多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器,包括例如可编程处理器、计算机或多个处理器或计算机。除硬件外,该装置还可以包括为计算机程序创建执行环境的代码,例如,构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。传播的信号是人为生成的信号,例如,机器生成的电、光或电磁信号,其被生成以对信息进行编码以传输到合适的接收器装置。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写,并且可以以任何形式部署,包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如,存储在标记语言文档中的一个或多个脚本)、专用于所讨论的程序的单个文件中、或多个协调文件(例如,存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行,这些计算机位于一个站点上或分布在多个站点上,并通过通信网络互连。
本文中描述的处理和逻辑流可以通过一个或多个可编程处理器执行,该处理器执行一个或多个计算机程序,通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行,并且装置也可以实现为特殊用途的逻辑电路,例如,FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如,适于执行计算机程序的处理器包括通用和专用微处理器,以及任何类型数字计算机的任何一个或多个。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常,计算机还将包括一个或多个用于存储数据的大容量存储设备,例如,磁盘、磁光盘或光盘,或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备,或两者兼有。然而,计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括例如半导体存储器设备,例如EPROM、EEPROM和闪存设备;磁盘,例如内部硬盘或可移动盘;磁光盘;以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路来补充,或合并到专用逻辑电路中。
虽然本专利文件包含许多细节,但不应将其解释为对任何主题或权利要求范围的限制,而应解释为对特定技术的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反,在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施,或在任何合适的子组合中实施。此外,尽管上述特征可以描述为在某些组合中起作用,甚至最初要求是这样,但在某些情况下,可以从组合中移除权利要求组合中的一个或多个特征,并且权利要求的组合可以指向子组合或子组合的变体。
同样,尽管附图中以特定顺序描述了操作,但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作,或执行所有说明的操作。此外,本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。
仅描述了一些实现和示例,其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims (63)

1.一种用于处理视频数据的方法,包括:
做出关于是否对于视频的当前图片的当前块与所述视频的比特流之间的转换启用解码器侧运动矢量细化工具的第一确定;
基于所述第一确定,做出关于是否在用于确定所述当前块的预测块的参考图片中根据用于参考样点填充的限位块来剪切整数样点位置处的样点的第二确定,其中所述整数样点位置处的所述样点在所述参考图片中,并且是根据所述当前块的第一运动矢量获取的;以及
基于所述第二确定执行所述转换。
2.根据权利要求1所述的方法,其中,在对于所述当前块启用所述解码器侧运动矢量细化工具的情况下,根据所述限位块来剪切所述整数样点位置处的所述样点。
3.根据权利要求1所述的方法,其中,在对于所述当前块启用所述解码器侧运动矢量细化工具的情况下,根据xSbIntL-3和ySbIntL-3来剪切表示为(xInti,yInti)的所述整数样点位置处的亮度样点;
其中(xSbIntL,ySbIntL)指定相对于所述参考图片的左上亮度样点的所述限位块的左上样点。
4.根据权利要求1所述的方法,其中,在对于所述当前块启用所述解码器侧运动矢量细化工具的情况下,根据xSbIntC-1和ySbIntC-1来剪切表示为(xInti,yInti)的所述整数样点位置处的色度样点;
其中(xSbIntC,ySbIntC)指定相对于所述参考图片的左上色度样点的所述限位块的左上样点。
5.根据权利要求2所述的方法,其中,所述第一运动矢量由所述解码器侧运动矢量细化工具细化。
6.根据权利要求3所述的方法,其中,(xSbIntL,ySbIntL)是基于未由所述解码器侧运动矢量细化工具细化的第二运动矢量来确定的。
7.根据权利要求1所述的方法,其中,所述方法还包括:
做出关于对于所述转换是否启用参考图片环绕的第三确定;
基于所述第三确定执行所述转换;其中,如何剪切所述整数样点位置处的样点基于是否对于所述转换启用了所述参考图片环绕。
8.根据权利要求7所述的方法,其中,将指示是否启用所述参考图片环绕的语法元素包括在所述比特流中。
9.根据权利要求7所述的方法,其中,所述第二确定用于整数样点位置处的所述样点的第一剪切操作,以及,
其中,所述第三确定用于整数样点位置处的所述样点的第二剪切操作。
10.根据权利要求1所述的方法,其中,所述转换包括将所述当前块编码到所述比特流中。
11.根据权利要求1所述的方法,其中,所述转换包括从所述比特流解码所述当前块。
12.一种用于处理视频数据的装置,包括处理器和其上具有指令的非暂时性存储器,其中所述指令在由所述处理器执行时使得所述处理器:
做出关于是否对于视频的当前图片的当前块与所述视频的比特流之间的转换启用解码器侧运动矢量细化工具的第一确定;
基于所述第一确定,做出关于是否在用于确定所述当前块的预测块的参考图片中根据用于参考样点填充的限位块来剪切整数样点位置处的样点的第二确定,其中所述整数样点位置处的所述样点在所述参考图片中,并且是根据所述当前块的第一运动矢量获取的;以及
基于所述第二确定执行所述转换。
13.根据权利要求12所述的装置,其中,在对于所述当前块启用所述解码器侧运动矢量细化工具的情况下,根据所述限位块来剪切所述整数样点位置处的所述样点。
14.根据权利要求12所述的装置,其中,在对于所述当前块启用所述解码器侧运动矢量细化工具的情况下,根据xSbIntL-3和ySbIntL-3来剪切表示为(xInti,yInti)的所述整数样点位置处的亮度样点;
其中(xSbIntL,ySbIntL)指定相对于所述参考图片的左上亮度样点的所述限位块的左上样点。
15.根据权利要求12所述的装置,其中,在对于所述当前块启用所述解码器侧运动矢量细化工具的情况下,根据xSbIntC-1和ySbIntC-1来剪切表示为(xInti,yInti)的所述整数样点位置处的色度样点;
其中(xSbIntC,ySbIntC)指定相对于所述参考图片的左上色度样点的所述限位块的左上样点。
16.一种存储指令的非暂时性计算机可读存储介质,所述指令使得处理器:
做出关于是否对于视频的当前图片的当前块与所述视频的比特流之间的转换启用解码器侧运动矢量细化工具的第一确定;
基于所述第一确定,做出关于是否在用于确定所述当前块的预测块的参考图片中根据用于参考样点填充的限位块来剪切整数样点位置处的样点的第二确定,其中所述整数样点位置处的所述样点在所述参考图片中,并且是根据所述当前块的第一运动矢量获取的;以及
基于所述第二确定执行所述转换。
17.根据权利要求16所述的介质,其中,在对于所述当前块启用所述解码器侧运动矢量细化工具的情况下,根据所述限位块来剪切所述整数样点位置处的所述样点。
18.根据权利要求16所述的介质,其中,在对于所述当前块启用所述解码器侧运动矢量细化工具的情况下,根据xSbIntL-3和ySbIntL-3来剪切表示为(xInti,yInti)的所述整数样点位置处的亮度样点;
其中(xSbIntL,ySbIntL)指定相对于所述参考图片的左上亮度样点的所述限位块的左上样点。
19.根据权利要求16所述的介质,其中,在对于所述当前块启用所述解码器侧运动矢量细化工具的情况下,根据xSbIntC-1和ySbIntC-1来剪切表示为(xInti,yInti)的所述整数样点位置处的色度样点;
其中(xSbIntC,ySbIntC)指定相对于所述参考图片的左上色度样点的所述限位块的左上样点。
20.一种非暂时性计算机可读记录介质,其存储由视频处理装置执行的方法生成的视频的比特流,其中所述方法包括:
做出关于是否启用解码器侧运动矢量细化工具的第一确定;
基于所述第一确定,做出关于是否在用于确定所述当前块的预测块的参考图片中根据用于参考样点填充的限位块来剪切整数样点位置处的样点的第二确定,其中所述整数样点位置处的所述样点在所述参考图片中,并且是根据所述当前块的第一运动矢量获取的;以及
基于所述第二确定生成所述比特流。
21.一种用于存储视频的比特流的方法,包括:
做出关于是否启用解码器侧运动矢量细化工具的第一确定;
基于所述第一确定,做出关于是否在用于确定所述当前块的预测块的参考图片中根据用于参考样点填充的限位块来剪切整数样点位置处的样点的第二确定,其中所述整数样点位置处的所述样点在所述参考图片中,并且是根据所述当前块的第一运动矢量获取的;
基于所述第二确定生成所述比特流;以及
将所述比特流存储在非暂时性计算机可读记录介质中。
22.一种用于处理视频数据的方法,包括:
对于视频的当前图片的当前块和所述视频的比特流之间的转换,基于至少一个语法元素确定应用于参考图片的环绕剪切操作的使用,以确定所述当前块的预测块;
基于所述确定执行所述转换;
其中所述环绕剪切操作用于在样点在所述参考图片之外的情况下重新选择所述参考图片中的样点,以及
其中所述至少一个语法元素包括包含在图片参数集(PPS)中的第一语法元素。
23.根据权利要求22所述的方法,其中,所述第一语法元素指示是否针对所述当前块在水平方向上启用所述环绕剪切操作。
24.根据权利要求23所述的方法,其中,所述至少一个语法元素包括包含在序列参数集(SPS)中的第二语法元素,并且所述第二语法元素指示是否针对所述当前块在所述水平方向上启用所述环绕剪切操作。
25.根据权利要求24所述的方法,其中,所述第一语法元素的值取决于所述第二语法元素的值。
26.根据权利要求25所述的方法,其中,在所述第二语法元素指示针对所述当前块禁用所述环绕剪切操作的情况下,所述第一语法元素指示禁用所述环绕剪切操作。
27.根据权利要求25所述的方法,其中,在所述第二语法元素指示针对所述当前块启用所述环绕剪切操作的情况下,所述第一语法元素被有条件地包括在所述比特流中。
28.根据权利要求23所述的方法,其中,所述第一语法元素的值取决于与所述当前块的编解码树块相关联的第一尺寸和与包括所述当前块的所述当前图片的宽度相关联的第二尺寸。
29.根据权利要求28所述的方法,其中,所述第一语法元素指示在所述第一尺寸大于所述第二尺寸的情况下禁用所述环绕剪切操作。
30.根据权利要求28所述的方法,其中,所述第一尺寸等于(CtbSizeY/MinCbSizeY+Offset1),其中CtbSizeY指示所述当前块的所述编解码树块的高度或宽度,MinCbSizeY指示用于所述转换的编解码块的最小允许尺寸,且Offset1是整数,并且
其中,所述第二尺寸等于(pic_width_in_luma_samples/MinCbSizeY–Offset2),其中pic_width_in_luma_samples指示图片参数集中指示的亮度样点中的所述当前图片的宽度,且Offset2是整数。
31.根据权利要求30所述的方法,其中Offset2=Offset1=1。
32.根据权利要求23所述的方法,其中,所述第一语法元素的值“1”指示在所述水平方向上启用所述环绕剪切操作,并且所述第一语法元素的值“0”指示在所述水平方向上禁用所述环绕剪切操作。
33.根据权利要求22所述的方法,其中,所述转换包括将所述当前视频块编码到所述比特流中。
34.根据权利要求22所述的方法,其中,所述转换包括从所述比特流解码所述当前视频块。
35.一种用于处理视频数据的装置,包括处理器和其上具有指令的非暂时性存储器,其中所述指令在由所述处理器执行时使得所述处理器:
对于视频的当前图片的当前块和所述视频的比特流之间的转换,基于至少一个语法元素确定应用于参考图片的环绕剪切操作的使用,以确定所述当前块的预测块;
基于所述确定执行所述转换;
其中所述环绕剪切操作用于在样点在所述参考图片之外的情况下重新选择所述参考图片中的样点,以及
其中所述至少一个语法元素包括包含在图片参数集(PPS)中的第一语法元素。
36.根据权利要求35所述的装置,其中,所述第一语法元素指示是否针对所述当前块在水平方向上启用所述环绕剪切操作。
37.根据权利要求36所述的装置,其中,所述至少一个语法元素包括包含在序列参数集(SPS)中的第二语法元素,并且所述第二语法元素指示是否针对所述当前块在所述水平方向上启用所述环绕剪切操作。
38.一种存储指令的非暂时性计算机可读存储介质,所述指令使得处理器:
对于视频的当前图片的当前块和所述视频的比特流之间的转换,基于至少一个语法元素确定应用于参考图片的环绕剪切操作的使用,以确定所述当前块的预测块;
基于所述确定执行所述转换;
其中所述环绕剪切操作用于在样点在所述参考图片之外的情况下重新选择所述参考图片中的样点,以及
其中所述至少一个语法元素包括包含在图片参数集(PPS)中的第一语法元素。
39.根据权利要求38所述的非暂时性计算机可读存储介质,其中,所述第一语法元素指示是否针对所述当前块在水平方向上启用所述环绕剪切操作。
40.一种存储由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质,其中所述方法包括:
对于视频的当前图片的当前块,基于至少一个语法元素确定应用于参考图片的环绕剪切操作的使用,以确定所述当前块的预测块;
基于所述确定生成所述比特流;
其中所述环绕剪切操作用于在样点在所述参考图片之外的情况下重新选择所述参考图片中的样点,以及
其中所述至少一个语法元素包括包含在图片参数集(PPS)中的第一语法元素。
41.根据权利要求40所述的非暂时性计算机可读记录介质,其中,所述第一语法元素指示是否针对所述当前块在水平方向上启用所述环绕剪切操作。
42.一种用于存储视频的比特流的方法,包括:
对于视频的当前图片的当前块,基于至少一个语法元素确定应用于参考图片的环绕剪切操作的使用,以确定所述当前块的预测块;
基于所述确定生成所述比特流;以及
将所述比特流存储在非暂时性计算机可读记录介质中;
其中所述环绕剪切操作用于在样点在所述参考图片之外的情况下重新选择所述参考图片中的样点,以及
其中所述至少一个语法元素包括包含在图片参数集(PPS)中的第一语法元素。
43.一种用于处理视频数据的方法,包括:
对于作为色度块的视频的第一视频块和所述视频的比特流之间的转换,确定对所述第一视频块应用交叉分量线性模型(CCLM),其中所述交叉分量线性模型包括根据线性模型基于重构的临近亮度样点来预测色度样点;
导出所述交叉分量线性模型的参数,以及
基于所导出的参数执行所述转换;
其中,在X等于或小于零的情况下,针对所述参数的所述导出避免log2(X)运算。
44.根据权利要求43所述的方法,其中X表示与所述第一视频块相关的两个色度值之间的差的绝对值,并且对于所述参数的所述导出,使用0而不是log2(X)运算。
45.根据权利要求43所述的方法,其中用于确定所述交叉分量线性模型的斜率参数的变量y被评估为:
y=Abs(diffC)>0?Floor(Log2(Abs(diffC)))+1:0;
其中diffC表示与所述第一视频块相关的两个色度值之间的差,Floor是下取整函数,Abs是绝对值函数,并且
其中X等于Abs(diffC)。
46.根据权利要求43所述的方法,还包括:
对于所述视频的当前图片的第二视频块和所述视频的所述比特流之间的转换,确定将编解码工具应用于所述第二视频块,其中在所述编解码工具中,以一个或多个角度从所述当前图片的重构样点中导出所述第二视频块的预测的样点;以及
基于所述预测的样点执行所述转换,
其中,变量invAngle是基于所述一个或多个角度的预测角度是否为零有条件地计算出的,并且所述变量invAngle用于确定所述第二视频块的所述预测的样点。
47.根据权利要求46所述的方法,其中在所述预测角度等于0的情况下,所述变量invAngle等于0。
48.根据权利要求46所述的方法,其中在所述预测角度不等于0的情况下,将所述变量invAngle计算为:
其中intraPredAngle对应于所述预测角度,并且Round是舍入函数。
49.根据权利要求46所述的方法,其中将变量invAngle计算为:
其中invAngle用于确定所述第二视频块的所述预测的样点,intraPredAngle对应于所述一个或多个角度的预测角度,并且Round是舍入函数。
50.根据权利要求43所述的方法,还包括:
对于所述视频的第三视频块和所述视频的所述比特流之间的转换,基于仿射模式确定所述第三视频块的控制点的运动矢量,以及
基于所述运动矢量执行所述转换,
其中,在所述仿射模式下,在第二控制点运动矢量的推导过程中计算Log2(cbWidth)-Log2(cbHeight)或Log2(cbHeight)-Log2(cbWidth),其中cbHeight是所述第三视频块的高度,并且cbWidth是所述第三视频块的宽度。
51.根据权利要求50所述的方法,其中将所述仿射模式的所述第二控制点运动矢量导出为:
cpMvLXCorner[1][0]=(cpMvLXCorner[0][0]<<7)+
((cpMvLXCorner[2][1]-cpMvLXCorner[0][1])
<<(7+Log2(cbWidth)-Log2(cbHeight)))
cpMvLXCorner[1][1]=(cpMvLXCorner[0][1]<<7)+
((cpMvLXCorner[2][0]-cpMvLXCorner[0][0])
<<(7+Log2(cbWidth)-Log2(cbHeight))),
其中cpMvLXCorner[1][0]指示所述第二控制点运动矢量的水平方向值,cpMvLXCorner[0][0]指示第一控制点运动矢量的水平方向值,cpMvLXCorner[2][0]指示第三控制点运动矢量的水平方向值,cpMvLXCorner[1][1]指示所述第二控制点运动矢量的垂直方向值,cpMvLXCorner[0][1]指示所述第一控制点运动矢量的垂直方向值,cpMvLXCorner[2][1]指示所述第三控制点运动矢量的垂直方向值。
52.根据权利要求43所述的方法,其中所述转换包括将所述视频编码到所述比特流中。
53.根据权利要求43所述的方法,其中所述转换包括从所述比特流解码所述视频。
54.一种用于处理视频数据的装置,包括处理器和其上具有指令的非暂时性存储器,其中所述指令在由所述处理器执行时使得所述处理器:
对于作为色度块的视频的第一视频块和所述视频的比特流之间的转换,确定对所述第一视频块应用交叉分量线性模型(CCLM),其中所述交叉分量线性模型包括根据线性模型基于重构的临近亮度样点来预测色度样点;
导出所述交叉分量线性模型的参数,以及
基于所导出的参数执行所述转换;
其中,在X等于或小于零的情况下,针对所述参数的所述导出避免log2(X)运算。
55.根据权利要求54所述的装置,其中X表示与所述第一视频块相关的两个色度值之间的差的绝对值,并且对于所述参数的所述导出,使用0而不是log2(X)运算。
56.根据权利要求54所述的装置,其中用于确定所述交叉分量线性模型的斜率参数的变量y被评估为:
y=Abs(diffC)>0?Floor(Log2(Abs(diffC)))+1:0;
其中diffC表示与所述第一视频块相关的两个色度值之间的差,Floor是下取整函数,Abs是绝对值函数,并且
其中X等于Abs(diffC)。
57.一种存储指令的非暂时性计算机可读存储介质,所述指令使得处理器:
对于作为色度块的视频的第一视频块和所述视频的比特流之间的转换,确定对所述第一视频块应用交叉分量线性模型(CCLM),其中所述交叉分量线性模型包括根据线性模型基于重构的临近亮度样点来预测色度样点;
导出所述交叉分量线性模型的参数,以及
基于所导出的参数执行所述转换;
其中,在X等于或小于零的情况下,针对所述参数的所述导出避免log2(X)运算。
58.根据权利要求57所述的非暂时性计算机可读存储介质,其中X表示与所述第一视频块相关的两个色度值之间的差的绝对值,并且对于所述参数的所述导出,使用0而不是log2(X)运算。
59.根据权利要求57所述的非暂时性计算机可读存储介质,其中用于确定所述交叉分量线性模型的斜率参数的变量y被评估为:
y=Abs(diffC)>0?Floor(Log2(Abs(diffC)))+1:0;
其中diffC表示与所述第一视频块相关的两个色度值之间的差,Floor是下取整函数,Abs是绝对值函数,并且
其中X等于Abs(diffC)。
60.一种非暂时性计算机可读记录介质,其存储由视频处理装置执行的方法生成的视频的比特流,其中所述方法包括:
对于作为色度块的视频的第一视频块,确定对所述第一视频块应用交叉分量线性模型(CCLM),其中所述交叉分量线性模型包括根据线性模型基于重构的临近亮度样点来预测色度样点;
导出所述交叉分量线性模型的参数,以及
基于所导出的参数生成所述比特流;
其中,在X等于或小于零的情况下,针对所述参数的所述导出避免log2(X)运算。
61.根据权利要求60所述的非暂时性计算机可读记录介质,其中X表示与所述第一视频块相关的两个色度值之间的差的绝对值,并且对于所述参数的所述导出,使用0而不是log2(X)运算。
62.根据权利要求61所述的非暂时性计算机可读记录介质,其中用于确定所述交叉分量线性模型的斜率参数的变量y被评估为:
y=Abs(diffC)>0?Floor(Log2(Abs(diffC)))+1:0;
其中diffC表示与所述第一视频块相关的两个色度值之间的差,Floor是下取整函数,Abs是绝对值函数,并且
其中X等于Abs(diffC)。
63.一种用于存储视频的比特流的方法,包括:
对于作为色度块的视频的第一视频块,确定对所述第一视频块应用交叉分量线性模型(CCLM),其中所述交叉分量线性模型包括根据线性模型基于重构的临近亮度样点来预测色度样点;
导出所述交叉分量线性模型的参数,
基于所导出的参数生成所述比特流;以及
将所述比特流存储在非暂时性计算机可读记录介质中;
其中,在X等于或小于零的情况下,针对所述参数的所述导出避免log2(X)运算。
CN202311522941.7A 2019-08-23 2020-08-24 用于处理视频数据的方法、装置以及计算机可读存储介质 Pending CN117319645A (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
CN2019102289 2019-08-23
CNPCT/CN2019/102289 2019-08-23
CN2019112820 2019-10-23
CNPCT/CN2019/112820 2019-10-23
CNPCT/CN2019/129959 2019-12-30
CN2019129959 2019-12-30
PCT/CN2020/110768 WO2021036977A1 (en) 2019-08-23 2020-08-24 Clipping in reference picture resampling
CN202080059745.9A CN114287135A (zh) 2019-08-23 2020-08-24 参考图片重采样中的剪切

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080059745.9A Division CN114287135A (zh) 2019-08-23 2020-08-24 参考图片重采样中的剪切

Publications (1)

Publication Number Publication Date
CN117319645A true CN117319645A (zh) 2023-12-29

Family

ID=74684120

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080059745.9A Pending CN114287135A (zh) 2019-08-23 2020-08-24 参考图片重采样中的剪切
CN202311522941.7A Pending CN117319645A (zh) 2019-08-23 2020-08-24 用于处理视频数据的方法、装置以及计算机可读存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202080059745.9A Pending CN114287135A (zh) 2019-08-23 2020-08-24 参考图片重采样中的剪切

Country Status (6)

Country Link
US (2) US11800090B2 (zh)
EP (1) EP4000267A4 (zh)
JP (2) JP7305873B2 (zh)
KR (1) KR20220049000A (zh)
CN (2) CN114287135A (zh)
WO (1) WO2021036977A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7305873B2 (ja) 2019-08-23 2023-07-10 北京字節跳動網絡技術有限公司 ビデオ処理方法、ビデオ・データ処理装置、記憶媒体及び記憶方法
WO2021054811A1 (ko) * 2019-09-20 2021-03-25 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US20220400287A1 (en) * 2019-11-15 2022-12-15 Hfi Innovation Inc. Method and Apparatus for Signaling Horizontal Wraparound Motion Compensation in VR360 Video Coding
JP7393550B2 (ja) 2019-12-11 2023-12-06 北京字節跳動網絡技術有限公司 クロス成分適応ループフィルタリングのためのサンプルパディング
US11589037B2 (en) * 2019-12-20 2023-02-21 Qualcomm Incorporated Motion compensation using size of reference picture
CN115868165A (zh) 2020-03-21 2023-03-28 抖音视界有限公司 参考图片重采样
WO2021254379A1 (en) 2020-06-20 2021-12-23 Beijing Bytedance Network Technology Co., Ltd. Inter layer prediction with different coding block size
JP2023531223A (ja) 2020-06-30 2023-07-21 北京字節跳動網絡技術有限公司 適応ループフィルタリングのための境界位置
WO2023101990A1 (en) * 2021-11-30 2023-06-08 Beijing Dajia Internet Information Technology Co., Ltd. Motion compensation considering out-of-boundary conditions in video coding

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2270485C2 (ru) 2001-03-08 2006-02-20 Сони Корпорейшн Устройство записи данных (варианты), способ записи данных (варианты), носитель записи (варианты), устройство воспроизведения данных (варианты), способ воспроизведения данных (варианты), устройство редактирования данных (варианты), способ редактирования данных (варианты)
GB0128888D0 (en) 2001-12-03 2002-01-23 Imagination Tech Ltd Method and apparatus for compressing data and decompressing compressed data
CN101304536B (zh) 2002-11-20 2011-11-02 松下电器产业株式会社 动态图像编码方法及动态图像编码装置
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
CN101204092B (zh) 2005-02-18 2010-11-03 汤姆森许可贸易公司 从低分辨率图像导出高分辨率图像的编码信息的方法以及实施所述方法的编码和解码设备
US20120230393A1 (en) 2011-03-08 2012-09-13 Sue Mon Thet Naing Methods and apparatuses for encoding and decoding video using adaptive interpolation filter length
EP2595382B1 (en) 2011-11-21 2019-01-09 BlackBerry Limited Methods and devices for encoding and decoding transform domain filters
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US9998735B2 (en) 2013-04-01 2018-06-12 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
US9432667B2 (en) 2013-06-11 2016-08-30 Qualcomm Incorporated Processing bitstream constraints relating to inter-layer prediction types in multi-layer video coding
US10051277B2 (en) 2014-11-06 2018-08-14 Mediatek Inc. Method for sub-block based palette coding
US9699461B2 (en) 2015-08-14 2017-07-04 Blackberry Limited Scaling in perceptual image and video coding
KR102432085B1 (ko) 2015-09-23 2022-08-11 노키아 테크놀로지스 오와이 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품
JP2018530244A (ja) 2015-09-25 2018-10-11 華為技術有限公司Huawei Technologies Co.,Ltd. 選択可能な補間フィルタを用いるビデオ動き補償のための装置および方法
WO2017201141A1 (en) * 2016-05-17 2017-11-23 Arris Enterprises Llc Template matching for jvet intra prediction
CN117615147A (zh) 2016-07-14 2024-02-27 三星电子株式会社 视频解码方法及其装置以及视频编码方法及其装置
CN114449289A (zh) * 2016-08-24 2022-05-06 索尼公司 图像编码设备和图像编码方法
US20180242016A1 (en) 2017-02-21 2018-08-23 Intel Corporation Deblock filtering for 360 video
CN116760980A (zh) 2017-07-05 2023-09-15 艾锐势有限责任公司 对视频编码、解码的方法和计算机可读存储器或存储装置
WO2019072368A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. LIMITED MEMORY ACCESS WINDOW FOR MOTION VECTOR REFINEMENT
CN111201795B (zh) * 2017-10-09 2022-07-26 华为技术有限公司 存储访问窗口和用于运动矢量修正的填充
WO2019126293A1 (en) 2017-12-22 2019-06-27 Magic Leap, Inc. Methods and system for generating and displaying 3d videos in a virtual, augmented, or mixed reality environment
CN112042196A (zh) * 2018-04-18 2020-12-04 联发科技股份有限公司 在视频编解码中具有高级控制的候选重组
KR20200002697A (ko) * 2018-06-29 2020-01-08 한국전자통신연구원 처리율 향상을 위한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10701384B2 (en) * 2018-08-01 2020-06-30 Tencent America LLC Method and apparatus for improvement on decoder side motion derivation and refinement
CN109743576B (zh) 2018-12-28 2020-05-12 杭州海康威视数字技术股份有限公司 编码方法、解码方法及装置
US20210392344A1 (en) 2019-01-02 2021-12-16 Sharp Kabushiki Kaisha Prediction image generation device, moving image decoding device, moving image encoding device, and prediction image generation method
BR112021012366B1 (pt) 2019-01-15 2022-03-22 Lg Electronics Inc Método de decodificação de uma imagem realizado por um aparelho de decodificação, método de codificação de uma imagem realizado por um aparelho de codificação e mídia de armazenamento digital legível por computador não transitória
MX2021011016A (es) 2019-03-11 2021-11-12 Huawei Tech Co Ltd Un codificador, un decodificador y métodos correspondientes.
EP3912341A4 (en) 2019-05-21 2022-10-19 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR INTER-COMPONENT PREDICTION
US11095916B2 (en) 2019-07-23 2021-08-17 Qualcomm Incorporated Wraparound motion compensation in video coding
JP7305873B2 (ja) 2019-08-23 2023-07-10 北京字節跳動網絡技術有限公司 ビデオ処理方法、ビデオ・データ処理装置、記憶媒体及び記憶方法
US11375238B2 (en) 2019-09-20 2022-06-28 Tencent America LLC Method for padding processing with sub-region partitions in video stream
CN114600461A (zh) 2019-10-23 2022-06-07 北京字节跳动网络技术有限公司 用于多编解码工具的计算
CN114641992B (zh) 2019-10-23 2024-04-05 北京字节跳动网络技术有限公司 参考图片重采样的信令

Also Published As

Publication number Publication date
JP2022544334A (ja) 2022-10-17
JP7305873B2 (ja) 2023-07-10
US20220132104A1 (en) 2022-04-28
US11800090B2 (en) 2023-10-24
EP4000267A1 (en) 2022-05-25
JP2023126850A (ja) 2023-09-12
WO2021036977A1 (en) 2021-03-04
US20240064286A1 (en) 2024-02-22
KR20220049000A (ko) 2022-04-20
EP4000267A4 (en) 2023-02-22
CN114287135A (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
JP7305873B2 (ja) ビデオ処理方法、ビデオ・データ処理装置、記憶媒体及び記憶方法
WO2021073488A1 (en) Interplay between reference picture resampling and video coding tools
JP7391203B2 (ja) ビデオコーディングツールを洗練する使用およびシグナリング
CN114641992B (zh) 参考图片重采样的信令
CN114556916B (zh) 视频编解码工具的高级语法
JP7391199B2 (ja) 映像コーディングツールのレベルベースシグナリング
JP7395727B2 (ja) ビデオ・データを処理する方法、装置及び記憶方法
JP2022548738A (ja) ビデオコーディングにおけるスケーリングウインドウ
CN115152230A (zh) 视频图片标头中的条带类型的信令
WO2021129867A1 (en) Restricting tile width in video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination