CN114208196A - 帧间编解码模式的位置限制 - Google Patents

帧间编解码模式的位置限制 Download PDF

Info

Publication number
CN114208196A
CN114208196A CN202080056566.XA CN202080056566A CN114208196A CN 114208196 A CN114208196 A CN 114208196A CN 202080056566 A CN202080056566 A CN 202080056566A CN 114208196 A CN114208196 A CN 114208196A
Authority
CN
China
Prior art keywords
picture
video
sub
location
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080056566.XA
Other languages
English (en)
Other versions
CN114208196B (zh
Inventor
张凯
邓智玭
刘鸿彬
张莉
许继征
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN114208196A publication Critical patent/CN114208196A/zh
Application granted granted Critical
Publication of CN114208196B publication Critical patent/CN114208196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

一种视频处理的方法，包含：为视频的第一图片的当前块与所述视频的比特流表示之间的转换，根据规则基于来自第二图片的运动信息确定运动候选。所述规则指定访问所述运动信息的位置被约束在所述第二图片的特定子图片内。所述方法还包含基于所述确定进行所述转换。

Description

帧间编解码模式的位置限制
相关申请的交叉引用
在适用专利法和/或根据巴黎公约的规则下，本申请及时要求2019年8月10日提交的国际专利申请No.PCT/CN2019/100114的优先权和权益。处于法律下的全部目的，前述申请的整体公开通过引用并入作为本申请的一部分。
技术领域
本文档涉及视频和图像编解码和解码技术。
背景技术
数字视频占据互联网和其他数字通信网络上的最大带宽。随着能够接收和显示视频的连接的用户装置的数目增多，预期对数字视频使用的带宽需求将继续增长。
发明内容
本公开技术可以由视频或图像解码器或编码器实施例使用，其中进行基于子图片的编解码或解码。
在一个示例性方面中，公开了视频处理的方法。方法包含：为视频的第一图片的当前块与视频的比特流表示之间的转换，根据规则基于来自第二图片的运动信息确定运动候选。该规则指定访问运动信息的位置被约束在第二图片的特定子图片内。方法还包含基于确定进行转换。
在另一示例性方面中，公开了视频处理的方法。方法包含：为视频的第一图片的当前块与视频的比特流表示之间的转换，根据规则从第二图片确定整数样点。该第二图片包括不在插值过程中使用的参考图片。该规则指定访问整数样点的位置被约束在第二图片的特定子图片内。方法还包含基于确定进行转换。
在另一示例性方面中，公开了视频处理的方法。方法包含：为视频的当前块与视频的比特流表示的转换，根据规则确定访问重构亮度样点的位置。该规则指定该位置被约束在视频图片的特定子图片内。方法还包含基于确定进行转换。
在另一示例性方面中，公开了视频处理的方法。方法包含：为视频的当前块与视频的比特流表示的转换，根据规则确定进行图片边界检查的位置。该规则指定该位置被约束在视频图片的特定子图片内。方法还包含基于确定进行转换。
在另一示例性方面中，公开了视频处理的方法。方法包含：在视频的视频图片的子图片与视频的比特流表示的转换之后，重设基于过去的转换导出的运动候选的表，并且在重设之后使用该表进行视频图片的后续子图片与比特流表示的转换。
在另一示例性方面中，公开了视频处理的方法。方法包含：根据规则进行包括视频图片的视频与视频的编解码表示之间的转换，该视频图片包含多个子图片和多个视频块。该规则指定任意两个子图片之间的边界也是两个视频块之间的边界。视频图片中的视频块被视频图片的单个子图片覆盖。
在另一示例性方面中，公开了视频处理的方法。方法包含：至少使用视频图片进行视频的视频单元与视频的编解码表示之间的转换，其中对视频单元启用子图片编解码模式或分辨率改变编解码模式中的仅一者。子图片编解码模式是其中视频图片分为多个子图片的模式，并且分辨率改变编解码模式是其中在转换期间调整视频图片的分辨率的模式。
在另一示例性方面中，公开了视频处理的方法。方法包含：至少使用视频图片进行视频的视频单元与视频的编解码表示之间的转换，其中对视频单元启用子图片编解码模式和分辨率改变编解码模式两者。子图片编解码模式是其中视频图片分为多个子图片的模式，并且分辨率改变编解码模式是其中在转换期间调整视频图片的分辨率的模式。
在另一示例性方面中，公开了视频处理的方法。方法包含：进行包括一个或多个视频图片的视频与视频的编解码表示之间的转换，其中单独视频图片的维度被约束为大于或等于8。在一些实施例中，维度是单独视频图片的宽度。
在另一示例性方面中，公开了视频处理的方法。方法包含：根据规则进行视频的视频图片与视频的编解码表示之间的转换。视频图片包括至少一个子图片，并且规则指定子图片的特性表示为编解码表示中的至少一个语法元素，至少一个语法元素不同于视频图片中的子图片网格的索引值。
在另一示例性方面中，公开了视频处理的方法。方法包含：根据规则进行视频的视频图片与视频的编解码表示之间的转换。视频图片包括多个子图片，每个子图片包括多个元素。该规则指定子图片中的单独元素的维度满足约束。
在另一示例性方面中，公开了视频处理的方法。方法包含：根据规则使用编解码模式进行包括图片的视频与视频的编解码表示之间的转换，该图片包含多个子图片。该规则指定在处理多个子图片的每下一个子图片之前重设关于之前子图片的某些储存的信息。
在另一示例性方面中，公开了视频处理的方法。方法包含：根据规则在视频与视频的编解码表示之间的转换中进行时域滤波操作。该视频包括多个视频图片，每个视频图片包括多个子图片。该规则指定，对于时域滤波视频图片的当前子图片中的当前样点，仅在相同当前子图片内或不同视频图片中对应于当前子图片的子图片内的样点可用。
在另一示例性方面中，公开了视频处理的方法。方法包含：为视频的视频图片中的块与视频的编解码表示之间的转换，基于块是否跨过视频图片的一个或多个子图片边界，确定将分割方法应用于块的方式。方法还包含基于确定进行转换。
在另一示例性方面中，公开了视频处理的方法。方法包含：为视频的视频图片与视频的编解码表示之间的转换，确定视频图片的两个子区域。第一子区域包括视频图片的多个子图片，并且第二子区域包括视频图片中的其余样点。方法还包含基于确定进行转换。
在另一示例性方面中，公开了视频处理的方法。方法包含：为视频的第一视频区域中的视频块，确定位置是否在第二视频区域内，在该位置处为视频块与当前视频块的比特流表示之间的使用仿射模式的转换而确定时域运动矢量预测符；以及基于确定进行转换。
在另一示例性方面中，公开了另一视频处理的方法。方法包含：为视频的第一视频区域中的视频块，确定位置是否在第二视频区域内，在该位置处为视频块与当前视频块的比特流表示之间的转换取回参考图片中的整数样点，其中在转换期间的插值过程中不使用参考图片；以及基于确定进行转换。
在另一示例性方面中，公开了另一视频处理的方法。方法包含：为视频的第一视频区域中的视频块，确定位置是否在第二视频区域内，在该位置处为视频块与当前视频块的比特流表示之间的转换取回重构亮度样点值；以及基于确定进行转换。
在另一示例性方面中，公开了另一视频处理的方法。方法包含：为视频的第一视频区域中的视频块，确定位置是否在第二视频区域内，在该位置处在视频块与当前视频块的比特流表示之间的转换期间进行关于划分、深度导出或视频块的划分标志信令通知的检查；以及基于确定进行转换。
在另一示例性方面中，公开了另一视频处理的方法。方法包含：进行包括一个或多个视频图片的视频与视频的编解码表示之间的转换，一个或多个视频图片包括一个或多个视频块，其中编解码表示符合以下编解码语法要求：转换在视频单元内不使用子图片编解码/解码和动态分辨率转换编解码/解码工具或参考图片重采样工具。
在另一示例性方面中，公开了另一视频处理的方法。方法包含：进行包括一个或多个视频图片的视频与视频的编解码表示之间的转换，一个或多个视频图片包括一个或多个视频块，其中编解码表示符合以下编解码语法要求：第一语法元素subpic_grid_idx[i][j]不大于第二语法元素max_subpics_minus1。
在又一示例性方面中，上述方法可以由包括处理器的视频编码器设备实现。
在又一示例性方面中，上述方法可以由包括处理器的视频解码器设备实现。
在又一示例性方面中，这些方法可以实施为处理器可执行指令的形式并储存在计算机可读程序介质上。
本文档中进一步描述了这些和其他方面。
附图说明
图1示出了时域运动矢量预测(TMVP)和子块TMVP中的区域约束的示例。
图2示出了分级运动估计方案的示例。
图3是用于实现本文档中所描述的技术的硬件平台的示例的框图。
图4是示例性视频处理方法的流程图。
图5是示出可以实现本文公开的各种技术的示例性视频处理系统的框图。
图6是根据本技术的视频处理方法的流程图表示。
图7是根据本技术的另一视频处理方法的流程图表示。
图8是根据本技术的另一视频处理方法的流程图表示。
图9是根据本技术的另一视频处理方法的流程图表示。
图10是根据本技术的另一视频处理方法的流程图表示。
图11是根据本技术的另一视频处理方法的流程图表示。
图12是根据本技术的另一视频处理方法的流程图表示。
图13是根据本技术的另一视频处理方法的流程图表示。
图14是根据本技术的另一视频处理方法的流程图表示。
图15是根据本技术的另一视频处理方法的流程图表示。
图16是根据本技术的另一视频处理方法的流程图表示。
图17是根据本技术的另一视频处理方法的流程图表示。
图18是根据本技术的另一视频处理方法的流程图表示。
图19是根据本技术的另一视频处理方法的流程图表示。
图20是根据本技术的又一视频处理方法的流程图表示。
具体实施方式
本文档提供各种技术，其可以由图像或视频比特流的解码器使用以改善解压缩或解码的数字视频或图像的质量。出于简洁的目的，术语“视频”在本文中用于包含图片的序列(传统地称为视频)和单独图像两者。此外，视频编码器还可以在编码的过程期间实现这些技术，以重构解码的帧，以用于进一步编码。
本文档中使用章节标题以易于理解，并且不将实施例和技术限制于对应的章节。因此，来自一个章节的实施例可以与来自其他章节的实施例组合。
1.概述
本文档涉及视频编解码技术。具体地，本文档涉及调色板编解码，在视频编解码中采用基于基色的表示。可以应用于如HEVC的现有视频编解码标准，或尚待定案的标准(多功能视频编解码)。还可以适用于未来视频编解码标准或视频编解码器。
2.初始讨论
视频编解码标准主要通过熟知ITU-T和ISO/IEC标准而演进。ITU-T制作了了H.261和H.263，ISO/IEC制作了了MPEG-1和MPEG-4Visual，并且两个组织联合制作了了H.262/MPEG-2视频和H.264/MPEG-4先进视频编解码(AVC)和H.265/HEVC标准[1,2]。自H.262开始，视频编解码标准是基于混合视频编解码结构，其中采用时域预测加上变换编解码。为探索HEVC之外的未来视频编解码技术，VCEG和MPEG在2015年联合建立了联合视频探索小组(JVET)。自此，JVET已经采纳了许多新方法并置入名为联合探索模型(JEM)的参考软件中。在2018年4月，创建了VCEG(Q6/16)与ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家小组(JVET)以研究VVC标准，目标为与HEVC相比50％比特率减少。
2.1 VVC中的TMVP和子块TMVP中的区域约束
图1图示了TMVP和子块TMVP中的示例性区域约束。在TMVP和子块TMVP中，约束了仅可以从共位CTU加上一列4×4块取回时域MV，如图1所示。
2.2示例性子图片
在一些实施例中，可以实现基于子图片的编解码技术，其基于灵活铺片(flexibletiling)方案。基于子图片的编解码技术的概述包含以下：
(1)图片可以分为子图片。
(2)子图片的存在的指示连同子图片的其他序列级信息在SPS中指示。
(3)子图片是否视为解码过程中的图片(排除环路滤波操作)可以由比特流控制。
(4)对每个子图片是否禁用跨子图片边界的环路滤波可以由比特流控制。更新DBF、SAO和ALF过程以控制跨子图片边界的环路滤波操作。
(5)出于简单目的，作为起点，子图片宽度、高度、水平偏移和垂直偏移被在SPS中以亮度样点的单元信令通知。子图片边界被约束为条带边界。
(6)将子图片视为解码过程中的图片(排除环路滤波操作)通过稍微更新coding_tree_unit()语法指定，并且更新到以下解码过程：
-(高级)时域亮度运动矢量预测的导出过程
-亮度样点双线性插值过程
-亮度样点8抽头插值滤波过程
-色度样点插值过程
(7)子图片ID是被显式地指定在SPS中并被包含在片组头中，以启用提取子图片序列而不需改变VCL NAL单元。
(8)提出输出子图片集(OSPS)，以指定子图片及其集合的规范提取和一致性点。
2.3多功能视频编解码中的示例性子图片
序列参数集RBSP语法
Figure BDA0003498349990000071
subpics_present_flag等于1指示子图片参数存在于SPS RBSP语法中。subpics_present_flag等于0指示子图片参数不存在于SPS RBSP语法中。
注释2–当比特流是子比特流提取过程的结果且仅含有对子比特流提取过程的输入比特流的子图片的子集时，可能要求在SPS的RBSP中将subpics_present_flag的值设定为等于1。
max_subpics_minus1加1指定CVS中可以存在的子图片的最大数目。max_subpics_minus1应在0至254范围内。保留255的值以供由ITU-T|ISO/IEC未来使用。
subpic_grid_col_width_minus1加1指定以4样点为单位的子图片标识符网格的每个元素的宽度。语法元素的长度是Ceil(Log2(pic_width_max_in_luma_samples/4))比特。
变量NumSubPicGridCols导出如下：
NumSubPicGridCols＝
(pic_width_max_in_luma_samples+subpic_grid_col_width_minus1*4+3)/
(subpic_grid_col_width_minus1*4+4) (7-5)
subpic_grid_row_height_minus1加1指定以4样点为单位的子图片标识符网格的每个元素的高度。语法元素的长度为Ceil(Log2(pic_height_max_in_luma_samples/4))比特。
变量NumSubPicGridRows导出如下：
NumSubPicGridRows＝(pic_height_max_in_luma_samples+subpic_grid_row_height_minus1*4+3)/
(subpic_grid_row_height_minus1*4+4) (7-6)
subpic_grid_idx[i][j]指定网格位置(i，j)的子图片索引。语法元素的长度为Ceil(Log2(max_subpics_minus1+1))比特。
变量SubPicTop[subpic_grid_idx[i][j]]、SubPicLeft[subpic_grid_idx[i][j]]、SubPicWidth[subpic_grid_idx[i][j]]、SubPicHeight[subpic_grid_idx[i][j]]以及NumSubPics导出如下：
Figure BDA0003498349990000091
Figure BDA0003498349990000101
subpic_treated_as_pic_flag[i]等于1指定CVS中的每个编解码的图片的第i个子图片被视为除环路滤波操作以外的解码过程中的图片。
subpic_treated_as_pic_flag[i]等于0指定CVS中的每个编解码的图片的第i个子图片不被视为除环路滤波操作以外的解码过程中的图片，。当不存在时，subpic_treated_as_pic_flag[i]的值被推断为等于0。
loop_filter_across_subpic_enabled_flag[i]等于1指定环路滤波操作可以跨CVS中的每个编解码的图片中的第i个子图片的边界进行。
loop_filter_across_subpic_enabled_flag[i]等于0指定环路滤波操作不跨CVS中的每个编解码的图片中的第i个子图片的边界进行。当不存在时，loop_filter_across_subpic_enabled_pic_flag[i]的值被推断为等于1。
要求应用以下约束的比特流一致性：
-对于任意两个子图片subpicA和subpicB，当subpicA的索引小于subpicB的索引时，subPicA的任意编解码的NAL单元在解码顺序中应后继于subPicB的任意编解码的NAL单元。
-子图片的形状应使得每个子图片在被解码时应具有由图片边界构成或由之前解码的子图片的边界构成的整个左边界和整个顶边界。
ctbAddrRs的列表CtbToSubPicIdx[ctbAddrRs]范围为从0至PicSizeInCtbsY-1(含端值)，指定从图片栅格扫描中的CTB地址到子图片索引的转换，导出如下：
Figure BDA0003498349990000111
num_bricks_in_slice_minus1(当存在时)，指定条带中的砖块的数目减1。num_bricks_in_slice_minus1的值应在0至NumBricksInPic–1的范围内(含端值)。当rect_slice_flag等于0且single_brick_per_slice_flag等于1时，num_bricks_in_slice_minus1的值被推断为等于0。当single_brick_per_slice_flag等于1时，num_bricks_in_slice_minus1的值被推断为等于0。
变量NumBricksInCurrSlice，指定当前条带中的砖块的数目，以及SliceBrickIdx[i]，指定当前条带中的第i个砖块的砖块索引，导出如下：
Figure BDA0003498349990000121
变量SubPicIdx、SubPicLeftBoundaryPos、SubPicTopBoundaryPos、SubPicRightBoundaryPos以及SubPicBotBoundaryPos导出如下：
Figure BDA0003498349990000122
Figure BDA0003498349990000131
时域亮度运动矢量预测的导出过程
该过程的输入为：
–当前亮度编解码块的左顶样点相对于当前图片的左顶亮度样点的亮度位置(xCb，yCb)，
–变量cbWidth，指定亮度样点中的当前编解码块的宽度，
–变量cbHeight，指定亮度样点中的当前编解码块的高度，
–参考索引refIdxLX，X为0或1。
该过程的输出为：
–运动矢量预测mvLXCol，以1/16分数样点精度，
–可用性标志availableFlagLXCol。
变量currCb，指定亮度位置(xCb，yCb)处的当前亮度编解码块。变量mvLXCol和availableFlagLXCol导出如下：
–如果slice_temporal_mvp_enabled_flag等于0或(cbWidth*cbHeight)小于或等于32，mvLXCol的两个分量都设定为等于0，并且availableFlagLXCol设定为等于0。
–否则(slice_temporal_mvp_enabled_flag等于1)，应用以下顺序步骤：
1.右底共位的运动矢量以及底边界样点位置和右边界样点位置导出如下：
xColBr＝xCb+cbWidth (8-421)
yColBr＝yCb+cbHeight (8-422)
rightBoundaryPos＝subpic_treated_as_pic_flag[SubPicIdx]？SubPicRightBoundaryPos：pic_width_in_luma_samples-1 (8-423)
botBoundaryPos＝subpic_treated_as_pic_flag[SubPicIdx]？SubPicBotBoundaryPos：pic_height_in_luma_samples-1 (8-424)
–如果yCb>>CtbLog2SizeY等于yColBr>>CtbLog2SizeY，yColBr小于或等于botBoundaryPos且xColBr小于或等于rightBoundaryPos，则应用以下：
–变量colCb指定亮度编解码块，其覆盖由ColPic指定的共位的图片之内的((xColBr>>3)<<3，(yColBr>>3)<<3)给出的修改的位置。
–亮度位置(xColCb，yColCb)设定为相对于由ColPic指定的共位的图片的左顶亮度样点等于由colCb指定的共位的亮度编解码块的左顶样点。
–以currCb、colCb、(xColCb，yColCb)、refIdxLX和设定为等于0的sbFlag作为输入，调用如条款8.5.2.12指定的共位的运动矢量的导出过程，并且输出被分配到mvLXCol和availableFlagLXCol。
否则，mvLXCol的两个分量设定为等于0且availableFlagLXCol设定为等于0。
…
亮度样点双线性插值过程
该过程的输入为：
–全样点单元中的亮度位置(xIntL，yIntL)，
–分数样点单元中的亮度位置(xFracL，yFracL)，
–亮度参考样点阵列refPicLXL。
该过程的输出是预测的亮度样点值predSampleLXL
变量shift1、shift2、shift3、shift4、offset1、offset2和offset3导出如下：
shift1＝BitDepthY-6 (8-453)
offset1＝1<<(shift1-1) (8-454)
shift2＝4 (8-455)
offset2＝1<<(shift2-1) (8-456)
shift3＝10-BitDepthY (8-457)
shift4＝BitDepthY-10 (8-458)
offset4＝1<<(shift4-1) (8-459)
变量picW设定为等于pic_width_in_luma_samples，并且变量picH设定为等于pic_height_in_luma_samples。
等于xFracL或yFracL的每个1/16分数样点位置p的亮度插值滤波系数fbL[p]在表8-10中指定。
全样点单元中的亮度位置(xInti，yInti)对i＝0..1导出如下：
–如果subpic_treated_as_pic_flag[SubPicIdx]等于1，则应用以下：
xInti＝Clip3(SubPicLeftBoundaryPos，SubPicRightBoundaryPos，xIntL+i)(8-460)
yInti＝Clip3(SubPicTopBoundaryPos，SubPicBotBoundaryPos，yIntL+i) (8-461)
–否则(subpic_treated_as_pic_flag[SubPicIdx]等于0)，应用以下：
xInti＝Clip3(0，picW-1，sps_ref_wraparound_enabled_flag？
ClipH((sps_ref_wraparound_offset_minus1+1)*MinCbSizeY，picW，(xIntL+i))： (8-462)
xIntL+i)
yInti＝Clip3(0，picH-1，yIntL+i) (8-463)
…
基于子块的时域Merge候选的导出过程
该过程的输入为：
–当前亮度编解码块的左顶样点相对于当前图片的左顶亮度样点的亮度位置(xCb，yCb)，
–变量cbWidth，指定亮度样点中的当前编解码块的宽度，
–变量cbHeight，指定亮度样点中的当前编解码块的高度。
–邻域编解码单元的可用性标志availableFlagA1，
–邻域编解码单元的参考索引refIdxLXA1，X为0或1，
–邻域编解码单元的预测列表采用标志predFlagLXA1，X为0或1，
–邻域编解码单元的以1/16分数样点精度的运动矢量mvLXA1，X为0或1。该过程的输出为：
–可用性标志availableFlagSbCol，
–亮度编解码子块在水平方向上的数目numSbX和垂直方向上的数目numSbY，
–参考索引refIdxL0SbCol和refIdxL1SbCol，
–以1/16分数样点精度的亮度运动矢量mvL0SbCol[xSbIdx][ySbIdx]和mvL1SbCol[xSbIdx][ySbIdx]，其中xSbIdx＝0..numSbX-1，ySbIdx＝0...numSbY-1，
–预测列表采用标志predFlagL0SbCol[xSbIdx][ySbIdx]和predFlagL1SbCol[xSbIdx][ySbIdx]，其中xSbIdx＝0..numSbX-1，ySbIdx＝0...numSbY-1。
可用性标志availableFlagSbCol导出如下。
–如果以下条件中的一个或多个为真，则availableFlagSbCol设定为等于0。
–slice_temporal_mvp_enabled_flag等于0。
–sps_sbtmvp_enabled_flag等于0。
–cbWidth小于8。
–cbHeight小于8。
–否则，应用以下顺序步骤：
1.含有当前编解码块的亮度编解码树块的左顶样点的位置(xCtb，yCtb)和当前亮度编解码块的右下中心样点的位置(xCtr，yCtr)导出如下：
xCtb＝(xCb>>CtuLog2Size)<<CtuLog2Size (8-542)
yCtb＝(yCb>>CtuLog2Size)<<CtuLog2Size (8-543)
xCtr＝xCb+(cbWidth/2) (8-544)
yCtr＝yCb+(cbHeight/2) (8-545)
2.亮度位置(xColCtrCb，yColCtrCb)设定为相对于由ColPic指定的共位的图片的左顶亮度样点等于ColPic之内的覆盖由(xCtr，yCtr)给出的位置的共位的亮度编解码块的左顶样点。
3.以位置(xCtb，yCtb)、位置(xColCtrCb，yColCtrCb)、可用性标志availableFlagA1和预测列表采用标志predFlagLXA1和参考索引refIdxLXA1和运动矢量mvLXA1(其中X为0和1)作为输入，调用条款8.5.5.4所指定的基于子块的时域Merge基础运动数据的导出过程，并且运动矢量ctrMvLX和共位的块的预测列表采用标志ctrPredFlagLX(其中X为0和1)和时域运动矢量tempMv作为输出。
4.变量availableFlagSbCol导出如下：
–如果ctrPredFlagL0和ctrPredFlagL1两者都等于0，则availableFlagSbCol设定为等于0。
–否则，availableFlagSbCol设定为等于1。
当availableFlagSbCol等于1时，应用以下：
–变量numSbX、numSbY、sbWidth、sbHeight和refIdxLXSbCol导出如下：
numSbX＝cbWidth>>3 (8-546)
numSbY＝cbHeight>>3 (8-547)
sbWidth＝cbWidth/numSbX (8-548)
sbHeight＝cbHeight/numSbY (8-549)
refIdxLXSbCol＝0 (8-550)
–对于xSbIdx＝0..numSbX–1且ySbIdx＝0...numSbY-1，运动矢量mvLXSbCol[xSbIdx][ySbIdx]和预测列表采用标志
predFlagLXSbCol[xSbIdx][ySbIdx]导出如下：
–相对于当前图片的左顶亮度样点指定当前编解码子块的左顶样点的亮度位置(xSb，ySb)导出如下：
xSb＝xCb+xSbIdx*sbWidth+sbWidth/2 (8-551)
ySb＝yCb+ySbIdx*sbHeight+sbHeight/2 (8-552)
–ColPic之内的共位的子块的位置(xColSb，yColSb)导出如下。
–应用以下：
yColSb＝Clip3(yCtb,
Min(CurPicHeightInSamplesY-1，yCtb+(1<<CtbLog2SizeY)-1), (8-553)
ySb+(tempMv[1]>>4))
–如果subpic_treated_as_pic_flag[SubPicIdx]等于1，则应用以下：
xColSb＝Clip3(xCtb，
Min(SubPicRightBoundaryPos，xCtb+(1<<CtbLog2SizeY)+3), (8-554)
xSb+(tempMv[0]>>4))
–否则(subpic_treated_as_pic_flag[SubPicIdx]等于0)，应用以下：
xColSb＝Clip3(xCtb,
Min(CurPicWidthInSamplesY-1，xCtb+(1<<CtbLog2SizeY)+3), (8-555)
xSb+(tempMv[0]>>4))
…
基于子块的时域Merge基础运动数据的导出过程
该过程的输入为：
–含有当前编解码块的亮度编解码树块的左顶样点的位置(xCtb，yCtb)，
–覆盖右下中心样点的共位的亮度编解码块的左顶样点的位置(xColCtrCb，yColCtrCb)。
–邻域编解码单元的可用性标志availableFlagA1，
–邻域编解码单元的参考索引refIdxLXA1，
–邻域编解码单元的预测列表采用标志predFlagLXA1，
–邻域编解码单元的以1/16分数样点精度的运动矢量mvLXA1。
该过程的输出为：
–运动矢量ctrMvL0和ctrMvL1，
–预测列表采用标志ctrPredFlagL0和ctrPredFlagL1，
–时域运动矢量tempMv。
变量tempMv设定如下：
tempMv[0]＝0 (8-558)
tempMv[1]＝0 (8-559)
变量currPic指定当前图片。
当availableFlagA1等于真时，应用以下：
–如果以下条件全部为真，则tempMv设定为等于mvL0A1：
–predFlagL0A1等于1，
–DiffPicOrderCnt(ColPic，RefPicList[0][refIdxL0A1])等于0，
–否则，如果以下条件全部为真，则tempMv设定为等于mvL1A1：
–slice_type等于B，
–predFlagL1A1等于1，
–DiffPicOrderCnt(ColPic，RefPicList[1][refIdxL1A1])等于0。ColPic之内的共位的块的位置(xColCb，yColCb)导出如下。
–应用以下：
yColCb＝Clip3(yCtb,
Min(CurPicHeightInSamplesY-1，yCtb+(1<<CtbLog2SizeY)-1), (8-560)
yColCtrCb+(tempMv[1]>>4))
–如果subpic_treated_as_pic_flag[SubPicIdx]等于1，则应用以下：
xColCb＝Clip3(xCtb,
Min(SubPicRightBoundaryPos，xCtb+(1<<CtbLog2SizeY)+3), (8-561)
xColCtrCb+(tempMv[0]>>4))
–否则(subpic_treated_as_pic_flag[SubPicIdx]等于0，应用以下：
xColCb＝Clip3(xCtb,
Min(CurPicWidthInSamplesY-1，xCtb+(1<<CtbLog2SizeY)+3), (8-562)
xColCtrCb+(tempMv[0]>>4))
…
亮度样点插值滤波过程
该过程的输入为：
–全样点单元中的亮度位置(xIntL，yIntL)，
–分数样点单元中的亮度位置(xFracL，yFracL)，
–指定参考样点填充的界限块的左顶样点相对于参考图片的左顶亮度样点的全样点单元中的亮度位置(xSbIntL，ySbIntL)，
–亮度参考样点阵列refPicLXL，
–半样点插值滤波索引hpelIfIdx，
–变量sbWidth，指定当前子块的宽度，
–变量sbHeight，指定当前子块的高度，
–指定当前子块的左顶样点相对于当前图片的左顶亮度样点的亮度位置(xSb，ySb)，
该过程的输出是预测的亮度样点值predSampleLXL
变量shift1、shift2和shift3导出如下：
–变量shift1设定为等于Min(4，BitDepthY-8)，变量shift2设定为等于6，且变量shift3设定为等于Max(2，14-BitDepthY)。
–变量picW设定为等于pic_width_in_luma_samples，且变量picH设定为等于pic_height_in_luma_samples。
等于xFracL或yFracL的每个1/16分数样点位置p的亮度插值滤波系数fL[p]导出如下：
–如果motionModelIdc[xSb][ySb]大于0，且sbWidth和sbHeight都等于4，则亮度插值滤波系数fL[p]指定于表8-12中。
–否则，亮度插值滤波系数fL[p]指定于表8-11中，取决于hpelIfIdx。全样点单元中的亮度位置(xInti，yInti)对于i＝0..7导出如下：
–如果subpic_treated_as_pic_flag[SubPicIdx]等于1，则应用以下：
xInti＝Clip3(SubPicLeftBoundaryPos，SubPicRightBoundaryPos，xIntL+i-3)(8-771)
yInti＝Clip3(SubPicTopBoundaryPos，SubPicBotBoundaryPos，yIntL+i-3)(8-772)
–否则(subpic_treated_as_pic_flag[SubPicIdx]等于0)，应用以下：
xInti＝Clip3(0，picW-1，sps_ref_wraparound_enabled_flag？
ClipH((sps_ref_wraparound_offset_minus1+1)*MinCbSizeY，picW，xIntL+i-3)： (8-773)
xIntL+i-3)
yInti＝Clip3(0，picH-1，yIntL+i-3) (8-774)
…
色度样点插值过程
该过程的输入为：
–全样点单元中的色度位置(xIntC，yIntC)，
–1/32分数样点单元中的色度位置(xFracC，yFracC)，
–指定参考样点填充的界限块的左顶样点相对于参考图片的左顶色度样点的全样点单元中的色度位置(xSbIntC，ySbIntC)，
–变量sbWidth，指定当前子块的宽度，
–变量sbHeight，指定当前子块的高度，
–色度参考样点阵列refPicLXC。
该过程的输出是预测的色度样点值predSampleLXC
变量shift1、shift2和shift3导出如下：
–变量shift1设定为等于Min(4，BitDepthC-8)，变量shift2设定为等于6，且变量shift3设定为等于Max(2，14-BitDepthC)。
–变量picWC设定为等于pic_width_in_luma_samples/SubWidthC，且变量picHC设定为等于pic_height_in_luma_samples/SubHeightC。
等于xFracC或yFracC的每个1/32分数样点位置p的色度插值滤波系数fC[p]指定在表8-13中。
变量xOffset设定为等于(sps_ref_wraparound_offset_minus1+1)
*MinCbSizeY)/SubWidthC。
全样点单元中的色度位置(xInti，yInti)对于i＝0..3导出如下：
–如果subpic_treated_as_pic_flag[SubPicIdx]等于1，则应用以下：
xInti＝Clip3(SubPicLeftBoundaryPos/SubWidthC，SubPicRightBoundaryPos/SubWidthC，xIntL+i) (8-785)
yInti＝Clip3(SubPicTopBoundaryPos/SubHeightC，SubPicBotBoundaryPos/SubHeightC，yIntL+i) (8-786)
–否则(subpic_treated_as_pic_flag[SubPicIdx]等于0)，应用以下：
xInti＝Clip3(0，picWC-1，sps_ref_wraparound_enabled_flag？ClipH(xOffset，picWC，xIntC+i-1)： (8-787)
xIntC+i-1)
yInti＝Clip3(0，picHC-1，yIntC+i-1) (8-788)
2.4示例性仅编码器基于GOP的时域滤波器
在一些实施例中，可以实现仅编码器时域滤波器。在编码器侧完成滤波作为预处理步骤。读取要编码的所选的图片之前或之后的源图片，并且相对于所选的图片的基于块的运动补偿方法应用于所述源图片。所选的图片中的样点被使用运动补偿之后的样点值时域地滤波。
总体滤波器强度取决于所选的图片的时域子层以及QP设定。仅在时域子层0和1的图片被滤波，并且层0的图片由比层1的图片更强的滤波器进行滤波。每样点滤波器强度取决于所选的图片中的样点值与运动补偿的图片中的共位的样点之间的差异调整，使得运动补偿的图片与所选的图片之间的小差异比较大差异被更强地滤波。
基于GOP的时域滤波器
在读取图片之后和编码之前直接引入时域滤波。以下是详细描述的步骤。
操作1：由编码器读取图片
操作2：如果图片在编解码分级中足够低，则其在编码之前被滤波。否则，图片在没有滤波的情况下被编码。具有POC％8＝＝0的RA图片以及具有POC％4＝＝0的LD图片被滤波。AI图片永不被滤波。
总体滤波器强度so对于RA根据以下等式设定。
Figure BDA0003498349990000251
其中n是读取的图片的数目。
对于LD情况，使用so(n)＝0.95。
操作3：读取所选的图片(后文称为原始图片)之前和/或之后的两个图片。在边缘情况下，例如，如果是第一图片或接近最后一个图片，则仅读取可用图片。
操作4：每8x8图片块估计相对于原始图片之前和之后读取的图片的运动。
使用分级运动估计方案，并且图2中图示了层L0、L1和L2。通过平均全部读取的图片和原始图片(例如，图1中的L1)的每个2x2块，生成子采样的图片。使用相同子采样方法从L1导出L2。
图2示出了分级运动估计的不同层的示例。L0是原始分辨率。L1是L0的子采样的版本。L2是L1的子采样的版本。
首先，对L2中的每个16x16块进行运动估计。对每个所选的运动矢量计算平方差，并且选择对应于最小差异的运动矢量。所选的运动矢量然后被用作在估计L1中的运动时的初始值。然后对估计L0中的运动进行相同操作。作为最终步骤，通过对L0使用插值滤波器而对每个8x8块估计子像素运动。
可以使用VTM 6抽头插值滤波器：
Figure BDA0003498349990000271
操作5：根据每个块的最佳匹配运动，将运动补偿应用于原始图片之前和之后的图片，例如，使得每个块中的原始图片的样点坐标具有参考的图片中的最佳匹配坐标。
操作6：在以下步骤中描述了对亮度和色度通道逐一处理的样点。
操作7：使用以下公式计算新的样点值In。
Figure BDA0003498349990000272
其中Io是原始样点的样点值，Ir(i)是运动补偿的图片i的对应的样点的强度，并且wr(i,a)是当可用运动补偿的图片的数目为a时运动补偿的图片i的高度。
在亮度通道中，权重wr(i,a)定义如下：
Figure BDA0003498349990000281
其中
sl＝0.4
Figure BDA0003498349990000282
Figure BDA0003498349990000283
对于i和a的全部其他情况：sr(i,a)＝0.3
σl(QP)＝3*(QP-10)
ΔI(i)＝Ir(i)-Io
对于色度通道，权重wr(i,a)定义如下：
Figure BDA0003498349990000284
其中sc＝0.55且σc＝30
操作8：滤波器应用于当前样点。所得样点值分开地储存。
操作9：将滤波的图片编码。
3.所公开实施例解决的技术问题的示例
(1)存在可以违反子图片约束的一些设计。
A.仿射构建的候选中的TMVP可以取回在当前子图片的范围之外的共位的图片中的MV。
B.当导出双向光流(BDOF)和预测细化光流(PROF)中的梯度时，要求取回整数参考样点的两个扩展的行和两个扩展的列。这些参考样点可能在当前子图片的范围之外。
C.当导出亮度映射色度缩放(LMCS)中的色度残差缩放因数时，访问的重构亮度样点可能在当前子图片的范围之外。
D.当导出以下时，邻域块可能在当前子图片的范围之外：亮度帧内预测模式、帧内预测的参考样点、CCLM的参考样点、Merge/AMVP/CIIP/IBC/LMCS的空域邻域候选的邻域块可用性、量化参数、CABAC初始化过程、使用左语法元素和上语法元素的ctxInc导出，以及语法元素mtt_split_cu_vertical_flag的ctxInc。子图片的表示可能导致具有不完整CTU的子图片。CTU分割和CU划分过程可能需要考虑不完整的CTU。
(2)与子图片相关的信令通知的语法元素可以为任意大，可能导致溢出问题。
(3)子图片的表示可能导致非矩形的子图片。
(4)当前，子图片和子图片网格以4样点为单位定义。并且语法元素的长度取决于图片高度除以4。然而，由于当前pic_width_in_luma_samples和pic_height_in_luma_samples应是Max(8，MinCbSizeY)的整数倍，所以子图片网格可能需要以8样点为单位定义。
(5)在SPS语法中，pic_width_max_in_luma_samples和pic_height_max_in_luma_samples可能需要限制为不小于8。
(6)在当前设计中未考虑参考图片重采样/可缩放性与子图片之间的相互作用。
(7)在时域滤波中，可能要求跨不同子图片的样点。
4.示例性技术和实施例
以下详细列举的应视为示例，以解释总体概念。这些项目不应以狭窄方式理解。此外，这些项目可以以任意方式组合。后文中，时域滤波器被用于表示要求其他图片中的样点的滤波器。Max(x，y)返回x和y中的较大一个。Min(x，y)返回x和y中的较小一个。
1.图片中取回时域MV预测符的位置(命名为位置RB)以生成仿射运动候选(例如，构建的仿射Merge候选)必须在要求的子图片中，假设要求的子图片的左顶角坐标是(xTL，yTL)，并且要求的子图片的右底坐标是(xBR，yBR)。
a.在一个示例中，要求的子图片是覆盖当前块的子图片。
b.在一个示例中，如果具有坐标(x，y)的位置RB在要求的子图片之外，时域MV预测符被视为不可用。
i.在一个示例中，如果x>xBR，则位置RB在要求的子图片之外。
ii.在一个示例中，如果y>yBR，则位置RB在要求的子图片之外。
iii.在一个示例中，如果x<xTL，则位置RB在要求的子图片之外。
iv.在一个示例中，如果y<yTL，则位置RB在要求的子图片之外。
c.在一个示例中，位置RB，如果在要求的子图片之外，则采用RB的替代。
i.替代地，此外，替代位置应在要求的子图片中。
d.在一个示例中，位置RB被剪切为在要求的子图片中。
i.在一个示例中，x被剪切为x＝Min(x，xBR)。
ii.在一个示例中，y被剪切为y＝Min(y，yBR)。
iii.在一个示例中，x被剪切为x＝Max(x，xTL)。
iv.在一个示例中，y被剪切为y＝Max(y，yTL)。
e.在一个示例中，位置RB可以是共位的图片中的当前块的对应的块之内的右底位置。
f.可以在要求访问来自不同于当前图片的图片中的运动信息的其他编解码工具中采用提出的方法。
g.在一个示例中，是否应用以上方法(例如，位置RB必须在要求的子图片中(例如，如1.a和/或1.b中所声称的))可以取决于在VPS/DPS/SPS/PPS/APS/条带头/片组头中信令通知的一个或多个语法元素。例如，语法元素可以是
subpic_treated_as_pic_flag[SubPicIdx]，其中SubPicIdx是覆盖当前块的子图片的子图片索引。
2.在插值过程中不使用的参考中取回整数样点的位置(命名为位置S)必须在要求的子图片中，假设要求的子图片的左顶角坐标是(xTL，yTL)，并且要求的子图片的右底坐标是(xBR，yBR)。
a.在一个示例中，要求的子图片是覆盖当前块的子图片。
b.在一个示例中，如果具有坐标(x，y)的位置S在要求的子图片之外，则参考样点被视为不可用。
i.在一个示例中，如果x>xBR，则位置S在要求的子图片之外。
ii.在一个示例中，如果y>yBR，则位置S在要求的子图片之外。
iii.在一个示例中，如果x<xTL，则位置S在要求的子图片之外。
iv.在一个示例中，如果y<yTL，则位置S在要求的子图片之外。
c.在一个示例中，位置S被剪切为在要求的子图片中。
i.在一个示例中，x被剪切为x＝Min(x，xBR)。
ii.在一个示例中，y被剪切为y＝Min(y，yBR)。
iii.在一个示例中，x被剪切为x＝Max(x，xTL)。
iv.在一个示例中，y被剪切为y＝Max(y，yTL)。
d.在一个示例中，位置S是否必须在要求的子图片中(例如，如2.a和/或2.b中所声称的)可以取决于在
VPS/DPS/SPS/PPS/APS/条带头/片组头中信令通知的一个或多个语法元素。例如，语法元素可以是
subpic_treated_as_pic_flag[SubPicIdx]，其中SubPicIdx是覆盖当前块的子图片的子图片索引。
e.在一个示例中，取回的整数样点用于在BDOF和/或PORF中生成梯度。
3.取回重构亮度样点值的位置(命名为位置R)可以在要求的子图片中，假设要求的子图片的左顶角坐标是(xTL，yTL)，并且要求的子图片的右底坐标是(xBR，yBR)。
a.在一个示例中，要求的子图片是覆盖当前块的子图片。
b.在一个示例中，如果具有坐标(x，y)的位置R在要求的子图片之外，则参考样点被视为不可用。
i.在一个示例中，如果x>xBR，则位置R在要求的子图片之外。
ii.在一个示例中，如果y>yBR，则位置R在要求的子图片之外。
iii.在一个示例中，如果x<xTL，则位置R在要求的子图片之外。
iv.在一个示例中，如果y<yTL，则位置R在要求的子图片之外。
c.在一个示例中，位置R被剪切为在要求的子图片中。
i.在一个示例中，x被剪切为x＝Min(x，xBR)。
ii.在一个示例中，y被剪切为y＝Min(y，yBR)。
iii.在一个示例中，x被剪切为x＝Max(x，xTL)。
iv.在一个示例中，y被剪切为y＝Max(y，yTL)。
d.在一个示例中，位置R是否必须在要求的子图片中(例如，如4.a和/或4.b中所声称)可以取决于在
VPS/DPS/SPS/PPS/APS/条带头/片组头中信令通知的一个或多个语法元素。例如，语法元素可以是
subpic_treated_as_pic_flag[SubPicIdx]，其中SubPicIdx是覆盖当前块的子图片的子图片索引。
e.在一个示例中，取回的亮度样点被用于在LMCS中导出(一个或多个)色度分量的缩放因数。
4.对于BT/TT/QT划分、BT/TT/QT深度导出，和/或CU划分标志的信令通知进行图片边界检查的位置(命名为位置N)必须在要求的子图片中，假设要求的子图片的左顶角坐标是(xTL，yTL)，并且要求的子图片的右底坐标是(xBR，yBR)。
a.在一个示例中，要求的子图片是覆盖当前块的子图片。
b.在一个示例中，如果具有坐标(x，y)的位置N在要求的子图片之外，则参考样点被视为不可用。
i.在一个示例中，如果x>xBR，则位置N在要求的子图片之外。
ii.在一个示例中，如果y>yBR，则位置N在要求的子图片之外。
iii.在一个示例中，如果x<xTL，则位置N在要求的子图片之外。
iv.在一个示例中，如果y<yTL，则位置N在要求的子图片之外。
c.在一个示例中，位置N被剪切为在要求的子图片中。
i.在一个示例中，x被剪切为x＝Min(x，xBR)。
ii.在一个示例中，y被剪切为y＝Min(y，yBR)。
iii.在一个示例中，x被剪切为x＝Max(x，xTL)。
d.在一个示例中，y被剪切为y＝Max(y，yTL)。在一个示例中，位置N是否必须在要求的子图片中(例如，如5.a和/或5.b中所声称)可以取决于在VPS/DPS/SPS/PPS/APS/条带头/片组头中信令通知的一个或多个语法元素。例如，语法元素可以是subpic_treated_as_pic_flag[SubPicIdx]，其中SubPicIdx是覆盖当前块的子图片的子图片索引。
5.可以在解码一个图片中的新的子图片之前重设基于历史的运动矢量预测(HMVP)表。
a.在一个示例中，可以重设用于IBC编解码的HMVP表
b.在一个示例中，可以重设用于帧间编解码的HMVP表
c.在一个示例中，可以重设用于帧内编解码的HMVP表
6.子图片语法元素可以以N个(诸如N＝8，32等)样点为单位定义。
a.在一个示例中，子图片标识符网格以N个样点为单位的每个元素的宽度。
b.在一个示例中，子图片标识符网格以N个样点为单位的每个元素的高度。
c.在一个示例中，N被设定为CTU的宽度和/或高度。
7.图片宽度和图片高度的语法元素可以被限制为不小于K(K>＝8)。
a.在一个示例中，图片宽度可能需要限制为不小于8。
b.在一个示例中，图片高度可能需要限制为不小于8。
8.一致性比特流应满足不允许对一个视频单元(例如，序列)启用子图片编解码和自适应分辨率转换(ARC)/动态分辨率转换(DRC)/参考图片重采样(RPR)。
a.在一个示例中，启用子图片编解码的信令通知可以在不允许ARC/DRC/RPR的条件下。
i.在一个示例中，当启用子图片时，诸如
subpics_present_flag等于1，对该SPS活动的全部图片的pic_width_in_luma_samples等于max_width_in_luma_samples。
b.替代地，对一个视频单元(例如，序列)可以都启用子图片编解码和ARC/DRC/RPR。
i.在一个示例中，一致性比特流应满足，由于ARC/DRC/RPR的下采样的子图片应仍为宽度为K个CTU和高度为M个CTU的形式，其中K和M都是整数。
ii.在一个示例中，一致性比特流应满足，对于不位于图片边界(例如，右边界和/或底边界)处的子图片，由于ARC/DRC/RPR的下采样的子图片仍应为宽度为K个CTU和高度为M个CTU的形式，其中K和M都是整数。
iii.在一个示例中，CTU尺寸可以基于图片分辨率自适应地改变。
1)在一个示例中，可以在SPS中信令通知最大CTU尺寸。对于具有较低分辨率的每个图片，CTU尺寸可以基于降低的分辨率相应地改变。
2)在一个示例中，可以在SPS和PPS中，和/或子图片级信令通知CTU尺寸。
9.语法元素subpic_grid_col_width_minus1和subpic_grid_row_height_minus1可以被约束。
a.在一个示例中，subpic_grid_col_width_minus1必须不大于(或必须小于)T1。
b.在一个示例中，subpic_grid_row_height_minus1必须不大于(或必须小于)T2。
c.在一个示例中，在一致性比特流中，
subpic_grid_col_width_minus1和/或
subpic_grid_row_height_minus1必须遵守诸如项目符号3.a或
3.b的约束。
d.在一个示例中，3.a中的T1和/或3.b中的T2可以取决于视频编解码标准的配置档(profile)/级/层级。
e.在一个示例中，3.a中的T1可以取决于图片宽度。
i.例如，T1等于pic_width_max_in_luma_samples/4或pic_width_max_in_luma_samples/4+Off。Off可以是1、2、-1、-2等。
f.在一个示例中，3.b中的T2可以取决于图片宽度。
i.例如，T2等于pic_height_max_in_luma_samples/4或pic_height_max_in_luma_samples/4-1+Off。Off可以是1、2、-1、-2等。
10.约束了两个子图片之间的边界必须是两个CTU之间的边界。
a.换言之，CTU不能被多于一个子图片覆盖。
b.在一个示例中，subpic_grid_col_width_minus1的单位可以是CTU宽度(诸如32、64、128)，而不是如VVC中的4。子图片网格宽度应为(subpic_grid_col_width_minus1+1)*CTU宽度。
c.在一个示例中，subpic_grid_col_height_minus1的单位可以是CTU高度(诸如32、64、128)，而不是如VVC中的4。子图片网格高度应为(subpic_grid_col_height_minus1+1)*CTU高度。
d.在一个示例中，在一致性比特流中，如果应用子图片方案则必须满足约束。
11.约束了子图片的形状必须为矩形。
a.在一个示例中，在一致性比特流中，如果应用子图片方案则必须满足约束。
b.子图片可以仅含有矩形条带。例如，在一致性比特流中，如果应用子图片方案则必须满足约束。
12.约束了两个子图片不能重叠。
a.在一个示例中，在一致性比特流中，如果应用子图片方案则必须满足约束。
b.替代地，两个子图片可以彼此重叠。
13.约束了图片中的任意位置必须被一个且仅一个子图片覆盖。
a.在一个示例中，在一致性比特流中，如果应用子图片方案则必须满足约束。
b.替代地，一个样点可以不属于任何子图片。
c.替代地，一个样点可以属于多于一个子图片。
14.可以约束映射到相同序列中存在的每个分辨率的SPS中定义的子图片应遵守上述约束的位置和/或尺寸。
a.在一个示例中，映射到相同序列中存在的分辨率的SPS中定义的子图片的宽度和高度，应是N(诸如8，16，32)的整数倍个亮度样点。
b.在一个示例中，子图片可以对某层定义，并且可以被映射到其他层。
i.例如，子图片可以对序列中具有最高分辨率的层定义。
ii.例如，子图片可以对序列中具有最低分辨率的层定义。
iii.可以在SPS/VPS/PPS/条带头中信令通知子图片对哪层定义。
c.在一个示例中，当子图片和不同分辨率都被应用时，全部分辨率(例如，宽度或/和高度)可以是给定分辨率的整数倍。
d.在一个示例中，SPS中定义的子图片的宽度和/或高度可以是CTU尺寸的整数倍(例如，M)。
e.替代地，序列中的子图片和不同分辨率不可用同时被允许。
15.子图片可以仅应用于某个(些)层
a.在一个示例中，SPS中定义的子图片可以仅应用于序列中具有最高分辨率的层。
b.在一个示例中，SPS中定义的子图片可以仅应用于序列中具有最低时域id的层。
c.子图片可以应用于哪个(些)层可以由SPS/VPS/PPS中的一个或多个语法元素指示。
d.子图片不可以应用于哪个(些)层可以由SPS/VPS/PPS中的一个或多个语法元素指示。
16.在一个示例中，可以在不使用subpic_grid_idx的情况下信令通知子图片的位置和/或维度。
a.在一个示例中，可以信令通知子图片的左顶位置。
b.在一个示例中，可以信令通知子图片的右底位置。
c.在一个示例中，可以信令通知子图片的宽度。
d.在一个示例中，可以信令通知子图片的高度。
17.对于时域滤波器，当进行样点的时域滤波时，仅可以使用在当前样点所属的相同子图片内的样点。要求的样点可以在当前样点所属的相同图片中或在其他图片中。
18.在一个示例中，是否和/或如何应用分割方法(诸如QT、水平BT、垂直BT、水平TT、垂直TT或不划分，等)可以取决于当前块(或分割)是否跨过子图片的一个或多个边界。
a.在一个示例中，当图片边界被子图片边界替代时，还可以应用VVC中的分割的图片边界处理方法。
b.在一个示例中，是否解析表示分割方法(诸如QT、水平BT、垂直BT、水平TT、垂直TT或不划分，等)的语法元素(例如，标志)可以取决于当前块(或分割)是否跨过子图片的一个或多个边界。
19.代替以每个子图片的独立编解码将一个图片划分为多个子图片，提出将图片划分为至少两组子区域，其中第一组包含多个子图片，并且第二组包含全部其余样点。
a.在一个示例中，第二组中的样点不在任何子图片中。
b.替代地，此外，第二组可以基于第一组的信息编码/解码。
c.在一个示例中，可以采用默认值来标记样点/MxK子区域是否属于第二组。
i.在一个示例中，默认值可以设定为等于(max_subpics_minus1+K)，其中K是大于1的整数。
ii.默认值可以被分配到subpic_grid_idx[i][j]，以指示网格属于第二组。
20.提出语法元素subpic_grid_idx[i][j]不可以大于max_subpics_minus1。
a.例如，约束了在一致性比特流中，subpic_grid_idx[i][j]不可以大于max_subpics_minus1。
b.例如，编解码subpic_grid_idx[i][j]的码字不可以大于max_subpics_minus1。
21.提出从0至max_subpics_minus1的任意整数必须等于至少一个subpic_grid_idx[i][j]。
22.可以在解码一个图片中的新的子图片之前重设IBC虚拟缓冲器。
a.在一个示例中，IBC虚拟缓冲器中的全部样点可以重设为-1。
23.可以在解码一个图片中的新的子图片之前重设调色板条目列表。
a.在一个示例中，PredictorPaletteSize可以在解码一个图片中的新的子图片之前设定为等于0。
5.实施例
在以下实施例中，新添加的文字为粗斜体，并且删去文字由“[[]]”标记。
5.1实施例1：对仿射构建的Merge候选的子图片约束
8.5.5.6构建的仿射控制点运动矢量合并候选的导出过程
该过程的输入为：
–指定当前亮度编解码块的左顶样点相对于当前图片的左顶亮度样点的亮度位置(xCb，yCb)，
–两个变量cbWidth和cbHeight，指定当前亮度编解码块的宽度和高度，
–可用性标志availableA0、availableA1、availableA2、availableB0、availableB1、availableB2、availableB3，
–样点位置(xNbA0，yNbA0)、(xNbA1，yNbA1)、(xNbA2，yNbA2)、(xNbB0，yNbB0)、(xNbB1，yNbB1)、(xNbB2，yNbB2)以及(xNbB3，yNbB3)。
该过程的输出为：
–构建的仿射控制点运动矢量合并候选的可用性标志availableFlagConstK，其中K＝1..6，
–参考索引refIdxLXConstK，其中K＝1..6，X为0或1，
–预测列表采用标志predFlagLXConstK，其中K＝1..6，X为0或1，
–仿射运动模型索引motionModelIdcConstK，其中K＝1..6，
–双向预测权重索引bcwIdxConstK，其中K＝1..6，
–构建的仿射控制点运动矢量cpMvLXConstK[cpIdx]，其中cpIdx＝0..2，K＝1..6且X为0或1。
…
第四(共位的右下)控制点运动矢量cpMvLXCorner[3]，参考索引refIdxLXCorner[3]，预测列表采用标志predFlagLXCorner[3]和可用性标志availableFlagCorner[3]，其中X为0和1，导出如下：
–时域合并候选的参考索引refIdxLXCorner[3]，其中X为0或1，设定为等于0。
–变量mvLXCol和availableFlagLXCol，其中X为0或1，导出如下：
–如果slice_temporal_mvp_enabled_flag等于0，则mvLXCol的两个分量设定为等于0且availableFlagLXCol设定为等于0。
–否则(slice_temporal_mvp_enabled_flag等于1)，应用以下：
xColBr＝xCb+cbWidth (8-601)
yColBr＝yCb+cbHeight (8-602)
Figure BDA0003498349990000411
–如果yCb>>CtbLog2SizeY等于yColBr>>CtbLog2SizeY，
Figure BDA0003498349990000421
Figure BDA0003498349990000422
–变量colCb指定由ColPic指定的共位的图片之内的覆盖由((xColBr>>3)<<3，(yColBr>>3)<<3)给出的修改的位置的亮度编解码块。
–亮度位置(xColCb，yColCb)设定为相对于由ColPic指定的共位的图片的左顶亮度样点等于由colCb指定的共位的亮度编解码块的左顶样点。
–以currCb、colCb、(xColCb，yColCb)、refIdxLXCorner[3]和设定为等于0的sbFlag作为输入，调用条款8.5.2.12所指定的共位的运动矢量的导出过程，并且输出被分配到mvLXCol和availableFlagLXCol。
–否则，mvLXCol的两个分量设定为等于0且availableFlagLXCol设定为等于0。
…
5.2实施例2：对仿射构建的Merge候选的子图片约束
8.5.5.6构建的仿射控制点运动矢量合并候选的导出过程
该过程的输入为：
–指定当前亮度编解码块的左顶样点相对于当前图片的左顶亮度样点的亮度位置(xCb，yCb)，
–两个变量cbWidth和cbHeight，指定当前亮度编解码块的宽度和高度，
–可用性标志availableA0、availableA1、availableA2、availableB0、availableB1、availableB2、availableB3，
–样点位置(xNbA0，yNbA0)、(xNbA1，yNbA1)、(xNbA2，yNbA2)、(xNbB0，yNbB0)、(xNbB1，yNbB1)、(xNbB2，yNbB2)以及(xNbB3，yNbB3)。
该过程的输出为：
–构建的仿射控制点运动矢量Merge候选的可用性标志availableFlagConstK，其中K＝1..6，
–参考索引refIdxLXConstK，其中K＝1..6，X为0或1，
–预测列表采用标志predFlagLXConstK，其中K＝1..6，X为0或1，
–仿射运动模型索引motionModelIdcConstK，其中K＝1..6，
–双向预测权重索引bcwIdxConstK，其中K＝1..6，
–构建的仿射控制点运动矢量cpMvLXConstK[cpIdx]，其中cpIdx＝0..2，K＝1..6且X为0或1。
…
第四(共位的右下)控制点运动矢量cpMvLXCorner[3]、参考索引refIdxLXCorner[3]、预测列表采用标志predFlagLXCorner[3]以及可用性标志availableFlagCorner[3]，其中X为0和1，导出如下：
–时域合并候选的参考索引refIdxLXCorner[3]，其中X为0或1，设定为等于0。
–变量mvLXCol和availableFlagLXCol，其中X为0或1，导出如下：
–如果slice_temporal_mvp_enabled_flag等于0，则mvLXCol的两个分量设定为等于0且availableFlagLXCol设定为等于0。
–否则(slice_temporal_mvp_enabled_flag等于1)，应用以下：
xColBr＝xCb+cbWidth (8-601)
yColBr＝yCb+cbHeight (8-602)
Figure BDA0003498349990000441
–如果yCb>>CtbLog2SizeY等于yColBr>>CtbLog2SizeY，[[yColBr小于pic_height_in_luma_samples且xColBr小于pic_width_in_luma_samples，则应用以下]]：
–变量colCb指定覆盖由ColPic指定的共位的图片之内的((xColBr>>3)<<3，(yColBr>>3)<<3)给出的修改的位置的亮度编解码块。
–亮度位置(xColCb，yColCb)设定为相对于由ColPic指定的共位的图片的左顶亮度样点等于由colCb指定的共位的亮度编解码块的左顶样点。
–以currCb、colCb、(xColCb，yColCb)、refIdxLXCorner[3]和设定为等于0的sbFlag作为输入，调用条款8.5.2.12指定的共位的运动矢量的导出过程，并且输出被分配到mvLXCol和availableFlagLXCol。
–否则，mvLXCol的两个分量设定为等于0且availableFlagLXCol设定为等于0。
…
5.3实施例3：在子图片约束下取回整数样点
8.5.6.3.3亮度整数样点取回过程
该过程的输入为：
–全样点单元中的亮度位置(xIntL，yIntL)，
–亮度参考样点阵列refPicLXL，
该过程的输出是预测的亮度样点值predSampleLXL
变量shift设定为等于Max(2，14-BitDepthY)。
变量picW设定为等于pic_width_in_luma_samples且变量picH设定为等于pic_height_in_luma_samples。
全样点单元中的亮度位置(xInt，yInt)导出如下：
Figure BDA0003498349990000451
xInt＝Clip3(0，picW-1，sps_ref_wraparound_enabled_flag？(8-782)
ClipH((sps_ref_wraparound_offset_minus1+1)*MinCbSizeY，picW，xIntL)：xIntL)
yInt＝Clip3(0，picH-1，yIntL) (8-783)
预测的亮度样点值predSampleLXL导出如下：
predSampleLXL＝refPicLXL[xInt][yInt]<<shift3 (8-784)
5.4实施例4：在LMCS的色度残差缩放中导出变量invAvgLuma
8.7.5.3使用色度样点的亮度相关的色度残差缩放过程的图片重构该过程的输入为：
–当前色度变换块的左顶色度样点相对于当前图片的左顶色度样点的色度位置(xCurr，yCurr)，
–变量nCurrSw，指定色度变换块宽度，
–变量nCurrSh，指定色度变换块高度，
–变量tuCbfChroma，指定当前色度变换块的编解码块标志，
–(nCurrSw)x(nCurrSh)阵列predSamples，指定当前块的色度预测样点，
–(nCurrSw)x(nCurrSh)阵列resSamples，指定当前块的色度残差样点，
该过程的输出是重构的色度图片样点阵列recSamples。
变量sizeY设定为等于Min(CtbSizeY，64)。
重构的色度图片样点recSamples对i＝0..nCurrSw-1，j＝0..nCurrSh-1导出如下：
–…
–否则，应用以下：
–…
–变量currPic指定当前图片中的重构亮度样点的阵列。
–对于变量varScale的导出应用以下顺序步骤：
1.变量invAvgLuma导出如下：
–阵列recLuma[i]，其中i＝0..(2*sizeY-1)且变量cnt导出如下：
–变量cnt设定为等于0。
Figure BDA0003498349990000461
Figure BDA0003498349990000471
–当availL等于真时，阵列recLuma[i]，其中i＝0..sizeY-1，设定为等于currPic[xCuCb-1][Min(yCuCb+i，[[pic_height_in_luma_samples–1]]
Figure BDA0003498349990000472
)]，其中i＝0..sizeY-1，并且cnt设定为等于sizeY
–当availT等于真时，阵列recLuma[cnt+i]，其中i＝0..sizeY–1，设定为等于currPic[Min(xCuCb+i，[[pic_width_in_luma_samples-1]]
Figure BDA0003498349990000473
)][yCuCb-1]，其中i＝0..sizeY-1，并且cnt设定为等于(cnt+sizeY)
–变量invAvgLuma导出如下：
–如果cnt大于0，则应用以下：
Figure BDA0003498349990000474
–否则(cnt等于0)，应用以下：
invAvgLuma＝1<<(BitDepthY–1) (8-1014)
5.5实施例5：以除4以外的N(诸如N＝8或32)个样点为单位定义子图片元素的示例
7.4.3.3序列参数集RBSP语义
subpic_grid_col_width_minus1加1指定以
Figure BDA0003498349990000481
个样点为单位的子图片标识符网格的每个元素的宽度。语法元素的长度为Ceil(Log2
Figure BDA0003498349990000482
比特。
变量NumSubPicGridCols导出如下：
Figure BDA0003498349990000483
subpic_grid_row_height_minus1加1指定以4个样点为单位的子图片标识符网格的每个元素的高度。语法元素的长度为Ceil(Log2
Figure BDA0003498349990000484
比特。
变量NumSubPicGridRows导出如下：
Figure BDA0003498349990000485
7.4.7.1一般条带头语义
变量SubPicIdx、SubPicLeftBoundaryPos、SubPicTopBoundaryPos、SubPicRightBoundaryPos和SubPicBotBoundaryPos导出如下：
Figure BDA0003498349990000486
Figure BDA0003498349990000491
5.6实施例6：限制图片宽度和图片高度为等于或大于8
7.4.3.3序列参数集RBSP语义
pic_width_max_in_luma_samples以亮度样点为单位指定关于SPS的每个解码的图片的最大宽度。pic_width_max_in_luma_samples不应等于0并且应是[[MinCbSizeY]]
Figure BDA0003498349990000492
的整数倍。
pic_height_max_in_luma_samples以亮度样点为单位指定关于SPS的每个解码的图片的最大高度。pic_height_max_in_luma_samples不应等于0并且应为[[MinCbSizeY]]
Figure BDA0003498349990000493
的整数倍。
5.7实施例7：对于BT/TT/QT划分、BT/TT/QT深度导出、和/或信令通知CU划分标志的子图片边界检查
6.4.2允许的二叉(binary)划分过程
变量allowBtSplit导出如下：
–…
–否则，如果以下条件全部为真，则allowBtSplit设定为等于假
–btSplit等于SPLIT_BT_VER
–y0+cbHeight大于
Figure BDA0003498349990000494
–否则，如果以下条件全部为真，则allowBtSplit设定为等于假
–btSplit等于SPLIT_BT_VER
–cbHeight大于MaxTbSizeY
–x0+cbWidth大于[[pic_width_in_luma_samples]]
Figure BDA0003498349990000501
–否则，如果以下条件全部为真，则allowBtSplit设定为等于假
–btSplit等于SPLIT_BT_HOR
–cbWidth大于MaxTbSizeY
–y0+cbHeight大于[[pic_height_in_luma_samples]]
Figure BDA0003498349990000502
–否则，如果以下条件全部为真，则allowBtSplit设定为等于假
–x0+cbWidth大于[[pic_width_in_luma_samples]]
Figure BDA0003498349990000503
–y0+cbHeight大于[[pic_height_in_luma_samples]]
Figure BDA0003498349990000504
–cbWidth大于minQtSize
–否则，如果以下条件全部为真，则allowBtSplit设定为等于假
–btSplit等于SPLIT_BT_HOR
–x0+cbWidth大于[[pic_width_in_luma_samples]]
Figure BDA0003498349990000511
–y0+cbHeight小于或等于[[pic_height_in_luma_samples]]
Figure BDA0003498349990000512
6.4.2允许的三叉(ternary)划分过程
变量allowTtSplit导出如下：
–如果以下条件中的一个或多个为真，则allowTtSplit设定为等于假：
–cbSize小于或等于2*MinTtSizeY
–cbWidth大于Min(MaxTbSizeY，maxTtSize)
–cbHeight大于Min(MaxTbSizeY，maxTtSize)
–mttDepth大于或等于maxMttDepth
–x0+cbWidth大于[[pic_width_in_luma_samples]]
Figure BDA0003498349990000513
–y0+cbHeight大于[[pic_height_in_luma_samples]]
Figure BDA0003498349990000514
–treeType等于DUAL_TREE_CHROMA且(cbWidth/SubWidthC)*(cbHeight/SubHeightC)小于或等于32
–treeType等于DUAL_TREE_CHROMA且modeType等于MODE_TYPE_INTRA
–否则，allowTtSplit设定为等于真。
7.3.8.2编解码树单元语法
Figure BDA0003498349990000521
7.3.8.4编解码树语法
Figure BDA0003498349990000531
图3是视频处理设备300的框图。设备300可以用于实现一个或多个本文所描述的方法。设备300可以实施为智能电话、平板计算机、计算机、物联网(IoT)接收器，等等。设备300可以包含一个或多个处理器302，一个或多个存储器304和视频处理硬件306。(一个或多个)处理器302可以配置为实现本文档中所描述的一个或多个方法。存储器(多个存储器)304可以用于储存用于实现本文所描述的方法和技术的数据和代码。视频处理硬件306可以用于以硬件电路实现本文档中所描述的一些技术。
图4是处理视频的方法400的流程图。方法1800包含，对视频的第一视频区域中的视频块，确定(402)位置是否在第二视频区域内，在该位置处为视频块与当前视频块的比特流表示之间的使用仿射模式的转换确定时域运动矢量预测符，以及基于确定进行(404)转换。
可以实现以下方案作为一些实施例中的优选方案。
以下方案可以与之前章节中列举的项目(例如，项目1)中描述的附加技术一起实现。
1.一种视频处理的方法，包括：为视频的第一视频区域中的视频块，确定位置是否在第二视频区域内，在该位置处为视频块与当前视频块的比特流表示之间的使用仿射模式的转换确定时域运动矢量预测符；以及基于确定进行转换。
2.如方案1所述的方法，其中，视频块被第一区域和第二区域覆盖。
3.如方案1-2中任一项所述的方法，其中，在时域运动矢量预测符的位置在第二视频区域之外的情况下，则时域运动矢量预测符被标记为不可用并且在转换中不被使用。
以下方案可以与之前章节中列举的项目(例如，项目2)中描述的附加技术一起实现。
4.一种视频处理的方法，包括：为视频的第一视频区域中的视频块，确定位置是否在第二视频区域内，在该位置处为视频块与当前视频块的比特流表示之间的转换取回参考图片中的整数样点，其中，参考图片不在转换期间插值过程中使用；以及基于确定进行转换。
5.如方案4所述的方法，其中，视频块被第一区域和第二区域覆盖。
6.如方案4-5中任一项所述的方法，其中，在样点的位置在第二视频区域之外的情况下，则样点被标记为不可用且在转换中不被使用。
以下方案可以与之前章节中列举的项目(例如，项目3)中描述的附加技术一起实现。
7.一种视频处理的方法，包括：为视频的第一视频区域中的视频块，确定位置是否在第二视频区域内，在该位置处为视频块与当前视频块的比特流表示之间的转换取回重构亮度样点值；以及基于确定进行转换。
8.如方案7所述的方法，其中，亮度样点被第一区域和第二区域覆盖。
9.如方案7-8中任一项所述的方法，其中，在亮度样点的位置在第二视频区域之外的情况下，然后亮度样点被标记为不可用且在转换中不被使用。
以下方案可以与之前章节中列举的项目(例如，项目4)中描述的附加技术一起实现。
10.一种视频处理的方法，包括：为视频的第一视频区域中的视频块，确定位置是否在第二视频区域内，在该位置处在视频块与当前视频块的比特流表示之间的转换期间进行关于划分、深度导出或视频块的划分标志信令通知的检查；以及基于确定进行转换。
11.如方案10所述的方法，其中，该位置被第一区域和第二区域覆盖。
12.如方案10-11中任一项所述的方法，其中，在该位置在第二视频区域之外的情况下，然后亮度样点被标记为不可用且在转换中不被使用。
以下方案可以与之前章节中列举的项目(例如，项目8)中描述的附加技术一起实现。
13.一种视频处理的方法，包括：进行包括一个或多个视频图片的视频与视频的编解码表示之间的转换，该一个或多个视频图片包括一个或多个视频块，其中，编解码表示符合以下编解码语法要求：转换在视频单元内不使用子图片编解码/解码和动态分辨率转换编解码/解码工具或参考图片重采样工具。
14.如方案13所述的方法，其中，视频单元对应于一个或多个视频图片的序列。
15.如方案13-14中任一项所述的方法，其中，动态分辨率转换编解码/解码工具包括自适应分辨率转换编解码/解码工具。
16.如方案13-14中任一项所述的方法，其中，动态分辨率转换编解码/解码工具包括动态分辨率转换编解码/解码工具。
17.如方案13-16中任一项所述的方法，其中，编解码表示指示视频单元符合编解码语法要求。
18.如方案17所述的方法，其中，编解码表示指示视频单元使用子图片编解码。
19.如方案17所述的方法，其中，编解码表示指示视频单元使用动态分辨率转换编解码/解码工具或参考图片重采样工具。
以下方案可以与之前章节中列举的项目(例如，项目10)中描述的附加技术一起实现。
20.如方案1-19中任一项所述的方法，其中，第二视频区域包括视频子图片并且其中，第二视频区域和另一视频区域的边界也是两个编解码树单元之间的边界。
21.如方案1-19中任一项所述的方法，其中，第二视频区域包括视频子图片并且其中，第二视频区域和另一视频区域的边界也是两个编解码树单元之间的边界。
以下方案可以与之前章节中列举的项目(例如，项目11)中描述的附加技术一起实现。
22.如方案1-21中任一项所述的方法，其中，第一视频区域和第二视频区域具有矩形形状。
以下方案可以与之前章节中列举的项目(例如，项目12)中描述的附加技术一起实现。
23.如方案1-22中任一项所述的方法，其中，第一视频区域和第二视频区域不重叠。
以下方案可以与之前章节中列举的项目(例如，项目13)中描述的附加技术一起实现。
24.如方案1-23中任一项所述的方法，其中，视频图片分为视频区域，使得视频图片中的像素被一个且仅一个视频区域覆盖。
以下方案可以与之前章节中列举的项目(例如，项目15)中描述的附加技术一起实现。
25.如方案1-24中任一项所述的方法，其中，由于视频图片在视频序列的特定层中，视频图片被划分为第一视频区域和第二视频区域。
以下方案可以与之前章节中列举的项目(例如，项目10)中描述的附加技术一起实现。
26.一种视频处理的方法，包括：进行包括一个或多个视频图片的视频与视频的编解码表示之间的转换，该一个或多个视频图片包括一个或多个视频块，其中，编解码表示符合以下编解码语法要求：第一语法元素subpic_grid_idx[i][j]不大于第二语法元素max_subpics_minus1。
27.如方案26所述的方法，其中，表示第一语法元素的码字不大于表示第二语法元素的码字。
28.如方案1-27中任一项所述的方法，其中，第一视频区域包括视频子图片。
29.如方案1-28中任一项所述的方法，其中，第二视频区域包括视频子图片。
30.如方案1至29中任一项所述的方法，其中，转换包括将视频编码为编解码表示。
31.如方案1至29中任一项所述的方法，其中，转换包括将编解码表示解码以生成视频的像素值。
32.一种视频解码设备，包括配置为实现方案1至31中一项或多项的方法的处理器。
33.一种视频编码设备，包括配置为实现方案1至31中一项或多项的方法的处理器。
34.一种计算机程序产品，具有其上储存的计算机代码，当处理器执行所述代码时，使处理器实现方案1至31中一项或多项的方法。
35.本文档中所描述的方法、设备或系统。
图5是示出示例性视频处理系统500的框图，其中可以实现本文公开的各种技术。各种实现方式可以包含系统500的一些或全部组件。系统500可以包含输入502以接收视频内容。视频内容可以以原始或未压缩格式接收，例如，8或10比特多分量像素值，或可以以压缩的或编码的格式接收。输入502可以表示网络接口、外围总线接口、或储存接口。网络接口的示例包含有线接口(诸如以太网、无源光学网络(PON)等)和无线接口(诸如Wi-Fi或蜂窝接口)。
系统500可以包含编解码组件504，其可以实现本文档中所描述的各种编解码或编码方法。编解码组件504可以降低从输入502到编解码组件504的输出的视频的平均比特率，以产生视频的编解码表示。编解码技术因此有时称为视频压缩或视频转码技术。编解码组件504的输出可以被储存或经由连接的通信传输，如组件506所表示。在输入502处接收的视频的储存或通信的比特流(或编解码的)表示可以由组件508使用以生成像素值或发送到显示接口510的可显示视频。从比特流表示生成用户可观看视频的过程有时称为视频解压缩。此外，尽管某些视频处理操作称为“编解码”操作或工具，应理解，编码工具或操作在编码器处使用，并且将编解码的结果逆转的对应的解码工具或操作将由解码器进行。
外围总线接口或显示接口的示例可以包含通用串行总线(USB)或高清多媒体接口(HDMI)或显示接口(Displayport)，等等。储存接口的示例包含SATA(串行高级技术附件)、PCI、IDE接口，等等。本文档中所描述的技术可以实施为各种电子装置，诸如移动电话、膝上式计算机、智能电话或能够进行数字数据处理和/或视频显示的其他装置。
图6是根据本技术的视频处理的方法600的流程图表示。方法600包含，操作610处，为视频的第一图片的当前块与视频的比特流表示之间的转换，根据规则基于来自第二图片的运动信息确定运动候选。该规则指定访问运动信息的位置被约束在第二图片的特定子图片内。方法600还包含，操作620处，基于确定进行转换。
在一些实施例中，运动信息包括运动矢量，并且运动候选包括仿射运动候选。在一些实施例中，该规则指定，在第一位置在特定子图片之外的情况下，该位置被用作第一位置的替代。在一些实施例中，该位置在视频图片中的对应于当前块的块的右底角。
图7是根据本技术的视频处理的方法700的流程图表示。方法700包含，操作710处，为视频的第一图片的当前块与视频的比特流表示之间的转换，根据规则从第二图片确定整数样点。该第二图片包括不在插值过程中使用的参考图片。该规则指定访问整数样点的位置被约束在第二图片的特定子图片内。方法700还包含，操作720处，基于确定进行转换。在一些实施例中，整数样点被用于在双向光流或预测细化光流过程中生成一个或多个梯度。
图8是根据本技术的视频处理的方法800的流程图表示。方法800包含，操作810处，为视频的当前块与视频的比特流表示之间的转换，根据规则确定访问重构亮度样点的位置。该规则指定该位置被约束在视频图片的特定子图片内。方法800还包含，操作820处，基于确定进行转换。在一些实施例中，访问重构亮度样点以导出亮度映射色度缩放过程中的色度分量的缩放因数。
图9是根据本技术的视频处理的方法900的流程图表示。方法900包含，操作910处，为视频的当前块与视频的比特流表示之间的转换，根据规则确定进行图片边界检查的位置。该规则指定该位置被约束在视频图片的特定子图片内。方法900还包含，操作920处，基于确定进行转换。
在一些实施例中，对以下中的至少一者进行图片边界检查：(1)二叉树、三叉树或四叉树的划分，(2)二叉树、三叉树或四叉树的深度导出，(3)或当前块的划分标志的信令通知。在一些实施例中，特定子图片是覆盖当前块的共位子图片。
在一些实施例中，规则指定，在位置在特定子图片之外的情况下，在该位置的信息视为不可用。位置表示为(x，y)，特定子图片的左顶角表示为(xTL，yTL)，并且特定子图片的右底角表示为(xBR，yBR)。在一些实施例中，在x>xBR，y>yBR，x<xTL，或y<yTL的情况下，位置在特定子图片之外。在一些实施例中，规则指定位置被剪切为在视频图片的特定子图片内。位置表示为(x，y)，特定子图片的左顶角表示为(xTL，yTL)，并且特定子图片的右底角表示为(xBR，yBR)。在一些实施例中，x被剪切为x和xBR中的较小值。在一些实施例中，y被剪切为y和yBR中的较小值。在一些实施例中，x被剪切为x和xTL中的较大值。在一些实施例中，y被剪切为y和yTL中的较大值。
在一些实施例中，该规则是否适用是基于比特流表示中的语法元素。在一些实施例中，在视频参数集、相关性参数集、条带参数集、图片参数集，活动参数集、条带头或片组头中信令通知语法元素。在一些实施例中，语法元素包括subpic_treated_as_pic_flag[SubPicIdx]，其中SubPicIdx是覆盖当前块的特定子图片的子图片索引。
在一些实施例中，转换从比特流表示生成当前块。在一些实施例中，转换从当前块生成比特流表示。
图10是根据本技术的视频处理的方法1000的流程图表示。方法1000包含，操作1010处，在视频的视频图片的子图片与视频的比特流表示的转换之后，重设基于过去的转换导出的运动候选的表。方法1000还包含，操作1020处，在重设之后使用该表进行视频图片的后续子图片与比特流表示之间的转换。
在一些实施例中，运动候选的表包括帧内块编解码模式的运动候选。在一些实施例中，运动候选的表包括帧间编解码模式的运动候选。在一些实施例中，运动候选的表包括帧内编解码模式的运动候选。
在一些实施例中，转换从比特流表示生成子图片或后续子图片。在一些实施例中，转换从子图片或后续子图片生成比特流表示。
图11是根据本技术的视频处理的方法1100的流程图表示。方法1100包含，操作1110处，根据规则进行包括视频图片的视频与视频的编解码表示之间的转换，该视频图片包含多个子图片和多个视频块。该规则指定任意两个子图片之间的边界也是两个视频块之间的边界。视频图片中的视频块被视频图片的单个子图片覆盖。
在一些实施例中，视频图片中的任意位置被视频图片的至多一个子图片覆盖。在一些实施例中，视频图片中的位置不被视频图片的任何子图片覆盖。
在一些实施例中，视频图片的两个子图片不具有重叠区域。
在一些实施例中，视频图片的子图片的维度是基于视频块的维度确定的。在一些实施例中，子图片包括多个元素。指示子图片中的元素的宽度的语法元素表示为N个样点，并且子图片的宽度是基于N个样点确定的。在一些实施例中，视频块的宽度包括N个样点。
在一些实施例中，子图片包括多个元素。指示子图片中的元素的高度的语法元素表示为N个样点，并且子图片的高度是基于N个样点确定的。在一些实施例中，视频块的高度包括N个样点。
在一些实施例中，视频块是编解码树块(CTB)或编解码树单元(CTU)。在一些实施例中，子图片具有矩形形状。在一些实施例中，子图片包括矩形条带。在一些实施例中，子图片仅适用于视频的所选一层或多层。在一些实施例中，在比特流表示中的序列参数集中定义子图片，并且子图片适用于对应的序列中具有最高分辨率的层。在一些实施例中，在比特流表示中的序列参数集中定义子图片，并且子图片适用于对应的序列中的具有最低分辨率的层。在一些实施例中，在比特流表示中的一个或多个语法元素中信令通知子图片适用的所选的一层或多层。在一些实施例中，在比特流表示中的一个或多个语法元素中信令通知子图片不适用的一层或多层。在一些实施例中，在比特流表示中的序列参数集、视频参数集或图片参数集中信令通知一个或多个语法元素。
图12是根据本技术的视频处理的方法1200的流程图表示。方法1200包含，操作1210处，至少使用视频图片进行视频的视频单元与视频的编解码表示之间的转换，其中对视频单元启用子图片编解码模式或分辨率改变编解码模式中的仅一者。子图片编解码模式是其中视频图片分为多个子图片的模式，并且分辨率改变编解码模式是其中在转换期间调整视频图片的分辨率的模式。
在一些实施例中，视频图片包括当前图片或参考图片。在一些实施例中，分辨率改变编解码模式包括参考图片重采样(PRP)模式。在一些实施例中，分辨率改变编解码模式包括动态分辨率转换(DRC)模式。在一些实施例中，分辨率改变编解码模式包括自适应分辨率转换(ARC)模式。
在一些实施例中，视频单元包括视频序列。在一些实施例中，语法元素被包含在编解码表示中，以指示在分辨率改变编解码模式不被允许的情况下对编解码单元启用的子图片编解码模式。在一些实施例中，在语法元素被包含在编解码表示中以指示子图片编解码模式被启用的情况下，分辨率改变编解码模式不被允许。在一些实施例中，语法元素包括subpics_present_flag。在一些实施例中，在语法元素指示子图片编解码模式被启用的情况下，视频图片的宽度被设定为等于视频单元中的视频图片允许的最大宽度。
图13是根据本技术的视频处理的方法1300的流程图表示。方法1300包含，操作1310处，至少使用视频图片进行视频的视频单元与视频的编解码表示之间的转换，其中对视频单元启用子图片编解码模式和分辨率改变编解码模式两者。子图片编解码模式是其中视频图片分为多个子图片的模式，并且分辨率改变编解码模式是其中在转换期间视频图片的分辨率的模式。
在一些实施例中，视频单元包括视频序列。在一些实施例中，分辨率改变编解码模式包括自适应分辨率转换(ARC)模式、动态分辨率转换(DRC)模式、参考图片重采样(PRP)模式。
在一些实施例中，视频图片包含多个视频块，其各自具有W×H的维度。根据分辨率改变编解码模式调整的子图片具有K×W的宽度和M×H的高度，K和M是整数。在一些实施例中，子图片不位于视频图片的边界。在一些实施例中，边界包括右边界或底边界。
在一些实施例中，视频图片包含多个视频块，并且基于视频图片的分辨率调整单独视频块的维度。在一些实施例中，编解码表示包括指示视频块的最大维度的语法元素，并且基于视频图片的最大维度和分辨率调整单独视频块的维度。在一些实施例中，在编解码表示中的序列参数集、图片参数集中或在子图片级信令通知单独视频块的维度。
图14是根据本技术的视频处理的方法1400的流程图表示。方法1400包含，操作1410处，进行包括一个或多个视频图片的视频与视频的编解码表示之间的转换，其中单独视频图片的维度被约束为大于或等于8。在一些实施例中，维度是单独视频图片的宽度。在一些实施例中，维度是单独视频图片的高度。
图15是根据本技术的视频处理的方法1500的流程图表示。方法1500包含，操作1510处，根据规则进行视频的视频图片与视频的编解码表示之间的转换。该视频图片包括至少一个子图片，并且该规则指定子图片的特性表示为编解码表示中的至少一个语法元素，至少一个语法元素不同于视频图片中的子图片网格的索引值。
在一些实施例中，特性包括子图片的左顶位置。在一些实施例中，特性包括子图片的右底位置。在一些实施例中，特性包括子图片的宽度。在一些实施例中，特性包括子图片的高度。在一些实施例中，视频图片中的子图片的索引值小于视频图片中的子图片的最大数目。在一些实施例中，整数值在[0，子图片的最大数目-1]的范围内，与视频图片中的子图片的索引值具有一对一的对应性。
图16是根据本技术的视频处理的方法1600的流程图表示。方法1600包含，操作1610处，根据规则进行视频的视频图片与视频的编解码表示之间的转换。视频图片包括多个子图片，每个子图片包括多个元素。规则指定子图片中的单独元素的维度满足约束。
在一些实施例中，约束指定单独元素的宽度小于T1。在一些实施例中，约束指定单独元素的高度小于T2。在一些实施例中，视频图片包括多个视频块，并且约束指定基于单独元素的维度确定的子图片在转换期间被正在处理的当前视频块覆盖。在一些实施例中，被当前视频块覆盖的子图片之外的样点被视为对转换不可用。在一些实施例中，约束指定单独元素的维度是基于视频编解码标准的配置档、级或层级确定的。在一些实施例中，约束指定单独元素的维度是基于视频图片的宽度确定的。在一些实施例中，单独元素的宽度等于pic_width_max_in_luma_samples/4+offset，其中pic_width_max_in_luma_samples表示亮度样点中的最大图片宽度，并且offset是零或非零整数。在一些实施例中，约束指定单独元素的维度是基于视频图片的高度确定的。在一些实施例中，单独元素的高度等于pic_height_max_in_luma_samples/4+offset，其中pic_height_max_in_luma_samples表示亮度样点中的最大图片高度，并且offset是零或非零整数。
在一些实施例中，转换从比特流表示生成视频图片。在一些实施例中，转换从视频图片生成比特流表示。
图17是根据本技术的视频处理的方法1700的流程图表示。方法1700包含，操作1710处，根据规则使用编解码模式进行包括图片的视频与视频的编解码表示之间的转换，该图片包含多个子图片。该规则指定在处理多个子图片的每下一个子图片之前重设关于之前的子图片的某些储存的信息。
在一些实施例中，某些储存的信息包括用于帧内块复制编解码模式的虚拟缓冲器，在帧内块复制编解码模式中，视频图片中的当前块是用来自视频图片的样点编解码的。在一些实施例中，某些储存的信息包括用于调色板编解码模式的条目的列表，在调色板编解码模式中，视频图片中的当前块是用代表性样点值的调色板编解码的。
图18是根据本技术的视频处理的方法1800的流程图表示。方法1800包含，操作1810处，根据规则在视频与视频的编解码表示之间的转换中进行时域滤波操作。视频包括多个视频图片，每个视频图片包括多个子图片。该规则指定，对于时域滤波视频图片的当前子图片中的当前样点，仅在相同当前子图片内或不同视频图片中对应于当前子图片的子图片内的样点可用。
图19是根据本技术的视频处理的方法1900的流程图表示。方法1900包含，操作1910处，对视频的视频图片中的块与视频的编解码表示之间的转换，基于块是否跨过视频图片的一个或多个子图片边界而确定将分割方法应用于块的方式。方法1900还包含，操作1920处，基于确定进行转换。
在一些实施例中，分割方法包括以下中的至少一者：四叉树分割方法、水平二叉树分割方法、垂直二叉树分割方法、水平三叉树分割方法、垂直三叉树分割方法，或无划分方法。在一些实施例中，方式还指定边界处理方法是否适用于块。在一些实施例中，方法包含，基于块是否位于跨过视频图片的子图片的一个或多个边界而确定处理编解码表示中指示分割方法的语法元素的方式。
图20是根据本技术的视频处理的方法2000的流程图表示。方法2000包含，操作2010处，对视频的视频图片与视频的编解码表示之间的转换，确定视频图片的两个子区域。第一子区域包括视频图片的多个子图片，并且第二子区域包括视频图片中的其余样点。方法2000还包含，操作2020处，基于确定进行转换。
在一些实施例中，第二子区域中的样点不位于视频图片的任何子图片中。在一些实施例中，基于关于第一子区域的信息为转换处理第二子区域。在一些实施例中，在转换中使用默认值以指示视频图片的样点或区域是否位于第二子区域内。在一些实施例中，默认值被设定为(max_subpics_minus1+K)，其中max_subpics_minus1指示视频图片中的子图片的最大数目，并且K是大于1的整数。在一些实施例中，默认值被分配到表示视频图片中的子图片的索引值的阵列中的每个元素。
在一些实施例中，转换从编解码表示生成视频。在一些实施例中，转换从视频生成编解码表示。
所公开的技术的一些实施例包含做出启用视频处理工具或模式的决定或确定。在示例中，当视频处理工具或模式被启用时，编码器将在处理视频的块中使用或实现工具或模式，但不一定基于工具或模式的使用而修改所得比特流。即，当视频处理工具或模式基于决定或确定而被启用时，从视频的块到视频的比特流表示的转换将使用该视频处理工具或模式。在另一示例中，当视频处理工具或模式被启用时，解码器将在了解比特流已经被基于视频处理工具或模式修改的情况下处理比特流。即，从视频的比特流表示到视频的块的转换将使用基于决定或确定启用的视频处理工具或模式进行。
所公开的技术的一些实施例包含做出禁用视频处理工具或模式的决定或确定。在示例中，当视频处理工具或模式被禁用时，编码器在视频的块到视频的比特流表示的转换中将不使用工具或模式。在另一示例中，当视频处理工具或模式被禁用时，解码器将在了解比特流未被使用基于决定或确定而启用的视频处理工具或模式修改的情况下处理比特流。
本文档中描述的所公开的和其他的方案、示例、实施例、模块和功能操作可以在数字电子电路，或在计算机软件、固件或硬件中实现，包含本文档中公开的结构和它们的结构等同，或它们中的一个或多个的组合。所公开的和其他的实施例可以实现为一个或多个计算机程序产品，例如，计算机程序指令的一个或多个模块，编码在计算机可读介质上，以由数据处理设备执行，或控制数据处理设备的操作。计算机可读介质可以是机器可读储存装置、机器可读储存基板、存储器装置、实现机器可读传播信令通知的物质组成，或它们中的一个或多个的组合。术语“数据处理设备”涵盖用于处理数据的全部设备、装置和机器，包含作为示例可编程处理器、计算机或多个处理器或计算机。设备除硬件之外可以包含为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统，或它们中的一个或多个的组合。传播信令通知是人工生成的信令通知，例如，机器生成的电、光或电磁信令通知，其被生成以编码要传输到适当接收器设备的信息。
计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以用任何形式的编程语言(包括编译或解释语言)编写，并且可以以任何形式进行部署，包括独立程序或适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定与文件系统中的文件相对应。程序可以存储在保存其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，专用于所讨论程序的单个文件中或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)。可以将计算机程序部署为在一台计算机上执行，或者在位于一个站点上或分布在多个站点上并通过通信网络互连的多台计算机上执行。
本文档中描述的过程和逻辑流程可以由一个或多个可编程处理器执行，该可编程处理器执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。处理和逻辑流程也可以由专用逻辑电路执行，并且装置也可以实现为专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如，适合于执行计算机程序的处理器包括通用微处理器和专用微处理器，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁、磁光盘或光盘，或可操作地耦接以从该一个或多个用于存储数据的大容量存储设备接收数据或向该一个或多个用于存储数据的大容量存储设备传输数据或两者。但是，计算机不必具有此类设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器装置，包括例如半导体存储器装置，例如EPROM，EEPROM和闪速存储器装置；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CDROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
虽然本专利文档包含许多细节，但是这些细节不应被解释为对任何主题或所要求保护的范围的限制，而是对特定于特定技术的特定实施例的特征的描述。在单独的实施例的上下文中在本专利文档中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以分别在多个实施例中或以任何合适的子组合来实现。而且，尽管以上可以将特征描述为以某些组合起作用并且甚至最初如此要求保护，但是在某些情况下，可以从组合中剔除所要求保护的组合中的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变体。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求以所示的特定顺序或以连续的顺序执行这样的操作，或者执行所有示出的操作以实现期望的结果。此外，在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这种分离。
仅描述了一些实施方式和示例，并且可以基于本专利文档中描述和示出的内容进行其他实施方式、增强和变化。

Claims (31)

1.一种视频处理的方法，包括：
为视频的第一图片的当前块与所述视频的比特流表示之间的转换，根据规则基于来自第二图片的运动信息确定运动候选，其中，所述规则指定访问所述运动信息的位置被约束在所述第二图片的特定子图片内；以及
基于所述确定进行所述转换。
2.如权利要求1所述的方法，其中，所述运动信息包括运动矢量，并且所述运动候选包括仿射运动候选。
3.如权利要求1或2所述的方法，其中，所述规则指定，在第一位置在所述特定子图片之外的情况下，所述位置被用作所述第一位置的替代。
4.如权利要求1至3中任一项所述的方法，其中，所述位置在对应于所述当前块的所述视频图片中的块的右下角处。
5.一种视频处理的方法，包括：
为视频的第一图片的当前块与所述视频的比特流表示之间的转换，根据规则从第二图片确定整数样点，其中，所述第二图片包括不在插值过程中使用的参考图片，并且其中，所述规则指定访问所述整数样点的位置被约束在所述第二图片的特定子图片内；以及
基于所述确定进行所述转换。
6.如权利要求5所述的方法，其中，所述整数样点用于在双向光流或预测细化光流过程中生成一个或多个梯度。
7.一种视频处理的方法，包括：
为视频的当前块与所述视频的比特流表示之间的转换，根据规则确定访问重构亮度样点的位置，其中，所述规则指定所述位置被约束在视频图片的特定子图片内；以及
基于所述确定进行所述转换。
8.如权利要求7所述的方法，其中，访问所述重构亮度样点以在亮度映射色度缩放过程中导出色度分量的缩放因数。
9.一种视频处理的方法，包括：
为视频的当前块与所述视频的比特流表示之间的转换，根据规则确定进行图片边界检查的位置，其中，所述规则指定所述位置被约束在视频图片的特定子图片内；以及
基于所述确定进行所述转换。
10.如权利要求9所述的方法，其中，对于以下中的至少一者进行所述图片边界检查：(1)划分二叉树、三叉树或四叉树，(2)二叉树、三叉树或四叉树的深度导出，(3)或者所述当前块的划分标志的信令通知。
11.如权利要求1至10中任一项所述的方法，其中，所述特定子图片是覆盖所述当前块的共位子图片。
12.如权利要求1至11中任一项所述的方法，其中，所述规则指定，在所述位置在特定子图片之外的情况下，所述位置处的信息视为不可用，其中，所述位置表示为(x，y)，所述特定子图片的左顶角表示为(xTL，yTL)，并且所述特定子图片的右底角表示为(xBR，yBR)。
13.如权利要求12所述的方法，其中，在x>xBR，y>yBR，x<xTL，或y<yTL的情况下，所述位置在所述特定子图片之外。
14.如权利要求1至13中任一项所述的方法，其中，所述规则指定所述位置被剪切为在所述视频图片的特定子图片内，其中，所述位置表示为(x，y)，所述特定子图片的左顶角表示为(xTL，yTL)，并且所述特定子图片的右底角表示为(xBR，yBR)。
15.如权利要求14所述的方法，其中，x被剪切为x和xBR中的较小值。
16.如权利要求14所述的方法，其中，y被剪切为y和yBR中的较小值。
17.如权利要求14所述的方法，其中，x被剪切为x和xTL中的较大值。
18.如权利要求14所述的方法，其中，y被剪切为y和yTL中的较大值。
19.如权利要求1至13中任一项所述的方法，其中，所述规则是否适用是基于所述比特流表示中的语法元素。
20.如权利要求19所述的方法，其中，在视频参数集、相关性参数集、条带参数集、图片参数集、活动参数集、条带头，或片组头中信令通知所述语法元素。
21.如权利要求19或20所述的方法，其中，所述语法元素包括subpic_treated_as_pic_flag[SubPicIdx]，并且其中，SubPicIdx是覆盖所述当前块的所述特定子图片的子图片索引。
22.如权利要求1至21中任一项或多项所述的方法，其中，所述转换从所述比特流表示生成所述当前块。
23.如权利要求1至21中任一项或多项所述的方法，其中，所述转换从所述当前块生成所述比特流表示。
24.一种视频处理的方法，包括：
在视频的视频图片的子图片与所述视频的比特流表示的转换之后，重设基于过去的转换导出的运动候选的表；以及
在重设之后使用所述表进行所述视频图片的后续子图片与所述比特流表示的转换。
25.如权利要求24所述的方法，其中，所述运动候选的表包括帧内块编解码模式的运动候选。
26.如权利要求24所述的方法，其中，所述运动候选的表包括帧间编解码模式的运动候选。
27.如权利要求24所述的方法，其中，所述运动候选的表包括帧内编解码模式的运动候选。
28.如权利要求24至27中任一项所述的方法，其中，所述转换从所述比特流表示生成所述子图片或所述后续子图片。
29.如权利要求24至27中任一项所述的方法，其中，所述转换从所述子图片或所述后续子图片生成所述比特流表示。
30.一种视频处理设备，包括处理器，所述处理器配置为实现权利要求1至29中任一项或多项中所述的方法。
31.一种计算机可读介质，具有其上储存的代码，所述代码当执行时，使处理器实现权利要求1至29中任一项或多项中所述的方法。
CN202080056566.XA 2019-08-10 2020-08-10 帧间编解码模式的位置限制 Active CN114208196B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/100114 2019-08-10
CN2019100114 2019-08-10
PCT/CN2020/108142 WO2021027767A1 (en) 2019-08-10 2020-08-10 Position restriction for inter coding mode

Publications (2)

Publication Number Publication Date
CN114208196A true CN114208196A (zh) 2022-03-18
CN114208196B CN114208196B (zh) 2023-11-14

Family

ID=74570268

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202311453730.2A Pending CN117336468A (zh) 2019-08-10 2020-08-10 视频比特流中的子图片相关信令通知
CN202080056566.XA Active CN114208196B (zh) 2019-08-10 2020-08-10 帧间编解码模式的位置限制
CN202080056677.0A Active CN114208166B (zh) 2019-08-10 2020-08-10 视频比特流中的子图片相关信令通知
CN202080056646.5A Pending CN114270831A (zh) 2019-08-10 2020-08-10 视频处理中的子图片尺寸定义
CN202080056667.7A Active CN114208165B (zh) 2019-08-10 2020-08-10 子图片解码中的缓冲器管理

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311453730.2A Pending CN117336468A (zh) 2019-08-10 2020-08-10 视频比特流中的子图片相关信令通知

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN202080056677.0A Active CN114208166B (zh) 2019-08-10 2020-08-10 视频比特流中的子图片相关信令通知
CN202080056646.5A Pending CN114270831A (zh) 2019-08-10 2020-08-10 视频处理中的子图片尺寸定义
CN202080056667.7A Active CN114208165B (zh) 2019-08-10 2020-08-10 子图片解码中的缓冲器管理

Country Status (8)

Country Link
US (5) US11523108B2 (zh)
EP (3) EP3997869A4 (zh)
JP (3) JP7478225B2 (zh)
KR (2) KR20220044271A (zh)
CN (5) CN117336468A (zh)
BR (1) BR112022002493A2 (zh)
MX (1) MX2022001465A (zh)
WO (4) WO2021027776A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021013239A1 (en) 2019-07-25 2021-01-28 Beijing Bytedance Network Technology Co., Ltd. Size restriction for intra-block copy virtual buffer
CN117336468A (zh) 2019-08-10 2024-01-02 北京字节跳动网络技术有限公司 视频比特流中的子图片相关信令通知
WO2021043299A1 (en) 2019-09-05 2021-03-11 Beijing Bytedance Network Technology Co., Ltd. Range constrains for block vector in intra-block copy mode
CN117459723A (zh) * 2019-09-23 2024-01-26 北京字节跳动网络技术有限公司 基于虚拟管线数据单元设置帧内块复制虚拟缓冲区
KR20220044843A (ko) * 2019-09-24 2022-04-11 엘지전자 주식회사 서브픽처 기반 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
CN114556952A (zh) 2019-10-02 2022-05-27 北京字节跳动网络技术有限公司 包括子图片的视频比特流中的条带级信令通知
KR20220078600A (ko) 2019-10-18 2022-06-10 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브픽처들의 파라미터 세트 시그널링에서의 신택스 제약들
JP7400114B2 (ja) 2020-02-24 2023-12-18 バイトダンス インコーポレイテッド ビデオコーディングでのピクチャレベルスライスインデックスの使用
CN115211044A (zh) 2020-03-03 2022-10-18 字节跳动有限公司 使用条带头信令通知控制缩放处理
CN115362674A (zh) 2020-03-18 2022-11-18 抖音视界有限公司 帧内块复制缓冲区和调色板预测值更新
CN115349254A (zh) * 2020-03-23 2022-11-15 抖音视界有限公司 控制编解码视频中不同级别的去块滤波
US20220394309A1 (en) * 2021-05-20 2022-12-08 Lemon Inc. On Padding Methods For Neural Network-Based In-Loop Filter
US11949863B2 (en) * 2021-08-02 2024-04-02 Tencent America LLC Geometric partition mode with intra block copy

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050019006A1 (en) * 2003-07-21 2005-01-27 Jong Yeul Suh Method of displaying sub-picture in DVD player
EP1672930A2 (en) * 2002-04-29 2006-06-21 Nokia Corporation Indicating regions within a picture
CN101668219A (zh) * 2008-09-02 2010-03-10 深圳华为通信技术有限公司 3d视频通信方法、发送设备和系统
US20100086052A1 (en) * 2008-10-06 2010-04-08 Lg Electronics Inc. Method and an apparatus for processing a video signal
US20140003504A1 (en) * 2012-07-02 2014-01-02 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
US20150271515A1 (en) * 2014-01-10 2015-09-24 Qualcomm Incorporated Block vector coding for intra block copy in video coding
CN105074819A (zh) * 2013-02-20 2015-11-18 弗劳恩霍夫应用研究促进协会” 使用多重叠部分来生成经编码的信号或对经编码的音频信号进行解码的设备及方法
US20160337661A1 (en) * 2015-05-11 2016-11-17 Qualcomm Incorporated Search region determination for inter coding within a particular picture of video data
CN107801039A (zh) * 2016-08-30 2018-03-13 华为技术有限公司 运动补偿预测方法和设备
CN107852490A (zh) * 2015-07-27 2018-03-27 联发科技股份有限公司 使用帧内块复制模式的视频编解码方法及系统
CN109996072A (zh) * 2018-01-03 2019-07-09 华为技术有限公司 视频图像的处理方法及装置

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6047112A (en) * 1992-06-30 2000-04-04 Discovision Associates Technique for initiating processing of a data stream of encoded video information
US20040177383A1 (en) 2003-01-24 2004-09-09 Chyron Corporation Embedded graphics metadata
JP3967691B2 (ja) * 2003-03-31 2007-08-29 株式会社東芝 情報記憶媒体と情報再生装置と情報記録再生装置
CN100502511C (zh) 2004-09-14 2009-06-17 华为技术有限公司 用于分数像素精度运动预测的插值图像内存组织方法
EP1949701A1 (en) 2005-10-11 2008-07-30 Nokia Corporation Efficient decoded picture buffer management for scalable video coding
US7688333B2 (en) 2007-02-28 2010-03-30 Lsi Corporation Method and/or apparatus for color space reduction for transcoding subpicture elements
US20080267297A1 (en) 2007-04-26 2008-10-30 Polycom, Inc. De-blocking filter arrangements
KR100891768B1 (ko) * 2007-05-02 2009-04-07 삼성전자주식회사 모션 벡터 탐색 방법
US8879637B2 (en) 2008-10-06 2014-11-04 Lg Electronics Inc. Method and an apparatus for processing a video signal by which coding efficiency of a video signal can be raised by using a mixed prediction mode in predicting different macroblock sizes
US8988531B2 (en) 2010-07-08 2015-03-24 Texas Instruments Incorporated Method and apparatus for sub-picture based raster scanning coding order
US9420307B2 (en) 2011-09-23 2016-08-16 Qualcomm Incorporated Coding reference pictures for a reference picture set
US9807403B2 (en) 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
US20140198844A1 (en) 2011-10-24 2014-07-17 Mediatek Inc. Method and apparatus for non-cross-tile loop filtering
US9584819B2 (en) 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US9332259B2 (en) 2012-01-18 2016-05-03 Qualcomm Incorporated Indication of use of wavefront parallel processing in video coding
US10244246B2 (en) * 2012-02-02 2019-03-26 Texas Instruments Incorporated Sub-pictures for pixel rate balancing on multi-core platforms
NZ616358A (en) 2012-02-03 2015-03-27 Mediatek Inc Method and apparatus for loop filtering cross tile or slice boundaries
US9716892B2 (en) * 2012-07-02 2017-07-25 Qualcomm Incorporated Video parameter set including session negotiation information
US10110890B2 (en) * 2012-07-02 2018-10-23 Sony Corporation Video coding system with low delay and method of operation thereof
US9491457B2 (en) 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
US8989508B2 (en) 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
CN116366835A (zh) 2013-01-04 2023-06-30 Ge视频压缩有限责任公司 高效可伸缩编码概念
CA2897152C (en) * 2013-01-07 2019-03-05 Kemal Ugur Inter-layer video encoding and decoding with adaptive resolution change at indicated switching points
US20140218473A1 (en) * 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
US9473779B2 (en) * 2013-03-05 2016-10-18 Qualcomm Incorporated Parallel processing for video coding
US10015515B2 (en) 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
CN108650514A (zh) * 2013-07-14 2018-10-12 夏普株式会社 瓦片对齐信令和一致性约束
GB2516424A (en) 2013-07-15 2015-01-28 Nokia Corp A method, an apparatus and a computer program product for video coding and decoding
GB2516824A (en) * 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
US20150103924A1 (en) 2013-10-13 2015-04-16 Sharp Laboratories Of America, Inc. On operation of decoded picture buffer for interlayer pictures
WO2015056941A1 (ko) * 2013-10-14 2015-04-23 한국전자통신연구원 다계층 기반의 영상 부호화/복호화 방법 및 장치
KR20150057591A (ko) 2013-11-20 2015-05-28 주식회사 디오텍 동영상파일에 대한 자막데이터 생성방법 및 장치
EP3090558A4 (en) * 2014-01-03 2017-08-16 Nokia Technologies OY Parameter set coding
US10567804B2 (en) 2014-01-08 2020-02-18 Qualcomm Incorporated Carriage of HEVC extension bitstreams and buffer model with MPEG-2 systems
US10531116B2 (en) * 2014-01-09 2020-01-07 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
US20150215631A1 (en) * 2014-01-23 2015-07-30 Broadcom Corporation Parallel Coding with Overlapped Tiles
JP6280679B2 (ja) * 2014-02-24 2018-02-14 日本放送協会 フレーム間引き装置、フレーム補間装置、映像符号化装置、映像復号装置、及びこれらのプログラム
ES2913983T3 (es) * 2014-03-17 2022-06-07 Nokia Technologies Oy Un aparato, un método y un programa informático para codificación y decodificación de vídeo
US10750198B2 (en) 2014-05-22 2020-08-18 Qualcomm Incorporated Maximum palette parameters in palette-based video coding
WO2016048834A1 (en) * 2014-09-26 2016-03-31 Vid Scale, Inc. Intra block copy coding with temporal block vector prediction
US9800898B2 (en) 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
WO2016078599A1 (en) * 2014-11-20 2016-05-26 Mediatek Inc. Method of motion vector and block vector resolution control
KR102150979B1 (ko) 2014-12-19 2020-09-03 에이치에프아이 이노베이션 인크. 비디오 및 이미지 코딩에서의 비-444 색채 포맷을 위한 팔레트 기반 예측의 방법
RU2686559C2 (ru) * 2015-01-29 2019-04-29 Кэнон Кабусики Кайся Инициализатор предсказателя палитры при кодировании или декодировании самостоятельных кодируемых структур
US20160234522A1 (en) * 2015-02-05 2016-08-11 Microsoft Technology Licensing, Llc Video Decoding
CN104702963B (zh) 2015-02-13 2017-11-24 北京大学 一种自适应环路滤波的边界处理方法及装置
WO2016127889A1 (en) 2015-02-13 2016-08-18 Mediatek Inc. Method and apparatus for palette index coding in video and image compression
US10362331B2 (en) * 2015-03-02 2019-07-23 Hfi Innovation Inc. Method and apparatus for intraBC mode with fractional-pel block vector resolution in video coding
WO2016172395A1 (en) * 2015-04-21 2016-10-27 Arris Enterprises Llc Scalable video coding system with parameter signaling
JP2017017629A (ja) * 2015-07-03 2017-01-19 富士通株式会社 動画像符号化装置、動画像符号化方法、及びプログラム
WO2017083784A1 (en) 2015-11-11 2017-05-18 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
TW202344052A (zh) * 2016-02-09 2023-11-01 弗勞恩霍夫爾協會 用於圖像/視訊資料串流而允許有效可縮減性或有效隨機存取之技術
US20170272758A1 (en) 2016-03-16 2017-09-21 Mediatek Inc. Video encoding method and apparatus using independent partition coding and associated video decoding method and apparatus
US10419755B2 (en) 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
CN107566848B (zh) * 2016-06-30 2020-04-14 华为技术有限公司 编解码的方法及装置
US20180098090A1 (en) 2016-10-04 2018-04-05 Mediatek Inc. Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters
AU2016273973A1 (en) * 2016-12-16 2018-07-05 Canon Kabushiki Kaisha Transcode PCL delta-row compressed image to edges
EP3422724B1 (en) * 2017-06-26 2024-05-01 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
WO2019008174A1 (en) 2017-07-06 2019-01-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. CONCEPTS FOR CONTINUOUSLY DISPLAYING VIDEOS CUT INTO PARTS
KR102411337B1 (ko) * 2017-10-09 2022-06-22 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
JP2021016016A (ja) 2017-10-20 2021-02-12 シャープ株式会社 動画像符号化装置及び動画像復号装置
US20190141320A1 (en) 2017-11-07 2019-05-09 Qualcomm Incorporated Enhanced reference picture management in video coding
US11012715B2 (en) * 2018-02-08 2021-05-18 Qualcomm Incorporated Intra block copy for video coding
CN110662046B (zh) 2018-06-29 2022-03-25 北京字节跳动网络技术有限公司 视频处理方法、装置和可读存储介质
TWI750486B (zh) 2018-06-29 2021-12-21 大陸商北京字節跳動網絡技術有限公司 運動資訊共用的限制
KR20210024487A (ko) 2018-07-01 2021-03-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 효율적인 아핀 병합 모션 벡터 유도
CN110677678B (zh) 2018-07-01 2022-09-23 北京字节跳动网络技术有限公司 依赖形状的帧间编码
CN112913247B (zh) 2018-10-23 2023-04-28 北京字节跳动网络技术有限公司 使用局部照明补偿的视频处理
KR102653562B1 (ko) 2018-11-06 2024-04-02 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 위치에 따른 인트라 예측
CN109600611B (zh) 2018-11-09 2021-07-13 北京达佳互联信息技术有限公司 环路滤波方法、环路滤波装置、电子设备和可读介质
WO2020141879A1 (ko) * 2019-01-02 2020-07-09 엘지전자 주식회사 영상 코딩 시스템에서 서브 블록 기반 시간적 머지 후보를 사용하는 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
EP3906677A4 (en) * 2019-01-02 2022-10-19 Nokia Technologies Oy DEVICE, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING
CN113302930A (zh) 2019-01-09 2021-08-24 华为技术有限公司 视频译码中的时间运动约束子图像指示
EP4358036A2 (en) 2019-03-11 2024-04-24 Huawei Technologies Co., Ltd. Interpolation filter clipping for sub-picture motion vectors
BR112021023775A2 (pt) 2019-06-03 2022-01-11 Nokia Technologies Oy Um aparelho, um método e um programa de computador para codificação e decodificação de vídeo
CN114097222A (zh) 2019-06-23 2022-02-25 夏普株式会社 用于在视频编码中执行自适应分辨率变化的系统和方法
CN114009018A (zh) 2019-06-24 2022-02-01 夏普株式会社 用于基于交叉分量相关性来减小视频编码中的重构误差的系统和方法
CN114827600B (zh) 2019-07-08 2023-09-01 华为技术有限公司 一种图像解码的方法及解码器
CN113994670B (zh) 2019-07-25 2023-08-11 寰发股份有限公司 具有虚拟边界的跨分量自适应环路滤波的视频编解码方法及装置
EP4011067A4 (en) 2019-08-06 2023-09-13 OP Solutions, LLC ADAPTIVE RESOLUTION MANAGEMENT SIGNALING
US11363307B2 (en) 2019-08-08 2022-06-14 Hfi Innovation Inc. Video coding with subpictures
CN117336468A (zh) 2019-08-10 2024-01-02 北京字节跳动网络技术有限公司 视频比特流中的子图片相关信令通知
US11202068B2 (en) 2019-09-16 2021-12-14 Mediatek Inc. Method and apparatus of constrained cross-component adaptive loop filtering for video coding
US11451834B2 (en) 2019-09-16 2022-09-20 Tencent America LLC Method and apparatus for cross-component filtering
CN114556952A (zh) 2019-10-02 2022-05-27 北京字节跳动网络技术有限公司 包括子图片的视频比特流中的条带级信令通知
CN114930833A (zh) 2019-10-10 2022-08-19 北京达佳互联信息技术有限公司 使用调色板模式的视频编解码的方法和装置
KR20220078600A (ko) 2019-10-18 2022-06-10 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브픽처들의 파라미터 세트 시그널링에서의 신택스 제약들
US11539982B2 (en) 2019-11-01 2022-12-27 Qualcomm Incorporated Merge estimation region for multi-type-tree block structure

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1672930A2 (en) * 2002-04-29 2006-06-21 Nokia Corporation Indicating regions within a picture
US20050019006A1 (en) * 2003-07-21 2005-01-27 Jong Yeul Suh Method of displaying sub-picture in DVD player
CN101668219A (zh) * 2008-09-02 2010-03-10 深圳华为通信技术有限公司 3d视频通信方法、发送设备和系统
US20100086052A1 (en) * 2008-10-06 2010-04-08 Lg Electronics Inc. Method and an apparatus for processing a video signal
US20140003504A1 (en) * 2012-07-02 2014-01-02 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
CN105074819A (zh) * 2013-02-20 2015-11-18 弗劳恩霍夫应用研究促进协会” 使用多重叠部分来生成经编码的信号或对经编码的音频信号进行解码的设备及方法
CN110097889A (zh) * 2013-02-20 2019-08-06 弗劳恩霍夫应用研究促进协会 生成经编码的信号或对经编码的信号解码的设备及方法
US20150271515A1 (en) * 2014-01-10 2015-09-24 Qualcomm Incorporated Block vector coding for intra block copy in video coding
US20160337661A1 (en) * 2015-05-11 2016-11-17 Qualcomm Incorporated Search region determination for inter coding within a particular picture of video data
CN107852490A (zh) * 2015-07-27 2018-03-27 联发科技股份有限公司 使用帧内块复制模式的视频编解码方法及系统
CN107801039A (zh) * 2016-08-30 2018-03-13 华为技术有限公司 运动补偿预测方法和设备
CN109996072A (zh) * 2018-01-03 2019-07-09 华为技术有限公司 视频图像的处理方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GUICHUN LI等: "Non-CE4: Adaptive subblock size for affine motion compensation", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 15TH MEETING: GOTHENBURG, SE, 3–12 JULY 2019 DOCUMENT: JVET-O0530-V2 *
LI ZHANG等: "CE4-related: Restrictions on History-based Motion Vector Prediction", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 13TH MEETING: MARRAKECH, MA, 9–18 JAN. 2019 DOCUMENT: JVET-M0272 *
YE-KUI WANG等: "AHG12: Sub-picture-based coding for VVC", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING: GENEVA, CH, 19–27 MAR. 2019 DOCUMENT: JVET-N0107-V1 *

Also Published As

Publication number Publication date
WO2021027773A1 (en) 2021-02-18
KR20220044271A (ko) 2022-04-07
JP7372443B2 (ja) 2023-10-31
CN114208165A (zh) 2022-03-18
KR20220042125A (ko) 2022-04-04
BR112022002493A2 (pt) 2022-04-26
MX2022001465A (es) 2022-02-22
JP2022543706A (ja) 2022-10-13
CN114208165B (zh) 2023-12-15
US20230118260A1 (en) 2023-04-20
US20220159246A1 (en) 2022-05-19
CN114208196B (zh) 2023-11-14
US11553177B2 (en) 2023-01-10
US11533513B2 (en) 2022-12-20
EP4307665A2 (en) 2024-01-17
JP7478225B2 (ja) 2024-05-02
JP2023182800A (ja) 2023-12-26
US11523108B2 (en) 2022-12-06
CN114208166B (zh) 2024-04-09
CN114270831A (zh) 2022-04-01
EP3997869A4 (en) 2022-10-26
US20220166985A1 (en) 2022-05-26
WO2021027774A1 (en) 2021-02-18
EP3997868A4 (en) 2023-02-22
EP3997868A1 (en) 2022-05-18
US20220166971A1 (en) 2022-05-26
JP2022543705A (ja) 2022-10-13
WO2021027776A1 (en) 2021-02-18
CN117336468A (zh) 2024-01-02
US20220174322A1 (en) 2022-06-02
EP3997869A1 (en) 2022-05-18
WO2021027767A1 (en) 2021-02-18
CN114208166A (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
CN114208165B (zh) 子图片解码中的缓冲器管理
CN114631321B (zh) 子图片与环路滤波之间的相互影响
JP7322290B2 (ja) ビデオビットストリームにおけるサブピクチャシグナリングのための構文
JP2023511059A (ja) ビデオコーディング及び復号の制約
JP7482220B2 (ja) サブピクチャのパラメータセットシグナリングにおける構文制約
CN115280768A (zh) 视频编解码中的子图片边界滤波
CN115362677A (zh) 在视频比特流中以子图片级别信令通知参数

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant