CN117676135A - 子图片与环路滤波之间的相互影响 - Google Patents

子图片与环路滤波之间的相互影响 Download PDF

Info

Publication number
CN117676135A
CN117676135A CN202311518164.9A CN202311518164A CN117676135A CN 117676135 A CN117676135 A CN 117676135A CN 202311518164 A CN202311518164 A CN 202311518164A CN 117676135 A CN117676135 A CN 117676135A
Authority
CN
China
Prior art keywords
picture
sub
video
syntax element
equal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311518164.9A
Other languages
English (en)
Inventor
张凯
邓智玭
刘鸿彬
张莉
许继征
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN117676135A publication Critical patent/CN117676135A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

视频处理的示例方法包括,针对视频的第一子图片的块与所述视频的比特流表示之间的转换,基于是否跨子图片边界允许环路滤波过程来确定是否跨该块与第二子图片的相邻块之间的边缘应用去方块过程。该方法还包括基于该确定执行所述转换。

Description

子图片与环路滤波之间的相互影响
本申请是申请日为2020年10月19日、申请号为202080073104.9、发明名称为“子图片与环路滤波之间的相互影响”的发明专利申请的分案申请。
相关申请的交叉引用
这是于2020年10月19日提交的国际专利申请第PCT/CN2020/121768号的国家阶段,其要求于2019年10月18日提交的国际专利申请第PCT/CN2019/111807号的优先权和权益。上面提到的申请的全部公开内容通过引用并入,作为本申请的公开内容的一部分。
技术领域
本文档涉及视频和图像编码和解码技术。
背景技术
数字视频解释互联网和其它数字通信网络上最大的带宽使用。随着能够接收和显示视频的连接用户设备数量的增加,预期对数字视频使用的带宽需求将继续增长。
发明内容
所公开的技术可以被执行基于子图片的编码或解码的视频或图像解码器或编码器实施例使用。
在一个示例方面,公开了一种视频处理的方法。该方法包括执行视频的图片与视频的比特流表示之间的转换。图片包括一个或多个子图片,并且比特流表示符合指定语法元素的长度等于Ceil(Log2(SS))比特的格式规则。SS大于0,并且该语法元素指示图片的子图片的编解码树单元的左上角的水平位置或垂直位置。
在另一个示例方面,公开了一种视频处理方法。该方法包括执行视频的图片与视频的比特流表示之间的转换,其中图片包括一个或多个子图片。比特流表示符合指定不同子图片具有不同标识符的格式规则。
在另一个示例方面,公开了一种视频处理方法。该方法包括针对视频的第一视频区域中的视频块,确定使用仿射模式为视频块与当前视频块的比特流表示之间的转换确定时间运动矢量预测器的位置是否在第二视频区域内;并且基于该确定执行转换。
在另一个示例方面,公开了另一种视频处理方法。该方法包括针对视频的第一视频区域中的视频块,确定为视频块与当前视频块的比特流表示之间的转换获取的参考图片中的整数样点的位置是否在第二视频区域内,其中参考图片在转换期间不被用于插值过程;并且基于该确定执行转换。
在另一个示例方面,公开了另一种视频处理方法。该方法包括针对视频的第一视频区域中的视频块,确定为视频块与当前视频块的比特流表示之间的转换获取重构的亮度样点值的位置是否在第二视频区域内;并且基于该确定执行转换。
在另一个示例方面,公开了另一种视频处理方法。该方法包括针对视频的第一视频区域中的视频块确定在视频块与当前视频块的比特流表示之间的转换期间执行针对该视频块的关于拆分、深度推导或拆分标志信令的检查的位置是否在第二视频区域内;并且基于该确定执行转换。
在另一个示例方面,公开了另一种视频处理方法。该方法包括执行包括包含一个或多个视频块的一个或多个视频图片的视频与该视频的编解码的表示之间的转换,其中该编解码的表示符合该转换在视频单元内不使用子图片编码/解码和动态分辨率转换编码/解码工具或参考图片重采样工具的编解码语法要求。
在另一个示例方面,公开了另一种视频处理方法。该方法包括执行包括包含一个或多个视频块的一个或多个视频图片的视频与该视频的编解码的表示之间的转换,其中该编解码的表示符合第一语法元素subpic_grid_idx[i][j]不大于第二语法元素max_subpics_minus1的编解码语法要求。
在又一个示例方面,上述方法可以由包括处理器的视频编码器装置实现。
在又一个示例方面,上述方法可以由包括处理器的视频解码器装置实现。
在又一个示例方面,这些方法可以以处理器可执行指令的形式被实施并且存储在计算机可读程序介质上。
在本文档中进一步描述这些和进一步的方面。
附图说明
图1示出了时域运动矢量预测(TMVP)和子块TMVP中的区域约束的示例。
图2示出了分层运动估计方案的示例。
图3是用于实现本文档中描述的技术的硬件平台的示例的框图。
图4是视频处理的示例方法的流程图。
图5示出了具有18x12亮度CTU的图片的示例,该CTU被分割为12个片和3个光栅扫描条带(信息性)。
图6示出了具有18x12亮度CTU的图片的示例,该CTU被分割为24个片和9个矩形条带(信息性)。
图7示出了被分割为4个片、11个砖块和4个矩形条带的图片的示例(信息性)。
图8是示出示例视频处理系统的框图,在该示例视频处理系统中可以实现本文公开的各种技术。
图9是图示示例视频编解码系统的框图。
图10是图示根据本公开的一些实施例的编码器的框图。
图11是图示根据本公开的一些实施例的解码器的框图。
图12是根据本技术的用于视频处理的方法的流程图表示。
图13是根据本技术的用于视频处理的另一种方法的流程图表示。
图14是根据本技术的用于视频处理的另一种方法的流程图表示。
图15是根据本技术的用于视频处理的另一种方法的流程图表示。
图16是根据本技术的用于视频处理的另一种方法的流程图表示。
图17是根据本技术的用于视频处理的另一种方法的流程图表示。
图18是根据本技术的用于视频处理的另一种方法的流程图表示。
图19是根据本技术的用于视频处理的又一种方法的流程图表示。
具体实施方式
本文档提供了可以被图像或视频比特流的解码器用来提高解压缩或解码的数字视频或图像的质量的各种技术。为简洁起见,本文使用的术语“视频”既包括图片的序列(传统上称为视频)又包括单独的图像。此外,视频编码器还可以在编码过程期间实现这些技术,以便重构用于进一步编码的解码帧。
在本文档中使用章节标题是为了便于理解并且不将实施例和技术限制到对应的章节。因此,来自一个章节的实施例可以与来自其它章节的实施例组合。
1.概括
本文档涉及视频编解码技术。具体而言,它与在视频编解码中采用基于基色的表示的调色板编解码有关。它可以应用于现有的视频编解码标准,如HEVC,或将最终确定的标准(多功能视频编解码)。它也可以适用于未来的视频编解码标准或视频编解码器。
2.初步讨论
视频编解码标准主要通过众所周知的ITU-T和ISO/IEC标准的发展而演化。ITU-T制作了H.261和H.263,ISO/IEC制作了MPEG-1和MPEG-4视觉,并且两个组织联合产生H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准[1,2]。自H.262以来,视频编解码标准基于混合视频编解码结构,其中使用时域预测加变换编解码。为了探索HEVC之外的未来视频编解码技术,VCEG和MPEG于2015年共同成立了联合视频探索团队(Joint Video Exploration Team,JVET)。此后,JVET已经采用了许多新方法并将其放入名为联合探索模型(Joint Exploration Model,JEM)的参考软件中。2018年4月,VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家组(JVET)成立以制定VVC标准,目标是与HEVC相比,比特率降低50%。
2.1VVC中的TMVP和子块TMVP中的区域约束
图1图示了TMVP和子块TMVP中的示例区域约束。在TMVP和子块TMVP中,时域MV只能从同位(collocated)的CTU加上4×4块的一列中获取,如图1中所示。
2.2示例子图片
在一些实施例中,可以实现基于灵活拼接(flexible tiling)方法的基于子图片的编解码技术。基于子图片的编解码技术的概括如下:
(1)图片可以被划分为子图片。
(2)在SPS中指示子图片存在的指示,以及子图片的其它序列级信息。
(3)子图片在解码过程中是否被视为图片(不包括环路滤波操作)可以由比特流控制。
(4)是否禁用跨子图片边界的环路滤波可以针对每个子图片由比特流控制。DBF、SAO和ALF过程被更新以控制跨子图片边界的环路滤波操作。
(5)为简单起见,作为起点,子图片宽度、高度、水平偏移量和垂直偏移量在SPS中以亮度样点为单位来信令通知。子图片边界被约束为条带边界。
(6)在解码过程(不包括环路滤波操作)中将子图片视为图片是通过稍微更新coding_tree_unit()语法来指定的,以及对以下解码过程的更新:
-用于(高级)时域亮度运动矢量预测的推导过程
-亮度样点双线性插值过程
-亮度样点8抽头插值滤波过程
-色度样点插值过程
(7)子图片ID在SPS中被显式地指定并包括在片组标头中,以启用子图片序列的提取,而无需改变VCL NAL单元。
(8)提出了输出子图片集(OSPS)以指定针对子图片及其集合的规范提取和一致性点。
2.3多功能视频编解码中的示例子图片
序列参数集RBSP语法
subpics_present_flag等于1指示在SPS RBSP语法中存在子图片参数。
subpics_present_flag等于0指示在SPS RBSP语法中不存在子图片参数。
注2–当比特流是子比特流提取过程的结果并且仅包含子比特流提取过程的输入比特流的子图片的子集时,可能要求在SPS的RBSP中将subpics_present_flag的值设置为等于1。
max_subpics_minus1加1指定CVS中可以存在的子图片的最大数量。
max_subpics_minus1应在0到254的范围内。255的值被保留供ITU-T|ISO/IEC未来使用。
subpic_grid_col_width_minus1加1指定以4个样点为单位的子图片标识符网格的每个元素的宽度。语法元素的长度为Ceil(Log2(pic_width_max_in_luma_samples/4)))比特。
变量NumSubPicGridCols如下推导:
NumSubPicGridCols=(pic_width_max_in_luma_samples+subpic_grid_col_width_minus1*4+3)/(subpic_grid_col_width_minus1*4+4) (7-5)
subpic_grid_row_height_minus1加1指定以4个样点为单位的子图片标识符网格的每个元素的高度。语法元素的长度为Ceil(Log2(pic_height_max_in_luma_samples/4))比特。
变量NumSubPicGridRows如下推导:
NumSubPicGridRows=(pic_height_max_in_luma_samples+subpic_grid_row_height_minus1*4+3)/(subpic_grid_row_height_minus1*4+4) (7-6)
subpic_grid_idx[i][j]指定网格位置(i,j)的子图片索引。语法元素的长度是Ceil(Log2(max_subpics_minus1+1))比特。
变量SubPicTop[subpic_grid_idx[i][j]]、SubPicLeft[subpic_grid_idx[i][j]]、SubPicWidth[subpic_grid_idx[i][j]]、SubPicHeight[subpic_grid_idx[i][j]]和NumSubPics如下推导:
subpic_treated_as_pic_flag[i]等于1指定将CVS中每个编解码的图片的第i个子图片视为在解码过程中不包括环路滤波操作的图片。
subpic_treated_as_pic_flag[i]等于0指定CVS中每个编解码的图片的第i个子图片不被视为在解码过程中不包括环路滤波操作的图片。当不存在时,推断subpic_treated_as_pic_flag[i]的值等于0。
loop_filter_across_subpic_enabled_flag[i]等于1指定可以跨CVS中的每个编解码的图片中的第i个子图片的边界执行环路滤波操作。
loop_filter_across_subpic_enabled_flag[i]等于0指定不跨CVS中每个编解码的图片中的第i个子图片的边界执行环路滤波操作。当不存在时,推断loop_filter_across_subpic_enabled_pic_flag[i]的值等于1。
以下约束适用是比特流一致性的要求:
-对于任何两个子图片subpicA和subpicB,当subpicA的索引小于subpicB的索引时,subPicA的任何编解码的NAL单元在解码次序上都应在subPicB的任何编解码的NAL单元之后。
-子图片的形状应使得每个子图片在被解码时应使其整个左边界和整个顶部边界由图片边界组成或由先前解码的子图片的边界组成。
用于ctbAddrRs的列表CtbToSubPicIdx[ctbAddrRs]如下推导,其范围从0到PicSizeInCtbsY-1(含端点),该列表指定从图片光栅扫描中的CTB地址到子图片索引的转换,:
num_bricks_in_slice_minus1,当存在时,指定条带中的砖块数减去1。
num_bricks_in_slice_minus1的值应在0到NumBricksInPic-1的范围内,含端点。当rect_slice_flag等于0并且single_brick_per_slice_flag等于1时,推断num_bricks_in_slice_minus1的值等于0。当single_brick_per_slice_flag等于1时,推断num_bricks_in_slice_minus1的值等于0。
指定当前条带中的砖块数量的变量NumBricksInCurrSlice和指定当前条带中第i个砖块的砖块索引的SliceBrickIdx[i]如下推导:
变量SubPicIdx、SubPicLeftBoundaryPos、SubPicTopBoundaryPos、SubPicRightBoundaryPos和SubPicBotBoundaryPos如下推导:
时域亮度运动矢量预测的推导过程
该过程的输入是:
-当前亮度编解码块的左上样点相对于当前图片的左上亮度样点的亮度位置(xCb,yCb),
-变量cbWidth,指定亮度样点中当前编解码块的宽度,
-变量cbHeight,指定亮度样点中当前编解码块的高度,
-参考索引refIdxLX,其中X为0或1。
该过程的输出是:
-运动矢量预测mvLXCol,具有1/16分数样点精度,
-可用性标志availableFlagLXCol。
变量currCb指定亮度位置(xCb,yCb)处的当前亮度编解码块。
变量mvLXCol和availableFlagLXCol如下推导:
-如果slice_temporal_mvp_enabled_flag等于0或(cbWidth*cbHeight)小于或等于32,那么mvLXCol的两个分量都设置为等于0并且availableFlagLXCol设置为等于0。
-否则(slice_temporal_mvp_enabled_flag等于1),以下有序步骤适用:
1.右下同位运动矢量和右底部边界样点位置如下推导:
xColBr=xCb+cbWidth(8-421)
yColBr=yCb+cbHeight(8-422)
rightBoundaryPos=subpic_treated_as_pic_flag[SubPicIdx]?SubPicRightBoundaryPos:pic_width_in_luma_samples-1 (8-423)
botBoundaryPos=subpic_treated_as_pic_flag[SubPicIdx]?SubPicBotBoundaryPos:pic_height_in_luma_samples-1 (8-424)
-如果yCb>>CtbLog2SizeY等于yColBr>>CtbLog2SizeY,yColBr小于或等于botBoundaryPos并且xColBr小于或等于rightBoundaryPos,那么以下适用:
-变量colCb指定在ColPic指定的同位图片内部覆盖由((xColBr>>3)<<3,(yColBr>>3)<<3)给出的经修改的位置的亮度编解码块。
-亮度位置(xColCb,yColCb)被设置为等于相对于由ColPic指定的同位图片的左上亮度样点的由colCb指定的同位亮度编解码块的左上样点。
-如第8.5.2.12节中指定的针对同位运动矢量的推导过程被调用,currCb、colCb、(xColCb、yColCb)、refIdxLX和被设置为0的sbFlag作为输入,并且输出指派给mvLXCol和availableFlagLXCol。
否则,mvLXCol的两个分量都设置为等于0并且availableFlagLXCol设置为等于0。
Luma样点双线性插值过程
该过程的输入是:
-以全样点为单位的亮度位置(xIntL,yIntL),
-以分数样点为单位的亮度位置(xFracL,yFracL),
-亮度参考样点阵列refPicLXL
该过程的输出是预测的亮度样点值predSampleLXL
变量shift1、shift2、shift3、shift4、offset1、offset2和offset3如下推导:
shift1=BitDepthY-6 (8-453)
offset1=1<<(shift1-1) (8-454)
shift2=4 (8-455)
offset2=1<<(shift2-1) (8-456)
shift3=10-BitDepthY (8-457)
shift4=BitDepthY-10 (8-458)
offset4=1<<(shift4-1) (8-459)
变量picW被设置为等于pic_width_in_luma_samples并且变量picH被设置为等于pic_height_in_luma_samples。
每个等于xFracL或yFracL的1/16分数采样位置p的亮度插值滤波器系数为fbL[p]。
对于i=0..1,以全样点为单位的亮度位置(xInti,yInti)如下推导:
-如果subpic_treated_as_pic_flag[SubPicIdx]等于1,那么以下适用:
xInti=Clip3(SubPicLeftBoundaryPos,SubPicRightBoundaryPos,xIntL+i) (8-460)
yInti=Clip3(SubPicTopBoundaryPos,SubPicBotBoundaryPos,yIntL+i) (8-461)
-否则(subpic_treated_as_pic_flag[SubPicIdx]等于0),那么以下适用:
yInti=Clip3(0,picH-1,yIntL+i) (8-463)
用于基于子块的时域merge候选的推导过程
该过程的输入是:
-当前亮度编解码块的左上样点相对于当前图片的左上亮度样点的亮度位置(xCb,yCb),
-变量cbWidth,指定亮度样点中当前编解码块的宽度,
-变量cbHeight,指定亮度样点中当前编解码块的高度。
-相邻编解码单元的可用性标志availableFlagA1
-相邻编解码单元的参考索引refIdxLXA1,X为0或1,
-相邻编解码单元的预测列表使用标志predFlagLXA1,X为0或1,
-相邻编解码单元的具有1/16分数样点静的运动矢量mvLXA1,X为0或1。
该过程的输出是:
-可用性标志availableFlagSbCol,
-水平方向和垂直方向上的亮度编解码子块的数量numSbX和numSbY,
-参考索引refIdxL0SbCol和refIdxL1SbCol,
-具有1/16分数样点精度的亮度运动矢量mvL0SbCol[xSbIdx][ySbIdx]和mvL1SbCol[xSbIdx][ySbIdx],其中xSbIdx=0..numSbX-1,ySbIdx=0..numSbY1,
-预测列表使用标志predFlagL0SbCol[xSbIdx][ySbIdx]和predFlagL1SbCol[xSbIdx][ySbIdx],其中xSbIdx=0..numSbX-1,ySbIdx=0..numSbY-1。
可用性标志availableFlagSbCol如下推导。
-如果以下条件当中的一个或多个为真,那么availableFlagSbCol被设置为等于0。
-slice_temporal_mvp_enabled_flag等于0。
-sps_sbtmvp_enabled_flag等于0。
-cbWidth小于8。
-cbHeight小于8。
-否则,以下有序步骤适用:
1.如下推导包含当前编解码块的亮度编解码树块的左上样点的位置(xCtb,yCtb)和当前亮度编解码块的右下中心样点的位置(xCtr,yCtr):
xCtb=(xCb>>CtuLog2Size)<<CtuLog2Size (8-542)
yCtb=(yCb>>CtuLog2Size)<<CtuLog2Size (8-543)
xCtr=xCb+(cbWidth/2) (8-544)
yCtr=yCb+(cbHeight/2) (8-545)
2.亮度位置(xColCtrCb,yColCtrCb)被设置为等于相对于由ColPic指定的同位图片的左上亮度样点的覆盖由ColPic内(xCtr,yCtr)给出的位置的同位亮度编解码块的左上样点。
3.调用如在8.5.5.4节中指定的针对基于子块的时域merge基本运动数据的推导过程,以位置(xCtb,yCtb)、位置(xColCtrCb,yColCtrCb)、可用性标志availableFlagA1和预测列表使用标志predFlagLXA1、参考索引refIdxLXA1以及运动矢量mvLXA1(其中X为0和1)作为输入,并且以运动矢量ctrMvLX和同位块的预测列表使用标志ctrPredFlagLX(其中X为0和1)以及时域运动矢量tempMv作为输出,。
4.变量availableFlagSbCol如下推导:
-如果ctrPredFlagL0和ctrPredFlagL1两者都等于0,那么availableFlagSbCol被设置为等于0。
-否则,availableFlagSbCol被设置为等于1。
当availableFlagSbCol等于1时,以下适用:
-变量numSbX、numSbY、sbWidth、sbHeight和refIdxLXSbCol如下推导:
numSbX=cbWidth>>3 (8-546)
numSbY=cbHeight>>3 (8-547)
sbWidth=cbWidth/numSbX (8-548)
sbHeight=cbHeight/numSbY (8-549)
refIdxLXSbCol=0 (8-550)
-对于xSbIdx=0..numSbX-1和ySbIdx=0..numSbY-1,运动矢量mvLXSbCol[xSbIdx][ySbIdx]和预测列表使用标志predFlagLXSbCol[xSbIdx][ySbIdx]如下推导:
-指定当前编解码子块的左上样点相对于当前图片的左上亮度样点的亮度位置(xSb,ySb)如下推导:
xSb=xCb+xSbIdx*sbWidth+sbWidth/2 (8-551)
ySb=yCb+ySbIdx*sbHeight+sbHeight/2 (8-552)
-ColPic内同位子块的位置(xColSb,yColSb)如下推导。
-以下适用:
-如果subpic_treated_as_pic_flag[SubPicIdx]等于1,那么以下适用:
-否则(subpic_treated_as_pic_flag[SubPicIdx]等于0),以下适用:
针对基于子块的时域merge基本运动数据的推导过程
该过程的输入是:
-包含当前编解码块的亮度编解码树块的左上样点的位置(xCtb,yCtb),-覆盖右下中心样点的同位的亮度编解码块的左上样点的位置(xColCtrCb,yColCtrCb)。
-相邻编解码单元的可用性标志availableFlagA1
-相邻编解码单元的参考索引refIdxLXA1
-相邻编解码单元的预测列表使用标志predFlagLXA1,
-相邻编解码单元的具有1/16分数样点精度的运动矢量mvLXA1
该过程的输出是:
-运动矢量ctrMvL0和ctrMvL1,
-预测列表使用标志ctrPredFlagL0和ctrPredFlagL1,
-时域运动矢量tempMv。
变量tempMv被设置如下:
tempMv[0]=0 (8-558)
tempMv[1]=0 (8-559)
变量currPic指定当前图片。
当availableFlagA1等于TRUE时,以下适用:
-如果以下所有条件都为真,那么tempMv被设置为等于mvL0A1
-predFlagL0A1等于1,
-DiffPicOrderCnt(ColPic,RefPicList[0][refIdxL0A1])等于0,
-否则,如果以下所有条件都为真,那么tempMv被设置为等于mvL1A1
-slice_type等于B,
-predFlagL1A1等于1,
-DiffPicOrderCnt(ColPic,RefPicList[1][refIdxL1A1])等于0。ColPic内的同位块的位置(xColCb,yColCb)如下推导。
-以下适用:
-如果subpic_treated_as_pic_flag[SubPicIdx]等于1,那么以下适用:
-否则(subpic_treated_as_pic_flag[SubPicIdx]等于0,以下适用:
亮度样点插值滤波过程
该过程的输入是:
-以全样点为单位的亮度位置(xIntL,yIntL),
-以分数样点为单位的亮度位置(xFracL,yFracL),
-以全样点为单位的亮度位置(xSbIntL,ySbIntL),指定边界块的左上样点,用于相对于参考图片的左上亮度样点进行参考样点填充,
-亮度参考样点阵列refPicLXL
-半样点插值滤波器索引hpelIfIdx,
-变量sbWidth,指定当前子块的宽度,
-变量sbHeight,指定当前子块的高度,
-亮度位置(xSb,ySb),指定相对于当前图片的左上亮度样点的当前子块的左上样点,
该过程的输出是预测的亮度样点值predSampleLXL
变量shift1、shift2和shift3如下推导:
-变量shift1被设置为等于Min(4,BitDepthY-8),变量shift2被设置为等于6,变量shift3被设置为等于Max(2,14-BitDepthY)。
-变量picW被设置为等于pic_width_in_luma_samples并且变量picH被设置为等于pic_height_in_luma_samples。
针对等于xFracL或yFracL的每个1/16分数采样位置p的亮度插值滤波器系数fL[p]如下推导:
-如果MotionModelIdc[xSb][ySb]大于0,并且sbWidth和sbHeight两者都等于4,那么亮度插值滤波器系数为fL[p]。
-否则,根据hpelIfIdx所指定的亮度插值滤波器系数fL[p]。
对于i=0..7,以全样点为单位的亮度位置(xInti,yInti)如下推导:
-如果subpic_treated_as_pic_flag[SubPicIdx]等于1,那么以下适用:
xInti=Clip3(SubPicLeftBoundaryPos,SubPicRightBoundaryPos,xIntL+i-3) (8-771)
yInti=Clip3(SubPicTopBoundaryPos,SubPicBotBoundaryPos,yIntL+i-3) (8-772)
-否则(subpic_treated_as_pic_flag[SubPicIdx]等于0),以下适用:
yInti=Clip3(0,picH-1,yIntL+i-3) (8-774)
色度样点插值过程
该过程的输入是:
-以全样点为单位的色度位置(xIntC,yIntC),
-以1/32分数样点为单位的色度位置(xFracC,yFracC),
-以全样点为单位的色度位置(xSbIntC,ySbIntC),指定边界块的左上样点,用于相对于参考图片的左上色度样点进行参考样点填充,
-变量sbWidth,指定当前子块的宽度,
-变量sbHeight,指定当前子块的高度,
-色度参考样点阵列refPicLXC
该过程的输出是预测的色度样点值predSampleLXC
变量shift1、shift2和shift3如下推导:
-变量shift1被设置为等于Min(4,BitDepthC-8),变量shift2被设置为等于6,变量shift3被设置为等于Max(2,14-BitDepthC)。
-变量picWC被设置为等于pic_width_in_luma_samples/SubWidthC并且变量picHC被设置为等于pic_height_in_luma_samples/SubHeightC。
针对等于xFracC或yFracC的每个1/32分数样点位置p的色度插值滤波器系数为fC[p]。
变量xOffset被设置为等于(sps_ref_wraparound_offset_minus1+1)*MinCbSizeY)/SubWidthC。
对于i=0..3,以全样点为单位的色度位置(xInti,yInti)如下推导:
-如果subpic_treated_as_pic_flag[SubPicIdx]等于1,那么以下适用:
xInti=Clip3(SubPicLeftBoundaryPos/SubWidthC,SubPicRightBoundaryPos/SubWidthC,xIntL+i) (8-785)
yInti=Clip3(SubPicTopBoundaryPos/SubHeightC,SubPicBotBoundaryPos/SubHeightC,yIntL+i) (8-786)
–否则(subpic_treated_as_pic_flag[SubPicIdx]等于0),以下适用:
xInti=Clip3(0,picWC-1,sps_ref_wraparound_enabled_flag?ClipH(xOffset,picWC,xIntC+i-1):(8-787)
xIntC+i-1)
yInti=Clip3(0,picHC-1,yIntC+i-1) (8-788)
2.4示例仅编码器的基于GOP的时域滤波器
在一些实施例中,可以实现仅编码器的时域滤波器。滤波是在编码器侧作为预处理步骤完成的。读取要编码的所选择的图片之前和之后的源图片,并在那些源图片上应用相对于所选择的图片的基于块的运动补偿方法。使用运动补偿之后的样点值对所选择的图片中的样点进行时域滤波。
根据所选择的图片的时域子层以及QP来设置整体滤波器强度。只有时域子层0和1处的图片被滤波并且层0的图片被比层1的图片更强的滤波器滤波。根据所选择的图片中的样点值与运动补偿图片中同位样点之间的差来调整每个样点的滤波强度,从而使运动补偿图片与所选择的图片之间的小差比较大的差更强烈地被滤波。
基于GOP的时域滤波器
在读取图片之后和编码之前直接引入时域滤波器。以下是更详细描述的步骤。
操作1:由编码器读取图片
操作2:如果图片在编解码层次中足够低,那么在编码之前对其进行滤波。否则图片在不滤波的情况下被编码。其中POC%8==0的RA图片以及其中POC%4==0的LD图片被滤波。AI图片永远不会被滤波。
根据下面的等式为RA设置总滤波器强度so
其中n是读取的图片的数量。
对于LD情况,使用so(n)=0.95。
操作3:在读取所选择的图片(以下称为原始图片)之前和/或之后的两个图片。例如,在边缘情况下,如果是第一个图片或靠近最后一个图片,那么仅读取可用图片。
操作4:每8x8图片块估计相对于原始图片之前和之后的所读取的图片的运动。
使用分层运动估计方案,并且层L0、L1和L2在图2中示出。子采样的图片是通过对所有读取的图片和原始图片将每个2x2块求平均来生成的,例如图2中的L1。L2是使用相同的子采样方法从L1推导的。
图2示出了分层运动估计的不同层的示例。L0是原始分辨率。L1是L0的子采样的版本。L2是L1的子采样的版本。
首先,对L2中的每个16x16块进行运动估计。为每个选择的运动矢量计算平方差,并选择与最小的差对应的运动矢量。然后在估计L1中的运动时,将所选择的运动矢量用作初始值。然后对L0中的运动进行同样的估计。作为最后一步,通过在L0上使用插值滤波器来针对每个8x8块估计子像素运动。
VTM 6抽头插值滤波器可以被使用:
操作5:根据用于每个块的最佳匹配运动对原始图片之前和之后的图片应用运动补偿,例如,使得每个块中的原始图片的样点坐标在参考的图片中具有最佳匹配坐标。
操作6:对亮度和色度通道的样点进行一一处理,如以下步骤所述。
操作7:使用以下公式计算新样点值In
其中Io是原始样点的样点值,Ir(i)是运动补偿的图片i的对应样点的强度,并且wr(i,a)是当可用的运动补偿的图片的数量为a时运动补偿的图片i的权重。
在亮度通道中,权重wr(i,a)定义如下:
其中
sl=0.4
对于i和a的所有其它情况:sr(i,a)=0.3
σl(QP)=3*(QP-10)
ΔI(i)=Ir(i)-Io
对于色度通道,权重wr(i,a)定义如下:
其中sc=0.55和σc=30
操作8:对当前样点应用滤波器。结果所得的样点值被单独存储。
操作9:对滤波后的图片进行编码。
2.5示例图片分割(片、砖块、条带)
在一些实施例中,图片被划分为一个或多个片行和一个或多个片列。片是覆盖图片的矩形区域的CTU的序列。
片被划分为一个或多个砖块,每个砖块由片内的多个CTU行组成。
未被分割为多个砖块的片也被称为砖块。但是,作为片的真正子集的砖块不被称为片。
条带或者包含图片的多个片或片的多个砖块。
子图片包含共同覆盖图片的矩形区域的一个或多个条带。
支持两种条带模式,即,光栅扫描条带模式和矩形条带模式。在光栅扫描条带模式下,条带包含图片的以片光栅扫描的片的序列。在矩形条带模式下,条带包含图片的多个砖块,它们共同形成图片的矩形区域。矩形条带内的砖块按条带的砖块光栅扫描的次序。
图5示出了图片的光栅扫描条带分割的示例,其中图片被划分为12个片和3个光栅扫描条带。
图6示出了图片的矩形条带分割的示例,其中图片被划分为24个片(6个片列和4个片行)和9个矩形条带。
图7示出了将图片分割为片、砖块和矩形条带的示例,其中图片被划分为4个片(2个片列和2个片行)、11个砖块(左上片包含1个砖块,右上片包含5个砖块,左下片包含2个砖块,并且右下片包含3个砖块)和4个矩形条带。
图片参数集RBSP语法
single_tile_in_pic_flag等于1指定在每个图片中只有一个片参考PPS。single_tile_in_pic_flag等于0指定在每个图片中存在多于一个片参考PPS。
注-如果片内没有进一步的砖块拆分,那么整个片被称为砖块。当图片只包含单个片而没有进一步的砖块拆分时,它被称为单个砖块。
对于CVS内编解码的图片所参考的所有PPS,single_tile_in_pic_flag的值应相同,这是比特流覆盖性的要求。
uniform_tile_spacing_flag等于1指定片列边界并且同样地片行边界也均匀地跨图片分布,并且片列边界和片行边界使用语法元素tile_cols_width_minus1和tile_rows_height_minus1来信令通知。uniform_tile_spacing_flag等于0指定片列边界并且同样地片行边界可以或可以不均匀地跨图片分布,并且片列边界和片行边界使用语法元素num_tile_columns_minus1和num_tile_rows_minus1以及语法元素对tile_column_width_minus1[i]和tile_row_height_minus1[i]的列表来信令通知。当不存在时,uniform_tile_spacing_flag的值被推断为等于1。
tile_cols_width_minus1加1指定当uniform_tile_spacing_flag等于1时不包括以CTB为单位的图片最右边的片列的片列的宽度。tile_cols_width_minus1的值应在0到PicWidthInCtbsY-1的范围内,含端点。当不存在时,推断tile_cols_width_minus1的值等于PicWidthInCtbsY-1。
tile_rows_height_minus1加1指定当uniform_tile_spacing_flag等于1时不包括以CTB为单位的图片底部片行的片行的高度。tile_rows_height_minus1的值应在0到PicHeightInCtbsY-1的范围内,含端点。当不存在时,推断tile_rows_height_minus1的值等于PicHeightInCtbsY-1。
num_tile_columns_minus1加1指定当uniform_tile_spacing_flag等于0时对图片进行分割的片列数。num_tile_columns_minus1的值应在0到PicWidthInCtbsY-1的范围内,含端点。如果single_tile_in_pic_flag等于1,那么推断num_tile_columns_minus1的值等于0。否则,当uniform_tile_spacing_flag等于1时,num_tile_columns_minus1的值按照第6.5.1节中指定的被推断。
num_tile_rows_minus1加1指定当uniform_tile_spacing_flag等于0时对图片进行分割的片行数。num_tile_rows_minus1的值应在0到PicHeightInCtbsY-1的范围内,含端点。如果single_tile_in_pic_flag等于1,那么推断num_tile_rows_minus1的值等于0。否则,当uniform_tile_spacing_flag等于1时,num_tile_rows_minus1的值按照第6.5.1节中指定的被推断。
变量NumTilesInPic被设置为等于(num_tile_columns_minus1+1)*(num_tile_rows_minus1+1)。
当single_tile_in_pic_flag等于0时,NumTilesInPic应大于1。
tile_column_width_minus1[i]加1指定以CTB为单位的第i个片列的宽度。
tile_row_height_minus1[i]加1指定以CTB为单位的第i个片行的高度。
brick_splitting_present_flag等于1指定参考PPS的图片的一个或多个片可以被划分为两个或更多个砖块。brick_splitting_present_flag等于0指定没有参考PPS的图片的片被划分为两个或更多个砖块。
num_tiles_in_pic_minus1加1指定参考PPS的每个图片中的片的数量。
num_tiles_in_pic_minus1的值应等于NumTilesInPic–1。当不存在时,推断num_tiles_in_pic_minus1的值等于NumTilesInPic-1。
brick_split_flag[i]等于1指定第i个片被划分为两个或更多个砖块。
brick_split_flag[i]等于0指示第i个片不被划分为两个或更多个砖块。当不存在时,brick_split_flag[i]的值被推断为等于0。在一些实施例中,通过添加语法条件“if(RowHeight[i]>1)”来引入PPS解析对SPS的依赖性(例如,对于uniform_brick_spacing_flag[i]类似)。
uniform_brick_spacing_flag[i]等于1指定水平砖块边界跨第i个片均匀分布,并且水平砖块边界使用语法元素brick_height_minus1[i]来信令通知。uniform_brick_spacing_flag[i]等于0指定水平砖块边界可以或不可以跨第i个片均匀分布,并且水平砖块边界使用语法元素num_brick_rows_minus2[i]和语法元素brick_row_height_minus1[i][j]的列表来信令通知。当不存在时,uniform_brick_spacing_flag[i]的值被推断为等于1。
brick_height_minus1[i]加1指定当uniform_brick_spacing_flag[i]等于1时以CTB为单位的第i个片中不包括底部砖块的砖块行的高度。当存在时,brick_height_minus1的值应在0到RowHeight[i]-2的范围内,含端点。当不存在时,brick_height_minus1[i]的值被推断为等于RowHeight[i]-1。
num_brick_rows_minus2[i]加2指定当uniform_brick_spacing_flag[i]等于0时对第i个片进行分割的砖块的数量。当存在时,num_brick_rows_minus2[i]的值应在0到RowHeight[i]-2的范围内,含端点。如果brick_split_flag[i]等于0,那么推断num_brick_rows_minus2[i]的值等于-1。否则,当uniform_brick_spacing_flag[i]等于1时,num_brick_rows_minus2[i]的值如第6.5.1节中指定的那样被推断。
brick_row_height_minus1[i][j]加1指定当uniform_tile_spacing_flag等于0时以CTB为单位的第i个片中第j个砖块的高度。
推导以下变量,并且当uniform_tile_spacing_flag等于1时,推断num_tile_columns_minus1和num_tile_rows_minus1的值,并且对于从0到NumTilesInPic-1的每个i,当uniform_brick_spacing_flag[i]等于1时,num_brick_rows_minus2[i]的值是通过调用第6.5.1节中指定的CTB光栅和砖块扫描转换过程来推断的:
-列表RowHeight[j],j的范围从0到num_tile_rows_minus1(含端点),指定以CTB为单位的第j个片行的高度,
-列表CtbAddrRsToBs[ctbAddrRs],ctbAddrRs的范围从0到PicSizeInCtbsY-1(含端点),指定从图片的CTB光栅扫描中的CTB地址到砖块扫描中的CTB地址的转换,
-列表CtbAddrBsToRs[ctbAddrBs],ctbAddrBs的范围从0到PicSizeInCtbsY-1(含端点),指定从砖块扫描中的CTB地址到图片的CTB光栅扫描中的CTB地址的转换,
-列表BrickId[ctbAddrBs],ctbAddrBs的范围从0到PicSizeInCtbsY-1(含端点),指定从砖块扫描中的CTB地址到砖块ID的转换,
-列表NumCtusInBrick[brickIdx],brickIdx的范围从0到NumBricksInPic-1(含端点),指定从砖块索引到砖块中CTU的数量的转换,
-列表FirstCtbAddrBs[brickIdx],brickIdx的范围从0到NumBricksInPic-1(含端点),指定从砖块ID到砖块中第一个CTB的砖块扫描中的CTB地址的转换。
single_brick_per_slice_flag等于1指定参考该PPS的每个条带包括一个砖块。
single_brick_per_slice_flag等于0指定参考该PPS的条带可以包括多于一个砖块。当不存在时,single_brick_per_slice_flag的值被推断为等于1。
rect_slice_flag等于0指定每个条带内的砖块按光栅扫描次序,并且条带信息不在PPS中信令通知。rect_slice_flag等于1指定每个条带内的砖块覆盖图片的矩形区域,并且条带信息在PPS中信令通知。当brick_splitting_present_flag等于1时,rect_slice_flag的值应等于1。当不存在时,rect_slice_flag被推断为等于1。
num_slices_in_pic_minus1加1指定参考PPS的每个图片中的条带的数量。num_slices_in_pic_minus1的值应在0到NumBricksInPic-1的范围内,含端点。当不存在且single_brick_per_slice_flag等于1时,推断num_slices_in_pic_minus1的值等于NumBricksInPic-1。
bottom_right_brick_idx_length_minus1加1指定用于表示语法元素bottom_right_brick_idx_delta[i]的比特数。bottom_right_brick_idx_length_minus1的值应在0到Ceil(Log2(NumBricksInPic))-1的范围内,含端点。
bottom_right_brick_idx_delta[i]当i大于0时指定位于第i个条带右下角的砖块的砖块索引与第(i-1)个条带右下角的砖块索引之间的差。bottom_right_brick_idx_delta[0]指定第0个条带右下角的砖块索引。当single_brick_per_slice_flag等于1时,推断bottom_right_brick_idx_delta[i]的值等于1。推断BottomRightBrickIdx[num_slices_in_pic_minus1]的值等于NumBricksInPic-1。bottom_right_brick_idx_delta[i]语法元素的长度是bottom_right_brick_idx_length_minus1+1比特。
brick_idx_delta_sign_flag[i]等于1为bottom_right_brick_idx_delta[i]指示正号。sign_bottom_right_brick_idx_delta[i]等于0为bottom_right_brick_idx_delta[i]指示负号。
条带应包括或者多个完整的片或者仅一个片的完整砖块的连续序列,这是比特流一致性的要求。
指定位于第i个条带左上角的砖块的砖块索引、位于第i个条带右下角的砖块的砖块索引、第i个条带中的砖块数量以及砖块到条带的映射的变量TopLeftBrickIdx[i]、BottomRightBrickIdx[i]、NumBricksInSlice[i]和BricksToSliceMap[j]如下推导:
通用条带标头语义当存在时,每个条带标头语法元素slice_pic_parameter_set_id、non_reference_picture_flag、colour_plane_id、slice_pic_order_cnt_lsb、recovery_poc_cnt、no_output_of_prior_pics_flag、pic_output_flag和slice_temporal_mvp_enabled_flag的值在编解码的图片的所有条带标头中都应该相同。
指定用于包含cu_qp_delta_abs的编解码单元的亮度量化参数与其预测之间的差的变量CuQpDeltaVal被设置为等于0。指定在确定包含cu_chroma_qp_offset_flag的编解码单元的Qp'Cb、Qp'Cr和Qp'CbCr量化参数的相应值时要使用的值的变量CuQpOffsetCb、CuQpOffsetCr和CuQpOffsetCbCr都被设置为等于0。
slice_pic_parameter_set_id为正在使用的PPS指定pps_pic_parameter_set_id的值。slice_pic_parameter_set_id的值应在0到63的范围内,含端点。
当前图片的TemporalId的值应大于或等于具有等于slice_pic_parameter_set_id的pps_pic_parameter_set_id的PPS的TemporalId值是比特流一致性的要求。
slice_address指定条带的条带地址。如果不存在,那么推断slice_address的值等于0。
如果rect_slice_flag等于0,那么以下适用:
-条带地址是由等式(7-59)指定的砖块ID。
-slice_address的长度是Ceil(Log2(NumBricksInPic))比特。
-slice_address的值应在0到NumBricksInPic-1的范围内,含端点。否则(rect_slice_flag等于1),以下适用:
-条带地址是条带的条带ID。
-slice_address的长度是signalled_slice_id_length_minus1+1比特。
-如果signalled_slice_id_flag等于0,那么slice_address的值应在0到num_slices_in_pic_minus1的范围内,含端点。否则,slice_address的值应在0到2(signalled _slice_id_length_minus1+1)-1的范围内,含端点。
以下约束适用是比特流一致性的要求:
-slice_address的值不应等于同一编解码的图片的任何其它编解码的条带NAL单元的slice_address的值。
-当rect_slice_flag等于0时,图片的条带应按其slice_address值的升序。
-图片的条带的形状应使得每个砖块在被解码时应使得其整个左边界和整个顶部边界由图片边界组成或由先前解码的(一个或多个)砖块的边界组成。
num_bricks_in_slice_minus1,当存在时,指定条带中砖块的数量减去1。
num_bricks_in_slice_minus1的值应在0到NumBricksInPic-1的范围内,含端点。当rect_slice_flag等于0,并且single_brick_per_slice_flag等于1时,推断num_bricks_in_slice_minus1的值等于0。当single_brick_per_slice_flag等于1时,推断num_bricks_in_slice_minus1的值等于0。
指定当前条带中的砖块数量的变量NumBricksInCurrSlice和指定当前条带中第i个砖块的砖块索引的SliceBrickIdx[i]如下推导:
变量SubPicIdx、SubPicLeftBoundaryPos、SubPicTopBoundaryPos、SubPicRightBoundaryPos和SubPicBotBoundaryPos如下推导:
2.6示例语法和语义
序列参数集RBSP语法
图片参数集RBSP语法
图片标头RBSP语法
subpics_present_flag等于1指示子图片参数存在于SPS RBSP语法中。
subpics_present_flag等于0指示子图片参数不存在于SPS RBSP语法中。
注2–当比特流是子比特流提取过程的结果并且仅包含子比特流提取过程的输入比特流的子图片的子集时,可能要求将subpics_present_flag的值在SPS的RBSP中设置为等于1。
sps_num_subpics_minus1加1指定子图片的数量。sps_num_subpics_minus1应在0到254的范围内。当不存在时,sps_num_subpics_minus1的值被推断为等于0。
subpic_ctu_top_left_x[i]指定以CtbSizeY为单位的第i个子图片的左上角CTU的水平位置。语法元素的长度是比特。当不存在时,推断subpic_ctu_top_left_x[i]的值等于0。
subpic_ctu_top_left_y[i]指定以CtbSizeY为单位的第i个子图片的左上角CTU的垂直位置。语法元素的长度是比特。当不存在时,推断subpic_ctu_top_left_y[i]的值等于0。
subpic_width_minus1[i]加1指定以CtbSizeY为单位的第i个子图片的宽度。语法元素的长度是Ceil(Log2(pic_width_max_in_luma_samples/CtbSizeY))比特。当不存在时,推断subpic_width_minus1[i]的值等于-1。
subpic_height_minus1[i]加1指定以CtbSizeY为单位的第i个子图片的高度。语法元素的长度是Ceil(Log2(pic_height_max_in_luma_samples/CtbSizeY))比特。当不存在时,推断subpic_height_minus1[i]的值等于-1。
subpic_treated_as_pic_flag[i]等于1指定将CVS中每个编解码的图片的第i个子图片视为不包括环路滤波操作的解码过程中的图片。subpic_treated_as_pic_flag[i]等于0指示不将CVS中每个编解码的图片的第i个子图片视为不包括环路滤波操作的解码过程中的图片。当不存在时,推断subpic_treated_as_pic_flag[i]的值等于0。
loop_filter_across_subpic_enabled_flag[i]等于1指定可以跨CVS中的每个编解码的图片中的第i个子图片的边界执行环路滤波操作。
loop_filter_across_subpic_enabled_flag[i]等于0指定不跨CVS中的每个编解码的图片中的第i个子图片的边界执行环路滤波操作。当不存在时,推断loop_filter_across_subpic_enabled_pic_flag[i]的值等于1。
以下约束适用是比特流一致性的要求:
-对于任何两个子图片subpicA和subpicB,当subpicA的索引小于subpicB的索引时,subPicA的任何编解码的NAL单元在解码次序上应在subPicB的任何编解码的NAL单元之后。
-子图片的形状应使得每个子图片在被解码时应使得其整个左边界和整个顶部边界由图片边界组成或由先前解码的子图片的边界组成。
sps_subpic_id_present_flag等于1指定子图片Id映射存在于SPS中。
sps_subpic_id_present_flag等于0指定子图片Id映射不存在于SPS中。
sps_subpic_id_signalling_present_flag等于1指定子图片Id映射在SPS中信令通知。sps_subpic_id_signalling_present_flag等于0指定子图片Id映射不在SPS中信令通知。当不存在时,sps_subpic_id_signalling_present_flag的值被推断为等于0。
sps_subpic_id_len_minus1加1指定用于表示语法元素sps_subpic_id[i]的比特数。sps_subpic_id_len_minus1的值应在0到15的范围内,含端点。
sps_subpic_id[i]指定第i个子图片的子图片Id。sps_subpic_id[i]语法元素的长度是sps_subpic_id_len_minus1+1比特。当不存在时,并且当sps_subpic_id_present_flag等于0时,对于0到sps_num_subpics_minus1范围内的每个i(含端点),sps_subpic_id[i]的值被推断为等于i。
ph_pic_parameter_set_id为正在使用的PPS指定pps_pic_parameter_set_id的值。ph_pic_parameter_set_id的值应在0到63的范围内,含端点。
图片标头的TemporalId值应大于或等于具有等于ph_pic_parameter_set_id的pps_pic_parameter_set_id的PPS的TemporalId的值是比特流一致性的要求。
ph_subpic_id_signalling_present_flag等于1指定子图片Id映射在图片标头中信令通知。ph_subpic_id_signalling_present_flag等于0指定子图片Id映射不在图片标头中信令通知。
ph_subpic_id_len_minus1加1指定用于表示语法元素ph_subpic_id[i]的比特数。pic_subpic_id_len_minus1的值应在0到15的范围内,含端点。
ph_subpic_id_len_minus1的值对于CVS中编解码的图片所参考的所有图片标头都应相同是比特流一致性的要求。
ph_subpic_id[i]指定第i个子图片的子图片Id。ph_subpic_id[i]语法元素的长度是ph_subpic_id_len_minus1+1比特。
列表SubpicIdList[i]如下推导:
去方块滤波器过程
一般
该过程的输入是去方块之前的重构的图片,即,阵列recPictureL,并且当ChromaArrayType不等于0时,还有阵列recPictureCb和recPictureCr
该过程的输出是去方块之后经修改的重构的图片,即,阵列recPictureL,并且当ChromaArrayType不等于0时,还有阵列recPictureCb和recPictureCr
首先滤波图片中的垂直边缘。然后用通过垂直边缘滤波过程修改的样点作为输入来滤波图片中的水平边缘。每个CTU的CTB中的垂直和水平边缘在编解码单元的基础上被分开处理。对编解码单元中编解码块的垂直边缘进行滤波,从编解码块左手侧的边缘开始,按照其几何次序通过边缘朝着编解码块的右手侧前进。对编解码单元中编解码块的水平边缘进行滤波,从编解码块顶部的边缘开始,按照其几何次序通过边缘朝着编解码块的底部前进。
注–虽然本说明书中以图片为基础指定滤波过程,但滤波过程可以在具有等效结果的编解码单元基础上实现,前提是解码器正确考虑了处理依赖次序以产生相同的输出值。
去方块滤波器过程被应用于图片的所有编解码子块边缘和变换块边缘,以下类型的边缘除外:
-在图片的边界处的边缘,
-当pps_loop_filter_across_virtual_boundaries_disabled_flag等于1时与图片的虚拟边界重合的边缘,
-当loop_filter_across_tiles_enabled_flag等于0时与片边界重合的边缘,
-当loop_filter_across_slices_enabled_flag等于0时与条带边界重合的边缘,-与slice_deblocking_filter_disabled_flag等于1的条带的上边界或左边界重合的边缘,
-slice_deblocking_filter_disabled_flag等于1的条带内的边缘,
-不与亮度分量的4x4样点网格边界对应的边缘,
-不与色度分量的8x8样点网格边界对应的边缘,
-亮度分量内的边缘,边缘两侧的intra_bdpcm_luma_flag等于1,
-色度分量内的边缘,边缘两侧的intra_bdpcm_chroma_flag等于1,
-不是相关联的变换单元的边缘的色度子块的边缘。
针对一个方向的去方块滤波器过程
该过程的输入是:
-变量treeType,指定当前处理的是亮度(DUAL_TREE_LUMA)还是色度分量(DUAL_TREE_CHROMA),
-当treeType等于DUAL_TREE_LUMA时,去方块之前的重构的图片,即,阵列recPictureL
-当ChromaArrayType不等于0并且treeType等于DUAL_TREE_CHROMA时,阵列recPictureCb和recPictureCr
-变量edgeType,指定是滤波垂直(EDGE_VER)还是水平(EDGE_HOR)边缘。
该过程的输出是去方块之后经修改的重构的图片,即:
-当treeType等于DUAL_TREE_LUMA时,阵列recPictureL
-当ChromaArrayType不等于0并且treeType等于DUAL_TREE_CHROMA时,阵列recPictureCb和recPictureCr
变量firstCompIdx和lastCompIdx如下推导:
firstCompIdx=(treeType==DUAL_TREE_CHROMA)?1:0 (8-1010)
lastCompIdx=(treeType==DUAL_TREE_LUMA||ChromaArrayType==0)?0:2 (8-1011)
对于每个编解码单元和由颜色分量索引cIdx(范围从firstCompIdx到lastCompIdx,含端点)指示的编解码单元的每个颜色分量的每个编解码块,其中编解码块宽度为nCbW,编解码块高度为nCbH并且编解码块的左上样点的位置是(xCb,yCb),当cIdx等于0时,或者当cIdx不等于0并且edgeType等于EDGE_VER并且xCb%8等于0时,或者当cIdx不等于0并且edgeType等于EDGE_HOR并且yCb%8等于0时,边缘通过以下有序步骤被滤波:
1.变量filterEdgeFlag如下推导:
-如果edgeType等于EDGE_VER并且以下条件当中的一个或多个为真,那么filterEdgeFlag设置等于0:
-当前编解码块的左边界是图片的左边界。
-当前编解码块的左边界是片的左边界并且loop_filter_across_tiles_enabled_flag等于0。
-当前编解码块的左边界是条带的左边界并且loop_filter_across_slices_enabled_flag等于0。
-当前编解码块的左边界是图片的垂直虚拟边界之一并且VirtualBoundariesDisabledFlag等于1。
-否则,如果edgeType等于EDGE_HOR并且以下条件当中的一个或多个为真,那么将变量filterEdgeFlag设置为等于0:
-当前亮度编解码块的顶部边界是图片的顶部边界。
-当前编解码块的顶部边界是片的顶部边界并且loop_filter_across_tiles_enabled_flag等于0。
-当前编解码块的顶部边界是条带的顶部边界并且loop_filter_across_slices_enabled_flag等于0。
-当前编解码块的顶部边界是图片的水平虚拟边界之一并且VirtualBoundariesDisabledFlag等于1。
-否则,filterEdgeFlag被设置为等于1。
2.7示例TPM、HMVP和GEO
VVC中的TPM(三角形预测模式)将块划分为具有不同运动信息的两个三角形。
VVC中的HMVP(基于历史的运动矢量预测)维护要用于运动矢量预测的运动信息的表。该表在对帧间编解码的块进行解码之后被更新,但如果帧间编解码的块是TPM编解码的,那么不会更新该表。
GEO(几何分割模式)是TPM的扩展。使用GEO,可以用直线将块划分为两个分割,这些分割可以是三角形,或者可以不是三角形。
2.8ALF、CC-ALF和虚拟边界
VVC中的ALF(自适应环路滤波器)在图片已被解码之后应用,以增强图片质量。
在VVC中采用虚拟边界(VB)以使ALF对硬件设计友好。利用VB,ALF是在由两个ALF虚拟边界界定的ALF处理单元中进行的。
CC-ALF(交叉分量ALF)通过参考亮度样点的信息来滤波色度样点。
3.通过所公开的实施例解决的技术问题的示例
(1)存在一些会违反子图片约束的设计。
A.仿射构造的候选中的TMVP可能获取当前子图片的范围之外的同位的图片中的MV。
B.当在双向光流(BDOF)和预测细化光流(PROF)中推导梯度时,要求获取整数参考样点的两个扩展的行和两个扩展的列。这些参考样点可能在当前子图片的范围之外。
C.当在亮度映射色度缩放(LMCS)中推导色度残差缩放因子时,所访问的重构的亮度样点可能在当前子图片的范围之外。
D.当推导亮度帧内预测模式、用于帧内预测的参考样点、用于CCLM的参考样点、用于merge/AMVP/CIIP/IBC/LMCS的空域相邻候选的相邻块可用性、量化参数、CABAC初始化过程、使用左和上方语法元素的ctxInc推导,以及针对语法元素mtt_split_cu_vertical_flag的ctxInc时,相邻块可能在当前子图片的范围之外。子图片的表示可以导致具有不完整CTU的子图片。CTU分割和CU拆分过程可能需要考虑不完整的CTU。
(2)与子图片相关的信令通知的语法元素可以任意大,这可能会造成溢出问题。
(3)子图片的表示可能导致非矩形子图片。
(4)目前,子图片和子图片网格以4个样点为单位进行定义。并且语法元素的长度取决于图片高度除以4。但是,由于当前的pic_width_in_luma_samples和pic_height_in_luma_samples应为Max(8,MinCbSizeY)的整数倍,因此可能需要以8个样点为单位定义子图片网格。
(5)SPS语法pic_width_max_in_luma_samples和pic_height_max_in_luma_samples可能需要被限制为不小于8。
(6)在当前设计中没有考虑参考图片重采样/可缩放性与子图片之间的交互。
(7)在时域滤波中,可能要求跨不同子图片的样点。
(8)当信令通知条带时,在一些情况下可能在没有信令通知的情况下推断信息。
(9)所有定义的条带都有可能不能覆盖整个图片或子图片。
(10)两个子图片的ID可能相同。
(11)pic_width_max_in_luma_samples/CtbSizeY可能等于0,导致无意义的Log2()操作。
(12)PH中的ID比PPS中的更优选,但不如SPS中的优选,这是不一致的。
(13)PPS中的log2_transform_skip_max_size_minus2根据SPS中的sps_transform_skip_enabled_flag进行解析,从而导致解析依赖性。
(14)用于去方块的loop_filter_across_subpic_enabled_flag只考虑当前子图片,而不考虑相邻子图片。
4.示例技术和实施例
下面的详细列表应当被视为解释一般概念的示例。不应当狭隘地解释这些项。此外,这些项可以以任何方式组合。在下文中,时域滤波器被用于表示要求其它图片中的样点的滤波器。Max(x,y)返回x和y中较大的一个。Min(x,y)返回x和y中较小的一个。
1.在图片中获取时域MV预测器以生成仿射运动候选(例如,构造的仿射merge候选)的位置(称为位置RB)必须在所需的子图片中,假设所需子图片的左上角坐标为(xTL,yTL),所需子图的右下坐标为(xBR,yBR)。
a.在一个示例中,所需的子图片是覆盖当前块的子图片。
b.在一个示例中,如果具有坐标(x,y)的位置RB在所需的子图片之外,那么时域MV预测器被视为不可用。
i.在一个示例中,如果x>xBR,那么位置RB在所需的子图片之外。
ii.在一个示例中,如果y>yBR,那么位置RB在所需的子图片之外。
iii.在一个示例中,如果x<xTL,那么位置RB在所需的子图片之外。
iv.在一个示例中,如果y<yTL,那么位置RB在所需的子图片之外。
c.在一个示例中,位置RB,如果在所需的子图片之外,那么使用RB的替换。
i.可替代地,此外,替换位置应在所需的子图片中。
d.在一个示例中,位置RB被剪裁到所需的子图片中。
i.在一个示例中,x被裁剪为x=Min(x,xBR)。
ii.在一个示例中,y被裁剪为y=Min(y,yBR)。
iii.在一个示例中,x被裁剪为x=Max(x,xTL)。
iv.在一个示例中,y被裁剪为y=Max(y,yTL)。
e.在一个示例中,位置RB可以是同位图片中当前块的对应块内的右下位置。
f.所提出的方法可以被用在要求从不同于当前图片的图片访问运动信息的其它编解码工具。
g.在一个示例中,是否应用上述方法(例如,位置RB必须在所需的子图片中(例如,按照1.a和/或1.b中要求的那样做))可以取决于在VPS/DPS/SPS/PPS/APS/条带标头/片组标头中信令通知的一个或多个语法元素。例如,语法元素可以是subpic_treated_as_pic_flag[SubPicIdx],其中SubPicIdx是覆盖当前块的子图片的子图片索引。
2.在插值过程中未使用的参考中获取整数样点的位置(称为位置S)必须在所需的子图片内,假设所需的子图片的左上角坐标为(xTL,yTL),并且所需的子图片的右下角坐标为(xBR,yBR)。
a.在一个示例中,所需的子图片是覆盖当前块的子图片。
b.在一个示例中,如果具有坐标(x,y)的位置S在所需的子图片外,那么参考样点被视为不可用。
i.在一个示例中,如果x>xBR,那么位置S在所需的子图片之外。
ii.在一个示例中,如果y>yBR,那么位置S在所需的子图片之外。
iii.在一个示例中,如果x<xTL,那么位置S在所需的子图片之外。
iv.在一个示例中,如果y<yTL,那么位置S在所需的子图片之外。
c.在一个示例中,位置S被剪裁到所需的子图片中。
i.在一个示例中,x被裁剪为x=Min(x,xBR)。
ii.在一个示例中,y被裁剪为y=Min(y,yBR)。
iii.在一个示例中,x被裁剪为x=Max(x,xTL)。
iv.在一个示例中,y被裁剪为y=Max(y,yTL)。
d.在一个示例中,位置S是否必须在所需的子图片中(例如,按照2.a和/或2.b中要求的那样做)可以取决于在VPS/DPS/
SPS/PPS/APS/条带标头/片组标头中信令通知的一个或多个语法元素。例如,语法元素可以是subpic_treated_as_pic_flag[SubPicIdx],其中SubPicIdx是覆盖当前块的子图片的子图片索引。
e.在一个示例中,获取的亮度样点被用于在BDOF和/或PORF中生成梯度。
3.获取重构的亮度样点值的位置(称为位置R)可以在所需的子图片中,假设所需的子图片的左上角坐标为(xTL,yTL)并且所需的子图的右下坐标为(xBR,yBR)。
a.在一个示例中,所需的子图片是覆盖当前块的子图片。
b.在一个示例中,如果具有坐标(x,y)的位置R在所需的子图片之外,那么参考样点被视为不可用。
i.在一个示例中,如果x>xBR,那么位置R在所需的子图片之外。
ii.在一个示例中,如果y>yBR,那么位置R在所需的子图片之外。
iii.在一个示例中,如果x<xTL,那么位置R在所需的子图片之外。
iv.在一个示例中,如果y<yTL,那么位置R在所需的子图片之外。
c.在一个示例中,位置R被剪裁到所需的子图片中。
i.在一个示例中,x被裁剪为x=Min(x,xBR)。
ii.在一个示例中,y被裁剪为y=Min(y,yBR)。
iii.在一个示例中,x被裁剪为x=Max(x,xTL)。
iv.在一个示例中,y被裁剪为y=Max(y,yTL)。
d.在一个示例中,位置R是否必须在所需的子图片中(例如,按照4.a和/或4.b中要求的那样做)可以取决于在VPS/DPS/
SPS/PPS/APS/条带标头/片组标头中信令通知的一个或多个语法元素。例如,语法元素可以是subpic_treated_as_pic_flag[SubPicIdx],其中SubPicIdx是覆盖当前块的子图片的子图片索引。
e.在一个示例中,获取的亮度样点被用于推导LMCS中(一个或多个)色度分量的缩放因子。
4.针对BT/TT/QT拆分、BT/TT/QT深度推导和/或CU拆分标志的信令的图片边界检查的位置(称为位置N)必须在所需的子图片中,假设所需的子图片的左上角坐标为(xTL,yTL)并且所需的子图片的右下坐标为(xBR,yBR)。
a.在一个示例中,所需的子图片是覆盖当前块的子图片。
b.在一个示例中,如果具有坐标(x,y)的位置N在所需的子图片之外,那么参考样点被视为不可用。
i.在一个示例中,如果x>xBR,那么位置N在所需的子图片之外。
ii.在一个示例中,如果y>yBR,那么位置N在所需的子图片之外。
iii.在一个示例中,如果x<xTL,那么位置N在所需的子图片之外。
iv.在一个示例中,如果y<yTL,那么位置N在所需的子图片之外。
c.在一个示例中,位置N被裁剪到所需的子图片中。
i.在一个示例中,x被裁剪为x=Min(x,xBR)。
ii.在一个示例中,y被裁剪为y=Min(y,yBR)。
iii.在一个示例中,x被裁剪为x=Max(x,xTL)。
d.在一个示例中,y被裁剪为y=Max(y,yTL)。在一个示例中,位置N是否必须在所需的子图片中(例如,按照5.a和/或5.b中要求的那样做)可以取决于在VPS/DPS/SPS/PPS/APS/条带标头/片组标头中信令通知的一个或多个语法元素。例如,语法元素可以是subpic_treated_as_pic_flag[SubPicIdx],其中SubPicIdx是覆盖当前块的子图片的子图片索引。
5.基于历史的运动矢量预测(HMVP)表可以在解码一个图片中的新子图片之前被重置。
a.在一个示例中,用于IBC编解码的HMVP表可以被重置
b.在一个示例中,用于帧间编解码的HMVP表可以被重置
c.在一个示例中,用于帧内编解码的HMVP表可以被重置6.子图片语法元素可以以N(例如,N=8、32等)个样点为单位来定义。
a.在一个示例中,以N个样点为单位的子图片标识符网格的每个元素的宽度。
b.在一个示例中,以N个样点为单位的子图片标识符网格的每个元素的高度。
c.在一个示例中,N被设置为CTU的宽度和/或高度。
7.图片宽度和图片高度的语法元素可以被限制为不小于K(K>=8)。
a.在一个示例中,可能需要将图片宽度限制为不小于8。
b.在一个示例中,可能需要将图片高度限制为不小于8。
8.一致性比特流应满足不允许为一个视频单元(例如,序列)启用子图片编解码和自适应分辨率转换(ARC)/动态分辨率转换(DRC)/参考图片重采样(RPR)。
a.在一个示例中,启用子图片编解码的信令可以处于不允许
ARC/DRC/RPR的条件下。
i.在一个示例中,当启用子图片时,诸如subpics_present_flag等于1,该SPS对其处于活动状态的所有图片的pic_width_in_luma_samples等于max_width_in_luma_samples。
b.可替代地,子图片编解码和ARC/DRC/RPR两者可以同时为一个视频单元(例如,序列)启用。
i.在一个示例中,一致性比特流应满足由于ARC/DRC/RPR引起的下采样的子图片仍应采用宽度为K个CTU、高度为M个CTU的形式,其中K和M都是整数。
ii.在一个示例中,一致性比特流应满足对于不位于图片边界(例如,右边界和/或底部边界)的子图片,由于ARC/DRC/RPR引起的下采样的子图片仍应采用宽度为K个CTU、高度为M个CTU的形式,其中K和M均为整数。
iii.在一个示例中,CTU尺寸可以基于图片分辨率自适应地改变。
1)在一个示例中,可以在SPS中信令通知最大CTU尺寸。
对于分辨率较低的每个图片,可以相应地基于降低的分辨率改变CTU尺寸。
2)在一个示例中,CTU尺寸可以在SPS和PPS和/或子图片级别中信令通知。
9.可以约束语法元素subpic_grid_col_width_minus1和subpic_grid_row_height_minus1。
a.在一个示例中,subpic_grid_col_width_minus1必须不大于(或必须小于)T1。
b.在一个示例中,subpic_grid_row_height_minus1必须不大于(或必须小于)T2。
c.在一个示例中,在一致性比特流中,subpic_grid_col_width_minus1和/或subpic_grid_row_height_minus1必须遵循诸如项目符号3.a或3.b之类的约束。
d.在一个示例中,3.a中的T1和/或3.b中的T2可以取决于视频编解码标准的简档/级别/层次。
e.在一个示例中,3.a中的T1可以取决于图片宽度。
i.例如,T1等于pic_width_max_in_luma_samples/4或pic_width_max_in_luma_samples/4+Off。Off可以是1、2、-1、
-2等。
f.在一个示例中,3.b中的T2可以取决于图片宽度。
i.例如,T2等于pic_height_max_in_luma_samples/4或pic_height_max_in_luma_samples/4-1+Off。Off可以是1、2、
-1、-2等。
10.两个子图片之间的边界必须是两个CTU之间的边界。
a.换句话说,CTU不能被多于一个子图片覆盖。
b.在一个示例中,subpic_grid_col_width_minus1的单位可以是CTU宽度(诸如32、64、128),而不是VVC中的4。子图片网格宽度应当是(subpic_grid_col_width_minus1+1)*CTU宽度。
c.在一个示例中,subpic_grid_col_height_minus1的单位可以是CTU高度(诸如32、64、128),而不是VVC中的4。子图片网格高度应当是(subpic_grid_col_height_minus1+1)*CTU高度。
d.在一个示例中,在一致性比特流中,如果应用子图片方法,那么必须满足约束。
11.约束子图片的形状必须是矩形。
a.在一个示例中,在一致性比特流中,如果应用子图片方法,那么必须满足约束。
b.子图片只能包含矩形条带。例如,在一致性比特流中,如果应用子图片方法,那么必须满足约束。
12.约束两个子图不能重叠。
a.在一个示例中,在一致性比特流中,如果应用子图片方法,那么必须满足约束。
b.可替代地,两个子图片可以彼此重叠。
13.约束图片中的任何位置必须被一个且仅一个子图片覆盖。
a.在一个示例中,在一致性比特流中,如果应用子图片方法,那么必须满足约束。
b.可替代地,一个样点可以不属于任何子图片。
c.可替代地,一个样点可以属于多于一个子图片。
14.可以约束在映射到相同序列中呈现的每个分辨率的SPS中定义的子图片应当遵守上面提到的位置和/或尺寸约束。
a.在一个示例中,映射到相同序列中呈现的分辨率的SPS中定义的子图片的宽度和高度应当是N(诸如8、16、32)个亮度样点的整数倍。
b.在一个示例中,可以为某个层定义子图片并且可以将该子图片映射到其它层。
i.例如,可以为序列中分辨率最高的层定义子图片。
ii.例如,可以为序列中分辨率最低的层定义子图片。
iii.可以在SPS/VPS/PPS/条带标头中信令通知为哪一层定义子图片。
c.在一个示例中,当同时应用子图片和不同分辨率时,所有分辨率(例如,宽度或/和高度)可以是给定分辨率的整数倍。
d.在一个示例中,在SPS中定义的子图片的宽度和/或高度可以是CTU尺寸的整数倍(例如,M)。
e.可替代地,序列中的子图片和不同分辨率可以同时地不被允许。15.子图片可以只适用于某(一个或多个)层
a.在一个示例中,在SPS中定义的子图片可以仅适用于序列中具有最高分辨率的层。
b.在一个示例中,在SPS中定义的子图片可以仅适用于序列中具有最低时域id的层。
c.可以通过SPS/VPS/PPS中的一个或多个语法元素来指示可以对哪个(哪些)层应用子图片。
d.可以通过SPS/VPS/PPS中的一个或多个语法元素来指示不能对哪个(哪些)层应用子图片。
16.在一个示例中,可以在不使用subpic_grid_idx的情况下信令通知子图片的位置和/或维度。
a.在一个示例中,可以信令通知子图片的左上位置。
b.在一个示例中,可以信令通知子图片的右下位置。
c.在一个示例中,可以信令通知子图片的宽度。
d.在一个示例中,可以信令通知子图片的高度。
17.对于时域滤波器,当对样点执行时域滤波时,只能使用当前样点所属的同一子图片内的样点。所需的样点可以在当前样点所属的同一图片中或者在其它图片中。
18.在一个示例中,是否和/或如何应用分割方法(诸如QT、水平BT、垂直BT、水平TT、垂直TT或不拆分等)可以取决于当前块(或分割)是否跨子图片的一个或多个边界。
a.在一个示例中,当图片边界被子图片边界替换时,也可以应用VVC中用于分割的图片边界处置方法。
b.在一个示例中,是否解析表示分割方法(诸如QT、水平BT、垂直BT、水平TT、垂直TT或不拆分等)的语法元素(例如,标志)可以取决于当前块(或分割)是否跨子图片的一个或多个边界。
19.代替将一个图片拆分成多个子图片,其中每个子图片被独立编解码,提出将图片拆分成子区域的至少两个集合,第一集合包括多个子图片并且第二集合包括所有剩余的样点。
a.在一个示例中,第二集合中的样点不在任何子图片中。
b.此外,可替代地,可以基于第一集合的信息对第二集合进行编码/解码。
c.在一个示例中,可以使用默认值来标记样点/MxK子区域是否属于第二集合。
i.在一个示例中,可以将默认值设置为等于(max_subpics_minus1+K),其中K是大于1的整数。
ii.可以将默认值指派给subpic_grid_idx[i][j]以指示网格属于第二集合。
20.提出语法元素subpic_grid_idx[i][j]不能大于max_subpics_minus1。
a.例如,在一致性比特流中的约束是,subpic_grid_idx[i][j]不能大于max_subpics_minus1。
b.例如,对subpic_grid_idx[i][j]进行编解码的码字不能大于max_subpics_minus1。
21.提出从0到max_subpics_minus1的任何整数必须等于至少一个subpic_grid_idx[i][j]。
22.IBC虚拟缓冲区可以在解码一个图片中的新子图片之前被重置。
a.在一个示例中,IBC虚拟缓冲区中的所有样点都可以被重置为-1。
23.调色板条目列表可以在解码一个图片中的新子图片之前被重置。
a.在一个示例中,PredictorPaletteSize可以在解码一个图片中的新子图片之前被设置为等于0。
24.是否信令通知条带的信息(例如,条带的数量和/或条带的范围)可以取决于片的数量和/或砖块的数量。
a.在一个示例中,如果图片中的砖块的数量是一,那么num_slices_in_pic_minus1不被信令通知并且被推断为0。
b.在一个示例中,如果图片中的砖块的数量是一,那么可以不信令通知条带的信息(例如,条带的数量和/或条带的范围)。
c.在一个示例中,如果图片中的砖块的数量是一,那么条带的数量可以被推断为一。并且条带覆盖整个图片。在一个示例中,如果图片中的砖块的数量是一,那么single_brick_per_slice_flag不被信令通知并且被推断为一。
i.可替代地,如果图片中的砖块的数量是一,那么single_brick_per_slice_flag必须为一。
d.示例性语法设计如下:
25.是否信令通知slice_address可以与是否信令通知条带为矩形(例如,rect_slice_flag是等于0还是1)解耦。
a.示例性语法设计如下:
if([[rect_slice_flag||]]NumBricksInPic>1)
slice_address u(v)
26.是否信令通知slice_address可以取决于当条带被信令通知为矩形时条带的数量。
27.是否信令通知num_bricks_in_slice_minus1可以取决于slice_address和/或图片中的砖块的数量。
a.示例性语法设计如下:
28.是否信令通知loop_filter_across_bricks_enabled_flag可以取决于片的数量和/或砖块的数量。
a.在一个示例中,如果砖块的数量小于2,那么不信令通知loop_filter_across_bricks_enabled_flag。
b.示例性语法设计如下:
29.图片的所有条带必须覆盖整个图片,这是比特流一致性的要求。
a.当条带被信令通知为矩形时必须满足要求(例如,rect_slice_flag等于1)。
30.子图片的所有条带必须覆盖整个子图片,这是比特流一致性的要求。
a.当条带被信令通知为矩形时必须满足要求(例如,rect_slice_flag等于1)。
31.条带不能与多于一个子图片重叠是比特流一致性的要求。
32.片不能与多于一个子图片重叠是比特流一致性的要求。
33.砖块不能与多于一个子图片重叠是比特流一致性的要求。
在下面的讨论中,维度为CW x CH的基本单元块(BUB)是矩形区域。例如,BUB可以是编解码树块(CTB)。
34.在一个示例中,可以信令通知子图片的数量(表示为N)。
a.如果使用子图片(例如,subpics_present_flag等于1),那么可以要求一致性比特流是在图片中至少有两个子图片。
b.可替代地,可以信令通知N减去d(即,N-d),其中d是整数,诸如0、1或2。
c.例如,N-d可以用固定长度编解码例如u(x)进行编解码。
i.在一个示例中,x可以是固定的数字,诸如8。
ii.在一个示例中,可以在信令通知N-d之前信令通知x或x-dx,其中dx是诸如0、1或2之类的整数。信令通知的x不能大于一致性比特流中的最大值。
iii.在一个示例中,可以即时推导x。
1)例如,x可以被推导为图片中BUB的总数(表示为M)的函数。例如,x=Ceil(log2(M+d0))+d1,其中d0和d1是两个整数,诸如-2、-1、0、1、2等。在此,Ceil()函数返回大于或等于输入值的最小整数值。
2)M可以被推导为M=Ceiling(W/CW)×Ceiling(H/CH),其中W和H表示图片的宽度和高度,并且CW和CH表示BUB的宽度和高度。
d.例如,可以用一元码或截断一元码对N-d进行编解码。
e.在一个示例中,N-d的允许的最大值可以是固定的数字。
i.可替代地,N-d的允许的最大值可以被推导为图片中BUB的总数(表示为M)的函数。例如,x=Ceil(log2(M+d0))+d1,其中d0和d1是两个整数,诸如-2、-1、0、1、2等。在此,
Ceil()函数返回大于或等于输入值的最小整数值。
35.在一个示例中,子图片可以通过一个或多个其选择的位置(例如,左上/右上/左下/右下位置)和/或其宽度和/或其高度的指示来信令通知。a.在一个示例中,子图片的左上位置可以以具有CWxCH维度的基本单元块(BUB)的粒度来信令通知。
i.例如,可以信令通知按照子图片左上BUB的BUB的列索引(表示为Col)。
1)例如,可以信令通知Col-d,其中d是整数,诸如0、
1或2。
a)可替代地,d可以等于先前编解码的子图片的Col,加上d1,其中d1是整数,诸如-1、0或1。
b)可以信令通知Col-d的符号。
ii.例如,可以信令通知按照子图片的左上BUB的BUB的行索引(表示为Row)。
1)例如,可以信令通知Row-d,其中d是整数,诸如0、
1或2。
a)可替代地,d可以等于先前编解码的子图片的Row,加上d1,其中d1是整数,诸如-1、0或1。
b)可以信令通知Row-d的符号。
iii.上面提到的行/列索引(表示为Row)可以以编解码树块(CTB)为单位表示,例如可以将相对于图片的左上位置的x或y坐标除以CTB尺寸并信令通知。
iv.在一个示例中,是否信令通知子图片的位置可以取决于子图片索引。
1)在一个示例中,对于图片中的第一个子图片,左上位置可以不被信令通知。
a)此外,可替代地,左上位置可以被推断为例如(0,0)。
2)在一个示例中,对于图片中的最后一个子图片,左上位置可以不被信令通知。
a)左上位置可以根据先前信令通知的子图片的信息来推断。
b.在一个示例中,子图片的宽度/高度/选择的位置的指示可以用截断一元/截断二元/一元/固定长度/第K个EG编解码(例如,K=0、1,2,3)信令通知。
c.在一个示例中,子图片的宽度可以以具有CWxCH维度的BUB的粒度信令通知。
i.例如,可以信令通知子图片中BUB的列数(表示为W)。
ii.例如,可以信令通知W-d,其中d是整数,诸如0、1或2。
1)可替代地,d可以等于先前编解码的子图片的W,加上d1,其中d1是整数,诸如-1、0或1。
2)可以信令通知W-d的符号。
d.在一个示例中,子图片的高度可以以具有维度CWxCH的BUB的粒度来信令通知。
i.例如,可以信令通知子图片中BUB的行数(表示为H)。
ii.例如,可以信令通知H-d,其中d是整数,诸如0、1或2。
1)可替代地,d可以等于先前编解码的子图片的H,加上d1,其中d1是整数,诸如-1、0或1。
2)可以信令通知H-d的符号。
e.在一个示例中,Col-d可以用固定长度编解码例如u(x)来编解码。
i.在一个示例中,x可以是固定的数字,诸如8。
ii.在一个示例中可以在信令通知Col-d之前信令通知x或x-dx,其中dx是诸如0、1或2之类的整数。信令通知的x可以不大于一致性比特流中的最大值。
iii.在一个示例中,可以即时推导x。
1)例如,x可以被推导为图片中BUB列的总数(表示为M)的函数。例如,x=Ceil(log2(M+d0))+d1,其中d0和d1是两个整数,诸如-2、-1、0、1、2等。在此,Ceil()函数返回大于或等于输入值的最小整数值。
2)M可以被推导为M=Ceiling(W/CW),其中W表示图片的宽度,并且CW表示BUB的宽度。
f.在一个示例中,可以用固定长度编解码例如u(x)对Row-d进行编解码。
i.在一个示例中,x可以是固定的数字,诸如8。
ii.在一个示例中,可以在信令通知Row-d之前信令通知x或x-
dx,其中dx是诸如0、1或2之类的整数。信令通知的x可以不大于一致性比特流中的最大值。
iii.在一个示例中,可以即时推导x。
1)例如,x可以被推导为图片中BUB行的总数(表示为M)的函数。例如,x=Ceil(log2(M+d0))+d1,其中d0和d1是两个整数,诸如-2、-1、0、1、2等。在此,Ceil()函数返回大于或等于输入值的最小整数值。
2)M可以被推导为M=Ceiling(H/CH),其中H表示图片的高度,并且CH表示BUB的高度。
g.在一个示例中,可以用固定长度编解码(例如u(x))对W-d进行编解码。
i.在一个示例中,x可以是固定的数字,诸如8。
ii.在一个示例中,可以在信令通知W-d之前信令通知x或x-
dx,其中dx是诸如0、1或2之类的整数。信令通知的x可以不大于一致性比特流中的最大值。
iii.在一个示例中,可以即时推导x。
1)例如,x可以被推导为图片中BUB列的总数(表示为M)的函数。例如,x=Ceil(log2(M+d0))+d1,其中d0和d1是两个整数,诸如-2、-1、0、1、2等。在此,Ceil()函数返回大于或等于输入值的最小整数值。
2)M可以被推导为M=Ceiling(W/CW),其中W表示图片的宽度,并且CW表示BUB的宽度。
h.在一个示例中,可以使用固定长度编解码(例如u(x))对H-d进行编解码。
i.在一个示例中,x可以是固定的数字,诸如8。
ii.在一个示例中,可以在信令通知H-d之前信令通知x或x-
dx,其中dx是诸如0、1或2之类的整数。信令通知的x可以不大于一致性比特流中的最大值。
iii.在一个示例中,可以即时推导x。
1)例如,x可以被推导为图片中BUB行的总数(表示为M)的函数。例如,x=Ceil(log2(M+d0))+d1,其中d0和d1是两个整数,诸如-2、-1、0、1、2等。在此,Ceil()函数返回大于或等于输入值的最小整数值。
2)M可以被推导为M=Ceiling(H/CH),其中H表示图片的高度,并且CH表示BUB的高度。
i.可以针对所有子图片信令通知Col-d和/或Row-d。
i.可替代地,可以不针对所有子图片信令通知Col-d和/或Row-d。
1)如果子图片的数量少于2(等于1),那么可以不信令通知Col-d和/或Row-d。
2)例如,可以不针对第一子图片(例如,具有等于0的子图片索引(或子图片ID))信令通知Col-d和/或Row-d。
a)当未被信令通知时,它们可以被推断为0。
3)例如,针对最后一个子图片(例如,具有等于NumSubPics-1的子图片索引(或子图片ID))可以不信令通知Col-d和/或Row-d。
a)当未被信令通知时,可以根据已信令通知的子图片的位置和维度来推断它们。
j.可以针对所有子图片信令通知W-d和/或H-d。
i.可替代地,可以不针对所有子图片信令通知W-d和/或H-d。
1)如果子图的数量少于2(等于1),那么可以不信令通知W-d和/或H-d。
2)例如,可以不针对最后一个子图片(例如,具有等于NumSubPics-1的子图片索引(或子图片ID))信令通知W-d和/或H-d。
a)当未被信令通知时,可以根据已信令通知的子图片的位置和维度来推断它们。
k.在上述项目符号中,BUB可以是编解码树块(CTB)。
36.在一个示例中,子图片的信息应当在已经信令通知CTB尺寸的信息(例如,log2_ctu_size_minus5)之后被信令通知。
37.可以不针对每个子图片信令通知subpic_treated_as_pic_flag[i]。代替地,信令通知一个subpic_treated_as_pic_flag以控制子图片是否被视为所有子图片的图片。
38.可以不针对每个子图片信令通知loop_filter_across_subpic_enabled_flag[i]。代替地,信令通知一个loop_filter_across_subpic_enabled_flag以控制是否可以针对所有子图片跨子图片应用环路滤波器。
39.可以有条件地信令通知subpic_treated_as_pic_flag[i](subpic_treated_as_pic_flag)和/或loop_filter_across_subpic_enabled_flag[i](loop_filter_across_subpic_enabled_flag)。
a.在一个示例中,如果子图片的数量小于2(等于1),那么可以不信令通知subpic_treated_as_pic_flag[i]和/或loop_filter_across_subpic_enabled_flag[i]。。
40.在使用子图片时可以应用RPR。
a.在一个示例中,当使用子图片时,RPR中的缩放比例可以被约束到有限的集合,诸如{1:1,1:2和/或2:1},或{1:1,1:2和/或2:1,1:4和/或4:1}、{1:1,1:2和/或2:1,1:4和/或4:1,1:8和/或8:1}。
b.在一个示例中,如果图片A与图片B的分辨率不同,那么图片A的CTB尺寸与图片B的CTB尺寸可以不同。
c.在一个示例中,假定维度为SAW×SAH的子图片SA在图片A中,并且维度为SBW×SBH的子图片SB在图片B中,SA对应于SB,并且图片A与图片B之间的缩放比率是沿着水平和垂直方向的Rw和Rh,那么
i.SAW/SBW或SBW/SAW应当等于Rw。
ii.SAH/SBH或SBH/SAH应当等于Rh。
41.当使用子图片时(例如,sub_pics_present_flag为真),可以在条带标头中信令通知子图片索引(或子图片ID),并且将条带地址解释为子图片而不是整个图片中的地址。
42.如果第一子图片和第二子图片不是同一个子图片,那么要求第一子图片的子图ID片必须与第二子图片的子图片ID不同。
a.在一个示例中,如果i不等于j,那么sps_subpic_id[i]必须不同于sps_subpic_id[j]是一致性比特流中的要求。
b.在一个示例中,如果i不等于j,那么pps_subpic_id[i]必须不同于pps_subpic_id[j]是一致性比特流中的要求。
c.在一个示例中,如果i不等于j,那么ph_subpic_id[i]必须不同于ph_subpic_id[j]是一致性比特流中的要求。
d.在一个示例中,如果i不等于j,那么SubpicIdList[i]必须不同于SubpicIdList[j]是一致性比特流中的要求。
e.在一个示例中,可以信令通知表示为D[i]等于X_subpic_id[i]-
X_subpic_id[i-P]的差。
i.例如,X可以是sps、pps或ph。
ii.例如,P等于1。
iii.例如,i>P。
iv.例如,D[i]必须大于0。
v.例如,可以信令通知D[i]-1。
43.提出指定左上CTU的水平位置或垂直位置的语法元素(例如,subpic_ctu_top_left_x或subpic_ctu_top_left_y)的长度可以被推导为Ceil(Log2(SS))比特,其中SS必须大于0。在此,Ceil()函数返回大于或等于输入值的最小整数值。
a.在一个示例中,当语法元素指定左上CTU的水平位置(例如,subpic_ctu_top_left_x)时,SS=(pic_width_max_in_luma_samples
+RR)/CtbSizeY。
b.在一个示例中,当语法元素指定左上CTU的垂直位置(例如,subpic_ctu_top_left_y)时,SS=(pic_height_max_in_luma_samples
+RR)/CtbSizeY。
c.在一个示例中,RR是非零整数,例如CtbSizeY-1。
44.提出指定子图片的左上CTU的水平位置或垂直位置的语法元素(例如,subpic_ctu_top_left_x或subpic_ctu_top_left_y)的长度可以被推导为Ceil(Log2(SS))比特,其中SS必须大于0。在此,Ceil()函数返回大于或等于输入值的最小整数值。
a.在一个示例中,当语法元素指定子图片的左上CTU的水平位置(例如,subpic_ctu_top_left_x)时,SS
=(pic_width_max_in_luma_samples+RR))/CtbSizeY。
b.在一个示例中,当语法元素指定子图片的左上CTU的垂直位置(例如,subpic_ctu_top_left_y)时,SS
=(pic_height_max_in_luma_samples+RR)/CtbSizeY。
c.在一个示例中,RR是非零整数,诸如CtbSizeY-1。
45.提出指定子图片的宽度或高度的语法元素(例如,subpic_width_minus1或subpic_height_minus1)的长度的默认值(可以加上偏移量P,诸如1)可以被推导为Ceil(Log2(SS))-P,其中SS必须大于0。在此,Ceil()函数返回大于或等于输入值的最小整数值。
a.在一个示例中,当语法元素指定子图片的默认宽度(可以加上偏移量P)(例如,subpic_width_minus1)时,SS
=(pic_width_max_in_luma_samples+RR)/CtbSizeY。
b.在一个示例中,当语法元素指定子图片的默认高度(可以加上偏移量P)(例如,subpic_height_minus1)时SS
=(pic_height_max_in_luma_samples+RR)/CtbSizeY。
c.在一个示例中,RR是非零整数,诸如CtbSizeY-1。
46.提出如果确定应当信令通知信息,那么至少在SPS、PPS和图片标头之一中信令通知子图片的ID的信息。
a.在一个示例中,如果sps_subpic_id_present_flag等于1,那么
sps_subpic_id_signalling_present_flag、pps_subpic_id_signalling_present_flag和ph_subpic_id_signalling_present_flag中的至少一个应当等于1是一致性比特流中的要求。
47.提出如果SPS、PPS和图片标头中的任何一个中都没有信令通知子图ID的信息,但确定应当信令通知该信息,那么应当分配默认ID。
a.在一个示例中,如果sps_subpic_id_signalling_present_flag、pps_subpic_id_signalling_present_flag和ph_subpic_id_signalling_present_flag都等于0并且sps_subpic_id_present_flag等于1,那么SubpicIdList[i]应当被设置为等于i+P,其中P是偏移量,诸如0。示例性描述如下:
for(i=0;i<=sps_num_subpics_minus1;i++)
SubpicIdList[i]=sps_subpic_id_present_flag?
(sps_subpic_id_signalling_present_flag?sps_subpic_id[i]:
(ph_subpic_id_signalling_present_flag?ph_subpic_id[i]:
)):i
48.提出如果在对应的PPS中信令通知子图片ID的信息,那么不在图片标头中信令通知它们。
a.示例性语法设计如下,
b.在一个示例中,如果在SPS中信令通知子图片ID,那么根据在SPS中信令通知的子图片ID的信息来设置子图片ID;否则,如果在PPS中信令通知子图片ID,那么根据在PPS中信令通知的子图片ID的信息来设置子图片ID,否则,如果在图片标头中信令通知子图片ID,那么根据在图片标头中信令通知的子图片ID信息来设置子图片ID。示例性描述如下,
for(i=0;i<=sps_num_subpics_minus1;i++)
SubpicIdList[i]=sps_subpic_id_present_flag?
(sps_subpic_id_signalling_present_flag?sps_subpic_id[i]:
(pps_subpic_id_signalling_present_flag?pps_subpic_id[i]:
(ph_subpic_id_signalling_present_flag?ph_subpic_id[i]:i))):i
c.在一个示例中,如果在图片标头中信令通知子图片ID,那么根据在图片标头中信令通知的子图片ID的信息来设置子图片ID;否则,如果在PPS中信令通知子图片ID,那么根据在PPS中信令通知的子图片ID的信息设置子图片ID,否则,如果在SPS中信令通知子图片ID,那么根据在SPS中信令通知的子图片ID的信息来设置子图片ID。示例性描述如下,
for(i=0;i<=sps_num_subpics_minus1;i++)
SubpicIdList[i]=sps_subpic_id_present_flag?
(ph_subpic_id_signalling_present_flag?ph_subpic_id[i]:
(pps_subpic_id_signalling_present_flag?pps_subpic_id[i]:
(sps_subpic_id_signalling_present_flag?sps_subpic_id[i]:i))):i
49.提出边缘E上的去方块过程应当取决于在边缘的两侧(表示为P侧和Q侧)上是否允许跨子图片边界进行环路滤波(例如,由loop_filter_across_subpic_enabled_flag确定)。P侧表示当前块中的侧,Q侧表示相邻块中的侧,其可以属于不同的子图片。在下面的讨论中,假设P侧和Q侧属于两个不同的子图片。loop_filter_across_subpic_enabled_flag[P]=0/1意味着不允许/允许跨包含P侧的子图片的子图片边界的环路滤波。loop_filter_across_subpic_enabled_flag[Q]=0/1意味着不允许/允许跨包含Q侧的子图片的子图片边界的环路滤波。
a.在一个示例中,如果loop_filter_across_subpic_enabled_flag[P]等于0或loop_filter_across_subpic_enabled_flag[Q]等于0,那么不滤波E。
b.在一个示例中,如果loop_filter_across_subpic_enabled_flag[P]等于0并且loop_filter_across_subpic_enabled_flag[Q]等于0,那么不滤波E。
c.在一个示例中,分开控制是否滤波E的两侧。
i.例如,当且仅当loop_filter_across_subpic_enabled_flag[P]等于1时,滤波E的P侧。
ii.例如,当且仅当loop_filter_across_subpic_enabled_flag[Q]等于1时,滤波E的Q侧。
50.提出PPS中指定用于变换跳过的最大块尺寸的语法元素SE(诸如log2_transform_skip_max_size_minus2)的信令/解析应当与SPS中的任何语法元素(诸如sps_transform_skip_enabled_flag)解耦。
a.示例性语法改变如下:
b.可替代地,可以在SPS中信令通知SE,例如:
c.可替代地,可以在图片标头中信令通知SE,例如:
51.在解码第一块之后是否和/或如何更新HMVP表(或称为list/storage/map等)可以取决于第一块是否用GEO编解码。
a.在一个示例中,如果第一块是用GEO编解码的,那么在对第一块进行解码之后,可以不更新HMVP表。
b.在一个示例中,如果第一块是用GEO编解码的,那么在对第一块进行解码之后,HMVP表可以被更新。
i.在一个示例中,可以用由GEO划分的一个分割的运动信息来更新HMVP表。
ii.在一个示例中,可以用由GEO划分的多个分割的运动信息来更新HMVP表
52.在CC-ALF中,当前处理单元(例如,由两个ALF虚拟边界界定的ALF处理单元)之外的亮度样点被排除在对应处理单元中对色度样点的滤波之外。
a.当前处理单元外的填充的亮度样点可以被用于滤波对应处理单元中的色度样点。
i.本文档中公开的任何填充方法都可以被用于填充亮度样点。
b.可替代地,当前处理单元之外的亮度样点可以被用于滤波对应处理单元中的色度样点。
5.实施例
在以下实施例中,新添加的文本用粗斜体表示,删除的文本用“[[]]”标记。
5.1实施例1:对仿射构造的merge候选的子图约束
8.5.5.6对构造的仿射控制点运动矢量merge候选的推导过程
该过程的输入是:
-亮度位置(xCb,yCb),指定相对于当前图片的左上亮度样点的当前亮度编解码块的左上样点,
-两个变量cbWidth和cbHeight,指定当前亮度编解码块的宽度和高度,-可用性标志availableA0、availableA1、availableA2、availableB0、availableB1、availableB2、availableB3
-样点位置(xNbA0、yNbA0)、(xNbA1、yNbA1)、
(xNbA2、yNbA2)、(xNbB0、yNbB0)、(xNbB1、yNbB1)、
(xNbB2、yNbB2)和(xNbB3、yNbB3)。
该过程的输出是:
-构造的仿射控制点运动矢量merge候选的可用性标志availableFlagConstK,其中K=1..6,
-参考索引refIdxLXConstK,其中K=1..6,X为0或1,
-预测列表使用标志predFlagLXConstK,其中K=1..6,X为0或1,
-仿射运动模型索引motionModelIdcConstK,其中K=1..6,
-双向预测权重索引bcwIdxConstK,其中K=1..6,
-构造的仿射控制点运动矢量cpMvLXConstK[cpIdx],其中cpIdx=0..2,K=1..6,X为0或1。
第四个(同位的右下角)控制点运动矢量cpMvLXCorner[3]、参考索引refIdxLXCorner[3]、预测列表利用标志predFlagLXCorner[3]和可用性标志availableFlagCorner[3](其中X为0和1)如下推导:
-用于时域merge候选的参考索引refIdxLXCorner[3]设置为等于0,其中X为0或1。
-变量mvLXCol和availableFlagLXCol,其中X为0或1,如下推导:
-如果slice_temporal_mvp_enabled_flag等于0,那么mvLXCol的两个分量都设置为等于0并且availableFlagLXCol设置为等于0。
-否则(slice_temporal_mvp_enabled_flag等于1),以下适用:
xColBr=xCb+cbWidth(8-601)
yColBr=yCb+cbHeight(8-602)
-如果yCb>>CtbLog2SizeY等于yColBr>>CtbLog2SizeY,
-变量colCb指定覆盖由ColPic指定的同位图片中的由((xColBr>>3)<<3,(yColBr>>3)<<3)给出的经修改的位置的亮度编解码块。
-亮度位置(xColCb,yColCb)被设置为等于相对于由ColPic指定的同位图片的左上亮度样点的由colCb指定的同位亮度编解码块的左上样点。
-用currCb、colCb、(xColCb,yColCb)、refIdxLXCorner[3]和设置为0的sbFlag作为输入调用条款8.5.2.12中指定的同位运动矢量的推导过程,并将输出指派给mvLXCol和availableFlagLXCol。
-否则,mvLXCol的两个分量都设置为等于0并且availableFlagLXCol设置为等于0。
5.2实施例2:对仿射构造的merge候选的子图片约束
8.5.5.6用于构造的仿射控制点运动矢量merge候选的推导过程
该过程的输入是:
-亮度位置(xCb,yCb),指定相对于当前图片的左上亮度样点的当前亮度编解码块的左上样点,
-两个变量cbWidth和cbHeight,指定当前亮度编解码块的宽度和高度,
-可用性标志availableA0、availableA1、availableA2、availableB0、availableB1、availableB2、availableB3
-样点位置(xNbA0、yNbA0)、(xNbA1、yNbA1)、(xNbA2、yNbA2)、(xNbB0、yNbB0)、(xNbB1、yNbB1)、(xNbB2、yNbB2)和(xNbB3、yNbB3)。
该过程的输出是:
-构造的仿射控制点运动矢量merge候选的可用性标志availableFlagConstK,其中K=1..6,
-参考索引refIdxLXConstK,其中K=1..6,X为0或1,
-预测列表使用标志predFlagLXConstK,其中K=1..6,X为0或1,
-仿射运动模型索引motionModelIdcConstK,其中K=1..6,
-双向预测权重索引bcwIdxConstK,其中K=1..6,
-构造的仿射控制点运动矢量cpMvLXConstK[cpIdx],其中cpIdx=0..2,K=1..6,X为0或1。
第四个(同位的右下角)控制点运动矢量cpMvLXCorner[3]、参考索引refIdxLXCorner[3]、预测列表利用标志predFlagLXCorner[3]和可用性标志availableFlagCorner[3](其中X为0和1)如下推导:
-用于时域merge候选的参考索引refIdxLXCorner[3]设置为等于0,其中X为0或1。
-变量mvLXCol和availableFlagLXCol,其中X为0或1,如下推导:
-如果slice_temporal_mvp_enabled_flag等于0,那么mvLXCol的两个分量都设置为等于0并且availableFlagLXCol设置为等于0。
-否则(slice_temporal_mvp_enabled_flag等于1),以下适用:
xColBr=xCb+cbWidth(8-601)
yColBr=yCb+cbHeight(8-602)
-如果yCb>>CtbLog2SizeY等于yColBr>>CtbLog2SizeY,[[yColBr小于pic_height_in_luma_samples并且xColBr小于pic_width_in_luma_samples,那么以下适用]]:
-变量colCb指定覆盖由ColPic指定的同位图片中的由((xColBr>>3)<<3,(yColBr>>3)<<3)给出的经修改的位置的亮度编解码块。
-亮度位置(xColCb,yColCb)被设置为等于相对于由ColPic指定的同位图片的左上亮度样点的由colCb指定的同位亮度编解码块的左上样点。
-用currCb、colCb、(xColCb,yColCb)、refIdxLXCorner[3]和设置为0的sbFlag作为输入调用条款8.5.2.12中指定的同位运动矢量的推导过程,并将输出指派给mvLXCol和availableFlagLXCol。
-否则,mvLXCol的两个分量都设置为等于0并且availableFlagLXCol设置为等于0。
5.3实施例3:子图片约束下获取整数样点
8.5.6.3.3亮度整数样点获取过程
该过程的输入是:
-以全样点为单位的亮度位置(xIntL,yIntL),
-亮度参考样点阵列refPicLXL
该过程的输出是预测的亮度样点值predSampleLXL
变量shift被设置为等于Max(2,14-BitDepthY)。
变量picW被设置为等于pic_width_in_luma_samples并且变量picH被设置为等于pic_height_in_luma_samples。
以全样点为单位的亮度位置(xInt,yInt)如下推导:
xInt=Clip3(0,picW-1,sps_ref_wraparound_enabled_flag? (8-782)
ClipH((sps_ref_wraparound_offset_minus1+1)*MinCbSizeY,picW,xIntL):xIntL)
yInt=Clip3(0,picH-1,yIntL) (8-783)
预测的亮度样点值predSampleLXL如下推导:
predSampleLXL=refPicLXL[xInt][yInt]<<shift3 (8-784)
5.4实施例4:推导LMCS的色度残差缩放中的变量invAvgLuma
8.7.5.3对色度样点进行亮度依赖的色度残差缩放过程的图片重构
该过程的输入是:
–相对于当前图片的左上色度样点的当前色度变换块的左上色度样点的色度位置(xCurr,yCurr),
–变量nCurrSw,指定色度变换块宽度,
–变量nCurrSh,指定色度变换块高度,
–变量tuCbfChroma,指定当前色度变换块的编解码的块标志,
–(nCurrSw)x(nCurrSh)阵列predSamples,指定当前块的色度预测样点,
–(nCurrSw)x(nCurrSh)阵列resSamples,指定当前块的色度残差样点,该过程的输出是重构的色度图像样点阵列recSamples。
变量sizeY被设置为等于Min(CtbSizeY,64)。
对于i=0..nCurrSw-1,j=0..nCurrSh-1,重构的色度图片样点recSamples如下推导:
-…
–否则,以下适用:
-…
–变量currPic指定当前图片中重构的亮度样点的阵列。
–对于变量varScale的推导,以下有序步骤适用:
1.变量invAvgLuma如下推导:
–阵列recLuma[i](其中i=0..(2*sizeY-1))和变量cnt如下推导:
–变量cnt被设置为等于0。
–当availL等于TRUE时,阵列recLuma[i](其中i=0..sizeY-1)被设置为等于currPic[xCuCb-1][Min(yCuCb+i,[[pic_height_in_luma_samples–1]])](其中i=0..sizeY-1),并且cnt被设置为等于sizeY
–当availT等于TRUE时,阵列recLuma[cnt+i](其中i=0..sizeY-1)被设置为等于currPic[Min(xCuCb+i,[[pic_width_in_luma_samples-1]] )][yCuCb-1](其中i=0..sizeY-1),并且cnt被设置为(cnt+sizeY)
–变量invAvgLuma如下推导:
–如果cnt大于0,那么以下适用:
–否则(cnt等于0),以下适用:
invAvgLuma=1<<(BitDepthY–1) (8-1014)
5.5实施例5:以N(诸如N=8或32)个样点而不是4个样点为单位定义子图片元素的示例
7.4.3.3序列参数集RBSP语义
subpic_grid_col_width_minus1加1指定子图片标识符网格的每个元素的宽度,以个样点为单位。语法元素的长度是Ceil(Log2(pic_width_max_in_luma_samples/))比特。
变量NumSubPicGridCols如下推导:
subpic_grid_row_height_minus1加1指定以4个样点为单位的子图片标识符网格的每个元素的高度。语法元素的长度是Ceil(Log2(pic_height_max_in_luma_samples/))比特。
变量NumSubPicGridRows如下推导:
7.4.7.1通用条带标头语义
变量SubPicIdx、SubPicLeftBoundaryPos、SubPicTopBoundaryPos、SubPicRightBoundaryPos和SubPicBotBoundaryPos如下推导:
5.6实施例6:将图片宽度和图片高度限制为等于或大于8
7.4.3.3序列参数集RBSP语义
pic_width_max_in_luma_samples指定以亮度样点为单位的参考SPS的每个解码的图片的最大宽度。pic_width_max_in_luma_samples不应等于0,并且
应是[[MinCbSizeY]]的整数倍。
pic_height_max_in_luma_samples指定以亮度样点为单位的参考SPS的每个解码d图片的最大高度。pic_height_max_in_luma_samples不应等于0,并且应是[[MinCbSizeY]]的整数倍。
5.7实施例7:针对BT/TT/QT拆分、BT/TT/QT深度推导和/或CU拆分标志的信令的子图片边界检查
6.4.2允许的二元拆分过程
变量allowBtSplit如下推导:
-…
–否则,如果以下所有条件都为真,那么将allowBtSplit设置为等于FALSE
–btSplit等于SPLIT_BT_VER
–y0+cbHeight大于[[pic_height_in_luma_samples]]
–否则,如果以下所有条件都为真,那么将allowBtSplit设置为等于FALSE
–btSplit等于SPLIT_BT_VER
–cbHeight大于MaxTbSizeY
–x0+cbWidth大于[[pic_width_in_luma_samples]]
–否则,如果以下所有条件都为真,那么将allowBtSplit设置为等于FALSE
–btSplit等于SPLIT_BT_HOR
–cbWidth大于MaxTbSizeY
–y0+cbHeight大于[[pic_height_in_luma_samples]]
–否则,如果以下所有条件都为真,那么将allowBtSplit设置为等于FALSE
–x0+cbWidth大于[[pic_width_in_luma_samples]]
–y0+cbHeight大于[[pic_height_in_luma_samples]]
–cbWidth大于minQtSize
–否则,如果以下所有条件都为真,那么将allowBtSplit设置为等于FALSE
–btSplit等于SPLIT_BT_HOR
–x0+cbWidth大于[[pic_width_in_luma_samples]]
–y0+cbHeight小于或等于[[pic_height_in_luma_samples]]
6.4.2允许的三元拆分过程
变量allowTtSplit如下推导:
–如果以下条件当中的一个或多个为真,那么将allowTtSplit设置为等于FALSE:
–cbSize小于或等于2*MinTtSizeY
–cbWidth大于Min(MaxTbSizeY,maxTtSize)
–cbHeight大于Min(MaxTbSizeY,maxTtSize)
–mttDepth大于或等于maxMttDepth
–x0+cbWidth大于[[pic_width_in_luma_samples]]
–y0+cbHeight大于[[pic_height_in_luma_samples]]
–treeType等于DUAL_TREE_CHROMA并且(cbWidth/SubWidthC)*(cbHeight/SubHeightC)小于等于32
–treeType等于DUAL_TREE_CHROMA并且modeType等于MODE_TYPE_INTRA
–否则,allowTtSplit被设置为等于TRUE。
7.3.8.2编解码树单元语法
7.3.8.4编解码树语法
5.8实施例8:定义子图片的示例
5.9实施例9:定义子图片的示例
5.10实施例10:定义子图片的示例
5.11实施例11:定义子图片的示例
5.12实施例:考虑子图片的去方块
去方块滤波器过程
一般
该过程的输入是去方块之前的重构的图片,即,阵列recPictureL,并且当ChromaArrayType不等于0时,还有阵列recPictureCb和recPictureCr
该过程的输出是去方块之后经修改的重构的图片,即,阵列recPictureL,并且当ChromaArrayType不等于0时,还有阵列recPictureCb和recPictureCr。首先滤波图片中的垂直边缘。然后用通过垂直边缘滤波过程修改的样点作为输入来滤波图片中的水平边缘。每个CTU的CTB中的垂直和水平边缘在编解码单元的基础上被分开处理。对编解码单元中编解码块的垂直边缘进行滤波,从编解码块左手侧的边缘开始,按照其几何次序通过边缘朝着编解码块的右手侧前进。对编解码单元中编解码块的水平边缘进行滤波,从编解码块顶部的边缘开始,按照其几何次序通过边缘朝着编解码块的底部前进。
注–虽然本说明书中在图片基础上指定滤波过程,但滤波过程可以在具有等效结果的编解码单元基础上实现,前提是解码器正确考虑了处理依赖次序以产生相同的输出值。
去方块滤波器过程被应用于图片的所有编解码子块边缘和变换块边缘,以下类型的边缘除外:
–在图片的边界处的边缘,
–[[与loop_filter_across_subpic_enabled_flag[SubPicIdx]等于0的子图片的边界重合的边缘,]]
–当pps_loop_filter_across_virtual_boundaries_disabled_flag等于1时与图片的虚拟边界重合的边缘,
–当loop_filter_across_tiles_enabled_flag等于0时与片边界重合的边缘,
–当loop_filter_across_slices_enabled_flag等于0时与条带边界重合的边缘,–与slice_deblocking_filter_disabled_flag等于1的条带的上边界或左边界重合的边缘,
–slice_deblocking_filter_disabled_flag等于1的条带内的边缘,
–不与亮度分量的4x4样点网格边界对应的边缘,
–不与色度分量的8x8样点网格边界对应的边缘,
–亮度分量内的边缘,对于该亮度分量边缘两侧的intra_bdpcm_luma_flag等于1,
–色度分量内的边缘,对于该色度分量边缘两侧的intra_bdpcm_chroma_flag等于1,
–不是相关联的变换单元的边缘的色度子块的边缘。
针对一个方向的去方块滤波器过程
该过程的输入是:
–变量treeType,指定当前处理的是亮度分类(DUAL_TREE_LUMA)还是色度分量(DUAL_TREE_CHROMA),
–当treeType等于DUAL_TREE_LUMA时,去方块之前的重构的图片,即,阵列recPictureL
–当ChromaArrayType不等于0并且treeType等于DUAL_TREE_CHROMA时,阵列recPictureCb和recPictureCr
–变量edgeType,指定是滤波垂直(EDGE_VER)还是水平(EDGE_HOR)边缘。
该过程的输出是去方块之后经修改的重构的图片,即:
–当treeType等于DUAL_TREE_LUMA时,阵列recPictureL
–当ChromaArrayType不等于0并且treeType等于DUAL_TREE_CHROMA时,阵列recPictureCb和recPictureCr
变量firstCompIdx和lastCompIdx如下推导:
firstCompIdx=(treeType==DUAL_TREE_CHROMA)?1:0(8-1010)
lastCompIdx=(treeType==DUAL_TREE_LUMA||ChromaArrayType==0)?0:2(8-1011)对于每个编解码单元和由颜色分量索引cIdx(范围从firstCompIdx到lastCompIdx,含端点)指示的编解码单元的每个颜色分量的每个编解码块,其中编解码块宽度为nCbW,编解码块高度为nCbH并且编解码块的左上样点的位置是(xCb,yCb),当cIdx等于0时,或者当cIdx不等于0并且edgeType等于EDGE_VER并且xCb%8等于0时,或者当cIdx不等于0并且edgeType等于EDGE_HOR并且yCb%8等于0时,边缘通过以下有序步骤被滤波:
2.变量filterEdgeFlag如下推导:
–如果edgeType等于EDGE_VER并且以下条件当中的一个或多个为真,那么filterEdgeFlag设置为等于0:
-当前编解码块的左边界是图片的左边界。
-[[当前编解码块的左边界是子图片的左或右边界并且loop_filter_across_subpic_enabled_flag[SubPicIdx]等于0。]]
-当前编解码块的左边界是片的左边界并且loop_filter_across_tiles_enabled_flag等于0。
-当前编解码块的左边界是条带的左边界并且loop_filter_across_slices_enabled_flag等于0。
-当前编解码块的左边界是图片的垂直虚拟边界之一并且VirtualBoundariesDisabledFlag等于1。
–否则,如果edgeType等于EDGE_HOR并且以下条件当中的一个或多个为真,那么将变量filterEdgeFlag设置为等于0:
-当前亮度编解码块的顶部边界是图片的顶部边界。
-[[当前编解码块的顶部边界是子图片的顶部边界或底部边界并且loop_filter_across_subpic_enabled_flag[SubPicIdx]等于0。]]
-当前编解码块的顶部边界是片的顶部边界并且loop_filter_across_tiles_enabled_flag等于0。
-当前编解码块的顶部边界是条带的顶部边界并且loop_filter_across_slices_enabled_flag等于0。
-当前编解码块的顶部边界是图片的水平虚拟边界之一并且VirtualBoundariesDisabledFlag等于1。
–否则,filterEdgeFlag被设置为等于1。
使用短滤波器对亮度样点的滤波过程
该过程的输入是:
–样点值pi和qi,其中i=0..3,
–pi和qi的位置,(xPi,yPi)和(xQi,yQi),其中i=0..2,
–变量dE,
–变量dEp和dEq,分别包含对滤波样点p1和q1的决定,
–变量tC
该过程的输出是:
–经滤波的样点的数量nDp和nDq,
–经滤波的样点值pi'和qj',其中i=0..nDp-1,j=0..nDq-1。
取决于dE的值,以下适用:
–如果变量dE等于2,那么nDp和nDq两者都被设置为等于3,并且以下强滤波适用:
p0′=Clip3(p0-3*tC,p0+3*tC,(p2+2*p1+2*p0+2*q0+q1+4)>>3) (8-1150)
p1′=Clip3(p1-2*tC,p1+2*tC,(p2+p1+p0+q0+2)>>2) (8-1151)
p2′=Clip3(p2-1*tC,p2+1*tC,(2*p3+3*p2+p1+p0+q0+4)>>3) (8-1152)
q0′=Clip3(q0-3*tC,q0+3*tC,(p1+2*p0+2*q0+2*q1+q2+4)>>3) (8-1153)
q1′=Clip3(q1-2*tC,q1+2*tC,(p0+q0+q1+q2+2)>>2) (8-1154)
q2′=Clip3(q2-1*tC,q2+1*tC,(p0+q0+q1+3*q2+2*q3+4)>>3) (8-1155)
–否则,nDp和nDq两者都被设置为等于0并且以下弱滤波适用:
–以下适用:
Δ=(9*(q0-p0)-3*(q1-p1)+8)>>4 (8-1156)
–当Abs(Δ)小于tC*10时,以下有序步骤适用:
–经滤波的样点值p0'和q0'指定如下:
Δ=Clip3(-tC,tC,Δ) (8-1157)
p0′=Clip1(p0+Δ) (8-1158)
q0′=Clip1(q0-Δ) (8-1159)
–当dEp等于1时,经滤波的样点值p1'指定如下:
Δp=Clip3(-(tC>>1),tC>>1,(((p2+p0+1)>>1)-p1+Δ)>>1)(8-1160)
p1′=Clip1(p1+Δp) (8-1161)
–当dEq等于1时,经滤波的样点值q1'指定如下:
Δq=Clip3(-(tC>>1),tC>>1,(((q2+q0+1)>>1)-q1-Δ)>>1)(8-1162)
q1′=Clip1(q1+Δq) (8-1163)
–nDp被设置为等于dEp+1并且nDq被设置为等于dEq+1。
当nDp大于0并且包括包含样点p0的编解码块的编解码单元的pred_mode_plt_flag等于1时,nDp被设置为等于0
当nDq大于0并且包括包含样点q0的编解码块的编解码单元的pred_mode_plt_flag等于1时,nDq被设置为等于0
使用长滤波器对亮度样点进行滤波处理
该过程的输入是:
–变量maxFilterLengthP和maxFilterLengthQ,
–样点值pi和qj,其中i=0..maxFilterLengthP且j=0..maxFilterLengthQ,
–pi和qj的位置(xPi,yPi)和(xQj,yQj),其中i=0..maxFilterLengthP-1且j=0..maxFilterLengthQ-1,
–变量tC
该过程的输出是:
–经滤波的样点值pi'和qj',其中i=0..maxFilterLengthP-1,j=0..maxFilterLenghtQ-1。
变量refMiddle如下推导:
–如果maxFilterLengthP等于maxFilterLengthQ并且maxFilterLengthP等于5,那么以下适用:
refMiddle=(p4+p3+2*(p2+p1+p0+q0+q1+q2)+q3+q4+8)>>4 (8-1164)
–否则,如果maxFilterLengthP等于maxFilterLengthQ并且maxFilterLengthP不等于5,那么以下适用:
refMiddle=(p6+p5+p4+p3+p2+p1+2*(p0+q0)+q1+q2+q3+q4+q5+q6+8)>>4 (8-1165)
–否则,如果下列条件之一为真,
–maxFilterLengthQ等于7并且maxFilterLengthP等于5,
–maxFilterLengthQ等于5并且maxFilterLengthP等于7,
那么以下适用:
refMiddle=(p5+p4+p3+p2+2*(p1+p0+q0+q1)+q2+q3+q4+q5+8)>>4 (8-1166)
–否则,如果下列条件之一为真,
–maxFilterLengthQ等于5,maxFilterLengthP等于3,
–maxFilterLengthQ等于3,maxFilterLengthP等于5,
那么以下适用:
refMiddle=(p3+p2+p1+p0+q0+q1+q2+q3+4)>>3 (8-1167)
–否则,如果maxFilterLengthQ等于7并且maxFilterLengthP等于3,那么以下适用:
refMiddle=(2*(p2+p1+p0+q0)+p0+p1+q1+q2+q3+q4+q5+q6+8)>>4 (8-1168)
–否则,以下适用:
refMiddle=(p6+p5+p4+p3+p2+p1+2*(q2+q1+q0+p0)+q0+q1+8)>>4 (8-1169)
变量refP和refQ如下推导:
refP=(pmaxFilterLengtP+pmaxFilterLengthP-1+1)>>1 (8-1179)
refQ=(qmaxFilterLengtQ+qmaxFilterLengthQ-1+1)>>1 (8-1171)
变量fi和tCPDi定义如下:
–如果maxFilterLengthP等于7,那么以下适用:
f0..6={59,50,41,32,23,14,5} (8-1172)
tCPD0..6={6,5,4,3,2,1,1} (8-1173)
–否则,如果maxFilterLengthP等于5,那么以下适用:
f0..4={58,45,32,19,6} (8-1174)
tCPD0..4={6,5,4,3,2} (8-1175)
–否则,以下适用:
f0..2={53,32,11} (8-1176)
tCPD0..2={6,4,2} (8-1177)
变量gj和tCQDj定义如下:
–如果maxFilterLengthQ等于7,那么以下适用:
g0..6={59,50,41,32,23,14,5} (8-1178)
tCQD0..6={6,5,4,3,2,1,1} (8-1179)
–否则,如果maxFilterLengthQ等于5,那么以下适用:
g0..4={58,45,32,19,6} (8-1180)
tCQD0..4={6,5,4,3,2} (8-1181)
–否则,以下适用:
g0..2={53,32,11} (8-1182)
tCQD0..2={6,4,2} (8-1183)
经滤波的样点值pi'和qj'(其中i=0..maxFilterLengthP-1和j=0..maxFilterLengthQ-1)如下推导:
pi′=Clip3(pi-(tC*tCPDi)>>1,pi+(tC*tCPDi)>>1,(refMiddle*fi+refP*(64-fi)+32)>>6)(8-1184)
qj′=Clip3(qj-(tC*tCQDj)>>1,qj+(tC*tCQDj)>>1,(refMiddle*gj+refQ*(64-gj)+32)>>6)(8-1185)
当包括包含样点pi的编解码块的编解码单元的pred_mode_plt_flag等于1时,经滤波的样点值pi'被对应的输入样点值pi替换,其中i=0..maxFilterLengthP-1。
当包括包含样点qi的编解码块的编解码单元的pred_mode_plt_flag等于1时,经滤波的样点值qi'被对应的输入样点值qj替换,其中j=0..maxFilterLengthQ-1。
仅当ChromaArrayType不等于0时才调用该过程。
该过程的输入是:
–变量maxFilterLength,
–色度样点值pi和qi,其中i=0..maxFilterLengthCbCr
–pi和qi的色度位置(xPi,yPi)和(xQi,yQi),其中i=0..maxFilterLengthCbCr-1,
–变量tC
该过程的输出是经滤波的样点值pi'和qi',其中i=0..maxFilterLengthCbCr-1。经滤波的样点值pi'和qi'(其中i=0..maxFilterLengthCbCr-1)如下推导:
–如果maxFilterLengthCbCr等于3,那么以下强滤波适用:
p0′=Clip3(p0-tC,p0+tC,(p3+p2+p1+2*p0+q0+q1+q2+4)>>3) (8-1186)
p1′=Clip3(p1-tC,p1+tC,(2*p3+p2+2*p1+p0+q0+q1+4)>>3) (8-1187)
p2′=Clip3(p2-tC,p2+tC,(3*p3+2*p2+p1+p0+q0+4)>>3) (8-1188)
q0′=Clip3(q0-tC,q0+tC,(p2+p1+p0+2*q0+q1+q2+q3+4)>>3) (8-1189)
q1′=Clip3(q1-tC,q1+tC,(p1+p0+q0+2*q1+q2+2*q3+4)>>3) (8-1190)
q2′=Clip3(q2-tC,q2+tC,(p0+q0+q1+2*q2+3*q3+4)>>3) (8-1191)
–否则,以下弱滤波适用:
Δ=Clip3(-tC,tC,((((q0-p0)<<2)+p1-q1+4)>>3)) (8-1192)
p0′=Clip1(p0+Δ) (8-1193)
q0′=Clip1(q0-Δ) (8-1194)
当包括包含样点pi的编解码块的编解码单元的pred_mode_plt_flag等于1时,经滤波的样点值pi'被对应的输入样点值pi替换,其中i=0..maxFilterLengthCbCr-1。
当包含包含样点qi的编解码块的编解码单元的pred_mode_plt_flag等于1时,经滤波的样点值qi'被对应的输入样点值qi替换,其中i=0..maxFilterLengthCbCr-1:
图3是视频处理装置300的框图。装置300可以用于实现本文描述的方法中的一种或多种。装置300可以体现在智能电话、平板电脑、计算机、物联网(IoT)接收器等中。装置300可以包括一个或多个处理器312、一个或多个存储器314和视频处理硬件316。(一个或多个)处理器312可以被配置为实现本文档中描述的一种或多种方法。存储器(多个存储器)314可以用于存储用于实现本文描述的方法和技术的数据和代码。视频处理硬件316可以被用于在硬件电路中实现本文档中描述的一些技术。
图4是处理视频的方法400的流程图。方法400包括针对视频的第一视频区域中的视频块,确定(402)使用仿射模式为视频块与当前视频块的比特流表示之间的转换确定时域运动矢量预测器的位置是否在第二视频区域内,并且基于该确定执行(404)转换。
在一些实施例中,以下方案可以作为优选方案来实现。
以下解决方案可以与上一节中列出的项(例如,项1)中描述的附加技术一起实现。
1.一种视频处理的方法,包括:针对视频的第一视频区域中的视频块确定(402)使用仿射模式为视频块和当前视频块的比特流表示之间的转换确定时域运动矢量预测器的位置是否是在第二视频区域内;以及基于该确定执行转换。
2.如解决方案1所述的方法,其中视频块被第一区域和第二区域覆盖。
3.如解决方案1-2中的任一项所述的方法,其中,如果时域运动矢量预测器的位置在第二视频区域之外,那么时域运动矢量预测器被标记为不可用并且在转换中不使用。
以下解决方案可以与在前一节中列出的项(例如,项2)中描述的附加技术一起实现。
4.一种视频处理的方法,包括:针对视频的第一视频区域中的视频块,确定为视频块与当前视频块的比特流表示之间的转换获取参考图片中的整数样点的位置是否在第二视频区域内,其中参考图片在转换期间不被用于插值过程;以及基于该确定执行转换。
5.如解决方案4所述的方法,其中视频块被第一区域和第二区域覆盖。
6.如解决方案4-5中的任一项所述的方法,其中,如果样点的位置在第二视频区域之外,那么将该样点标记为不可用并且在转换中不使用。
以下解决方案可以与在前一节中列出的项(例如,项3)中描述的附加技术一起实现。
7.一种视频处理的方法,包括:针对视频的第一视频区域中的视频块,确定为视频块与当前视频块的比特流表示之间的转换获取重构的亮度样点值的位置是否在第二视频区域内;以及基于该确定执行转换。
8.如解决方案7所述的方法,其中亮度样点被第一区域和第二区域覆盖。
9.如解决方案7-8中的任一项所述的方法,其中,如果亮度样点的位置在第二视频区域之外,那么将亮度样点标记为不可用并且在转换中不使用。
以下解决方案可以与在前一节中列出的项(例如,项4)中描述的附加技术一起实现。
10.一种视频处理的方法,包括:针对视频的第一视频区域中的视频块,确定在视频块与当前视频块的比特流表示之间的转换期间执行针对该视频块的关于拆分、深度推导或拆分标志信令的检查的位置是否在第二视频区域内;以及基于该确定执行转换。
11.如解决方案10所述的方法,其中该位置被第一区域和第二区域覆盖。
12.如解决方案10-11中的任一项所述的方法,其中,如果该位置在第二视频区域之外,那么将亮度样点标记为不可用并且在转换中不使用。
以下解决方案可以与在前一节中列出的项(例如,项8)中描述的附加技术一起实现。
13.一种视频处理的方法,包括:执行包括包含一个或多个视频块的一个或多个视频图片的视频与该视频的编解码的表示之间的转换,其中编解码的表示符合该转换在视频单元内不使用子图片编码/解码和动态分辨率转换编码/解码工具或参考图片重采样工具的编解码的语法要求。
14.如解决方案13所述的方法,其中视频单元与所述一个或多个视频图片的序列对应。
15.如解决方案13-14中的任一项所述的方法,其中动态分辨率转换编码/解码工具包括自适应分辨率转换编码/解码工具。
16.如解决方案13-14中的任一项所述的方法,其中动态分辨率转换编码/解码工具包括动态分辨率转换编码/解码工具。
17.如解决方案13-16中的任一项所述的方法,其中编解码的表示指示视频单元符合编解码语法要求。
18.如解决方案17所述的方法,其中编解码的表示指示视频单元使用子图片编解码。
19.如解决方案17所述的方法,其中编解码的表示指示视频单元使用动态分辨率转换编码/解码工具或参考图片重采样工具。
以下解决方案可以与在前一节中列出的项(例如,项10)中描述的附加技术一起实现。
20.如解决方案1-19中的任一项所述的方法,其中第二视频区域包括视频子图片,并且其中第二视频区域与另一个视频区域的边界也是两个编解码树单元之间的边界。
21.如解决方案1-19中的任一项所述的方法,其中第二视频区域包括视频子图片,并且其中第二视频区域与另一个视频区域的边界也是两个编解码树单元之间的边界。
以下解决方案可以与在前一节中列出的项(例如,项11)中描述的附加技术一起实现。
22.如解决方案1-21中的任一项所述的方法,其中第一视频区域和第二视频区域具有矩形形状。
以下解决方案可以与在前一节中列出的项(例如,项12)中描述的附加技术一起实现。
23.如解决方案1-22中的任一项所述的方法,其中第一视频区域和第二视频区域不重叠。
以下解决方案可以与在前一节中列出的项(例如,项13)中描述的附加技术一起实现。
24.如解决方案1-23中的任一项所述的方法,其中视频图片被划分为视频区域,使得视频图片中的像素被一个且仅一个视频区域覆盖。
以下解决方案可以与在前一节中列出的项(例如,项15)中描述的附加技术一起实现。
25.如解决方案1-24中的任一项所述的方法,其中,由于视频图片位于视频序列的特定层中,视频图片被拆分为第一视频区域和第二视频区域。
以下解决方案可以与在前一节中列出的项(例如,项10)中描述的附加技术一起实现。
26.一种视频处理方法,包括:执行包括包含一个或多个视频块的一个或多个视频图片的视频与该视频的编解码的表示之间的转换,其中该编解码的表示符合第一语法元素subpic_grid_idx[i][j]不大于第二语法元素max_subpics_minus1的编解码语法要求。
27.如解决方案26所述的方法,其中表示第一语法元素的码字不大于表示第二语法元素的码字。
28.如解决方案1-27中的任一项所述的方法,其中第一视频区域包括视频子图片。
29.如解决方案1-28中的任一项所述的方法,其中第二视频区域包括视频子图片。
30.如解决方案1至29中的任一项所述的方法,其中转换包括将视频编码为编解码的表示。
31.如解决方案1至29中的任一项所述的方法,其中转换包括对编解码的表示进行解码以生成视频的像素值。
32.一种视频解码装置,包括被配置为实现解决方案1至31中的一个或多个所述的方法的处理器。
33.一种视频编码装置,包括被配置为实现解决方案1至31中的一个或多个所述的方法的处理器。
34.一种其上存储有计算机代码的计算机程序产品,该代码在由处理器执行时使处理器实现解决方案1至31中的任一项所述的方法。
35.本文档中描述的方法、装置或系统。
图8是示出示例视频处理系统800的框图,其中可以实现本文公开的各种技术。各种实施方式可以包括系统800的组件中的一些或所有。系统800可以包括用于接收视频内容的输入802。可以以原始或未压缩的格式(例如,8或10比特多分量像素值)接收视频内容,或者可以以压缩或编码的格式接收视频内容。输入802可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等的有线接口,以及诸如Wi-Fi或蜂窝接口之类的无线接口。
系统800可以包括编解码组件804,其可以实现本文档中描述的各种解码或编码方法。编解码组件804可以降低从输入802到编解码组件804的输出以产生视频的编解码的表示的视频的平均比特速率。因此,编解码技术有时被称为视频压缩或视频转码技术。编解码组件804的输出可以或者被存储,或者经由连接的通信被传输,如由组件806所表示的。在输入802处接收到的视频的存储的或传送的比特流(或编解码的)表示可以由组件使用808以生成像素值或被发送到显示接口810的可显示视频。从比特流表示生成用户可观看视频的过程有时被称为视频解压缩。此外,虽然某些视频处理操作被称为“编解码”操作或工具,但是将认识到的是,编码工具或操作在编码器处使用,并且反转编解码的结果的对应解码工具或操作将由解码器执行。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备中,诸如移动电话、膝上型计算机、智能电话或能够执行数字数据处理和/或视频显示的其它设备。
图9是图示可以利用本公开的技术的示例视频编解码系统100的框图。
如图9中所示,视频编解码系统100可以包括源设备110和目的地设备120。源设备110生成编码的视频数据,其可以被称为视频编码设备。目的地设备120可以解码由源设备110生成的编码的视频数据,其可以被称为视频解码设备。
源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括诸如视频捕获设备、用于从视频内容提供者接收视频数据的接口、和/或用于生成视频数据的计算机图形系统之类的源,或此类源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码以生成比特流。比特流可以包括形成视频数据的编解码的表示的比特序列。比特流可以包括编解码的图片和相关联的数据。编解码的图片是图片的编解码的表示。相关联的数据可以包括序列参数集、图片参数集和其它语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发送器。编码的视频数据可以通过网络130a经由I/O接口116直接被传输到目的地设备120。编码的视频数据也可以存储在存储介质/服务器130b上以供目的地设备120访问。
目的地设备120可以包括I/O接口126、视频解码器124和显示设备122。
I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取编码的视频数据。视频解码器124可以解码该编码的视频数据。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目的地设备120集成,或者可以在被配置为与外部显示设备接口的目的地设备120的外部。
视频编码器114和视频解码器124可以根据视频压缩标准(诸如高效视频编解码(HEVC)标准、多功能视频编解码(VVC)标准以及其它当前和/或进一步的标准)操作。
图10是图示视频编码器200的示例的框图,其可以是图9中图示的系统100中的视频编码器114。
视频编码器200可以被配置为执行本公开的技术中的任何一种或全部。在图10的示例中,视频编码器200包括多个功能组件。本公开中所描述的技术可以在视频编码器200的各种组件之间共享。在一些实例中,处理器可以被配置为执行本公开中所描述的技术中的任何一种或全部。
视频编码器200的功能组件可以包括分割单元201、预测单元202、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲器213和熵编码单元214,预测单元202可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206。
在其它示例中,视频编码器200可以包括更多、更少或不同的功能组件。在示例中,预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以在IBC模式下执行预测,其中至少一个参考图片是当前视频块所在的图片。
此外,诸如运动估计单元204和运动补偿单元205之类的一些组件可以是高度集成的,但是为了解释的目的而在图5的示例中分开表示。
分割单元201可以将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。
模式选择单元203可以选择编解码模式之一,帧内或帧间,例如基于误差结果,并将结果所得的帧内或帧间编解码的块提供给残差生成单元207以生成残差块数据并提供给重构单元212以重构编码的块以用作参考图片。在一些示例中,模式选择单元203可以选择组合帧内和帧间预测(CIIP)模式,其中预测是基于帧间预测信号和帧内预测信号。在帧间预测的情况下,模式选择单元203还可以为块选择运动矢量的分辨率(例如,子像素或整数像素精度)。
为了对当前视频块执行帧间预测,运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可以基于来自缓冲器213的除了与当前视频块相关联的图片以外的图片的运动信息和解码的样点来确定当前视频块的预测的视频块。
运动估计单元204和运动补偿单元205可以针对当前视频块执行不同的操作,例如,取决于当前视频块是在I条带、P条带还是B条带中。
在一些实例中,运动估计单元204可以对当前视频块执行单向预测,并且运动估计单元204可以搜索列表0或列表1的参考图片以寻找当前视频块的参考视频块。运动估计单元204然后可以生成指示列表0或列表1中包含参考视频块的参考图片的参考索引和指示当前视频块与参考视频块之间的空域位移的运动矢量。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量,作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测的视频块。
在其它示例中,运动估计单元204可以对当前视频块执行双向预测,运动估计单元204可以在列表0中的参考图片中搜索当前视频块的参考视频块,并且还可以在列表1中的参考图片中搜索当前视频块的另一个参考视频块。运动估计单元204然后可以生成指示包含参考视频块的列表0和列表1中的参考图片的参考索引以及指示参考视频块与当前视频块之间的空域位移的运动矢量。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测的视频块。
在一些示例中,运动估计单元204可以输出完整的运动信息集以用于解码器的解码处理。
在一些示例中,运动估计单元204可以不输出用于当前视频的完整的运动信息集。更确切地说,运动估计单元204可以参考另一个视频块的运动信息来信令通知当前视频块的运动信息。例如,运动估计单元204可以确定当前视频块的运动信息与相邻视频块的运动信息足够相似。
在一个示例中,运动估计单元204可以在与当前视频块相关联的语法结构中指示向视频解码器300指示当前视频块具有与另一个视频块相同的运动信息的值。
在另一个示例中,运动估计单元204可以在与当前视频块相关联的语法结构中识别另一个视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量与所指示的视频块的运动矢量之间的差。视频解码器300可以使用所指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。
如上面所讨论的,视频编码器200可以预测性地信令通知运动矢量。可以由视频编码器200实现的预测性信令技术的两个示例包括高级运动矢量预测(AMVP)和merge模式信令。
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时,帧内预测单元206可以基于同一图片中的其它视频块的解码的样点来生成用于当前视频块的预测数据。用于当前视频块的预测数据可以包括预测的视频块和各种语法元素。
残差生成单元207可以通过从当前视频块中减去(例如,由负号指示)当前视频块的(一个或多个)预测的视频块来生成用于当前视频块的残差数据。当前视频块的残差数据可以包括与当前视频块中的样点的不同样点分量对应的残差视频块。
在其它示例中,对于当前视频块可以不存在当前视频块的残差数据,例如在跳过模式中,并且残差生成单元207可以不执行减法运算。
变换处理单元208可以通过对与当前视频块相关联的残差视频块应用一个或多个变换来生成当前视频块的一个或多个变换系数视频块。
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后,量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
逆量化单元210和逆变换单元211可以分别对变换系数视频块应用逆量化和逆变换,以从变换系数视频块重构残差视频块。重构单元212可以将重构的残差视频块添加到来自由预测单元202生成的一个或多个预测的视频块的对应样点,以产生与当前块相关联的重构的视频块以存储在缓冲器213中。
在重构单元212重构视频块之后,可以执行环路滤波操作以减少视频块中的视频块效应伪影。
熵编码单元214可以从视频编码器200的其它功能组件接收数据。当熵编码单元214接收数据时,熵编码单元214可以执行一个或多个熵编码操作以生成熵编码的数据并输出包括熵编码的数据的比特流。
图11是图示视频解码器300的示例的框图,视频解码器300可以是图9中所示的系统100中的视频解码器114。
视频解码器300可以被配置为执行本发明的技术中的任何一种或全部。在图11的示例中,视频解码器300包括多个功能组件。本公开中所描述的技术可以在视频解码器300的各种组件之间共享。在一些示例中,处理器可以被配置为执行本发明中所描述的技术中的任何一种或全部。
在图11的示例中,视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305和重构单元306,以及缓冲器307。在一些示例中,视频解码器300可以执行一般与关于视频编码器200(例如,图10)描述的编码遍相反的解码遍。
熵解码单元301可以检索编码的比特流。编码的比特流可以包括熵编解码的视频数据(例如,编码的视频数据块)。熵解码单元301可以解码熵编解码的视频数据,并且根据熵解码的视频数据,运动补偿单元302可以确定包括运动矢量、运动矢量精度、参考图片列表索引和其它运动信息的运动信息。例如,运动补偿单元302可以通过执行AMVP和merge模式来确定这样的信息。
运动补偿单元302可以产生运动补偿的块,可能基于插值滤波器执行插值。用于以子像素精度使用的插值滤波器的标识符可以包括在语法元素中。
运动补偿单元302可以使用如由视频编码器200在对视频块进行编码期间使用的插值滤波器来计算用于参考块的子整数像素的插值的值。运动补偿单元302可以根据接收到的语法信息来确定由视频编码器200使用的插值滤波器并且使用该插值滤波器来产生预测性块。
运动补偿单元302可以使用语法信息中的一些来确定用于对编码的视频序列的(一个或多个)帧和/或(一个或多个)条带进行编码的块的尺寸,描述编码的视频序列的图片的每个宏块如何被分割的分割信息,指示如何编码每个分割的模式,每个帧间编码的块的一个或多个参考帧(和参考帧列表),以及解码编码的视频序列的其它信息。
帧内预测单元303可以使用例如在比特流中接收到的帧内预测模式来从空域相邻块形成预测块。逆量化单元303对在比特流中提供并由熵解码单元301解码的量化的视频块系数进行逆量化,即,去量化。逆变换单元303应用逆变换。
重构单元306可以将残差块与由运动补偿单元202或帧内预测单元303生成的对应预测块相加以形成解码的块。如果期望,那么还可以应用去方块滤波器来滤波解码的块,以便移除块状伪影。然后将解码的视频块存储在缓冲器307中,该缓冲器为随后的运动补偿/帧内预测提供参考块并且还产生用于在显示设备上呈现的解码的视频。
图12是根据本技术的用于视频处理的方法的流程图表示。方法1200包括在操作1210处执行视频的图片与视频的比特流表示之间的转换。图片包括一个或多个子图片,并且比特流表示符合指定语法元素的长度等于Ceil(Log2(SS))比特的格式规则。SS大于0,并且该语法元素指示图片的子图片的编解码树单元的左上角的水平位置或垂直位置。
在一些实施例中,格式规则还指定第二语法元素的长度的默认值等于Ceil(Log2(SS))-P,其中SS大于0。第二语法元素指示图片的子图片的默认宽度或默认高度。在一些实施例中,亮度样点中的最大图片宽度被表示为pic_width_max_in_luma_samples并且编解码树块的维度被表示为CtbSizeY。如果语法元素指定编解码树单元的左上角的水平位置或子图片的默认宽度,那么SS等于(pic_width_max_in_luma_samples+RR)/CtbSizeY,RR是非零整数。在一些实施例中,亮度样点中的最大图片高度被表示为pic_height_max_in_luma_samples并且编解码树块的维度被表示为CtbSizeY。如果语法元素指定编解码树单元的左上角的垂直位置或子图片的默认高度,那么SS等于(pic_height_max_in_luma_samples+RR)/CtbSizeY,RR是非零整数。在一些实施例中,RR=CtbSizeY-1。
图13是根据本技术的用于视频处理的方法的流程图表示。方法1300包括在操作1310处执行视频的图片与视频的比特流表示之间的转换,其中图片包括一个或多个子图片。比特流表示符合指定不同子图片具有不同标识符的格式规则。
在一些实施例中,格式规则指定一个或多个子图片的标识符被包括在视频单元级别处,视频单元包括序列参数集、图片参数集或图片标头。在一些实施例中,序列参数集处的第一语法标志指示一个或多个子图片的标识符的信令是否存在于序列参数集级别处,图片参数集处的第二语法标志指示一个或多个子图片的标识符的信令是否存在于图片参数集级别处,并且图片标头处的第三语法标志指示一个或多个子图片的标识符的信令是否存在于图片标头级别处。第一语法标志、第二语法标志或第三语法标志中的至少一个等于1。在一些实施例中,如果第一语法标志指示一个或多个子图片的标识符的信令存在于序列参数集级别处,那么在图片标头级别省略一个或多个子图片的标识符的信令。
在一些实施例中,格式规则指定一个或多个子图片的标识符被包括在子图片标识符的列表中。在一些实施例中,列表中的第一子图片的标识符被表示为SubpicIdList[i]并且第二子图片的标识符被表示为SubpicIdList[j],其中j=i-P。格式规则指定在比特流表示中指示SubpicIdList[i]与SubpicIdList[j]之间的差D[i]。在一些实施例中,P等于1。在一些实施例中,i>P。在一些实施例中,D[i]大于0。在一些实施例中,D[i]-1被包括在比特流表示中。
在一些实施例中,基于首先考虑序列参数集、其次考虑图片参数集并且最后考虑图片标头的次序来确定子图片标识符的列表。在一些实施例中,基于首先考虑图片标头、其次考虑图片参数集并且最后考虑序列参数集的次序来确定子图片标识符列表。
在一些实施例中,格式规则指定,如果一个或多个子图片的标识符在一个或多个视频单元级别处被省略的,那么将默认值指派给子图片标识符的列表中的标识符。该一个或多个视频单元至少包括序列参数集、图片参数集或图片标头。在一些实施例中,列表中的子图片的标识符被表示为SubpicIdList[i],并且SubpicIdList[i]的默认值为i+P,P是偏移量值。
图14是根据本技术的用于视频处理的方法的流程图表示。方法1400包括在操作1410处针对视频的第一子图片的块与视频的比特流表示之间的转换,基于是否跨子图片边界允许环路滤波过程确定是否跨该块与第二子图片的相邻块之间的边缘应用去方块过程。方法1400还包括在操作1420处基于该确定执行转换。
在一些实施例中,第一语法标志指示是否允许环路滤波过程跨边缘的第一侧的边界访问样点,并且第二语法标志指示是否允许环路滤波过程跨边缘的第二侧的边界访问样点。如果第一语法标志或第二语法标志中的至少一个指示不允许环路滤波过程,那么不滤波边缘。在一些实施例中,第一语法标志指示允许环路滤波过程跨边缘的第一侧的的边界访问样点,并且由于第二语法标志指示不允许环路滤波过程跨边缘的第二侧的边界访问样点,因此不滤波边缘。
在一些实施例中,边缘的第一侧被滤波并且边缘的第二侧是否被滤波被彼此分开确定。在一些实施例中,由于第一语法标志为1,因此边缘的第一侧的样点被滤波。在一些实施例中,由于第二语法标志为1,因此边缘的第二侧的样点被滤波。在一些实施例中,边缘的第一侧在第一子图片中,并且边缘的第二侧在第二子图片中。
图15是根据本技术的视频处理方法的流程图表示。方法1500包括在操作1510处执行视频与视频的比特流表示之间的转换。比特流表示符合格式规则,该格式规则指定指示图片参数集中用于变换跳过编解码工具的最大块尺寸的语法元素独立于序列参数集中的任何语法标志被信令通知。
图16是根据本技术的视频处理方法的流程图表示。方法1600包括在操作1610处执行视频与视频的比特流表示之间的转换。比特流表示符合格式规则,该格式规则指定指示用于变换跳过编解码工具的最大块尺寸的语法元素是基于序列参数集中的语法标志来信令通知的。
在一些实施例中,语法元素被包括在序列参数集或图片标头中。在一些实施例中,语法元素包括log2_transform_skip_max_size_minus2。在一些实施例中,序列参数集中的语法标志包括sps_transform_skip_enabled_flag。
图17是根据本技术的视频处理方法的流程图表示。方法1700包括在操作1710处执行视频的当前块与视频的比特流表示之间的转换。方法1700还包括在操作1720处在转换之后基于当前块是否是使用几何分割模式编解码的来确定更新基于历史的运动矢量预测表的方式,在几何分割模式中块是通过至少两个预测的加权总和来预测的。为至少两个分割生成加权总和的权重。至少一些分割具有角边缘,并且其中基于历史的运动矢量预测表包括基于视频的先前编解码的块的运动候选。
在一些实施例中,如果当前块是使用几何分割模式编解码的,那么不更新基于历史的运动矢量预测表。在一些实施例中,如果当前块使用几何分割模式编解码,那么更新基于历史的运动矢量预测表。在一些实施例中,使用当前块的一个预测的运动信息来更新基于历史的运动矢量预测表。在一些实施例中,使用当前块的多个预测的运动信息来更新基于历史的运动矢量预测表。
图18是根据本技术的用于视频处理的方法的流程图表示。方法1800包括在操作1810处使用交叉分量自适应环路滤波过程执行视频的当前处理单元与视频的比特流表示之间的转换,在该交叉分量自适应环路滤波过程中色度样点基于对应的亮度样点被滤波。当前处理单元包括由两个虚拟边界确定的自适应环路滤波处理单元。针对滤波当前处理单元的色度样点排除位于当前处理单元之外的亮度样点。
在一些实施例中,位于当前处理单元之外的亮度样点被填充,并且被填充的亮度样点用于滤波当前处理单元的色度样点。
图19是根据本技术的视频处理方法的流程图表示。方法1900包括在操作1910处使用交叉分量自适应环路滤波过程执行视频的当前处理单元与视频的比特流表示之间的转换,在该交叉分量自适应环路滤波过程中色度样点基于对应的亮度样点被滤波。当前处理单元包括由两个虚拟边界界定的自适应环路滤波处理单元。位于当前处理单元之外的亮度样点用于滤波当前处理单元的色度样点。
在一些实施例中,转换从比特流表示生成视频。在一些实施例中,转换从视频生成比特流表示。
所公开技术的一些实施例包括做出决定或确定以启用视频处理工具或模式。在示例中,当启用视频处理工具或模式时,编码器将在处理视频块时使用或实现该工具或模式,但可以不必要地基于工具或模式的使用来修改生成的比特流。即,当基于决定或确定启用视频处理工具或模式时,从视频块到视频的比特流表示的转换将使用视频处理工具或模式。在另一个示例中,当启用视频处理工具或模式时,解码器将在知道比特流已基于视频处理工具或模式修改后的情况下处理比特流。即,从视频的比特流表示到视频块的转换将使用基于决定或确定启用的视频处理工具或模式来执行。
所公开技术的一些实施例包括做出决定或确定以禁用视频处理工具或模式的。在示例中,当禁用视频处理工具或模式时,编码器将在视频块到视频的比特流表示的转换中不使用该工具或模式。在另一个示例中,当禁用视频处理工具或模式时,解码器将在知道比特流没有使用基于决定或确定而启用的视频处理工具或模式被修改后的情况下处理比特流。
本文档中描述的公开和其它解决方案、示例、实施例、模块和功能操作可以在数字电子电路或计算机软件、固件或硬件中实现,包括本文档中公开的结构及其结构等价物,或在其中一种或多种的组合中实现。所公开的和其它实施例可以被实现为一个或多个计算机程序产品,例如,被编解码在计算机可读介质上的计算机程序指令的一个或多个模块,用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组合物,或它们中的一种或多种的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器,包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外,该装置还可以包括为所讨论的计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统或它们当中一个或多个的组合的代码。传播的信号是人工生成的信号,例如机器生成的电、光或电磁信号,生成该信号以对信息进行编码以传输到合适的接收器装置。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写,并且它可以以任何形式部署,包括作为独立的程序或作为模块、组件、子例程或适合在计算环境中使用的其它单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保持其它程序或数据的文件的一部分中(例如,存储在标记语言文档中的一个或多个脚本)、专用于所讨论程序的单个文件中,或多个协调的文件中(例如,存储一个或多个模块、子程序或部分代码的文件)。可以部署计算机程序以在一个计算机上执行或在位于一个站点或分布在多个站点并通过通信网络互连的多个计算机上执行。
本文档中描述的过程和逻辑流可以由一个或多个可编程处理器执行,该处理器执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流也可以由专用逻辑电路执行,并且装置也可以被实现为专用逻辑电路,例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
举例来说,适合于执行计算机程序的处理器包括通用和专用微处理器两者,以及任何种类的数字计算机的任何一个或多个处理器。一般而言,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器设备。一般而言,计算机还将包括或可操作地耦合以从一个或多个用于存储数据的大容量存储设备(例如,磁、磁光盘或光盘)接收数据或向其传输数据或两者。但是,计算机不需要具有此类设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,举例来说,包括半导体存储器设备,例如EPROM、EEPROM和闪存设备;磁盘,例如内部硬盘或可移动盘;磁光盘;以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或结合在专用逻辑电路中。
虽然本专利文档包含许多细节,但这些不应当被解释为对任何主题或可要求保护的内容的范围的限制,而是对可以特定于特定技术的特定实施例的特征的描述。本专利文档中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反,在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合实现。此外,虽然特征可以在某些组合中如上所述起作用,并且甚至最初就是如此要求保护的,但在一些情况下,来自要求保护的组合的一个或多个特征可以从组合中删除,并且要求保护的组合可以针对子组合或子组合的变体。
类似地,虽然在附图中以特定次序描绘了操作,但这不应当被理解为要求以所示特定次序或按顺序次序执行此类操作,或者执行所有所示操作以实现期望的结果。此外,本专利文献中描述的实施例中各种系统组件的分离不应当被理解为在所有实施例中都要求这种分离。
仅描述了几个实施方式和示例,并且可以基于本专利文档中描述和说明的内容做出其它实施方式、增强和变化。

Claims (42)

1.一种视频处理的方法,包括:
针对视频的当前图片的当前处理单元的色度块与所述视频的比特流之间的转换,确定对所述色度块应用交叉分量自适应环路滤波操作;以及
基于所述确定执行所述转换,
其中,在所述交叉分量自适应环路滤波操作中,基于亮度样点的信息对所述色度块的色度样点进行滤波,并且
其中,位于所述当前处理单元之外的一个或多个亮度样点被从所述色度样点的滤波中排除。
2.如权利要求1所述的方法,其中所述当前处理单元由自适应环路滤波虚拟边界定义。
3.如权利要求1所述的方法,其中位于自适应环路滤波虚拟边界之外的一个或多个亮度样点被从所述色度样点的滤波中排除。
4.如权利要求3所述的方法,其中所述自适应环路滤波虚拟边界之内的一个或多个亮度样点用于替换位于所述自适应环路滤波虚拟边界之外的所述一个或多个亮度样点并且被包括在所述色度样点的滤波中。
5.如权利要求1所述的方法,其中所述当前图片还包括视频块,以及
其中,当所述视频块的边缘与所述当前图片中的子图片的边界重合且跨所述子图片的所述边界的环路滤波操作被禁用时,不对所述边缘应用去方块滤波器过程。
6.如权利要求5所述的方法,其中指示跨所述子图片的所述边界的所述环路滤波操作过程是否被禁用的语法元素被包括在所述比特流中。
7.如权利要求1所述的方法,其中基于包括在所述比特流中的序列参数集中的变换跳过启用标志的值,指示用于变换跳过编解码工具的最大块尺寸的语法元素被有条件地包括在所述比特流中的所述序列参数集中。
8.如权利要求1所述的方法,其中所述当前图片还包括视频块,
其中,维护基于历史的运动矢量预测表以用于运动矢量预测,
其中,当所述视频块以第一模式被编解码时,限制所述基于历史的运动矢量预测表基于所述视频块被更新,并且
其中,在所述第一模式中,允许将所述视频块划分为两个分割的分割方案,并且所述两个分割中的至少一个分割是非正方形和非矩形的。
9.如权利要求1所述的方法,其中所述转换包括将所述当前图片编码到所述比特流中。
10.如权利要求1所述的方法,其中所述转换包括从所述比特流解码所述当前图片。
11.一种用于处理视频数据的装置,包括处理器和其上具有指令的非暂时性存储器,其中所述指令在由所述处理器执行时使得所述处理器:
针对视频的当前图片的当前处理单元的色度块与所述视频的比特流之间的转换,确定对所述色度块应用交叉分量自适应环路滤波操作;以及
基于所述确定执行所述转换,
其中,在所述交叉分量自适应环路滤波操作中,基于亮度样点的信息对所述色度块的色度样点进行滤波,并且
其中,位于所述当前处理单元之外的一个或多个亮度样点被从所述色度样点的滤波中排除。
12.如权利要求11所述的装置,其中所述当前处理单元由自适应环路滤波虚拟边界定义。
13.如权利要求11所述的装置,其中位于自适应环路滤波虚拟边界之外的一个或多个亮度样点被从所述色度样点的滤波中排除。
14.如权利要求13所述的装置,其中所述自适应环路滤波虚拟边界之内的一个或多个亮度样点用于替换位于所述自适应环路滤波虚拟边界之外的所述一个或多个亮度样点并且被包括在所述色度样点的滤波中。
15.如权利要求11所述的装置,其中所述当前图片还包括视频块,以及
其中,当所述视频块的边缘与所述当前图片中的子图片的边界重合且跨所述子图片的所述边界的环路滤波操作被禁用时,不对所述边缘应用去方块滤波器过程。
16.如权利要求15所述的装置,其中指示跨所述子图片的所述边界的所述环路滤波操作过程是否被禁用的语法元素被包括在所述比特流中。
17.如权利要求11所述的装置,其中基于包括在所述比特流中的序列参数集中的变换跳过启用标志的值,指示用于变换跳过编解码工具的最大块尺寸的语法元素被有条件地包括在所述比特流中的所述序列参数集中。
18.如权利要求11所述的装置,其中所述当前图片还包括视频块,
其中,维护基于历史的运动矢量预测表以用于运动矢量预测,
其中,当所述视频块以第一模式被编解码时,限制所述基于历史的运动矢量预测表基于所述视频块被更新,并且
其中,在所述第一模式中,允许将所述视频块划分为两个分割的分割方案,并且所述两个分割中的至少一个分割是非正方形和非矩形的。
19.一种存储指令的非暂时性计算机可读存储介质,所述指令使得处理器:
针对视频的当前图片的当前处理单元的色度块与所述视频的比特流之间的转换,确定对所述色度块应用交叉分量自适应环路滤波操作;以及
基于所述确定执行所述转换,
其中,在所述交叉分量自适应环路滤波操作中,基于亮度样点的信息对所述色度块的色度样点进行滤波,并且
其中,位于所述当前处理单元之外的一个或多个亮度样点被从所述色度样点的滤波中排除。
20.一种存储由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质,其中所述方法包括:
针对视频的当前图片的当前处理单元的色度块,确定对所述色度块应用交叉分量自适应环路滤波操作;以及
基于所述确定执行生成所述比特流,
其中,在所述交叉分量自适应环路滤波操作中,基于亮度样点的信息对所述色度块的色度样点进行滤波,并且
其中,位于所述当前处理单元之外的一个或多个亮度样点被从所述色度样点的滤波中排除。
21.一种用于存储视频的比特流的方法,包括:
针对视频的当前图片的当前处理单元的色度块,确定对所述色度块应用交叉分量自适应环路滤波操作;
基于所述确定执行生成所述比特流;以及
将所述比特流存储在非暂时性计算机可读记录介质中,
其中,在所述交叉分量自适应环路滤波操作中,基于亮度样点的信息对所述色度块的色度样点进行滤波,并且
其中,位于所述当前处理单元之外的一个或多个亮度样点被从所述色度样点的滤波中排除。
22.一种处理视频数据的方法,包括:
针对包括被划分为一个或多个子图片的图片的视频与所述视频的比特流之间的转换,基于包括在所述比特流中的第一语法元素和第二语法元素确定所述一个或多个子图片的子图片的位置;以及
基于所述确定执行所述转换,
其中,所述第一语法元素指示以CtbSizeY为单位的所述子图片的左上编解码树单元的水平位置,并且所述第一语法元素的长度被推导为Ceil(Log2(S1))比特,
其中,所述第二语法元素指示以CtbSizeY为单位的所述子图片的左上编解码树单元的垂直位置,并且所述第二语法元素的长度被推导为Ceil(Log2(S2))比特,并且
其中S1和S2大于0,并且CtbSizeY表示编解码树块的尺寸。
23.如权利要求22所述的方法,其中第三语法元素被包括在所述比特流中以指定以CtbSizeY为单位的所述子图片的宽度,并且所述第三语法元素的长度被推导为Ceil(Log2(S1))比特,以及
其中第四语法元素被包括在所述比特流中以指定以CtbSizeY为单位的所述子图片的高度,并且所述第四语法元素的长度被推导为Ceil(Log2(S2))比特。
24.如权利要求23所述的方法,其中S1等于(S3+CtbSizeY-1)/CtbSizeY,S2等于(S4+CtbSizeY-1)/CtbSizeY,
其中,S3是包括在序列参数集中并且指定以亮度样点为单位的参考所述序列参数集的解码的图片的最大宽度的语法元素的值,以及
其中,S4是包含在所述序列参数集中并且指定以亮度样点为单位的参考所述序列参数集的解码的图片的最大高度的语法元素的值。
25.如权利要求24所述的方法,其中S3和S4分别是Max(8,MinCbSizeY)的整数倍。
26.如权利要求22所述的方法,其中所述比特流符合指定不同子图片具有不同子图片ID值的格式规则。
27.如权利要求26所述的方法,其中当一个或多个语法元素的值等于0时,将默认值指派给所述子图片的子图片ID值,
其中,当所述一个或多个语法元素的所述值等于0时,既不在序列参数集中也不在图片参数集中显式地信令通知子图片ID映射。
28.如权利要求27所述的方法,其中当所述一个或多个语法元素的所述值等于0时,指定所述子图片的ID的第五语法元素不包括在图片参数集中,并且指定所述子图片的ID的第六语法元素子图片不包括在序列参数集中。
29.如权利要求27所述的方法,其中所述子图片是所述图片中的第i个子图片并且所述默认值等于i,以及
其中i是小于所述图片中子图片数量的整数。
30.如权利要求22所述的方法,其中所述转换包括将所述图片编码到所述比特流中。
31.如权利要求22所述的方法,其中所述转换包括从所述比特流解码所述图片。
32.一种用于处理视频数据的装置,包括处理器和其上具有指令的非暂态存储器,其中所述指令在由所述处理器执行时使得所述处理器:
针对包括被划分为一个或多个子图片的图片的视频与所述视频的比特流之间的转换,基于包括在所述比特流中的第一语法元素和第二语法元素确定所述一个或多个子图片的子图片的位置;以及
基于所述确定执行所述转换,
其中,所述第一语法元素指示以CtbSizeY为单位的所述子图片的左上编解码树单元的水平位置,并且所述第一语法元素的长度被推导为Ceil(Log2(S1))比特,
其中,所述第二语法元素指示以CtbSizeY为单位的所述子图片的左上编解码树单元的垂直位置,并且所述第二语法元素的长度被推导为Ceil(Log2(S2))比特,并且
其中S1和S2大于0,并且CtbSizeY表示编解码树块的尺寸。
33.如权利要求32所述的装置,其中第三语法元素被包括在所述比特流中以指定以CtbSizeY为单位的所述子图片的宽度,并且所述第三语法元素的长度被推导为Ceil(Log2(S1))比特,以及
其中第四语法元素被包括在所述比特流中以指定以CtbSizeY为单位的所述子图片的高度,并且所述第四语法元素的长度被推导为Ceil(Log2(S2))比特。
34.如权利要求33所述的装置,其中S1等于(S3+CtbSizeY-1)/CtbSizeY,S2等于(S4+CtbSizeY-1)/CtbSizeY,
其中,S3是包括在序列参数集中并且指定以亮度样点为单位的参考所述序列参数集的解码的图片的最大宽度的语法元素的值,以及
其中,S4是包含在所述序列参数集中并且指定以亮度样点为单位的参考所述序列参数集的解码的图片的最大高度的语法元素的值。
35.如权利要求34所述的装置,其中S3和S4分别是Max(8,MinCbSizeY)的整数倍。
36.如权利要求32所述的装置,其中所述比特流符合指定不同子图片具有不同子图片ID值的格式规则。
37.如权利要求36所述的装置,其中当一个或多个语法元素的值等于0时,将默认值指派给所述子图片的子图片ID值,
其中,当所述一个或多个语法元素的所述值等于0时,既不在序列参数集中也不在图片参数集中显式地信令通知子图片ID映射。
38.一种存储指令的非暂时性计算机可读存储介质,所述指令使得处理器:
针对包括被划分为一个或多个子图片的图片的视频与所述视频的比特流之间的转换,基于包括在所述比特流中的第一语法元素和第二语法元素确定所述一个或多个子图片的子图片的位置;以及
基于所述确定执行所述转换,
其中,所述第一语法元素指示以CtbSizeY为单位的所述子图片的左上编解码树单元的水平位置,并且所述第一语法元素的长度被推导为Ceil(Log2(S1))比特,
其中,所述第二语法元素指示以CtbSizeY为单位的所述子图片的左上编解码树单元的垂直位置,并且所述第二语法元素的长度被推导为Ceil(Log2(S2))比特,并且
其中S1和S2大于0,并且CtbSizeY表示编解码树块的尺寸。
39.如权利要求38所述的非暂时性计算机可读存储介质,其中第三语法元素被包括在所述比特流中以指定以CtbSizeY为单位的所述子图片的宽度,并且所述第三语法元素的长度被推导为Ceil(Log2(S1))比特,以及其中第四语法元素被包括在所述比特流中以指定以CtbSizeY为单位的所述子图片的高度,并且所述第四语法元素的长度被推导为Ceil(Log2(S2))比特,
其中S1等于(S3+CtbSizeY-1)/CtbSizeY,S2等于(S4+CtbSizeY-1)/CtbSizeY,
其中,S3是包括在序列参数集中并且指定以亮度样点为单位的参考所述序列参数集的解码的图片的最大宽度的语法元素的值,以及
其中,S4是包含在所述序列参数集中并且指定以亮度样点为单位的参考所述序列参数集的解码的图片的最大高度的语法元素的值。
40.一种存储由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质,其中所述方法包括:
针对包括被划分为一个或多个子图片的图片的视频,基于包括在所述比特流中的第一语法元素和第二语法元素确定所述一个或多个子图片的子图片的位置;以及
基于所述确定生成所述比特流,
其中,所述第一语法元素指示以CtbSizeY为单位的所述子图片的左上编解码树单元的水平位置,并且所述第一语法元素的长度被推导为Ceil(Log2(S1))比特,
其中,所述第二语法元素指示以CtbSizeY为单位的所述子图片的左上编解码树单元的垂直位置,并且所述第二语法元素的长度被推导为Ceil(Log2(S2))比特,并且
其中S1和S2大于0,并且CtbSizeY表示编解码树块的尺寸。
41.如权利要求40所述的非暂时性计算机可读记录介质,其中第三语法元素被包括在所述比特流中以指定以CtbSizeY为单位的所述子图片的宽度,并且所述第三语法元素的长度被推导为Ceil(Log2(S1))比特,以及其中第四语法元素被包括在所述比特流中以指定以CtbSizeY为单位的所述子图片的高度,并且所述第四语法元素的长度被推导为Ceil(Log2(S2))比特,
其中S1等于(S3+CtbSizeY-1)/CtbSizeY,S2等于(S4+CtbSizeY-1)/CtbSizeY,
其中,S3是包括在序列参数集中并且指定以亮度样点为单位的参考所述序列参数集的解码的图片的最大宽度的语法元素的值,以及
其中,S4是包含在所述序列参数集中并且指定以亮度样点为单位的参考所述序列参数集的解码的图片的最大高度的语法元素的值。
42.一种用于存储视频的比特流的方法,包括:
针对包括被划分为一个或多个子图片的图片的视频,基于包括在所述比特流中的第一语法元素和第二语法元素确定所述一个或多个子图片的子图片的位置;
基于所述确定生成所述比特流;以及
将所述比特流存储在非暂时性计算机可读记录介质中;
其中,所述第一语法元素指示以CtbSizeY为单位的所述子图片的左上编解码树单元的水平位置,并且所述第一语法元素的长度被推导为Ceil(Log2(S1))比特,
其中,所述第二语法元素指示以CtbSizeY为单位的所述子图片的左上编解码树单元的垂直位置,并且所述第二语法元素的长度被推导为Ceil(Log2(S2))比特,并且
其中S1和S2大于0,并且CtbSizeY表示编解码树块的尺寸。
CN202311518164.9A 2019-10-18 2020-10-19 子图片与环路滤波之间的相互影响 Pending CN117676135A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN2019111807 2019-10-18
CNPCT/CN2019/111807 2019-10-18
CN202080073104.9A CN114631321B (zh) 2019-10-18 2020-10-19 子图片与环路滤波之间的相互影响
PCT/CN2020/121768 WO2021073631A1 (en) 2019-10-18 2020-10-19 Interplay between subpictures and in-loop filtering

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080073104.9A Division CN114631321B (zh) 2019-10-18 2020-10-19 子图片与环路滤波之间的相互影响

Publications (1)

Publication Number Publication Date
CN117676135A true CN117676135A (zh) 2024-03-08

Family

ID=75537710

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202080073106.8A Active CN114631317B (zh) 2019-10-18 2020-10-19 子图片的参数集信令中的语法约束
CN202311518164.9A Pending CN117676135A (zh) 2019-10-18 2020-10-19 子图片与环路滤波之间的相互影响
CN202080073104.9A Active CN114631321B (zh) 2019-10-18 2020-10-19 子图片与环路滤波之间的相互影响

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202080073106.8A Active CN114631317B (zh) 2019-10-18 2020-10-19 子图片的参数集信令中的语法约束

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202080073104.9A Active CN114631321B (zh) 2019-10-18 2020-10-19 子图片与环路滤波之间的相互影响

Country Status (8)

Country Link
US (3) US11962771B2 (zh)
EP (2) EP4333431A1 (zh)
JP (2) JP7482220B2 (zh)
KR (1) KR20220078600A (zh)
CN (3) CN114631317B (zh)
BR (1) BR112022007408A2 (zh)
MX (1) MX2022004409A (zh)
WO (2) WO2021073631A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210107128A (ko) * 2019-01-09 2021-08-31 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 인코더, 비디오 디코더 및 대응하는 방법
US12113969B2 (en) 2019-03-11 2024-10-08 Telefonaktiebolaget Lm Ericsson (Publ) Video coding involving GOP-based temporal filtering
WO2021027774A1 (en) 2019-08-10 2021-02-18 Beijing Bytedance Network Technology Co., Ltd. Subpicture dependent signaling in video bitstreams
WO2021063420A1 (en) 2019-10-02 2021-04-08 Beijing Bytedance Network Technology Co., Ltd. Slice level signaling in video bitstreams that include sub-pictures
CN114631317B (zh) 2019-10-18 2024-03-15 北京字节跳动网络技术有限公司 子图片的参数集信令中的语法约束
KR20220074953A (ko) * 2019-11-05 2022-06-03 엘지전자 주식회사 영상/비디오 코딩을 위한 영상 정보 처리 방법 및 장치
FI4044599T3 (fi) * 2019-11-05 2024-03-25 Lg Electronics Inc Kuva/videokoodausmenetelmä ja -laite
CN114902677A (zh) 2019-12-27 2022-08-12 字节跳动有限公司 信令通知视频子图片的语法
WO2021137295A1 (en) * 2019-12-30 2021-07-08 Sharp Kabushiki Kaisha Systems and methods for signaling subpicture information in video coding
CN117395441A (zh) 2020-01-09 2024-01-12 字节跳动有限公司 视频流中的填充数据单元的处理
US11863786B2 (en) * 2021-05-21 2024-01-02 Varjo Technologies Oy Method of transporting a framebuffer

Family Cites Families (215)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6047112A (en) 1992-06-30 2000-04-04 Discovision Associates Technique for initiating processing of a data stream of encoded video information
GB2382940A (en) 2001-11-27 2003-06-11 Nokia Corp Encoding objects and background blocks
FI114679B (fi) 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
US20040177383A1 (en) 2003-01-24 2004-09-09 Chyron Corporation Embedded graphics metadata
JP3967691B2 (ja) 2003-03-31 2007-08-29 株式会社東芝 情報記憶媒体と情報再生装置と情報記録再生装置
KR100983268B1 (ko) 2003-07-21 2010-09-24 엘지전자 주식회사 트릭 플레이시 서브픽쳐 표시 방법
CN100502511C (zh) 2004-09-14 2009-06-17 华为技术有限公司 用于分数像素精度运动预测的插值图像内存组织方法
US7688333B2 (en) 2007-02-28 2010-03-30 Lsi Corporation Method and/or apparatus for color space reduction for transcoding subpicture elements
CN101669360B (zh) 2007-04-26 2016-08-03 宝利通公司 去块滤波器设备
KR100891768B1 (ko) 2007-05-02 2009-04-07 삼성전자주식회사 모션 벡터 탐색 방법
CN101668219B (zh) 2008-09-02 2012-05-23 华为终端有限公司 3d视频通信方法、发送设备和系统
JP2012504925A (ja) 2008-10-06 2012-02-23 エルジー エレクトロニクス インコーポレイティド ビデオ信号の処理方法及び装置
WO2010041858A2 (en) 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for decoding a video signal
SG184528A1 (en) 2010-04-09 2012-11-29 Mitsubishi Electric Corp Moving image encoding device and moving image decoding device
US8988531B2 (en) 2010-07-08 2015-03-24 Texas Instruments Incorporated Method and apparatus for sub-picture based raster scanning coding order
US10327008B2 (en) 2010-10-13 2019-06-18 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
CN101990103B (zh) 2010-11-10 2013-01-16 香港应用科技研究院有限公司 用于多视点视频编码的方法和装置
US20120294353A1 (en) * 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
US9641866B2 (en) 2011-08-18 2017-05-02 Qualcomm Incorporated Applying partition-based filters
CN107580218B (zh) 2011-09-09 2020-05-12 株式会社Kt 用于解码视频信号的方法
US9699457B2 (en) 2011-10-11 2017-07-04 Qualcomm Incorporated Most probable transform for intra prediction coding
US9807403B2 (en) 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
CN103891292B (zh) * 2011-10-24 2018-02-02 寰发股份有限公司 视频数据环路滤波处理方法及其装置
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US9621894B2 (en) * 2012-01-13 2017-04-11 Qualcomm Incorporated Determining contexts for coding transform coefficient data in video coding
US9332259B2 (en) * 2012-01-18 2016-05-03 Qualcomm Incorporated Indication of use of wavefront parallel processing in video coding
US9538200B2 (en) 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
US10244246B2 (en) * 2012-02-02 2019-03-26 Texas Instruments Incorporated Sub-pictures for pixel rate balancing on multi-core platforms
BR112013027865B1 (pt) * 2012-02-03 2023-03-21 Hfi Innovation Inc Método e aparelho de processamento de filtro em loop para pixels de fronteira através de uma fronteira de bloco
US9525861B2 (en) 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9565431B2 (en) * 2012-04-04 2017-02-07 Qualcomm Incorporated Low-delay video buffering in video coding
US20130294524A1 (en) 2012-05-04 2013-11-07 Qualcomm Incorporated Transform skipping and lossless coding unification
US9762903B2 (en) 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
US20130336406A1 (en) 2012-06-14 2013-12-19 Qualcomm Incorporated Redundancy removal for merge/skip mode motion information candidate list construction
US9838685B2 (en) 2012-06-15 2017-12-05 Google Technology Holdings LLC Method and apparatus for efficient slice header processing
US10110890B2 (en) 2012-07-02 2018-10-23 Sony Corporation Video coding system with low delay and method of operation thereof
US20140003504A1 (en) 2012-07-02 2014-01-02 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
US9602827B2 (en) 2012-07-02 2017-03-21 Qualcomm Incorporated Video parameter set including an offset syntax element
US10021394B2 (en) * 2012-09-24 2018-07-10 Qualcomm Incorporated Hypothetical reference decoder parameters in video coding
US9491457B2 (en) 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
US8989508B2 (en) * 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
CN104718760B (zh) 2012-10-05 2019-04-05 寰发股份有限公司 用于三维和多视图视频编码的方法和装置
JPWO2014103774A1 (ja) 2012-12-26 2017-01-12 ソニー株式会社 画像処理装置および方法
KR20230080500A (ko) 2013-01-04 2023-06-07 지이 비디오 컴프레션, 엘엘씨 효율적인 확장가능한 코딩 개념
US10616573B2 (en) 2013-01-07 2020-04-07 Nokia Technologies Oy Method and apparatus for video coding and decoding
US20140218473A1 (en) 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
US9445130B2 (en) 2013-01-09 2016-09-13 Qualcomm Incorporated Blockiness metric for large HEVC block artifacts
WO2014107853A1 (en) 2013-01-09 2014-07-17 Mediatek Singapore Pte. Ltd. Methods for disparity vector derivation
CA2900437C (en) 2013-02-20 2020-07-21 Christian Helmrich Apparatus and method for encoding or decoding an audio signal using a transient-location dependent overlap
EP3490259B1 (en) 2013-04-02 2021-10-13 InterDigital Madison Patent Holdings, SAS Enhanced temporal motion vector prediction for scalable video coding
US9591321B2 (en) 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
US20140307803A1 (en) * 2013-04-08 2014-10-16 Qualcomm Incorporated Non-entropy encoded layer dependency information
US10015515B2 (en) 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
US9648326B2 (en) * 2013-07-02 2017-05-09 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
JP2015015575A (ja) 2013-07-04 2015-01-22 シャープ株式会社 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法、画像復号プログラムおよび画像符号化プログラム
KR101967398B1 (ko) 2013-07-09 2019-04-09 노키아 테크놀로지스 오와이 모션 정보를 시그널링하기 위한 구문을 수반하는 비디오 코딩을 위한 방법 및 장치
JP6505026B2 (ja) 2013-07-10 2019-04-24 シャープ株式会社 符号化方法
WO2015003383A1 (en) 2013-07-12 2015-01-15 Mediatek Singapore Pte. Ltd. Methods for inter-view motion prediction
EP3022921A4 (en) 2013-07-14 2017-03-15 Sharp Kabushiki Kaisha Signaling indications and constraints
GB2516424A (en) 2013-07-15 2015-01-28 Nokia Corp A method, an apparatus and a computer program product for video coding and decoding
WO2015006951A1 (en) 2013-07-18 2015-01-22 Mediatek Singapore Pte. Ltd. Methods for fast encoder decision
GB2516824A (en) * 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
US20150078457A1 (en) 2013-09-13 2015-03-19 Qualcomm Incorporated Representation format signaling in multi-layer video coding
CN105556975A (zh) 2013-10-11 2016-05-04 夏普株式会社 信令告知用于编码的信息
US20150103924A1 (en) * 2013-10-13 2015-04-16 Sharp Laboratories Of America, Inc. On operation of decoded picture buffer for interlayer pictures
WO2015056941A1 (ko) 2013-10-14 2015-04-23 한국전자통신연구원 다계층 기반의 영상 부호화/복호화 방법 및 장치
KR20150057591A (ko) 2013-11-20 2015-05-28 주식회사 디오텍 동영상파일에 대한 자막데이터 생성방법 및 장치
CN106664424A (zh) * 2014-01-03 2017-05-10 诺基亚技术有限公司 参数集编码
US20150271515A1 (en) 2014-01-10 2015-09-24 Qualcomm Incorporated Block vector coding for intra block copy in video coding
US20150215631A1 (en) 2014-01-23 2015-07-30 Broadcom Corporation Parallel Coding with Overlapped Tiles
JP6280679B2 (ja) 2014-02-24 2018-02-14 日本放送協会 フレーム間引き装置、フレーム補間装置、映像符号化装置、映像復号装置、及びこれらのプログラム
CN106105227B (zh) * 2014-03-16 2019-12-24 Vid拓展公司 用于无损视频译码的信令的方法和设备
WO2015140401A1 (en) 2014-03-17 2015-09-24 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
CN108989815B9 (zh) 2014-03-19 2021-06-04 株式会社Kt 针对多视图视频信号生成合并候选列表的方法及解码装置
US10750198B2 (en) 2014-05-22 2020-08-18 Qualcomm Incorporated Maximum palette parameters in palette-based video coding
KR20170066457A (ko) 2014-09-26 2017-06-14 브이아이디 스케일, 인크. 시간적 블록 벡터 예측을 갖는 인트라 블록 카피 코딩
CN114554199B (zh) 2014-09-30 2023-11-10 寰发股份有限公司 用于视频编码的自适应运动向量分辨率的方法
US9800898B2 (en) 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
US20170295369A1 (en) 2014-10-06 2017-10-12 Sony Corporation Image processing device and method
US9918105B2 (en) 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
GB2564731B (en) * 2014-10-14 2019-05-29 Canon Kk Description of image composition with HEVC still image file format
KR101981725B1 (ko) 2014-12-19 2019-05-23 에이치에프아이 이노베이션 인크. 비디오 및 이미지 코딩에서의 비-444 색채 포맷을 위한 팔레트 기반 예측의 방법
US11477477B2 (en) 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
CN107211122B (zh) 2015-01-29 2020-05-05 佳能株式会社 对自包含式编码结构进行编码或解码时的调色板预测结果初始化程序
US20160234522A1 (en) 2015-02-05 2016-08-11 Microsoft Technology Licensing, Llc Video Decoding
US10205968B2 (en) 2015-02-13 2019-02-12 Mediatek Inc. Method and apparatus for palette index coding in video and image compression
CN104702963B (zh) * 2015-02-13 2017-11-24 北京大学 一种自适应环路滤波的边界处理方法及装置
WO2016172395A1 (en) 2015-04-21 2016-10-27 Arris Enterprises Llc Scalable video coding system with parameter signaling
US10200713B2 (en) 2015-05-11 2019-02-05 Qualcomm Incorporated Search region determination for inter coding within a particular picture of video data
JP2017017629A (ja) 2015-07-03 2017-01-19 富士通株式会社 動画像符号化装置、動画像符号化方法、及びプログラム
KR102264767B1 (ko) 2015-07-27 2021-06-14 미디어텍 인크. 인트라 블록 복사 모드를 이용한 비디오 코딩을 위한 시스템의 방법
US10715843B2 (en) 2015-08-20 2020-07-14 Koninklijke Kpn N.V. Forming one or more tile streams on the basis of one or more video streams
US10375413B2 (en) 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
WO2017083784A1 (en) 2015-11-11 2017-05-18 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
WO2017133661A1 (en) 2016-02-05 2017-08-10 Mediatek Inc. Method and apparatus of motion compensation based on bi-directional optical flow techniques for video coding
CN113347442B (zh) 2016-02-09 2022-08-23 弗劳恩霍夫应用研究促进协会 用于对编码有图片的数据流进行解码的方法
US10349067B2 (en) 2016-02-17 2019-07-09 Qualcomm Incorporated Handling of end of bitstream NAL units in L-HEVC file format and improvements to HEVC and L-HEVC tile tracks
WO2017147765A1 (en) 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
US10638152B2 (en) 2016-03-15 2020-04-28 Mediatek Inc. Method and apparatus of video coding with affine motion compensation
US20170272758A1 (en) 2016-03-16 2017-09-21 Mediatek Inc. Video encoding method and apparatus using independent partition coding and associated video decoding method and apparatus
KR102715635B1 (ko) 2016-03-28 2024-10-11 로즈데일 다이나믹스 엘엘씨 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN109076216B (zh) 2016-03-30 2023-03-31 韩国电子通信研究院 使用画面划分信息对视频进行编码和解码的方法和设备
WO2017188566A1 (ko) 2016-04-25 2017-11-02 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
US10419755B2 (en) 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
RU2710667C1 (ru) 2016-05-28 2019-12-30 МедиаТек Инк. Способ и устройство привязки к текущему изображению для кодирования видео
CN107566848B (zh) 2016-06-30 2020-04-14 华为技术有限公司 编解码的方法及装置
CN107801039B (zh) 2016-08-30 2020-04-14 华为技术有限公司 运动补偿预测方法和装置
US10419757B2 (en) * 2016-08-31 2019-09-17 Qualcomm Incorporated Cross-component filter
US20180098090A1 (en) 2016-10-04 2018-04-05 Mediatek Inc. Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters
US20210136400A1 (en) 2016-11-29 2021-05-06 Mediatek Inc. Method and apparatus of merge mode derivation for video coding
AU2016273973A1 (en) 2016-12-16 2018-07-05 Canon Kabushiki Kaisha Transcode PCL delta-row compressed image to edges
CN110115032B (zh) 2016-12-22 2021-07-20 联发科技股份有限公司 用于视频编解码的运动细化的方法以及装置
CN110140355B (zh) 2016-12-27 2022-03-08 联发科技股份有限公司 用于视频编解码的双向模板运动向量微调的方法及装置
US10277895B2 (en) 2016-12-28 2019-04-30 Arris Enterprises Llc Adaptive unequal weight planar prediction
US10931969B2 (en) 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
US20180199057A1 (en) 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
US10523964B2 (en) 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)
US20180310017A1 (en) 2017-04-21 2018-10-25 Mediatek Inc. Sub-prediction unit temporal motion vector prediction (sub-pu tmvp) for video coding
KR102435881B1 (ko) 2017-05-26 2022-08-24 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
CN107277316B (zh) 2017-06-12 2020-05-12 京东方科技集团股份有限公司 显示装置及其制造方法
US10904565B2 (en) 2017-06-23 2021-01-26 Qualcomm Incorporated Memory-bandwidth-efficient design for bi-directional optical flow (BIO)
EP3422724B1 (en) 2017-06-26 2024-05-01 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
BR112020000032A2 (pt) 2017-07-03 2020-07-14 Vid Scale, Inc. dispositivo e método de codificação de dados de vídeo.
KR102371574B1 (ko) 2017-07-06 2022-03-07 프라운 호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 분할된 비디오 스트리밍 개념
US10483493B2 (en) 2017-08-01 2019-11-19 Apple Inc. Electronic device having display with thin-film encapsulation
US10856003B2 (en) 2017-10-03 2020-12-01 Qualcomm Incorporated Coding affine prediction motion information for video coding
KR102488330B1 (ko) 2017-10-09 2023-01-12 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
US20190116376A1 (en) 2017-10-12 2019-04-18 Qualcomm Incorporated Motion vector predictors using affine motion model in video coding
JP2021016016A (ja) 2017-10-20 2021-02-12 シャープ株式会社 動画像符号化装置及び動画像復号装置
US10776688B2 (en) 2017-11-06 2020-09-15 Nvidia Corporation Multi-frame video interpolation using optical flow
CN118018762A (zh) * 2017-12-28 2024-05-10 韩国电子通信研究院 图像编码和解码的方法和装置以及存储比特流的记录介质
CN109996072B (zh) 2018-01-03 2021-10-15 华为技术有限公司 视频图像的处理方法及装置
EP3738310A4 (en) 2018-01-11 2021-08-11 Qualcomm Incorporated VIDEO ENCODING USING LOCAL LIGHTING COMPENSATION
US10757417B2 (en) 2018-01-20 2020-08-25 Qualcomm Incorporated Affine motion compensation in video coding
WO2019145262A1 (en) * 2018-01-25 2019-08-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient sub-picture extraction
US11012715B2 (en) 2018-02-08 2021-05-18 Qualcomm Incorporated Intra block copy for video coding
WO2019169339A1 (en) 2018-03-01 2019-09-06 Arris Enterprises Llc System and method of motion information storage for video coding and signaling
CN116684638A (zh) 2018-04-01 2023-09-01 Lg电子株式会社 图像编码/解码方法、视频数据发送方法和存储介质
CN111937399B (zh) 2018-04-03 2023-07-14 英迪股份有限公司 基于仿射模型的图像编码/解码方法和装置
RU2020135518A (ru) 2018-04-06 2022-04-29 Вид Скейл, Инк. Метод двунаправленного оптического потока с упрощенным выведением градиента
US20190320196A1 (en) 2018-04-12 2019-10-17 Arris Enterprises Llc Motion Information Storage for Video Coding and Signaling
US10873748B2 (en) 2018-05-12 2020-12-22 Qualcomm Incorporated Storage of high precision motion vectors in video coding
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
JP7414742B2 (ja) 2018-06-27 2024-01-16 ヴィド スケール インコーポレイテッド デコーダ側動きリファインメントのコーディング待ち時間を低減させる方法および装置
KR20210038846A (ko) 2018-06-29 2021-04-08 브이아이디 스케일, 인크. Affine motion 모델 기반 비디오 코딩을 위한 적응형 제어 포인트 선택
TWI722467B (zh) 2018-06-29 2021-03-21 大陸商北京字節跳動網絡技術有限公司 視頻處理方法、視頻系統中的裝置及電腦程式產品
CN110662075B (zh) 2018-06-29 2023-04-25 北京字节跳动网络技术有限公司 改进的时域运动矢量预测推导
TWI731363B (zh) 2018-07-01 2021-06-21 大陸商北京字節跳動網絡技術有限公司 高效的仿射Merge運動向量推導
TWI731361B (zh) 2018-07-01 2021-06-21 大陸商北京字節跳動網絡技術有限公司 依賴形狀的幀內編碼
JP7181395B2 (ja) 2018-07-02 2022-11-30 北京字節跳動網絡技術有限公司 イントラ予測モードを有するルックアップテーブルおよび非隣接ブロックからのイントラモード予測
CN112544077B (zh) 2018-07-16 2023-12-08 Lg电子株式会社 用于子块单元中的时间运动信息预测的帧间预测方法及其装置
WO2020017892A1 (ko) 2018-07-17 2020-01-23 엘지전자 주식회사 서브블록 단위의 시간적 움직임 벡터 예측을 위한 방법 및 그 장치
CN110809155B (zh) 2018-08-04 2023-01-31 北京字节跳动网络技术有限公司 视频处理方法、装置和计算机可读介质
KR20240005178A (ko) 2018-09-19 2024-01-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 움직임 벡터 해상도를 가지는 어파인 모드에 대한 구문 재사용
CN118474363A (zh) 2018-09-20 2024-08-09 韩国电子通信研究院 图像编码/解码方法和装置及存储比特流的记录介质
JP2022501915A (ja) 2018-09-20 2022-01-06 シャープ株式会社 ビデオ符号化におけるパラメータをシグナリングするためのシステム及び方法
GB2577318B (en) 2018-09-21 2021-03-10 Canon Kk Video coding and decoding
TWI815973B (zh) 2018-09-23 2023-09-21 大陸商北京字節跳動網絡技術有限公司 具有自我調整運動向量解析度的運動向量精度指示的信令通知
CN110944207B (zh) 2018-09-23 2023-12-08 北京字节跳动网络技术有限公司 仿射模型的表示
TWI840413B (zh) 2018-09-23 2024-05-01 大陸商北京字節跳動網絡技術有限公司 仿射模式中的子塊的運動矢量推導
TW202029755A (zh) 2018-09-26 2020-08-01 美商Vid衡器股份有限公司 視訊編碼雙預測
KR102637604B1 (ko) 2018-10-08 2024-02-16 엘지전자 주식회사 신택스 디자인 방법 및 신택스를 이용하여 코딩을 수행하는 장치
WO2020084461A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on coding information
CN111083485B (zh) 2018-10-22 2024-08-02 北京字节跳动网络技术有限公司 仿射模式的运动信息的利用
CN111083489B (zh) 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 多次迭代运动矢量细化
WO2020084507A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Harmonized local illumination compensation and modified inter prediction coding
CN112997485A (zh) 2018-11-05 2021-06-18 北京字节跳动网络技术有限公司 用于具有细化的帧间预测的插值
EP3861736A4 (en) 2018-11-06 2022-03-30 Beijing Bytedance Network Technology Co., Ltd. POSITION DEPENDENT INTRAPREDICTION
CN109600611B (zh) * 2018-11-09 2021-07-13 北京达佳互联信息技术有限公司 环路滤波方法、环路滤波装置、电子设备和可读介质
WO2020098803A1 (en) 2018-11-15 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Harmonization between affine mode and other inter coding tools
CN113170105A (zh) 2018-11-16 2021-07-23 北京字节跳动网络技术有限公司 基于历史的仿射参数继承
CN113039801B (zh) 2018-11-17 2023-12-19 北京字节跳动网络技术有限公司 用运动矢量差候选构建Merge
CN113170093B (zh) 2018-11-20 2023-05-02 北京字节跳动网络技术有限公司 视频处理中的细化帧间预测
US11146810B2 (en) 2018-11-27 2021-10-12 Qualcomm Incorporated Decoder-side motion vector refinement
EP4307681A3 (en) 2018-11-29 2024-04-03 Beijing Bytedance Network Technology Co., Ltd. Interaction between intra block copy mode and inter prediction tools
US11627310B2 (en) 2019-01-02 2023-04-11 Lg Electronics Inc. Affine motion prediction-based video decoding method and device using subblock-based temporal merge candidate in video coding system
CN113498606A (zh) 2019-01-02 2021-10-12 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
JP2022515725A (ja) 2019-01-02 2022-02-22 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 候補mvリストの構築方法、プログラム、及び電子デバイス
KR20210107128A (ko) 2019-01-09 2021-08-31 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 인코더, 비디오 디코더 및 대응하는 방법
WO2020156576A1 (en) 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Multi-hmvp for affine
GB201902829D0 (en) * 2019-03-01 2019-04-17 Canon Kk Method and apparatus for encoding and decoding a video bitsream for merging regions of interest
ES2980868T3 (es) 2019-03-11 2024-10-03 Huawei Tech Co Ltd Direcciones de segmento basadas en sub-imagen en codificación de vídeo
US20200296405A1 (en) 2019-03-14 2020-09-17 Qualcomm Incorporated Affine motion compensation refinement using optical flow
CN113574869B (zh) 2019-03-17 2024-01-05 北京字节跳动网络技术有限公司 基于光流的预测细化
US11350108B2 (en) 2019-03-18 2022-05-31 Tencent America LLC Affine inter prediction refinement with optical flow
CN115190317A (zh) 2019-04-02 2022-10-14 抖音视界有限公司 解码器侧运动矢量推导
EP3928521A4 (en) 2019-04-02 2022-08-17 Beijing Bytedance Network Technology Co., Ltd. BIDIRECTIONAL OPTICAL FLOW BASED VIDEO ENCODING AND DECODING
CN113711609B (zh) 2019-04-19 2023-12-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程中的增量运动矢量
WO2020211864A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Region based gradient calculation in different motion vector refinements
WO2020211866A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Applicability of prediction refinement with optical flow process
CN113906750A (zh) 2019-04-30 2022-01-07 韦勒斯标准与技术协会公司 一种使用自适应运动矢量分辨率处理视频信号的方法和装置
US11523109B2 (en) 2019-05-02 2022-12-06 Tencent America LLC Method and apparatus for improvements of affine prof
EP4221225B1 (en) 2019-05-15 2024-05-29 Huawei Technologies Co., Ltd. Handling of bi-directional optical flow (bio) coding tool for reference picture resampling in video coding
JP7323641B2 (ja) 2019-05-21 2023-08-08 北京字節跳動網絡技術有限公司 アフィンモードのための適応動きベクトル差分分解
MX2021014418A (es) * 2019-06-03 2022-01-24 Nokia Technologies Oy Un aparato, un metodo y un programa informatico para codificacion y decodificacion de video.
WO2020262286A1 (en) 2019-06-23 2020-12-30 Sharp Kabushiki Kaisha Systems and methods for performing an adaptive resolution change in video coding
CN114009018A (zh) 2019-06-24 2022-02-01 夏普株式会社 用于基于交叉分量相关性来减小视频编码中的重构误差的系统和方法
KR20220027207A (ko) 2019-07-08 2022-03-07 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩에서의 혼합된 nal 유닛 픽처 제약 조건
MX2022000987A (es) * 2019-07-25 2022-10-28 Hfi Innovation Inc Metodo y aparato de filtrado de bucle adaptativo de componentes cruzados con limite virtual para codificacion de video.
MX2022001593A (es) 2019-08-06 2022-03-11 Op Solutions Llc Método de gestión de resolución adaptativa para señalización.
US11363307B2 (en) 2019-08-08 2022-06-14 Hfi Innovation Inc. Video coding with subpictures
WO2021027774A1 (en) 2019-08-10 2021-02-18 Beijing Bytedance Network Technology Co., Ltd. Subpicture dependent signaling in video bitstreams
GB2586484B (en) * 2019-08-20 2023-03-08 Canon Kk A filter
CN114521331A (zh) 2019-09-13 2022-05-20 松下电器(美国)知识产权公司 编码装置、解码装置、编码方法和解码方法
US11451834B2 (en) 2019-09-16 2022-09-20 Tencent America LLC Method and apparatus for cross-component filtering
US11202068B2 (en) * 2019-09-16 2021-12-14 Mediatek Inc. Method and apparatus of constrained cross-component adaptive loop filtering for video coding
GB201913403D0 (en) 2019-09-17 2019-10-30 Canon Kk Method and apparatus for encoding and decoding a video stream with subpictures
US11240507B2 (en) 2019-09-24 2022-02-01 Qualcomm Incorporated Simplified palette predictor update for video coding
WO2021063420A1 (en) 2019-10-02 2021-04-08 Beijing Bytedance Network Technology Co., Ltd. Slice level signaling in video bitstreams that include sub-pictures
CN116016936A (zh) 2019-10-10 2023-04-25 北京达佳互联信息技术有限公司 使用调色板模式的视频编解码的方法和装置
CN114631317B (zh) 2019-10-18 2024-03-15 北京字节跳动网络技术有限公司 子图片的参数集信令中的语法约束
US11539982B2 (en) 2019-11-01 2022-12-27 Qualcomm Incorporated Merge estimation region for multi-type-tree block structure
WO2021110017A1 (en) 2019-12-02 2021-06-10 Beijing Bytedance Network Technology Co., Ltd. Merge with motion vector differencing in affine mode
US11212523B2 (en) 2020-01-12 2021-12-28 Mediatek Inc. Video processing methods and apparatuses of merge number signaling in video coding systems

Also Published As

Publication number Publication date
JP7482220B2 (ja) 2024-05-13
US20220256148A1 (en) 2022-08-11
MX2022004409A (es) 2022-05-18
EP4333431A1 (en) 2024-03-06
CN114631317B (zh) 2024-03-15
WO2021073631A1 (en) 2021-04-22
EP4032290A4 (en) 2022-11-30
US11962771B2 (en) 2024-04-16
BR112022007408A2 (pt) 2022-09-27
KR20220078600A (ko) 2022-06-10
WO2021073630A1 (en) 2021-04-22
JP2022552537A (ja) 2022-12-16
US20240048699A1 (en) 2024-02-08
EP4032290A1 (en) 2022-07-27
US20220256146A1 (en) 2022-08-11
US11956432B2 (en) 2024-04-09
JP2024009018A (ja) 2024-01-19
CN114631317A (zh) 2022-06-14
CN114631321B (zh) 2024-04-12
CN114631321A (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN114631321B (zh) 子图片与环路滤波之间的相互影响
CN114208196B (zh) 帧间编解码模式的位置限制
CN114503577B (zh) 视频比特流中子图片信令通知的语法
JP7454681B2 (ja) ビデオコーディング及び復号の制約
WO2021129805A1 (en) Signaling of parameters at sub-picture level in a video bitstream
CN115280768A (zh) 视频编解码中的子图片边界滤波

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination