CN114586369A - 视频编解码中发送子图像信息的方法和装置 - Google Patents
视频编解码中发送子图像信息的方法和装置 Download PDFInfo
- Publication number
- CN114586369A CN114586369A CN202080073817.5A CN202080073817A CN114586369A CN 114586369 A CN114586369 A CN 114586369A CN 202080073817 A CN202080073817 A CN 202080073817A CN 114586369 A CN114586369 A CN 114586369A
- Authority
- CN
- China
- Prior art keywords
- sub
- syntax
- picture
- video sequence
- sps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004364 calculation method Methods 0.000 claims description 8
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 47
- 241000023320 Luma <angiosperm> Species 0.000 description 46
- 238000013139 quantization Methods 0.000 description 35
- 239000011159 matrix material Substances 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 13
- 238000005192 partition Methods 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000000638 solvent extraction Methods 0.000 description 7
- 230000011664 signaling Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000000153 supplemental effect Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008825 perceptual sensitivity Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
Abstract
用于视频编解码的方法和装置被公开。根据一种方法，比特流被生成或接收，其中所述比特流包括第一语法和第二语法。所述第一语法与用于表示第三语法的集合的比特目标数量有关，并且每个第三语法指定子图像集合中的一个子图像的一个子图像标识符(ID)。第二语法与子图像集合中的子图像的总数量有关，其中可由比特的目标数量表示的第一数量等于或大于子图像的总数量。根据另一种方法，子图像ID语法对于不同的子图像具有不同的值。
Description
相关引用
本申请要求分别在2019年11月5日递交的申请号为62/930,705的美国临时申请案、在2019年12月27日递交的申请号为62/954,022的美国临时申请案、在2020年1月7日递交的申请号为62/958,205的美国临时申请案以及2020年11月3日递交的申请号为17/087,671的美国临时申请案的优先权。上述全部内容以引用方式并入本发明。
技术领域
本发明涉及视频编解码，更具体地，涉及视频编解码的发送子图像信息的技术。
背景技术
适应性帧内/帧间视频编解码已经广泛用于各种视频编解码标准中，例如运动图像专家组-2(Moving Picture Experts Group,MPEG-2)，高级视频编解码(advanced videocoding，简称AVC)和高效视频编解码(High Efficiency Video Coding，简称HEVC)。在适应性帧内/帧间视频编解码中，输入信号由帧内/帧间预测子预测以生成预测残差。残差通常通过二维变换和量化进行处理。量化的变换系数被编解码。高效率视频编解码(HighEfficiency Video Coding,HEVC)标准是在ITU-T视频编解码专家组(Video CodingExperts Group,VCEG)和ISO/IEC运动图像专家组(Moving Picture Experts Group,MPEG)标准化组织的联合视频项目下开发的，尤其是与称为视频编解码联合协作小组(JointCollaborative Team on Video Coding,JCT-VC)的合作而开发的。在HEVC中，一个片段(Slice)被分割为多个编解码树单元(coding tree units，以下简称为CTU)。在主配置文件(profile)中，CTU的最小尺寸和最大尺寸由序列参数集合(sequence parameter set，SPS)中的语法元素指定。允许的CTU大小可以是8x8，16x16，32x32或64x64。对于每个片段，依据光栅扫描(raster scan)顺序，片段内的CTU被处理。
CTU还被分割为多个编解码单元(multiple coding units，CU)以适应各种局部特性。通过四分树或四分树分割，CTU被进一步分割成多个CU。QT分割将大小为4Nx4N的块拆分为4个相等的大小为2Nx2N的子块。CTU可以是单个CU(即不拆分)，也可拆分成四个大小相等的较小单元，它们对应于编解码树的节点。如果这些单元是编解码树的叶节点，则它们将成为CU。否则，四分树拆分过程被重复，直到节点的大小达到序列参数集合(sequenceparameter set)中指定的最小允许CU大小为止。
依据HEVC，每个CU可被分为一个或多个预测单元(prediction units，PU)。与CU一起，PU作为共享预测信息的基本代表块。在每个PU内部，相同的预测处理被应用，并且以PU为基础，相关信息被发送到解码器。依据PU分割类型，CU可被分为一个，两个或者四个PU。HEVC定义了将CU分解为PU的八种形状，包括分割类型2Nx2N，2NxN，Nx2N，NxN，2NxnU，2NxnD，nLx2N和nRx2N。与CU不同，PU只能依据HEVC分割一次。
在透过基于PU分割类型的预测处理获得残差块之后，可以依据类似于CU的编解码树的另一四分树结构，CU的预测残差被分割成变换单元(transform unit，TU)。TU是具有残差或变换系数的基本代表块，该残差和变换系数用于应用整数变换(integer transform)和量化。对于每个TU，与TU具有相同大小的一整数变换被应用以获得残差系数。在基于TU的量化之后，这些系数被传送到解码器。
图1示出示例性适应性帧间/帧内视频编解码系统，其结合了变换和量化以处理预测残差。对于帧间预测，运动估计(Motion Estimation，简称ME)/运动补偿(MotionCompenstaion，简称MC)112被用来提供预测数据(基于来自其他图像的视频数据)。开关114选择帧内预测110或帧间预测数据，并且所选择的预测数据被提供给加法器116以形成预测误差，也被称为残差。预测误差随后由变换(Transform，简称T)118处理，然后由量化(Quantization，简称Q)120处理。然后，经变换和量化的残差由熵编码器122编码，以包括在与压缩视频数据相对应的视频比特流中。然后，与变换系数相关联的比特流与诸如运动，编解码模式以及与图像区域相关联的其他信息之类的辅助信息打包在一起。辅助信息也可通过熵编码来压缩以减少所需的带宽。因此，如图1所示，与辅助信息相关联的数据被提供给熵编码器122。当帧间预测模式被使用时，一个或多个参考图像也必须在编码器端被重构。因此，经变换和量化的残差由逆量化(Inverse Quantization，简称IQ)124和逆变换(Inverse Transformation，简称IT)126处理以恢复残差。然后在重构(Reconstruction，简称REC)128处，残差被加回到预测数据136以重构视频数据。重构的视频数据可被存储在参考图像缓冲器134中，并用于其他帧的预测。
如图1所示，输入视频数据在编码系统中经历了一系列处理。由于一系列处理，来自REC 128的重构视频数据可能遭受各种损害。因此，在重构的视频数据被存储至参考图像缓冲器134中之前，环路滤波器130常常被应用于重构的视频数据，以提高视频质量。例如，解块滤波器(de-blocking filter，简称DF)和样本适应性偏移(Sample Adaptive Offset，简称SAO)已经被用于高效视频编解码(High Efficiency Video Coding，简称HEVC)标准中。环路滤波器还可包括适应性环路滤波器(Adaptive Loop Filter，简称ALF)。环路滤波器信息可能必须合并到比特流中，以便解码器可以正确恢复所需的信息。因此，环路滤波器信息被提供至熵编码器122以合并到比特流中。在图1中，在重构样本被存储在参考图像缓冲器134中之前，环路滤波器130用于重构的视频。图1中的系统旨在示出典型视频编码器的示例性结构。它可能对应于HEVC系统或H.264。
图2示出用于图1中的编码器系统的相应视频解码器的系统框图。由于编码器还包含用于重构视频数据的本地解码器，因此除熵解码器210外，一些解码器组件已在编码器中被使用。此外，在解码器侧，仅运动补偿220被需要。开关146选择帧内预测或帧间预测，并且所选择的预测数据被提供给重构(reconstruction，简称REC)128以与恢复的残差组合。除了对压缩的残差执行熵解码之外，熵解码210还负责辅助信息的熵解码，并且将辅助信息提供给各个块。例如，帧内模式信息被提供至帧内预测110，帧间模式信息被提供至运动补偿220，环路滤波器信息被提供至环路滤波器130，以及残差被提供至逆量化124。这些残差由IQ 124，IT 126和随后的重构过程来处理以重构视频数据。再次，来自REC 128的重构的视频数据经历如图2所示的包括IQ 124和IT 126的一系列处理，并且受到编码伪像的影响。重构的视频数据由环路滤波器130进一步处理。
默认量化矩阵表示
量化矩阵(quantization matrix，简称QM)已用于各种视频编解码标准中。例如，量化矩阵被用于图1中的量化120和图2中的逆量化124。意味着对残差信号的编解码的基于块的混合视频编解码方案，可使用频率依赖缩放来控制变换单元(transform unit，简称TU)中不同频率上的量化失真的的分布。为了在空间频率上实现感知上均匀的量化，量化矩阵可被设计，以根据在相关频率范围内的感知灵敏度，对与变换系数相关联的每个频率信道进行加权。因此，与高频系数相比，变换块中的低频系数将以更精细的量化步长进行量化。相应的量化矩阵可被用来在解码器侧对加权的反变换系数进行反加权。
量化矩阵已经在诸如H.264/AVC和H.265/HEVC(高效视频编解码)之类的视频编解码标准中被成功地利用，这允许改善视频内容的主观质量。由于其有效性，量化矩阵已被广泛用于众多视频编解码产品中。
HEVC规范包括四个尺寸为4x4、8×8、16×16和32×32的整数逆变换矩阵。这些变换矩阵是相同大小的DCT-2矩阵的整数近似，旨在保留离散余弦变换(disctrete cosinetransform，简称DCT)系数的结构。一额外的4×4离散正弦变换(discrete sinetransform，简称DST)矩阵被指定，该矩阵应用于帧内预测4×4块的残差。为了区别于DST，四个DCT被称为HEVC核心变换。
量化矩阵正在被评估用于新兴的新视频编解码标准中，该标准被称为多功能视频编解码(Versatile Video Coding，简称VVC)，作为下一代视频编解码标准和H.265/HEVC的后继标准。在本公开中，量化矩阵也被称为缩放矩阵。
当频率依赖缩放被启用时，大小为4x4和8x8的量化矩阵具有如图3所示的默认值。如图3所示，4x4矩阵310用于帧内和帧间模式的亮度和色度分量。在帧内模式下，8×8矩阵320用于亮度和色度分量，以及在帧间模式下，8×8矩阵330用于亮度和色度分量。
例如，对于变换块的不同大小和类型，以下20种量化矩阵可被支持。
·亮度：帧内4x4，帧间4x4，帧内8x8，帧间8x8，帧内16x16，帧间16x16，帧内32x32，帧间32x32
·Cb：帧内4x4，帧间4x4，帧内8x8，帧间8x8，帧内16x16，帧间16x16
·Cr：帧内4x4，帧间4x4，帧内8x8，帧间8x8，帧内16x16，帧间16x16
例如，为了减少存储量化矩阵所需的内存，8x8矩阵被用来生成16x16和32x32量化矩阵。通过使用复制进行上采样，大小为16x16和32x32的变换块的默认量化矩阵从相同类型的默认8x8量化矩阵中获取。该过程在图4中示出：图中的点填充块412指示，8x8量化矩阵410中的量化矩阵条目被复制到16x16量化矩阵420中的2x2区域422中，并被复制到32x32量化矩阵430中4x4区域432中。
亮度映射和色度缩放(Luma Mapping and Chroma Scaling，简称LMCS)
多功能视频编解码(Versatile Video Coding，简称VVC)是由联合视频专家组开发的新兴视频编解码标准，该联合组由ITU-T第16研究组视频编解码专家组和ISO/IECJTC1 SC29/WG11(运动图像专家组(Moving Picture Experts Group，简称MPEG))。VVC基于高效视频编解码(High Efficient Video Coding，简称HEVC)视频标准，具有改进和新的编解码工具。例如，重塑处理是VTM-4.0(VVC测试模型4.0版)中采用的新编解码工具。重塑处理也被称为亮度映像和色度缩放(Luma Mapping and Chroma Scaling，简称LMCS)。当重塑被应用时，在环路滤波之前，视频样本在重塑域中进行编码和重构。通过使用逆重塑，重塑域重构的样本被转换为原始域。经环路滤波的原始域重构样本被存储在解码图像缓冲区中。对于帧间模式，通过使用前向重塑，运动补偿(motion compensated，简称MC)预测子被转换为重塑域。图5示出在解码器侧的重塑处理的示例。
如图5所示，比特流由上下文适应性二进制算术编码(context-adaptive binaryarithmetic coding，简称CABAC)解码器510(即CABAC-1)，逆量化(即Q-1)和逆变换(T-1)处理得出重构的亮度残差Yres。重构的亮度残差被提供至亮度重构块520以生成重构的亮度信号。对于帧内模式，预测子来自帧内预测块530。对于帧间模式，预测子来自运动补偿块540。由于在编码器侧重塑被应用于亮度信号，因此在预测子被提供至重构块520之前，前向重塑550被应用于来自运动补偿块540的预测子。逆重塑560被应用于来自重构块520的重构亮度信号以恢复未重塑的重构亮度信号。然后，在信号被存储至解码图像缓冲器(decodedpicture buffer，简称DPB)580中之前，环路滤波器570被应用于未重塑的重构亮度信号。
发明内容
一种用于编解码视频序列的方法和装置被公开，子图像编解码模式被包括其中。根据本发明，与视频序列的编码数据相对应的比特流在编码器侧被生成或在解码器侧被接收，其中该比特流包括第一语法和第二语法，第一语法对应于用于表示第三语法的集合的比特的目标数量，并且每个第三语法指定子图像集合中的一子图像的一子图像ID，第二语法对应于该子图像集合中的子图像的总数量，其中第一语法的第一值的计算等于或大于第二语法的第二值的计算。基于包括子图像集合的信息，视频序列在编码器侧被编码或者在解码器侧被解码。
在一实施例中，在编码器侧第一语法和第二语法被发送，或者在解码器侧在序列参数集合(sequence parameter set，简称SPS)中被解析。在另一实施例中，在序列参数集合(sequence parameter set，简称SPS)，图像参数集合(picture parameter set，简称PPS)，片段报头(slice header，简称SH)，图像报头(picture header，简称PH)或其组合中，第一语法和第二语法在编码器侧被发送或者在解码器侧被解析。
在一实施例中，第一语法对应于比特的目标数量减1。在一示例中，第一语法在序列参数集合(sequence parameter set，简称SPS)中，并被指定为sps_subpic_id_len_minus1，用于表示比特的目标数量减1。在另一示例中，第一数量可由比特的目标数量表示，比特的目标数量对应于(1<<((比特的目标数量减1)+1)，其中“<<”表示算术左移运算。在另一示例中，第二语法在序列参数集合(sequence parameter set，简称SPS)中，并被指定为sps_num_subpic_minus1，用于表示子图像集合中的子图像的总数量减1。
在一实施例中，第一语法对应于比特的目标数量减去偏移量并加上第一值，其中第一值对应于Ceil(Log2(子图像的总数量))，以及其中“Ceil”是上限功能，“Log2”是以2为底数的对数函数。
用于编解码视频序列的另一种方法和装置被公开，其中子图像编解码模式被包括。根据本发明，与视频序列的编码数据相对应的比特流在编码器侧被生成或在解码器侧被接收，其中该比特流包括子图像标识符(ID)语法，以及每个子图像ID语法指定子图像集合中的一子图像的一子图像ID。其中如果第一子图像与第二子图像不同，则第一子图像的第一子图像ID语法与第二子图像的第二子图像ID语法具有不同的值。基于包括子图像集合的信息，视频序列在编码器侧视频序列被编码或者在解码器侧被解码。
在一实施例中，比特流满足比特流一致性要求，如果第一子图像不同于第二子图像，则第一子图像的第一子图像ID语法与第二子图像的第二子图像ID语法不同。在另一实施例中，在序列参数集合(sequence parameter set，简称SPS)，图像参数集合(pictureparameter set，简称PPS)，片段报头(slice header，简称SH)，图像报头(picture header，简称PH)或其组合中，子图像ID语法的集合在编码器侧被发送或者在解码器侧被解析。
附图说明
图1示出视频编码器的示例性框图，其中，视频编码器结合了帧内/帧间预测，变换和量化处理。
图2示出视频解码器的示例性框图，其中视频解码器结合帧内/帧间预测，逆变换和去量化处理。
图3示出基于4x4和8x8共享的基本缩放比例矩阵的示例，用于在帧内和帧间编码模式下导出亮度和色度分量的更大的缩放比例矩阵。
图4示出通过使用复制进行上采样，从相同类型的基于共享的8x8量化矩阵中，导出大小为16x16和32x32的变换块的量化矩阵的示例。
图5示出引入亮度重塑处理的视频解码器的示例性框图。
图6示出根据本发明的实施例的使用约束子图像语法的示例性编解码系统的流程图。
图7示出根据本发明的实施例的使用约束子图像语法的示例性编解码系统的流程图。
具体实施方式
以下描述是实施本发明的最佳构想模式。该描述的进行是出于说明本发明的一般原理的目的，而不应被认为是限制性的。本发明的范围最好透过参考所附的权利要求书来确定。
发送子图像信息
在VVC Draft 7标准中，JVET-P2001(B.Bross,et al.,“Versatile Video Coding(Draft 7)”,Joint Video Experts Team(JVET)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,16th Meeting:Geneva,CH,1–11Oct.2019,Document:JVET-P2001-vB)，子图像编解码被支持。关于子图像的信息在包括序列参数集合(sequence parameter set，简称SPS)和图像参数集合(picture parameter set，简称PPS)的比特流中发送。
根据JVET-P2001,SPS中的子图像信息的发送在表1中示出。
表1：SPS中子图像信息的发送
在上表中，subpics_present_flag等于1表示子图像参数存在于SPS RBSP语法中。subpics_present_flag等于0表示子图像参数不存在于SPS RBSP语法中。
注2–当比特流是子比特流提取过程的结果并且仅包含子比特流提取过程的输入比特流的子图像的子集合时，可能需要将SPS的RBSP中的subpics_present_flag的值设置为等于1。
sps_num_subpics_minus1加1表示子图像的数量。sps_num_subpics_minus1的范围应在0到254之间。如果sps_num_subpics_minus1不存在，则sps_num_subpics_minus1的值被推断为等于0。
sps_subpic_id_present_flag等于1表示在SPS中存在子图像ID映像。sps_subpic_id_present_flag等于0表示SPS中不存在子图像ID映像。
sps_subpic_id_signalling_present_flag等于1表示在SPS中发送子图像ID映像。sps_subpic_id_signalling_present_flag等于0表示未在SPS中发送子图像ID映像。如果sps_subpic_id_signalling_present_flag不存在，则sps_subpic_id_signalling_present_flag的值被推断为等于0。
sps_subpic_id_len_minus1加1表示用于表示语法元素sps_subpic_id[i]的比特数量。sps_subpic_id_len_minus1的值应在0到15之间，包括0和15。
sps_subpic_id[i]表示第i个子图像的子图像ID。sps_subpic_id[i]语法元素的长度为sps_subpic_id_len_minus1+1比特。当sps_subpic_id[i]不存在时，并且当sps_subpic_id_present_flag等于0时，对于0到sps_num_subpics_minus1(包括端点)之间的每个i，sps_subpic_id[i]的值被推断为等于i。
根据JVET-P2001，PPS中子图像信息的发送如表2所示。
表2：PPS中子图像信息的发送
pps_subpic_id_len_minus1加1指定用于表示语法元素pps_subpic_id[i]的比特数量。pps_subpic_id_len_minus1的值应在0到15之间，包括0和15。
比特流一致性的要求是，对于编解码层视频序列(coded layer video sequence，简称CLVS)中的编码图像所引用的所有PPS，pps_subpic_id_len_minus1的值应当相同。
pps_subpic_id[i]表示第i个子图像的子图像ID。pps_subpic_id[i]语法元素的长度为pps_subpic_id_len_minus1+1比特。
根据JVET-P2001，图像报头(Picture Header，简称PH)中的子图像信息的发送在表3中示出。
表3：PH中子图像信息的发送
ph_subpic_id_signalling_present_flag等于1表示在PH中发送子图像ID映像。ph_subpic_id_signalling_present_flag等于0表示在PH中未发送子图像ID映像。
ph_subpic_id_len_minus1加1指定用于表示语法元素ph_subpic_id[i]的比特数量。pic_subpic_id_len_minus1的值应在0到15的范围内(包括0和15)。
比特流一致性的要求是，对于CLVS中的编解码图像所引用的所有PH，ph_subpic_id_len_minus1的值应当相同。
ph_subpic_id[i]指定第i个子图像的子图像ID。ph_subpic_id[i]语法元素的长度为ph_subpic_id_len_minus1+1比特。
列表SubpicIdList[i]可导出如下：
for(i＝0；i<＝sps_num_subpics_minus1；i++)
SubpicIdList[i]＝sps_subpic_id_present_flag？
(sps_subpic_id_signalling_present_flag？sps_subpic_id[i]：
(ph_subpic_id_signalling_present_flag？ph_subpic_id[i]：pps_subpic_id[i]))：i
尽管VVC Draft 7标准指定了用于表示语法元素sps_subpic_id[i]的比特数量(例如sps_subpic_id_len_minus1加1)和子图像总数量(例如sps_num_subpics_minus1+1)，但该标准并未解决的问题是每个子图像都需要有自己的ID才能区分各种子图像。因此，本发明公开了一种解决该问题的方法。
方法1：根据本发明的实施例的子图像信息的发送约束
为了解决这个问题，根据本发明的实施例，子图像信息的发送被提出。子图像信息的发送的实施例是基于表2。
根据JVET-P2001，语法(sps_subpic_id_len_minus1)在SPS中发送以指示用于表示语法元素sps_subpic_id[i]的比特数量。同样，语法(sps_num_subpics_minus1加1)指定子图像的数量。在本发明的实施例中，基于sps_num_subpics_minus1的值进一步被约束在sps_subpic_id_len_minus1的范围。例如，(1<<(sps_subpic_id_len_minus1加1))的值应大于或等于(sps_num_subpics_minus1加1)，其中“<<”对应于算术左移运算，1<<x对应于2的x次幂以及x是整数。又例如，sps_subpic_id_len_minus1的值应大于或等于Ceil(Log2(sps_num_subpics_minus1 plus))–1，其中Ceil()对应于上限函数，而Ceil(x)代表大于或等于x的最小整数。
在另一实施例中，相同的约束被应用于PPS中的pps_subpic_id_len_minus1。例如，(1<<(pps_subpic_id_len_minus1加1))的值应大于或等于(pps_num_subpics_minus1加1)。在另一实施例中，相同的约束被应用于PH中的ph_subpic_id_len_minus1。例如，(1<<(ph_subpic_id_len_minus1加1))的值应大于或等于(ph_num_subpics_minus1加1)。
发送彩色视频的划分信息
在JVET-P2001中，彩色视频的划分信息在SPS中被发送，如表4所示。
表4：在SPS中发送彩色视频的划分信息
sps_log2_diff_min_qt_min_cb_intra_slice_luma指定由CTU的四叉树分割产生的亮度叶块的亮度样本中最小尺寸的以2为底的对数与片段_类型等于2(参考SPS)的片段(即I帧)的亮度CU的亮度样本中最小编解码块尺寸的以2为底的对数之间的默认差值。当partition_constraints_override_enabled_flag等于1时，默认差值可由PH中存在的pic_log2_diff_min_qt_min_cb_luma覆盖(参考SPS)。sps_log2_diff_min_qt_min_cb_intra_slice_luma的值应在0到CtbLog2SizeY-MinCbLog2SizeY范围内。CTU的四叉树分割产生的亮度叶块的亮度样本中最小尺寸的以2为底的对数可由如下导出：
MinQtLog2SizeIntraY＝sps_log2_diff_min_qt_min_cb_intra_slice_luma+MinCbLog2SizeY.
sps_log2_diff_min_qt_min_cb_inter_slice指定由CTU的四叉树分割产生的亮度叶块的亮度样本中最小尺寸的以2为底的对数与片段_类型等于0(即B帧)或等于1(即P帧)(参考SPS)的片段的亮度CU的亮度样本中最小编解码块尺寸的以2为底的对数之间的默认差值。当partition_constraints_override_enabled_flag等于1时，默认差值可由PH中存在的pic_log2_diff_min_qt_min_cb_luma覆盖(参考SPS)。sps_log2_diff_min_qt_min_cb_inter_slice的值应在0到CtbLog2SizeY-MinCbLog2SizeY范围内(包含端点)。CTU的四叉树分产生的亮度叶块的亮度样本中最小尺寸的以2为底的对数可由如下导出：
MinQtLog2SizeInterY＝sps_log2_diff_min_qt_min_cb_inter_slice+MinCbLog2SizeY.
sps_max_mtt_hierarchy_depth_inter_slice指定编解码单元的默认最大层次深度，该编解码单元由片段_类型等于0(B)或1(P)(参考SPS)的片段中的四叉树叶的多类型树分割产生。当partition_constraints_override_enabled_flag等于1时，默认最大层次深度可由PH中存在的pic_max_mtt_hierarchy_depth_inter_slice覆盖(参考SPS)。sps_max_mtt_hierarchy_depth_inter_slice的值应在0到2*(CtbLog2SizeY-MinCbLog2SizeY)的范围内，包含端点。
sps_max_mtt_hierarchy_depth_intra_slice_luma指定编解码单元的默认最大层次深度，该编解码单元是由片段_类型等于2(I)(参考SPS)的片段中的四叉树叶进行多类型树分割产生。当partition_constraints_override_enabled_flag等于1时，默认最大层次深度可被由PH中存在的pic_max_mtt_hierarchy_depth_intra_slice_luma覆盖(参考SPS)。sps_max_mtt_hierarchy_depth_intra_slice_luma的值应在0到2*(CtbLog2SizeY-MinCbLog2SizeY)范围内，包含端点。
方法2：根据本发明的实施例的发送彩色视频的划分信息
根据本发明的一实施例，语法(sps_log2_diff_min_qt_min_cb_intra_slice_luma)，在SPS中发送，指定在由CTU的四叉树分割产生的亮度叶块的亮度样本中最小尺寸的以2为底的对数与片段_类型等于2(即I帧)(参考SPS)的片段的亮度CU的亮度样本中最小编解码块尺寸的以2为底的对数之间的默认差值。sps_log2_diff_min_qt_min_cb_inter_slice在SPS中被发送来指定亮度编解码块(使用三元树分割产生的)的亮度样本中最大尺寸(宽度或高度)的以2为底的对数与片段_类型等于0(即B帧)或等于1(即P帧)(参考SPS)的片段的亮度叶块(由CTU的四叉树分割产生的)的亮度样本中最小尺寸(宽度或高度)的以2为底的对数之间的默认差值。
如果MTT(多重变换类型)不被允许，即sps_max_mtt_hierarchy_depth_intra_slice_luma或sps_max_mtt_hierarchy_depth_inter_slice_luma等于0，则由CTU的四叉树分割产生的亮度叶块的亮度采样的最小尺寸被推断为亮度CU的亮度样本中的最小编解码块大小。这样，sps_log2_diff_min_qt_min_cb_intra_slice_luma和sps_log2_diff_min_qt_min_cb_inter_slice不需要被发送。在一实施例中，在sps_max_mtt_hierarchy_depth_intra_slice_luma和sps_max_mer_hierarchy_depth_interslice之后，sps_log2_diff_min_qt_min_cb_intra_slice_luma和sps_log2_diff_min_qt_min_cb_inter_slice被发送。仅当sps_max_mtt_hierarchy_depth_intra_slice_luma不等于0时，sps_log2_diff_min_qt_min_cb_intra_slice_luma将被发送。否则，它被推断为零。仅当sps_max_mtt_hierarchy_depth_inter_slice不等于0时，sps_log2_diff_min_qt_min_cb_inter_slice才会被发出。否则，它被推断为零。而且，上述实施例可以扩展到色度语法，即，sps_log2_diff_min_qt_min_cb_intra_slice_chroma。
根据本发明的一实施例的彩色视频的分割信息的发送在表5中示出。
表5：根据本发明的实施例在SPS中发送彩色视频的分割信息
上面的语法表是基于表4中的常规语法表设计的，其中双斜杠(即“//”)内的文本表示已删除的文本，而斜体样式的文本则表示插入的文本。
在APS和PH发送LMCS的发送语法和缩放列表
在JVET-P2001中，LMCS的发送语法以及APS和PH中的缩放列表分别在表6和表7中显示。
表6：在APS发送LMCS的语法和缩放列表数据
表7：在PH发送LMCS的语法和PH的缩放列表数据
方法3：根据本发明的实施例发送彩色视频的分割信息
在APS和PH中，LMCS的语法和缩放列表被发送。为了使语法发送更加灵活，在一实施例中，在PH中的pic_lmcs_enabled_flag之前，pic_lmcs_enabled_present_flag被发送以指示LMCS信息(即pic_lmcs_aps_id或pic_chroma_residual_scale_flag)是否在PH中发送。如果pic_lmcs_enabled_present_flag被启用，pic_lmcs_enabled_flag被发送，并且pic_lumc_aps_id，pic_lmcs_aps_id和pic_chroma_residual_scale_flag被发送。否则，(如果pic_lmcs_enabled_present_flag为假)，则与LMCS相关的语法无需在PH中发送。在另一实施例中，LMCS语法可以在片段报头中发送，以进一步增加LMCS的灵活性。例如，如果sps_lmcs_enabled_flag被启用且pic_lmcs_enabled_present_flag为假，则slice_lmcs_enabled_flag将被发送。此外，如果slice_lmcs_enabled_flag为真，则其他与LMCS有关的语法(即slice_lumc_aps_id，slice_lmcs_aps_id和slice_chroma_residual_scale_flag)将被发送。在另一实施例中，如果sps_lmcs_enabled_flag被启用，则无论pic_lmcs_enabled_present_flag如何，slice_lmcs_enabled_flag都会被发送。此外，在片段报头中发送的LMCS参数可以覆盖在PH中发送的LMCS参数。
表8：根据本发明的实施例在PH中发送LMCS数据的语法
表9：根据本发明的实施例在片段报头中发送LMCS数据的语法
pic_lmcs_enabled_present_flag等于1指定pic_lmcs_enabled_flag，pic_lmcs_aps_id和pic_chroma_residual_scale_flag存在于PH中。pic_lmcs_enabled_present_flag等于0表示pic_lmcs_enabled_flag，pic_lmcs_aps_id和pic_chroma_residual_scale_flag不存在于PH中。如果pic_lmcs_enabled_present_flag不存在，则其被推断为等于0。
slice_lmcs_enabled_flag等于1表示具有色度缩放的亮度映射在片段中被启用。slice_lmcs_enabled_flag等于0表示具有色度缩放的亮度映射在片段中被禁用。如果slice_lmcs_enabled_flag不存在，则slice_lmcs_enabled_flag的值被推断为等于pic_lmcs_enabled_flag。
slice_lmcs_aps_id表示片段所参考的LMCS APS的adaptive_parameter_set_id。具有等于LMCS_APS的aps_params_type和等于slice_lmcs_aps_id的adaptation_parameter_set_id的APS NAL单元的TemporalId应当小于或等于编解码后的片段NAL单元的TemporalId。当slice_lmcs_enabled_flag等于1并且slice_lmcs_aps_id不存在时，slice_lmcs_aps_id的值被推断为等于pic_lmcs_aps_id的值。
slice_chroma_residual_scale_flag等于1表示片段的色度残差缩放被启用。slice_chroma_residual_scale_flag等于0表示片段的色度残差缩放被禁用。当slice_lmcs_enabled_flag等于1且slice_chroma_residual_scale_flag不存在时，slice_chroma_residual_scale_flag被推断为等于pic_chroma_residual_scale_flag。
在另一实施例中，以上语法设计也可应用于缩放列表的发送。例如，在PH中的pic_scaling_list_present_flag之前，pic_scaling_list_enabled_present_flag被发送，以指示与缩放列表相关的语法(即pic_scaling_list_present_flag和pic_scaling_list_aps_id)是否在PH中被发送。此外，仅当pic_scaling_list_enabled_present_flag为真时，pic_scaling_list_present_flag和pic_scaling_list_aps_id才会存在于PH中。否则(即pic_scaling_list_enabled_present_falg为假)，与缩放列表相关的语法不需要在PH中发送。在另一实施例中，缩放列表语法可以在片段报头中发送。例如，如果sps_scaling_list_enabled_flag被启用，并且pic_scaling_list_enabled_present_flag为假，则slice_scaling_list_enabled_flag将在片段报头中发送。此外，如果slice_scaling_list_enabled_flag为真，则其他与缩放列表相关的语法(即slice_scaling_list_aps_id)被发送。在另一示例中，如果sps_scaling_list_enabled_flag被启用，则无论pic_scaling_list_enabled_present_flag如何，slice_scaling_list_enabled_flag都将在片段报头中发送。同样，在片段报头中发送的缩放列表可覆盖在PH中发送的缩放列表。
表10：根据本发明的实施例在PH发送所发列表数据的语法
表11：根据本发明的实施例在片段报头发送缩放列表数据的语法
pic_scaling_list_enabled_present_flag等于1表示pic_scaling_list_present_flag和pic_scaling_list_aps_id存在于PH中。pic_scaling_list_enabled_present_flag等于0表示pic_scaling_list_present_flag和pic_scaling_list_aps_id不存在于PH中。如果pic_scaling_list_enabled_present_flag不存在，则其被推断为等于0。
slice_scaling_list_present_flag等于1表示用于片段的缩放列表资料是基于参考缩放列表APS中包含的缩放列表资料而导出的。slice_scaling_list_present_flag等于0表示用于片段的缩放列表资料被设置为等于16。如果slice_scaling_list_present_flag不存在，则slice_scaling_list_present_flag的值被推断为等于pic_scaling_list_present_flag。
slice_scaling_list_aps_id表示缩放列表APS的adaptation_parameter_set_id。具有等于SCALING_APS的aps_params_type和等于slice_scaling_list_aps_id的adaptive_parameter_set_id的APS NAL单元的TemporalId应当小于或等于编解码后的片段NAL单元的TemporalId。如果adaptation_parameter_set_id不存在并且slice_scaling_list_present_flag等于1，则slice_scaling_list_aps_id的值被推断为等于pic_scaling_list_aps_id。
子图像ID
在JVET-P2001，VVC草案中，一图像可包括几个子图像。为了标识单独的子图像，相应的子图像id在SPS，PPS或图像报头中发送，以指定每个子图像的索引。在本发明中，提出增加约束以确保发送的子图像的子图像id是唯一的。相关的语法和语义如下。
子图像ID：提出的方法1
如在JVET-P2001中指定的，sps_subpic_id[i]指定第i个子图像的子图像ID。sps_subpic_id[i]语法元素的长度为sps_subpic_id_len_minus1+1比特。当sps_subpic_id[i]不存在时，并且当sps_subpic_id_present_flag等于0时，对于0到sps_num_subpics_minus1(包括端点)之间的每个i，sps_subpic_id[i]的值被推断为等于i。根据本发明的实施例，如果i不等于j，则比特流一致性要求是：sps_subpic_id[i]和sps_subpic_id[j]应当不同。
如在JVET-P2001中指定的，pps_subpic_id[i]指定第i个子图像的子图像ID。pps_subpic_id[i]语法元素的长度为pps_subpic_id_len_minus1+1比特。根据本发明的实施例，如果i不等于j，则比特流一致性的要求是：pps_subpic_id[i]和pps_subpic_id[j]应当不同。
如在JVET-P2001中指定的，ph_subpic_id[i]表示第i个子图像的子图像ID。ph_subpic_id[i]语法元素的长度为ph_subpic_id_len_minus1+1比特。根据本发明的实施例，如果i不等于j，则比特流一致性的要求是：ph_subpic_id[i]和ph_subpic_id[j]应当不同。
列表SubpicIdList[i]可如下导出：
for(i＝0；i<＝sps_num_subpics_minus1；i++)
SubpicIdList[i]＝sps_subpic_id_present_flag？
(sps_subpic_id_signalling_present_flag？sps_subpic_id[i]：(ph_subpic_id_signalling_present_flag？ph_subpic_id[i]：pps_subpic_id[i]))：i
子图像ID：提出的方法2
为了很好地区分每个子图像，代替在子图像ID上添加比特流一致性要求，其可根据本发明的实施例通过约束SubpicIdList[]来实现。根据该实施例的语法dentax设计的示例如下所示。
ph_subpic_id[i]指定第i个子图像的子图像ID。ph_subpic_id[i]语法元素的长度为ph_subpic_id_len_minus1+1比特。根据一实施例，列表SubpicIdList[i]可导出如下：
for(i＝0；i<＝sps_num_subpics_minus1；i++)
SubpicIdList[i]＝sps_subpic_id_present_flag？
(sps_subpic_id_signalling_present_flag？sps_subpic_id[i]:
(ph_subpic_id_signalling_present_flag？ph_subpic_id[i]：pps_subpic_id[i]))：i
根据本发明的实施例，如果i不等于j，则比特流一致性的要求是：SubpicIdList[i]和SubpicIdList[j]应当不同。
子图像ID：提出的方法3
如在JVET-P2001中指定的，语法(即sps_subpic_id_len_minus1)在SPS中被发送，以指示用于表示语法元素sps_subpic_id[i]的比特数量，并且sps_num_subpics_minus1加1指定子图像的数量。在一实施例中，基于sps_num_subpics_minus1的值，sps_num_subpics_minus1的范围进一步被约束。例如，(1<<(sps_subpic_id_len_minus1加1))的值应大于或等于(sps_num_subpics_minus1加1)。在另一示例中，sps_subpic_id_len_minus1的值应大于或等于Ceil(Log2(sps_num_subpics_minus1 plus))-1。在另一实施例中，相同的约束将被应用于PPS中的pps_subpic_id_len_minus1。例如，(1<<(pps_subpic_id_len_minus1加1))的值应大于或等于(pps_num_subpics_minus1加1)。在另一实施例中，相同的约束被应用于PH中的ph_subpic_id_len_minus1。例如，(1<<(ph_subpic_id_len_minus1加1))的值应大于或等于(ph_num_subpics_minus1加1)。
在另一实施例中，sps/pps/ph_subpic_id_len_minus1被重命名为sps/pps/ph_subpic_id_len_minus_offset，以及sps/pps/ph_subpic_id_len_minus_offset加上偏移量，其中该偏移量被设置为等于Ceil(Log2_spsmin(sps/pps_num_subpics_minus1加1)。
pps_num_subpics_minus1加1表示参考PPS的编解码图像中的子图像数量。
比特流一致性的要求是pps_num_subpic_minus1的值应等于sps_num_subpics_minus1。
pps_subpic_id_len_minus_offset plus Ceil(Log2(pps_num_subpics_minus1加1))表示用于表示语法元素pps_subpic_id[i]的比特数量。pps_subpic_id_len_minus1的值应在0到15之间(包括0和15)。
比特流一致性的要求是，对于CLVS中的编解码图像所参考的所有PPS，pps_subpic_id_len_minus1的值应当相同。
pps_subpic_id[i]指定第i个子图像的子图像ID。pps_subpic_id[i]语法元素的长度为pps_subpic_id_len_minus1+1比特。
ph_subpic_id_len_minus_offset plus Ceil(Log2(pps_num_subpics_minus1加1))指定用于表示语法元素ph_subpic_id[i]的比特数量。pic_subpic_id_len_minus1的值应在0到15之间(包括0和15)。
比特流一致性的要求是，对于CLVS中的编解码图像所参考的所有PH，ph_subpic_id_len_minus1的值应当相同。
ph_subpic_id[i]指定第i个子图像的子图像ID。ph_subpic_id[i]语法元素的长度为ph_subpic_id_len_minus1+1比特。
列表SubpicIdList[i]可如下导出：
for(i＝0；i<＝sps_num_subpics_minus1；i++)
SubpicIdList[i]＝sps_subpic_id_present_flag？(76)
(sps_subpic_id_signalling_present_flag？sps_subpic_id[i]：(ph_subpic_id_signalling_present_flag？ph_subpic_id[i]：pps_subpic_id[i]))：i
任一前述提出的方法可在编码器和/或解码器中实现。例如，任一所提出的方法可在编码器的帧间/帧内/预测/变换模块和/或解码器的逆变换/帧间/帧内/预测模块中实现。可替代地，任一提出的方法可被实现为耦合到编码器的逆变换/帧间/帧内/预测模块和/或解码器的帧间/帧内/预测/变换模块的电路，以提供帧间/帧内/预测/变换模块所需的信息。
图6示出根据本发明的实施例的使用约束子图像语法的示例性编码系统的流程图。流程图中所示的步骤可被实现为在编码器侧的一个或多个处理器(例如，一个或多个CPU)上可执行的程序代码。流程图中所示的步骤也可以基于硬件来实现，例如被布置为执行流程图中的步骤的一个或多个电子设备或处理器。根据该方法，在步骤610中，与视频序列的编码数据相对应的比特流在编码器侧被生成或在解码器侧被接收，其中，该比特流包括第一语法和第二语法，第一语法对应于用来表示第三语法集合的比特的目标数量，每个第三语法指定子图像集合中的一子图像的一子图像ID，第二语法对应于该子图像集合中的子图像的总数量，以及其中对第一语法的第一值进行的计算等于或大于对第二语法的第二值进行的计算。在步骤620中，基于包括子图像集合的信息，视频序列在编码器侧被编码或者在解码器侧被解码。
图7示出根据本发明实施例的使用约束的子图像语法的另一示例性编解码系统的流程图。根据该方法，在步骤710中，与视频序列的编码数据相对应的比特流在编码器侧被生成或在解码器侧被接收，其中，该比特流包括子图像ID语法集合，并且每个子图像ID语法指定子图像集合的一子图像的一子图像ID，以及其中如果第一子图像与第二子图像不同，则第一子图像的第一子图像ID语法与第二子图像的第二子图像ID语法具有不同的值。在步骤720中，基于包括子图像集合的信息，视频序列在编码器侧被编码或者在解码器侧被解码。
所示的流程图旨在说明根据本发明的视频编码的示例。所属技术领域的技术人员可以修改每个步骤，重新布置步骤，拆分步骤或组合步骤以实践本发明，而不背离本发明的精神。在本公开中，特定的语法和语义已被用来说明用于实现本发明的实施例的示例。所属技术领域的技术人员可通过用等同的语法和语义替换语法和语义来实践本发明，而不脱离本发明的精神。
上述描述被给出以使所属技术领域的技术人员能够实践在特定应用及其要求的上下文中提供的本发明。对所描述的实施例的各种修改对于所属技术领域的技术人员将是显而易见的，并且本文中定义的一般原理可以应用于其他实施例。因此，本发明不旨在限于所示出和描述的特定实施例，而是与符合本文公开的原理和新颖性特征的最宽范围相一致。在以上详细描述中，示出了各种具体细节以便提供对本发明的透彻理解。然而，所属技术领域的技术人员将理解，本发明可被实施。
如上所述的本发明的实施例可以以各种硬件，软件代码或两者的组合来实现。例如，本发明的实施例可以是集成到视频压缩芯片中的一个或多个电路或集成到视频压缩软件中以执行本文描述的处理的程序代码。本发明的实施例还可以是在数字信号处理器(Digital Signal Processor，DSP)上执行以执行本文描述的处理的程序代码。本发明还可涉及由计算机处理器，数字信号处理器，微处理器或现场可程序设计门阵列(fieldprogrammable gate arragy，简称FPGA)执行的许多功能。所述多个处理器可被配置为通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码来执行根据本发明的特定任务。软件代码或固件代码可以不同的程序设计语言和不同的格式或样式来开发。软件代码也可被编译用于不同的目标平台。然而，不同的代码格式，软件代码的样式和语言以及配置代码以执行根据本发明的任务的其他手段将不脱离本发明的精神和范围。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他特定形式实施。所描述的示例在所有方面仅应被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求书而不是前述描述来指示。落在权利要求书的等同含义和范围内的所有改变均应包含在其范围之内。
Claims (13)
1.一种用于编解码视频序列的方法，其中子图像编解码模式被包括，所述方法包括：
在编码器侧生成或在解码器侧接收对应于所述视频序列的编码数据的比特流，其中所述比特流包括第一语法和第二语法，所述第一语法对应于用于表示第三语法集合的多个比特的目标数量，每个第三语法指定子图像集合中一个子图像的一个子图像标识符，所述第二语法对应于所述子图像集合中多个子图像的总数量，以及其中对所述第一语法的第一值进行的计算等于或大于对所述第二语法的第二值进行的计算；以及
基于包括所述子图像集合的信息，在所述编码器侧编码或在所述解码器侧解码所述视频序列。
2.如权利要求1所述的用于编解码视频序列的方法，其特征在于，在序列参数集合中，所述第一语法和所述第二语法在所述编码器侧被发送，或在所述解码器侧被解析。
3.如权利要求1所述的用于编解码视频序列的方法，其特征在于，在序列参数集合，图像参数集合，片段报头，图像报头或以上结合中，所述第一语法和所述第二语法在所述编码器侧被发送，或在所述解码器侧被解析。
4.如权利要求1所述的用于编解码视频序列的方法，其特征在于，所述第一语法的所述第一值是所述多个比特的所述目标数量减1。
5.如权利要求4所述的用于编解码视频序列的方法，其特征在于，所述第一语法在序列参数集合中，并被指定为sps_subpic_id_len_minus1，用于表示所述多个比特的所述目标数量减1。
6.如权利要求4所述的用于编解码视频序列的方法，其特征在于，用于计算所述第一语法的所述第一值对应于(1＜＜((所述多个比特的所述目标数量减1)+1)，以及其中“＜＜”表示算术左移运算。
7.如权利要求4所述的用于编解码视频序列的方法，其特征在于，所述第二语法在序列参数集合中，并被指定为sps_num_subpic_minus1，用于表示所述子图像集合的所述多个子图像的所述总数量减1。
8.如权利要求1所述的用于编解码视频序列的方法，其特征在于，所述第一语法对应于所述多个比特的所述目标数量减去偏移量再加上所述第一值，以及其中所述第一值对应于Ceil(Log2(所述多个子图像的所述总数量)，并且其中“Ceil”是上限函数，而“Log2”是以2为底数的函数。
9.如权利要求1所述的用于编解码视频序列的方法，其特征在于，所述比特流满足比特流一致性要求：所述第一数量等于或大于所述多个子图像的总数量。
10.一种用于编解码视频序列的装置，其中子图像编解码模式被包括，所述装置包括一个或多个电子电路，被设置为：
在编码器侧生成或在解码器侧接收对应于所述视频序列的编码数据的比特流，其中所述比特流包括第一语法和第二语法，所述第一语法对应于用于表示第三语法集合的多个比特的目标数量，每个第三语法指定子图像集合中一个子图像的一个子图像标识符，所述第二语法对应于所述子图像集合中多个子图像的总数量，以及其中对所述第一语法的第一值进行的计算等于或大于对所述第二语法的第二值进行的计算；以及
基于包括所述子图像集合的信息，在所述编码器侧编码或在所述解码器侧解码所述视频序列。
11.一种用于解码视频序列的方法，其中子图像编解码模式被包括，所述方法包括：
在编码器侧生成或在解码器侧接收对应于所述视频序列的编码数据的比特流，其中所述比特流包括子图像标识符语法集合，每个子图像标识符语法指定子图像集合中一个子图像的一个子图像标识符，以及其中如果第一子图像与第二子图像不同，所述第一子图像的第一子图像标识符语法与所述第二子图像的第二图像标识符语法具有不同值；以及
基于包括所述子图像集合的信息，在所述编码器侧编码或在所述解码器侧解码所述视频序列。
12.如权利要求11所述的用于解码视频序列的方法，其特征在于，所述比特流满足比特流一致性要求：如果所述第一子图像与所述第二子图像不同，所述第一子图像的所述第一子图像标识符语法与所述第二子图像的所述第二子图像标识符语法不同。
13.如权利要求11所述的用于解码视频序列的方法，其特征在于，在序列参数集合，图像参数集合，片段报头，图像报头或以上结合中，所述子图像标识符语法的集合在所述编码器侧被发送或在所述解码器侧被解析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311392238.9A CN117294860A (zh) | 2019-11-05 | 2020-11-05 | 用于编解码视频序列的方法和装置 |
Applications Claiming Priority (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962930705P | 2019-11-05 | 2019-11-05 | |
| US62/930,705 | 2019-11-05 | ||
| US201962954022P | 2019-12-27 | 2019-12-27 | |
| US62/954,022 | 2019-12-27 | ||
| US202062958205P | 2020-01-07 | 2020-01-07 | |
| US62/958,205 | 2020-01-07 | ||
| US17/087,671 | 2020-11-03 | ||
| US17/087,671 US11509938B2 (en) | 2019-11-05 | 2020-11-03 | Method and apparatus of signaling subpicture information in video coding |
| PCT/CN2020/126716 WO2021088919A1 (en) | 2019-11-05 | 2020-11-05 | Method and apparatus of signaling subpicture information in video coding |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311392238.9A Division CN117294860A (zh) | 2019-11-05 | 2020-11-05 | 用于编解码视频序列的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114586369A true CN114586369A (zh) | 2022-06-03 |
| CN114586369B CN114586369B (zh) | 2023-11-14 |
Family
ID=75688372
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080073817.5A Active CN114586369B (zh) | 2019-11-05 | 2020-11-05 | 用于编解码视频序列的方法和装置 |
| CN202311392238.9A Pending CN117294860A (zh) | 2019-11-05 | 2020-11-05 | 用于编解码视频序列的方法和装置 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311392238.9A Pending CN117294860A (zh) | 2019-11-05 | 2020-11-05 | 用于编解码视频序列的方法和装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11509938B2 (zh) |
| EP (1) | EP4042703A4 (zh) |
| KR (1) | KR20220085833A (zh) |
| CN (2) | CN114586369B (zh) |
| TW (1) | TWI772951B (zh) |
| WO (1) | WO2021088919A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020156534A1 (en) | 2019-02-01 | 2020-08-06 | Beijing Bytedance Network Technology Co., Ltd. | Interactions between in-loop reshaping and intra block copy |
| CN113383547A (zh) | 2019-02-01 | 2021-09-10 | 北京字节跳动网络技术有限公司 | 环路整形和帧间编解码工具之间的相互作用 |
| CN113574889B (zh) | 2019-03-14 | 2024-01-12 | 北京字节跳动网络技术有限公司 | 环路整形信息的信令和语法 |
| WO2020192614A1 (en) | 2019-03-23 | 2020-10-01 | Beijing Bytedance Network Technology Co., Ltd. | Restrictions on adaptive-loop filtering parameter sets |
| CN116743997A (zh) | 2019-12-27 | 2023-09-12 | 阿里巴巴（中国）有限公司 | 用信号通知子图像划分信息的方法和装置 |
| US11659207B2 (en) * | 2020-06-08 | 2023-05-23 | Qualcomm Incorporated | General constraints of syntax elements for video coding |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110292995A1 (en) * | 2009-02-27 | 2011-12-01 | Fujitsu Limited | Moving image encoding apparatus, moving image encoding method, and moving image encoding computer program |
| CN102801949A (zh) * | 2011-05-26 | 2012-11-28 | 索尼公司 | 信号发送装置和方法、信号接收装置和方法及信号传送系统 |
| CN107770546A (zh) * | 2012-12-10 | 2018-03-06 | Lg 电子株式会社 | 解码图像的方法和使用其的装置 |
| WO2019002662A1 (en) * | 2017-06-26 | 2019-01-03 | Nokia Technologies Oy | APPARATUS, METHOD AND COMPUTER PROGRAM FOR OMNIDIRECTIONAL VIDEO |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7450831B2 (en) | 2003-04-16 | 2008-11-11 | Lsi Corporation | Method for DVD-subpicture compositing in 420 chroma format |
| WO2007114023A1 (ja) | 2006-03-30 | 2007-10-11 | Pioneer Corporation | 情報記録装置および情報記録方法 |
| US20120026394A1 (en) | 2010-07-30 | 2012-02-02 | Emi Maruyama | Video Decoder, Decoding Method, and Video Encoder |
| US9491456B2 (en) | 2012-09-24 | 2016-11-08 | Qualcomm Incorporated | Coded picture buffer removal times signaled in picture and sub-picture timing supplemental enhancement information messages |
| WO2018221368A1 (ja) | 2017-05-31 | 2018-12-06 | シャープ株式会社 | 動画像復号装置、及び動画像符号化装置 |
| KR102371574B1 (ko) | 2017-07-06 | 2022-03-07 | 프라운 호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 분할된 비디오 스트리밍 개념 |
| KR20210107128A (ko) * | 2019-01-09 | 2021-08-31 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 비디오 인코더, 비디오 디코더 및 대응하는 방법 |
| ES2980868T3 (es) * | 2019-03-11 | 2024-10-03 | Huawei Tech Co Ltd | Direcciones de segmento basadas en sub-imagen en codificación de vídeo |
| JP2022540397A (ja) * | 2019-07-05 | 2022-09-15 | 華為技術有限公司 | 識別子シグナリングを用いたビデオコーディングビットストリーム抽出 |
-
2020
- 2020-11-03 US US17/087,671 patent/US11509938B2/en active Active
- 2020-11-04 TW TW109138375A patent/TWI772951B/zh active
- 2020-11-05 EP EP20885052.9A patent/EP4042703A4/en active Pending
- 2020-11-05 WO PCT/CN2020/126716 patent/WO2021088919A1/en unknown
- 2020-11-05 KR KR1020227018086A patent/KR20220085833A/ko not_active Application Discontinuation
- 2020-11-05 CN CN202080073817.5A patent/CN114586369B/zh active Active
- 2020-11-05 CN CN202311392238.9A patent/CN117294860A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110292995A1 (en) * | 2009-02-27 | 2011-12-01 | Fujitsu Limited | Moving image encoding apparatus, moving image encoding method, and moving image encoding computer program |
| CN102801949A (zh) * | 2011-05-26 | 2012-11-28 | 索尼公司 | 信号发送装置和方法、信号接收装置和方法及信号传送系统 |
| CN107770546A (zh) * | 2012-12-10 | 2018-03-06 | Lg 电子株式会社 | 解码图像的方法和使用其的装置 |
| WO2019002662A1 (en) * | 2017-06-26 | 2019-01-03 | Nokia Technologies Oy | APPARATUS, METHOD AND COMPUTER PROGRAM FOR OMNIDIRECTIONAL VIDEO |
Non-Patent Citations (4)
| Title |
|---|
| BENJAMIN BROSS ET AL: "Versatile Video Coding(Draft7)", 《JVET》, pages 61 * |
| JOZEF SKORUPA ET AL: "Efficient Low Delay distributed video coding", 《IEEE TRANSACTIONS ONCIRCUITSANDSYSTEMS FOR VIDEO TECHNOLOGY》 * |
| 刘海华: "基于分布式视频编码系统的解码算法研究", 《万方数据库》 * |
| 卿粼波; 何小海; 吕瑞; 曾强宇: "基于比特概率优化算法的分布式视频编码", 《光电子.激光》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220085833A (ko) | 2022-06-22 |
| EP4042703A1 (en) | 2022-08-17 |
| US20210136420A1 (en) | 2021-05-06 |
| EP4042703A4 (en) | 2023-07-12 |
| CN114586369B (zh) | 2023-11-14 |
| US11509938B2 (en) | 2022-11-22 |
| WO2021088919A1 (en) | 2021-05-14 |
| CN117294860A (zh) | 2023-12-26 |
| TWI772951B (zh) | 2022-08-01 |
| TW202135528A (zh) | 2021-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7401554B2 (ja) | エンコーダ、デコーダ及び対応する方法 | |
| US11838558B2 (en) | Methods, devices and systems for parallel video encoding and decoding | |
| JP7384902B2 (ja) | 映像符号化におけるスライシング及びタイリング | |
| TWI846132B (zh) | 用於視訊編碼系統之跨分量適應性迴圈濾波器的語法傳訊限制方法和裝置 | |
| CN114586369B (zh) | 用于编解码视频序列的方法和装置 | |
| CN107277530B (zh) | 用于解码视频的方法 | |
| CA2951522A1 (en) | Extensible design of nesting supplemental enhancement information (sei) messages | |
| TW202046738A (zh) | 視訊編碼系統之語法傳訊和參照限制的方法和裝置 | |
| KR20220063262A (ko) | 서브픽처 기반 비디오 코딩에서 서브픽처당 하나의 슬라이스의 지시 | |
| JP2023029423A (ja) | ビデオコーディング方法及び機器 | |
| KR102650289B1 (ko) | 비디오 인코더, 비디오 디코더 및 상응하는 방법들 | |
| CN115152235A (zh) | 图像或视频处理系统中传送回路滤波器参数的方法及装置 | |
| US11477445B2 (en) | Methods and apparatuses of video data coding with tile grouping | |
| WO2021218890A1 (en) | Method and apparatus for imposing bitstream constraints in video coding | |
| TW202147841A (zh) | 視訊處理方法和裝置 | |
| TWI761166B (zh) | 圖像和視訊編解碼中發信切片分割資訊之方法和裝置 | |
| RU2792176C2 (ru) | Кодер видео, декодер видео и соответствующие способы | |
| TW202143714A (zh) | 圖片和視訊編解碼中以信號通知片和切片分區資訊的方法和裝置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |