CN116567255A - 对已编码图片进行编码、解码的方法和相关装置 - Google Patents
对已编码图片进行编码、解码的方法和相关装置 Download PDFInfo
- Publication number
- CN116567255A CN116567255A CN202310618714.8A CN202310618714A CN116567255A CN 116567255 A CN116567255 A CN 116567255A CN 202310618714 A CN202310618714 A CN 202310618714A CN 116567255 A CN116567255 A CN 116567255A
- Authority
- CN
- China
- Prior art keywords
- prediction
- segment
- picture
- decoding
- syntax element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 153
- 230000008569 process Effects 0.000 claims abstract description 77
- 238000005192 partition Methods 0.000 claims abstract description 34
- 238000003860 storage Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 4
- 239000000523 sample Substances 0.000 description 36
- 230000033001 locomotion Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 26
- 230000006835 compression Effects 0.000 description 23
- 238000007906 compression Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 18
- 230000007246 mechanism Effects 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 10
- 238000013461 design Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000013074 reference sample Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000007727 signaling mechanism Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
提供了用于对已编码图片进行解码的方法和设备。已编码图片包括第一划分段和第二划分段的已编码视频序列，该方法包括：至少基于适用于第一划分段和第二划分段的高级语法结构的第一语法元素来确定用于对第一划分段进行解码的第一解码处理，该第一语法元素指示该第一解码处理禁用第一预测；以及至少基于高级语法结构的第二语法元素来确定用于对第二划分段进行解码的第二解码处理，该第二语法元素指示禁用第二预测，该第二预测与第一预测不同，该第二解码处理禁用第二预测。
Description
相关申请的交叉引用
本申请是申请号为CN2019800358915的专利申请的分案申请，其母案要求于2018年9月5日提交的美国临时专利申请No.62/727,381、于2018年11月28日提交的美国专利申请No.16/202,949以及于2019年6月27日提交的美国专利申请No.16/454,545的优先权，上述申请中的每一个的全部公开内容通过引用并入本文中。
技术领域
本申请涉及图片解码技术，尤其涉及对已编码图片进行解码的方法和相关装置。
背景技术
使用具有运动补偿的帧间图片预测的视频编码和解码已经有几十年的历史了。未压缩的数字视频可以包括一系列图片，每个图片的空间维度为例如1920×1080亮度样本和相关联的色度样本。该一系列图片可以具有例如每秒60个图片或60Hz的固定的或可变的图片速率(也被非正式地称为帧速率)。未压缩的视频具有高的码率要求。例如，每样本8位的1080p60 4:2:0视频(60Hz帧速率下1920×1080亮度样本分辨率)需要接近1.5Gbit/s的带宽。一小时这样的视频需要大于600GB的存储空间。
视频编码和解码的一个目的可以是通过压缩来减少输入视频信号的冗余。压缩可以帮助减少以上提及的带宽或存储空间需求，在一些情况下减少两个数量级或更多。可以采用无损压缩和有损压缩二者及其组合。无损压缩是指可以从经压缩的原始信号重建原始信号的精确副本的技术。当使用有损压缩时，重建的信号可能与原始信号不同，但是原始信号与重建的信号之间的失真足够小，以使重建的信号对于预期应用有用。在视频的情况下，有损压缩应用广泛。容忍的失真量取决于应用；例如，某些消费者流媒体应用的用户可能比电视分配应用的用户容忍更高的失真。可达到的压缩比可以反映出：更高的可允许/可容忍的失真可以产生更高的压缩比。
视频编码器和解码器可以利用来自若干广泛类别的技术，包括例如运动补偿、变换、量化和熵编码，下面将介绍其中的一些。
已编码视频比特流可以是未压缩源视频的压缩表示，并且可以被划分为已编码图片。已编码图片包括一个或更多个图片段。图片段可以是例如切片、图块、块组(a group ofblocks，GOB)等。图片段可包括段头部，例如切片头部、图块头部、GOB头部等，段头部可包括与可构成段的其余部分的一个或更多个编码单元(coding units，CU)有关的信息。在一些情况下，段头部中的信息可以与段中的第一CU有关，但可以被位于CU头部中的相应更新信息覆盖。在其他情况下，段头部中的信息可以与段中的所有CU有关。
由于多种原因，图片分割被包括在视频压缩技术和标准中。在MPEG-1中引入切片的一个原因是对最大传输单元(Maximum Transfer Unit，MTU)大小匹配的需求。在一个已编码图片大于某个分组网络中分组的MTU的情况下，认为希望将该图片分成在某种程度上独立的可解码单元，因此引入切片。另一个原因是希望(可能是在压缩域中)简化子图片向已编码图片的合成。H.26l的块组(GOB)概念(尤其是H.261中使用的GOB编号)是这种技术的一个早期示例，而H.263的矩形切片是另一示例。另一个原因是实现其中多个编码器/解码器处理器或核心对给定图片的部分进行同时解码的编码和/或解码。
图块是某些视频编解码器中几种可用的有助于对已编码视频比特流进行分区的一个或更多个机制。图块可以是图片的矩形区域。CU(也称为块或宏块)的扫描顺序可以被定位到片，从左上到右，然后从上到下。图片可以被分成许多图块，其中每个CU可以恰好是一个图块的一部分。引入图块以通过允许每个处理器或核心将注意力仅集中于要编码的图片的部分来实现并行编码和解码，因为除了最终的比特流生成处理外，不需要与负责其他图块的处理器进行通信；然而，它们也可以用作图片合成的机构。
图片分割技术的共同点是，段边界会中断某些预测机制。例如，在一些视频编码技术和标准中，段边界中断了诸如运动矢量预测、帧内预测等的图片内预测机制。在何种程度上允许帧间图片预测机制(例如使用段边界之外的样本进行运动补偿)取决于视频编码技术或标准。例如，在H.263+中，独立段解码模式提供下述设置：禁用通过跨段边界的运动补偿导入样本值。H.265中受约束的图块集具有类似的目的。
图片分割技术还可以具有以下共同点：给定类型的段中仅允许某些类型的编码单元。例如，在某些视频编码技术和标准中，帧内切片只能包含以帧内模式编码的CU，帧间切片可以包含帧内和帧间模式的CU，而双向预测切片可以包含以帧内、帧间和双向预测模式编码的CU。可以观察到，在至少一些视频编码技术或标准中，段类型形成层次结构，例如帧内段是最严格的，其次是帧间段，然后是双向预测段。
帧内段可用于相对于(被帧内段覆盖的)当前已解码图片的某些部分将解码器状态重置为已知状态。
最近的视频编码技术可以包括在帧间、帧内与(也许程度较小)双向预测之间共享某些相似性的技术。例如，H.265的屏幕内容编码(screen content coding，SCC)配置文件包括已知为帧内块复制(intra block copy，IBC)的技术，该技术可被表征为运动补偿机制，在该运动补偿机制中，参考样本信息是与重建中的样本为同一已解码图片的一部分。参见例如“HEVC Screen Content Coding Draft Text”，ITU-T/ISO/IEC，JCTVC-T1005，2015年。无需访问先前已解码参考图片，这是帧内编码的常见功能。然而，给定CU的重建可能需要来自CU外部的样本信息，在诸如MPEG-2的较早的视频编码标准中，传统上将其视为帧间编码的功能。
帧内段与某些现代编码工具(例如IBC)之间的交互可能很复杂。一方面，至少在某些情况下，IBC被证明是一种有效的工具，可以提高重建中的图片的帧内编解码器区域的编码效率。然而，至少在某些情况下(在重建中的图片的更多区域可供IBC作为参考样本使用的情况下)，IBC效果更好，并且可以包括重建中的当前段外部的样本。然而，对于帧内段将给定区域重置为已知状态而不参考该段外部的任何信息的目标，将当前段外部的样本用于IBC参考可能会对该目标起到适得其反的作用。
对于可以说是不太先进(或至少是较旧)的工具(例如帧内预测)，也是如此。
因此，视频压缩技术或标准趋于禁止帧内切片CU对外部样本和元信息的任何参考。例如，这可以通过将段边界外的任何样本和任何CU标记为不可用于预测来实现。然而，至少在与重置解码处理的帧内段的目标不相关的一些情况下，该决定不必要地降低了编码效率。
发明内容
根据实施方式，提供一种对已编码视频序列中的已编码图片进行解码的方法，所述已编码图片包括第一划分段和第二划分段，该方法包括：采用至少基于第一语法元素来确定用于对所述第一划分段进行解码的第一解码处理，所述第一语法元素用于指示所述第一解码处理禁用第一预测；采用至少基于第二语法元素来确定用于对所述第二划分段进行解码的第二解码处理，所述第二语法元素用于指示所述第二解码处理禁用第二预测，所述第二预测与所述第一预测不同；基于禁用所述第一预测的所述第一解码处理，对所述第一划分段进行解码；以及基于禁用所述第二预测的所述第二解码处理，对所述第二划分段进行解码；如果所述第一语法元素指示允许所述第一预测并且所述第二语法元素指示允许所述第二预测，则组合所述第一解码处理和所述第二解码处理来对所述第一划分段和所述第二划分段进行解码；所述第一预测包括以下各者中任意一个：跨段边界的帧内块复制、跨段边界的帧内预测、跨段边界的预测图片预测和跨段边界的双预测图片预测；并且所述第二预测包括以下所述各者中的不同的一个：所述跨段边界的帧内块复制、所述跨段边界的帧内预测、所述跨段边界的预测图片预测和所述跨段边界的双预测图片预测。
根据实施方式，提供一种对视频进行编码的方法，所述视频中的每个图片包括第一划分段和第二划分段，其特征在于，所述方法包括：采用至少基于第一语法元素来确定用于对所述第一划分段进行编码的第一编码处理，所述第一语法元素用于指示所述第一编码处理禁用第一预测；采用至少基于第二语法元素来确定用于对所述第二划分段进行编码的第二编码处理，所述第二语法元素用于指示所述第二编码处理禁用第二预测，所述第二预测与所述第一预测不同；基于禁用所述第一预测的所述第一编码处理，对所述第一划分段进行编码；以及基于禁用所述第二预测的所述第二编码处理，对所述第二划分段进行编码；如果所述第一语法元素指示允许所述第一预测并且所述第二语法元素指示允许所述第二预测，则组合所述第一编码处理和所述第二编码处理来对所述第一划分段和所述第二划分段进行编码；所述第一预测包括以下各者中任意一个：跨段边界的帧内块复制、跨段边界的帧内预测、跨段边界的预测图片预测和跨段边界的双预测图片预测；并且所述第二预测包括以下所述各者中的不同的一个：所述跨段边界的帧内块复制、所述跨段边界的帧内预测、所述跨段边界的预测图片预测和所述跨段边界的双预测图片预测。
根据实施方式，提供一种用于对已编码视频序列的已编码图片进行解码的设备，所述已编码图片包括第一划分段和第二划分段，所述设备包括：至少一个存储器，其被配置成存储计算机程序；以及至少一个处理器，其被配置成访问所述至少一个存储器并且根据所述计算机程序进行操作，以执行上述对已编码视频序列中的已编码图片进行解码的方法。
根据实施方式，提供一种对已编码视频序列的已编码图片进行解码的装置，其特征在于，所述已编码图片包括第一划分段和第二划分段，所述装置包括确定单元和解码单元：所述确定单元，用于采用至少基于第一语法元素来确定用于对所述第一划分段进行解码的第一解码处理，所述第一语法元素用于指示所述第一解码处理禁用第一预测；所述确定单元还用于采用至少基于第二语法元素来确定用于对所述第二划分段进行解码的第二解码处理，所述第二语法元素用于指示所述第二解码处理禁用第二预测，所述第二预测与所述第一预测不同；所述解码单元，用于基于禁用所述第一预测的所述第一解码处理，对所述第一划分段进行解码；以及所述解码单元还用于基于禁用所述第二预测的所述第二解码处理，对所述第二划分段进行解码；所述解码单元还用于，如果所述第一语法元素指示允许所述第一预测并且所述第二语法元素指示允许所述第二预测，则组合所述第一解码处理和所述第二解码处理来对所述第一划分段和所述第二划分段进行解码，所述第一预测包括以下各者中任意一个：跨段边界的帧内块复制、跨段边界的帧内预测、跨段边界的预测图片预测和跨段边界的双预测图片预测；并且所述第二预测包括以下所述各者中的不同的一个：所述跨段边界的帧内块复制、所述跨段边界的帧内预测、所述跨段边界的预测图片预测和所述跨段边界的双预测图片预测。
根据实施方式，提供一种对视频进行编码的设备，所述视频中的图片包括第一划分段和第二划分段，所述设备包括：至少一个存储器，其被配置成存储计算机程序；以及至少一个处理器，其被配置成访问所述至少一个存储器并且根据所述计算机程序进行操作，以执行上述对视频进行编码的方法。
根据实施方式，提供一种非暂态计算机可读存储介质，其存储程序，所述程序使处理器执行上述方法。
根据实施方式，提供一种计算机设备，所述设备包括处理器以及存储器：所述存储器用于存储程序，并将所述程序传输给所述处理器；所述处理器用于根据所述程序中的指令执行上述方法。
由此可见，通过对所使用预测机制的选择，例如确定禁用第一预测的第一解码处理和禁用第二预测的第二解码处理，使得可以防止一种或多种形式的跨图块和段边界的预测，从应用和编码效率的角度来看，这种方式可以带来有利的效果。
附图说明
图1是根据实施方式的通信系统的简化框图；
图2是根据实施方式的视频编码器和视频解码器在流媒体环境中的放置的图；
图3是根据一实施方式的视频解码器的功能框图；
图4是根据另一实施方式的视频编码器的功能框图；
图5是根据实施方式的分块的图片的图；
图6A和图6B是根据实施方式的用于已分割图片的并行解码器系统的图；
图7是根据实施方式的IP切片语法元素的语法和语义的图；
图8是根据实施方式的PI切片语法元素的语法和语义的图；
图9是根据实施方式的B切片语法元素的语法和语义的图；
图10是根据实施方式的BI、PI和IP切片语法元素的语法和语义的图；
图11是根据实施方式的跨边界预测标志的语法和语义的图；
图12是适合于实现实施方式的计算机系统的图；
图13是示出根据实施方式的对包括第一划分段和第二划分段的已编码视频序列的已编码图片进行解码的方法的流程图；
图14是根据实施方式的用于对包括第一划分段和第二划分段的已编码视频序列的已编码图片进行解码的设备的简化框图。
具体实施方式
实施方式涉及视频编码和解码，并且更具体地涉及将已编码视频图片分割成诸如切片和图块的段，该段可能不符合已知类型的帧内、帧间、双向预测的切片或图块。例如，仅包含帧内编码块的切片或图块仍可以使用来自重建中的切片或图块之外但是按解码顺序属于同一图片的切片或图块的预测信息。在这种情况下，该图片整体上可以独立于其他图片来解码，而该切片或图块可能需要同一图片的其他切片或图块才能成功解码。
图1是根据实施方式的通信系统(100)的简化框图。通信系统(100)可以包括经由网络(150)互连的至少两个终端(110-120)。对于数据的单向传输，第一终端(110)可以在本地位置处对视频数据进行编码，以经由网络(150)传输至第二终端(120)。第二终端(120)可以从网络(150)接收另一终端的已编码视频数据，对已编码数据进行解码并且显示恢复的视频数据。单向数据传输在媒体服务应用等中可能是常见的。
图1示出了第二对终端(130，140)，其被提供用于支持例如在视频会议期间可能发生的编码的视频的双向传输。对于数据的双向传输，每个终端(130，140)可以对在本地位置捕获的视频数据进行编码，以经由网络(150)传输至另一终端。每个终端(130、140)还可以接收由另一终端传输的已编码视频数据，可以解码已编码的数据，并且可以在本地显示设备处显示经恢复的视频数据。
在图1中，终端(110-140)可以被图示为服务器、个人计算机和智能电话，但是实施方式的原理不限于此。实施方式适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络(150)表示在终端(110-140)之间传送已编码视频数据的任何数目的网络，包括例如有线和/或无线通信网络。通信网络(150)可以在电路交换和/或分组交换信道中交换数据。代表性网络包括电信网络、局域网、广域网和/或因特网。出于本讨论的目的，除非在下文中有所解释，否则网络(150)的架构和拓扑对于实施方式的操作来说可能是不重要的。
图2是根据实施方式的视频编码器和视频解码器在流媒体环境中的放置方式的图。所公开的主题可以同等地适用于其他支持视频的应用，包括例如视频会议、数字TV、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等。
流式传输系统可以包括捕获子系统(213)，该捕获子系统可以包括视频源(201)例如数字摄像装置，以创建例如未压缩的视频样本流(202)。样本流(202)被描绘为粗线以强调当与编码视频比特流相比时高的数据量，该样本流(202)可以由耦合至相机(201)的编码器(203)处理。编码器(203)可以包括硬件、软件或其组合以实现或实施如下更详细地描述的所公开的主题的各方面。经编码的视频比特流(204)被描绘为细线以强调当与样本流进行比较时较低的数据量，该经编码的视频比特流(204)可以存储在流服务器(205)上以供将来使用。一个或更多个流客户端(206、208)可以访问流服务器(205)以检索经编码的视频比特流(204)的副本(207、209)。客户端(206)可以包括视频解码器(210)，该视频解码器(210)对经编码的视频比特流(207)的传入副本进行解码，并且创建可以在显示器(212)或其他呈现设备(未示出)上呈现的传出视频样本流(211)。在一些流式传输系统中，视频比特流(204、207、209)可以根据某些视频编码/压缩标准来进行编码。这些标准的示例包括ITU-TH.265建议书。正在开发的视频编码标准被非正式地称为通用视频编码(VVC)。所公开的主题可以用于VVC的上下文中。
图3是根据实施方式的视频解码器(210)的功能框图。
接收器(310)可以接收将由视频解码器(210)解码的一个或更多个编解码器视频序列；在同一实施方式或另一实施方式中，一次接收一个已编码的视频序列，其中每个已编码的视频序列的解码独立于其他已编码的视频序列。可以从信道(312)接收已编码的视频序列，该信道可以是到存储已编码的视频数据的存储设备的硬件/软件链路。接收器(310)可以接收经编码的视频数据以及其他数据，例如已编码音频数据和/或辅助数据流，这些数据可以被转发到其各自的使用实体(未描绘)。接收器(310)可以将已编码的视频序列与其他数据分开。为了防止网络抖动，缓冲存储器(315)可以耦接在接收器(310)与熵解码器/解析器(320)(此后称为“解析器”)之间。当接收器(310)从具有足够带宽和可控性的存储/转发设备或从等时同步网络接收数据时，可能不需要缓冲器(315)，或者缓冲器(315)可以是小的。为了在诸如因特网的尽力传输分组网络上使用，可能需要缓冲器(315)，缓冲器(315)可以相对较大并且可以有利地具有自适应大小。
视频解码器(210)可以包括解析器(320)以根据熵编码视频序列重建符号(321)。这些符号的类别包括用于管理解码器(210)的操作的信息，以及潜在地包括用于控制诸如显示器(212)的呈现设备的信息，该呈现设备不是解码器的组成部分，而是可以耦接至解码器，如图3所示。用于(一个或更多个)呈现设备的控制信息可以是辅助增强信息(SEI消息)或视频可用性信息(VUI)参数集片段(未描绘)的形式。解析器(320)可以对接收到的已编码视频序列进行解析/熵解码。已编码视频序列的编码可以根据视频编码技术或标准进行，并且可以遵循本领域技术人员公知的原理，包括：可变长度编码、霍夫曼编码(Huffmancoding)、具有或不具有上下文敏感性的算术编码等。解析器(320)可以基于与群组对应的至少一个参数，从已编码视频序列提取用于视频解码器中的像素的子群组中的至少一个子群组的子群组参数集。子群组可以包括：图片群组(GOP)、图片、图块、切片、宏块、编码单元(CU)、块、变换单元(TU)、预测单元(PU)等。熵解码器/解析器还可以从已编码视频序列提取信息，例如变换系数、量化器参数(QP)值、运动矢量等。
解析器(320)可以对从缓冲器(315)接收的视频序列执行熵解码/解析操作，从而创建符号(321)。解析器(320)可以接收经编码的数据，并且选择性地对特定符号(321)进行解码。此外，解析器(320)可以确定是否将特定符号(321)提供给运动补偿预测单元(353)、缩放器/逆变换单元(351)、帧内预测单元(352)或环路滤波器单元(354)。
取决于已编码的视频图片或一部分已编码的视频图片(诸如：帧间图片和帧内图片、帧间块和帧内块)的类型以及其他因素，符号(321)的重建可以涉及多个不同单元。涉及哪些单元以及如何控制可以通过由解析器(320)从已编码的视频序列解析的子群组控制信息来控制。出于简洁起见，未描述这样的子组群控制信息在解析器(320)与下面的多个单元之间的流动。
除了已经提及的功能块以外，视频解码器(210)可以在概念上细分成如下文所描述的数个功能单元。在商业约束下运行的实际实现中，这些单元中的许多单元彼此紧密交互并且至少可以部分地彼此集成。然而，出于描述所公开的主题的目的，概念上细分为下面的功能单元是适当的。
第一单元是缩放器/逆变换单元(351)。缩放器/逆变换单元(351)从解析器(320)接收作为(一个或更多个)符号(321)的量化变换系数以及控制信息，包括使用哪种变换方式、块大小、量化因子、量化缩放矩阵等。缩放器/逆变换单元(351)可以输出包括样本值的块，这些块可以输入到聚合器(355)中。
在一些情况下，缩放器/逆变换单元(351)的输出样本可以属于帧内编码块；即不使用来自先前重建的图片的预测性信息，但可以使用来自当前图片的先前重建部分的预测性信息。这样的预测性信息可以由帧内图片预测单元(352)提供。在一些情况下，帧内图片预测单元(352)使用从当前(部分重建的)图片(356)提取的周围已经重建的信息来生成与正在重建的块的大小和形状相同的块。在一些情况下，聚合器(355)基于每个样本将帧内预测单元(352)生成的预测信息添加到由缩放器/逆变换单元(351)提供的输出样本信息。
在其他情况下，缩放器/逆变换单元(351)的输出样本可以属于帧间编码和潜在运动补偿块。在这样的情况下，运动补偿预测单元(353)可以访问参考图片存储器(357)以提取用于预测的样本。在根据属于块的符号(321)对提取的样本进行运动补偿之后，这些样本可以由聚合器(355)添加到缩放器/逆变换单元的输出(在这种情况下被称为残差样本或残差信号)，从而生成输出样本信息。运动补偿预测单元从其提取预测样本的参考图片存储器内的地址可以由运动矢量控制，运动矢量以符号(321)的形式供运动补偿单元使用，符号(321)可以具有例如X、Y和参考图片分量。运动补偿还可以包括在使用子样本精确运动矢量时，从参考图片存储器提取的样本值的内插、运动矢量预测机制等。
聚合器(355)的输出样本可以在环路滤波器单元(354)中被各种环路滤波技术采用。视频压缩技术可以包括环路内滤波器技术，该环路内滤波器技术由被包括在已编码视频比特流中并且作为来自解析器(320)的符号(321)可用于环路滤波器单元(354)的参数进行控制，然而视频压缩技术还可以响应于在对已编码图片或已编码视频序列的先前(按解码顺序)部分进行解码期间获得的元信息，以及响应于先前重建和环路滤波的样本值。
环路滤波器单元(354)的输出可以是样本流，其可以输出到显示设备(212)以及存储在参考图片存储器(356)中以供将来帧间图片预测使用。
一旦完全重建，某些已编码的图片就可以用作参考图片以用于将来预测。一旦已编码图片被完全重建并且已编码图片(通过例如解析器(320))被识别为参考图片，则当前参考图片(356)可以变为参考图片缓冲器(357)的一部分，并且可以在开始对随后的已编码图片进行重建之前重新分配新的当前图片存储器。
视频解码器(210)可以根据可以记录在例如ITU-TH.265建议书的标准中的预定视频压缩技术执行解码操作。如在视频压缩技术文档或标准中并且明确地在其中的简档文档中指定的，在已编码视频序列遵循视频压缩技术或标准的语法的意义上，已编码视频序列可以符合由正使用的视频压缩技术或标准指定的语法。对于合规性，还要求已编码的视频序列的复杂度在由视频压缩技术或标准的级别限定的范围内。在一些情况下，级别限制最大图片大小、最大帧速率、最大重建样本速率(以例如每秒兆个样本为单位进行测量)、最大参考图片大小等。在一些情况下，由级别设置的限制可以通过假设参考解码器(HRD)规范以及在已编码的视频序列中信号表示的HRD缓冲器管理的元数据来进一步限定。
在实施方式中，接收器(310)可以连同已编码视频接收附加(冗余)数据。附加数据可以被包括作为(一个或更多个)已编码视频序列的一部分。附加数据可以由视频解码器(210)使用来正确地对数据进行解码和/或更精确地重建原始视频数据。附加数据可以是例如时间、空间或信噪比(SNR)增强层、冗余切片、冗余图片、前向纠错码等形式。
图4是根据实施方式的视频编码器(203)的功能框图。
编码器(203)可以从视频源(201)(其不是编码器的一部分)接收视频样本，该视频源可以捕获要由编码器(203)进行编码的(一个或更多个)视频图像。
视频源(201)可以提供要由视频编码器(203)编码的呈数字视频样本流形式的源视频序列，该数字视频样本流可以具有任何合适的位深度(例如：8位、10位、12位……)、任何色彩空间(例如，BT.601YCrCB、RGB……)和任何合适的采样结构(例如Y CrCb 4：2：0、YCrCb 4：4：4)。在媒体服务系统中，视频源(201)可以是存储先前已准备的视频的存储设备。在视频会议系统中，视频源(201)可以是捕获本地图像信息作为视频序列的摄像装置。可以将视频数据提供为在按次序观看时被赋予运动的多个单独的图片。图片自身可以被组织为空间像素阵列，其中，取决于使用中的采样结构、色彩空间等，每个像素可以包括一个或更多个样本。本领域技术人员可以容易地理解像素与样本之间的关系。以下描述集中于样本。
根据实施方式，编码器(203)可以实时或在由应用所要求的任何其他时间约束下，将源视频序列的图片编码和压缩成已编码的视频序列(443)。施行适当的编码速度是控制器(450)的一个功能。控制器控制如下所述的其他功能单元，并且在功能上耦接至这些单元。出于简洁起见，未描绘耦接。由控制器设置的参数可以包括：速率控制相关参数(图片跳过、量化器、率失真优化技术的λ值、......)、图片大小、图片群组(GOP)布局、最大运动矢量搜索范围等。本领域技术人员可以容易地识别控制器(450)的其他功能，因为这些功能可能属于针对特定系统设计而优化的视频编码器(203)。
一些视频编码器以本领域技术人员容易地识别为“编码环路”的方式进行操作。作为过于简化的描述，编码环路可以包括：编码器(430)(此后称为"源编码器”)(负责基于要编码的输入图片和(一个或更多个)参考图片创建符号)的编码部分，以及嵌入在编码器(203)中的(本地)解码器(433)，该解码器(433)重建符号以创建(远程)解码器也将创建的样本数据(因为在所公开的主题中考虑的视频压缩技术中，符号与已编码视频比特流之间的任何压缩是无损的)。将重建的样本流输入至参考图片存储器(434)。由于符号流的解码产生与解码器位置(本地或远程)无关的位精确结果，因此参考图片缓冲器内容在本地编码器与远程编码器之间也是位精确的。换句话说，编码器的预测部分“看到”的参考图片样本与解码器将在解码期间使用预测时所“看到”的样本值完全相同。参考图片同步性(以及在例如由于信道误差而无法维持同步性的情况下产生的漂移)的这种基本原理对于本领域技术人员来说是公知的。
“本地”解码器(433)的操作可以与已经在上面结合图3详细描述的“远程”解码器(210)的操作相同。然而，还简要地参照图3，当符号可用并且由熵编码器(445)和解析器(320)能够无损地将符号编码/解码为已编码的视频序列时，在本地解码器(433)中可以不完全实现包括信道(312)、接收器(310)、缓冲器(315)和解析器(320)的解码器(210)的熵解码部分。
此时可以观察到，除了存在于解码器中的解析/熵解码之外的任何解码器技术，也必然需要以基本上相同的功能形式存在于对应的编码器中。由于编码器技术与全面地描述的解码器技术互逆，因此可以简化对编码器技术的描述。仅在某些区域中需要更详细的描述并且在下面提供该描述。
作为其操作的一部分，源编码器(430)可以执行运动补偿预测编码,其参考来自视频序列的一个或更多个先前已编码的帧(其被指定为“参考帧”)来预测地编码输入帧。以此方式，编码引擎(432)对输入帧的像素块与可以被选作输入帧的(一个或更多个)预测参考的(一个或更多个)参考帧的像素块之间的差进行编码。
本地视频解码器(433)可以基于由源编码器(430)创建的符号对可以被指定为参考帧的帧的已编码视频数据进行解码。编码引擎(432)的操作可以有利地是有损处理。当已编码的视频数据可以在视频解码器(图3中未示出)处被解码时，重建的视频序列通常可以是带有一些误差的源视频序列的副本。本地视频解码器(433)复制可以由视频解码器对参考帧执行的解码过程，并且可以使重建的参考帧存储在参考图片高速缓存(434)中。以此方式，视频编码器(203)可以本地地存储重建的参考帧的副本，该副本与将由远端视频解码器获得的重建的参考帧具有共同内容(不存在传输误差)。
预测器(435)可以针对编码引擎(432)执行预测搜索。即对于要编码的新帧，预测器(435)可以在参考图片存储器(434)中搜索可以用作新图片的适当预测参考的样本数据(作为候选参考像素块)或特定元数据，例如参考图片运动矢量、块形状等。预测器(435)可以基于样本块逐像素块操作，以找到合适的预测参考。在一些情况下，如由预测器(435)获得的搜索结果所确定的，输入图片可以具有从存储在参考图片存储器(434)中的多个参考图片提取的预测参考。
控制器(450)可以管理源编码器(430)的编码操作，包括例如设置用于对视频数据进行编码的参数和子群组参数。
所有上述功能单元的输出可以在熵编码器(445)中经历熵编码。熵编码器通过根据本领域技术人员已知的技术(例如霍夫曼编码、可变长度编码、算术编码等)对由各种功能单元生成的符号进行无损压缩，将符号转换成已编码视频序列。
传输器(440)可以缓冲由熵编码器(445)创建的(一个或更多个)已编码视频序列，从而为经由通信信道(460)进行传输做准备，该通信信道可以是通向可以存储已编码视频数据的存储设备的硬件/软件链路。传输器(440)可以将来自源编码器(430)的已编码视频数据与要传输的其他数据例如已编码音频数据和/或辅助数据流(未示出来源)进行合并。
控制器(450)可以管理视频编码器(203)的操作。在编码期间，控制器(450)可以为每个已编码图片指定特定的已编码图片类型，这可能影响可以应用于相应的图片的编码技术。例如，通常可以将图片指定为以下帧类型中的一个：
帧内图片(I图片)，其可以是不将序列中的任何其他帧用作预测源就可以被编码和解码的图片。一些视频编解码器容许不同类型的帧内图片，包括例如独立解码器刷新(Independent Decoder Refresh)图片。本领域技术人员了解I图片的这些变型及其相应的应用和特征。
预测性图片(P图片)，其可以是可以使用帧内预测或帧间预测进行编码和解码的图片，该帧内预测或帧间预测使用至多一个运动矢量和参考索引来预测每个块的样本值。
双向预测性图片(B图片)，其可以是可以使用帧内预测或帧间预测进行编码和解码的图片，该帧内预测或帧间预测使用至多两个运动矢量和参考索引来预测每个块的样本值。类似地，多个预测性图片可以使用多于两个参考图片和相关联的元数据以用于单个块的重建。
源图片通常可以在空间上细分为多个样本块(例如，每个图片具有4×4、8×8、4×8或16×16样本的块)并且逐块进行编码。这些块可以参考通过应用于块的相应的图片的编码分配来确定的其他(已经编码)块进行预测性编码。例如，I图片的块可以进行非预测性编码，或者这些块可以参照同一图片的经编码的块来进行预测性编码(空间预测或帧内预测)。P图片的像素块可以参照一个先前已编码参考图片经由空间预测或经由时间预测进行非预测性编码。B图片的块可以参照一个或两个先前已编码参考图片经由空间预测或经由时间预测进行非预测性编码。
视频编码器(203)可以根据例如ITU-T H.265建议书的预定视频编码技术或标准执行编码操作。在视频编码器(203)的操作中，视频编码器(203)可以执行各种压缩操作，包括利用输入视频序列中的时间和空间冗余的预测性编码操作。因此，已编码的视频数据可以符合由使用的视频编码技术或标准指定的语法。
在实施方式中，传输器(440)可以传输附加数据和已编码的视频。源编码器(430)可以包括这样的数据作为已编码视频序列的一部分。附加数据可以包括时间/空间/SNR增强层、诸如冗余图片和切片的其他形式的冗余数据、辅助增强信息(SupplementaryEnhancement Information，SEI)消息、视觉可用性信息(Video Usability Information，VUI)参数集片段等。
在下文中，使用图块作为已编码图片段的示例来描述实施方式。在至少一些情况下，实施方式可以等同地应用于诸如切片、GOB等的其他段类型。
图5是根据实施方式的分块的图片的图。
参照图5，在实施方式中，已编码图片(501)可以被划分为三个图块比特流(502、504、506)，其在重建图片(508)中分别表示三个空间区域(509、510、511)。在该示例中，每个图块可以使用片头部(503、505、507)。该示例使用三个图块，但是本领域技术人员可以容易地将示例推广至多于或少于三个图块。每个图块除了其头部之外还可以包含可以按扫描顺序布置的一个或更多个编码单元CU。也就是说，对于图块的比特流(502、504或506)中的连续顺序的编码单元，编码单元所覆盖的区域被布置为使得随后的编码单元在先前的编码单元的右侧和底部，原则上遵循由阴极射线管(CRT)射线建立的扫描顺序。对于统一尺寸和不同尺寸的编码单元，本领域技术人员很容易熟悉编码单元的扫描顺序。
根据已知的视频编码技术或标准，仅允许跨片边界的某些形式的预测，如在重建图片(508)的空间表示中所示。例如，H.265的图块会破坏已编码图片中的所有形式的预测，无论是根据元数据进行的预测(例如帧内预测模式、运动矢量等)还是样本预测(例如帧内预测中使用的预测样本或者用于IBC预测的样本数据)。H.265的受运动限制的图块集进一步破坏了通过从当前图块集之外的参考图片中的空间区域进行运动补偿来导入样本值。在这种情况下，受运动限制的图块集与启用了独立段解码模式的H.263矩形切片相当。
这些限制条件集过去是在识别到某些(有限的)应用场景之后定义的，以响应这些场景并响应某些与硬件实现相关的约束。然而，新编码工具的引入、对附加编码效率的不断增长的需求以及对附加应用场景的识别使得相对于不同形式的预测的中断，期望对块边界的语义进行更灵活的定义。
图6A和图6B是根据实施方式的用于分割图片的并行解码器系统的图。
参照图5和图6A，示出了系统(600a)，其中三个空间区域(509、510、511)均覆盖太大的区域以至于不能由单个解码器解码。在这种情况下，可以使用系统(600a)，系统(600a)包括多个子解码器，每个子解码器产生代表单个编码图块的内容的视频样本流。可以通过解析器(602)在压缩域中将进入的分块的已编码视频比特流分解为代表三个空间区域(509、510、511)的已编码子比特流。当使用合适的语法(例如启用运动受限制的图块集的H.265语法)时，分解可能是相对轻量级的处理，仅需要很少(如果有的话)信号处理即可进行比特流解析。压缩的已编码视频比特流的(相对)低带宽性质(与重建样本流相比)被显示为细线。三个子解码器(603、604、605)可以通过类似的低带宽通信链路(606、607、608)(也被描绘为细线)接收它们负责解码的已编码子比特流的比特，并且每个解码器将一个区域解码成重建图块。由三个子解码器(603、604、605)生成的重建图块的样本可以通过高带宽链路(609、610、611)传递到拼接器(612)。拼接器(612)可以将图块聚合为单个样本流，该单个样本流表示单个重建图片流(613)中的所有重建图块。在这种情况下，子解码器(603、604、605)可以彼此不具有通信关系，可以仅交换(最小)控制信息，而彼此之间不传递预测信息也不传递样本信息。因此，没有描绘这样的通信关系。
基于以上观察，本领域技术人员可以容易地设计出相应的编码系统，因此没有描绘或更详细地描述。
如在系统(600a)中一样，根据定义，在解码系统(600a)的子解码器(603、604、605)之间不存在预测信息的传递，在类似的编码器系统中也不存在任何此类通信，这种系统适于独立的子解码器或子编码器。然而，对于其中不将解码器和/或编码器分配为子解码器/子编码器而是基于应用需求的应用场景，这可能也是合适的。例如，如果已知(在该示例中为三个)空间区域彼此之间没有语义关系，则几乎没有机会(如果存在机会的话)通过跨区域/片边界的预测来实现编码效率增益。应当避免将来自相邻图块的样本信息(以人为的形式)导入到正在重建的片中。例如，如果一个空间区域包含来自一个相机源的内容，而其他空间区域包含来自其他相机源的内容、人工内容，360场景中的其他投影等，则各种原因的内容之间的相关性可能会很小或不存在。因此，即使在系统设计上使用预测在技术上是可行的，在这些区域之间使用预测可能没有优势或几乎没有优势。这种情况是将受运动限制的图块集包含到H.265中的原因之一。
图6B描绘了稍微不同的系统设计(600b)。同样，该系统包括解析器(602)，该解析器将进入的分块已编码视频比特流分解为三个子比特流(606、607、608)，该子比特流被馈入三个子解码器(603、604、605)。子解码器各自创建重建图块，该重建图块被传送(609、610、611)到拼接器(612)，该拼接器又创建输出重建图片流(613)。然而，在该设计中，可以通过中带宽的合适的通信链路(614)在子解码器(603、604、605)之间传递有限量的信息，该中带宽可能不足以传递大量样本信息，但是能传递多于最小的控制信息(将在下面更详细地描述)。通信链路的性质可以是全连接、总线、共享存储器或任何其他适当的通信技术。这里描述为中带宽通信链路(614)的是连接子解码器(603、604、605)的总线。
本领域技术人员可以容易地设计出相应的编码系统。
解码系统(600b)可以允许跨图块边界使用某些类型的预测。可以使用哪种类型的预测很大程度上取决于中带宽通信链路(614)的可用带宽。
在第一示例中，链路(614)可以具有用于少量的元数据和非常有限的样本数据(例如，要解码的每个编码单元(CU)几个样本值)的足够带宽。在这种情况下，某些帧内预测机制可以是可支持的，但是帧内块复制和运动补偿可以是不支持的。H.265的运动受限图块集考虑了这种情况。
在第二示例中，链路(614)可以具有用于与来自按照先前解码顺序的单个参考图片的运动补偿相关联的元数据和样本数据的足够的带宽，但是带宽或者协调能力不足以使用帧内块复制。H.265的非运动限制(常规)图块集设想了这种情况。与(过去的图片)运动补偿相比，帧内块复制在某些实现中可能会更加繁重，因为在很多实现中，帧内复制可能需要对当前图片存储器中紧邻的样本数据进行准并发访问，这可能导致缓存效率低下(尤其是如果未针对IBC优化缓存设计)。协调能力会带来概念上的问题。如果图块的重建可能需要访问同一重建图片中的其他图块，则给定图块的解码管线可能需要停顿，直到另一图块中的IBC参考样本变得可用。尽管到目前为止，本文的讨论都集中在图块上，但对于这种情况，应该注意的是，如果这些段不是图块而是按扫描顺序进行线性解码的切片，则不存在上述协调问题，尽管在某些实现中存储器访问问题可能仍然是一个问题。
在第三示例中，链路(614)可以具有足够的带宽和协调能力，以用于P图片类型运动补偿和IBC二者。当前在H.265的上下文中未考虑这样的场景，但是其是下面描述的“IP切片”概念的基础。
最后，在第四示例中，中等比特率链路(614)可以具有足够的比特率(和协调能力)以支持视频技术或标准中设想的所有形式的预测，包括例如帧内预测、IBC、P帧预测和B帧预测的帧间预测。一些共享存储器和多处理器架构允许这种第四场景。在此，可能不需要对跨图块(或实际上是段)边界使用预测工具的限制。
必须注意，尽管上面的描述可以理解为存在基于链路(614)带宽和/或协调能力可能是可行的也可能是不可行的预测技术的层次结构，但不一定是这种情况。举一个简单的示例，与P预测相比，IBC的存储器带宽需求处于相似的水平，而B预测可能需要两倍的带宽(并且多重假设预测甚至可能需要更多)。然而，即使在系统设计的存储器带宽可以允许双向预测或多重假设预测的情况下，IBC的协调方面也可能阻止其跨图块边界使用。也可能存在其他架构约束。
可以注意到，以上示例硬件架构可以组合使用。例如，很可能会需要根据系统(600a)进行硬分块，以将非常大的图片(8k及以上)拆分为可管理大小的单元(例如，在写入时，在软件和硬件编码器和解码器二者的商业合理限制下可以实现4k分辨率)。在这些硬图块中(在此示例中为4k分辨率)，进一步的分块可能是有利的，并且可以通过与系统(600b)相关的一个或更多个方案来实现。
同样，必须引起注意的是，不仅可以通过诸如上述的硬件实现约束，而且可以通过应用需求来驱动跨图块边界(或更一般地，段边界)使用的预测机制的选择。在某些情况下，从应用和编码效率的角度来看，防止跨图块和段边界的一种或更多种形式的预测可能是有利的。
在当前的视频编码技术和标准中，被中断的预测形式是不灵活的，并且在大多数情况下，与服务于不同目的概念和语法元素相关联。以H.265为例(以下列表是非穷举性的)：
仅当启用某些配置文件时才允许IBC，并且不管配置文件如何禁用跨切片/图块边界的IBC预测；
除非设置了运动受限的图块集语法元素，否则仅对P切片和B切片(且与图块无关)才允许进行运动补偿以及跨切片/图块边界；以及
禁用帧内预测跨切片边界，但可以跨图块边界。
这些限制中的一些可以通过逐步涉入H.265来说明。例如，在发布H.265的第一个版本之后添加了H.265，因此需要通过配置文件放置(并用信号通知其使用)。然而，无论使得需要进行某些设计选择的历史如何，H.265设计都禁用跨某些段边界的预测机制的某些组合。H.265和其他当前视频编码技术和标准的这一缺点现在得到解决。
在视频压缩技术或标准中改变对跨段边界的某些预测机制的支持可能会产生两个影响，这两个影响可能都需要考虑。
第一个影响可能是需要在使用某种预测机制时或者在禁用使用因此不使用某种预测机制时，指定解码器的操作。在许多视频编码技术和标准中，可以通过适当定义参考样本或参考元数据的“可用性”，以及在比特流中隐含禁用跨段边界的预测时使用的推断机制来实现。这些机制对于本领域技术人员而言是公知的，并且在本文中不再详细阐述。
第二个影响可能是需要在比特流中指定允许跨段边界的预测工具。下面以从与H.265中可用的信令机制相比变化最小到更通用的机制的顺序描述此信令机制的选项。
在上面结合系统(600b)描述的架构约束的四个示例中，(允许IBC和P预测二者的)第三示例可以通过引入一个或更多个附加切片类型来实现。
图7是根据实施方式的IP切片语法元素的语法和语义的图。
在同一实施方式或另一实施方式中，引入了在本文中称为IP切片的新的切片类型。可以使用如图7所示的slice_segment_header()语法结构(702)中的slice_type语法元素(701)的适当值来表示IP切片，其中具有slice_type的(相对于H.265)修改后的语义703。使用带下划线的文字显示修改内容以指示添加。IP切片类型可以与I切片共享其所有属性，不同之处在于IP切片类型允许跨其切片边界的IBC。在同一实施方式或另一实施方式中，独立解码器刷新图片(IDR图片)可以包括I切片和IP切片(704)。
图8是根据实施方式的PI切片语法元素的语法和语义的图。
在同一实施方式或另一实施方式中，引入了在本文中称为PI切片的新切片类型。可以使用如图7所示的slice_segment_header()语法结构(702)中的slice_type语法元素(701)的适当值来表示PI切片，其中具有如图8所示的slice_type的修改后的语义(801)。PI切片类型与P切片共享其所有属性，不同之处在于PI切片允许跨其切片边界的IBC。
图9是根据实施方式的B切片语法元素的语法和语义的图。
在同一实施方式或另一实施方式中，引入了在本文中称为BI切片的新切片类型。可以使用如图7所示的slice_segment_header()语法结构(702)中的slice_type语法元素(701)的适当值来表示BI切片，其中具有如图9所示的slice_type的修改后的语义(901)。BI切片类型与B切片共享其所有属性，不同之处在于BI切片允许跨其切片边界的IBC。
图10是根据实施方式的BI、PI和IP切片语法元素的语法和语义的图。
在同一实施方式或另一实施方式中，可以组合指定前述新切片类型中的两个或更多个。作为示例，图10示出了slice_type语法元素的语义(1001)，其中包括了所有上述三种新的切片类型。
在同一实施方式或另一实施方式中，传统的I、B和P切片的使用可以暗示不管使用中的配置文件如何，禁用跨切片边界的IBC预测。
图11是根据实施方式的跨边界预测标志的语法和语义的图。
参照图11，在同一实施方式或另一实施方式中，可以将新的语法元素ibc_accross_slice_boundaries_allowed_flag(1101)和/或ibc_across_tile_boundaries_allowed_flag引入高级语法结构，例如切片段头部(1102)、图块头部、图片参数集、序列参数集、图片头部、GOP头部、序列头部或任何其他适当的高级语法结构。这样的标志的语义可以如图11所示，其中以ibc_accross_slice_boundaries_allowed_flag为例。
在同一实施方式或另一个实施方式中，可以为某些其他预测工具引入相似的标志，包括但不限于帧内预测(intra_pred_accross_slice_boundaries_allowed_flag，1104)、P帧预测运动补偿(p-prediction-across-slice-boundaries-allowed-flag，1105)、双向预测运动补偿(b-prediction-across-slice-boundaries-allowed-flag，1106)等。本领域技术人员可以容易地想出与段类型例如图块、GOB等有关的类似语法元素。
可以对上述一个或多个标志的编码进行许多优化。例如，由于根据定义，双向预测仅被允许用于B切片，因此可以在切片类型为B切片时对b-prediction-across-slice-slice-boundaries-allowed-flag的存在进行门控。在视频编码技术和标准中已经以不同的(有时是不一致的)方式解决了这种解析依赖性是否值得付出编码效率的问题。两种形式都应包括在内。
上述用于跨段边界的预测的技术可以使用计算机可读指令被实现为计算机软件，并且被物理地存储在一个或更多个计算机可读介质中。
图12是适合于实现实施方式的计算机系统(1200)的图。
计算机软件可以使用任何合适的机器代码或计算机语言来编码，机器代码或计算机语言可以经受汇编、编译、链接等机制以创建包括指令的代码，该指令可以由计算机中央处理单元(CPU)、图形处理单元(GPU)等直接执行或者通过解释、微代码执行等来执行。
指令可以在各种类型的计算机或其部件包括例如个人计算机、平板计算机、服务器、智能电话、游戏设备、物联网设备等上执行。
图12中示出的用于计算机系统(1200)的部件本质上是示例性的，并且不旨在对实现本公开内容的实施方式的计算机软件的使用范围或功能提出任何限制。部件的配置也不应当被解释为具有与计算机系统(1200)的示例性实施方式中示出的部件中的任何一个部件或部件的组合有关的任何依赖性或要求。
计算机系统(1200)可以包括某些人机接口输入设备。这样的人机接口输入设备可以响应于由一个或更多个人类用户通过例如触觉输入(诸如：击键、滑动、数据手套移动)、音频输入(诸如：语音、拍打)、视觉输入(诸如：姿势)、嗅觉输入(未示出)的输入。人机接口设备还可以用于捕获不一定与人的意识输入直接有关的某些介质，例如，音频(诸如：语音、音乐、环境声音)、图像(诸如：扫描图像、从静态图像摄像装置获得的摄影图像)、视频(诸如二维视频、包括立体视频的三维视频)。
输入人机接口设备可以包括以下中的一个或更多个(描述的每个中的仅一个)：键盘(1201)、鼠标(1202)、触控板(1203)、触摸屏(1210)、数据手套(1204)、操纵杆(1205)、麦克风(1206)、扫描仪(1207)、摄像装置(1208)。
计算机系统(1200)还可以包括某些人机接口输出设备。这样的人机接口输出设备可以通过例如触觉输出、声音、光和气味/味道来刺激一个或更多个人类用户的感觉。这样的人机接口输出设备可以包括触觉输出设备(例如，通过触摸屏(1210)、数据手套(1204)或操纵杆(1205)的触觉反馈，但是也可以有不用作输入设备的触觉反馈设备、音频输出设备(例如：扬声器(1209)、头戴式耳机(未示出))、视觉输出设备(例如，屏幕(1210)，包括阴极射线管(CRT)屏幕、液晶显示(LCD)屏幕、等离子屏幕、有机发光二极管(OLED)屏幕，每个屏幕具有或不具有触摸屏输入能力，每个具有或不具有触觉反馈能力——其中的一些可能能够通过诸如立体图像输出的方式输出二维视觉输出或多于三维输出；虚拟现实眼镜(未描绘)、全息显示器和烟罐(未描绘))和打印机(未描绘)。
计算机系统(1200)还可以包括人类可访问存储设备及其相关联的介质，例如，包括具有CD/DVD等介质(1221)的CD/DVD ROM/RW(1220)的光学介质、拇指驱动器(1222)、可移除硬盘驱动器或固态驱动器(1223)、遗留磁性介质(例如，磁带和软盘(未描绘))、基于专用ROM/ASIC/PLD的设备(例如，安全加密狗(未描绘))等。
本领域技术人员还应当理解，结合当前公开的主题使用的术语“计算机可读介质”不包含传输介质、载波或其他瞬时信号。
计算机系统(1200)还可以包括到一个或更多个通信网络的接口。网络可以例如是无线网络、有线连接网络、光网络。网络还可以是本地网络、广域网、城域网、车载和工业网络、实时网络、延时容忍网络等。网络的示例包括：诸如以太网、无线LAN的局域网，包括全球移动通信系统(GSM)、第三代(3G)、第四代(4G)、第五代(5G)、长期演进(LTE)等的蜂窝网络，包括有线电视、卫星电视和地面广播电视的有线连线或无线广域数字网络电视，包括CANBus的车载和工业网络等。某些网络通常需要附接至某些通用数据端口或外围总线(1249)(例如，计算机系统(1200)的通用串行总线(USB)端口)的外部网络接口适配器；其他通常通过如下所述(例如，到PC计算机系统的以太网接口或到智能电话计算机系统的蜂窝网络接口)附接至系统总线而集成到计算机系统(1200)的核心中。使用这些网络中的任何网络，计算机系统(1200)可以与其他实体进行通信。这样的通信可以是仅单向接收的(例如，广播电视)、仅单向发送的(例如，到某些CAN总线设备的CAN总线)、或双向的，例如，使用局域或广域数字网络到其他计算机系统。可以在如上所述的这些网络和网络接口中的每个网络和网络接口上使用某些协议和协议栈。
以上提及的人机接口设备、人类可访问存储设备和网络接口可以附接至计算机系统(1200)的核心(1240)。
核心(1240)可以包括一个或更多个中央处理单元(CPU)(1241)、图形处理单元(GPU)(1242)、现场可编程门区(FPGA)(1243)形式的专用可编程处理单元、用于某些任务的硬件加速器(1244)等。这些设备连同只读存储器(ROM)(1245)、随机存取存储器(RAM)(1246)、诸如内部非用户可访问硬盘驱动器、SSD等的内部大容量存储装置(1247)，可以通过系统总线(1248)连接。在一些计算机系统中，可以以一个或更多个物理插头的形式访问系统总线(1248)，以使得能够通过另外的CPU、GPU等进行扩展。外围设备可以直接地或通过外围总线(1249)附接至核心的系统总线(1248)。外围总线的架构包括外围组件互连(PCI)、USB等。
CPU(1241)、GPU(1242)、FPGA(1243)和加速器(1244)可以执行某些指令，这些指令可以组合起来构成以上提及的计算机代码。该计算机代码可以存储在ROM(1245)或RAM(1246)中。过渡数据也可以存储在RAM(1246)中，而永久数据可以存储在例如内部大容量存储装置(1247)中。可以通过使用缓存存储器来实现存储设备中的任何存储设备的快速存储和检索，该缓存存储器可以与一个或更多个CPU(1241)、GPU(1242)、大容量存储装置(1247)、ROM(1245)、RAM(1246)等紧密相关联。
计算机可读介质可以在其上具有用于执行各种计算机实现的操作的计算机代码。介质和计算机代码可以是出于实施方式的目的而专门设计和构造的介质和计算机代码，或者它们可以是计算机软件领域的技术人员公知和可用的类型。
作为示例而非限制，具有架构(1200)的计算机系统——特别是核心(1240)——可以提供由于(一个或更多个)处理器(包括CPU、GPU、FPGA、加速器等)执行体现在一个或更多个有形计算机可读介质中的软件而提供功能。这样的计算机可读介质可以是与如以上所介绍的用户可访问的大容量存储装置相关联的介质，以及核心(1240)的具有非暂态性的某些存储装置，例如，核心内部大容量存储装置(1247)或ROM(1245)。可以将实现各种实施方式的软件存储在这样的设备中并且由核心(1240)执行。根据特定需要，计算机可读介质可以包括一个或更多个存储设备或芯片。软件可以使核心(1240)——特别是其中的处理器(包括CPU、GPU、FPGA等)——执行本文中描述的特定处理或特定处理的特定部分，包括限定存储在RAM(1246)中的数据结构以及根据由软件限定的处理修改这样的数据结构。另外地或替选地，计算机系统可以提供由于逻辑硬连线而提供或以其他方式体现在电路(例如，加速器(1244))中而提供的功能，该电路可以代替软件或与软件一起操作以执行本文中描述的特定处理或特定处理的特定部分。在适当的情况下，提及软件可以包含逻辑，反之提及逻辑也可以包含软件。在适当的情况下，提及计算机可读介质可以包含存储用于执行的软件的电路(例如，集成电路(IC))、体现用于执行的逻辑的电路或上述两者。
图13是根据实施方式的对已编码图片进行解码的方法(1300)的流程图。所述已编码图片包括第一划分段和第二划分段的已编码视频序列，在一些实现方式中，图13的一个或更多个处理块可以由解码器(210)执行。在一些实现方式中，图13的一个或更多个处理块可以由与解码器(210)分开或包括解码器(210)的另一设备或一组设备(例如，编码器203)来执行。
参照图13，在第一块(1310)中，方法(1300)包括：至少基于适用于第一划分段和第二划分段的高级语法结构的第一语法元素来确定用于对第一划分段进行解码的第一解码处理，该第一语法元素用于指示第一解码处理禁用第一预测。
在第二块(1320)中，方法(1300)包括：至少基于高级语法结构的第二语法元素来确定用于对第二划分段进行解码的第二解码处理，该第二预测与第一预测不同，该第二语法元素用于指示第二解码处理禁用所述第二预测。
在第三块(1330)中，方法(1300)包括：基于禁用第一预测的第一解码处理，对第一划分段进行解码。
在第四块(1340)中，方法(1300)包括：基于禁用第二预测的第二解码处理，对第二划分段进行解码。
第一划分段和第二划分段中的至少一个可以包括切片。
第一划分段和第二划分段中的至少一个可以包括图块。
第一划分段和第二划分段中的至少一个可以包括块组。
第一预测可以包括以下各项中任意一个：跨段边界的帧内块复制、跨段边界的帧内预测、跨段边界的预测图片预测和跨段边界的双预测图片预测，并且第二预测可以包括以下所述各者中任意一个：跨段边界的帧内块复制、所述跨段边界的帧内预测、所述跨段边界的预测图片预测和跨段边界的双预测图片预测。
第一语法元素和第二语法元素中的每一个语法元素可以是高级语法结构的标志。
高级语法结构可以处于第一划分段和第二划分段中的每一个段头部。
高级语法结构可以是图片参数集和序列参数集中的一个。
高级语法结构可以下述中任意一个：图片头部、块组头部和序列头部。
尽管图13示出了方法(1300)的示例块，但是在一些实现中，与图13所描绘的这些块相比，方法(1300)可以包括另外的块、更少的块、不同的块或不同地布置的块。附加地或替选地，可以并行地执行方法(1300)的块中的两个或更多个。
此外，所提出的方法可以由处理电路(例如，一个或更多个处理器或者一个或更多个集成电路)来实现。在示例中，一个或更多个处理器执行存储在非暂态计算机可读介质中的程序以执行所提出的方法中的一个或更多个方法。
图14是根据实施方式的用于对已编码图片进行解码的设备(1400)的简化框图，所述已编码图片包括第一划分段和第二划分段的已编码视频序列。
参照图14，设备(1400)包括第一确定代码(1410)，第二确定代码(1420)，第一解码代码(1430)和第二解码代码(1440)。
参照图14，第一确定代码(1410)被配置成至少基于适用于第一划分段和第二划分段的高级语法结构的第一语法元素来确定用于对第一划分段进行解码的第一解码处理，该第一语法元素用于指示禁用第一预测。
第二确定代码(1420)被配置成至少基于高级语法结构的第二语法元素来确定其用于对第二划分段进行解码的第二解码处理，第二预测与第一预测不同，该第二语法元素用于指示所述第二解码处理禁用所述第二预测。
第一解码代码(1430)被配置成基于禁用第一预测的第一解码处理，对第一划分段进行解码。
第二解码代码(1440)被配置成基于禁用第二预测的第二解码处理，对第二划分段进行解码。
第一划分段和第二划分段中的至少一个可以包括切片。
第一划分段和第二划分段中的至少一个可以包括图块。
第一划分段和第二划分段中的至少一个可以包括块组。
第一预测可以包括以下各者中任意一个：跨段边界的帧内块复制、跨段边界的帧内预测、跨段边界的预测图片预测和跨段边界的双预测图片预测，并且第二预测可以包括以下所述各者中任意一个：所述跨段边界的帧内块复制、所述跨段边界的帧内预测、所述跨段边界的预测图片预测和所述跨段边界的双预测图片预测。
第一语法元素和第二语法元素中的每一个语法元素可以是高级语法结构的标志。
高级语法结构可以处于第一划分段和第二划分段中的每一个段头部。
高级语法结构可以是图片参数集和序列参数集中的一个。
高级语法结构可以是下述中任意一个：图片头部、块组头部和序列头部。
由此可见，通过对所使用预测机制的选择，例如确定禁用第一预测的第一解码处理和禁用第二预测的第二解码处理，使得可以防止一种或多种形式的跨图块和段边界的预测，从应用和编码效率的角度来看，这种方式可以带来有利的效果。
上述技术可以使用计算机可读指令被实现为计算机软件，并且被物理地存储在一个或更多个计算机可读介质中。
尽管本公开内容已经描述了若干示例性实施方式，但是存在落入本公开内容的范围内的改变、置换和各种替换等效物。因此，应当认识到，虽然本文中没有明确示出或描述，但是本领域技术人员能够设想出体现本公开内容的原理并且因此在其精神和范围内的许多系统和方法。
Claims (14)
1.一种对已编码视频序列中的已编码图片进行解码的方法，所述已编码图片包括第一划分段和第二划分段，其特征在于，所述方法包括：
采用至少基于第一语法元素来确定用于对所述第一划分段进行解码的第一解码处理，所述第一语法元素用于指示所述第一解码处理禁用第一预测；
采用至少基于第二语法元素来确定用于对所述第二划分段进行解码的第二解码处理，所述第二语法元素用于指示所述第二解码处理禁用第二预测，所述第二预测与所述第一预测不同；
基于禁用所述第一预测的所述第一解码处理，对所述第一划分段进行解码；以及
基于禁用所述第二预测的所述第二解码处理，对所述第二划分段进行解码；
如果所述第一语法元素指示允许所述第一预测并且所述第二语法元素指示允许所述第二预测，则组合所述第一解码处理和所述第二解码处理来对所述第一划分段和所述第二划分段进行解码；
所述第一预测包括以下各者中任意一个：跨段边界的帧内块复制、跨段边界的帧内预测、跨段边界的预测图片预测和跨段边界的双预测图片预测；并且
所述第二预测包括以下所述各者中的不同的一个：所述跨段边界的帧内块复制、所述跨段边界的帧内预测、所述跨段边界的预测图片预测和所述跨段边界的双预测图片预测。
2.根据权利要求1所述的方法，其中，所述第一划分段和所述第二划分段中的至少一个包括切片。
3.根据权利要求1-2任意一项所述的方法，其中，所述第一划分段和所述第二划分段中的至少一个包括图块。
4.根据权利要求1所述的方法，其中，所述第一划分段和所述第二划分段中的至少一个包括块组。
5.根据权利要求1-2任意一项所述的方法，其中，所述第一语法元素和所述第二语法元素中的每一个语法元素是一个信号标志。
6.根据权利要求1-2任意一项所述的方法，其中，所述第一语法元素和所述第二语法元素分别位于所述第一划分段和所述第二划分段中的每一个段的头部。
7.根据权利要求1-2任意一项所述的方法，其中，所述第一语法元素和所述第二语法元素是图片参数集和序列参数集中的一个。
8.根据权利要求1-2任意一项所述的方法，其中，所述第一语法元素和所述第二语法元素位于下述中任意一个：图片头部、块组头部和序列头部。
9.一种对视频进行编码的方法，所述视频中的每个图片包括第一划分段和第二划分段，其特征在于，所述方法包括：
采用至少基于第一语法元素来确定用于对所述第一划分段进行编码的第一编码处理，所述第一语法元素用于指示所述第一编码处理禁用第一预测；
采用至少基于第二语法元素来确定用于对所述第二划分段进行编码的第二编码处理，所述第二语法元素用于指示所述第二编码处理禁用第二预测，所述第二预测与所述第一预测不同；
基于禁用所述第一预测的所述第一编码处理，对所述第一划分段进行编码；以及
基于禁用所述第二预测的所述第二编码处理，对所述第二划分段进行编码；
如果所述第一语法元素指示允许所述第一预测并且所述第二语法元素指示允许所述第二预测，则组合所述第一编码处理和所述第二编码处理来对所述第一划分段和所述第二划分段进行编码；
所述第一预测包括以下各者中任意一个：跨段边界的帧内块复制、跨段边界的帧内预测、跨段边界的预测图片预测和跨段边界的双预测图片预测；并且
所述第二预测包括以下所述各者中的不同的一个：所述跨段边界的帧内块复制、所述跨段边界的帧内预测、所述跨段边界的预测图片预测和所述跨段边界的双预测图片预测。
10.一种用于对已编码视频序列的已编码图片进行解码的设备，所述已编码图片包括第一划分段和第二划分段，所述设备包括：
至少一个存储器，其被配置成存储计算机程序；以及
至少一个处理器，其被配置成访问所述至少一个存储器并且根据所述计算机程序进行操作，以执行如权利要求1-8中任意一项所述的方法。
11.一种对已编码视频序列的已编码图片进行解码的装置，其特征在于，所述已编码图片包括第一划分段和第二划分段，所述装置包括确定单元和解码单元：
所述确定单元，用于采用至少基于第一语法元素来确定用于对所述第一划分段进行解码的第一解码处理，所述第一语法元素用于指示所述第一解码处理禁用第一预测；
所述确定单元还用于采用至少基于第二语法元素来确定用于对所述第二划分段进行解码的第二解码处理，所述第二语法元素用于指示所述第二解码处理禁用第二预测，所述第二预测与所述第一预测不同；
所述解码单元，用于基于禁用所述第一预测的所述第一解码处理，对所述第一划分段进行解码；以及
所述解码单元还用于基于禁用所述第二预测的所述第二解码处理，对所述第二划分段进行解码；
所述解码单元还用于，如果所述第一语法元素指示允许所述第一预测并且所述第二语法元素指示允许所述第二预测，则组合所述第一解码处理和所述第二解码处理来对所述第一划分段和所述第二划分段进行解码，
所述第一预测包括以下各者中任意一个：跨段边界的帧内块复制、跨段边界的帧内预测、跨段边界的预测图片预测和跨段边界的双预测图片预测；并且
所述第二预测包括以下所述各者中的不同的一个：所述跨段边界的帧内块复制、所述跨段边界的帧内预测、所述跨段边界的预测图片预测和所述跨段边界的双预测图片预测。
12.一种对视频进行编码的设备，所述视频中的图片包括第一划分段和第二划分段，所述设备包括：
至少一个存储器，其被配置成存储计算机程序；以及
至少一个处理器，其被配置成访问所述至少一个存储器并且根据所述计算机程序进行操作，以执行如权利要求9所述的方法。
13.一种非暂态计算机可读存储介质，其存储程序，所述程序使处理器执行如权利要求1-9中任意一项所述的方法。
14.一种计算机设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序，并将所述程序传输给所述处理器；
所述处理器用于根据所述程序中的指令执行如权利要求1-9中任意一项所述的方法。
Applications Claiming Priority (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862727381P | 2018-09-05 | 2018-09-05 | |
| US62/727,381 | 2018-09-05 | ||
| US16/202,949 | 2018-11-28 | ||
| US16/202,949 US10375416B1 (en) | 2018-09-05 | 2018-11-28 | Segment types in video coding |
| US16/454,545 | 2019-06-27 | ||
| US16/454,545 US10694215B2 (en) | 2018-09-05 | 2019-06-27 | Segment types in video coding |
| PCT/US2019/046793 WO2020050962A1 (en) | 2018-09-05 | 2019-08-16 | Segment types in video coding |
| CN201980035891.5A CN113273185B (zh) | 2018-09-05 | 2019-08-16 | 对已编码图片进行解码的方法和相关装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980035891.5A Division CN113273185B (zh) | 2018-09-05 | 2019-08-16 | 对已编码图片进行解码的方法和相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116567255A true CN116567255A (zh) | 2023-08-08 |
Family
ID=67477631
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310618714.8A Pending CN116567255A (zh) | 2018-09-05 | 2019-08-16 | 对已编码图片进行编码、解码的方法和相关装置 |
| CN201980035891.5A Active CN113273185B (zh) | 2018-09-05 | 2019-08-16 | 对已编码图片进行解码的方法和相关装置 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980035891.5A Active CN113273185B (zh) | 2018-09-05 | 2019-08-16 | 对已编码图片进行解码的方法和相关装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US10375416B1 (zh) |
| EP (1) | EP3847806A4 (zh) |
| JP (1) | JP7128953B2 (zh) |
| KR (2) | KR20230114325A (zh) |
| CN (2) | CN116567255A (zh) |
| WO (1) | WO2020050962A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113966612A (zh) * | 2019-06-16 | 2022-01-21 | 北京字节跳动网络技术有限公司 | 屏幕内容编解码根据与运动信息之间的相互作用 |
| US11758193B2 (en) * | 2019-11-04 | 2023-09-12 | Hfi Innovation Inc. | Signaling high-level information in video and image coding |
| US20230137221A1 (en) * | 2020-04-02 | 2023-05-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Decoding based on bi-directional picture condition |
| WO2023118309A1 (en) * | 2021-12-21 | 2023-06-29 | Interdigital Vc Holdings France, Sas | Gdr interaction with template based tools in inter slice |
| WO2023118280A1 (en) * | 2021-12-21 | 2023-06-29 | Interdigital Vc Holdings France, Sas | Gdr interaction with template based tools in intra slice |
| US20230403404A1 (en) * | 2022-06-10 | 2023-12-14 | Qualcomm Incorporated | Storing misaligned reference pixel tiles |
| US20240007670A1 (en) * | 2022-07-01 | 2024-01-04 | Tencent America LLC | Dynamic mesh vertex displacements coding |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012028863A (ja) * | 2010-07-20 | 2012-02-09 | Hitachi Kokusai Electric Inc | 動画像符号化装置 |
| US9060174B2 (en) * | 2010-12-28 | 2015-06-16 | Fish Dive, Inc. | Method and system for selectively breaking prediction in video coding |
| US9247258B2 (en) * | 2011-10-26 | 2016-01-26 | Qualcomm Incorporated | Unified design for picture partitioning schemes |
| MX351236B (es) * | 2012-04-06 | 2017-10-06 | Sony Corp | Dispositivo de codificación, método de codificación, dispositivo de descodificación y método de descodificación. |
| CN105144720B (zh) * | 2013-01-04 | 2018-12-28 | Ge视频压缩有限责任公司 | 高效可伸缩编码概念 |
| US10021414B2 (en) | 2013-01-04 | 2018-07-10 | Qualcomm Incorporated | Bitstream constraints and motion vector restriction for inter-view or inter-layer reference pictures |
| US9648335B2 (en) | 2013-07-12 | 2017-05-09 | Qualcomm Incorporated | Bitstream restrictions on picture partitions across layers |
| US20150016503A1 (en) * | 2013-07-15 | 2015-01-15 | Qualcomm Incorporated | Tiles and wavefront processing in multi-layer context |
| US10313682B2 (en) * | 2013-08-26 | 2019-06-04 | Qualcomm Incorporated | Determining regions when performing intra block copying |
| WO2015098020A1 (ja) * | 2013-12-27 | 2015-07-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置 |
| CN106464893B (zh) * | 2014-03-17 | 2019-12-03 | 诺基亚技术有限公司 | 用于视频编码和解码的装置、方法和计算机程序 |
| JP2017525215A (ja) * | 2014-06-19 | 2017-08-31 | シャープ株式会社 | 復号方法 |
| US10327001B2 (en) * | 2014-06-19 | 2019-06-18 | Qualcomm Incorporated | Systems and methods for intra-block copy |
| US10404992B2 (en) * | 2015-07-27 | 2019-09-03 | Qualcomm Incorporated | Methods and systems of restricting bi-prediction in video coding |
-
2018
- 2018-11-28 US US16/202,949 patent/US10375416B1/en active Active
-
2019
- 2019-06-27 US US16/454,545 patent/US10694215B2/en active Active
- 2019-08-16 CN CN202310618714.8A patent/CN116567255A/zh active Pending
- 2019-08-16 CN CN201980035891.5A patent/CN113273185B/zh active Active
- 2019-08-16 WO PCT/US2019/046793 patent/WO2020050962A1/en unknown
- 2019-08-16 EP EP19857711.6A patent/EP3847806A4/en active Pending
- 2019-08-16 KR KR1020237024771A patent/KR20230114325A/ko not_active Application Discontinuation
- 2019-08-16 JP JP2021506396A patent/JP7128953B2/ja active Active
- 2019-08-16 KR KR1020207029926A patent/KR102558961B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| US20200077119A1 (en) | 2020-03-05 |
| KR102558961B1 (ko) | 2023-07-25 |
| EP3847806A1 (en) | 2021-07-14 |
| WO2020050962A1 (en) | 2020-03-12 |
| KR20200125744A (ko) | 2020-11-04 |
| JP7128953B2 (ja) | 2022-08-31 |
| CN113273185B (zh) | 2023-04-25 |
| US10694215B2 (en) | 2020-06-23 |
| CN113273185A (zh) | 2021-08-17 |
| EP3847806A4 (en) | 2022-06-08 |
| US10375416B1 (en) | 2019-08-06 |
| JP2021520173A (ja) | 2021-08-12 |
| KR20230114325A (ko) | 2023-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113273185B (zh) | 对已编码图片进行解码的方法和相关装置 | |
| KR20200121904A (ko) | 비디오 디코딩을 위한 방법 및 장치 | |
| CN110784711B (zh) | 生成用于视频序列编码或解码的合并候选列表的方法、装置 | |
| CN112292859B (zh) | 一种用于解码至少一个视频流的方法和装置 | |
| CN113875242A (zh) | 支持各种色度格式的视频编解码工具的信令 | |
| JP2021520749A (ja) | マルチラインイントラ予測に対するｍｐｍリスト生成を実現するための方法、装置、及びコンピュータプログラム | |
| JP7177179B2 (ja) | 簡略化された最確モードリスト生成スキーム | |
| KR20200125733A (ko) | 비디오 코딩을 위한 방법 및 장치 | |
| CA3132390A1 (en) | Tile and sub-picture partitioning | |
| JP2021517408A5 (zh) | ||
| US11962794B2 (en) | Hierarchical tiles | |
| CN113424546A (zh) | 用于预测模式和已编码块标志(cbf)的进一步改进的上下文设计的方法和装置 | |
| US20220141479A1 (en) | Method for output layer set signaling in scalable video stream | |
| JP2021521755A (ja) | マルチラインイントラ予測のためのモードリストを生成する方法、並びにその装置及びコンピュータプログラム | |
| CN112135151B (zh) | 视频解码方法、系统、计算机设备和存储介质 | |
| US10904545B2 (en) | Method for syntax controlled decoded picture buffer management | |
| CN114073084A (zh) | 在视频码流中有效发信号通知图片大小和分区信息的方法和装置 | |
| RU2787850C1 (ru) | Способ сигнализирования набора выходных слоев в масштабируемом видео потоке |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |