CN113853789A - 用于运动图像数据的并行编码和解码的方法和装置 - Google Patents

用于运动图像数据的并行编码和解码的方法和装置 Download PDF

Info

Publication number
CN113853789A
CN113853789A CN202080036152.0A CN202080036152A CN113853789A CN 113853789 A CN113853789 A CN 113853789A CN 202080036152 A CN202080036152 A CN 202080036152A CN 113853789 A CN113853789 A CN 113853789A
Authority
CN
China
Prior art keywords
palette
sample
block
index
flag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080036152.0A
Other languages
English (en)
Inventor
沈东圭
朴时奈
边柱衡
朴胜煜
林和平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Industry Academic Collaboration Foundation of Kwangwoon University
Kia Corp
Original Assignee
Hyundai Motor Co
Industry Academic Collaboration Foundation of Kwangwoon University
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Industry Academic Collaboration Foundation of Kwangwoon University, Kia Corp filed Critical Hyundai Motor Co
Priority claimed from PCT/KR2020/006424 external-priority patent/WO2020231220A1/ko
Publication of CN113853789A publication Critical patent/CN113853789A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

公开了用于运动图像数据的并行编码和解码的方法和装置。对视频数据解码的方法包括以下步骤：从比特流中对指示出能够利用波前并行处理来解码图像的语法元素进行解码；以及对图像的编码的数据进行解码。对图像的编码的数据进行解码的步骤包括以下步骤：对于以调色板模式编码的当前CTU行的第一编码块，通过利用来自先前CTU行的第一CTU的调色板数据来预测用于第一编码块的调色板表；以及通过利用为第一编码块预测的调色板表以调色板模式对第一编码块解码。

Description

用于运动图像数据的并行编码和解码的方法和装置
技术领域
本发明涉及一种视频数据的编码和解码，更具体地，本发明涉及用于并行地执行视频数据的编码或解码的方法和装置。
背景技术
由于视频数据量大于语音数据量或静止影像数据量，因此在不进行压缩处理的情况下存储或传输视频数据需要大量的硬件资源，包括存储器。
相应地，在存储或传输视频数据时，通常利用编码器来压缩视频数据，以便于存储或传输视频数据。然后，解码器接收压缩后的视频数据，并且解压并再现视频数据。用于这种视频的压缩技术包括H.264/AVC和高效率视频编码(High Efficiency Video Coding，HEVC)，所述高效率视频编码(HEVC)比H.264/AVC的编码效率提高了大约40％。
然而，图像大小、分辨率和帧速率逐渐增加，并且相应地，要编码的数据量也在增多。因此，需要一种与现有压缩技术相比具有更好的编码效率和更高的影像质量的新压缩技术。
发明内容
技术问题
本发明呈现了用于视频数据的编码或解码的并行处理的方法和装置。具体地，本发明呈现了用于支持改进的波前并行处理的技术，其在具有低时延时间的同时使编码效率的劣化最小化。
技术方案
根据本发明的一个方面，提供了一种对视频数据编码的方法，包括在比特流中对指示出可以利用波前并行处理对图像编码和解码的语法元素进行编码，以及对图像的数据编码，以能够利用波前并行处理进行解码。图像数据的编码包括：对于以调色板模式编码的当前CTU行的第一编码块，利用来自先前CTU行的第一CTU的调色板数据来预测用于第一编码块的调色板表，以及利用为第一编码块预测的调色板表以调色板模式对第一编码块编码。
根据本发明的另一方面，提供了一种对视频数据解码的方法，其包括从比特流中对指示出可以利用波前并行处理来解码图像的语法元素进行解码，以及对图像的编码的数据进行解码。图像的编码数据的解码包括：对于以调色板模式编码的当前CTU行的第一编码块，利用来自先前CTU行的第一CTU的调色板数据来预测用于第一编码块的调色板表，以及利用为第一编码块预测的调色板表以调色板模式对第一编码块解码。
根据本发明的另一方面，提供了一种用于对视频数据编码的装置，其包括存储器和一个或更多个处理器。一个或更多个处理器配置为对指示出可以利用波前并行处理对图像编码和解码的语法元素进行编码，以及对图像的数据编码，以能够利用波前并行处理进行解码。作为对图像的数据编码的一部分，一个或更多个处理器对于以调色板模式编码的当前CTU行的第一编码块，利用来自先前CTU行的第一CTU的调色板数据来预测用于第一编码块的调色板表，并且利用为第一编码块预测的调色板表以调色板模式对第一编码块编码。
根据本发明的另一方面，提供了一种用于对视频数据解码的装置，其包括存储器和一个或更多个处理器。一个或更多个处理器配置为从比特流中对指示出可以利用波前并行处理来解码图像的语法元素进行解码，以及对图像的编码的数据进行解码。作为对图像的编码的数据进行解码的一部分，一个或更多个处理器对于以调色板模式编码的当前CTU行的第一编码块，利用来自先前CTU行的第一CTU的调色板数据来预测用于第一编码块的调色板表，并且利用为第一编码块预测的调色板表以调色板模式对第一编码块解码。
附图说明
图1是能够实现本发明的技术的视频编码装置的示例性框图。
图2示例性地示出利用QTBTTT结构的块分区结构。
图3a示例性地示出多个帧内预测模式。
图3b示例性地示出包括宽角度帧内预测模式的多个帧内预测模式。
图4是能够实现本发明的技术的视频解码装置的示例性框图。
图5是示出根据本发明的一个方面的1-CTU(4-VPDU)延迟结构的波前并行编码和解码方案的概念图。
图6是示出根据本发明的一个方面的1.5-CTU(6-VPDU)延迟结构的波前并行编码和解码方案的概念图。
图7是示出在当前块大于1.5-CTU(6-VPDU)延迟结构中的VPDU的大小时对帧内预测模式或帧内块复制模式施加的限制的示意图。
图8示出被划分为多个子组的图像。
图9是示出根据本发明的一个方面的由视频解码器对图像中的子组的第一CTU的CABAC上下文信息进行初始化的方法的流程图。
图10是示出根据本发明的一个方面的对用于编码视频数据的调色板进行初始化的示例的概念图。
图11示出根据本发明的一个方面的当启用2-CTU延迟WPP时调色板表的初始化。
图12示出根据本发明的一个方面的当启用1-CTU延迟WPP时调色板表的初始化。
图13是示出根据本发明的一个方面的用于对调色板索引图编码的扫描顺序的示意图。
图14是示出根据本发明的一个方面的由解码器确定用于当前像素的调色板索引的方法的流程图。
图15是示出根据本发明的一个方面的对调色板索引图编码的方法的概念图。
图16是示出根据本发明的一个方面的对视频数据解码的方法的流程图。
具体实施方式
在下文中，将参考所附附图对本发明的一些实施方案进行详细描述。应当注意，在将附图标记添加到各个附图中的组成元件时，尽管元件在不同的附图中示出，相同的附图标记也表示相同的元件。此外，在本发明的以下描述中，将省略并入本文中的已知功能和配置的详细描述，以避免模糊本发明的主题。
图1是能够实现本发明的技术的视频编码装置的示例性框图。在下文中，将参考图1来描述视频编码装置以及该装置的元件。
视频编码装置包括：图像分割器110、预测器120、减法器130、变换器140、量化器145、重排单元150、熵编码器155、逆量化器160、逆变换器165、加法器170、滤波单元180和存储器190。
视频编码装置的每个元件可以以硬件或软件或者硬件和软件的组合来实现。各个元件的功能可以实现为软件，并且微处理器可以实现为执行对应于各个元件的软件功能。
一个视频包括多个图像。每个图像分割为多个区域，并且对每个区域执行编码。例如，一个图像分割为一个或更多个瓦片(tile)或/和切片(slice)。这里，一个或更多个瓦片可以被定义为瓦片组。每个瓦片或切片分割为一个或更多个编码树单元(coding treeunit，CTU)。每个CTU通过树结构分割为一个或更多个编码单元(coding unit，CU)。应用于各个CU的信息被编码为CU的语法，并且共同应用于包括在一个CTU中的CU的信息被编码为CTU的语法。另外，共同应用于一个切片中的所有块的信息被编码为切片头的语法，而应用于构成一个图像的所有块的信息被编码在图像参数集(Picture Parameter Set，PPS)或图像头中。此外，多个图像共同参考的信息被编码在序列参数集(Sequence Parameter Set，SPS)中。另外，由一个或更多个SPS共同参考的信息被编码在视频参数集(Video ParameterSet，VPS)中。共同应用于一个瓦片或瓦片组的信息可以被编码为瓦片头或瓦片组头的语法。
图像分割器110确定编码树单元(CTU)的大小。关于CTU的大小(CTU尺寸)的信息被编码为SPS或PPS的语法，并且被传输至视频解码装置。
图像分割器110将构成视频的每个图像分割为具有预定大小的多个CTU，然后利用树结构递归地分割CTU。在树结构中，叶节点用作编码单元(CU)，所述编码单元(CU)是编码的基本单元。
树结构可以是四叉树(QuadTree，QT)、二叉树(BinaryTree，BT)、三叉树(TernaryTree，TT)或由两个或更多个QT结构、BT结构和TT结构组合形成的结构，所述四叉树(QT)即节点(或父节点)被分割为相同大小的四个从节点(或子节点)，所述二叉树(BT)即节点被分割为两个从节点，所述三叉树(TT)即节点以1:2:1的比率被分割为三个从节点。例如，可以使用四叉树加二叉树(QuadTree plus BinaryTree，QTBT)结构，或者可以使用四叉树加二叉树三叉树(QuadTree plus BinaryTree TernaryTree，QTBTTT)结构。这里，BTTT可以统称为多类型树(multiple-type tree，MTT)。
图2示例性地示出QTBTTT分割树结构。如图2所示，CTU可以首先分割为QT结构。可以重复QT分割，直到分割块的大小达到QT中允许的叶节点的最小块大小MinQTSize。由熵编码器155对指示QT结构的每个节点是否被分割为下层的四个节点的第一标志(QT_split_flag)编码，并将其用信号通知视频解码装置。当QT的叶节点不大于BT中允许的根节点的最大块大小(MaxBTSize)时，可以进一步将其分割为一个或更多个BT结构或TT结构。BT结构和/或TT结构可以具有多个分割方向。例如，可以存在两个方向，即，水平地分割节点的块的方向以及竖直地分割块的方向。如图2所示，当MTT分割开始时，通过熵编码器155来对指示节点是否被分割的第二标志(mtt_split_flag)、指示分割情况下的分割方向(竖直或水平)的标志、和/或指示分割类型(二叉或三叉)的标志编码，并将其用信号通知视频解码装置。替选地，在对指示每个节点是否被分割为下层的4个节点的第一标志(QT_split_flag)编码之前，可以对指示节点是否被分割的CU分割标志(split_cu_flag)编码。当CU分割标志(split_cu_flag)的值指示出没有执行分割时，节点的块成为分割树结构中的叶节点，并用作编码单元(CU)，这是编码的基本单元。当CU分割标志(split_cu_flag)的值指示出执行分割时，视频编码装置开始以上述方式从第一标志起对标志编码。
当使用QTBT作为树结构的另一个示例时，可以存在两种分割类型，即将块水平地分割为相同大小的两个块的类型(即，对称水平分割)以及将块竖直地分割为相同大小的两个块的类型(即，对称竖直分割)。由熵编码器155对指示BT结构的每个节点是否被分割为下层的块的分割标志(split_flag)和指示分割类型的分割类型信息编码，并将其传输至视频解码装置。可以存在将节点的块分割为两个非对称块的附加类型。非对称分割类型可以包括以1:3的大小比率将块分割为两个矩形块的类型，或者对角线地分割节点的块的类型。
CU可以根据CTU的QTBT或QTBTTT分割而具有各种尺寸。在下文中，与要编码或解码的CU(即，QTBTTT的叶节点)相对应的块被称为“当前块”。在采用QTBTTT分割时，当前块的形状可以是正方形或矩形。
预测器120对当前块进行预测以生成预测块。预测器120包括帧内预测器122和帧间预测器124。
通常，图像中的每个当前块可以被预测地编码。通常，利用帧内预测技术(其利用来自包括当前块的图像的数据)或帧间预测技术(其利用在包括当前块的图像之前被编码的图像的数据)来执行当前块的预测。帧间预测包括单向预测和双向预测两者。
帧内预测单元122利用在包括当前块的当前图像中位于当前块周围的像素(参考像素)来预测当前块中的像素。根据预测方向，存在多个帧内预测模式。例如，如图3所示，多个帧内预测模式可以包括2种非方向模式和65种方向模式，所述2种非方向模式包括平面(planar)模式和DC模式。针对每种预测模式不同地定义要使用的相邻像素和等式。下表列出了帧内预测模式编号及其名称。
为了对矩形形状的当前块进行有效的方向预测，可以额外使用由图3b中的虚线箭头指示的方向模式(帧内预测模式67至80和-1至-14)。这些模式可以称为“宽角度帧内预测模式”。在图3b中，箭头指示用于预测的相应参考样本，而非指示预测方向。预测方向与由箭头指示的方向相反。宽角度帧内预测模式是在当前块具有矩形形状时，在与特定方向模式相反的方向上执行预测而无需额外的比特传输的模式。在这种情况下，在宽角度帧内预测模式中，可以基于矩形当前块的宽度与高度的比率来确定可用于当前块的一些宽角度帧内预测模式。例如，在当前块具有高度小于其宽度的矩形形状时，可以使用角度小于45度的宽角度帧内预测模式(帧内预测模式67至80)。在当前块具有高度大于其宽度的矩形形状时，可以使用角度大于-135度的宽角度帧内预测模式(帧内预测模式-1至-14)。
帧内预测器122可以确定对当前块编码时要使用的帧内预测模式。在一些示例中，帧内预测器122可以利用若干帧内预测模式来对当前块编码，并且从测试的模式中选择要使用的适当的帧内预测模式。例如，帧内预测器122可以利用若干测试的帧内预测模式的率失真(rate-distortion)分析来计算率失真值，并且可以在测试的模式中选择具有最佳率失真特性的帧内预测模式。
帧内预测器122从多个帧内预测模式中选择一个帧内预测模式，并且利用根据选择的帧内预测模式确定的相邻像素(参考像素)和等式来预测当前块。由熵编码器155对关于选择的帧内预测模式的信息编码，并将其传输至视频解码装置。
帧间预测器124通过运动补偿来生成当前块的预测块。帧间预测器124在比当前图像更早已被编码和解码的参考图像中搜索与当前块最相似的块，并且利用搜索到的块来生成当前块的预测块。然后，帧间预测器生成与当前图像中的当前块和参考图像中的预测块之间的位移(displacement)相对应的运动矢量(motion vector)。通常，对亮度分量执行运动估计，并且基于亮度分量计算的运动矢量用于亮度分量和色度分量两者。由熵编码器155对包括关于参考图像的信息和关于用于预测当前块的运动矢量的信息的运动信息进行编码，并将其传输至视频解码装置。
预测器120可以进一步使用帧内块复制(intra block copy，IBC)模式。在IBC模式下，与在帧内预测模式下一样，预测器120在与当前块相同的帧或图像中搜索预测块。然而，预测器120通常可以搜索包括像素的相邻行和列的更宽的搜索范围。在IBC模式下，预测器120可以确定块矢量(称为运动矢量)，以识别与当前块相同的帧或图像中的预测块。块矢量包括x分量和y分量，其中x分量识别经过预测的当前块与预测块之间的水平位移，而y分量识别经过预测的当前块与预测块之间的竖直位移。确定的块矢量在比特流中用信号通知，使得视频解码装置可以识别与由视频编码装置选择的预测块相同的预测块。
视频编码装置可以利用基于调色板的编码技术对当前块执行基于调色板的编码，并且对编码的当前块解码，这将在后面描述。为此，例如，视频编码装置可以进一步包括基于调色板的编码器作为预测器120的模块。
减法器130将当前块减去由帧内预测器122或帧间预测器124生成的预测块来生成残差块。
变换器140可以将残差块分割为一个或更多个变换块，并且对一个或更多个变换块应用变换，从而将变换块的残差值从像素域变换到频域。在频域中，变换块被称为包含一个或更多个变换系数值的系数块。二维变换核可以用于变换，而一维变换核可以分别用于水平变换和竖直变换。变换核可以基于离散余弦变换(DCT)、离散正弦变换(DST)等。
变换器140可以利用残差块的整个大小作为变换单元来变换残差块中的残差信号。此外，如将在后面参考图5a至图5d进行描述的，变换器140可以将残差块在水平或竖直方向上分区为两个子块，并且可以仅变换两个子块的一个。相应地，变换块的大小可以与残差块的大小(进而预测块的大小)不同。非零残差样本值可能不存在，或者在未变换的子块中可能非常罕见。不用信号通知未变换子块的残差样本，并且未变换子块的残差样本可以被视频解码装置视为“0”。根据分区方向和分区比率可以存在多种分区类型。变换器140可以向熵编码器155提供关于残差块的编码模式(或变换模式)的信息(例如，指示是变换残差块还是变换残差子块的信息，指示选择为将残差块分区为子块的分区类型的信息，以及识别被执行变换的子块的信息)。熵编码器155可以对关于残差块的编码模式(或变换模式)的信息编码。
量化器145对从变换器140输出的变换系数进行量化，并且将量化后的变换系数输出到熵编码器155。对于一些块或帧，量化器145可以不经变换直接对相关残差块进行量化。
重排单元150可以对量化后的残差值的系数值进行重组。重排单元150可以通过系数扫描(coefficient scanning)来将2维系数阵列改变为1维系数序列。例如，重排单元150可以利用锯齿形扫描(zig-zag scan)或对角线扫描(diagonal scan)从DC系数向高频区域中的系数对系数进行扫描，以输出1维系数序列。根据变换单元的大小和帧内预测模式，可以使用竖直扫描(vertical scan)或水平扫描(horizontal scan)代替锯齿形扫描(zig-zag scan)，所述竖直扫描即在列方向上扫描系数的二维阵列，所述水平扫描即在行方向上扫描二维块形状的系数。也就是说，可以根据变换单元的大小和帧内预测模式，在锯齿形扫描、对角线扫描、竖直扫描和水平扫描中确定要使用的扫描模式。
熵编码器155利用诸如基于上下文的自适应二进制算术编码(Context-basedAdaptive Binary Arithmetic Code，CABAC)和指数哥伦布(exponential Golomb)的各种编码技术来对从重排单元150输出的一维量化的变换系数编码，以生成比特流。
熵编码器155对与块分割相关的信息(例如，CTU大小、CU分割标志、QT分割标志、MTT分割类型和MTT分割方向)编码，使得视频解码装置可以以与视频编码装置相同的方式来分割块。另外，熵编码器155对关于指示当前块是由帧内预测编码还是由帧间预测编码的预测类型的信息进行编码，并且根据预测类型来对帧内预测信息(即，关于帧内预测模式的信息)或帧间预测信息(即，关于参考图像索引和运动矢量的信息)编码。
逆量化器160对从量化器145输出的量化的变换系数进行逆量化，以生成变换系数。逆变换器165将从逆量化器160输出的变换系数从频域变换到空域，并且重构残差块。
加法器170将重构的残差块和由预测器120生成的预测块相加，以重构当前块。在对后续块执行帧内预测时，重构的当前块中的像素用作参考像素。
滤波单元180对重构的像素进行滤波，以减少由于基于块的预测和变换/量化而产生的块伪影(blocking artifacts)、振铃伪影(ringing artifacts)和模糊伪影(blurringartifacts)。滤波单元180可以包括去块滤波器182和样本自适应偏移(sample adaptiveoffset，SAO)滤波器184。
去块滤波器180对重构的块之间的边界进行滤波，以去除由逐块编码/解码而引起的块伪影，并且SAO滤波器184对去块滤波的视频执行额外的滤波。SAO滤波器184是用于对由有损编码引起的重构的像素与原始的像素之间的差进行补偿的滤波器。
通过去块滤波器182和SAO滤波器184滤波后的重构的块存储在存储器190中。一旦一个图像中的所有块被重构，则重构的图像可以用作对后续要被编码的图像中的块进行帧间预测的参考图像。当执行去块时，去块滤波不应用于块边界的一侧上的调色板编码的块。
图4是能够实现本发明的技术的视频解码装置的示例性功能框图。在下文中，将参考图4来描述视频解码装置和该装置的元件。
视频解码装置可以包括：熵解码器410、重排单元415、逆量化器420、逆变换器430、预测器440、加法器450、滤波单元460和存储器470。
类似于图1的视频编码装置，视频解码装置的每个元件可以用硬件、软件、或硬件和软件的组合来实现。此外，每个元件的功能可以实现为软件，并且微处理器可以实现为执行对应于每个元件的软件功能。
熵解码器410通过对由视频编码装置生成的比特流解码并提取与块分割相关的信息来确定要解码的当前块，并且提取重构当前块所需的预测信息和关于残差信号的信息等。
熵解码器410从序列参数集(SPS)或图像参数集(PPS)中提取关于CTU大小的信息，确定CTU的大小，并且将图像分割为确定大小的CTU。然后，解码器将CTU确定为树结构的最高层，也就是说，根节点，并且提取关于CTU的分割信息，以利用树结构来分割CTU。
例如，当利用QTBTTT结构来分割CTU时，提取与QT的分割相关的第一标志(QT_split_flag)，以将每个节点分割为子层的四个节点。对于与QT的叶节点相对应的节点，提取与MTT的分割有关的第二标志(MTT_split_flag)以及关于分割方向(竖直/水平)和/或分割类型(二叉/三叉)的信息，从而以MTT结构来分割相应的叶节点。由此，以BT或TT结构来递归地分割QT的叶节点下方的每个节点。
作为另一示例，当利用QTBTTT结构来分割CTU时，可以提取指示是否分割CU的CU分割标志(split_cu_flag)。当分割相应块时，可以提取第一标志(QT_split_flag)。在分割操作中，在零个或多个递归QT分割之后，每个节点都可能发生零个或多个递归MTT分割。例如，CTU可以直接经历MTT分割而不经历QT分割，或者仅经历多次QT分割。
作为另一个示例，当利用QTBT结构来分割CTU时，提取与QT分割相关的第一标志(QT_split_flag)，并且将每个节点分割为下层的四个节点。然后，提取指示是否以BT进一步分割与QT的叶节点相对应的节点的分割标志(split_flag)以及分割方向信息。
一旦通过树结构分割来确定要解码的当前块，熵解码器410就提取关于指示当前块是被帧内预测还是被帧间预测的预测类型的信息。当预测类型信息指示帧内预测时，熵解码器410提取用于当前块的帧内预测信息(帧内预测模式)的语法元素。当预测类型信息指示帧间预测时，熵解码器410提取用于帧间预测信息的语法元素，也就是说，指示运动矢量和由运动矢量参考的参考图像的信息。
熵解码器410从比特流中提取关于残差块的编码模式的信息(例如，关于是对残差块编码还是仅对残差块的子块编码的信息，指示选择为将残差块分区为子块的分区类型的信息，识别被编码的残差子块的信息，量化参数等)。熵解码器410还提取关于量化后的当前块的变换系数的信息作为关于残差信号的信息。
重排单元415可以以由视频编码装置执行的系数扫描的相反顺序，将由熵解码器410进行熵解码的一维量化的变换系数的序列改变为2维系数阵列(即，块)。
逆量化器420对量化的变换系数进行逆量化。逆变换器430基于关于残差块的编码模式的信息将逆量化的变换系数从频域逆变换到空域，以重构残差信号，从而生成当前块的重构的残差块。
当关于残差块的编码模式的信息指示出当前块的残差块已经被视频编码装置编码时，逆变换器430使用当前块的大小(以及进而要重构的残差块的大小)作为逆量化变换系数的变换单位，以执行逆变换，从而生成当前块的重构的残差块。
当关于残差块的编码模式的信息指示出仅残差块的一个子块已经被视频编码装置编码时，逆变换器430使用变换的子块的大小作为逆量化变换系数的变换单位，以执行逆变换，从而重构变换的子块的残差信号，并且用值“0”填充没有变换的子块的残差信号，以生成当前块的重构的残差块。
预测器440可以包括帧内预测器442和帧间预测器444。在当前块的预测类型是帧内预测时，激活帧内预测器442，而在当前块的预测类型是帧间预测时，激活帧间预测器444。
帧内预测器442基于从熵解码器410提取的帧内预测模式的语法元素，在多个帧内预测模式中确定当前块的帧内预测模式，并且根据帧内预测模式，利用当前块周围的参考像素来预测当前块。
帧间预测器444利用从熵解码器410提取的帧内预测模式的语法元素来确定当前块的运动矢量和由运动矢量参考的参考图像，并且基于该运动矢量和参考图像来预测当前块。
预测器440可以进一步使用帧内块复制(intra block copy，IBC)模式。预测器440可以使用由熵解码器410从比特流中解码的块矢量来识别与由视频编码装置选择的相同的预测块。
视频解码装置可以通过利用基于调色板的编码技术对当前块执行基于调色板的解码来重构当前块，这将在后面描述。例如，视频解码装置可以进一步包括基于调色板的解码器作为预测器440的模块。
加法器450通过将从逆变换器输出的残差块与从帧间预测器或帧内预测器输出的预测块相加来重构当前块。在对后续要被解码的块进行帧内预测时，重构的当前块中的像素用作参考像素。
滤波单元460可以包括去块滤波器462和SAO滤波器464。去块滤波器462对重构的块之间的边界进行去块滤波，以去除由逐块解码引起的块伪影。SAO滤波器464在对相应偏移进行去块滤波之后对重构的块执行额外的滤波，以便补偿由有损编码引起的重构的像素与原始的像素之间的差。通过去块滤波器462和SAO滤波器464滤波的重构的块存储在存储器470中。当一个图像中的所有块被重构时，重构的图像用作对后续要被编码的图像中的块进行帧间预测的参考图像。当执行去块时，去块滤波可以不应用于块边界的一侧上的在调色板模式下解码的块。
本发明的技术通常涉及帧内预测编码。下面的描述主要集中于解码技术，也就是说，视频解码装置的操作。由于编码技术与全面描述的解码技术相反，因此简要地描述编码技术。
本发明的一个方面涉及提高视频数据的块的并行编码。
包括高效率视频编码(HEVC)的各种视频编码标准支持并行处理机制，例如虚拟流水数据单元(virtual pipeline data unit，VPDU)、瓦片和波前并行处理(wavefrontparallel processing，WPP)，使得相同图像中的不同块能够同时解码。
从解码器的硬件实现的角度来看，解码器可以设计为通过为解码处理配置数个流水来执行并行处理。这里，输入到每个流水或从每个流水输出的数据单元称为虚拟流水数据单元(VPDU)。VPDU的大小由最大变换块(transform block，TB)的大小决定。对于诸如预测块的其他块，可以将给定的块划分为任意一个要操作的小块。然而，对于变换块，不能应用此方法。在当前关于VVC标准化的讨论中，对亮度组件使用高达64×64大小的变换，从而因此硬件实现的解码器可以使用以大小为64×64的块操作的流水。
瓦片提供用于将图像划分为多个独立可解码的矩形区域的分区，使得视频解码装置可以并行地解码多个瓦片。
在WPP中，图像中的每行CTU称为“波前”。与瓦片不同，波前不是独立可解码的，但是视频解码器可以通过顺序地延迟数个波前开始被解码的时间点来并行地解码数个波前。例如，在视频解码器利用WPP解码图像的情况下，视频解码器对第一波前的两个连续CTU解码，然后开始对第一波前下方的第二波前解码。相应地，可以确保的是在对第二波前解码时关于对第二波前的解码所需的第一波前的任意一个信息是可用的。视频解码器在开始对第N-1个CTU行解码之后直到对第N个CTU行解码所需等待的时间可以称为延迟。在HEVC的WPP结构中，每个CTU行基于上方CTU行利用两个连续CTU的延迟来处理。为了减轻由于在每个CTU行的开始处传统的CABAC初始化而造成的编码效率的潜在损失，CABAC上下文信息从WPP中的先前CTU行的第二CTU(即，右上方CTU)传播到当前CTU行的第一CTU。
在HEVC中最大CTU大小为64×64时，在VVC标准化的讨论中，最大CTU大小已增加到128×128。相应地，具有2-CTU延迟的WPP体系结构可以提供的并行处理能力已大大降低。
在WPP模式下，随着CTU行之间的延迟减小，并行处理性能提高。然而，帧内预测中的像素参考和帧内块复制(intra block copy，IBC)中的块矢量的搜索范围受到限制，并且由于相对较少的更新的CABAC上下文信息传播到下一波前的第一CTU，编码效率降低。也就是说，在WPP结构中，编码效率与并行处理性能之间存在权衡。
根据本发明的一个方面，提出了一种改进的WPP结构，其可以使编码效率的劣化最小化，同时具有比HEVC的2-CTU延迟结构更短的等待时间。
例如，可以考虑1-CTU(4-VPDU)延迟的WPP结构。图5是示出根据本发明的一个方面的1-CTU(4-VPDU)延迟结构的波前并行编码和解码方案的概念图。根据提出的1-CTU(4-VPDU)延迟WPP结构，与HEVC框架相比，WPP的流水延迟从2个CTU减少到4个VPDU(1个CTU)。与每个CTU行的第一VPDU相对应的块的CABAC上下文信息可以用来自已经被解码的先前CTU行的第一CTU中的右下方VPDU的CABAC上下文信息来更新。该1-CTU(4-VPDU)延迟结构比HEVC框架的2-CTU延迟结构具有更高的并行性，但是应当对用于帧内块复制(或帧内线复制)的块矢量和用于右上方块的帧内预测的像素参考施加限制。
作为另一示例，可以考虑1.5-CTU(6-VPDU)延迟WPP结构。图6是示出根据本发明的一个方面的1.5-CTU(6-VPDU)延迟结构的波前并行编码和解码方案的概念图。
根据提出的1.5-CTU(6-VPDU)延迟结构，与1-CTU(4-VPDU)延迟结构相比，放宽了用于帧内预测的像素参考和用于IBC的块矢量的限制。可以利用比1-CTU(4-VPDU)延迟结构更加更新的CABAC上下文信息，通过设置每个CTU行的第一CTU的CABAC上下文信息，来实现更有效的编码和解码。
参考图6，在1.5-CTU(6-VPDU)延迟结构中，与每个CTU行的第一VPDU相对应的块的CABAC上下文信息用来自已经被解码的先前CTU行的第二CTU中的右上方VPDU的CABAC上下文信息来更新。
图6的示例是VPDU的大小＝N且CTU的大小＝2N的情况。在这种情况下，可以允许对用于帧内预测的左侧、左上侧、上侧和右上侧的像素参考。此外，可以允许将用于IBC(或帧内线复制)的块矢量用于这些侧。
在当前块(CU)的大小大于VPDU的大小时，可以对帧内预测模式或IBC模式施加限制。
图7是示出在当前块大于1.5-CTU(6-VPDU)延迟结构中的VPDU的大小时对帧内预测模式或帧内块复制模式施加的限制的图。在图7中，VPDU中标记的O/X指示VPDU在编码当前块时的可用性。
如图7的(a)所示，在当前CU大于VPDU的大小时，包括在右上侧的X标记的VPDU中的参考像素不可用。在这种情况下，通过利用可用的上方参考像素中的最右侧像素的值来填充不可用的参考像素，可以使得能够使用参考当前CU的帧内预测中的右上侧的像素的帧内预测模式。
在当前CU的预测模式是IBC(或帧内线复制)时，限制针对与右上方CTU中的下侧的两个VPDU相对应的块的块矢量的使用。相应地，视频编码器可以从用于IBC的运动搜索区域中排除与右上方CTU中的下侧的两个VPDU相对应的块。此外，当选择指向右上侧(其指示与右上方CTU中的两个顶部VPDU相对应的块)的块矢量时，视频编码器可以用信号通知这样的块矢量，所述块矢量的大小等于通过将块矢量减去不可用大小的偏移而获得的大小(或者可以用信号通知按1/2比例缩小的块矢量)。当视频解码器从比特流对指向右上方方向的块矢量解码时，视频解码器可以通过将偏移与解码的块矢量相加来重构原始的块矢量。
类似地，如图7的(b)所示，在当前CU大于VPDU的大小时，包括在右上侧的X标记的VPDU中的参考样本不可用。在这种情况下，通过利用可用的上方参考像素中的最右侧像素值来填充不可用的参考像素，在当前CU的帧内预测中可以使得能够使用参考右上侧的像素的帧内预测模式。
在一些实施方案中，当CTU的大小小于或等于VPDU的大小(即，CTU的大小≤VPDU的大小)时，视频编码器和解码器可以通过具有2-CTU延迟而不是1.5-CTU延迟的WPP结构来执行编码和解码。相应地，编码器和解码器可以利用右上方CTU的CABAC上下文信息来对当前CTU行中第一CTU的CABAC上下文信息进行初始化。在这种情况下，可以不需要单独的用信号通知例如指示出在具有2-CTU延迟的WPP结构中执行编码的标志。
通常，视频编码器和解码器可以逐个序列地确定是否应用WPP。在一些实施方案中，可以以图像子组(其可以是，例如，子图像、切片、瓦片或CTU组)为单位来确定是否应用WPP。视频编码器可以用信号通知与是否在上述每个单元中应用WPP有关的标志(例如，wpp_enable_flag)，并且视频解码器可以通过从比特流解析该标志来确定是否在每个单元中执行WPP。在一些情况下，当要编码或解码的图像子组的宽度小于预定的特定宽度(例如，“(子组的宽度/CTU的宽度)＜阈值”)时，视频编码器和视频解码器可以不对子组应用WPP。相应地，在这种情况下，跳过WPP标志的编码和解码，并且视频解码器可以隐式地禁用WPP。
当图像划分为多个要编码和解码的子组时，可以在较高的级别或子组级别上控制子组之间的依赖性。这种依赖性的可能性可以通过较高级别的一个或更多个语法元素用信号通知，或者可以通过每个子组的标志用信号通知。例如，可以对图像编码，使得图像的任意一个子组(例如，CTU组、瓦片、瓦片组、切片、子图像等)不具有依赖性，或者可以对图像编码，使得只有一些子组不具有依赖性。
相应地，可以独立于(或并行于)其他子组对图像中的子组解码，并且可以根据关于已被解码的另一子组的信息来对一些子组解码。在这种情况下，利用先前编码和解码的另一子组的CTU的CABAC上下文信息来对当前子组的第一CTU的CABAC上下文信息进行初始化可以提供编码效率的增益。
图8示出被划分为多个子组的图像。在图8中，假设子组A是不能独立解码的子组，而其他子组中的一些子组可以独立(或并行)解码。可以通过标志由编码器在比特流中用信号通知各个子组是否被独立地解码(或顺序地解码)。为了对子组A的第一CTU的CABAC上下文信息进行初始化，编码器和解码器可以以Z扫描顺序的相反顺序搜索先前子组，以检查是否存在已被编码和解码的子组。编码器和解码器可以基于在对子组A的第一CTU编码之前编码的子组的最后的CTU的CABAC上下文信息来对当前CTU的上下文信息进行初始化。例如，当对子组A和子组B(其为与子组A相邻的先前子组)进行编码，使得两个子组被顺序解码(即，子组B是不能独立解码的子组)时，解码器可以利用子组B的最后解码的CTU的CABAC上下文信息来对子组A的第一CTU的上下文信息进行初始化。
图9是示出根据本发明的一个方面的由视频解码器对图像中的子组的第一CTU的CABAC上下文信息进行初始化的方法的流程图。
视频解码器可以从比特流中解析标志，并且由此确定当前子组是否是可以独立解码的子组(S910至S920)。
在当前子组不是可以独立解码的子组时(S920为“否”)，可以在先前子组中以Z扫描顺序的相反顺序搜索不能独立解码的先前子组(S940)。当发现不能独立解码的先前子组时(S950为“否”)，视频解码器可以利用发现的子组中最后解码的CTU(或VPDU)的CABAC上下文信息来设置当前子组的第一CTU(VPDU)的CABAC上下文信息(S960)。
在当前子组是可以独立解码的子组时(S920为“是”)，可以将当前子组的第一CTU(或VPDU)的上下文信息初始化为预设值(例如，0或0.5)(S930)。在一些实施方案中，可以由编码器在比特流中用信号通知用于对可以独立(或并行)解码的子组的第一CTU(或VPDU)的CABAC上下文信息进行初始化的信息(例如，特定值或表和/或索引)。
在下文中，将描述在本发明中提出的用于视频数据的基于调色板的编码的技术。
A.调色板表的初始化和生成
在基于调色板的视频编码中，视频编码器和视频解码器分别获得用于像素块的调色板表(简称为“调色板”)。调色板表中的每个条目包含由索引识别的颜色分量值(例如，RGB、YUV等)或亮度分量值。
在调色板模式下，作为对块编码的一部分，视频编码器和解码器首先确定要用于块的调色板表。然后，可以对块的像素(或样本)的相应调色板索引进行编码，以指示调色板中的哪个条目应当用于预测或重构像素(样本)。
对调色板预测列表(也称为调色板预测器)初始化通常是指为视频块的组(例如，子图像、切片或瓦片等)的第一块生成调色板预测列表的处理。通常通过更新先前使用的调色板预测列表来生成用于后续块的调色板预测列表。也就是说，在以调色板模式对给定块编码之后，编码器和解码器分别利用当前调色板来更新调色板预测列表。在当前调色板中使用的条目被添加到新的调色板预测列表中，并且在先前的调色板预测列表中未在当前调色板中使用的条目可以被添加到新的调色板预测列表的新条目之后的位置，直到达到调色板预测列表的最大允许大小。然而，在第一块的情况下，由于先前使用的调色板预测列表不可用，在现有技术中，用于第一块的调色板预测列表被初始化为0。因此，用于第一块的调色板表中的条目是由编码器显式地用信号通知的新条目。
本发明提出了一种用于有效地生成或初始化在视频块的组(例如，图像、切片、瓦片等)中首先被编码/解码的块的调色板表的技术。
根据本发明的一个方面，视频编码器可以用信号通知具有高级别(例如，图像参数集(PPS)、序列参数集(SPS)、自适应参数集(APS)、切片头等)的多个调色板颜色的默认调色板表。当先前配置的调色板预测列表不可用时，默认调色板表可以用于生成(即，初始化)低级别(即，块级别)的调色板编码的调色板表。
基于在高级别中用信号通知的默认调色板表，视频解码器可以为低级别的第一块确定调色板表的条目。用于低级别的第一块的调色板表可以称为“初始调色板表”或“初始调色板”。例如，在生成初始调色板表时，可以为默认调色板表的每个条目用信号通知二进制标志，以指示默认调色板表中的哪些条目应当用于调色板表的初始化。设置为“1”的二进制标志可以指示出相关条目用于初始调色板，而设置为“0”的二进制标志可以指示出相关条目不用于初始调色板。一串二进制标志可以称为索引矢量。索引矢量可以利用行程编码(0或1的二级制)来传输。视频解码器可以通过解析高级别中用信号通知的默认调色板表和低级别中用信号通知的索引矢量来配置用于第一CU的调色板解码的调色板表。
图10是示出根据本发明的一个方面的对用于编码视频数据的调色板进行初始化的示例的概念图。
在图10的示例中，高级别中用信号通知的默认调色板表具有8个条目。索引矢量指示出默认调色板表的第一条目、第三条目和第八条目(即，映射到索引0、2和7的条目)包括在子单元的初始调色板表中，而剩余条目(即，映射到索引1以及3至6的条目)不包括在初始调色板表中。
在一些情况下，可以在高级别或低级别中用信号通知从默认调色板表中重新使用的条目的数量。此外，可以用信号通知要在低级别(即，最大条目数量)中使用的初始调色板表的大小。在一些情况下，可以使用固定大小的初始调色板表，从而可以不需要用信号通知关于要在低级别中使用的初始调色板表的大小。
用于对当前块编码的调色板还可以包含显式地编码的(例如，与索引矢量分开)一个或更多个新的调色板条目。在图10中示例性示出的初始调色板表中，与索引3和4相对应的(r'，g'，b')不是高级别的调色板条目，而是由编码器在低级别中显式地用信号通知的新的条目。当通过利用索引矢量填充初始调色板表的所有条目时，可以跳过指示新的调色板条目(即，颜色值)的语法元素的编码。在一些情况下，可以对指示新的调色板条目的存在或不存在的标志进行编码。
在利用亮度与色度分量之间的CU分区不同的双树(dual tree)的切片的情况下，可以使用针对每个颜色分量的相应调色板(例如，Y调色板、Cb调色板、Cr调色板)，或者可以使用两个调色板(例如，Y调色板、Cb/Cr调色板)。在单个树(single tree)的情况下，可以使用包括在每个条目中的所有颜色分量(Y，Cb，Cr)的值的单个调色板。在单色的情况下，可以使用单个调色板。
B.当启用WPP时调色板表的初始化
当启用波前并行处理(WPP)时，可能需要在每个CTU行的第一CTU(或VPDU)处对调色板表初始化以进行并行处理。在这种情况下，可以利用位于当前CTU行上方的解码的CTU或VPDU的调色板数据来对当前CTU行的第一CTU(或VPDU)的调色板预测列表进行初始化。
作为示例，如图11所示，当使用2-CTU延迟WPP时，可以从先前CTU行检索已被解码的当前CTU的右上方CTU的调色板预测列表，以对调色板预测列表进行初始化，用于配置当前CTU行的第一CTU的调色板表。作为另一示例，如图12所示，当使用4-VPDU延迟WPP(即，1-CTU延迟WPP)时，可以使用在先前CTU行中已被解码的VPDU(即，当前CTU的上方CTU)的调色板预测列表来对调色板预测列表进行初始化，用于配置当前CTU行中的第一CTU的调色板表。
在一些实施方案中，在上方CTU行中已被解码的CTU的调色板预测列表可以用作当前CTU行的第一CTU的调色板预测列表。在这种情况下，可以通过用信号通知索引矢量并且用信号通知附加颜色分量值，利用调色板预测列表来配置当前CTU行中的第一CTU的调色板表，这类似于图10所示的方法。在一些其他实施方案中，已被解码的上方CTU(在1-CTU延迟WPP的情况下)或右上方CTU(在1-CTU延迟WPP的情况下)的调色板表可以用作当前CTU行的第一CTU的调色板表。不具有表示颜色值的样本表示在用于对块编码的调色板中。
编码器和解码器可以分别配置为编码和/或确定标志(其可以称为块级别转义标志)，该标志指示是否以转义模式对块的任意一个样本进行编码，这将在下文中描述。例如，标志值“0”可以指示出没有利用转义模式对块的样本进行编码。也就是说，可以基于包括在用于对块编码的调色板中的颜色值来确定块的所有样本的值。标志值“1”可以指示出利用转义模式对块的至少一个样本进行编码。换句话说，至少一个样本的值编码为转义样本。
在一些示例中，指示当前CU是否具有转义样本的CU级别转义标志可以在比特流中用信号通知。CU中转义样本的存在可能会影响CU的调色板索引的数量。例如，从调色板预测列表生成的CU的调色板可以具有N个条目索引，以使例如可以从{0，1，...，N-1}选择样本的条目索引。当CU级别转义标志指示出当前块中存在转义样本时，编码器和解码器可以向当前块的调色板添加索引(与任意一个条目无关)，以确保当前块中可能的索引值可以是{0，1，...，N-1，N}。这里，等于N的索引(也称为转义索引)指示出相关样本是转义样本。小于N的每个索引可以指示出相关样本以来自与索引相关的调色板的颜色表示。
C.调色板索引扫描顺序
CU中每个像素(样本)的调色板索引的2D块称为调色板索引图。视频编码器可以基于扫描顺序通过扫描调色板索引来将调色板索引的2D块变换为1D阵列。类似地，视频解码器可以基于扫描顺序来重构调色板索引的块。先前样本是指在扫描顺序中位于当前编码的样本之前的样本。
在一些实施方案中，为了扫描给定的CU的调色板索引，可以选择性地使用图13的(a)所示的水平遍历扫描顺序和图13的(b)所示的竖直遍历扫描顺序。在一些其它实施方案中，可以选择性地使用水平扫描顺序和竖直扫描顺序。编码器可以用信号通知指示给定CU的选择的扫描顺序的标志。在一些其它实施方案中，可以使用图13的(c)所示的对角线扫描顺序或图13(d)所示的锯齿形扫描顺序来扫描给定CU的调色板索引。
D.调色板索引的编码
可以利用下面公开的两种索引编码模式的一个，对以基于调色板的编码模式编码的块中的每个样本进行编码。
复制上方(COPY_ABOVE)模式：在该模式下，当前样本的调色板索引以块中的扫描顺序从先前线(上行或左列)的相同位置处的样本复制。
索引(INDEX)模式：在该模式下，调色板索引利用语法元素(例如，由编码器表示为截断二进制码或由解码器推断)在比特流中显式地用信号通知。
索引模式包括第一索引模式和第二索引模式，在第一索引模式下，对扫描顺序之前的先前样本位置的调色板索引进行复制，也就是说，由解码器推断当前样本的调色板索引，在第二索引模式下，显式地用信号通知调色板索引。
为了有效地对当前样本的调色板索引进行编码，编码器和解码器可以使用当前样本的先前样本的索引编码模式和/或先前线中与当前样本(即，上方样本或左方样本)相同位置处的样本的索引编码模式作为当前样本的CABAC上下文信息。
在本发明中提出的调色板索引编码方案中，针对块中的每个样本位置来解析用于确定索引编码模式的一个或两个标志。对于每个样本位置，解析设置为0或1的第一标志，并且至少根据第一标志的值的一部分来解析设置为0或1的第二标志。根据从针对每个样本位置解析的一个或更多个标志得到的值来确定复制上方模式、第一索引模式和第二索引模式的一个。仅在确定的模式是第二索引模式时，用于像素位置的调色板索引才由编码器用信号通知并由解码器解析。也就是说，在本发明中，视频解码器根据一个或两个标志来配置表示分配给块中的每个像素位置的索引编码模式的块映射，并且根据块映射来确定每个像素位置的调色板索引。
在一些实施方案中，其中可以选择性地使用图13的(a)和(b)所示的扫描顺序，在当前块中针对每个样本对第一标志(例如，run_copy_flag)进行编码，所述第一标志指示当前样本是否处于与先前样本相同的索引编码模式(即，当前样本和先前样本的索引编码模式两者是否都是复制上方模式，或者当前样本和先前样本两者在索引模式中是否都具有相同的索引)。当第一标志的值为0并且先前样本处于索引模式时，可以额外地对第二标志(例如，copy_above_palette_indices_flag)进行编码，所述第二标志指示当前样本的索引编码模式是索引(INDEX)还是复制上方(COPY_ABOVE)。此外，还引入变量Copy_Above_Flag，所述变量Copy_Above_Flag指示样本的索引编码模式。
表1示出如何根据语法元素run_copy_flag和变量Copy_Above_Flag的值来确定相关样本的调色板索引。
[表1]
run_copy_flag Copy_Above_Flag 调色板索引
0 0 显式地用信号通知
0 1 复制上方
1 0 复制先前
1 1 复制上方
图14是示出根据本发明的一个方面的由解码器确定用于当前样本的调色板索引的方法的流程图。
参考图14，解码器可以解析第一标志(例如，run_copy_flag)，所述第一标志指示当前样本是否处于与先前样本相同的索引编码模式(即，当前样本和先前样本的索引编码模式两者是否都是复制上方模式，或者当前样本和先前样本两者在索引模式中是否都具有相同的索引)(S1611)。
当第一标志(run_copy_flag)的值为1(S1412为“是”)时，解码器将当前样本的Copy_Above_Flag设置为与先前样本的Copy_Above_Flag相同的值(S1414)。也就是说，当先前样本的Copy_Above_Flag为0时，当前样本的Copy_Above_Flag设置为0。因此，参考表1，当前样本的调色板索引是从先前样本复制的。当先前样本的Copy_Above_Flag为1时，当前样本的Copy_Above_Flag设置为1。因此，参考表1，当前样本的调色板索引从先前线(即，上行或左列)中的相同位置处的样本复制的。(换句话说，对于图13的(a)中的水平遍历扫描，当前样本的调色板索引是从上行中相同位置处的样本复制的，而对于图13的(b)中的竖直遍历扫描，当前样本的调色板索引是从左列中相同位置处的样本复制的)。
当第一标志(run_copy_flag)的值为0(S1412为“否”)时，解码器确定先前样本的Copy_Above_Flag的值是否为1(S1416)。当先前样本的Copy_Above_Flag的值为1(S1416为“是”)时，解码器将当前样本的Copy_Above_Flag设置为0(S1418)。因此，参考表1，由于当前样本的run_copy_flag＝0且Copy_Above_Flag＝0，当前样本的调色板索引在比特流中显式地用信号通知。解码器解析语法元素(palette_idx_idc)，所述语法元素指示来自比特流的当前样本的调色板索引(S1420)。当先前样本的Copy_Above_Flag的值为0(S1416为“是”)时，解码器进一步解析第二标志(copy_above_palette_indices_flag)(S1422)。
当copy_above_palette_indices_flag＝1(S1424为“是”)时，解码器将当前样本的Copy_Above_Flag设置为1(S1426)。因此，参考表1，由于当前样本的run_copy_flag＝0且Copy_Above_Flag＝1，当前样本的调色板索引是以扫描顺序从先前线(上行或左列)中的相同位置处的样本复制的。
当copy_above_palette_indices_flag＝0(S1412为“否”)时，解码器将当前样本的Copy_Above_Flag设置为0(S1428)。因此，参考表1，由于当前样本的run_copy_flag＝0且Copy_Above_Flag＝0，当前样本的调色板索引在比特流中显式地用信号通知。解码器解析语法元素(palette_idx_idc)，所述语法元素指示来自比特流的当前样本的调色板索引(S1430)。
这里，对于位于图13的(a)中第一行和图13的(b)中的第一列的样本，没有先前扫描线，并且没有用信号通知第二标志(copy_above_palette_indices_flag)，而是将其推断为0。也就是说，位于图13的(a)中第一行和图13的(b)中第一列的每个样本的索引编码模式在默认情况下视为索引模式。
应当理解的是，编码器还可以大体上以与图14所示的顺序相同的顺序对块的每个样本的调色板索引进行编码。
编码器和解码器可以通过将调色板索引的一维阵列划分为预定义大小的样本组(例如，16个样本)来执行上述调色板索引编码。当一个样本组的调色板索引编码完成时，可以开始下一样本组的调色板索引编码。另外，在一个样本组的调色板索引编码中，可以对第一标志(run_copy_flag)和第二标志(copy_above_palette_indices_flag)进行编码，然后可以对所需样本的语法元素(palette_idx_idc)进行编码。
图15是示出根据本发明的一个方面的对调色板索引图编码的方法的概念图。在图15中，示出了用于8×8编码块的调色板索引图1510，并且假设使用水平遍历扫描顺序来扫描调色板索引。调色板表1530具有与索引0和1相关的两个条目，并且具有索引3作为转义样本的转义索引。
在图15的右部，示出了为调色板索引图1510的第二行1512中的调色板索引用信号通知的第一标志(run_copy_flag)和第二标志(copy_above_palette_indices_flag)的值。在第二行1512中用粗体指示的两个样本代表显式地指示相关的调色板索引的语法元素(palette_idx_idc)被编码的样本。
如上所述，索引模式用于在示出的调色板索引图1510中的第一行1511的所有样本，并且在示出的索引图1510中的所有样本具有调色板索引0。另外，如上所述，由于索引模式用于给定的索引图中的第一行1511的所有样本，对于第一行1511的最后的样本(最右方的样本)，变量Copy_Above_Flag设置为0。对于第二行1512中以扫描顺序的第一样本(即，最右方的样本)，第一行1511的最后的样本(最右方的样本)是先前样本，并且也是先前线上的相同位置处的样本。在示出的调色板索引图1510中，第二行1512以扫描顺序的第一样本的调色板索引(“0”)与先前样本的调色板索引相同，并且也与先前线上的相同位置处的样本的调色板索引相同。因此，编码器可以在索引模式与复制上方模式之间选择索引编码模式，以用于在第二行1512中以扫描顺序对第一样本的调色板索引进行编码。该选择可以基于R/D测试。
在编码器以复制上方模式下以扫描顺序对第二行1512中的第一样本的调色板索引进行编码的情况下，对于第二行1512中的第一样本，用信号通知设置为0的run_copy_flag，并且额外地用信号通知设置为1的copy_above_palette_indices_flag。解码器解析run_copy_flag，并且额外地解析copy_above_palette_indices_flag，这是因为run_copy_flag＝0且先前样本(也就是说，第一行1511的样本)的Copy_Above_Flag为0。由于copy_above_palette_indices_flag＝1，解码器将当前样本的Copy_Above_Flag设置为1。此外，由于当前样本的run_copy_flag＝0且Copy_Above_Flag＝1，解码器可以将当前样本的索引编码模式确定(推断)为复制上方。也就是说，第二行1512中的第一样本的调色板索引从第一行(其为先前线)中相同位置处的样本复制。
在第二行1512中，扫描顺序的第二样本的调色板索引(“0”)与先前样本的调色板索引相同，并且还与先前线上的相同位置处的样本的调色板索引相同。相应地，编码器可以在索引模式与复制上方模式之间选择索引编码模式以用于对第二行1512中的第二样本的调色板索引进行编码。该选择可以基于R/D测试。当选择复制上方模式时，第二行1512中扫描顺序的第二样本和先前样本(第一样本)通常为复制上方模式。相应地，对于第二行1512中的第一样本，编码器用信号通知设置为1的run_copy_flag。解码器解析当前样本的run_copy_flag(即，第二行1512中的第二样本)，并且将当前样本的Copy_Above_Flag设置为与先前样本相同的值(即，1)，这是因为run_copy_flag＝1。由于当前样本的run_copy_flag＝0且Copy_Above_Flag＝1，解码器可以将当前样本(也就是说，第二行1512的第二样本)的索引编码模式确定(推断)为复制上方。
在第二行1512中，扫描顺序中的第三样本的调色板索引(“1”)不同于先前样本的调色板索引(“1”)，并且也不同于上方样本的调色板索引(“1”)。相应地，编码器将第三样本的索引编码模式选择为索引模式。由于第二样本和第三样本的索引编码模式不同，用信号通知设置为0的run_copy_flag，并且将第三样本的Copy_Above_Flag设置为0，这是因为第二样本(其为先前样本)的Copy_Above_Flag＝1。由于第三样本的run_copy_flag＝0且Copy_Above_Flag＝0，编码器额外地用信号通知指定第三样本的调色板索引值(“1”)的语法元素(palette_idx_idc)。
以类似的方式处理第二行中的剩余样本，并且跳过其详细描述。
在一些其它实施方案中，其中可以使用图13的(c)或(d)所示的扫描顺序，可以对指示是否从左方或上方样本的调色板索引预测(复制)当前样本的调色板索引(即，当前样本的调色板索引是否与左方或上方样本的调色板索引相同)的标志(例如，index_pred_flag)进行编码。index_pred_flag＝1可以指示出从左方或上方样本的调色板索引预测(复制)当前样本的调色板索引，而index_pred_flag＝0可以指示出没有预测(复制)当前样本的调色板索引。
当index_pred_flag＝1时，可以额外地对指示当前样本的调色板索引是否与左方样本的调色板索引或上方样本的调色板索引相同的标志(left_or_above_flag)进行编码。left_or_above_flag＝0可以指示出当前样本的调色板索引与左方样本的调色板索引相同，而left_or_above_flag＝1可以指示出当前样本的调色板索引与上方样本的调色板索引相同。在图13的(c)或(d)中，对于当前块的最左上方的样本可以推断index_pred_flag＝0，而对于最左列的样本，除了最左上方的样本，可以推断left_or_top_flag为1。对于最上列中的样本，可以推断left_or_top_flag为0。
对于其相关调色板索引未从其左方或上方样本的调色板索引进行预测(即，index_pred_flag＝0)的样本，由编码器利用，例如利用表示为截断二进制码的语法元素在比特流中显式地用信号通知相关调色板索引的值。
如上所述，为了指示出块的特定样本值被编码为转义样本(例如，不具有在用于对块编码的调色板中表示的颜色值的一个的样本)，编码器和解码器可以对代表调色板中索引已增加1的最后的索引(即，转义索引)的数据进行编码。例如，当要解码的样本的索引等于转义索引(例如，上述调色板中的最后的索引)时，解码器可以推断该样本为转义样本。
当确定索引图时，编码器和解码器可以参考当前块的调色板表通过确定与每个样本的调色板索引相对应的颜色分量来重构当前块。
E.预测转义样本的样本值
通常，对于样本值没有作为调色板条目包括在调色板中的转义样本，可以由编码器为所有颜色分量在比特流中显式地用信号通知量化的样本值。
根据本发明，对于样本值没有作为调色板条目包括在调色板中的转义样本，可以以无方向模式(DC、平面等)或方向模式从已被解码的相邻块预测样本值，这类似于帧内预测样本。
例如，对于转义样本，编码器可以计算用于显式地用信号通知量化的样本值和来自相邻块的预测的RD成本，并且确定是否显式地用信号通知量化的样本值。此外，编码器可以用信号通知1位的标志，所述1位的标志指示是否在比特流中显式地用信号通知转义样本的量化的样本值。解码器可以解析1位的标志，并且由此确定是对转义样本的来自比特流的量化的样本值进行解码还是对已经被解码的来自相邻块的转义样本的样本值进行预测。
作为另一示例，编码器和解码器可以分别配置为始终预测来自已被解码的相邻块的转义样本。在这种情况下，不需要用信号通知前述1位的标志。
编码器可以用信号通知指示为转义像素选择的帧内预测模式的模式数量的语法元素。替选地，当一个预设的帧内预测模式通常用于转义像素时，可以不需要用信号通知指示模式数量的语法元素。
另一方面，在对当前CU编码之后，利用当前CU的调色板表来更新调色板预测列表。当前调色板中使用的条目被添加到新的调色板预测列表中。随后，来自先前调色板预测列表中尚未在当前调色板中使用的条目被添加到新的调色板预测列表中，直到达到调色板预测列表的最大允许大小。
图16是示出根据本发明的一个方面的利用解码器对视频数据解码的方法的流程图。
在操作S1610，解码器从比特流对指示出可以利用波前并行处理(WPP)来解码图像的语法元素进行解码。可以在序列参数集(SPS)级别上用信号通知语法元素。
在操作S1620，解码器对图像的编码的数据进行解码。解码器可以利用WPP来对图像的编码的数据进行解码。例如，解码器可以以如下方式并行地对多个CTU行解码，在所述方式中在已被解码的先前CTU行的第一CTU之后开始对每个CTU行的第一CTU进行解码。可以基于每个切片或基于每个瓦片来执行WPP。此外，即使当对图像编码，使得可以利用WPP对所述图像解码时，对于图像的编码的数据，也不一定需要并行地对多个CTU行进行解码。因此，解码器可能不会并行地对多个CTU行解码。即使在这种情况下，也可以在已经被解码的先前CTU行的第一CTU之后开始对每个CTU行的第一CTU解码。
作为对图像的编码的数据进行解码(S1620)的一部分，对于以调色板模式解码的当前CTU行的第一编码块，解码器可以通过利用来自先前CTU行的第一CTU的调色板数据来预测用于第一编码块的调色板表(S1621)。此外，解码器可以基于对于第一编码块预测的调色板表以调色板模式对第一编码块解码(S1622)。
作为对用于第一编码块进行预测调色板表(S1621)的一部分，解码器可以确定是否重新使用用于第一编码块的来自调色板表中先前CTU行的第一CTU的调色板数据的一个或更多个条目。此外，解码器可以确定要添加到用于第一编码块的调色板表中的新的条目。
作为对调色板模式下的当前CTU行的第一编码块进行解码(S1622)的一部分，解码器可以从比特流对指示在第一编码块中是否存在一个或更多个转义样本的转义标志进行解码。当转义标志指示出在第一编码块中存在至少一个转义样本时，解码器可以向对于第一编码块预测的调色板表添加附加索引。解码器可以针对第一编码块的每个样本从比特流对至少一个语法元素解码，以便重构用于第一编码块的调色板索引图。此外，编码器可以基于重构的调色板索引图来识别具有附加索引的一个或更多个转义样本，并且从比特流对代表识别的转义样本的量化的颜色分量值的语法元素进行解码。
被解码以重构编码块的调色板索引图的至少一个语法元素包括第一标志(例如，run_copy_flag)，该第一标志指示相关样本是否与扫描顺序中前面的先前样本处于相同的索引编码模式。可以针对编码块的每个样本对第一标志进行解码。至少一个语法元素进一步包括第二标志(例如，copy_above_palette_indices_flag)，该标记指示相关样本的调色板索引是否复制自在扫描顺序的先前线中的相同位置的样本。当第一标志指示出相关样本不处于与先前样本相同的索引编码模式，并且先前样本的索引编码模式是索引模式时，可以对第二标志解码。此外，对于用于水平遍历扫描顺序的位于编码块的第一行中的样本，以及对于竖直遍历扫描顺序的位于编码块的第一列中的样本，可以省略对第二标志的解码。至少一个语法元素进一步包括显式地表达相关样本的调色板索引的语法元素(例如，palette_idx_idc)。当第一标志指示出相关样本不处于与先前样本相同的索引编码模式，并且相关样本的索引编码模式不是复制上方模式时，可以对显式地表达的调色板索引的语法元素进行解码。
应当理解的是，编码器还可以大体上以与图16所示的顺序相同的方式执行视频数据的编码。例如，编码器可以对指示出可以利用波前并行处理(WPP)对视频数据的图像解码的语法元素进行编码，并且可以对图像的数据进行编码，以使解码器可以利用WPP对其解码。作为对图像的数据进行编码的一部分，对于以调色板模式编码的当前CTU行的第一编码块，编码器可以利用来自先前CTU行的第一CTU的调色板数据来预测用于第一编码块的调色板表，并且利用为第一编码块预测的调色板表以调色板模式对第一编码块编码。
应当理解的是，可以以许多不同的方式来实现上述示例性实施方案。在一个或更多个示例中描述的功能或方法可以实现为硬件、软件、固件或者其任意组合。应当理解的是，本文中描述的功能组件已被标记为“单元”，以进一步强调其实施独立性。
本发明中描述的各种功能或方法可以用存储在非易失性记录介质中的指令来实现，所述指令可以由一个或更多个处理器读取和执行。非易失性记录介质包括，例如，所有类型的记录器件，其中数据以计算机系统可读的形式存储。例如，非易失性记录介质包括存储介质，例如可擦除可编程只读存储器(EPROM)、闪存驱动器，光盘驱动器、磁性硬盘驱动器和固态驱动器(SSD)。
尽管已经出于说明的目的描述了本发明的示例性实施方案，但是本领域的技术人员应当理解的是，在不脱离本发明思想和范围的情况下，各种修改和改变是可能的。为了简洁和清楚起见，已经描述了示例性实施方案。相应地，普通技术人员应当理解的是，实施方案的范围不受以上明确描述的实施方案限制，而是包括在权利要求书及其等同形式内。
相关申请的交叉引用
本申请要求2019年5月15日在韩国提交的专利申请No.10-2019-0056975、2019年9月30日在韩国提交的专利申请No.10-2019-0120806以及2020年5月15日在韩国提交的专利申请No.10-2020-0058318的优先权，其全部内容通过引用结合于本文中。

Claims (15)

1.一种对视频数据解码的方法，包括：
从比特流中对指示出能够利用波前并行处理对图像解码的语法元素进行解码；以及
对图像的编码的数据进行解码，
其中，对图像的编码的数据进行解码包括：
对于以调色板模式编码的当前CTU行的第一编码块，利用来自先前CTU行的第一CTU的调色板数据来预测用于第一编码块的调色板表；
利用为第一编码块预测的调色板表以调色板模式对第一编码块解码。
2.根据权利要求1所述的方法，其中，对图像的编码的数据进行解码进一步包括：
以如下方式并行地对多个CTU行解码：在先前CTU行的第一CTU已被解码之后开始对当前CTU行的第一CTU进行解码。
3.根据权利要求1所述的方法，其中，预测调色板表包括：
确定是否重新使用用于第一编码块的调色板表中来自先前CTU行的第一CTU的调色板数据的一个或更多个条目；以及
确定要添加到用于第一编码块的调色板表的新的条目。
4.根据权利要求1所述的方法，其中，以调色板模式对当前CTU行的第一编码块解码包括：
从比特流中对指示在第一编码块中是否存在一个或更多个转义样本的转义标志进行解码；
当转义标志指示出在第一编码块中存在至少一个转义样本时，向对于第一编码块预测的调色板表添加附加索引；
针对第一编码块的每个样本从比特流中对至少一个语法元素解码，以重构用于第一编码块的调色板索引图；以及
基于重构的调色板索引图来识别具有附加索引的一个或更多个转义样本，并且从比特流中对代表识别的转义样本的量化的颜色分量值的语法元素进行解码。
5.根据权利要求4所述的方法，其中，用于第一编码块的每个样本的至少一个语法元素包括：
第一标志，其指示相关样本的索引编码模式与扫描顺序中前面的先前样本的索引编码模式是否相同，所述第一标志是针对第一编码块的每个样本进行解码的；
第二标志，其指示相关样本的调色板索引是否是从在扫描顺序的先前线中的相同位置处的样本复制的，其中，当由第一标志指示出相关样本不处于与先前样本相同的索引编码模式，并且先前样本的索引编码模式是INDEX模式时，对第二标志解码；以及
语法元素，其当由第一标志指示出相关样本不处于与先前样本相同的索引编码模式，并且相关样本的索引编码模式不是COPY ABOVE模式时，显式地表达相关样本的调色板索引。
6.根据权利要求4所述的方法，其中，以调色板模式对当前CTU行的第一编码块解码进一步包括：
利用来自当前CTU行的第一编码块的调色板表的调色板数据，预测当前CTU行的后续编码块的调色板表。
7.根据权利要求1所述的方法，其中，以序列参数集(SPS)级别用信号通知指示出能够利用波前并行处理对图像解码的语法元素。
8.一种用于对视频数据解码的装置，包括：
存储器；以及
一个或更多个处理器，
其中，一个或更多个处理器配置为执行：
从比特流中对指示出能够利用波前并行处理对图像解码的语法元素进行解码；以及
对图像的编码的数据进行解码，
其中，对图像的编码的数据进行解码包括：
对于以调色板模式编码的当前CTU行的第一编码块，利用来自先前CTU行的第一CTU的调色板数据来预测用于第一编码块的调色板表；
利用为第一编码块预测的调色板表以调色板模式对第一编码块解码。
9.根据权利要求8所述的装置，其中，对图像的编码的数据进行解码进一步包括：
以如下方式并行地对多个CTU行解码：在先前CTU行的第一CTU已被解码之后开始对当前CTU行的第一CTU进行解码。
10.根据权利要求8所述的装置，其中，预测调色板表包括：
确定是否重新使用用于第一编码块的调色板表中来自先前CTU行的第一CTU的调色板数据的一个或更多个条目；以及
确定要添加到用于第一编码块的调色板表的新的条目。
11.根据权利要求8所述的装置，其中，以调色板模式对当前CTU行的第一编码块解码包括：
从比特流中对指示在第一编码块中是否存在一个或更多个转义样本的转义标志进行解码；
当转义标志指示出在第一编码块中存在至少一个转义样本时，向对于第一编码块预测的调色板表添加附加索引；
针对第一编码块的每个样本从比特流中对至少一个语法元素解码，以重构用于第一编码块的调色板索引图；以及
基于重构的调色板索引图来识别具有附加索引的一个或更多个转义样本，并且从比特流中对代表识别的转义样本的量化的颜色分量值的语法元素进行解码。
12.根据权利要求11所述的装置，其中，用于第一编码块的每个样本的至少一个语法元素包括：
第一标志，其指示相关样本的索引编码模式与扫描顺序中前面的先前样本的索引编码模式是否相同，所述第一标志是针对第一编码块的每个样本进行解码的；
第二标志，其指示相关样本的调色板索引是否是从在扫描顺序的先前线中的相同位置处的样本复制的，其中，当由第一标志指示出相关样本不处于与先前样本相同的索引编码模式，并且先前样本的索引编码模式是INDEX模式时，对第二标志解码；
语法元素，其当由第一标志指示出相关样本不处于与先前样本相同的索引编码模式，并且相关样本的索引编码模式不是COPY ABOVE模式时，显式地表达相关样本的调色板索引。
13.根据权利要求11所述的装置，其中，以调色板模式对当前CTU行的第一编码块解码进一步包括：
利用来自当前CTU行的第一编码块的调色板表的调色板数据，预测当前CTU行的后续编码块的调色板表。
14.根据权利要求8所述的装置，其中，以序列参数集(SPS)级别用信号通知指示出能够利用波前并行处理对图像解码的语法元素。
15.一种对视频数据编码的方法，包括：
对指示出能够利用波前并行处理对图像解码的语法元素进行编码；以及
利用波前并行处理对图像的数据进行编码，
其中，对图像的数据进行编码包括：
对于以调色板模式编码的当前CTU行的第一编码块，利用来自先前CTU行的第一CTU的调色板数据来预测用于第一编码块的调色板表；
利用为第一编码块预测的调色板表以调色板模式对第一编码块编码。
CN202080036152.0A 2019-05-15 2020-05-15 用于运动图像数据的并行编码和解码的方法和装置 Pending CN113853789A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2019-0056975 2019-05-15
KR20190056975 2019-05-15
KR10-2019-0120806 2019-09-30
KR20190120806 2019-09-30
PCT/KR2020/006424 WO2020231220A1 (ko) 2019-05-15 2020-05-15 동영상 데이터의 병렬 부호화 및 복호화를 위한 방법 및 장치

Publications (1)

Publication Number Publication Date
CN113853789A true CN113853789A (zh) 2021-12-28

Family

ID=73645347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080036152.0A Pending CN113853789A (zh) 2019-05-15 2020-05-15 用于运动图像数据的并行编码和解码的方法和装置

Country Status (3)

Country Link
US (5) US11553209B2 (zh)
KR (1) KR20200132761A (zh)
CN (1) CN113853789A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210027175A (ko) * 2019-08-30 2021-03-10 주식회사 케이티 비디오 신호 처리 방법 및 장치

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150271510A1 (en) * 2014-03-20 2015-09-24 Nanjing Yuyan Information Technology Ltd. Fast hevc transcoding
CN105144720A (zh) * 2013-01-04 2015-12-09 Ge视频压缩有限责任公司 高效可伸缩编码概念
US20160037164A1 (en) * 2014-08-04 2016-02-04 Qualcomm Incorporated Palette mode encoding and decoding design
CN105874795A (zh) * 2014-09-30 2016-08-17 微软技术许可有限责任公司 在波前并行处理被启用时对图片内预测模式的规则
CN106464873A (zh) * 2014-05-23 2017-02-22 高通股份有限公司 基于调色板的视频译码中的预测符调色板初始化
CN106797474A (zh) * 2014-10-10 2017-05-31 高通股份有限公司 基于调色板的视频译码中的调色板游程隐藏
CN106797482A (zh) * 2014-09-30 2017-05-31 高通股份有限公司 在用于视频译码的调色板译码模式中转义样本的显式信令
CN107409227A (zh) * 2015-03-20 2017-11-28 联发科技（新加坡）私人有限公司 视频编码中使用帧间预测的调色板编码方法
US20190116380A1 (en) * 2014-11-12 2019-04-18 Hfi Innovation Inc. Methods of Escape Pixel Coding in Index Map Coding

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR122020007529B1 (pt) 2012-01-20 2021-09-21 Ge Video Compression, Llc Conceito de codificação que permite o processamento paralelo, desmultiplexador de transporte e fluxo de bites de vídeo
US10291940B2 (en) 2014-05-23 2019-05-14 Qualcomm Incorporated Coding runs with escape in palette-based video coding
US10257529B2 (en) 2014-06-30 2019-04-09 Intel Corporation Techniques for generating wave front groups for parallel processing a video frame by a video encoder
WO2016159610A1 (ko) * 2015-04-02 2016-10-06 주식회사 케이티 비디오 신호 처리 방법 및 장치
US20200260107A1 (en) * 2019-02-13 2020-08-13 Qualcomm Incorporated Virtual pipeline data unit design for intra block copy mode for video coding
EP3915252A4 (en) * 2019-03-04 2022-03-23 Beijing Bytedance Network Technology Co., Ltd. IMPLEMENTATION OF ASPECTS IN AN INTRA BLOCK COPY IN VIDEO ENCODING
US20200304828A1 (en) * 2019-03-18 2020-09-24 Qualcomm Incorporated Affine motion inheritance with virtual pipeline data unit (vpdu) constraint in video coding

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105144720A (zh) * 2013-01-04 2015-12-09 Ge视频压缩有限责任公司 高效可伸缩编码概念
US20150271510A1 (en) * 2014-03-20 2015-09-24 Nanjing Yuyan Information Technology Ltd. Fast hevc transcoding
CN106464873A (zh) * 2014-05-23 2017-02-22 高通股份有限公司 基于调色板的视频译码中的预测符调色板初始化
US20160037164A1 (en) * 2014-08-04 2016-02-04 Qualcomm Incorporated Palette mode encoding and decoding design
CN105874795A (zh) * 2014-09-30 2016-08-17 微软技术许可有限责任公司 在波前并行处理被启用时对图片内预测模式的规则
CN106797482A (zh) * 2014-09-30 2017-05-31 高通股份有限公司 在用于视频译码的调色板译码模式中转义样本的显式信令
CN106797474A (zh) * 2014-10-10 2017-05-31 高通股份有限公司 基于调色板的视频译码中的调色板游程隐藏
US20190116380A1 (en) * 2014-11-12 2019-04-18 Hfi Innovation Inc. Methods of Escape Pixel Coding in Index Map Coding
CN107409227A (zh) * 2015-03-20 2017-11-28 联发科技（新加坡）私人有限公司 视频编码中使用帧间预测的调色板编码方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
IKAI, TOMOHIRO: "AHG12:One CTU delay wavefront parallel processing", 《JOINT VIDEO EXPERTS TEAM(JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11.14TH MEETING:GENEVA, CH》 *
WEI XIAO ET AL.: "Fast Hash-Based Inter-Block Matching for Screen Content Coding", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY 》, vol. 28, no. 5, pages 1169 - 1182, XP011683049, DOI: 10.1109/TCSVT.2016.2643701 *
叶淑睿: "HEVC SCC的编解码技术优化研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, no. 11 *
许珊珊等: "HEVC并行解码器设计", 《电视技术》, no. 5, pages 17 - 20 *

Also Published As

Publication number Publication date
US11895337B2 (en) 2024-02-06
US20230113288A1 (en) 2023-04-13
US11902591B2 (en) 2024-02-13
US11553209B2 (en) 2023-01-10
US20230179804A1 (en) 2023-06-08
US20230105199A1 (en) 2023-04-06
US11910023B2 (en) 2024-02-20
US11889120B2 (en) 2024-01-30
KR20200132761A (ko) 2020-11-25
US20210352329A1 (en) 2021-11-11
US20230113442A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
US11909962B2 (en) Method and apparatus for intra-prediction coding of video data involving matrix-based intra-prediction
EP2979450B1 (en) Intra prediction modes for lossy coding when transform is skipped
US20220191530A1 (en) Intra prediction method and device for predicting and dividing prediction unit into sub-units
US11973966B2 (en) Method and apparatus for efficiently coding residual blocks
US11792418B2 (en) Method and apparatus for intra-prediction coding of video data
US20220394255A1 (en) Method and device for performing an inverse transform on transform coefficients of a current block
US11930180B2 (en) Method and apparatus for intra-prediction coding of video data
CN114128294A (zh) 用于视频数据的帧内预测编码的方法和装置
US11902591B2 (en) Method and apparatus for parallel encoding and decoding of moving picture data
US20230188709A1 (en) Method and apparatus for patch book-based encoding and decoding of video data
CN113892268A (zh) 基于预测模式估计的帧内预测装置和方法
US20220295068A1 (en) Method and device for efficiently applying transform skip mode to data block
CN113841403A (zh) 影像解码装置中使用的逆量化装置和方法
US20240007645A1 (en) Video encoding and decoding method using adaptive reference pixel selection
US20220286686A1 (en) Video encoding and decoding using differential modulation
US20220286692A1 (en) Video encoding and decoding using differential encoding
EP4013058A1 (en) Video encoding and decoding using differential coding
US20220132156A1 (en) Image decoding device using differential coding
KR20220071129A (ko) 적응적 참조화소 선택을 이용한 영상 부호화 및 복호화 방법
CN114009031A (zh) 用于还原色度块的方法和用于解码影像的装置
CN114128281A (zh) 用于控制编码工具的方法和装置
CN114762328A (zh) 利用差分调制的视频编码和解码
CN114097233A (zh) 用于视频数据的帧内预测编码的方法和装置
CN116458160A (zh) 利用自适应替代模式的影像编码和解码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination