CN113924784A - 用于编码和解码影像的方法和装置 - Google Patents

用于编码和解码影像的方法和装置 Download PDF

Info

Publication number
CN113924784A
CN113924784A CN202080020777.8A CN202080020777A CN113924784A CN 113924784 A CN113924784 A CN 113924784A CN 202080020777 A CN202080020777 A CN 202080020777A CN 113924784 A CN113924784 A CN 113924784A
Authority
CN
China
Prior art keywords
picture
group
refresh
image
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080020777.8A
Other languages
English (en)
Inventor
沈东圭
崔韩松
李钟石
朴时奈
朴胜煜
林和平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Industry Academic Collaboration Foundation of Kwangwoon University
Kia Corp
Original Assignee
Hyundai Motor Co
Industry Academic Collaboration Foundation of Kwangwoon University
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Industry Academic Collaboration Foundation of Kwangwoon University, Kia Corp filed Critical Hyundai Motor Co
Publication of CN113924784A publication Critical patent/CN113924784A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

本发明涉及一种通过利用逐渐刷新技术来对图像序列解码的方法。根据本发明，在与一个图像相关联的多个图像上对对应图像中的所有区域逐渐地编码或解码。

Description

用于编码和解码影像的方法和装置
技术领域
本发明涉及视频的编码和解码，更具体地，本发明涉及在与一个图像相关联的多个图像上对该图像内的整个区域逐渐地编码或解码的方法。
背景技术
由于视频数据量大于语音数据量或静止影像数据量，因此在不进行压缩处理的情况下存储或传输视频数据需要大量的硬件资源，包括存储器。相应地，在存储或传输视频数据时，通常利用要存储或传输的编码器来压缩视频数据。然后，解码器接收压缩后的视频数据，并且解压并再现视频数据。这种视频压缩技术包括H.264/AVC和高效率视频编码(HighEfficiency Video Coding，HEVC)，所述高效率视频编码(HEVC)使H.264/AVC的编码效率提高了大约40％。
然而，视频的大小、分辨率和帧速率逐渐增加，并且相应地，要编码的数据量也在增加。因此，需要一种比现有压缩技术相比具有更好的编码效率和更高的影像质量的新压缩技术。
对于视频数据的压缩，可以对图像中的每个块进行预测编码。通常，利用帧内预测技术(其利用来自包括当前块的图像的数据)或帧间预测技术(其利用来自在包括当前块的图像之前被编码的图像的数据)执行当前块的预测。帧间预测包括单向预测和双向预测两者。
利用帧间预测对包括在视频比特流中的第一图像或能够在任意位置处随机存取的随机存取图像编码，随机存取图像例如即时解码刷新(Instantaneous DecodingRefresh，IDR)图像或清理随机存取(Clean Random Access，CRA)图像。通常，与允许帧间预测的P(预测)或B(双预测)图像相比，对为图像的整个区域进行帧内预测的I(帧内)图像编码需要大量的比特。这可能会在服务方面引起速率控制和缓冲器控制的问题。特别地，由于视频的大小、分辨率和帧速率逐渐增加，可能会更频繁地出现这种趋势。
发明内容
本发明涉及用于在与一个图像相关联的多个图像上对该图像中的整个区域逐渐地编码或解码的技术。
根据本发明的一个方面，提供了一种视频解码方法，用于利用逐渐刷新来解码图像序列。所述方法包括：从比特流的序列头中解码指示是否允许逐渐刷新的标志；对用于识别在序列中应用了逐渐刷新的第一图像的识别信息解码，并且确定第一图像的图像次序计数(picture order count，POC)值；对用于识别与应用了逐渐刷新的第一图像相关联的图像组的组大小信息解码；基于组大小信息，确定与属于组的最后的图像相对应的第二图像的POC值；利用第一图像的POC值和第二图像的POC值，确定与第一图像相关联的图像组。
根据本发明的另一个方面，提供了一种视频解码装置，用于利用逐渐刷新来解码图像序列。所述装置包括一个或更多个处理器以及一个或更多个存储器，一个或更多个处理器配置为对比特流解码以重构序列中的图像；一个或更多个存储器配置为存储重构的图像。一个或更多个处理器配置为：从序列头中对指示是否允许逐渐刷新的标志解码，对用于识别在序列中应用了逐渐刷新的第一图像的识别信息解码，并且确定第一图像的图像次序计数(POC)值；对用于识别与应用了逐渐刷新的第一图像相关联的图像组的组大小信息解码；基于组大小信息，确定与属于组的最后的图像相对应的第二图像的POC值；以及利用第一图像的POC值和第二图像的POC值，确定与第一图像相关联的图像组。
附图说明
图1是能够实现本发明的技术的视频编码装置的示例性框图。
图2是示出利用QTBTTT结构的块分割的示意图。
图3是示出多个帧内预测模式的示意图。
图4是能够实现本发明的技术的视频解码装置的示例性框图。
图5是示出根据本发明的一个方面的视频编码或解码的示例性图。
图6是示出根据本发明的一个方面通过组合在属于IR组的图像上解码的刷新区域来生成图像的方法的示例性图。
图7是示出根据本发明的一个方面的在存储器中存储和管理属于解码的IR组的图像的方法的示例性图。
图8是示出根据本发明的一个方面的在存储器中存储和管理属于解码的IR组的图像的另一个方法的示例性图。
图9是示出根据本发明的一个方面通过组合在属于IR组的图像上解码的刷新区域来生成图像的另一种方法的示例性图。
图10是示出根据本发明的一个方面的识别图像序列中的IR组的方法的流程图，以利用逐渐刷新对视频解码。
图11是示出根据本发明的一个方面的用于对IR组中解码的图像进行后处理的方法的示例性图。
图12是示出根据本发明的一个方面的用于对IR组中解码的图像进行后处理的另一种方法的示例性图。
图13是根据本发明的一个方面的用于基于瓦片或基于瓦片组来管理存储器的存储器管理装置的示例性框图。
图14是示出根据本发明的一个方面的通过存储器管理装置以瓦片或瓦片组为单位来管理存储器的方法的示例性图。
图15是示出根据本发明的一个方面的存储器管理方法支持的可扩展性的示例性图。
具体实施方式
在下文中，将参考所附附图对本发明的一些实施方案进行详细描述。应当注意，在将附图标记分配给各个附图中的组成元件时，尽管元件在不同的附图中示出，相同的附图标记也表示相同的元件。此外，在本发明的以下描述中，将省略并入本文的已知功能和配置的详细描述，以避免模糊本发明的主题。
图1是能够实现本发明的技术的视频编码装置的示例性框图。在下文中，将参考图1来描述视频编码装置以及该装置的元件。
视频编码装置包括：块分割器110、预测器120、减法器130、变换器140、量化器145、重排单元150、熵编码器155、逆量化器160、逆变换器165、加法器170、滤波器单元180和存储器190。
视频编码装置的每个元件可以以硬件或软件或者硬件和软件的组合来实现。各个元件的功能可以实现为软件，并且微处理器可以实现为执行对应于各个元件的软件功能。
一个视频包括多个图像。每个图像被分割为多个区域，并且对每个区域执行编码。例如，一个图像被分割为一个或更多个瓦片或/和切片。特别地，一个或更多个瓦片可以被定义为瓦片组。每个瓦片或切片分割为一个或更多个编码树单元(coding tree unit，CTU)。每个CTU通过树结构分割为一个或更多个编码单元(coding unit，CU)。应用于每个CU的信息被编码为CU的语法，并且共同应用于包括在一个CTU中的CU的信息被编码为CTU的语法。另外，共同应用于一个切片中的所有块的信息被编码为切片头的语法，而应用于构成一个图像的所有块的信息被编码在图像参数集(Picture Parameter Set，PPS)或图像头中。此外，由多个图像共同参考的信息被编码在序列参数集(Sequence Parameter Set，SPS)中。另外，由一个或更多个SPS共同参考的信息被编码在视频参数集(Video ParameterSet，VPS)中。共同应用于一个瓦片或瓦片组的信息可以被编码为瓦片头或瓦片组头的语法。
块分割器110配置为确定编码树单元(CTU)的大小。关于CTU的大小(CTU尺寸)的信息被编码为SPS或PPS的语法，并且被传输至视频解码装置。
块分割器110配置为将构成视频的每个图像分割为具有预定大小的多个CTU，然后利用树结构递归地分割CTU。在树结构中，叶节点用作编码单元(CU)，所述编码单元(CU)是编码的基本单元。
树结构可以是四叉树(QuadTree，QT)、二叉树(BinaryTree，BT)、三叉树(TernaryTree，TT)或由QT结构、BT结构和TT结构中的两个或更多个组合形成的结构，所述四叉树(QT)即节点(或父节点)被分割为相同大小的四个从节点(或子节点)，所述二叉树(BT)即节点被分割为两个从节点，所述三叉树(TT)即节点以1:2:1的比率被分割为三个从节点。例如，可以使用四叉树加二叉树(QuadTree plus BinaryTree，QTBT)结构，或者可以使用四叉树加二叉树三叉树(QuadTree plus BinaryTree TernaryTree，QTBTTT)结构。特别地，BTTT可以统称为多类型树(multiple-type tree，MTT)。
图2示例性地示出了QTBTTT分割树结构。如图2所示，CTU可以首先分割为QT结构。可以重复QT分割，直到分割块的大小达到QT中允许的叶节点的最小块大小MinQTSize。指示QT结构的每个节点是否被分割为下层的四个节点的第一标志(QT_split_flag)由熵编码器155编码，并用信号通知至视频解码装置。当QT的叶节点等于或小于BT中允许的根节点的最大块大小(MaxBTSize)时，可以进一步将QT分割为一个或更多个BT结构或TT结构。BT结构和/或TT结构可以具有多个分割方向。例如，可以存在两个方向，即，水平地分割节点的块的方向以及竖直地分割块的方向。如图2所示，当MTT分割开始时，指示节点是否被分割的第二标志(mtt_split_flag)、指示分割情况下的分割方向(竖直或水平)的标志和/或指示分割类型(二叉或三叉)的标志由熵编码器155编码，并用信号通知至视频解码装置。替选地，在对指示每个节点是否被分割为下层的4个节点的第一标志(QT_split_flag)编码之前，可以对指示节点是否被分割的CU分割标志(split_cu_flag)编码。当CU分割标志(split_cu_flag)的值指示出没有执行分割时，节点的块成为分割树结构中的叶节点，并用作编码单元(CU)，其是编码的基本单元。当CU分割标志(split_cu_flag)的值指示出节点执行分割时，视频编码装置配置为以上述方式从第一标志开始对标志开始编码。
当使用QTBT作为树结构的另一个示例时，可能存在两种分割类型，即水平地将块分割为相同大小的两个块的类型(即，对称水平分割)以及竖直地将块分割为相同大小的两个块的类型(即，对称竖直分割)。指示BT结构的每个节点是否被分割为下层的块的分割标志(split_flag)和指示分割类型的分割类型信息由熵编码器155编码，并传输至视频解码装置。可以存在将节点的块分割为两个非对称块的附加类型。非对称分割类型可以包括以1:3的大小比率将块分割为两个矩形块的类型，或者对角线地分割节点的块的类型。
特别地，CU可以根据CTU的QTBT或QTBTTT分割而具有各种尺寸。在下文中，与要编码或解码的CU相对应的块(即，QTBTTT的叶节点)称为“当前块”。在采用QTBTTT分割时，当前块的形状可以是正方形或矩形。
预测器120配置为预测当前块以生成预测块。预测器120包括帧内预测器122和帧间预测器124。
帧内预测单元122配置为利用位于包括当前块的当前图像中的当前块周围的像素(参考像素)来预测当前块中的像素。根据预测方向，存在多个帧内预测模式。例如，如图3a所示，多个帧内预测模式可以包括含有平面(planar)模式和DC模式的两种非方向模式以及65种方向模式。针对各个预测模式不同地定义要使用的相邻像素和等式。
帧内预测器122可以配置为确定对当前块编码时要使用的帧内预测模式。在一些示例中，帧内预测器122可以配置为利用若干帧内预测模式来对当前块编码，并且从测试的模式中选择要使用的适当的帧内预测模式。例如，帧内预测器122可以配置为利用若干测试的帧内预测模式的率失真(rate distortion)分析来计算率失真值，并且在测试的模式中选择具有最佳率失真特性的帧内预测模式。
帧内预测器122配置为从多个帧内预测模式中选择一个帧内预测模式，并且利用根据选择的帧内预测模式确定的相邻像素(参考像素)和等式来预测当前块。关于选择的帧内预测模式的信息由熵编码器155编码，并传输至视频解码装置。
帧间预测器124配置为通过运动补偿来生成当前块的预测块。帧间预测器124配置为在早于当前图像已被编码和解码的参考图像中搜索与当前块最相似的块，并且利用搜索到的块来生成当前块的预测块。然后，帧间预测器配置为生成与当前图像中的当前块和参考图像中的预测块之间的位移(displacement)相对应的运动矢量(motion vector)。通常，对亮度分量执行运动估计，并且基于亮度分量计算的运动矢量用于亮度分量和色度分量两者。
包括关于参考图像的信息和关于用于预测当前块的运动矢量的信息的运动信息由熵编码器155编码，并传输至视频解码装置。帧间预测器124可以配置为在参考图像或参考块上执行插值，以增加预测的准确性。换句话说，利用整数像素对整数像素之间的子像素进行内插。当执行搜索与内插的参考图像的当前块最相似的块的过程时，运动矢量可以表达到不是整数像素单位的精度，而是表达到分数像素单位的精度。对要编码的目标区域的每个单元，例如，切片、瓦片、CTU或CU，可以不同地设置运动矢量的精度或分辨率。
减法器130配置为将当前块减去由帧内预测器122或帧间预测器124生成的预测块来生成残差块。变换器140可以配置为将残差块分割为一个或更多个变换块，并且对一个或更多个变换块应用变换，从而将变换块的残差值从像素域变换到频域。在频域中，变换块称为包含一个或更多个变换系数值的系数块。二维变换核可以用于变换，而一维变换核可以分别用于水平变换和竖直变换。变换核可以基于离散余弦变换(DCT)、离散正弦变换(DST)等。
变换器140可以配置为利用残差块的整个大小作为变换单元来变换残差块中的残差信号。替选地，可以将残差块分区为多个子块，并且可以利用子块作为变换单元对子块中的残差信号进行变换。
变换器140可以配置为在水平方向和竖直方向上单独地变换残差块。对于变换，可以使用各种类型的变换函数或变换矩阵。例如，用于在水平方向和竖直方向上变换的一对变换函数可以定义为多变换集(multiple transform set，MTS)。变换器140可以配置为在MTS中选择具有最佳变换效率的一个变换函数对，并且分别在水平方向和竖直方向上变换残差块。关于从MTS中选择的变换函数对的信息(mts_idx)由熵编码器155解码，并用信号通知至视频解码装置。
量化器145配置为对从变换器140输出的变换系数进行量化，并且将量化的变换系数输出到熵编码器155。对于一些块或帧，量化器145可以配置为不经变换直接对相关残差块进行量化。
重排单元150可以配置为对量化的残差值的系数值进行重组。重排单元150可以配置为通过系数扫描(coefficient scanning)来将2维系数阵列改变为1维系数序列。例如，重排单元150可以配置为利用锯齿形扫描或对角线扫描，从DC系数到高频区域中的系数扫描系数，以输出1维系数序列。根据变换单元的大小和帧内预测模式，可以使用竖直扫描(vertical scan)或水平扫描(horizontal scan)代替锯齿形扫描(zig-zag scan)，所述竖直扫描即在列方向上扫描二维系数阵列，所述水平扫描即在行方向上扫描二维块形状的系数。换句话说，可以根据变换单元的大小和帧内预测模式，在锯齿形扫描、对角线扫描、竖直扫描和水平扫描中确定要使用的扫描模式。
熵编码器155配置为利用诸如基于上下文的自适应二进制算术编码(Context-based Adaptive Binary Arithmetic Code，CABAC)和指数哥伦布(exponential Golomb)的各种编码技术对从重排单元150输出的一维量化的变换系数编码，以生成比特流。
熵编码器155配置为对与块分割相关的信息(例如，CTU大小、CU分割标志、QT分割标志、MTT分割类型和MTT分割方向)编码，使得视频解码装置可以以与视频编码装置相同的方式来分割块。另外，熵编码器155配置为对关于指示当前块是通过帧内预测还是通过帧间预测编码的预测类型的信息进行编码，并且根据预测类型来对帧内预测信息(即，关于帧内预测模式的信息)或帧间预测信息(关于参考图像索引和运动矢量的信息)编码。
逆量化器160配置为对从量化器145输出的量化的变换系数进行逆量化，以生成变换系数。逆变换器165配置为将从逆量化器160输出的变换系数从频域变换到空域，并且重构残差块。
加法器170配置为将重构的残差块和由预测器120生成的预测块相加，以重构当前块。重构的当前块中的像素在执行后续块的帧内预测中用作参考像素。滤波器单元180配置为对重构的像素进行滤波，以减少由于基于块的预测和变换/量化而产生的块伪影(blocking artifacts)、振铃伪影(ringing artifacts)和模糊伪影(blurringartifacts)。滤波器单元180可以包括去块滤波器182和像素自适应偏移(pixel adaptiveoffset，SAO)滤波器184。
去块滤波器180配置为对重构的块之间的边界进行滤波，以去除由逐块编码/解码引起的块伪影，并且SAO滤波器184配置为对去块滤波的视频执行附加滤波。SAO滤波器184是用于补偿由有损编码引起的重构的像素与原始的像素之间的差的滤波器。通过去块滤波器182和SAO滤波器184滤波的重构的块被存储在存储器190中。一旦一个图像中的所有块被重构，重构的图像就可以用作后续要被编码的图像中的块的帧间预测的参考图像。
图4是能够实现本发明的技术的视频解码装置的示例性功能框图。在下文中，将参考图4来描述视频解码装置和装置的元件。视频解码装置可以包括：熵解码器410、重排单元415、逆量化器420、逆变换器430、预测器440、加法器450、滤波器单元460和存储器470。
类似于图1的视频编码装置，视频解码装置的每个元件可以用硬件、软件或硬件和软件的组合来实现。此外，每个元件的功能可以实现为软件，并且微处理器可以实现为执行对应于每个元件的软件功能。
熵解码器410配置为通过对由视频编码装置生成的比特流解码并提取与块分割相关的信息来确定要解码的当前块，并且提取重构当前块所需的预测信息和关于残差信号的信息等。
熵解码器410配置为从序列参数集(SPS)或图像参数集(PPS)中提取关于CTU大小的信息，确定CTU的大小，并且将图像分割为确定大小的CTU。然后，解码器配置为将CTU确定为树结构的最高层(即，根节点)，并且提取关于CTU的分割信息，以利用树结构来分割CTU。
例如，当利用QTBTTT结构来分割CTU时，提取与QT的分割相关的第一标志(QT_split_flag)，以将每个节点分割为子层的四个节点。对于与QT的叶节点相对应的节点，提取与MTT的分割有关的第二标志(MTT_split_flag)以及关于分割方向(竖直/水平)和/或分割类型(二叉/三叉)的信息，从而以MTT结构来分割对应的叶节点。由此，以BT或TT结构来递归地分割QT的叶节点下方的每个节点。
作为另一示例，当利用QTBTTT结构来分割CTU时，可以提取指示是否分割CU的CU分割标志(split_cu_flag)。当分割对应块时，可以提取第一标志(QT_split_flag)。在分割操作中，在零个或多个递归QT分割之后，每个节点都可能发生零个或多个递归MTT分割。例如，CTU可以直接经历MTT分割而不经历QT分割，或者仅经历QT分割多次。
作为另一个示例，当利用QTBT结构来分割CTU时，提取与QT分割相关的第一标志(QT_split_flag)，并且将每个节点分割为下层的四个节点。然后，提取指示是否以BT进一步分割与QT的叶节点相对应的节点的分割标志(split_flag)以及分割方向信息。
一旦在树结构中通过分割来确定要解码的当前块，熵解码器410就配置为提取关于指示当前块是被帧内预测还是被帧间预测的预测类型的信息。当预测类型信息指示帧内预测时，熵解码器410配置为提取用于当前块的帧内预测信息(帧内预测模式)的语法元素。当预测类型信息指示帧间预测时，熵解码器410配置为提取用于帧间预测信息的语法元素，即指示运动矢量和由运动矢量参考的参考图像的信息。
熵解码器410还配置为提取关于量化的当前块的变换系数的信息作为关于残差信号的信息。重排单元415可以配置为以由视频编码装置执行的系数扫描的相反的次序，将由熵解码器410进行熵解码的一维量化的变换系数的序列改变为2维系数阵列(即，块)。
逆量化器420配置为对量化的变换系数进行逆量化。逆变换器430配置为将逆量化的变换系数从频域逆变换到空域，从而生成重构的当前块的残差块。另外，当应用MTS时，逆变换器430配置为基于从视频编码装置用信号通知的MTS信息(mts_idx)来确定要分别在水平方向和竖直方向上应用的变换函数或变换矩阵，并且基于确定的变换函数在水平方向和竖直方向上对变换块中的变换系数进行逆变换。
预测器440可以包括帧内预测器442和帧间预测器444。在当前块的预测类型是帧内预测时，帧内预测器442被激活，而在当前块的预测类型是帧间预测时，帧间预测器444被激活。帧内预测器442配置为基于从熵解码器410提取的帧内预测模式的语法元素，在多个帧内预测模式中确定当前块的帧内预测模式，并且根据帧内预测模式，利用当前块周围的参考像素来预测当前块。
帧间预测器444配置为利用从熵解码器410提取的帧间预测信息的语法元素来确定当前块的运动矢量和由运动矢量参考的参考图像，并且基于运动矢量和参考图像来预测当前块。加法器450配置为通过将从逆变换器输出的残差块与从帧间预测器或帧内预测器输出的预测块相加来重构当前块。重构的当前块中的像素用作在对后续要被解码的块进行帧内预测时的参考像素。
滤波器单元460可以包括去块滤波器462和SAO滤波器464。去块滤波器462对重构的块之间的边界进行去块滤波，以去除由逐块解码引起的块伪影。SAO滤波器464在去块滤波之后对重构的块执行附加滤波，以补偿由有损编码引起的重构的像素与原始的像素之间的差。通过去块滤波器462和SAO滤波器464滤波的重构的块存储在存储器470中。当一个图像中的所有块被重构时，重构的图像用作在对后续要被编码的图像中的块进行帧间预测的参考图像。
如上所述，视频编码装置或视频解码装置以块为单位对一个图像编码和解码。图像可以分类为I(帧内)图像、P(预测)图像或B(双向预测)图像，在I(帧内)图像中仅允许帧内预测，在P(预测)图像中允许一起进行帧间预测和帧内预测，在B(双向预测)图像中允许双向帧间预测。在视频比特流中的第一图像或者能够在任意位置处随机存取的随机存取图像是I图像，随机存取图像例如即时解码刷新(Instantaneous Decoding Refresh，IDR)图像或清理随机存取(Clean Random Access，CRA)图像。通常，需要大量的比特来对I(帧内)图像编码，在所述I(帧内)图像中，对图像的整个区域进行帧内预测。
由于编码和解码技术的发展，随着通过帧间图像参考(即，帧间预测)的P图像或B图像的编码效率提高，I图像与P图像或B图像之间的比特量的差会增加，这可能会在服务方面产生有关速率控制、缓存器控制等问题。另外，当由于传输比特流的传输通道的环境而发生错误时，错误可能会集中在I图像。特别地，由于视频的大小、分辨率和帧速率逐渐增加，可能会更频繁地出现这种效果。
以下公开呈现了对与图像相关联的多个图像上的图像的整个区域逐渐地编码或解码的技术，以改善前述问题。视频编码装置可以对图像序列编码，并且视频解码装置可以利用上述方法对图像序列解码。序列中的图像(第一图像)可以形成与多个图像相关联的一个组。组中的每个图像包括刷新区域。随着组中的图像被解码，刷新区域可以被逐渐解码。一旦所有的刷新区域被解码，则会生成具有刷新的所有区域的完整图像。具有刷新的所有区域的完整图像可以是属于组的最后的图像(第二图像)。换句话说，在属于组的多个图像上逐渐地刷新各个区域，使得在到达第二图像时，图像中的所有区域都被刷新。
在下文中，一组与第一图像相关联的多个图像可以称为帧内刷新(intra-refresh，IR)组或逐渐随机存取(gradual random access，GRA)组。此外，属于组的每个图像中的刷新区域可以称为帧内刷新单元(intra-refresh unit，IRU)或逐渐随机存取单元(gradual random access unit，GRU)。此外，第一图像可以称为IR图像或GRA图像。
视频解码装置可以配置为正确地或更准确地以解码次序从组的最后的图像(第二图像)起对所有图像解码。组中的最后的图像(第二图像)可以用作以解码次序跟随组的一个或更多个编码的后续图像的参考图像。此外，组或组中的最后的图像可以用作以解码次序跟随组的一个或更多个编码的后续图像的随机存取图片。
在下文中，将参考附图对本发明的技术进行详细描述。
图5是示出根据本发明的技术的示例性图。
图5a示出图像序列。视频编码装置根据编码次序基于每个块对每个图像顺序地编码，并且将其传输至视频解码装置。视频解码装置根据解码次序基于每个块对每个图像解码。图像的序列可以包括属于应用了逐渐刷新的图像的组(IR组或GRA组)的图像。指示逐渐刷新是否可以应用于图像序列的信息或标志可以在序列头中(即，SPS)用信号通知。例如，当标志指示第一值(例如，1)时，序列中会存在应用了逐渐刷新的图像。当标志指示第二值(例如，0)时，序列中不存在应用了逐渐刷新的图像。
当标志指示出逐渐刷新适用于序列时，用信号通知用于识别序列中的IR组的信息。作为示例，当序列中出现IR组的时间间隔是常量，并且组的大小(即，属于组的图像的数量)是常量时，关于IR组之间的间隔的信息以及IR组的大小的信息可以以序列单元用信号通知一次。
在另一个示例中，IR组可以在序列中不规则地存在。特别地，需要用于识别序列中的每个IR组的信息。该信息可以基于每个图像用信号通知，即作为图像头的语法，并且该信息可以包括指示图像是否是IR图像的信息以及IR组的大小。作为示例，视频解码装置通过对相应图像的头信息解码，获得指示与其对应的图像是否是应用了逐渐刷新的图像的识别信息。当识别信息指示出逐渐刷新已经应用于对应的图像时，视频解码装置对指示与对应图像相关联的一组图像(即，IR组)的大小的信息解码。识别信息和指示IR组的大小的信息可以包括在表示IR组的开始图像的第一图像中。
通常，比特流包含指示图像的图像次序计数(POC)的信息。该信息可以包括在例如图像头中。相应地，视频解码装置可以配置为确定作为IR组的开始图像的第一图像的POC值。另外，可以利用关于IR组的大小信息来确定与IR组的最后的图像相对应的第二图像的POC。例如，可以通过将第一图像的POC值和由组大小信息指示的值相加来推导第二图像的POC值。视频解码装置配置为将具有POC值大于或等于第一图像的POC值且小于或等于第二图像的POC值的图像确定为IR组。
如图5b所示，与第一图像相关联的图像组(也就是说，属于IR组的图像)包括刷新区域和非刷新区域。特别地，刷新区域可以是能够正确且准确地对影像数据编码/解码的区域，而非刷新区域可以是不能保证正确且更准确地对影像数据编码/解码的区域。例如，要编码或解码的一个图像可以分区为多个区域并分布到属于IR组的多个图像。在多个图像上对与多个区域相对应的影像数据逐渐编码或解码。多个图像可以被定义为IR组。分别包括在属于IR组的图像中的多个区域可以被定义为刷新区域，而除了刷新区域之外的每个图像的其它区域可以被定义为非刷新区域。
属于IR组的图像可以是I图像、P图像、B图像或随机存取图像(例如，IDR或CRA)。然而，并非IR组中的所有图像都可以是随机存取图像。属于IR组的每个图像中的刷新区域可以由CU、CTU、瓦片、瓦片组、切片或切片组构成。
视频解码装置对属于IR组的图像中的刷新区域解码。通常，刷新区域通过帧内预测编码，但不限于此。视频解码装置通过对包括在刷新区域中的每个块(CU)的帧内预测模式解码来重构刷新区域，并且根据帧内预测模式来重构每个块。
可以通过帧内预测或帧间预测来重构非刷新区域。当非刷新区域中的块被帧间预测时，可以通过复制预定义值来生成预测块。例如，可以在与先前生成的参考图像中的非刷新区域相同位置处用像素值填补预测块。特别地，先前生成的参考图像可以是在编码装置与解码装置之间共享的参考图像。作为示例，先前生成的参考图像可以是具有最接近当前要解码的图像的POC的图像。作为另一个示例，先前生成的参考图像可以是利用从像素的比特深度推导出的值填补的图像。例如，与能够由比特深度表达的最大值的一半相对应的值可以用作填补值。当比特深度为8时，填补值为128，即为256的一半，最大值可以用8比特表达。作为另一个示例，可以从视频编码装置向视频解码装置用信号通知关于由非刷新区域参考的参考图像的信息。
替选地，可以仅对属于IR组的每个图像的刷新区域解码，并且可以跳过非刷新区域的解码处理。一旦对属于IR组的所有图像从第一图像到第二图像的解码完成，视频解码装置可以配置为生成其中组合了图像的刷新区域的一个图像，如图6所示。仅由刷新区域组成的图像用作在IR组之后后续要解码的其他图像的参考图像。无法保证正确且准确地对包括非刷新区域的图像的编码/解码。因此，可能要求限制包括非刷新区域的图像不被用作在IR组之后要被解码的其他图像的参考图像。
图7是示出在存储器中存储和管理IR组的解码的图像的方法的示意图。一旦属于IR组的图像的刷新区域和非刷新区域的解码完成，每个图像可以被存储在存储器(例如，解码的图像缓冲器(decoded picture buffer，DPB))中并分配有不同POC值，如图7的(A)所示。当第二图像设置为显示的图像或由在IR组之后要解码的其他图像参考的图像时，如图6所示组合的IR组中具有刷新区域的图像被显示或被另外的图像参考。
作为另一个示例，如图7的(B)所示，以解码的刷新区域在后续要被解码的图像中的相同的位置处替代非刷新区域的方式，将在属于IR组的图像中首先解码的图像的刷新区域存储在存储器中。根据该方法，存储在存储器中的第二图像变为仅由来自属于IR组的每个图像的刷新区域组成的一个图像。当第二图像设置为显示的图像或由在IR组之后要解码的其他图像参考的图像时，第二图像可以被显示或被其他图像参考。
根据参考图7描述的存储器存储/管理方法，可能存在如下限制，即不应当允许显示IR组中除了第二图像(其作为最后的图像)之外的其他图像。换句话说，不允许显示具有POC值大于或等于第一图像(其为IR组的开始图像)的POC值且小于第二图像(其为最后的图像)的POC值的图像。
图8示出了在存储器中存储和管理IR组的解码的图像的方法的另一个示例。图8的示例可以在仅对属于IR组的每个图像的刷新区域解码的情况下应用，但不限于此。
作为示例，如图8的(A)所示，仅属于IR组的各个图像中的刷新区域当存储在存储器中时可以具有不同的POC值。作为另一个示例，在对所有刷新区域的解码完成之后，属于IR组的每个图像的非刷新区域可以利用在另一个图像的相同位置处的刷新区域来填充。在存储器中，如图8的(B)所示，由刷新区域组成的相同的图像可以以不同的POC存储在存储器中。作为另一个示例，如图8的(C)所示，在对属于IR组的所有刷新区域的解码完成之后，仅只由刷新区域组成的图像可以存储在存储器中。特别地，仅由刷新区域组成的图像以第二图像的POC值存储在存储器中。
根据图8的示例，属于IR组并存储在存储器中的图像可以被分别显示并用作在IR组之后要解码的图像的参考图像。
可以将用于识别在属于IR组的图像中刷新区域的位置的位置信息从视频编码装置用信号通知至视频解码装置。位置信息可以是识别CTU、瓦片或瓦片组的索引或坐标。如图9所示，可以设置位置信息，使得至少一些刷新区域在空间上彼此重叠。特别地，在对属于IR组的刷新区域解码之后，视频解码装置可以配置为将诸如加权平均的滤波应用于彼此重叠的区域，并且存储滤波的刷新区域或包括滤波的刷新区域的图像。视频解码装置可以配置为利用与视频编码装置相关联而预先确定的滤波器来执行滤波。替选地，视频编码装置可以向视频解码装置用信号通知关于重叠区域的滤波的滤波器系数的信息，并且视频解码装置可以基于滤波器系数信息对重叠区域滤波。
图10是示出根据本发明实施方案的识别图像序列中的IR组的方法的流程图，以利用逐渐刷新解码视频。
视频解码装置配置为接收通过对图像序列编码而产生的比特流，并且确定序列中已经应用了逐渐刷新的第一图像(S1010)。例如，如上所述，可以通过从序列中的每个图像头对指示对应图像是否是应用了逐渐刷新的图像的识别信息解码，识别应用了逐渐刷新的第一图像。然后，确定第一图像的POC值(S1020)。可以从比特流中的信息推导POC值，例如，包括在第一图像头中的POC信息。
此后，视频解码装置配置为对关于与应用了逐渐刷新的第一图像相关联的图像组(IR组)的大小信息解码，并且确定IR组的大小(S1030)。可以从第一图像头中提取大小信息。然后，基于确定的组大小来确定与IR组的最后的图像相对应的第二图像的POC值(S1040)。视频解码装置可以配置为通过将从大小信息中确定的组大小和第一图像的POC值相加来确定与IR组中的最后的图像相对应的第二图像的POC值。IR组可以确定为具有POC值大于或等于第一图像的POC值且小于或等于第二图像的POC值的图像(S1050)。以上述方式对IR组中的图像解码并将其存储在存储器中。由于上面已经详细描述了该操作，因此将省略进一步的描述。
在下文中，将描述在对属于IR组的图像的刷新区域解码之后对解码的刷新区域进行后处理的方法。图11是示出根据本发明描述的实施方案的用于IR组的解码的图像的后处理的方法的示例性图。
如图11所示，视频解码装置可以通过利用在解码的刷新区域的边界附近的重构的像素填补在刷新区域的边界外部的确定范围，来延伸每个刷新区域。当刷新区域组合为形成一个参考图像时，刷新区域由于填补的区域而彼此重叠。相应地，如参考图9所述，在对彼此重叠的区域滤波之后，视频解码装置可以配置为将滤波的刷新区域或包括滤波的刷新区域的图像存储在存储器中。填补的区域的大小可以是在视频编码装置与视频解码装置之间共享的大小，或者可以将填补的区域的大小从视频编码装置用信号通知至视频解码装置。该后处理方法可以用于减少刷新区域的组合期间在刷新区域边界处产生的伪影。
图12是示出根据本发明描述的另一个实施方案的用于对IR组中解码的图像的后处理方法的示例性图。如图12的(A)所示，IR组中的图像或通过组合属于IR组的图像的刷新区域而生成的图像可以用作在IR组之后要解码的其他图像的帧间预测的参考图像。
由刷新区域组成的图像可以在刷新区域之间的边界处具有伪影。因此，如图12的(B)所示，当由刷新区域组成的图像用作在IR组之后要解码的另一个图像中的块的帧间预测的参考图像时，伪影可以降低预测的准确性，使编码效率下降，并且使显示的图像的主观影像质量变差。因此，在本发明的一些实施方案中，在将IR组的解码的图像存储在存储器中，显示组合了属于IR组的图像的刷新区域的图像，或利用属于IR组的图像或组合了刷新区域的图像作为参考图像时，视频解码装置可以对刷新区域之间的边界执行滤波。
视频编码装置可以通过高水平(例如，SPS)的语法、IR组的图像头的语法、或IR组的图像中刷新区域头的语法，向视频解码装置用信号通知指示是否允许在刷新区域的边界处滤波的信息或标志。视频解码装置可以配置为根据用信号通知的信息来确定是否向刷新区域边界应用滤波。
替选地，可以基于应用于刷新区域的照明滤波器、与刷新区域中参考的参考块相关联的大小或量化参数(QP)信息、参考信号的帧内预测模式、应用于参考信号的变换函数的类型、当前要编码/解码的块的运动矢量差或运动矢量的精度中的至少一个，适应性地确定是否允许在刷新区域的边界处滤波。例如，当没有向相邻的刷新区域应用照明滤波器时，在应用的照明滤波器相同或相似时，或者在相邻的刷新区域之间的边界附近的两个刷新区域块之间的量化参数的差小于或等于预设阈值时，可以不执行滤波。视频解码装置可以配置为获取上述信息，用于确定是否能够从先前重构的信息中滤波。相应地，视频解码装置可以配置为确定是否允许滤波，而无需从视频编码装置接收附加信息。换句话说，不需要用于指示是否允许滤波的附加信息的信号通知。
可以明确地将用于对刷新区域之间的边界滤波的滤波器信息从视频编码装置用信号通知至视频解码装置。滤波器信息可以包括在当前要编码/解码的目标图像、目标图像中当前要编码/解码的切片或瓦片或CTU、由目标图像在IR组中参考的图像或IR组中的图像的刷新区域中的至少一个的头中。例如，可以将滤波器信息从视频编码装置用信号通知至视频解码装置作为IR组中最后的图像(图5a中的第二图像)的语法。替选地，滤波器信息可以作为IR组之后解码的并且参考IR组中的图像(例如，由IR组中的各个图像的刷新区域组成的图像)的图像的语法来用信号通知。
滤波器信息可以是滤波器系数信息或用于选择多个滤波器中的一个的信息。当使用多个滤波器时，可以在视频编码装置与视频解码装置之间预先确定多个滤波器。替选地，视频编码装置可以配置为从分别由一个或更多个滤波器组成的滤波器集中选择一个滤波器集，并且向视频解码装置用信号通知指示选择的滤波器集的信号。
滤波器信息可以不用信号通知，而可以利用各种预解码的信息推导。例如，可以通过刷新区域的照明滤波器、参考块的大小、关于刷新区域中参考的每个信号的QP信息、参考信号的帧内预测模式、应用于参考信号的变换函数的类型、参考模式、运动矢量差的精度、运动矢量的精度、预测块的大小、色度分量的类型或亮度分量的范围中的至少一个来推导滤波器信息。
作为示例，视频编码装置和视频解码装置可以利用应用于刷新区域的照明滤波器的值作为权重，适应性地确定滤波器系数或滤波器长度。替选地，可以根据应用于参考信号的变换函数的类型来适应性地确定滤波器系数或滤波器长度的值。替选地，可以根据参考块的大小或关于每个参考的信号的QP信息、参考块的形状、或者当前要解码的块的运动矢量差或运动矢量的精度的一个或更多个来适应性地确定滤波器的强度，并且根据强度来确定滤波器系数或滤波器长度。
另外，当通过帧内预测对IR图像中的参考信号解码时，可以根据帧内预测方向来确定滤波方向。替选地，可以根据当前块的参考模式(单向预测、双向预测等)或当前块的参考模式与相邻块的参考模式之间的关系，从相邻块推导滤波器信息。例如，可以使用相邻块所使用的相同的滤波器。替选地，可以基于运动矢量差的精度、运动矢量的精度、预测块的大小、色度分量的类型、亮度分量的范围等推导用于选择多个滤波器中的一个的滤波器索引。
以这种方式，可以利用以上示例性描述的信息的一条或更多条的组合来推导诸如滤波器的系数、滤波器的长度、滤波器的强度以及滤波方向的滤波器信息。替选地，通过上述方法推导的滤波器信息可以用作要实际应用的滤波器的预测信息。特别地，将差分滤波器信息从视频编码装置用信号通知至视频解码装置。视频解码装置可以配置为基于推导出的滤波器信息(预测信息)和差分滤波器信息来推导要实际应用的滤波器信息。
根据本发明的一些实施方案，可以向每个刷新区域应用不同的滤波。具体地，对于构成IR组的每个刷新区域用信号通知滤波器信息，例如滤波器系数或指示多个滤波器中的一个的索引。替选地，可以用信号通知刷新区域(或刷新区域中的块)与滤波器索引之间的映射信息。视频解码装置可以配置为基于映射到每个刷新区域的滤波器索引来确定要应用于每个刷新区域的滤波器。
在另一个实施方案中，可以在IR组中的所有刷新区域中共享相同的滤波器信息。视频解码装置可以配置为通过将相同的滤波器信息应用于IR组中的所有刷新区域来执行滤波。可以在视频编码装置与解码装置之间预先确定共享的滤波器信息。
在另一个实施方案中，可以通过视频编码装置用信号通知指示是否在IR组中的所有刷新区域之间共享滤波器信息的标志。当共享滤波器信息时，可以用信号通知共享的滤波器信息(例如，用于指示多个滤波器中的一个的索引、用于推断索引的信息、或关于共享的滤波器的系数信息)。视频解码装置可以配置为通过基于共享的滤波器信息将相同的滤波器信息应用于所有的刷新区域来执行滤波。当不共享滤波器信息时，视频解码装置可以配置为对每个刷新区域的滤波器信息解码，并且如上所述向每个刷新区域应用不同的滤波。
对于属于IR组的图像，可以对刷新区域的内部和刷新区域的边界两者顺序地或同时地执行滤波操作。当顺序地执行滤波时，视频解码装置在对每个刷新区域解码时首先对刷新区域的内部滤波。例如，可以向刷新区域的内部应用上述的去块滤波或SAO滤波。当所有刷新区域的解码完成时，也就是说，当对包括在IR组的最后的图像中的刷新区域解码时，可以对刷新区域边界执行滤波。当同时执行滤波时，可以在对包括在IR组的最后的图像中的刷新区域解码时，对刷新区域的内部和刷新区域的边界执行根据本发明的滤波。
视频编码装置可以配置为用信号通知指示本发明的滤波是用于帧间预测的帧间图像参考还是用于显示的信息。视频解码装置可以配置为当根据信息执行帧间图像参考和显示中的一个或更多个时应用本发明的滤波。例如，当滤波用于参考和显示两者时，视频解码装置配置为将滤波的图像存储在用于参考的存储器和用于显示的存储器两者中。当滤波用于参考而没有用于后续的显示步骤时，将滤波的图像存储在用于参考的存储器中，而不是用于显示的存储器中。替选地，视频解码装置可以配置为存储未滤波的图像。当存储的图像在将来显示或用作参考图像时，可以执行滤波。
作为另一个实施方案，视频编码装置可以配置为通过开始图像(图5a中的第一图像)头或包括在开始图像中的刷新区域头，参考IR组的过滤后的图像用信号通知关于开始解码的图像的位置信息。视频解码装置配置为参考IR组中未滤波的图像，对IR组的解码之后解码的图像中、在由位置信息指示的图像之前的图像解码。然后，参考IR组的滤波的图像，执行对由位置信息指示的图像和后续图像的解码。
以上描述了视频解码装置基于由视频编码装置传输的信息来执行滤波。然而，显而易见的是，视频编码装置还必须以与视频解码装置相同的方式执行滤波，以确保视频编码装置与视频解码装置之间的兼容性。
在下文中，将描述基于瓦片或基于瓦片组的管理存储器的方法。如上所述，刷新区域可以由一个或更多个瓦片组成。因此，下面描述的存储器管理方法自然与存储和管理上述IR组的图像相关联。
图13是根据本发明实施方案的用于基于瓦片或基于瓦片组来管理存储器的存储器管理器件的示例性框图。当存储器管理器件在上述视频编码装置和视频解码装置中实现时，存储器管理器件可以用于管理装置中的DPB。存储器管理器件的每个组件可以实现为硬件、软件或硬件和软件的组合。另外，每个组件的功能可以实现为软件，并且微处理器可以实现为执行与每个组件相对应的软件的功能。
存储器单元1310可以包括用于存储重构的信号的多个存储器。存储器管理器1320配置为利用图像或由一个或更多个瓦片组成的瓦片组作为存储单元，将重构的图像存储在存储器单元1310中并进行管理。例如，如图14(A)所示，存储器管理器1310可以配置为将重构的图像分区为瓦片组或瓦片，并且将分区的瓦片组或瓦片存储在存储器单元1310中，或者将以瓦片组或瓦片为单位重构的信号组合为一个图像并将组合的图像存储在存储器单元1310中。
存储器管理器1320可以配置为根据要存储的目标瓦片组是否是不允许不同位置处的瓦片之间参考的运动约束瓦片集(motion constraint tile set，MCT)来确定存储位置。例如，当目标瓦片组不是MCT时，可以允许相邻的瓦片组之间的参考。相应地，目标瓦片组存储在与相邻的MCT相同的存储器中，以便于瓦片组之间参考。当目标瓦片组是MCT时，仅允许目标瓦片组参考先前解码的图像中相同位置的瓦片组。相应地，目标瓦片组存储在与先前解码的图像中相同位置的瓦片组相同的存储器中。
存储器管理器1320还可以配置为基于每个图像将重构的信号存储在存储器中。特别地，存储器管理器1320可以配置为基于时间层、解码次序或输出次序来将重构的图像存储在相同的存储器中。
另外，当基于每个图像将重构的信号存储在存储器中时，存储器管理器1320可以配置为将图像中的所有样本连续地存储在存储器中，或者利用包括在图像中的瓦片组之间的一个或更多个样本的间隔来存储图片中的所有样本。当基于每个瓦片组将重构的信号存储在存储器中时，存储器管理器1320可以配置为将瓦片组连续地存储在存储器，或者利用瓦片组之间一个或更多个样本的间隔来存储瓦片组。特别地，可以将预定义值存储在与瓦片组之间的样本间隔相对应的存储空间中。例如，可以使用诸如128的值。从像素的比特深度中推导定义的值。例如，预定义的值可以设置为与由比特深度表示的最大值的一半相对应的值。当比特深度为8时，预定义的值为128，即为256(其为可以用8比特表示的最大值)的一半。
存储器管理器1320可以配置为基于每个图像或基于每个瓦片组，从存储器中删除存储的重构的信号，如图14(B)所示。存储器管理器1320可以配置为基于从视频编码装置接收到的参考信息来改变重构的样本的存储位置。例如，当参考多个瓦片组以生成要编码或解码的目标块的预测样本时，存储器管理器1320可以配置为根据从视频编码装置接收到的关于多个瓦片组的索引信息来识别多个瓦片组，并且将识别出的瓦片组存储在相同的存储器中。替选地，存储器管理器1320可以根据由关于目标块的运动信息(参考图像索引和运动矢量)指示的参考图像中的参考块的位置来识别多个瓦片组，并且将识别出的瓦片组存储在相同的存储器中。
视频重新配置单元1330可以配置为接收存储在存储器中的重构的信号作为输入，并且重新配置要由视频输出单元1340输出的图像。例如，当基于每个瓦片组从存储器输入重构的信号时，可以基于每个瓦片组来输出重构的信号，或者可以基于每个图像将输入的瓦片组重新配置为要输出的一个图像。根据本发明的存储器管理方法可以在一个图像内基于每个瓦片组支持时间可扩展性和空间可扩展性。
图15是示出根据本发明的存储器管理方法所支持的可扩展性的示例性图。参考图15(a)，其示出了时间可扩展性，可以以不同的帧速率对瓦片组编码和解码。以相同的帧速率解码的瓦片可以存储在相同的存储器中。例如，以30fps编码的瓦片组2可以存储在存储器1中，而以15fps编码的瓦片组1和3可以存储在存储器2中。视频重新配置单元1330可以配置为利用与瓦片组1时间上相邻的相同位置的瓦片组，通过插值将存储在存储器2中的瓦片组1重新配置为具有30fps帧速率的瓦片组。类似地，瓦片组3可以重新配置为具有30fps帧速率的瓦片组。此后，视频重新配置单元可以组合瓦片组1至3，从而以30fps的帧速率输出视频。
参考图15(b)，其示出了空间可扩展性，可以以不同的空间分辨率对瓦片组编码和解码。瓦片组2可以以第一分辨率解码，并存储在存储器1中，并且瓦片组1和3可以以等于第一分辨率的一半的分辨率解码，并存储在存储器2中。视频重新配置单元1330可以配置为通过像素之间的插值，将存储在存储器2中的瓦片组重新配置为具有第一分辨率的瓦片组。此后，具有相同分辨率的瓦片组1至3可以组合，以输出具有第一分辨率的视频。
此外，MCT不允许在不同位置处的瓦片组之间的参考。因此，对于要在MCT中编码或解码的目标块，不允许参考在参考图像中相同位置的瓦片组的帧间预测。在本发明中提出的是当由MCT中的目标块的运动矢量指示的参考块在参考图像中相同位置的瓦片组之外时所使用的处理方法。
在一个实施方案中，当由MCT中的目标块的运动矢量指示的参考块的至少一部分在相同位置的瓦片组之外时，外部区域中的像素或样本可以用相同位置的瓦片内部的一个或更多个样本填补。例如，外部区域中的像素或样本可以用与瓦片组内部边界相邻的样本值填补。
替选地，外部区域中的像素或样本可以用诸如128的预定义的值填补。如上所述，可以从样本的比特深度中推导预定义的值。可以通过上述存储器管理方法来容易地实现利用预定义的填补值作为预测值。例如，如上所述，构成一个图像的多个瓦片组可以以位于瓦片组之间的多个样本的间隔来存储。诸如128的预定义的值存储在瓦片组之间的存储空间中。相应地，当由MCT中的目标块的运动矢量指示的参考块的至少一部分在相同位置的瓦片组之外时，外部区域中的样本值自动地设置为128。
在另一个实施方案中，当MCT中的目标块的运动矢量指示的参考块的至少一部分在相同位置的瓦片组的区域之外时，可以调整目标块的运动矢量，使得参考块是完全位于相同位置的瓦片组内。例如，可以缩放目标块的运动矢量，使得参考块位于相同位置的瓦片组内部。
应当理解的是，可以以许多不同的方式实现上述示例性实施方案。在一个或多个示例中描述的功能可以实现为硬件、软件、固件或其任何组合。应当理解的是，本文中描述的功能组件已被标记为“单元”，以进一步强调他们的实施独立性。
本发明中描述的各种功能或方法可以利用存储在非易失性记录介质中的指令来实现，所述指令可以由一个或更多个处理器读取和执行。非易失性记录介质包括例如所有类型的记录器件，其中数据以计算机系统可读的形式存储。例如，非易失性记录介质包括存储介质，例如可擦除可编程只读存储器(EPROM)、闪存驱动器，光驱、磁性硬盘驱动器和固态驱动器(SSD)。
尽管出于说明的目的已经描述了示例性实施方案，但是本领域技术人员将理解，在不脱离实施方案的思想和范围的情况下，各种修改和变化是可能的。为了简洁和清楚起见，已经描述了示例性实施方案。相应地，普通技术人员应当理解，实施方案的范围不受以上明确描述的实施方案限制，而是包括在权利要求书及其等同形式内。
相关申请的交叉引用
本申请要求2019年3月12日在韩国提交的专利申请No.10-2019-0028371、2019年3月18日在韩国提交的专利申请No.10-2019-0030334以及2019年5月15日在韩国提交的专利申请No.10-2019-0056985的优先权，其全部内容通过引用结合于本文中。

Claims (16)

1.一种视频解码方法，其利用逐渐刷新来对图像序列解码，所述方法包括：
从比特流的序列头中对指示是否允许逐渐刷新的标志解码；
对用于识别在序列中应用了逐渐刷新的第一图像的识别信息解码，并且确定第一图像的图像次序计数(POC)值；
对用于识别与应用了逐渐刷新的第一图像相关联的图像组的组大小信息解码；
基于组大小信息，确定与属于组的最后的图像相对应的第二图像的POC值；以及
利用第一图像的POC值和第二图像的POC值，确定与第一图像相关联的图像组。
2.根据权利要求1所述的方法，其中，从第一图像头中对识别信息解码，并且当识别信息指示出第一图像要经受逐渐刷新时，从第一图像头中对组大小信息解码。
3.根据权利要求1所述的方法，其中，具有POC值大于或等于第一图像的POC值且小于第二图像的POC值的图像在被解码之后不允许显示。
4.根据权利要求1所述的方法，其中，当属于组的图像中的块被帧间预测时，允许对块利用填补有预定义的值的参考块进行预测。
5.根据权利要求4所述的方法，其中，从像素值的比特深度推导预定义的值。
6.根据权利要求1所述的方法，其中，属于与第一图像相关联的图像组的每个图像包括在不同位置处的刷新区域，随着对属于组的各个图像进行解码，所述刷新区域被逐渐解码，并且其中，与第一图像相关联的图像组中的所有解码的刷新区域被组合以形成能够用于被另一个图像参考的参考图像。
7.根据权利要求6所述的方法，其中，刷新区域仅允许帧内预测解码。
8.根据权利要求6所述的方法，其中，对于属于与第一图像相关联的图像组的每个图像中的非刷新区域，允许帧内预测解码和帧间预测解码两者。
9.根据权利要求6所述的方法，进一步包括：
对指示在属于与第一图像相关联的图像组的每个图像中刷新区域的位置的位置信息解码。
10.根据权利要求9所述的方法，进一步包括：
当图像的刷新区域彼此重叠时，对重叠区域滤波。
11.根据权利要求10所述的方法，进一步包括：
对用于对重叠区域滤波的滤波器系数信息解码。
12.根据权利要求6所述的方法，其中，当组合了解码的刷新区域的参考图像用于在所述另一个图像中要解码的目标块的帧间预测时，在对解码的刷新区域之间的边界滤波之后，利用参考图像预测目标块。
13.一种视频解码装置，其利用逐渐刷新来对图像序列解码，所述装置包括：
一个或更多个处理器，所述一个或更多个处理器配置为对比特流解码，以重构序列中的图像；以及
一个或更多个存储器，所述一个或更多个存储器配置为存储重构的图像，
其中，所述一个或更多个处理器配置为：
从序列头中对指示是否允许逐渐刷新的标志解码，对用于识别在序列中应用了逐渐刷新的第一图像的识别信息解码，并且确定第一图像的图像次序计数(POC)值；
对用于识别与应用了逐渐刷新的第一图像相关联的图像组的组大小信息解码；
基于组大小信息，确定与属于组的最后的图像相对应的第二图像的POC值；以及
利用第一图像的POC值和第二图像的POC值，确定与第一图像相关联的图像组。
14.根据权利要求13所述的装置，其中，从第一图像头中对识别信息解码，并且其中，当识别信息指示出第一图像要经受逐渐刷新时，从第一图像头中对组大小信息解码。
15.根据权利要求13所述的装置，其中，具有POC值大于或等于第一图像的POC值且小于第二图像的POC值的图像在被解码之后不允许显示。
16.根据权利要求13所述的装置，其中，当第一图像是应用了逐渐刷新的图像时，所述一个或更多个处理器配置为：
生成填补有预定义的值的参考图像，以及
当属于组的图像中的块被帧间预测时，允许对块利用填补有预定义的值的参考图像进行预测。
CN202080020777.8A 2019-03-12 2020-03-12 用于编码和解码影像的方法和装置 Pending CN113924784A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR20190028371 2019-03-12
KR10-2019-0028371 2019-03-12
KR20190030334 2019-03-18
KR10-2019-0030334 2019-03-18
KR10-2019-0056985 2019-05-15
KR20190056985 2019-05-15
PCT/KR2020/003433 WO2020184999A1 (ko) 2019-03-12 2020-03-12 영상 부호화 및 복호화 방법 및 장치

Publications (1)

Publication Number Publication Date
CN113924784A true CN113924784A (zh) 2022-01-11

Family

ID=72427545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080020777.8A Pending CN113924784A (zh) 2019-03-12 2020-03-12 用于编码和解码影像的方法和装置

Country Status (4)

Country Link
US (1) US11706429B2 (zh)
KR (1) KR20200110213A (zh)
CN (1) CN113924784A (zh)
WO (1) WO2020184999A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023132623A1 (ko) * 2022-01-05 2023-07-13 주식회사 케이티 비디오 신호 부호화/복호화 방법, 그리고 비트스트림을 저장한 기록 매체
WO2023239147A1 (ko) * 2022-06-07 2023-12-14 현대자동차주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000138900A (ja) * 1998-08-28 2000-05-16 Hitachi Ltd 動画像記録再生方法
CN101605255A (zh) * 2008-06-12 2009-12-16 华为技术有限公司 一种视频编解码的方法及装置
CN103828374A (zh) * 2011-09-23 2014-05-28 高通股份有限公司 参考图片信令和经解码图片缓冲器管理
CN103918258A (zh) * 2011-11-16 2014-07-09 瑞典爱立信有限公司 减少视频编码中的数据量
CN104823449A (zh) * 2012-09-28 2015-08-05 高通股份有限公司 在视频译码中用信号表示关注区和逐渐解码刷新
CN104885460A (zh) * 2013-01-07 2015-09-02 高通股份有限公司 在视频译码中具有时间可扩缩性支持的逐渐解码刷新
CN104969555A (zh) * 2012-12-30 2015-10-07 高通股份有限公司 在视频译码中具有时间可扩缩性支持的渐进式改进
US20160165237A1 (en) * 2011-10-31 2016-06-09 Qualcomm Incorporated Random access with advanced decoded picture buffer (dpb) management in video coding
CN109314790A (zh) * 2016-05-23 2019-02-05 佳稳电子有限公司 影像处理方法、利用其的影像解码及编码方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101232615A (zh) 2002-07-16 2008-07-30 诺基亚有限公司 用于在视频编码中随机存取和逐步更新图像的方法
US9584804B2 (en) 2012-07-10 2017-02-28 Qualcomm Incorporated Coding SEI NAL units for video coding
US9854270B2 (en) 2013-12-19 2017-12-26 Qualcomm Incorporated Device and method for scalable coding of video information
US10327002B2 (en) * 2014-06-19 2019-06-18 Qualcomm Incorporated Systems and methods for intra-block copy
US10638147B2 (en) * 2018-06-01 2020-04-28 Apple Inc. Gradual decoder refresh techniques with management of reference pictures
CN112956206A (zh) * 2018-08-29 2021-06-11 夏普株式会社 运动图像解码装置以及运动图像编码装置
BR112021014857A2 (pt) * 2019-02-01 2021-10-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decodificador e codificador de vídeo e seus métodos, aparelho de composição de vídeo, composição de vídeo e fluxo de dados
WO2020185962A1 (en) * 2019-03-11 2020-09-17 Futurewei Technologies, Inc. Gradual decoding refresh in video coding

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000138900A (ja) * 1998-08-28 2000-05-16 Hitachi Ltd 動画像記録再生方法
CN101605255A (zh) * 2008-06-12 2009-12-16 华为技术有限公司 一种视频编解码的方法及装置
CN103828374A (zh) * 2011-09-23 2014-05-28 高通股份有限公司 参考图片信令和经解码图片缓冲器管理
US20160165237A1 (en) * 2011-10-31 2016-06-09 Qualcomm Incorporated Random access with advanced decoded picture buffer (dpb) management in video coding
CN103918258A (zh) * 2011-11-16 2014-07-09 瑞典爱立信有限公司 减少视频编码中的数据量
CN104823449A (zh) * 2012-09-28 2015-08-05 高通股份有限公司 在视频译码中用信号表示关注区和逐渐解码刷新
CN104969555A (zh) * 2012-12-30 2015-10-07 高通股份有限公司 在视频译码中具有时间可扩缩性支持的渐进式改进
CN104885460A (zh) * 2013-01-07 2015-09-02 高通股份有限公司 在视频译码中具有时间可扩缩性支持的逐渐解码刷新
CN109314790A (zh) * 2016-05-23 2019-02-05 佳稳电子有限公司 影像处理方法、利用其的影像解码及编码方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"视频流高效编码与鲁棒传输技术的研究", 《中国优秀博士论文电子期刊》, 14 August 2007 (2007-08-14) *
KIMIHIKO KAZUI: "AHG14: Software for ultra low-latency encoding", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》, pages 2 *
V.H.S. HA ET AL.: "Real-time audio/video decoders for digital multimedia broadcasting", 《4TH IEEE INTERNATIONAL WORKSHOP ON SYSTEM-ON-CHIP FOR REAL-TIME APPLICATIONS》, 21 July 2004 (2004-07-21) *
徐丽英: "新一代高效视频编码关键技术的研究", 《中国优秀硕士论文电子期刊》, 15 February 2017 (2017-02-15) *

Also Published As

Publication number Publication date
WO2020184999A1 (ko) 2020-09-17
KR20200110213A (ko) 2020-09-23
US11706429B2 (en) 2023-07-18
US20210368191A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
US20220191530A1 (en) Intra prediction method and device for predicting and dividing prediction unit into sub-units
US11792418B2 (en) Method and apparatus for intra-prediction coding of video data
CN114270826A (zh) 用于视频数据的帧内预测编码的方法和装置
US11706429B2 (en) Method and device for encoding and decoding image involving gradual refresh technique
CN113841397A (zh) 影像编码和解码方法及装置
CN113892268A (zh) 基于预测模式估计的帧内预测装置和方法
US20220014769A1 (en) Video encoding and decoding method and device
KR20220071939A (ko) 비디오 부호화 및 복호화를 위한 장치 및 방법
CN116113985A (zh) 利用基于深度学习的环内滤波器进行视频编码和解码
CN116134812A (zh) 使用任意块划分的视频编码和解码
CN113841403A (zh) 影像解码装置中使用的逆量化装置和方法
US20230308671A1 (en) Method and device for encoding and decoding image involving gradual refresh technique
RU2779152C1 (ru) Способ и устройство для кодирования и декодирования видео
RU2803530C2 (ru) Способ и устройство для кодирования и декодирования видео
RU2803081C2 (ru) Способ и устройство для кодирования и декодирования видео
RU2803536C2 (ru) Способ и устройство для кодирования и декодирования видео
RU2803081C9 (ru) Способ и устройство для кодирования и декодирования видео
RU2803531C2 (ru) Способ и устройство для кодирования и декодирования видео
US20230179762A1 (en) Video encoding and decoding using arbitrary block partitioning
US20220321884A1 (en) Method and apparatus for encoding and decoding video using sub-picture partitioning
US20240007620A1 (en) Image encoding and decoding method using adaptive alternative mode
CN114586360A (zh) 用于利用子图像分区来编码和解码视频的方法和装置
CN116458160A (zh) 利用自适应替代模式的影像编码和解码方法
KR20230036967A (ko) 서브블록 코딩 순서 변경 및 그에 따른 인트라 예측을 이용하는 비디오 코딩방법 및 장치
CN116097648A (zh) 用于预测视频编码/解码装置中使用的量化参数的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination