CN114982231A - 图像解码方法及用于其的装置 - Google Patents

图像解码方法及用于其的装置 Download PDF

Info

Publication number
CN114982231A
CN114982231A CN202080093823.7A CN202080093823A CN114982231A CN 114982231 A CN114982231 A CN 114982231A CN 202080093823 A CN202080093823 A CN 202080093823A CN 114982231 A CN114982231 A CN 114982231A
Authority
CN
China
Prior art keywords
information
picture
flag
image
current picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080093823.7A
Other languages
English (en)
Inventor
亨得利·亨得利
S·帕鲁利
金昇焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN114982231A publication Critical patent/CN114982231A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

根据本公开，一种用于由解码装置对图像进行解码的方法可基于指示子图片信息是否存在的标志和指示子图片是否各自包含单个切片的标志来发信号通知图片分割相关信息。

Description

图像解码方法及用于其的装置
技术领域
本公开涉及一种图像解码方法及用于其的设备。
背景技术
近来，在各种领域中，对诸如高清(HD)图像和超高清(UHD)图像这样的高分辨率、高质量图像的需求正在增长。因为图像数据具有高分辨率和高质量，所以相对于传统图像数据，待发送的信息或比特的量增加。因此，当使用诸如传统有线/无线宽带线路这样的介质发送图像数据或者使用现有存储介质存储图像数据时，其发送成本和存储成本增加。
因此，需要有效发送、存储和再现高分辨率高质量图像的信息的高效图像压缩技术。
发明内容
技术问题
本公开提供了用于提高图像编码效率的方法和设备。
本公开还提供了用于发信号通知图片的分割信息的方法和设备。
本公开还提供了基于当前图片的分割信息对当前图片进行解码的方法和设备。
技术方案
一方面，提供了一种由解码设备执行的图像解码方法。所述方法包括：从比特流获得包括当前图片的分割信息和残差信息的图像信息；基于当前图片的分割信息推导包括至少一个切片的当前图片的分割结构；以及基于所述分割结构对所述当前图片进行解码，其中，对所述当前图片进行解码包括基于包括在所述至少一个切片中的当前块的残差信息推导当前块的残差样本；以及基于所述残差样本重构所述当前图片，其中，所述分割信息包括与子图片信息的存在相关的第一标志和与所述当前图片中的每个子图片是否仅包括一个切片相关的第二标志，并且其中，所述第一标志的值等于0，并且所述第二标志的值等于1。
在另一方面，提供了一种由编码设备执行的图像编码方法。所述方法包括：将当前图片分割成至少一个切片；基于所述至少一个切片生成所述当前图片的分割信息；推导所述至少一个切片中包括的当前块的残差样本；基于所述残差样本生成所述当前块的残差信息；以及对包括分割信息和残差信息的当前图片的图像信息进行编码，其中，分割信息包括与子图片信息的存在相关的第一标志和与当前图片中的每个子图片是否仅包括一个切片相关的第二标志，并且其中，第一标志的值等于0，并且第二标志的值等于1。
在又一方面中，提供一种存储比特流的非暂态计算机可读存储介质，所述比特流包括致使执行图像解码方法的图像信息。所述图像解码方法包括：从比特流获得包括当前图片的分割信息和残差信息的图像信息；基于当前图片的分割信息推导包括至少一个切片的当前图片的分割结构；以及基于所述分割结构对所述当前图片进行解码，其中，对所述当前图片进行解码包括基于包括在所述至少一个切片中的当前块的残差信息推导当前块的残差样本；以及基于所述残差样本重构所述当前图片，其中，所述分割信息包括与子图片信息的存在相关的第一标志和与所述当前图片中的每个子图片是否仅包括一个切片相关的第二标志，并且其中，所述第一标志的值等于0，并且所述第二标志的值等于1。
有利效果
根据本公开，可以提高整体图像/视频压缩效率。
根据本公开，可以提高分割效率。
根据本公开，可以基于当前图片的分割信息来提高分割效率。
附图说明
图1示意性例示了可以应用本文献的实施方式的视频/图像编码系统的示例。
图2是例示了可以应用本文献的实施方式的视频/图像编码设备的配置的示意图。
图3是例示了可以应用本文献的实施方式的视频/图像解码设备的配置的示意图。
图4示出了基于帧间预测的视频/图像编码方法的一个示例。
图5示出了示意性示出编码设备中的帧间预测器的一个示例。
图6示出了基于帧间预测的视频/图像解码方法的一个示例。
图7示出了示意性地示出解码设备中的帧间预测器的一个示例。
图8示出了编码数据的示例性层次结构。
图9是示出分割图片的示例的示图。
图10是示出根据实施方式的图片编码过程的流程图。
图11是示出根据实施方式的图片解码过程的流程图。
图12是示出根据实施方式的编码设备的配置的框图。
图13是示出根据实施方式的解码设备的配置的框图。
图14是示出根据实施方式的编码设备的操作的流程图。
图15是示出根据实施方式的编码设备的配置的框图。
图16是示出根据实施方式的解码设备的操作的流程图。
图17是示出根据实施方式的解码设备的配置的框图。
图18示出了可以应用本文献中公开的实施方式的内容流传输系统的示例。
具体实施方式
本文献可按各种方式修改并具有各种实施方式，将详细描述并且在附图中图示特定实施方式。然而，这并非旨在将本文献限制在特定实施方式。本说明书中常用的术语仅用于描述特定实施方式，而非用于限制本文献的技术精神。单数表达包括复数表达，除非上下文另有明确表示。本说明书中诸如“包括”和“具有”这样的术语应被理解为指示存在说明书中描述的特性、数目、步骤、操作、元件、部分或其组合，并且不排除存在或添加一个或更多个其他特性、数目、步骤、操作、元件、部分或其组合的可能性。
另外，本文献描述的附图中的元件是为了方便与不同特性功能有关的描述而独立图示的。这不意味着每个元件被实现为不同的硬件或不同的软件。例如，可以组合元件中的至少两个以形成单个元件，并且也可以将单个元件划分为多个元件。在不脱离本文献的主旨的情况下，元件被组合和/或分离的实施方式也被包括在本文献的权利范围内。
在本公开中，“A或B”可以意指“仅A”、“仅B”或“A和B二者”。换句话说，在本公开中，“A或B”可以被解释为“A和/或B”。例如，在本公开中，“A、B或C”可以意指“仅A”、“仅B”、“仅C”或“A、B、C的任何组合”。
在本公开中使用的斜杠(/)或逗号可以意指“和/或”。例如，“A/B”可以意指“A和/或B”。因此，“A/B”可以意指“仅A”、“仅B”或“A和B二者”。例如，“A、B、C”可以意指“A、B或C”。
在本公开中，“A和B中的至少一个”可以意指“仅A”、“仅B”或“A和B二者”。另外，在本说明书中，表述“A或B中的至少一个”或“A和/或B中的至少一个”可以被解释为“A和B中的至少一个”。
另外，在本公开中，“A、B和C中的至少一个”可以意指“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。另外，“A、B或C中的至少一个”或“A、B和/或C中的至少一个”可以意指“A、B和C中的至少一个”。
另外，在本公开中使用的括号可以意指“例如”。具体地，当被指示为“预测(帧内预测)”时，可以意味着“帧内预测”被提议为“预测”的示例。换句话说，本公开的“预测”不限于“帧内预测”，并且“帧内预测”可以被提议为“预测”的示例。另外，当被指示为“预测(即，帧内预测)”时，也可以意味着“帧内预测”被提议为“预测”的示例。
在本公开中，在一个附图中被单独说明的技术特征可以单独实现，或者可以同时实现。
下文中，参照附图更具体地描述本文献的优选实施方式。下文中，在附图中，相同的附图标记被用于相同的元件，并且可以省略对相同元件的冗余描述。
图1示意性例示了可以应用本文献的实施方式的视频/图像编码系统的示例。
参照图1，视频/图像编码系统可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以经由数字存储介质或网络将文件或流传输形式的编码后的视频/图像信息或数据传送到接收装置。
源装置可包括视频源、编码设备和发送器。接收装置可包括接收器、解码设备和渲染器。编码设备可被称为视频/图像编码设备，解码设备可被称为视频/图像解码设备。发送器可被包括在编码设备中。接收器可被包括在解码设备中。渲染器可包括显示器，并且显示器可被配置为单独的装置或外部部件。
视频源可通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可包括视频/图像捕获装置，和/或视频/图像生成装置。例如，视频/图像捕获装置可包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。例如，视频/图像生成装置可包括计算机、平板计算机和智能电话，并且可(以电子方式)生成视频/图像。例如，可通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可由生成相关数据的处理代替。
编码设备可对输入视频/图像进行编码。为了压缩和编码效率，编码设备可执行诸如预测、变换和量化的一系列过程。编码的数据(编码的视频/图像信息)可按比特流的形式输出。
发送器可通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像信息或数据以文件或流的形式发送至接收装置的接收器。数字存储介质可包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。发送器可包括用于通过预定文件格式生成媒体文件的元件，并且可包括用于通过广播/通信网络传输的元件。接收器可接收/提取比特流并且将所接收的比特流发送至解码设备。
解码设备可通过执行与编码设备的操作对应的诸如反量化、逆变换和预测的一系列过程对视频/图像进行解码。
渲染器可渲染解码的视频/图像。渲染的视频/图像可通过显示器显示。
本文献涉及视频/图像编码。例如，本文献中公开的方法/实施方式可以应用于在通用视频编码(VVC)、EVC(基本视频编码)标准、AOMedia视频1(AV1)标准、第二代音频视频编码标准(AVS2)或下一代视频/图像编码标准(例如，H.267或H.268等)中公开的方法。
本文献提出了视频/图像编码的各种实施方式，并且除非另外提到，否则这些实施方式可以彼此组合地执行。
在本公开中，视频可以意指根据时间推移的一系列图像的集合。通常，图片意指表示特定时间区域的图像的单元，并且切片/图块是构成图片的部分的单元。切片/图块可以包括一个或更多个编码树单元(CTU)。一个图片可以包括一个或更多个切片/图块。
图块是图片中的特定图块列和特定图块行内的CTU的矩形区域。图块列是高度等于图片的高度并且宽度由图片参数集中的语法元素指定的CTU的矩形区域。图块行是高度由图片参数集中的语法元素指定并且宽度等于图片宽度的CTU的矩形区域。图块扫描是以下的分割图片的CTU的特定顺序排序：在图块中按CTU光栅扫描对CTU进行连续排序，而按图片的图块的光栅扫描对图片中的图块进行连续排序。切片可以包括多个完好图块或一个NAL单元中可以包括的图片的图块中的多个连续CTU列。在本公开中，图块组可以与切片可互换地使用。例如，在本公开中，图块组/图块组头可以被称为切片/切片头。
此外，图片可以分为两个或更多个子图片。子图片可以是图片内的一个或更多个切片的矩形区域。
像素或画素(pel)可以意指构成一个图片(或图像)的最小单元。另外，“样本”可以被用作与像素对应的术语。样本通常可以表示像素或像素的值，并且可以仅表示亮度分量的像素/像素值或色度分量的像素/像素值。
单元可表示图像处理的基本单位。单元可包括图片的特定区域和与该区域有关的信息中的至少一个。一个单元可包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，单元可与诸如块或区域这样的术语互换使用。在一般情况下，M×N块可包括M列和N行的样本(或样本数组)或变换系数的集合(或数组)。
图2是示意性例示了可以应用本文献的实施方式的视频/图像编码设备的配置的示图。下文中，视频编码设备可以包括图像编码设备。
参照图2，编码设备200包括图像分割器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可包括帧间预测器221和帧内预测器222。残差处理器230可包括变换器232、量化器233、反量化器234和逆变换器235。残差处理器230还可包括减法器231。加法器250可被称为重构器或重构块生成器。根据实施方式，图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可由至少一个硬件部件(例如，编码器芯片组或处理器)配置。另外，存储器270可包括解码图片缓冲器(DPB)，或者可由数字存储介质配置。硬件部件还可包括存储器270作为内部/外部部件。
图像分割器210可将输入到编码设备200的输入图像(或者图片或帧)分割成一个或更多个处理器。例如，处理器可被称为编码单元(CU)。在这种情况下，编码单元可根据四叉树二叉树三叉树(QTBTTT)结构从编码树单元(CTU)或最大编码单元(LCU)递归地分割。例如，一个编码单元可基于四叉树结构、二叉树结构和/或三元结构被分割成深度更深的多个编码单元。在这种情况下，例如，可首先应用四叉树结构，稍后可应用二叉树结构和/或三元结构。另选地，可首先应用二叉树结构。可基于不再分割的最终编码单元来执行根据本公开的编码过程。在这种情况下，根据图像特性基于编码效率等，最大编码单元可用作最终编码单元，或者如果需要，编码单元可被递归地分割成深度更深的编码单元并且具有最优大小的编码单元可用作最终编码单元。这里，编码过程可包括预测、变换和重构的过程(将稍后描述)。作为另一示例，处理器还可包括预测单元(PU)或变换单元(TU)。在这种情况下，预测单元和变换单元可从上述最终编码单元拆分或分割。预测单元可以是样本预测的单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
在一些情况下，单元可与诸如块或区域这样的术语互换使用。在一般情况下，M×N块可表示由M列和N行组成的样本或变换系数的集合。样本通常可表示像素或像素值，可仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。样本可用作与像素或画素的一个图片(或图像)对应的术语。
在编码设备200中，从输入图像信号(原始块、原始样本数组)中减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本数组)以生成残差信号(残差块、残差样本数组)，并且所生成的残差信号被发送到变换器232。在这种情况下，如所示出的，在编码器200中从输入图像信号(原始块、原始样本数组)中减去预测信号(预测块、预测样本数组)的部分可以被称为减法器231。预测器可以对待处理块(下文中，被称为当前块)执行预测并生成包括当前块的预测样本的预测块。预测器可以以当前块或CU为基础确定是应用帧内预测还是帧间预测。如随后在对每种预测模式的描述中所描述的，预测器可以生成诸如预测模式信息这样的与预测相关的各种信息，并且将所生成的信息发送到熵编码器240。关于预测的信息可以在熵编码器240中被编码并且以比特流的形式被输出。
帧内预测器222可通过参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。例如，非定向模式可包括DC模式和平面模式。例如，根据预测方向的详细程度，定向模式可包括33个定向预测模式或65个定向预测模式。然而，这仅是示例，可根据设置使用更多或更少的定向预测模式。帧内预测器222可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器221可基于参考图片上运动矢量所指定的参考块(参考样本数组)来推导当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动矢量和参考图片索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可相同或不同。时间邻近块可被称为并置参考块、并置CU(colCU)等，并且包括时间邻近块的参考图片可被称为并置图片(colPic)。例如，帧间预测器221可基于邻近块来配置运动信息候选列表并且生成指示哪一候选用于推导当前块的运动矢量和/或参考图片索引的信息。可基于各种预测模式执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可使用邻近块的运动信息作为当前块的运动信息。在跳过模式下，与合并模式不同，可不发送残差信号。在运动矢量预测(MVP)模式的情况下，邻近块的运动矢量可用作运动矢量预测器，并且可通过发信号通知运动矢量差来指示当前块的运动矢量。
预测器220可以基于下述的各种预测方法来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测来预测一个块，而且还可以同时应用帧内预测和帧间预测二者。这可以被称为帧间和帧内预测组合(CIIP)。另外，预测器可以是基于块内复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可以用于游戏等的内容图像/视频编码，例如，屏幕内容编码(SCC)。IBC基本上在当前图片中执行预测，但可以在当前图片中推导参考块方面与帧间预测类似地执行。即，IBC可以使用本文献中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时，可以基于关于调色板表和调色板索引的信息来发信号通知图片内的样本值。
通过预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以用于生成重构信号或者生成残差信号。变换器232可以通过向残差信号应用变换技术来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-loève变换(KLT)、基于图的变换(GBT)或有条件非线性变换(CNT)中的至少一种。这里，GBT意指当用图表示像素之间的关系信息时从图获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号而生成的变换。另外，变换处理可以应用于大小相同的正方形像素块，或者可以应用于大小可变而非正方形的块。
量化器233可以对变换系数进行量化并将它们发送到熵编码器240，并且熵编码器240可以对量化后的信号(关于量化后的变换系数的信息)进行编码并输出比特流。关于量化后的变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将块类型的量化后的变换系数重新排列成一维矢量形式，并基于一维矢量形式的量化后的变换系数来生成关于量化后的变换系数的信息。可以生成关于变换系数的信息。熵编码器240可以执行诸如(例如)指数哥伦布(exponential Golomb)、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等这样的各种编码方法。熵编码器240可以一起或分别地对除了量化后的变换系数(例如，语法元素的值等)之外的视频/图像重构所必需的信息进行编码。编码后的信息(例如，编码后的视频/图像信息)可以以比特流的形式以NAL(网络抽象层)为单位发送或存储。视频/图像信息还可以包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。在本文献中，从编码设备发送/发信号通知给解码设备的信息和/或语法元素可以被包括在视频/图片信息中。视频/图像信息可以通过上述编码过程被编码并且被包括在比特流中。可以通过网络传输比特流，或者可以将其存储在数字存储介质中。网络可以包括广播网络和/或通信网络，并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等这样的各种存储介质。发送从熵编码器240输出的信号的发送器(未示出)或存储信号的储存器(未示出)可以被包括作为编码设备200的内部/外部元件，并且另选地，发送器可以被包括在熵编码器240中。
从量化器233输出的量化后的变换系数可以用于生成预测信号。例如，可以通过经由反量化器234和逆变换器235对量化后的变换系数应用反量化和逆变换来重构残差信号(残差块或残差样本)。加法器250将重构后的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加，以生成重构信号(重构图片、重构块、重构样本数组)。如果没有待处理块的残差(诸如，应用跳过模式的情况)，则预测块可以用作重构块。加法器250可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前图片中待处理的下一块的帧内预测，并且如下所述，可以用于通过滤波的下一图片的帧间预测。
此外，可以在图片编码和/或重构处理期间应用具有色度缩放的亮度映射(LMCS)。
滤波器260可以通过向重构信号应用滤波来改善主观/客观图像质量。例如，滤波器260可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并将修改后的重构图片存储在存储器270中，具体地，存储在存储器270的DPB中。各种滤波方法可以包括例如解块滤波、样本自适应偏移(SAO)、自适应环路滤波器、双边滤波器等。滤波器260可以生成与滤波相关的各种类型的信息，并将所生成的信息传送到熵编码器290，如随后的每种过滤方法的描述中描述的。与滤波相关的信息可以由熵编码器290编码并以比特流的形式被输出。
发送到存储器270的修改后的重构图片可以被用作帧间预测器221中的参考图片。当通过编码设备应用帧间预测时，可以避免编码设备200与解码设备之间的预测失配，并且可以提高编码效率。
存储器270的DPB可以存储修改后的重构图片，以用作帧间预测器221中的参考图片。存储器270可以存储从其推导出(或编码)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被传送到帧间预测器221，以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本，并可以将重构样本传送到帧内预测器222。
此外，在本公开中，可以省略量化/反量化和/或变换/逆变换中的至少一个。当省略量化/反量化时，量化后的变换系数可称为变换系数。当省略变换/逆变换时，变换系数可称为系数或残差系数，或者为了表述的一致性，仍可称为变换系数。
此外，在本公开中，量化后的变换系数和变换系数可以分别被称为变换系数和缩放的变换系数。在此情况下，残差信息可包括关于变换系数的信息，并且可通过残差编码语法来发信号通知变换系数的信息。可基于残差信息(或变换系数的信息)来推导变换系数，并且可通过变换系数的逆变换(缩放)来推导缩放的变换系数。可基于缩放的变换系数的逆变换(变换)来推导残差样本。这可以以相同的方式应用/表达在本公开的其他部分中。
图3是示意性说明了可以应用本文献的公开内容的视频/图像解码设备的配置的示图。
参照图3，解码设备300可包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可包括帧间预测器331和帧内预测器332。残差处理器320可包括反量化器321和逆变换器321。根据实施方式，熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可由硬件部件(例如，解码器芯片组或处理器)配置。另外，存储器360可包括解码图片缓冲器(DPB)或者可由数字存储介质配置。硬件部件还可包括存储器360作为内部/外部部件。
当输入包括视频/图像信息的比特流时，解码设备300可重构与在图2的编码设备中处理视频/图像信息的处理对应的图像。例如，解码设备300可基于从比特流获得的块分割相关信息来推导单元/块。解码设备300可使用编码设备中应用的处理器来执行解码。因此，例如，解码的处理器可以是编码单元，并且编码单元可根据四叉树结构、二叉树结构和/或三叉树结构从编码树单元或最大编码单元分割。可从编码单元推导一个或更多个变换单元。通过解码设备300解码和输出的重构图像信号可通过再现设备再现。
解码设备300可以以比特流的形式接收从图2的编码设备输出的信号，并且可以通过熵解码器310对接收到的信号进行解码。例如，熵解码器310可以对比特流进行解析，以推导图像重构(或图片重构)所必需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。解码设备还可以基于关于参数集的信息和/或常规约束信息对图片进行解码。随后在本文献中描述的发信号通知/接收的信息和/或语法元素可以通过解码过程被解码，并从比特流中获得。例如，熵解码器310可以基于诸如指数哥伦布编码、CABAC或CAVLC这样的编码方法对比特流中的信息进行解码，并且输出图像重构所需的语法元素和针对残差的变换系数的量化值。更具体地，CABAC熵解码方法可以在比特流中接收与每个语法元素对应的bin，使用解码目标语法元素信息、解码目标块的解码信息或前一级中解码的符号/bin的信息来确定上下文模型，并通过根据所确定的上下文模型预测bin的出现概率来对bin执行算术解码，并生成与每个语法元素的值对应的符号。在这种情况下，CABAC熵解码方法可以通过在确定上下文模型之后将解码的符号/bin的信息用于下一个符号/bin的上下文模型来更新上下文模型。由熵解码器310解码的信息当中的与预测相关的信息可以被提供到预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310中被执行熵解码的残差值(即，量化后的变换系数和相关的参数信息)可以被输入到残差处理器320。残差处理器320可以推导残差信号(残差块、残差样本、残差样本数组)。另外，由熵解码器310解码的信息当中的关于滤波的信息可以被提供到滤波器350。此外，用于接收从编码设备输出的信号的接收器(未示出)可以另外被配置为解码设备300的内部/外部元件，或者接收器可以是熵解码器310的部件。此外，根据本文献的解码设备可以被称为视频/图像/图片解码设备，并且解码设备可以被分类为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310，并且样本解码器可以包括反量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
反量化器321可将量化后的变换系数反量化并输出变换系数。反量化器321可按二维块形式重排量化后的变换系数。在这种情况下，可基于在编码设备中执行的系数扫描顺序来执行重排。反量化器321可使用量化参数(例如，量化步长信息)对量化后的变换系数执行反量化并且获得变换系数。
逆变换器322对变换系数逆变换以获得残差信号(残差块、残差样本数组)。
预测器可对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测并且可确定特定帧内/帧间预测模式。
预测器320可以基于下述的各种预测方法来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测来预测一个块，而且还可以同时应用帧内预测和帧间预测。这可以被称为帧间和帧内预测组合(CIIP)。另外，预测器可以基于块内复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可以用于游戏等的内容图像/视频编码，例如，屏幕内容编码(SCC)。IBC基本上在当前图片中执行预测，但可以在当前图片中推导参考块方面与帧间预测类似地执行。即，IBC可以使用本文献中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时，可以基于关于调色板表和调色板索引的信息来发信号通知图片内的样本值。
帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可以位于当前块的附近，或者可以分开定位。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器332可以基于参考图片上的运动矢量所指定的参考块(参考样本数组)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。例如，帧间预测器332可以基于邻近块来配置运动信息候选列表，并基于接收到的候选选择信息来推导当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。
加法器340可以通过将所获得的残差信号与从预测器330输出的预测信号(预测块或预测样本数组)相加来生成重构信号(重构图片、重构块或重构样本数组)。如果不存在处理目标块的残差(诸如，应用跳变模式的情况)，则预测块可以用作重构块。
加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以用于在当前图片中将处理的下一个块的帧内预测，并且如随后描述的，还可以通过滤波来输出或者还可以用于下一个图片的帧间预测。
此外，具有色度缩放的亮度映射(LMCS)还可以被应用于图片解码处理。
滤波器350可以通过向重构信号应用滤波来改善主观/客观图像质量。例如，滤波器350可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并将修改后的重构图片存储在存储器360中，具体地，存储在存储器360的DPB中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
存储在存储器360的DPB中的(修改后的)重构图片可以被用作帧间预测器331中的参考图片。存储器360可以存储从其推导出(或解码出)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被传送到帧间预测器331，以便被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片中的重构块的重构样本，并将重构样本传送到帧内预测器332。
在本公开中，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式可以与解码设备300的滤波器350、帧间预测器332和帧内预测器331相同或者被分别应用以对应于解码设备300的滤波器350、帧间预测器332和帧内预测器331。这对于帧间预测器332和帧内预测器331也可以同样适用。
如上所述，在执行视频编码时，执行预测以增强压缩效率。可通过预测来生成包括当前块(即，目标编码块)的预测样本的预测块。在这种情况下，预测块包括空间域(或像素域)中的预测样本。预测块在编码设备和解码设备中相同地推导。编码设备可通过向解码设备发信号通知关于原始块(而非原始块的原始样本值本身)与预测块之间的残差的信息(残差信息)来增强图像编码效率。解码设备可基于残差信息来推导包括残差样本的残差块，可通过将残差块和预测块相加来生成包括重构样本的重构块，并且可生成包括重构块的重构图片。
残差信息可通过变换过程和量化过程来生成。例如，编码设备可推导原始块与预测块之间的残差块，可通过对包括在残差块中的残差样本(残差样本数组)执行变换过程来推导变换系数，可通过对变换系数执行量化过程来推导量化后的变换系数，并且可将相关残差信息(通过比特流)发信号通知给解码设备。在这种情况下，残差信息可包括量化后的变换系数、位置信息、变换方案、变换核和量化参数等的值信息。解码设备可基于残差信息来执行反量化/逆变换过程并且可推导残差样本(或残差块)。解码设备可基于预测块和残差块来生成重构图片。此外，为了后续图片的帧间预测参考，编码设备可通过对量化后的变换系数进行反量化/逆变换来推导残差块，并且可生成重构图片。
图4示出了基于帧间预测的视频/图像编码方法的一个示例，并且图5示出了示意性示出编码设备中的帧间预测器的一个示例。图5的编码设备中的帧间预测器也可被应用为与图2的编码设备200的帧间预测器221相同或对应。
参照图4和图5，编码设备对当前块执行帧间预测(S400)。编码设备可推导当前块的帧间预测模式和运动信息并生成当前块的预测样本。这里，可以同时执行帧间预测模式确定过程、运动信息推导过程和预测样本的生成过程，并且任何一个过程可以比其他过程更早地执行。
例如，编码设备的帧间预测器221可包括预测模式确定器221_1、运动信息推导器221_2和预测样本推导器221_3，并且预测模式确定器221_1可确定当前块的预测模式，运动信息推导器221_2可推导当前块的运动信息，并且预测样本推导器221_3可推导当前块的预测样本。例如，编码设备的帧间预测器221可通过运动估计在参考图片的预定区域(搜索区域)中搜索与当前块相似的块，并推导其中与当前块的差异最小或等于或小于预定标准的参考块。基于此，可推导指示参考块所在的参考图片的参考图片索引，并且运动矢量可基于参考块和当前块之间的位置差异来推导。编码设备可在各种预测模式中确定应用于当前块的模式。编码设备可比较各种预测模式的RD成本并确定当前块的最佳预测模式。
例如，当跳过模式或合并模式被应用于当前块时，编码装置可配置将在下面描述的合并候选列表，并推导合并候选列表中包括的合并候选所指示的参考块中与当前块的差异最小或等于或小于预定标准的参考块。在此情况下，可选择与推导出的参考块相关联的合并候选，并且指示所选合并候选的合并索引信息可被生成并被发信号通知给解码装置。可以通过使用所选合并候选的运动信息来推导当前块的运动信息。
作为另一示例，当对当前块应用(A)MVP模式时，编码装置可配置(A)MVP候选列表，并使用(A)MVP候选列表中包括的运动矢量预测子(mvp)候选中的所选mvp候选的运动矢量作为当前块的mvp。在这种情况下，例如，指示通过运动估计推导的参考块的运动矢量可被用作当前块的运动矢量，并且mvp候选中具有与当前块的运动矢量差异最小的运动矢量的mvp候选可成为所选择的mvp候选。可以推导运动矢量差(MVD)，其是通过从当前块的运动矢量中减去mvp而获得的差。在这种情况下，可以将关于MVD的信息发信号通知给解码设备。此外，当应用(A)MVP模式时，参考图片索引的值可被配置为参考图片索引信息并被单独地发信号通知给解码设备。
编码设备可基于预测样本推导残差样本(S410)。编码设备可通过比较当前块的原始样本和预测样本来推导残差样本。
编码设备对包括预测信息和残差信息的图像信息进行编码(S420)。编码设备可以以比特流的形式输出编码的图像信息。预测信息可包括关于预测模式信息(例如，跳过标志、合并标志或模式索引等)的信息和关于运动信息的信息作为与预测过程相关的信息。关于运动信息的信息可包括作为用于推导运动矢量的信息的候选选择信息(例如，合并索引)。此外，关于运动信息的信息可包括指示是应用L0预测、L1预测还是双向预测的信息。残差信息是关于残差样本的信息。残差信息可包括关于残差样本的量化后的变换系数的信息。
输出比特流可被存储在(数字)存储介质中并被传送到解码装置或经由网络被传送到解码装置。
此外，如上所述，编码装置可基于参考样本和残差样本生成重构图片(包括重构样本和重构块)。这是为了推导与由解码装置执行的预测结果相同的预测结果，结果，可以提高编码效率。因此，编码设备可将重构图片(或重构样本或重构块)存储在存储器中，并将重构图片用作参考图片。环路滤波过程可以进一步应用于如上所述的重构图片。
图6示出了基于帧间预测的视频/图像解码方法的一个示例，并且图7示出了示意性示出解码设备中的帧间预测器的一个示例。图7的解码设备中的帧间预测器也可被应用为与图3的解码设备300的帧间预测器332相同或对应。
参照图6和图7，解码设备可执行与编码设备执行的操作相应的操作。解码设备可基于接收到的预测信息对当前块执行预测并推导预测样本。
具体地，解码设备可基于接收到的预测信息来确定当前块的预测模式(S600)。解码设备可基于预测信息中的预测模式信息来确定将哪种帧间预测模式应用于当前块。
帧间预测模式候选可包括跳过模式、合并模式和/或(A)MVP模式或可包括各种帧间预测模式。
解码设备基于确定的帧间预测模式来推导当前块的运动信息(S610)。例如，当跳过模式或合并模式被应用于当前块时，解码装置可配置合并候选列表并从合并候选列表中包括的合并候选中选择一个合并候选。这里，可以基于选择信息(合并索引)来执行选择。当前块的运动信息可以使用所选合并候选的运动信息来推导。所选合并候选的运动信息可用作当前块的运动信息。
作为另一示例，当对当前块应用(A)MVP模式时，解码设备可配置(A)MVP候选列表，并使用(A)MVP候选列表中包括的运动矢量预测子(mvp)候选中的所选mvp候选的运动矢量作为当前块的mvp。这里，可以基于选择信息(mvp标志或mvp索引)来执行选择。在这种情况下，可以基于关于MVD的信息来推导当前块的MVD，并且可以基于当前块的mvp和MVD来推导当前块的运动矢量。此外，可基于参考图片索引信息来推导当前块的参考图片索引。由当前块的参考图片列表中的参考图片索引指示的图片可被推导为当前块的帧间预测参考的参考图片。
此外，可以在没有候选列表配置的情况下推导当前块的运动信息，并且在这种情况下，可以根据在预测模式中公开的过程来推导当前块的运动信息。在这种情况下，可以省略候选列表配置。
解码设备可基于当前块的运动信息来生成当前块的预测样本(S620)。在这种情况下，可以基于当前块的参考图片索引来推导参考图片，并且可以通过使用由参考图片上的当前块的运动矢量指示的参考块的样本来推导当前块的预测样本。在此情况下，在一些情况下，可进一步执行用于当前块的所有或一些预测样本的预测样本滤波过程。
例如，解码设备的帧间预测器332可包括预测模式确定器332_1、运动信息推导器332_2和预测样本推导器332_3，并且预测模式确定器332_1可基于接收到的预测模式信息来确定当前块的预测模式，运动信息推导器332_2可基于关于接收到的运动信息的信息来推导当前块的运动信息(运动矢量和/或参考图片索引)，并且预测样本推导器332_3可推导当前块的预测样本。
解码设备基于接收到的残差信息生成当前块的残差样本(S630)。解码设备可基于预测样本和残差样本来生成当前块的重构样本，并基于所生成的重构样本来生成重构图片(S640)。此后，环路滤波过程可以进一步应用于如上所述的重构图片。
如上所述，帧间预测过程可以包括帧间预测模式确定步骤、取决于所确定的预测模式的运动信息推导步骤以及基于所推导的运动信息的预测执行(预测样本生成)步骤。帧间预测过程可以由如上所述的编码设备和解码设备来执行。
此外，在推导当前块的运动信息时，可以基于空间相邻块和时间相邻块来推导运动信息候选，并且可以基于推导出的运动信息候选来选择当前块的运动信息候选。此时，所选择的运动信息候选可用作当前块的运动信息。
图8示出了编码数据的示例性层次结构。
参照图8，编码数据可被划分为操纵视频/图像的编码处理和视频/图像本身的视频编码层(VCL)以及存储和发送编码的视频/图像的数据并位于视频编码层(VCL)和较低系统之间的网络抽象层(NAL)。
VCL可以生成补充增强信息(SEI)消息，该SEL消息是在对应于序列和图片的头部以及视频/图像的参数集(图片参数集(PPS)、序列参数集(SPS)、视频参数集(VPS)等)的编码处理中补充需要的。SEI消息与用于视频/图像的信息(切片数据)分开。包括用于视频/图像的信息的VCL包括切片数据和切片头。此外，切片头可以被称为图块组头，并且切片数据可以被称为图块组数据。
在NAL中，可以通过向在VCL中生成的原始字节序列有效载荷(RBSP)添加头信息(NAL单元头)来生成NAL单元。在这种情况下，RBSP被称为在VCL中生成的切片数据、参数集、SEI消息等。NAL单元头可以包括根据NAL单元中所包括的RBSP数据指定的NAL单元类型信息。
作为NAL的基本单元的NAL单元根据预定规范执行将编码图像映射到诸如文件格式、实时传输协议(RTP)、传输流(TS)等这样的较低系统的比特序列的功能。
如图中所示，根据在VCL中生成的RBSP，NAL单元可以划分为VCL NAL单元和非VCLNAL单元。VCL NAL单元可以意指包括用于图像的信息(切片数据)的NAL单元，并且非VCLNAL单元可以意指包括对图像进行解码所需的信息(参数集或SEI消息)的NAL单元。
上述的VCLNAL单元和非VCL NAL单元可以通过根据较低系统的数据规范附接头信息来通过网络发送。例如，NAL单元可以被变换为诸如H.266/VVC文件格式、RTP(实时传输协议)、TS(传输流)等这样的预定规范的数据格式。
如上所述，对于NAL单元，可以根据NAL单元中所包括的RBSP数据结构来指定NAL单元类型，并且NAL单元类型的信息可以被存储在NAL单元头中并被发信号通知。
例如，根据NAL单元是否包括用于图像的信息(切片数据)，NAL单元可以分类为VCLNAL单元类型和非VCL NAL单元类型。VCL NAL单元类型可以根据VCL NAL单元中所包括的图片的性质和类型来分类，并且非VCL NAL单元类型可以根据参数集的类型来分类。
下面描述了根据非VCL NAL单元类型中所包括的参数集的类型指定的NAL单元类型的示例。可以根据参数集的类型指定NAL单元类型。例如，NAL单元类型可以被指定为APS(自适应参数集)NAL单元(包括APS的NAL单元的类型)、DPS(解码参数集)NAL单元(包括DPS的NAL单元的类型)、VPS(视频参数集)NAL单元(包括VPS的NAL单元的类型)、SPS(序列参数集)NAL单元(包括SPS的NAL单元的类型)以及PPS(图片参数集)NAL单元(包括PPS的NAL单元的类型)中的一种。
上述NAL单元类型可以具有针对NAL单元类型的语法信息，并且该语法信息可以被存储在NAL单元头中并发信号通知。例如，语法信息可以是nal_unit_type，并且NAL单元类型可以被指定为nal_unit_type值。
此外，如上所述，一个图片可以具有多个切片，并且一个切片可以包括切片头和切片数据。在这种情况下，除了多个切片(切片头和切片数据的集合)之外，还可以在一个图片中添加一个图片头。图片头(图片头语法)可以包括可以共同应用于图片的信息/参数。切片头(切片头语法)可以包括可以共同应用于切片的信息/参数。APS(APS语法)或PPS(PPS语法)可以包括可以共同应用于一个或更多个切片或图片的信息/参数。SPS(SPS语法)可以包括可以共同应用于一个或更多个序列的信息/参数。VPS(VPS语法)可以包括可以共同应用于多个层的信息/参数。DPS(DPS语法)可以包括可以共同应用于整个视频的信息/参数。DPS可以包括与CVS(编码视频序列)的级联相关的信息/参数。在本公开中，高级语法(HLS)可以包括APS语法、PPS语法、SPS语法、VPS语法、DPS语法、图片头语法或切片头语法中的至少一个。
在本公开中，从编码设备编码到解码设备并以比特流格式发信号通知的图像/视频信息可以包括切片头中所包括的信息、图片头中所包括的信息、APS中所包括的信息、PPS中所包括的信息、SPS中所包括的信息、VPS中所包括的信息、和/或DPS中所包括的信息以及与图片中的分割相关的信息、帧内/帧间预测信息、残差信息、环路滤波信息等。另外，图像/视频信息还可以包括NAL单元头的信息。
图9是示出分割图片的示例的示图。
图片可以被分割为编码树单元(CTU)，并且CTU可以对应于编码树块(CTB)。CTU可以包括亮度样本的编码树块和色度样本的对应两个编码树块。此外，用于编码和预测的CTU的最大可用大小可以不同于用于变换的CTU的最大可用大小。
图块可以对应于覆盖矩形区域的一系列CTU，并且一个图片可以被分割为一个或更多个图块行和一个或更多个图块列。
此外，切片可以包括整数个完好图块或整数个连续完好CTU列。在这种情况下，可以支持两种类型的切片模式，包括光栅扫描切片模式和矩形切片模式。
在光栅扫描切片模式下，切片可以在图片的图块光栅扫描中包括一系列完好图块。在矩形切片模式下，切片可以包括一起形成图片的矩形区域的多个完好图块。另选地，在矩形切片模式下，切片可以包括一起形成图片的矩形区域的图块中的多个连续CTU列。矩形切片中的图块可以在对应于相应切片的矩形区域中以图块光栅扫描顺序被扫描。
此外，子图片可以包括覆盖图片的矩形区域的一个或更多个切片。
图9的(a)是示出将图片分割为光栅扫描切片的示例的示图。例如，可以将图片分割为12个图块和3个光栅扫描切片。
此外，图9的(b)是示出将图片分割为矩形切片的示例的示图。例如，可以将图片分割为24个图块(6个图块行和4个图块列)和9个矩形切片。
此外，图9的(c)是示出将图片分割为图块和矩形切片的示例的示图。例如，可以将图片分割为24个图块(2个图块行和2个图块列)和4个矩形切片。
图10是示出根据实施方式的图片编码过程的流程图。
在一个实施方式中，可以由编码设备的图像分割器210执行图片分割(步骤S1000)，并且可以由编码设备的熵编码器240执行图片编码(步骤S1010)。
根据实施方式的编码设备可推导当前图片中包括的切片和/或图块(步骤S1000)。例如，编码设备可执行图片分割以对输入的当前图片进行编码。例如，编码设备可推导当前图片中包括的切片和/或图块。编码设备可通过考虑当前图片的图像性质和编码效率来以各种格式分割图片，并生成表示具有最佳编码效率的分割格式的信息，然后可将该信息发信号通知给解码设备。
根据实施方式的编码设备可基于推导出的切片和/或图块对当前图片执行编码(步骤S1010)。例如，编码设备可对包括切片和/或图块的信息的视频/图像信息进行编码，并以比特流格式输出该信息。输出的比特流可以通过数字存储介质或网络被转发到解码设备。
图11是示出根据实施方式的图片解码过程的流程图。
在一个实施方式中，从比特流获得视频/图像信息的步骤(步骤S710)和推导当前图片中的切片和/或图块的步骤(步骤S720)可由解码设备的熵解码器310执行，并且基于切片和/或图块重构当前图片的步骤可由解码设备的加法器340执行。
根据实施方式的解码设备可从接收的比特流获得视频/图像信息(步骤S1110)。视频/图像信息可以包括HLS，并且HLS可以包括切片的信息或图块的信息。切片的信息可包括用于指定当前图片中的一个或更多个切片的信息，并且图块的信息可包括用于指定当前图片中的一个或更多个图块的信息。可通过各种参数集、图片头和/或切片头来获得切片的信息或图块的信息。
此外，当前图片可包括包含一个或更多个切片的图块或包含一个或更多个图块的切片。
根据实施方式的解码设备可基于包括切片和/或图块的信息的视频/图像信息来推导当前图片中的切片和/或图块(步骤S1120)。
根据实施方式的解码设备可基于切片和/或图块来重构(解码)当前图片(步骤S1130)。
图12是示出根据实施方式的编码设备的配置的框图，并且图13是示出根据实施方式的解码设备的配置的框图。
图12示出了编码设备的框图的示例。图12所示的编码设备1200包括分割器1210和熵编码器1220。分割器1210可以执行与图2所示的编码设备的图像分割器210相同和/或相似的操作，并且熵编码器1220可以执行与图2所示的编码设备的熵编码器240相同和/或相似的操作。例如，分割器1210可推导包括在当前图片中的至少一个切片和/或至少一个图块。例如，编码设备可执行用于输入的当前图片的编码的图片分割。输入的视频可以在分割器1210中被分割并且可以在熵编码器1220中被编码。在编码之后，可从编码设备1200输出编码的视频。
图13示出了解码设备的框图的示例。图13所示的解码设备1300包括熵解码器1310和重构处理器1320。熵解码器1310可以执行与图3所示的编码设备的熵解码器310相同和/或相似的操作。重构处理器1320可以包括除了上述图3所示的熵解码器310之外的至少一个部件。熵解码器1310可对从编码设备800接收的输入进行解码并推导图块的信息。可基于解码的信息确定处理单元，且重构处理器13可基于处理单元执行解码并且可生成重构样本。
此外，如上所述，图片可以被分割为子图片、图块和切片。子图片的信息可以通过SPS发信号通知，并且图块和矩形切片的信息可以通过PPS发信号通知。另外，光栅扫描切片的信息可以通过切片头发信号通知。
例如，包含子图片的信息的SPS语法可以如下表地表示。
[表1]
Figure BDA0003755123600000221
例如，包括图块和矩形切片的信息的PPS语法可以如下表地表示。
[表2]
Figure BDA0003755123600000231
另外，例如，包括光栅扫描切片的信息的切片头语法可以如下表地表示。
[表3]
Figure BDA0003755123600000232
此外，当前图片中的切片的信息和图块的信息可以包括与当前图片中的每个子图片是否包括单个切片相关的标志。该标志可以被称为single_slice_per_subpic_flag或pps_single_slice_per_subpic_flag，但可以不限于此。此外，子图片的信息可以包括与子图片信息的存在相关的标志，并且该标志可以被称为subpics_present_flag或sps_subpic_info_present_flag，但可以不限于此。例如，子图片的信息可以被包括在参数集中。例如，子图片的信息可以被包括在SPS中。
常规地，在与子图片信息的存在相关的标志的值为零的情况下，限制标志的值，使得与子图片是否仅包括一个切片相关的标志的值变为零。即，在与子图片信息的存在相关的标志的值为零的情况下，确定子图片不可用，并且与子图片是否仅包括一个切片相关的标志的值被限制为零。然而，该条件非常严格。例如，即使在不存在子图片信息的情况下，当前图片也可以被分割为两个或更多个图块，并且所有图块都可以被包括在单个切片中。在这种情况下，当前图片仅包括一个切片。
因此，本公开的实施方式提出了消除在与子图片信息的存在相关的标志的值为零的情况下与子图片是否仅包括一个切片相关的标志的值变为零的限制的方法。在这种情况下，与子图片是否仅包括一个切片相关的标志可以指示即使在不存在子图片信息的情况下当前图片也仅包括一个切片的情况。
例如，根据实施方式，即使在编码层视频序列(CLVS)不存在子图片信息的情况下，也可以存在与子图片是否仅包括一个切片相关的标志。即，即使在CLVS不存在子图片信息的情况下，与子图片是否仅包括一个切片相关的标志也可以具有值零或1。
例如，在与子图片信息的存在相关的标志的值为零并且与子图片是否仅包括一个切片相关的标志的值为1的情况下，当前图片可以仅包括一个切片。即，在不存在发信号通知的子图片并且与子图片是否仅包括一个切片相关的标志的值为1的情况下，图片中切片的数目可以被推断为1。
另外，在与子图片信息的存在相关的标志的值为零的情况下，当前图片中子图片的数目可以为1。例如，在与子图片信息的存在相关的标志的值为零的情况下，参照图像信息的SPS的所有图片中的每一个中存在的子图片的数目可以为1。
此外，与当前图片中所包括的切片的数目相关的标志可以被包括在图像信息的PPS中。与当前图片中所包括的切片的数目相关的标志可以被称为num_slices_in_pic_minus1或pps_num_slices_in_pic_minus1，但可以不限于此。此外，与当前图片中所包括的子图片的数目相关的标志可以被包括在图像信息的SPS中。与当前图片中所包括的子图片的数目相关的标志可以被称为sps_num_subpics_minus1，但可以不限于此。
在不存在子图片信息并且与子图片是否仅包括一个切片相关的标志的值为1的情况下，与当前图片中所包括的切片的数目相关的标志可以被推断为具有值零。另外，在不存在子图片信息并且与子图片是否仅包括一个切片相关的标志的值为1的情况下，与当前图片中所包括的切片的数目相关的标志和与当前图片中所包括的子图片的数目相关的标志可以被推断为具有相同的值。
另外，在与子图片是否仅包括一个切片相关的标志的值为1的情况下，图片中的所有CTU都可以属于图片中所包括的仅一个切片。
包括与子图片是否仅包括一个切片相关的标志和与当前图片中所包括的切片的数目相关的标志的语法元素的语义可以如下表地表示。
[表4]
Figure BDA0003755123600000251
参照上表，在与子图片是否仅包括一个切片相关的标志对应的single_slice_per_subpic_flag的值为1的情况下，每个子图片可以包括单个矩形切片。另外，在single_slice_per_subpic_flag的值为零的情况下，每个子图片可以包括一个或更多个矩形切片。在single_slice_per_subpic_flag的值为1的情况下，对应于与当前图片中所包括的切片的数目相关的标志的num_slices_in_pic_minus1的值可以被推断为具有对应于与当前图片中所包括的子图片的数目相关的标志的sps_num_subpics_minus1的值。
此外，在single_slice_per_subpic_flag的值为1并且对应于与子图片信息的存在相关的标志的subpics_present_flag的值为零的情况下，参照PPS的图片可以每个图片具有单个切片。
此外，可以根据下表来确定作为对图片中的图块进行解码的顺序的扫描处理。
[表5]
Figure BDA0003755123600000261
Figure BDA0003755123600000271
图14是示出根据实施方式的编码设备的操作的流程图，并且图15是示出根据实施方式的编码设备的配置的框图。
图14所示的方法可由图2或图15所示的编码设备执行。图14中所示的步骤S1410和S1420可以由图2中所示的图像分割器210执行，并且步骤S1430和S1440可以由图2中所示的残差处理器230执行。此外，图14所示的步骤S1450可以由图2所示的熵编码器240执行。此外，尽管图14中未示出，但是预测样本或预测相关信息可以由图15所示的编码设备的预测器220推导。此外，根据步骤S1410至S1450的操作基于参考图1至图13描述的说明书的一部分。因此，省略或简要描述与参照图1至图13描述的说明书重叠的详细描述。
参照图14，根据实施方式的编码设备可将当前图片分割为至少一个切片(步骤S1410)。例如，编码设备可将当前图片分割为至少一个子图片、至少一个切片和/或至少一个图块。例如，编码设备可执行图片分割以对输入的当前图片进行编码。
根据实施方式的编码设备可基于至少一个切片来生成当前图片的分割信息(步骤S1420)。例如，编码设备的图像分割器210可基于至少一个子图片、至少一个切片和/或至少一个图块来生成当前图片的分割信息。
根据实施方式的编码设备可推导包括在至少一个切片中的当前块的残差样本(步骤S1430)。例如，编码设备的残差处理器230可推导包括在至少一个切片中的一个切片中的当前块的残差样本。例如，编码设备可基于预测样本和原始样本推导残差样本。例如，编码设备可生成表示残差样本的量化后的变换系数的残差信息。可以使用诸如指数哥伦布、CAVLC、CABAC等各种编码方法来生成残差信息。
根据实施方式的编码设备可基于残差样本生成当前块的残差信息(步骤S1440)。
根据实施方式的编码设备可对包括分割信息和残差信息的图像信息进行编码(步骤S1450)。例如，图像信息可包括当前图片的分割信息或当前块的残差信息中的至少一个。另选地，图像信息可包括从编码设备的预测器220中的预测样本生成的预测信息。预测信息可包括用于在当前图片中执行的帧间预测模式或帧内预测模式的信息。
例如，图像信息可以包括与子图片信息的存在有关的第一标志和与子图片是否只包括一个切片有关的第二标志。例如，基于第一标志和第二标志，当前图片中包括的切片的数目可以被推导为等于1。
例如，在与子图片信息的存在相关的第一标志的值为0并且第二标志的值为1的情况下，当前图片中包括的切片的数目可以被推导为等于1。
例如，与子图片信息的存在相关的第一标志可以被包括在图像信息的SPS(序列参数集)中。
例如，与子图片是否仅包括一个切片相关的第二标志可以被包括在图像信息的PPS(图片参数集)中。
例如，图像信息可以包括与当前图片中所包括的切片的数目相关的第三标志，并且第三标志可以被包括在图像信息的PPS中。
另外，例如，图像信息可以包括与当前图片中所包括的子图片的数目相关的第四标志，并且第四标志可以被包括在图像信息的SPS中。
另外，例如，在第一标志的值为零的情况下，参照图像信息的SPS的所有图片中的每一个中存在的子图片的数目可以被推导为等于1。
此外，图像信息可以包括当前图片的预测信息。预测信息可以包括在当前图片中执行的帧间预测模式或帧内预测模式的信息。编码设备可以生成当前图片的预测信息并对其进行编码。
此外，可以通过网络或(数字)存储介质将比特流发送到解码设备。这里，网络可以包括广播网络和/或通信网络。数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等这样的各种存储介质。
图16是示出根据实施方式的解码设备的操作的流程图，图17是示出根据实施方式的解码设备的配置的框图。
图16所示的方法可由图3或图17所示的解码设备执行。步骤S1610和S1620可以由图3所示的熵解码器310执行。此外，步骤S1630可以由图3所示的熵加法器340执行。此外，根据步骤S1610至S1630的操作基于参考图1至图13描述的说明书的一部分。因此，省略或简要描述与参照图1至图13描述的说明书重叠的详细描述。
根据实施方式的解码设备可从比特流获得包括当前图片的分割信息和残差信息的图像信息(步骤S1610)。例如，分割信息可包括当前图片的子图片信息、切片信息和/或图块信息。子图片信息可包括当前图片中包括的至少一个子图片的信息，并且切片信息可包括当前图片中包括的至少一个切片。另外，图块信息可包括当前图片中包括的至少一个图块。此外，图像信息可包括残差信息，并且残差信息可表示残差样本的量化后的变换系数。另外，图像信息可包括预测信息，并且预测信息可包括用于在当前图片中执行的帧间预测模式或帧内预测模式的信息。
根据实施方式的解码设备可推导包括至少一个切片的当前图片的分割结构(步骤S1620)。例如，解码设备的熵解码器310可基于分割信息中包括的子图片信息来推导当前图片中包括的至少一个子图片。例如，解码设备的熵解码器310可基于分割信息中包括的切片信息来推导当前图片中包括的至少一个切片。例如，解码设备的熵解码器310可基于当前图片的子图片信息和切片信息来推导当前图片的分割结构。
根据实施方式的解码设备可基于分割结构对当前图片进行解码(步骤S1630)。例如，解码设备的熵解码器310可基于至少一个切片来生成重构块或重构图片。例如，解码设备的残差处理器320可基于至少一个切片中包括的当前块的残差信息来推导当前块的残差样本。另选地，解码设备的预测器330可通过基于通过比特流接收的预测信息对当前图片执行帧间预测模式或帧内预测模式来推导预测样本。解码设备的加法器340可通过将预测样本和残差样本相加来生成重构块。另选地，解码设备的加法器340可基于残差样本重构当前图片。
例如，图像信息可以包括与子图片信息的存在有关的第一标志和与子图片是否只包括一个切片有关的第二标志。例如，第一标志的值可以对应于零，而第二标志的值可以对应于1。
例如，在第一标志的值为零并且第二标志的值为1的情况下，当前图片中包括的切片的数目可以被推导为等于1。
例如，与子图片信息的存在相关的第一标志可以被包括在图像信息的SPS(序列参数集)中。
例如，与子图片是否仅包括一个切片相关的第二标志可以被包括在图像信息的PPS(图片参数集)中。
例如，图像信息可以包括与当前图片中所包括的切片的数目相关的第三标志，并且第三标志可以被包括在图像信息的PPS中。
另外，例如，图像信息可以包括与当前图片中所包括的子图片的数目相关的第四标志，并且与当前图片中所包括的子图片的数目相关的标志可以被包括在图像信息的SPS中。
另外，例如，在第一标志的值为零的情况下，参照图像信息的SPS的所有图片中的每一个中存在的子图片的数目可以被推导为等于1。
尽管已经基于在上述实施方式中顺序列出步骤或块的流程图描述了方法，但本文献的步骤不限于特定的顺序，并且特定步骤可以相对于上述步骤在不同的步骤中或以不同的顺序或者同时地执行。另外，本领域的普通技术人员将理解，流程图中的步骤不是排他性的，并且在没有对本公开的范围施加影响的情况下，可以在其中包括另一步骤，或者可以删除流程图中的一个或更多个步骤。
根据本公开的以上提到的方法可以是软件的形式，并且根据本公开的编码设备和/或解码设备可以被包括在用于执行图像处理的装置(例如，TV、计算机、智能电话、机顶盒、显示装置等)中。
当用软件实现本公开的实施方式时，可以用执行以上提到的功能的模块(处理或功能)实现以上提到的方法。模块可以被存储在存储器中并且由处理器执行。存储器可以安装在处理器的内部或外部，并可以经由各种公知装置连接到处理器。处理器可以包括专用集成电路(ASIC)、其他芯片集、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器、存储卡、存储介质和/或其他存储装置。换句话说，根据本公开的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如，相应图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。在这种情况下，关于实现方式的信息(例如，关于指令的信息)或算法可以被存储在数字存储介质中。
另外，应用本文献的实施方式的解码设备和编码设备可以被包括在多媒体广播收发器、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(VoD)服务提供器、顶置(OTT)视频装置、互联网流传输服务提供器、3D视频装置、虚拟现实(VR)装置、增强现实(AR)装置、图像电话视频装置、车载终端(例如，车(包括自主车辆)载终端、飞机终端或轮船终端)和医疗视频装置中；并且可以被用于处理图像信号或数据。例如，OTT视频装置可以包括游戏控制台、Blueray(蓝光)播放器、联网TV、家庭影院系统、智能手机、平板PC和数字视频记录仪(DVR)。
另外，应用本文献的处理方法可以以由计算机执行的程序的形式产生，并可以被存储在计算机可读记录介质中。根据本文献的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括存储有计算机可读数据的所有类型的存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质还包括以载波(例如，互联网上的传输)的形式实施的媒体。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线或无线通信网络传输。
另外，本文献的实施方式可以使用程序代码被实施为计算机程序产品，并且程序代码可以根据本文献的实施方式由计算机执行。程序代码可以被存储在计算机可读载体上。
图18示出了可以应用本文献中公开的实施方式的内容流传输系统的示例。
参照图18，应用本文献的实施方式的内容流传输系统可以基本上包括编码服务器、流传输服务器、网络服务器、媒体存储器、用户装置和多媒体输入装置。
编码服务器用来将从诸如智能电话、照相机、摄像机等这样的多媒体输入装置输入的内容压缩为数字数据，生成比特流，并且将其传送至流传输服务器。作为另一示例，在诸如智能电话、照相机、摄像机等这样的多媒体输入装置直接生成码流的情况下，可省略编码服务器。
可通过本文献的实施方式应用于的编码方法或比特流生成方法来生成比特流。并且流传输服务器可在发送或接收比特流的过程中暂时存储比特流。
流传输服务器基于用户的请求通过网络服务器向用户设备传送多媒体数据，该网络服务器充当向用户通知存在什么服务的工具。当用户请求用户想要的服务时，网络服务器将请求转移至流传输服务器，并且流传输服务器将多媒体数据传送至用户。在这方面，内容流系统可包括单独的控制服务器，并且在这种情况下，控制服务器用来控制内容流系统中的各个设备之间的命令/响应。
流传输服务器可从媒体存储器和/或编码服务器接收内容。例如，在从编码服务器接收到内容的情况下，可实时地接收内容。在这种情况下，流传输服务器可将比特流存储预定时间段以流畅地提供流传输服务。
例如，用户装置可包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、板式PC、平板PC、超级本、可穿戴装置(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(HMD))、数字TV、台式计算机、数字标牌等。
可将内容流系统中的每个服务器作为分布式服务器操作，并且在这种情况下，可以分布式方式处理由每个服务器接收的数据。
本公开的权利要求可以以各种方式组合。例如，本公开的方法权利要求中的技术特征可以组合以在设备中实施或执行，并且设备权利要求中的技术特征可以组合以在方法中实施或执行。此外，方法权利要求和设备权利要求中的技术特征可以组合以在设备中实施或执行。此外，方法权利要求和设备权利要求中的技术特征可以组合以在方法中实施或执行。

Claims (15)

1.一种由解码设备执行的图像解码方法，所述图像解码方法包括以下步骤：
从比特流获得包括当前图片的分割信息和残差信息的图像信息；
基于所述当前图片的所述分割信息推导包括至少一个切片的所述当前图片的分割结构；以及
基于所述分割结构对所述当前图片进行解码，
其中，对所述当前图片进行解码包括基于所述至少一个切片中包括的当前块的所述残差信息来推导所述当前块的残差样本；以及
基于所述残差样本重构所述当前图片，
其中，所述分割信息包括与子图片信息的存在相关的第一标志和与所述当前图片中的每个子图片是否仅包括一个切片相关的第二标志，并且
其中，所述第一标志的值等于0，并且所述第二标志的值等于1。
2.根据权利要求1所述的图像解码方法，其中，当所述第一标志的值是零并且所述第二标志的值是1时，包括在所述当前图片中的切片的数目被确定为1。
3.根据权利要求1所述的图像解码方法，其中，所述第一标志被包括在所述图像信息的序列参数集SPS中。
4.根据权利要求1所述的图像解码方法，其中，所述第二标志被包括在所述图像信息的图片参数集PPS中。
5.根据权利要求1所述的图像解码方法，其中，所述图像信息还包括与包括在所述当前图片中的切片的数目相关的第三标志，并且
其中，所述第三标志被包括在所述图像信息的PPS中。
6.根据权利要求1所述的图像解码方法，其中，所述图像信息还包括与包括在所述当前图片中的子图片的数目相关的第四标志，并且
其中，所述第四标志被包括在所述图像信息的SPS中。
7.根据权利要求1所述的图像解码方法，其中，当所述第一标志的值为零时，参考所述图像信息的SPS的所有图片的每一个中存在的子图片的数目被推导为等于1。
8.一种由编码设备执行的图像编码方法，所述图像编码方法包括以下步骤：
将当前图片分割成至少一个切片；
基于所述至少一个切片生成所述当前图片的分割信息；
推导所述至少一个切片中包括的当前块的残差样本；
基于所述残差样本生成所述当前块的残差信息；以及
对包括所述分割信息和所述残差信息的所述当前图片的图像信息进行编码，
其中，所述分割信息包括与子图片信息的存在相关的第一标志和与所述当前图片中的每个子图片是否仅包括一个切片相关的第二标志，并且
其中，所述第一标志的值等于0，并且所述第二标志的值等于1。
9.根据权利要求8所述的图像编码方法，其中，当所述第一标志的值是零并且所述第二标志的值是1时，包括在所述当前图片中的切片的数目被推导为等于1。
10.根据权利要求8所述的图像编码方法，其中，所述第一标志被包括在所述图像信息的序列参数集SPS中。
11.根据权利要求8所述的图像编码方法，其中，所述第二标志被包括在所述图像信息的图片参数集PPS中。
12.根据权利要求8所述的图像编码方法，其中，所述图像信息还包括与包括在所述当前图片中的切片的数目相关的第三标志，并且
其中，所述第三标志被包括在所述图像信息的PPS中。
13.根据权利要求8所述的图像编码方法，其中，所述图像信息还包括与包括在所述当前图片中的子图片的数目相关的第四标志，并且
其中，所述第四标志被包括在所述图像信息的SPS中。
14.根据权利要求8所述的图像编码方法，其中，当所述第一标志的值为零时，参考所述图像信息的SPS的所有图片的每一个中存在的子图片的数目被推导为等于1。
15.一种存储使解码设备执行图像解码方法的图像信息的非暂态计算机可读存储介质，所述图像解码方法包括以下操作：
从比特流获得包括当前图片的分割信息和残差信息的图像信息；
基于所述当前图片的所述分割信息推导包括至少一个切片的当前图片的分割结构；以及
基于所述分割结构对所述当前图片进行解码，
其中，对所述当前图片进行解码包括基于所述至少一个切片中包括的当前块的所述残差信息来推导所述当前块的残差样本；以及
基于所述残差样本重构所述当前图片，
其中，所述分割信息包括与子图片信息的存在相关的第一标志和与所述当前图片中的每个子图片是否仅包括一个切片相关的第二标志，并且
其中，所述第一标志的值等于0，并且所述第二标志的值等于1。
CN202080093823.7A 2019-11-27 2020-11-27 图像解码方法及用于其的装置 Pending CN114982231A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962941669P 2019-11-27 2019-11-27
US62/941,669 2019-11-27
PCT/KR2020/017035 WO2021107663A1 (ko) 2019-11-27 2020-11-27 영상 디코딩 방법 및 그 장치

Publications (1)

Publication Number Publication Date
CN114982231A true CN114982231A (zh) 2022-08-30

Family

ID=76129557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080093823.7A Pending CN114982231A (zh) 2019-11-27 2020-11-27 图像解码方法及用于其的装置

Country Status (4)

Country Link
US (1) US20230328266A1 (zh)
KR (1) KR20220085819A (zh)
CN (1) CN114982231A (zh)
WO (1) WO2021107663A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013109946A1 (en) * 2012-01-19 2013-07-25 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
WO2016178485A1 (ko) * 2015-05-05 2016-11-10 엘지전자 주식회사 영상 코딩 시스템에서 코딩 유닛 처리 방법 및 장치
CN107637081A (zh) * 2015-06-16 2018-01-26 夏普株式会社 图像解码装置以及图像编码装置
US20180124398A1 (en) * 2015-04-27 2018-05-03 Lg Electronics Inc. Method for processing video signal and device for same
CN109076216A (zh) * 2016-03-30 2018-12-21 韩国电子通信研究院 使用画面划分信息对视频进行编码和解码的方法和设备
WO2019009590A1 (ko) * 2017-07-03 2019-01-10 김기백 추가 영역을 포함하는 분할 단위를 이용한 영상 복호화 방법 및 장치
WO2019203533A1 (ko) * 2018-04-16 2019-10-24 엘지전자 주식회사 다중 움직임 모델을 고려한 인터 예측 방법 및 그 장치

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
CN103096047B (zh) * 2011-11-01 2018-06-19 中兴通讯股份有限公司 一种分片层参数集解码及编码方法和装置
RU2635251C2 (ru) * 2012-06-29 2017-11-09 ДжиИ Видео Компрешн, ЭлЭлСи Концепция потока видеоданных
SG11201502194QA (en) * 2012-09-21 2015-04-29 Nokia Technologies Oy Method and apparatus for video coding
EP3157258B1 (en) * 2014-06-11 2020-08-05 LG Electronics Inc. Method and device for encoding and decoding video signal by using embedded block partitioning
EP3282700B1 (en) * 2015-04-08 2021-07-07 LG Electronics Inc. Method decoding video signals
CN107615763B (zh) * 2015-05-28 2020-09-11 寰发股份有限公司 一种管理解码图像缓存器的方法及装置
US10602141B2 (en) * 2015-10-16 2020-03-24 Lg Electronics Inc. Filtering method and apparatus for improving prediction in image coding system
WO2017188566A1 (ko) * 2016-04-25 2017-11-02 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
WO2017195917A1 (ko) * 2016-05-12 2017-11-16 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
US11381829B2 (en) * 2016-08-19 2022-07-05 Lg Electronics Inc. Image processing method and apparatus therefor
WO2018056602A1 (ko) * 2016-09-22 2018-03-29 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
WO2018070713A1 (ko) * 2016-10-11 2018-04-19 엘지전자(주) 크로마 성분에 대한 인트라 예측 모드를 유도하는 방법 및 장치
WO2018128247A1 (ko) * 2017-01-03 2018-07-12 엘지전자 주식회사 360도 비디오에 대한 영상 코딩 시스템에서 인트라 예측 방법 및 장치
US20190373245A1 (en) * 2017-03-29 2019-12-05 Lg Electronics Inc. 360 video transmission method, 360 video reception method, 360 video transmission device, and 360 video reception device
US10951908B2 (en) * 2017-05-24 2021-03-16 Lg Electronics Inc. Method and device for decoding image according to intra prediction in image coding system
US11297349B2 (en) * 2017-05-31 2022-04-05 Sharp Kabushiki Kaisha Video decoding device and video encoding device
WO2019009600A1 (ko) * 2017-07-04 2019-01-10 엘지전자 주식회사 360도 비디오에 대한 영상 코딩 시스템에서 프로젝션 타입 기반 양자화 파라미터를 사용한 영상 디코딩 방법 및 장치
KR20200014913A (ko) * 2017-07-04 2020-02-11 엘지전자 주식회사 인터 예측 기반의 영상 처리 방법 및 이를 위한 장치
US20200145649A1 (en) * 2017-07-10 2020-05-07 Lg Electronics Inc. Method and apparatus for reducing noise in frequency-domain in image coding system
EP3664454A1 (en) * 2017-08-03 2020-06-10 LG Electronics Inc. -1- Method and device for inter-prediction mode-based image processing
CN116489353A (zh) * 2017-09-28 2023-07-25 Lg 电子株式会社 图像编译系统中根据块分离结构的图像解码方法和设备
WO2019074291A1 (ko) * 2017-10-11 2019-04-18 엘지전자 주식회사 분리 변환 기반 영상 코딩 방법 및 그 장치
EP3758374A4 (en) * 2018-02-22 2021-09-01 LG Electronics Inc. IMAGE DECODING METHOD AND DEVICE ACCORDING TO A BLOCK DIVISION STRUCTURE IN AN IMAGE ENCODING SYSTEM
CN112805998A (zh) * 2018-10-01 2021-05-14 三星电子株式会社 传输视频内容的方法和设备以及接收视频内容的方法和设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013109946A1 (en) * 2012-01-19 2013-07-25 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
US20180124398A1 (en) * 2015-04-27 2018-05-03 Lg Electronics Inc. Method for processing video signal and device for same
WO2016178485A1 (ko) * 2015-05-05 2016-11-10 엘지전자 주식회사 영상 코딩 시스템에서 코딩 유닛 처리 방법 및 장치
CN107637081A (zh) * 2015-06-16 2018-01-26 夏普株式会社 图像解码装置以及图像编码装置
CN109076216A (zh) * 2016-03-30 2018-12-21 韩国电子通信研究院 使用画面划分信息对视频进行编码和解码的方法和设备
WO2019009590A1 (ko) * 2017-07-03 2019-01-10 김기백 추가 영역을 포함하는 분할 단위를 이용한 영상 복호화 방법 및 장치
WO2019203533A1 (ko) * 2018-04-16 2019-10-24 엘지전자 주식회사 다중 움직임 모델을 고려한 인터 예측 방법 및 그 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS: "Versatile Video Coding (Draft 7)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 16TH MEETING: GENEVA, CH, 1–11 OCT. 2019, vol. 2001, 14 November 2019 (2019-11-14), pages 2 *
SACHIN DESHPANDE: "On Subpicture Information Signalling", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 16TH MEETING: GENEVA, CH, 1–11 OCTOBER 2019, vol. 0579, 27 September 2019 (2019-09-27) *

Also Published As

Publication number Publication date
WO2021107663A1 (ko) 2021-06-03
KR20220085819A (ko) 2022-06-22
US20230328266A1 (en) 2023-10-12

Similar Documents

Publication Publication Date Title
US20230171399A1 (en) Intra prediction-based image coding method and apparatus using mpm list
CN114600466A (zh) 基于交叉分量滤波的图像编码设备和方法
US11849151B2 (en) Syntax design method and apparatus for performing coding by using syntax
CN113678456A (zh) 用信号通知关于色度格式的信息的方法和装置
KR20220044894A (ko) 영상 코딩 장치 및 방법
CN113767625A (zh) 基于mpm列表的帧内预测方法及其设备
CN113261294A (zh) 基于sbtmvp的帧间预测方法和设备
CN114556933A (zh) 基于调色板转义编码的图像或视频编码
CN114208171A (zh) 用于推导用于生成预测样本的权重索引信息的图像解码方法和装置
CN114145022A (zh) 推导双向预测的权重索引信息的图像解码方法及其装置
CN114631318A (zh) 应用双向预测时推导用于加权平均的权重索引信息的图像解码方法和设备
CN114270835A (zh) 基于默认合并模式推导预测样本的图像解码方法及其装置
CN113316938A (zh) 使用去块滤波的图像编译方法和装置
CN115053522A (zh) 采用自适应环路滤波器的视频或图像编码
CN114762351A (zh) 图像/视频编译方法和装置
CN114303375A (zh) 使用双向预测的视频解码方法和用于该方法的装置
CN115088262A (zh) 用于发信号通知图像信息的方法和装置
CN115104313A (zh) 发信号通知在图片或切片级适用的视频信息的方法和装置
CN114073078A (zh) 视频/图像编译系统中的语法信令的方法和装置
CN114424548A (zh) 基于调色板编码的图像或视频编码
CN114788291A (zh) 用于处理图像信息以进行图像/视频编译的方法和装置
CN114375573A (zh) 使用合并候选推导预测样本的图像解码方法及其装置
CN114342405A (zh) 图像解码方法和用于该图像解码方法的装置
CN114270833A (zh) 用于在视频/图像编译系统中移除重叠信令的方法和装置
CN114342387A (zh) 基于运动预测的图像编译方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination