CN118158444A

CN118158444A - 用于图像/视频编译的高级别语法信令方法和装置

Info

Publication number: CN118158444A
Application number: CN202410339980.1A
Authority: CN
Inventors: 塞特拉·帕卢瑞; 亨得利·亨得利; 金昇焕; 赵杰
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2019-11-05
Filing date: 2020-11-05
Publication date: 2024-06-07
Also published as: AU2020380731B2; US20240267549A1; AU2020380731A1; US20220329840A1; WO2021091255A1; CN114762349A; CN118158443A; CN114762349B; CN118158445A; KR20220073834A; AU2024203823A1; US11936894B2

Abstract

本公开涉及用于图像/视频编译的高级别语法信令方法和装置。一种视频解码方法能够包括以下步骤：从比特流获取图像信息，该图像信息包括与当前图片相关的图片报头，并且该当前图片包括多个切片；从图片报头中解析指示帧间预测操作所必需的信息是否在图片报头中的第一标志和/或指示帧内预测操作所必需的信息是否在图片报头中的第二标志；基于第一标志和/或第二标志从图片报头中解析帧间预测操作所必需的信息和/或帧内预测操作所必需的信息；以及基于帧间预测操作所必需的信息和/或帧内预测操作所必需的信息来生成预测样本。

Description

用于图像/视频编译的高级别语法信令方法和装置

本申请是2022年6月7日提交进入中国专利局的国际申请日为2020年11月5日的申请号为202080084662.5(PCT/KR2020/015403)的，发明名称为“用于图像/视频编译的高级别语法信令方法和装置”的专利申请的分案申请。

技术领域

本技术涉及一种用于在对图像/视频进行编译时用信号通知高级别语法的方法和设备。

背景技术

最近，在各种领域中对诸如4K或8K或以上超高清晰度(UHD)图像/视频的高分辨率、高质量图像/视频的需求在增加。随着图像/视频分辨率或质量变得更高，与对于常规图像/视频数据相比，发送相对更多量的信息或比特。因此，如果图像/视频数据经由诸如现有有线/无线宽带线路的介质来发送或者被存储在传统存储介质中，则容易增加用于传输和存储的成本。

此外，对虚拟现实(VR)和人工现实(AR)内容以及诸如全息图这样的沉浸式媒体的兴趣和需求日益增长；并且表现出与实际图像/视频不同的图像/视频特性的图像/视频(例如，游戏图像/视频)的广播也日益增长。

因此，需要高度高效的图像/视频压缩技术来有效地压缩并发送、存储或播放如上所述显示出各种特性的高分辨率、高质量图像/视频。

发明内容

技术问题

本文档提供一种用于改进图像/视频编译效率的方法和设备。

本文档还提供一种用于高效地执行图像/视频编译中的帧间预测和/或帧内预测的方法和设备。

本文档还提供一种用于在发送图像/视频信息时高效地用信号通知切片类型相关信息的方法和设备。

本文档还提供一种用于在图像/视频编译中省略不必要的信息的方法和设备。

本文档还提供一种用于在发送图像/视频信息时防止帧间预测和/或帧内预测所不必需的信令的方法和设备。

技术方案

根据本文档的实施例，提供了一种由视频解码设备执行的视频解码方法，该方法包括：从比特流获得图像信息，其中，该图像信息包括与当前图片相关联的图片报头，并且该当前图片包括多个切片；从图片报头中解析指示帧间预测操作所必需的信息是否存在于图片报头中的第一标志或指示帧内预测操作所必需的信息是否存在于图片报头中的第二标志中的至少一个；基于第一标志或第二标志中的至少一个，从图片报头中解析帧间预测操作所必需的信息或帧内预测操作所必需的信息中的至少一个；以及通过基于帧间预测操作所必需的信息和帧内预测操作所必需的信息中的至少一个对当前图片中的当前块执行帧内预测或帧间预测中的至少一种来生成预测样本。

根据本文档的另一实施例，提供了一种由视频编码设备执行的视频编码方法，该方法包括：确定当前图片中的当前块的预测模式，其中，该当前图片包括多个切片；基于预测模式来生成指示帧间预测操作所必需的信息是否存在于与当前图片相关联的图片报头中的第一信息或指示帧内预测操作所必需的信息是否存在于图片报头中的第二信息中的至少一个；生成帧间预测操作所必需的信息或帧间预测操作所必需的信息中的至少一个；以及对包括第一信息、第二信息、帧间预测操作所必需的信息或帧间预测操作所必需的信息中的至少一个的图像信息进行编码，其中，第一信息和第二信息被包括在图像信息的图片报头中。

根据本文档的再一实施例，提供了一种计算机可读数字存储介质，该计算机可读数字存储介质包含使解码设备执行视频解码方法的信息，该解码方法包括：获得图像信息，其中，该图像信息包括与当前图片相关联的图片报头，并且该当前图片包括多个切片；从图片报头中解析指示帧间预测操作所必需的信息是否存在于图片报头中的第一标志或指示帧内预测操作所必需的信息是否存在于图片报头中的第二标志中的至少一个；基于第一标志或第二标志中的至少一个，从图片报头中解析帧间预测操作所必需的信息或帧内预测操作所必需的信息中的至少一个；以及通过基于帧间预测操作所必需的信息和帧内预测操作所必需的信息中的至少一个对当前图片中的当前块执行帧内预测或帧间预测中的至少一种来生成预测样本。

有益效果

根据本文档的实施例，可以改进整体图像/视频压缩效率。

根据本文档的实施例，可以在对图像/视频进行编译时高效地执行帧间预测和/或帧内预测。

根据本文档的实施例，当发送图像/视频信息时，能够高效地用信号通知与切片类型相关的信息。

根据本文档的实施例，可以在对图像/视频进行编译时省略不必要的信息。

根据本文档的实施例，当发送图像/视频信息时，能够防止帧间预测或帧内预测所不必需的语法元素的信令。

附图说明

图1示意性地示出可应用本公开的实施例的视频/图像编译系统的示例。

图2是示意性地图示可应用本公开的实施例的视频/图像编码设备的配置的图。

图3是示意性地图示可应用本公开的实施例的视频/图像解码设备的配置的图。

图4示出对一个语法元素进行编码的示例。

图5表示图片解码过程的示例。

图6表示图片编码过程的示例。

图7表示基于帧间预测的视频/图像编码方法的示例。

图8示意性地表示编码设备中的帧间预测器。

图9表示基于帧间预测的视频/图像解码方法的示例。

图10示意性地表示解码设备中的帧间预测器。

图11和图12示意性地表示根据本文档的实施例的视频/图像编码方法和相关组件的示例。

图13和图14示意性地表示根据本文档的实施例的视频/图像解码方法和相关组件的示例。

图15表示可以应用本文档中公开的实施例的内容流传输系统的示例。

具体实施方式

可以各种形式修改本公开的公开内容，并且将在附图中描述和图示其具体实施例。在本公开中使用的术语仅用于描述具体实施例，而不旨在限制本公开中的所公开的方法。单数的表达包括“至少一个”的表达，只要它被清楚地不同地解读。诸如“包括”和“具有”的术语旨在指示存在文档中使用的特征、数量、步骤、操作、元素、组件或其组合，并且因此应当理解，不排除存在或添加一个或多个不同特征、数量、步骤、操作、元素、组件或其组合的可能性。

在本文档中，术语“/”和“，”应解释为指示“和/或”。例如，表达“A/B”可以意指“A和/或B”。此外，“A、B”可以意指“A和/或B”。此外，“A/B/C”可以意指“A、B和/或C中的至少一个”。此外，“A/B/C”可以意指“A、B和/或C中的至少一个”。

此外，在文档中，术语“或”应解释为指示“和/或”。例如，表达“A或B”可以包括1)仅A、2)仅B和/或3)A和B两者。换句话说，本文档中的术语“或”应解释为指示“附加地或替代地”。

此外，本说明书中使用的括号可以意指“例如”。具体地，在表达“预测(帧内预测)”的情况下，可以指示将“帧内预测”作为“预测”的示例提出。换句话说，本说明书中的术语“预测”不限于“帧内预测”，并且可以指示将“帧内预测”作为“预测”的示例提出。此外，即使在表达“预测(即，帧内预测)”的情况下，也可以指示将“帧内预测”作为“预测”的示例提出。

此外，本文档中描述的附图的每个配置是用于解释作为彼此不同的特征的功能的独立图示，并且不意味着每个配置由相互不同的硬件或不同的软件实现。例如，可将两种或更多种配置组合以形成一种配置，并且还可将一种配置分成多种配置。在不脱离本公开的所公开的方法的主旨的情况下，组合和/或分离配置的实施例包括在本公开的公开内容的范围内。

在本说明书中，在一个附图中单独说明的技术特征可以被单独实现，或者可以被同时实现。

在下文中，将参考附图详细描述本文档的实施例。另外，在所有附图中，相同的附图标记可用于指示相同的元件，并且将省略对相同元件的相同描述。

图1图示可应用本公开的实施例的视频/图像编译系统的示例。

参照图1，视频/图像编译系统可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以通过数字存储介质或网络将编码的视频/图像信息或数据以文件或流的形式发送至接收装置。

源装置可以包括视频源、编码设备和发送器。接收装置可包括接收器、解码设备和渲染器。编码设备可被称为视频/图像编码设备，解码设备可被称为视频/图像解码设备。发送器可被包括在编码设备中。接收器可被包括在解码设备中。渲染器可包括显示器，并且显示器可被配置为单独的装置或外部部件。

视频源可通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可包括视频/图像捕获装置，和/或视频/图像生成装置。例如，视频/图像捕获装置可包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。例如，视频/图像生成装置可包括计算机、平板计算机和智能电话，并且可(以电子方式)生成视频/图像。例如，可通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可以由生成相关数据的处理代替。

编码设备可以对输入视频/图像进行编码。为了压缩和编译效率，编码设备可执行诸如预测、变换和量化的一系列过程。编码的数据(编码的视频/图像信息)可按比特流的形式输出。

发送器可以通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像信息或数据以文件或流的形式发送至接收装置的接收器。数字存储介质可包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。发送器可包括用于通过预定文件格式生成媒体文件的元件，并且可包括用于通过广播/通信网络传输的元件。接收器可接收/提取比特流并且将所接收的比特流发送至解码设备。

解码设备可以通过执行与编码设备的操作对应的诸如解量化、逆变换和预测的一系列过程对视频/图像进行解码。

渲染器可渲染解码的视频/图像。渲染的视频/图像可通过显示器显示。

本文档涉及视频/图像编译。例如，本文档中公开的方法/实施例可以应用于在通用视频编译(VVC)标准中公开的方法。此外，本文档中公开的方法/实施例可以应用于基本视频编译(EVC)标准、AOMedia视频1(AV1)标准、第2代音频视频编译标准(AVS2)或下一代视频/图像编译标准(例如，H.267、H.268等)中公开的方法。

在本文档呈现与视频/图像编译有关的各种实施例，并且除非另外指定，否则也可以彼此组合地执行上述实施例。

在本文档中，视频可以指随着时间的一系列图像。图片通常是指表示特定时间帧处的一个图像的单元，并且切片(slice)/拼块(tile)是指在编译方面构成图片的一部分的单元。切片/拼块可以包括一个或多个编译树单元(CTU)。一个图片可以由一个或多个切片/拼块组成。一个图片可以由一个或多个拼块组组成。一个拼块组可以包括一个或多个拼块。图块(brick)可以表示图片中的拼块内的CTU行的矩形区域。拼块可以被分割成多个图块，每个图块可由拼块内的一个或多个CTU行组成。未被分割成多个图块的拼块也可以被称为图块。图块扫描可以表示分割图片的CTU的特定顺序排序，其中CTU在图块内以CTU光栅扫描连续地排序，拼块内的图块以拼块的图块的光栅扫描连续地排序，并且图片中的拼块以图片的拼块的光栅扫描连续地排序。拼块是图片中的特定拼块列和特定拼块行内的CTU的矩形区域。拼块列是CTU的矩形区域，其具有等于图片的高度的高度和由图片参数集中的语法元素指定的宽度。拼块行是CTU的矩形区域，其具有由图片参数集中的语法元素指定的高度和等于图片的宽度的宽度。拼块扫描是分割图片的CTU的特定顺序排序，其中CTU在拼块中以CTU光栅扫描连续地排序而图片中的拼块以图片的拼块的光栅扫描连续地排序。切片包括可仅包含在单个NAL单元中的图片的整数个图块。切片可以由多个完整图块组成，或者仅由一个拼块的连续完整图块序列组成。在本文档中，可以使用拼块组和切片来代替彼此。例如，在本文档中，拼块组/拼块组报头可以称为切片/切片报头。

像素或像元(pel)可意指构成一个图片(或图像)的最小单元。另外，“样本”可用作与像素对应的术语。样本通常可表示像素或像素值，并且可仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。

单元可以表示图像处理的基本单位。单元可包括图片的特定区域和与该区域有关的信息中的至少一个。一个单元可包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，单元可与诸如块或区域这样的术语互换使用。在一般情况下，M×N块可包括M列和N行的样本(或样本阵列)或变换系数的集合(或阵列)。另选地，样本可意指空间域中的像素值，并且当这样的像素值被变换到频域时，它可意指频域中的变换系数。

在一些情况下，单元可以与诸如块或区域的术语互换地使用。通常，MxN块可以表示由M列和N行组成的样本或一组变换系数。样本可以通常表示像素或该像素的值，并且还可以表示仅亮度分量的像素/像素值，而且还表示仅色度分量的像素/像素值。可以将样本用作与配置一个图片(或图像)的像素或像元相对应的术语。

图2是示意性地图示本公开的实施例可以应用于的视频/图像编码设备的配置的图。在下文中，被称为视频编码设备的设备可以包括图像编码设备。

参照图2，编码设备200包括图像分区器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可包括帧间预测器221和帧内预测器222。残差处理器230可包括变换器232、量化器233、解量化器234和逆变换器235。残差处理器230还可包括减法器231。加法器250可被称为重构器或重构块生成器。根据实施例，图像分区器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可由至少一个硬件部件(例如，编码器芯片组或处理器)配置。另外，存储器270可包括解码图片缓冲器(DPB)，或者可由数字存储介质配置。硬件部件还可以包括存储器270作为内部/外部部件。

图像分区器210可以将输入到编码设备200的输入图像(或者图片或帧)分割成一个或更多个处理单元。例如，处理单元可被称为编译单元(CU)。在这种情况下，编译单元可根据四叉树二叉树三叉树(QTBTTT)结构从编译树单元(CTU)或最大编译单元(LCU)递归地分割。例如，一个编译单元可基于四叉树结构、二叉树结构和/或三元结构被分割成深度更深的多个编译单元。在这种情况下，例如，可首先应用四叉树结构，稍后可应用二叉树结构和/或三元结构。另选地，可首先应用二叉树结构。可基于不再分割的最终编译单元来执行根据本公开的编译过程。在这种情况下，根据图像特性基于编译效率等，最大编译单元可用作最终编译单元，或者如果需要，编译单元可被递归地分割成深度更深的编译单元并且具有最优大小的编译单元可用作最终编译单元。这里，编译过程可包括预测、变换和重构的过程(将稍后描述)。作为另一示例，处理单元还可包括预测单元(PU)或变换单元(TU)。在这种情况下，预测单元和变换单元可从上述最终编译单元分割或分区。预测单元可以是样本预测的单元，变换单元可以是用于导出变换系数的单元和/或用于从变换系数导出残差信号的单元。

编码设备200可以从输入图像信号(原始块、原始样本阵列)减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差块、残差样本阵列)，并且所生成的残差信号被发送到变换器232。在这种情况下，如所示，在编码器200中从输入图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元可以被称为减法器231。预测器可以对处理目标块(以下，称为当前块)执行预测并且生成包括当前块的预测样本的预测块。预测器可以确定在当前块或CU的单元中应用帧内预测还是帧间预测。如在各个预测模式的描述中稍后描述的，预测器可以生成关于预测的各种类型的信息(例如，预测模式信息)并将所生成的信息发送到熵编码器240。关于预测的信息可以由熵编码器240编码并以比特流的形式输出。

帧内预测器222可参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。例如，非定向模式可包括DC模式和平面模式。例如，根据预测方向的详细程度，定向模式可包括33个定向预测模式或65个定向预测模式。然而，这仅是示例，可根据设置使用更多或更少的定向预测模式。帧内预测器222可以使用应用于邻近块的预测模式来确定应用于当前块的预测模式。

帧间预测器221可以基于参考图片上运动矢量所指定的参考块(参考样本阵列)来导出当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动矢量和参考图片索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可相同或不同。时间邻近块可被称为并置参考块、并置CU(colCU)等，并且包括时间邻近块的参考图片可被称为并置图片(colPic)。例如，帧间预测器221可基于邻近块来配置运动信息候选列表并且生成指示哪一候选用于导出当前块的运动矢量和/或参考图片索引的信息。可基于各种预测模式执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可使用邻近块的运动信息作为当前块的运动信息。在跳过模式下，与合并模式不同，可不发送残差信号。在运动矢量预测(MVP)模式的情况下，邻近块的运动矢量可用作运动矢量预测器，并且可通过用信号通知运动矢量差来指示当前块的运动矢量。

预测器220可以基于稍后描述的各种预测方法来生成预测信号。例如，预测器220可以应用帧内预测或帧间预测来预测一个块，并且可以同时应用帧内预测和帧间预测。这可以被称为组合帧间和帧内预测(CIIP)。此外，预测器可以基于帧内块复制(IBC)预测模式或基于调色板模式以用于预测块。IBC预测模式或调色板模式可用于游戏等的内容的图像/视频编译，例如屏幕内容编译(SCC)。IBC基本上在当前图片中执行预测，但是它可以与帧间预测类似地执行在于在当前图片中导出参考块。也就是说，IBC可以使用本文档中描述的帧间预测技术中的至少一个。调色板模式可以被视为帧内编译或帧内预测的示例。当应用调色板模式时，可以基于关于调色板表和调色板索引的信息用信号通知图片中的样本值。

通过预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以用于生成重构信号或可以用于生成残差信号。

变换器232可以通过将变换技术应用于残差信号来生成变换系数。例如，变换技术可以包括以下中的至少一个：离散余弦变换(DCT)、离散正弦变换(DST)、基于图形的变换(GBT)或条件非线性变换(CNT)。这里，当像素之间的关系信息被图示为图形时，GBT意指从图形获取的变换。CNT意指基于通过使用所有先前重构的像素生成的预测信号而获取的变换。另外，变换处理还可以应用于具有相同大小的正方形的像素块，或者还可以应用于不是正方形的可变大小的块。

量化器233量化变换系数并且将量化的变换系数发送到熵编码器240，并且熵编码器240编码量化的信号(关于量化的变换系数的信息)并且输出编码的信号作为比特流。关于量化的变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序以一维矢量形式重新排列具有块形式的量化的变换系数，并且还基于一维矢量形式的量化的变换系数来生成关于量化的变换系数的信息。

熵编码器240可以执行诸如例如指数哥伦布(Golomb)、上下文自适应可变长度编译(CAVLC)、和上下文自适应二进制算术编译(CABAC)等的各种编码方法。熵编码器240还可以一起或单独地对除了量化的变换系数之外的视频/图像重构所必需的信息(例如，语法元素的值等)进行编码。编码的信息(例如，编码的视频/图像信息)可以比特流的形式以网络抽象层(NAL)为单位被发送或存储。视频/图像信息还可以包括关于各种参数集的信息，例如适配参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。另外，视频/图像信息还可以包括一般约束信息。在该文档中，可以在视频/图像信息中包括从编码设备用信号通知/发送到解码设备的信息和/或语法元素。视频/图像信息可以通过前述编码过程来编码并且因此包括在比特流中。比特流可以通过网络被发送或者可以被存储在数字存储介质中。这里，网络可以包括广播网络和/或通信网络，并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。用于发送从熵编码器240输出的信号的发送单元(未示出)和/或用于存储该信号的存储单元(未示出)可以被配置为编码设备200的内部/外部元件，或者发送单元也可以被包括在熵编码器240中。

从量化器233输出的量化的变换系数可以用于生成预测信号。例如，可以通过解量化器234和逆变换单元235将解量化和逆变换应用于量化的变换系数来重构残差信号(残差块或残差样本)。加法器250可以将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加，以生成重构信号(重构图片、重构块、重构样本阵列)。诸如在应用跳过模式时，当针对处理目标块不存在残差时，预测块可用作重构块。加法器250可以被称为恢复器或恢复块生成器。所生成的重构信号可以用于当前图片内的下一个处理目标块的帧内预测，并且，还可以在滤波之后用于下一图片的帧间预测，如下所述。

同时，也可以在图片编码和/或重构处理期间应用亮度映射与色度缩放(LMCS)。

滤波器260可以通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器260可以通过对重构图片应用各种滤波方法来生成修改的重构图片并将修改的重构图片存储在存储器270(具体地，存储器270的DPB)中。例如，各种滤波方法可以包括解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以生成与滤波有关的各种类型的信息并且将所生成的信息传送到熵编码器240，如在各个滤波方法的描述中稍后描述的。与滤波有关的信息可以由熵编码器240编码并以比特流的形式输出。

发送到存储器270的修改的重构图片可以用作帧间预测器221中的参考图片。当通过编码设备应用帧间预测时，可避免编码设备200与解码设备之间的预测失配并且可以改善编译效率。

存储器270的DPB可以存储修正后的重构图片，以用作帧间预测器221中的参考图片。存储器270可以存储从其导出(或编码)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被传送到帧间预测器221，以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本，并可以将重构样本传送到帧内预测器222。

图3是用于示意性地解释可应用本公开的实施例的视频/图像解码设备的配置的图。

参照图3，解码设备300可包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可包括帧间预测器331和帧内预测器332。残差处理器320可包括解量化器321和逆变换器321。根据实施例，熵解码310、残差处理器320、预测器330、加法器340和滤波器350可由硬件部件(例如，解码器芯片组或处理器)配置。另外，存储器360可包括解码图片缓冲器(DPB)或者可由数字存储介质配置。硬件部件还可包括存储器360作为内部/外部部件。

当输入包括视频/图像信息的比特流时，解码设备300可重构与在图2的编码设备中处理视频/图像信息的处理对应的图像。例如，解码设备300可基于从比特流获得的块分区相关信息来导出单元/块。解码设备300可使用编码设备中应用的处理单元来执行解码。因此，例如，解码的处理单元可以是编译单元，并且编译单元可根据四叉树结构、二叉树结构和/或三叉树结构从编译树单元或最大编译单元分割。可从编译单元导出一个或更多个变换单元。通过解码设备300解码和输出的重构图像信号可通过再现设备再现。

解码设备300可以接收以比特流的形式从图2的编码设备输出的信号，并且可以通过熵解码器310对接收的信号进行解码。例如，熵解码器310可以解析比特流来导出图像重构(或图片重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于各种参数集的信息，例如适配参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。另外，视频/图像信息还可以包括一般约束信息。解码设备还可以基于关于参数集和/或一般约束信息的信息来解码图片。稍后将在本文档中描述的用信号通知/接收的信息和/或语法元素可以通过解码过程解码且从比特流获取。例如，熵解码器310可以基于诸如指数Golomb编译、上下文自适应可变长度编译(CAVLC)、或上下文自适应二进制算术编译(CABAC)的编译方法解码比特流内的信息，并且输出图像重构所需的语法元素和用于残差的变换系数的量化值。更具体地，CABAC熵解码方法可以接收与比特流中的每个语法元素相对应的bin，通过使用解码目标语法元素信息、解码目标块的解码信息或者在先前阶段中解码的符号/bin的信息来确定上下文模型，并且通过根据所确定的上下文模型预测出现bin的概率来对bin执行算术解码，并且生成与每个语法元素的值相对应的符号。在这种情况下，CABAC熵解码方法可以在确定上下文模型之后通过将解码的符号/bin的信息用于下一符号/bin的上下文模型来更新上下文模型。由熵解码器310所解码的信息之中与预测有关的信息可以被提供给预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310已经执行熵解码的残差值(即，量化的变换系数和相关参数信息)可以被输入到残差处理器320。

残差处理器320可以导出残差信号(残差块、残差样本、残差样本阵列)。另外，由熵解码器310解码的信息之中关于滤波的信息可以被提供给滤波器350。同时，用于接收从编码设备输出的信号的接收器(未示出)还可以被配置成解码设备300的内部/外部元件，或者接收器可以是熵解码器310的组件。同时，根据该文档的解码设备可以被称为视频/图像/图片解码设备，并且解码设备可以被分类为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310，并且样本解码器可以包括以下中的至少一个：解量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331。

解量化器321可以将量化后的变换系数解量化并输出变换系数。解量化器321可以按二维块形式重排量化后的变换系数。在这种情况下，可以基于在编码设备中执行的系数扫描顺序来执行重排。解量化器321可以使用量化参数(例如，量化步长信息)对量化后的变换系数执行解量化并且获得变换系数。

逆变换器322对变换系数逆变换以获得残差信号(残差块、残差样本阵列)。

预测器330可以对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可以基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测并且确定特定帧内/帧间预测模式。

预测器330可以基于下述各种预测方法来生成预测信号。例如，预测器可以应用帧内预测或帧间预测以用于预测一个块，而且可以同时应用帧内预测和帧间预测。这可以被称为组合帧间和帧内预测(CIIP)。另外，预测器可以基于帧内块复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可用于游戏等的内容的图像/视频编译，例如屏幕内容编译(SCC)。IBC可以基本上执行当前图片中的预测，但是可以与帧间预测相似地执行，使得在当前图片内导出参考块。即，IBC可以使用该文档中描述的至少一个帧间预测技术。调色板模式可以被视为帧内编译或帧内预测的示例。当应用调色板模式时，关于调色板表和调色板索引的信息可以包括在视频/图像信息中并且用信号通知。

帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可以与当前块隔开。在帧内预测中，预测模式可以包括多个非定向模式和多个定向模式。帧内预测器331可以通过使用应用于相邻块的预测模式来确定应用于当前块的预测模式。

帧间预测器332可以基于参考图片上由运动矢量指定的参考块(参考样本阵列)来导出当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可以基于相邻块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括关于帧间预测方向(L0预测、L1预测、Bi预测等)的信息。在帧间预测的情况下，相邻块可以包括存在于当前图片中的空间相邻块和存在于参考图片中的时间相邻块。例如，帧间预测器332可以基于相邻块来构造运动信息候选列表并且基于所接收的候选选择信息来导出当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示用于当前块的帧间预测模式的信息。

加法器340可以通过将所获取的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构图片、重构块、重构样本阵列)。如果针对处理目标块不存在残差，例如应用跳过模式的情况，预测块可以用作重构块。

加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以用于在当前图片中将处理的下一个块的帧内预测，并且如随后描述的，还可以通过滤波来输出或者还可以用于下一个图片的帧间预测。

此外，具有色度缩放的亮度映射(LMCS)还可以被应用于图片解码处理。

滤波器350可以通过向重构信号应用滤波来改善主观/客观图像质量。例如，滤波器350可以通过向重构图片应用各种滤波方法来生成修正后的重构图片，并将修正后的重构图片存储在存储器360中，具体地，存储在存储器360的DPB中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。

存储在存储器360的DPB中的(修改的)重构图片可以用作帧间预测器332中的参考图片。存储器360可以存储从其中导出(解码)当前图片内的运动信息的块的运动信息和/或已经重构的图片内的块的运动信息。存储的运动信息可以被传送到帧间预测器260，以用作空间相邻块的运动信息或时间相邻块的运动信息。存储器360可以存储当前图片内的重构块的重构样本，并且将所重构样本传送到帧内预测器331。

在本文档中，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施例可以被同等地应用于或对应于滤波器350、帧间预测器332和帧内预测器331。

可以基于以下分区结构来执行根据本文档的视频/图像编译方法。具体地，可以根据基于分区结构而导出的CTU和CU(和/或TU和PU)来执行要稍后描述的预测、残差处理((逆)变换和(解)量化)、语法元素编译和滤波的过程。块分区过程可以由上述编码设备的图像分区器210执行，并且分区相关信息可以由熵编码器240处理(编码)，并且可以被以比特流的形式传送到解码设备。解码设备的熵解码器310可以基于从比特流获得的分区相关信息来导出当前图片的块分区结构，并且基于此，可以执行用于图像解码的一系列过程(例如，预测、残差处理、块/图片重构和环路内滤波)。CU大小和TU大小可以彼此相等，或者多个TU可以存在于CU区域中。同时，CU大小可以通常表示亮度分量(样本)编译块(CB)大小。TU大小可以通常表示亮度分量(样本)变换块(TB)大小。可以根据图片/图像的颜色格式(色度格式，例如，4:4:4、4:2:2、4:2:0等)依照分量比基于亮度分量(样本)CB或TB大小来导出色度分量(样本)CB或TB大小。可以基于maxTbSize来导出TU大小。例如，如果CU大小大于maxTbSize，则可以导出maxTbSize的多个TU(TB)，并且能够以TU(TB)为单位执行变换/逆变换。此外，例如，在应用帧内预测的情况下，能够以CU(或CB)为单位导出帧内预测模式/类型，并且能够以TU(或TB)为单位执行邻近参考样本的导出和预测样本的生成。在这种情况下，一个或多个TU(或TB)可以存在于一个CU(或CB)区域中，并且在这种情况下，多个TU(或TB)可以共享相同的帧内预测模式/类型。

此外，在根据本文档对视频/图像进行编译时，图像处理单元可以具有分层结构。可以将一个图片划分成一个或多个拼块、图块、切片和/或拼块组。一个切片可以包括一个或多个图块。一个图块可以包括拼块中的一个或多个CTU行。切片可以包括图片的整数个图块。一个拼块组可以包括一个或多个拼块。一个拼块是在图片中的特定拼块列和特定拼块行内的CTU的矩形区域。拼块组可以依照图片中的拼块光栅扫描包括整数个拼块。切片报头可以承载能够被应用于相应切片(切片中的块)的信息/参数。如果编码/解码设备具有多核心处理器，则可以并行处理用于拼块、切片、图块和/或拼块组的编码/解码过程。在本文档中，可以互换地使用切片或拼块组。也就是说，可以将拼块组报头称作切片报头。这里，切片可以具有包括帧内(I)切片、预测(P)切片和双向预测(B)切片的切片类型之一。对于I切片中的块的预测，可以不使用帧间预测，但是可以使用仅帧内预测。即使在这种情况下，也可以在没有预测的情况下对原始样本值进行编译并用信号通知。对于P切片中的块，可以使用帧内预测或帧间预测，并且在使用帧间预测的情况下，可以使用仅单向预测。同时，对于B切片中的块，可以使用帧内预测或帧间预测，并且在使用帧间预测的情况下，可以使用最大可达双向预测。

依照视频图像的特性(例如，分辨率)，或者考虑到编译效率或并行处理，编码器可以确定拼块/拼块组、图块、切片、最大和最小编译单元大小，并且可以在比特流中包括相应信息或能够归纳相应信息的信息。

解码器可以获得表示当前图片的拼块中的拼块/拼块组、图块、切片或CTU是否已被分区成多个编译单元的信息。通过仅在特定条件下获得(发送)这种信息，能够提高效率。

同时，如上所述，一个图片可以包括多个切片，并且一个切片可以包括切片报头和切片数据。在这种情况下，可以为一个图片中的多个切片(切片报头和切片数据的集合)进一步添加一个图片报头。图片报头(图片报头语法)可以包括能够被共同地应用于图片的信息/参数。切片报头(切片报头语法)可以包括能够被共同地应用于切片的信息/参数。自适应参数集(APS)或图片参数集(PPS)可以包括能够被共同地应用于一个或多个图片的信息/参数。序列参数集(SPS)可以包括能够被共同地应用于一个或多个序列的信息/参数。视频参数集(VPS)可以包括能够被共同地应用于多个层的信息/参数。解码参数集(DPS)可以包括能够被共同地应用于整体视频的信息/参数。DPS可以包括与编译视频序列(CVS)的级联相关的信息/参数。

在本文档中，高级别语法可以包括APS语法、PPS语法、SPS语法、VPS语法、DPS语法、图片报头语法和切片报头语法中的至少一个。

此外，例如，关于拼块/拼块组/图块/切片的划分和配置的信息可以由编码端通过高级别语法来配置，并且可以被以比特流的形式传送到解码设备。

在本文档中，可以省略量化/解量化和/或变换/逆变换中的至少一个。当量化/解量化被省略时，量化变换系数可以被称为变换系数。当变换/逆变换被省略时，变换系数可以被称作系数或残差系数或者为了表达的一致性可以仍被称作变换系数。

在本文档中，可以将量化变换系数和变换系数分别称为变换系数和缩放变换系数。在这种情况下，残差信息可以包括关于变换系数的信息，并且可以通过残差编译语法来用信号通知关于变换系数的信息。可以基于残差信息(或关于变换系数的信息)来导出变换系数，并且可以通过对变换系数的逆变换(缩放)来导出缩放变换系数。可以基于缩放变换系数的逆变换(变换)来导出残差样本。也可以在本文档的其他部分中应用/表达这个。

作为上述内容，编码设备可以执行各种编码方法，例如诸如指数哥伦布、上下文自适应可变长度编译(CAVLC)和上下文自适应二进制算术编译(CABAC)。此外，解码设备可以基于诸如指数哥伦布、CAVLC或CABAC的编译方法来对比特流中的信息进行解码，并且可以输出图像重构所必需的语法元素的值和用于残差的变换系数的量化值。例如，可以如在要稍后描述的内容中一样执行上述编译方法。

在本文档中，帧内预测可以表示基于当前块所属于的图片(在下文中，当前图片)中的参考样本来生成用于当前块的预测样本的预测。在将帧内预测应用于当前块的情况下，可以导出要用于当前块的帧内预测的邻近参考样本。当前块的邻近参考样本可以包括与大小为nWxnH的当前块的左边界相邻的样本和与左底部相邻的总共2xnH个样本、与当前块的顶部边界相邻的样本和邻近右顶部的总共2xnW个样本、以及邻近当前块的左顶部的一个样本。此外，当前块的邻近参考样本可以包括多列顶部邻近样本和多行左邻近样本。此外，当前块的邻近参考样本可以包括与大小为nWxnH的当前块的右边界相邻的总共nH个样本、与当前块的底部边界相邻的总共nW个样本、以及邻近当前块的右底部的一个样本。

然而，当前块的一些邻近参考样本可能尚未被解码或启用。在这种情况下，解码设备可以将邻近参考样本配置成被用于通过用启用的样本取代未启用的样本进行预测。此外，可以通过已启用的样本的插值来配置要用于预测的邻近参考样本。

如果导出邻近参考样本，则(i)可以基于当前块的邻近参考样本的平均或插值来归纳预测样本，并且(ii)可以基于在当前块的邻近参考样本之中存在于预测样本的特定(预测)方向上的参考样本来归纳预测样本。可以将(i)的情况称作非定向模式或非角度模式，并且可以将(ii)的情况称作定向模式或角度模式。此外，可以通过在邻近参考样本之中的、基于当前块预测样本位于与当前块的帧内预测模式的预测方向相反的方向上的第一相邻样本与第二相邻样本的插值，来生成预测样本。可以将上述情况称作线性插值帧内预测(LIP)。此外，可以通过使用线性模型基于亮度样本来生成色度预测样本。可以将这种情况称作LM模式。此外，可以基于滤波的邻近参考样本来导出当前块的临时预测样本，并且可以通过计算临时预测样本与现有邻近参考样本之中的根据帧内预测模式导出的至少一个参考样本(即未滤波的邻近参考样本)的加权和，来导出当前块的预测样本。可以将上述情况称作方位相关帧内预测(PDPC)。此外，可以通过经由相应线的选择，使用在当前块的邻近多参考样本线之中具有最高预测准确度的参考样本线上的位于预测方向上的参考样本，来导出预测样本，并且在这种情况下，可以在用于向解码设备指示(用信号通知)所使用的参考样本线的方法中执行帧内预测编译。可以将上述情况称作多参考线(MRL)帧内预测或基于MRL的帧内预测。此外，可以通过将当前块划分成垂直子分区或水平子分区基于相同的帧内预测模式来执行帧内预测，并且能够以子分区为单位导出和使用邻近参考样本。也就是说，在这种情况下，由于用于当前块的帧内预测模式被同等地应用于子分区，并且以子分区为单位导出和使用邻近参考样本，所以能够在一些情况下提高帧内预测性能。可以将这样的预测方法称为帧内子分区(ISP)或基于ISP的帧内预测。可以将上述帧内预测方法称作帧内预测类型，以区别于帧内预测模式。帧内预测类型可以由诸如帧内预测技术或附加帧内预测模式的各种术语来称呼。例如，帧内预测类型(或附加帧内预测模式)可以包括上述LIP、PDPC、MRL或ISP中的至少一个。可以将排除诸如LIP、PDPC、MRL或ISP的特定帧内预测类型的一般帧内预测方法称作正常帧内预测类型。在未应用特定帧内预测类型情况下通常可以应用正常帧内预测类型，并且可以基于上述帧内预测模式来执行预测。同时，根据需要，可以对于所导出的预测样本执行后滤波。

具体地，帧内预测过程可以包括帧内预测模式/类型确定、邻近参考样本导出和基于帧内预测模式/类型的预测样本导出的步骤。此外，根据需要，可以对于所导出的预测样本执行后滤波步骤。

同时，除了上述预测类型之外，还可以使用仿射线性加权帧内预测(ALWIP)。可以将ALWIP称作线性加权帧内预测(LWIP)或矩阵加权帧内预测(MIP)或基于矩阵的帧内预测。在对于当前块应用MIP的情况下，i)通过使用已对其执行了平均过程的邻近参考样本，ii)可以执行矩阵矢量乘法过程，以及iii)根据需要，可以通过进一步执行水平/垂直插值来导出当前块的预测样本。可以与上述LIP、PDPC、MRL或ISP帧内预测不同地配置被用于MIP的帧内预测模式，或者帧内预测模式被用于正常帧内预测。可以将用于MIP的帧内预测模式称作MIP帧内预测模式、MIP预测模式或MIP模式。例如，根据用于MIP的帧内预测模式，可以不同地配置用于矩阵矢量乘法的矩阵和偏移。这里，可以将矩阵称作(MIP)加权矩阵，并且可以将偏移称作(MIP)偏移矢量或(MIP)偏置矢量。

如上面在图2的描述中描述的，一些或所有视频/图像信息可以由熵编码器240熵编码，并且上面在图3的描述中描述的一些或所有视频/图像信息可以由熵解码器310熵解码。在这种情况下，可以在语法元素单元中对视频/图像信息进行编码/解码。在本文档中，信息的编码/解码可以包括通过本段落中描述的方法执行的编码/解码。

图4示出对一个语法元素进行编码的示例。

图4示出用于对单个语法元素进行编码的CABAC的框图。在输入信号是不是作为二进制值的语法元素的情况下，CABAC的编码过程首先通过二值化将输入信号转换成二进制值。在输入信号已经是二进制值的情况下，输入信号旁路二值化而不用经受二值化。这里，构成二进制值的每个二进制数0或1被称为bin。例如，在二值化之后的二进制串(bin串)是‘110’的情况下，1、1和0中的每一个被称为bin。用于语法元素的bin可以表示语法元素的值。

二值化的bin被输入到常规编译引擎或旁路编译引擎。常规编译引擎向对应bin指配反映概率值的上下文模型，并且基于指配的上下文模型来对bin进行编码。在对每个bin执行编译之后，常规编译引擎可以更新用于bin的概率模型。这样编译的bin被称为上下文编译的bin。旁路编译引擎省略估计输入bin的概率的过程以及在编译之后更新已被应用于bin的概率模型的过程。旁路编译引擎通过对输入到其的bin进行编译同时对它们应用均匀概率分布(例如，50:50)，而不是指配上下文，来改进编译速度。这样编译的bin被称为旁路bin。可以为要上下文编译(常规编译)的每个bin分配和更新上下文模型，并且可以基于ctxidx或ctxInc来指示上下文模型。可以基于ctxInc来导出ctxidx。具体地，例如，可以将指示用于每个常规地编译的bin的上下文模型的上下文索引(ctxidx)导出为上下文索引增量(ctxInc)和上下文索引偏移(ctxIdxOffset)之和。这里，可以针对每个bin不同地导出ctxInc。可以将ctxIdxOffset表示为ctxIdx的最低值。可以将ctxIdx的最小值称为ctxIdx的初始值(initValue)。ctxIdxOffset是通常用于区别于用于其他语法元素的上下文模型的值，并且可以基于ctxinc来区分/导出用于一个语法元素的上下文模型。

在熵编码过程中，可以确定是通过常规编译引擎还是通过旁路编译引擎来执行编码，并且可以切换编译路径。熵解码以相反次序执行与熵编码的过程相同的过程。

例如，可以执行上述熵编译如下。

编码设备(熵编码器)对图像/视频信息执行熵编译过程。图像/视频信息可以包括分区相关信息、预测相关信息(例如，帧间/帧内预测区分信息、帧内预测模式信息、帧间预测模式信息等)、残差信息、环路内滤波相关信息，或者可以包括与它们相关的各种语法元素。可以以语法元素为单位执行熵编译。

具体地，编码设备对目标语法元素执行二值化。这里，二值化可以基于诸如截断莱斯二值化过程、固定长度二值化过程等的各种二值化方法，并且可以预定义用于目标语法元素的二值化方法。二值化过程可以由熵编码器240中的二值化器242执行。

并且编码设备对目标语法元素执行熵编码。编码设备可以基于诸如上下文自适应算术编译(CABAC)或上下文自适应可变长度编译(CAVLC)的熵编译方案来对目标语法元素的bin串进行基于常规编译的(基于上下文的)或基于旁路编译的编码，并且可以将其输出并入到比特流中。熵编码过程可以由熵编码器240中的熵编码处理器243执行。如上所述，可以通过(数字)存储介质或网络来将比特流传送到解码设备。

解码设备(熵解码器)可以对编码图像/视频信息进行解码。图像/视频信息可以包括分区相关信息、预测相关信息(例如，帧间/帧内预测区分信息、帧内预测模式信息、帧间预测模式信息等)、残差信息、环路内滤波相关信息，或者可以包括与它们相关的各种语法元素。可以以语法元素为单位执行熵编译。

具体地，解码设备对目标语法元素执行二值化。这里，二值化可以基于诸如截断莱斯二值化过程、固定长度二值化过程等的各种二值化方法，并且可以预定义用于目标语法元素的二值化方法。解码设备可以通过二值化来导出目标语法元素的可用值的可用bin串(bin串候选)。二值化过程可以由熵解码器310中的二值化器312执行。

并且解码设备对目标语法元素执行熵解码。在从比特流中的输入比特顺序地解码和解析目标语法元素的相应bin的同时，解码设备将导出的bin串与对应语法元素的启用bin串进行比较。当导出的bin串与可用bin串之一相同时，与该bin串相对应的值被导出为语法元素的值。否则，解码设备在进一步解析比特流中的下一个比特之后执行上述过程。通过这些过程，即使在对于比特流中的特定信息(特定语法元素)不使用开始比特或结束比特的情况下，解码设备也可以使用可变长度比特来用信号通知信息。通过这个，可以向低值指配相对较少的比特，从而提高整体编译效率。

解码设备可以基于诸如CABAC、CAVLC等的熵编译技术来对来自比特流的bin串中的相应bin执行基于上下文或基于旁路的解码。熵解码过程可以由熵解码器310中的熵解码处理器313执行。比特流可以包括用于如上所述的图像/视频解码的各种信息。如上所述，可以通过(数字)存储介质或网络来将比特流传送到解码设备。

在本文档中，包括语法元素的表(语法表)可以用于指示从编码设备到解码设备的信息的信令。包括本文档中使用的语法元素的表中的语法元素的次序可以指示来自比特流的语法元素的解析次序。编码设备可以构造语法表并且对其进行编码，使得语法元素能够由解码设备以解析次序解析，同时解码设备可以通过根据解析次序从比特流中解析和解码对应语法表的语法元素来获得语法元素的值。

图5表示图片解码过程的示例。

图5示出能够应用本文档的实施例的示意图片解码过程的示例。在图5中，可以在上面图3中描述的解码设备的熵解码器310中执行S500；可以在预测器330中执行S510；可以在残差处理器320中执行S520；可以在加法器340中执行S530；并且可以在滤波器350中执行S540。S500可以包括本文中描述的信息解码过程；S510可以包括本文档中描述的帧间/帧内预测过程；S520可以包括本文档中描述的残差处理过程；S530可以包括本文档中描述的块/图片重构过程；并且S540可以包括本文档中描述的环路内滤波过程。

参考图5，如关于图3在说明书中表示的，图片解码过程可以示意性地包括(通过解码)从比特流的图像/视频信息获得过程S500、图片重构过程S510至S530、以及用于重构图片的环路内滤波过程S540。可以基于通过本文档中描述的帧间/帧内预测S510和残差处理S520(针对量化变换系数的解量化，逆变换)过程获得的残差样本以及预测样本来执行图片重构过程。通过针对已通过图片重构过程生成的重构图片的环路内滤波过程，可以生成修改的重构图片，其可以作为解码图片被输出，并且还可以被存储在解码设备的解码图片缓冲器或存储器360中并且在后面的图片解码的帧间预测过程中被用作参考图片。根据情况，可以跳过环路内滤波过程，并且在这种情况下，重构图片可以作为解码图片被输出，并且还可以被存储在解码设备的解码图片缓冲器或存储器360中并且在后面的图片解码的帧间预测过程中被用作参考图片。环路内滤波过程S540可以包括如上所述的解块滤波过程、样本自适应偏移(SAO)过程、自适应环路滤波器(ALF)过程和/或双边滤波过程，并且可以跳过它们中的全部或一些。此外，可以顺序地应用解块滤波过程、样本自适应偏移(SAO)过程、自适应环路滤波器(ALF)过程和双边滤波过程中的一个或一些，或者可以顺序地应用它们中的全部。例如，在对重构图片应用解块滤波过程之后，可以对其执行SAO过程。替换地，例如，在对重构图片应用解块滤波过程之后，可以对其执行ALF过程。这可以同样地在编码设备中执行。

图6表示图片编码过程的示例。

图6示出能够应用本文档的实施例的示意图片编码过程的示例。在图6中，可以在上面图2中描述的编码设备的预测器220中执行S600；可以在残差处理器230中执行S610；可以在熵编码器240中执行S620。S600可以包括本文档中描述的帧间/帧内预测过程；S610可以包括本文档中描述的残差处理过程；并且S620可以包括本文档中描述的信息编码过程。

参考图6，如在关于图2在描述中表示的，图片编码过程可以示意性地包括生成当前图片的重构图片的过程和对重构图片应用环路内滤波的过程(可选)，以及对用于图片重构的信息(例如，预测信息、残差信息、分区信息等)进行编码并且以比特流的形式输出它的过程。编码设备可以通过解量化器234和逆变换器235从量化变换系数导出(修改的)残差样本，并且可以基于(修改的)残差样本和作为S600的输出的预测样本来生成重构图片。以这种方式生成的重构图片可以与在解码设备中生成的上述重构图片相同。通过针对重构图片的环路内滤波过程，类似于解码设备的情况，可以生成修改的重构图片，其可以被存储在解码图片缓冲器或存储器270中，并且在后面的图片编码的帧间预测过程中被用作参考图片。如上所述，可以根据情况跳过环路内滤波过程的全部或一部分。在执行环路内滤波过程的情况下，(环路内)滤波相关信息(参数)可以在熵编码器240中被编码并且以比特流的形式输出，并且解码设备可以基于滤波相关信息以与编码设备的方式相同的方式执行环路内滤波过程。

通过此环路内滤波过程，可以减少在图像/视频编译期间生成的噪声，诸如块伪影和振铃伪影，并且提高主观/客观视觉质量。此外，当在编码设备和解码设备两者中执行环路内滤波过程时，编码设备和解码设备能够导出相同的预测结果，提高图片编译的可靠性，并且减少要发送用于图片编译的数据量。

如上所述，可以在编码设备中以及在解码设备中执行图片重构过程。基于对每个块单元的帧内预测/帧间预测，可以生成重构块，并且可以生成包括重构块的重构图片。在当前图片/切片/拼块组是I图片/切片/拼块组的情况下，可以仅基于帧内预测来重构包括在当前图片/切片/拼块组中的块。同时，在当前图片/切片/拼块组是P或B图片/切片/拼块组的情况下，可以基于帧内预测或帧间预测来重构包括在当前图片/切片/拼块组中的块。在这种情况下，可以将帧间预测应用于当前图片/切片/拼块组中的一些块，并且可以将帧内预测应用于其余块中的一些。图片的颜色分量可以包括亮度分量和色度分量，并且除非本文档显式地限制，否则可以将本文档中提出的方法和实施例应用于亮度分量和色度分量。

图7表示基于帧间预测的视频/图像编码方法的示例，并且图8示意性地表示解码设备中的帧间预测器。

参考图7和图8，编码设备对当前块执行帧间预测(S700)。编码设备可以导出当前块的帧间预测模式和运动信息，并且生成当前块的预测样本。这里，帧间预测模式确定、运动信息导出和预测样本生成过程可以被同时执行，或者一个接一个地执行。例如，编码设备的帧间预测器221可以包括预测模式确定器221_1、运动信息导出器221_2和预测样本导出器221_3。预测模式确定器221_1可以确定用于当前块的预测模式；运动信息导出器221_2可以导出当前块的运动信息；并且预测样本导出器221_3可以导出当前块的预测样本。例如，编码设备的帧间预测器可以通过运动估计在参考图片的某个区域(搜索区域)中搜索与当前块类似的块，并且导出与当前块的差最小或者小于或等于某个水平的参考块。基于此，可以导出指示参考块位于在上面的参考图片的参考图片索引，并且基于参考块与当前块之间的位置差，可以导出运动矢量。编码设备可以从被应用于当前块的各种预测模式当中确定模式。编码设备可以比较各种预测模式的速率失真(RD)成本，并且确定用于当前块的最佳预测模式。

例如，当对当前块应用跳过模式或合并模式时，编码设备可以构造合并候选列表，并且从包括在合并候选列表中的合并候选指示的参考块当中导出与当前块的差最小或者小于或等于某个水平的参考块。在这种情况下，可以选择与所导出的参考块相关联的合并候选，并且可以生成指示所选择的合并候选的合并索引信息并且将其用信号通知给解码设备。可以使用所选择的合并候选的运动信息来导出当前块的运动信息。

作为另一示例，当对当前块应用(A)MVP模式时，编码设备可以构造(A)MVP候选列表，并且使用从包括在该(A)MVP候选列表中的mvp(运动矢量预测子)候选当中选择的mvp候选的运动矢量作为当前块的mvp。在这种情况下，例如，可以使用指示通过上述运动估计导出的参考块的运动矢量作为当前块的运动矢量，并且在mvp候选当中，具有与当前块的运动矢量差最小的运动矢量的mvp候选可以是所选择的mvp候选。可以导出MVD(运动矢量差)，其是通过从当前块的运动矢量中减去mvp所获得的差。在这种情况下，可以将关于MVD的信息用信号通知给解码设备。附加地，当应用(A)MVP模式时，参考图片索引的值可以被配置为参考图片索引信息并且分开地用信号通知给解码设备。

编码设备可以基于预测样本来导出残差样本(S710)。编码设备可以经由当前块的原始样本和预测样本的比较来导出残差样本。

编码设备对包括预测信息和残差信息的图像信息进行编码(S720)。编码设备可以以比特流的形式输出编码图像信息。预测信息可以包括预测模式信息(例如，跳过标志、合并标志、模式索引等)和关于作为关于预测过程的信息的运动信息的信息。关于运动信息的信息可以包括候选选择信息(例如，合并索引、mvp标志或mvp索引)，其是用于导出运动矢量的信息。此外，关于运动信息的信息可以包括关于上述MVD的信息和/或参考图片索引信息。此外，关于运动信息的信息可以包括指示是否应用L0预测、L1预测或者双向预测的信息。残差信息是关于残差样本的信息。残差信息可以包括关于用于残差样本的量化变换系数的信息。

输出比特流可以被存储在(数字)存储介质中并且传送到解码设备，或者可以通过网络被传送到解码设备。

同时，如上所述，编码设备可以基于参考样本和残差样本来生成重构图片(包括重构样本和重构块)。这是为了在编码设备中导出与在解码设备中执行的预测结果相同的预测结果，并且原因是能够通过这个来提高编译效率。因此，编码设备可以将重构图片(或重构样本、重构块)存储在存储器中，并且将其用作用于帧间预测的参考图片。可以如上所述对重构图片进一步应用环路内滤波过程等。

基于帧间预测的视频/图像解码过程可以示意性地包括例如下列的。

图9表示基于帧间预测的视频/图像解码方法的示例，并且图10示意性地表示解码设备中的帧间预测器。

解码设备可以执行与已经在编码设备中执行的操作相对应的操作。解码设备可以对当前块执行预测并且基于所接收到的预测信息来导出预测样本。

具体地，参考图9和图10，解码设备可以基于从比特流接收到的预测信息来确定用于当前块的预测模式(S900)。解码设备可以基于预测信息中的预测模式信息来确定对当前块应用哪种帧间预测模式。

例如，可以确定是否对当前块应用合并模式，或者基于合并标志来确定(A)MVP模式。替换地，可以基于合并索引来从各种帧间预测模式候选当中选择一种帧间预测模式。帧间预测模式候选可以包括各种帧间预测模式，诸如跳过模式、合并模式和/或(A)MVP模式。

解码设备基于所确定的帧间预测模式来导出当前块的运动信息(S910)。例如，当对当前块应用跳过模式或合并模式时，解码设备可以构造稍后要描述的合并候选列表，并且选择包括在该合并候选列表中的合并候选之一。可以基于上述选择信息(合并索引)来执行选择。可以使用所选择的合并候选的运动信息来导出当前块的运动信息。可以使用所选择的合并候选的运动信息作为当前块的运动信息。

作为另一示例，当对当前块应用(A)MVP模式时，解码设备可以构造(A)MVP候选列表，并且使用从包括在该(A)MVP候选列表中的mvp(运动矢量预测子)候选当中选择的mvp候选的运动矢量作为当前块的mvp。可以基于上述选择信息(mvp标志或mvp索引)来执行选择。在这种情况下，可以基于关于MVD的信息来导出当前块的MVD，并且可以基于当前块的MVD和MVP来导出当前块的运动矢量。此外，可以基于参考图片索引信息来导出当前块的参考图片索引。可以将参考图片索引指示的涉及当前块的参考图片列表中的图片导出为被参考用于当前块的帧间预测的参考图片。

同时，可以在不用构造候选列表的情况下导出当前块的运动信息，并且在这种情况下，可以省略如上所述的候选列表的构造。

解码设备可以基于当前块的运动信息来生成当前块的预测样本(S920)。在这种情况下，可以基于当前块的参考图片索引来导出参考图片，并且可以使用通过当前块的运动矢量指示的参考图片上的参考块的样本来导出当前块的预测样本。在这种情况下，可以如稍后描述的那样根据情况对于当前块的预测样本中的全部或一些进一步执行预测样本滤波过程。

例如，编码设备的帧间预测器332可以包括预测模式确定器332_1、运动信息导出器332_2和预测样本导出器332_3，可以基于在预测模式确定器332_1处接收到的预测模式信息来确定用于当前块的预测模式，可以基于在运动信息导出器332_2处接收到的关于运动信息的信息来导出当前块的运动信息(运动矢量和/或参考图片索引等)，并且可以在预测样本导出器332_3处导出当前块的预测样本。

解码设备基于接收到的残差信息来生成当前块的残差样本(S930)。解码设备可以基于残差样本和预测样本来生成当前块的重构样本，并且基于这些重构样本来生成重构图片(S940)。在下文中，可以如上所述对重构图片应用环路内滤波过程等。

同时，如上所述，可以对高级别语法(HLS)进行编译/用信号通知以用于视频/图像编译。编译图片可以由一个或多个切片组成。在图片报头中用信号通知描述编译图片的参数，并且在切片报头中用信号通知描述切片的参数。图片报头以NAL单元本身的形式被承载。切片报头存在于包括切片的有效负载(即，切片数据)的NAL单元的开始部分。

每个图片与图片报头相关。图片可以由不同类型的切片(帧内编译的切片(即，I切片)和帧间编译的切片(即，P切片和B切片))组成。因此，图片报头可以包括图片的帧内切片和图片的帧间切片所必需的语法元素。例如，图片报头的语法可以如在下表1中那样。

[表1]

在表1的语法元素之中，在其标题中包括“intra_slice”的语法元素(例如，pic_log2_diff_min_qt_min_cb_intra_slice_luma)是正在相应图片的I切片中使用的语法元素，并且与其标题中包括“inter_slice”的语法元素(例如，pic_log2_diff_min_qt_min_cb_inter_slice、mvp、mvd、mmvd和merge)相关的语法元素(例如，pic_temporal_mvp_enabled_flag)是正在相应图片的P切片和/或B切片中使用的语法元素。

也就是说，图片报头对于每一单个图片包括帧内编译的切片所必需的所有语法元素和帧间编译的切片所必需的语法元素。然而，这仅相对于包括混合类型片的图片(包括所有帧内编译的切片和帧间编译的切片的图片)是有用的。一般而言，由于图片不包括混合类型切片(即，一般图片包括仅帧内编译的切片或仅帧间编译的切片)，所以不必执行所有数据(正在帧内编译的切片中使用的语法元素和正在帧间编译的切片中使用的语法元素)的信令。

已准备以下附图来说明本文档的详细示例。由于详细装置的名称或详细信号/信息的名称被示例性地呈现，所以本文档的技术特征不限于以下附图中使用的详细名称。

本文档提供以下方法以便解决上述问题。每种方法的项目可以被单独地应用，或者可以被相结合地应用。

1.可以用信号通知图片报头中用于指定仅帧内编译的切片所需要的语法元素是否存在于图片报头中的标志。可以将该标志称为intra_signaling_present_flag。

a)当intra_signaling_present_flag等于1时，帧内编译的切片所需要的语法元素存在于图片报头中。同样地，当intra_signaling_present_flag等于0时，帧内编译的切片所需要的语法元素不存在于图片报头中。

b)在与图片报头相关联的图片具有至少一个帧内编译的切片时，图片报头中的intra_signaling_present_flag的值应等于1。

c)即使当与图片报头相关联的图片不具有帧内编译的切片时，图片报头中的intra_signaling_present_flag的值也可以等于1。

d)当图片具有仅包含帧内编译的切片的一个或多个子图片并且预期可以提取一个或多个子图片并且将其与包含一个或多个帧间编译的切片的子图片合并时，应该将intra_signaling_present_flag的值设置为等于1。

2.可以用信号通知图片报头中用于指定仅帧间编译的切片所需要的语法元素是否存在于图片报头中的标志。可以将该标志称为inter_signaling_present_flag。

a)当inter_signaling_present_flag等于1时，帧间编译的切片所需要的语法元素存在于图片报头中。同样地，当inter_signaling_present_flag等于0时，帧间编译的切片所需要的语法元素不存在于图片报头中。

b)在与图像报头相关联的图像具有至少一个帧间编译的切片时，图像报头中的inter_signaling_present_flag的值应等于1。

c)即使当与图片报头相关联的图片不具有帧间编译的切片时，图片报头中的inter_signaling_present_flag的值也可以等于1。

d)当图片具有仅包含帧间编译的切片的一个或多个子图片并且预期可以提取一个或多个子图片并且将其与包含一个或多个帧内编译的切片的子图片合并时，应该将inter_signaling_present_flag的值设置为等于1。

3.可以在诸如图片参数集(PPS)的其他参数集中而不是在图片报头中用信号通知上述标志(intra_signaling_present_flag和inter_signaling_present_flag)。

4.用于用信号通知上述标志的另一替代方案可以如下。

a)可以定义指定帧内编译的切片所需要的语法元素和帧间编译的切片所需要的语法元素是否分别存在于图片报头中的两个变量IntraSignalingPresentFlag和InterSignalingPresentFlag。

b)可以用信号通知图片报头中称作mixed_slice_types_present_flag的标志。当mixed_slice_types_present_flag等于1时，IntraSignalingPresentFlag和InterSignalingPresentFlag的值被设置为等于1。

c)当mixed_slice_types_present_flag等于0时，可以在图片报头中用信号通知称作intra_slice_only_flag的附加标志并且下文适用。如果intra_slice_only_flag等于1，则IntraSignalingPresentFlag的值被设置为1并且InterSignalingPresentFlag的值被设置为0。否则，IntraSignalingPresentFlag的值被设置为等于0并且InterSignalingPresentFlag的值被设置为等于1。

5.可以用信号通知图片报头中固定长度的语法元素，其可以被称作slice_types_idc，指定以下信息。

a)与图片报头相关联的图片是否包含仅帧内编译的切片。对于这种类型，可以将slice_types_idc的值设置为等于0。

b)与图片报头相关联的图片是否包含仅帧间编译的切片。可以将slice_types_idc的值设置为等于1。

c)与图片报头相关联的图片是否可以包含帧内编译的切片和帧间编译的切片。可以将slice_types_idc的值设置为等于2。

注意，当slice_types_idc具有等于2的值时，仍可能的是图片包含仅帧内编译的切片或仅帧间编译的切片。

d)slice_types_idc的其他值可以被保留以供将来使用。

6.对于图片报头中的slice_types_idc语义，可以进一步指定以下约束。

a)当与图片报头相关联的图片具有一个或多个帧内编译的切片时，slice_types_idc的值不应等于1。

b)当与图片报头相关联的图片具有一个或多个帧间编译的切片时，slice_types_idc的值应当不等于0。

7.可以在诸如图片参数集(PPS)的其他参数集中而不是在图片报头中用信号通知slice_types_idc。

作为实施例，编码设备和解码设备可以使用以下表2和表3作为基于如上所述的方法1和2的图片报头的语法和语义。

[表2]

[表3]

参考表2和表3，如果intra_signaling_present_flag的值是1，则这可以表示仅在帧内编译的切片中使用的语法元素存在于图片报头中。如果intra_signaling_present_flag的值是0，则这可以表示仅在帧内编译的切片中使用的语法元素不存在于图片报头中。因此，如果与图片报头相关的图片包括具有I切片的切片类型的一个或多个切片，则intra_signaling_present_flag的值变为1。此外，如果与图片报头相关的图片不包括具有I切片的切片类型的切片时，则intra_signaling_present_flag的值变为0。

如果inter_signaling_present_flag的值是1，则这可以表示仅在帧间编译的切片中使用的语法元素存在于图片报头中。如果inter_signaling_present_flag的值是0，则这可以表示仅在帧间编译的切片中使用的语法元素不存在于图片报头中。因此，如果与图片报头相关的图片包括具有P切片和/或B切片的切片类型的一个或多个切片，则intra_signaling_present_flag的值变为1。此外，如果与图片报头相关的图片不包括具有P切片和/或B切片的切片类型的切片，则intra_signaling_present_flag的值变为0。

此外，在图片包括能够与包括帧间编译的切片的一个或多个子图片合并的包括帧内编译的切片的一个或多个子图片的情况下，intra_signaling_present_flag的值和inter_signaling_present_flag的值都被设置为1。

例如，在当前图片中包括仅帧间编译的切片(P切片和/或B切片)的情况下，编码设备可以将inter_signaling_present_flag的值确定为1，并且将intra_signaling_present_flag的值确定为0。

作为另一示例，在当前图片中包括仅帧内编译的切片(I切片)的情况下，编码设备可以将inter_signaling_present_flag的值确定为0，并且将intra_signaling_present_flag的值确定为1。

作为再一示例，在当前图片中包括至少一个帧间编译的切片或至少一个帧内编译的切片的情况下，编码设备可以总共将inter_signaling_present_flag的值和intra_signaling_present_flag的值确定为1。

在intra_signaling_present_flag的值被确定为0的情况下，编码设备可以生成其中帧内切片所必需的语法元素被排除或省略并且仅帧间切片所必需的语法元素被包括在图片报头中的图像信息。如果inter_signaling_present_flag的值被确定为0，则编码设备可以生成其中帧间切片所必需的语法元素被排除或省略并且仅帧内切片所必需的语法元素被包括在图片报头中的图像信息。

如果从图像信息中的图片报头获得的inter_signaling_present_flag的值是1，则解码设备可以确定在相应图片中包括至少一个帧间编译的切片，并且可以从图片报头解析帧内预测所必需的语法元素。如果inter_signaling_present_flag的值是0，则解码设备可以确定在相应图片中包括仅帧内编译的切片，并且可以从图片报头解析帧内预测所必需的语法元素。如果从图像信息中的图片报头获得的intra_signaling_present_flag的值是1，则解码设备可以确定在相应图片中包括至少一个帧内编译的切片，并且可以从图片报头解析帧内预测所必需的语法元素。如果intra_signaling_present_flag的值是0，则解码设备可以确定在相应图片中包括仅帧间编译的切片，并且可以从图片报头解析帧间预测所必需的语法元素。

作为另一实施例，编码设备和解码设备可以基于上述方法5和6使用以下表4和表5作为图片报头的语法和语义。

[表4]

[表5]

参考表4和表5，如果slice_types_idc的值是0，则这表示与图片报头相关的图片中的所有切片的类型都是I切片。在slice_types_idc的值是1的情况下，这表示与图片报头相关的图片中的所有切片的类型都是P或B切片。在slice_types_idc的值是2的情况下，这表示与图片报头相关的图片中的切片的切片类型是I、P和/或B切片。

例如，如果在当前图片中包括仅帧内编译的切片，则编码设备可以将slice_types_idc的值确定为0，并且可以在图片报头中包括仅帧内切片的解码所必需的语法元素。也就是说，在这种情况下，在图片报头中不包括帧间切片所必需的语法元素。

作为另一示例，如果在当前图片中包括仅帧间编译的切片，则编码设备可以将slice_types_idc的值确定为1，并且可以在图片报头中包括仅帧间切片的解码所必需的语法元素。也就是说，在这种情况下，在图片报头中不包括帧内切片所必需的语法元素。

作为再一示例，如果在当前图片中包括至少一个帧间编译的切片和至少一个帧内编译的切片，则编码设备可以将slice_types_idc的值确定为2，并且可以在图片报头中包括帧间切片的解码所必需的语法元素和帧内切片的解码所必需的语法元素中的全部。

如果从图像信息中的图片报头获得的slice_types_idc的值是0，则解码设备可以确定在相应图片中包括仅帧内编译的切片，并且可以从图片报头解析帧内编译的切片的解码所必需的语法元素。如果slice_types_idc的值是1，则解码设备可以确定在相应图片中包括仅帧间编译的切片，并且可以从图片报头解析帧间编译的切片的解码所必需的语法元素。如果slice_types_idc的值是2，则解码设备可以确定在相应图片中包括至少一个帧内编译的切片和至少一个帧间编译的切片，并且可以从图片报头解析帧内编译的切片的解码所必需的语法元素和帧间编译的切片的解码所必需的语法元素。

作为再一实施例，编码设备和解码设备可以使用表示图片是否包括帧内编译的切片和帧间编译的切片的一个标志。如果该标志是真，即，如果该标志的值是1，则可以将所有帧内切片和帧间切片包括在相应图片中。在这种情况下，可以使用以下表6和表7作为图片报头的语法和语义。

[表6]

[表7]

参考表6和表7，如果mixed_slice_signaling_present_flag的值是1，则这可以表示与相应图片报头相关的图片具有不同类型的一个或多个切片。如果mixed_slice_signaling_present_flag的值是0，则这可以意味着与相应图片报头相关的图片包括仅与单一切片类型相关的数据。

变量InterSignalingPresentFlag和IntraSignalingPresentFlag分别表示帧内编译的切片所必需的语法元素和帧间编译的切片所必需的语法元素是否存在于相应图片报头中。如果mixed_slice_signaling_present_flag的值是1，则IntraSignalingPresentFlag和InterSignalingPresentFlag的值被设置为1。

如果将intra_slice_only_flag的值被设置为1，则这表示IntraSignalingPresentFlag的值被设置为1，并且InterSignalingPresentFlag的值被设置为0。如果intra_slice_only_flag的值被设置为0，则这表示IntraSignalingPresentFlag的值被设置为0，并且InterSignalingPresentFlag的值被设置为1。

如果与图片报头相关的图片具有切片类型为I切片的一个或多个切片，则IntraSignalingPresentFlag的值被设置为1。如果与图片报头相关的图片具有切片类型为P或B切片的一个或多个切片，则InterSignalingPresentFlag的值被设置为1。

例如，如果在当前图片中包括仅帧内编译的切片，则编码设备可以将mixed_slice_signaling_present_flag的值确定为0，可以将intra_slice_only_flag的值确定为1，可以将IntraSignalingPresentFlag的值确定为1，并且可以将InterSignalingPresentFlag的值确定为0。

作为另一示例，如果在当前图片中包括仅帧间编译的切片，则编码设备可以将mixed_slice_signaling_present_flag的值确定为0，可以将intra_slice_only_flag的值确定为0，可以将IntraSignalingPresentFlag的值确定为0，并且可以将InterSignalingPresentFlag的值确定为1。

作为再一示例，如果在当前图片中包括至少一个帧内编译的切片和至少一个帧间编译的切片，则编码设备可以将mixed_slice_signaling_present_flag、IntraSignalingPresentFlag和InterSignalingPresentFlag的值分别确定为1。

如果从图像信息中的图片报头获得的mixed_slice_signaling_present_flag的值是0，则解码设备可以确定在相应图片中包括仅帧内编译的切片或帧间编译的切片。在这种情况下，如果从图片报头获得的intra_slice_only_flag的值是0，则解码设备可以从图片报头解析仅帧间编译的切片的解码所必需的语法元素。如果intra_slice_only_flag的值是1，则解码设备可以从图片报头解析仅帧内编译的切片的解码所必需的语法元素。

如果从图像信息中的图片报头获得的mixed_slice_signaling_present_flag的值是1，则解码设备可以确定在相应图片中包括至少一个帧内编译的切片和至少一个帧间编译的切片，并且可以从图片报头解析帧间编译的切片的解码所必需的语法元素和帧内编译的切片的解码所必需的语法元素。

图11中公开的视频/图像编码方法可以由图2和图12中公开的(视频/图像)编码设备200执行。具体地，例如，图11的S1100可以由编码设备200的预测器220执行，并且S1110至S1130可以由编码设备200的熵编码器240执行。图11中公开的视频/图像编码方法可以包括上面在本文档中描述的实施例。

具体地，参考图11和图12，编码设备的预测器220可以确定当前图片中的当前块的预测模式(S1100)。当前图片可以包括多个切片。编码设备的预测器220可以基于预测模式来生成当前块的预测样本(预测块)。这里，预测模式可以包括帧间预测模式和帧内预测模式。当当前块的预测模式是帧间预测模式时，预测样本可以由预测器220的帧间预测器221生成。当当前块的预测模式是帧内预测模式时，预测样本可以由预测器220的帧内预测器222生成。

编码设备的残差处理器230可以基于预测样本和原始图片(原始块、原始样本)来生成残差样本和残差信息。这里，残差信息是关于残差样本的信息，并且可以包括关于用于残差样本的(量化)变换系数的信息。

编码设备的加法器(或重构器)可以通过将由残差处理器230生成的残差样本和由帧间预测器221或帧内预测器222生成的预测样本相加来生成重构样本(重构图片、重构块、重构样本阵列)。

同时，编码设备的熵编码器240可以基于预测模式来生成指示用于解码过程的帧间预测操作所必需的信息是否存在于与当前图片相关联的图片报头中的第一信息，或指示用于解码过程的帧内预测操作所必需的信息是否存在于与当前图片相关联的图片报头中的第二信息中的至少一个(S1110)。附加地，编码设备的熵编码器240可以生成用于解码过程的帧内预测操作所必需的信息或用于解码过程的帧内预测操作所必需的信息中的至少一个(S1120)。

这里，第一信息和第二信息是包括在图像信息的图片报头中的信息，并且可以对应于前述intra_signalling_present_flag、inter_signalling_present_flag、slice_type_idc、mixed_slice_signalling_present_flag、intra_slice_only_flag、IntraSignallingPresentFlag和/或InterSignallingPresentFlag。

作为示例，在由于在当前图片中包括帧间编译的切片而在与当前图片相关的图片报头中包括用于解码过程的帧间预测操作所必需的信息的情况下，编码设备的熵编码器240可以将第一信息的值确定为1。此外，在由于在当前图片中包括帧内编译的切片而在与当前图片相关的图片报头中包括用于解码过程的帧内预测操作所必需的信息的情况下，编码设备的熵编码器240可以将第二信息的值确定为1。在这种情况下，第一信息可以对应于inter_signaling_present_flag，而第二信息可以对应于intra_signaling_present_flag。可以将第一信息称作第一标志、关于用于帧间切片的语法元素是否存在于图片报头中的信息、针对用于帧间切片的语法元素是否存在于图片报头中的标志、关于当前图片中的切片是否是帧间切片的信息、或针对切片是否是帧间切片的标志。可以将第二信息称作第二标志、关于用于帧内切片的语法元素是否存在于图片报头中的信息、针对用于帧内切片的语法元素是否存在于图片报头中的标志、关于当前图片中的切片是否是帧内切片的信息、或针对切片是否是帧内切片的标志。

同时，在由于在图片中包括仅帧内编译的切片而在对应图片报头中包括仅帧内预测操作所必需的信息的情况下，编码设备的熵编码器240可以将第一信息的值确定为0，并且可以将第二信息的值确定为1。此外，在由于在图片中包括仅帧间编译的切片而在对应图片报头中包括仅帧间预测操作所必需的信息的情况下，可以将第一信息的值确定为1，并且可以将第二信息的值确定为0。相应地，如果第一信息的值是0，则当前图片中的所有切片都可以具有I切片类型。如果第二信息的值是0，则当前图片中的所有切片都可以具有P切片类型或B切片类型。这里，帧内预测操作所必需的信息可以包括用于帧内切片的解码的语法元素，而帧间预测操作所必需的信息可以包括用于帧间切片的解码的语法元素。

作为另一示例，如果当前图片中的所有切片都具有I切片类型，则编码设备的熵编码器240可以将关于切片类型的信息的值确定为0，而如果当前图片中的所有切片都具有P切片类型或B切片类型，则编码设备的熵编码器240可以将关于切片类型的信息的值确定为1。如果当前图片中的所有切片都具有I切片类型、P切片类型、和/或B切片类型(即，图片中的切片的切片类型是混合的)，则编码设备的熵编码器240可以将关于切片类型的信息的值确定为2。在这种情况下，关于切片类型的信息可以对应于slice_type_idc。

作为再一示例，如果当前图片中的所有切片都具有相同的切片类型，则编码设备的熵编码器240可以将关于切片类型的信息的值确定为0，而如果当前图片中的切片具有不同的切片类型，则编码设备的熵编码器240可以将关于切片类型的信息的值确定为1。在这种情况下，关于切片类型的信息可以对应于mixed_slice_signaling_present_flag。

如果关于切片类型的信息的值被确定为0，则可以在对应的图片报头中包括关于在切片中是否包括帧内切片的信息。关于在切片中是否包括帧内切片的信息可以对应于intra_slice_only_flag。如果图片中的所有切片都具有I切片类型，则编码设备的熵编码器240可以将关于在切片中是否包括帧内切片的信息的值确定为1，将关于用于帧内切片的语法元素是否存在于图片报头中的信息的值确定为1，并且将关于用于帧间切片的语法元素是否存在于图片报头中的信息的值确定为0。如果图片中的所有切片的切片类型是P切片类型和/或B切片类型，则编码设备的熵编码器240可以将关于在切片中是否包括帧内切片的信息的值确定为0，将关于用于帧内切片的语法元素是否存在于图片报头中的信息的值确定为0，并且将关于用于帧间切片的语法元素是否存在于图片报头中的信息的值确定为1。

编码设备的熵编码器240可以对包括上述第一信息和第二信息、帧间预测操作所必需的信息或帧内预测操作所必需的信息、关于切片类型的信息等以及残差信息、预测相关信息等的图像信息进行编码(S1130)。例如，图像信息可以包括分区相关信息、关于预测模式的信息、残差信息、环路内滤波相关信息、第一信息、第二信息、切片类型信息等，并且包括与它们相关的各种语法元素。在示例中，图像信息可以包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)、视频参数集(VPS)等的各种参数集的信息。另外，图像信息可以包括诸如图片报头语法、图片报头结构语法、切片报头语法、编译单元语法等的各种信息。可以将上述第一信息、第二信息、关于切片类型的信息、帧内预测操作所必需的信息和帧间预测操作所必需的信息包括在图片报头中的语法中。

可以以比特流的形式输出由编码设备的熵编码器240编码的信息。可以通过网络或存储介质来将比特流发送到解码设备。

图13中公开的视频/图像解码方法可以由图3和图14中公开的(视频/图像)解码设备300执行。具体地，例如，可以在解码设备的熵解码器310中执行图13的S1300和S1320，并且可以在解码设备300的预测器330中执行S1330。图13中公开的视频/图像解码方法可以包括上面在本文档中描述的实施例。

参考图13和图14，解码设备的熵解码器310可以从比特流获得图像信息(S1300)。图像信息可以包括与当前图片相关联的图片报头。当前图片可以包括多个切片。

同时，解码设备的熵解码器310可以从图片报头中解析指示用于解码过程的帧间预测操作所必需的信息是否存在于与当前图片相关联的图片报头中的第一标志或指示用于解码过程的帧内预测操作所必需的信息是否存在于与当前图片相关联的图片报头中的第二标志中的至少一个(S1310)。这里，第一标志和第二标志可以对应于前述intra_signalling_present_flag、inter_signalling_present_flag、slice_type_idc、mixed_slice_signalling_present_flag、intra_slice_only_flag、IntraSignallingPresentFlag和/或InterSignallingPresentFlag。解码设备的熵解码器310可以基于上述表2、表4和表6中的任何一个的图片报头语法来解析包括在图像信息的图片报头中的语法元素。

解码设备可以通过基于第一标志、第二标志和关于切片类型的信息对当前图片中的切片执行帧内预测或帧间预测中的至少一种来生成预测样本。

具体地，解码设备的熵解码器310可以基于第一标志、第二标志、关于切片类型的信息等从与当前图片相关联的图片报头中解析(或获得)用于解码过程的帧间预测操作所必需的信息或用于解码过程的帧内预测操作所必需的信息中的至少一个(S1320)。解码设备的预测器330可以通过基于帧内预测操作所必需的信息和关于帧间预测的信息中的至少一个对当前图片中的当前块执行帧内预测和/或帧间预测来生成预测样本(S1330)。这里，帧内预测操作所必需的信息可以包括用于对帧内切片进行解码的语法元素，而帧间预测操作所必需的信息可以包括用于对帧间切片进行解码的语法元素。

作为示例，如果第一标志的值是0，则解码设备的熵解码器310可以确定(或决定)用于帧间预测的语法元素不存在于图片报头中，并且可以从图片报头解析仅帧内预测操作所必需的信息。如果第一标志的值是1，则解码设备的熵解码器310可以确定(或决定)用于帧间预测的语法元素存在于图片报头中，并且可以从图片报头解析帧间预测操作所必需的信息。在这种情况下，第一标志可以对应于inter_signaling_present_flag。

此外，如果第二标志的值是0，则解码设备的熵解码器310可以确定(或决定)用于帧内预测的语法元素不存在于图片报头中，并且可以从图片报头解析仅帧间预测操作所必需的信息。如果第二标志的值是1，则解码设备的熵解码器310可以确定(或决定)用于帧内预测的语法元素存在于图片报头中，并且可以从图片报头解析帧内预测操作所必需的信息。在这种情况下，第二标志可以对应于intra_signaling_present_flag。

如果第一标志的值是0，则解码设备可以确定当前图片中的所有切片都具有I切片的类型。如果第一标志的值是1，则解码设备可以确定当前图片中的0个或多个切片具有P切片或B切片的类型。换句话说，如果第一标志的值是1，则可以在当前图片中包括具有P切片类型或B切片类型的切片，或者可以不在当前图片中包括具有P切片类型或B切片类型的切片。

此外，如果第二标志的值是0，则解码设备可以确定当前图片中的所有切片都具有P切片或B切片的类型。如果第二标志的值是1，则解码设备可以确定当前图片中的0个或多个切片具有I切片的类型。换句话说，如果第二标志的值是1，则可以在当前图片中包括具有I切片的类型的切片，或者可以不在当前图片中包括具有I切片的类型的切片。

作为另一示例，如果关于切片类型的信息的值是0，则解码设备的熵解码器310可以确定当前图片中的所有切片都具有I切片类型，并且可以解析仅帧内预测操作所必需的信息。如果关于切片类型的信息是1，则解码设备的熵解码器310可以确定相应图片中的所有切片都具有P切片类型或B切片类型，并且可以从图片报头解析仅帧间预测操作所必需的信息。如果切片类型的信息的值是2，则解码设备的熵解码器310可以确定对于相应图片中的切片具有其中I切片类型、P切片类型和/或B切片类型混合的切片类型，并且可以从图片报头解析帧间预测操作所必需的信息和帧内预测操作所必需的信息中的全部。在这种情况下，关于切片类型的信息可以对应于slice_type_idc。

作为再一示例，解码设备的熵解码器310在关于切片类型的信息的值被确定为0的情况下可以确定当前图片中的所有切片都具有相同的切片类型，并且在关于切片类型的信息的值被确定为1的情况下可以确定当前图片中的切片具有不同的切片类型。在这种情况下，关于切片类型的信息可以对应于mixed_slice_signalling_present_flag。

如果关于切片类型的信息的值被确定为0，则解码设备的熵解码器310可以从图片报头解析关于在切片中是否包括帧内切片的信息。关于在切片中是否包括帧内切片的信息可以对应于如上所述的intra_slice_only_flag。如果关于在切片中是否包括帧内切片的信息是1，则图片中的所有切片都可以具有I切片类型。

如果关于在切片中是否包括帧内切片的信息的值是1，则编码设备的熵解码器310可以从图片报头解析仅帧内预测操作所必需的信息。如果关于在切片中是否包括帧内切片的信息的值是0，则解码设备的熵解码器310可以从图片报头解析仅帧间预测操作所必需的信息。

如果关于切片类型的信息的值是1，则解码设备的熵解码器310可以从图片报头解析帧间预测操作所需的信息和帧内预测操作所必需的信息中的全部。

同时，解码设备的残差处理器320可以基于由熵解码器310获得的残差信息来生成残差样本。

解码设备的加法器340可以基于由预测器330生成的预测样本和由残差处理器320生成的残差样本来生成重构样本。此外，解码设备的加法器340可以基于重构样本来生成重构图片(重构块)。

此后，根据需要，为了提高主观/客观图片质量，可以对重构图片应用环路内滤波过程，诸如解块滤波、SAO和/或AFL过程。

尽管已经在上述实施例中基于在其中按顺序列举步骤或框的流程图描述了方法，但是本公开的步骤不限于特定次序，并且可以相对于上述次序在不同步骤中或按不同次序或同时地执行某个步骤。此外，本领域的普通技术人员应理解，流程图中的步骤不是排他性的，并且在不对本公开的范围施加影响的情况下，可以在其中包括另一步骤或者可以删除流程图中的一个或多个步骤。

根据本公开的以上提到的方法可以是软件的形式，并且根据本公开的编码设备和/或解码设备可以被包括在用于执行图像处理的装置(例如，TV、计算机、智能电话、机顶盒、显示装置等)中。

当用软件实现本公开的实施例时，可以用执行以上提到的功能的模块(处理或功能)实现以上提到的方法。模块可以被存储在存储器中并且由处理器执行。存储器可以安装在处理器的内部或外部，并可以经由各种公知装置连接到处理器。处理器可以包括专用集成电路(ASIC)、其他芯片集、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器、存储卡、存储介质和/或其他存储装置。换句话说，根据本公开的实施例可以在处理器、微处理器、控制器或芯片上实现和执行。例如，相应图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。在这种情况下，关于实现方式的信息(例如，关于指令的信息)或算法可以被存储在数字存储介质中。

另外，应用本公开的实施例的解码设备和编码设备可以被包括在多媒体广播收发器、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、便携式摄像机、视频点播(VoD)服务提供器、顶置(OTT)视频装置、互联网流传输服务提供器、3D视频装置、虚拟现实(VR)装置、增强现实(AR)装置、图像电话视频装置、车载终端(例如，车(包括自主车辆)载终端、飞机终端或轮船终端)和医疗视频装置中；并且可以被用于处理图像信号或数据。例如，OTT视频装置可以包括游戏控制台、Blueray(蓝光)播放器、联网TV、家庭影院系统、智能手机、平板PC和数字视频记录仪(DVR)。

另外，应用本公开的实施例的处理方法能够以由计算机执行的程序的形式产生，并可以被存储在计算机可读记录介质中。根据本公开的实施例的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括存储有计算机可读数据的所有种类的存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质还包括以载波(例如，互联网上的传输)的形式实施的媒体。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线或无线通信网络传输。

另外，本公开的实施例可以基于程序代码被实施为计算机程序产品，并且程序代码可以根据本文献的实施例在计算机上执行。程序代码可以被存储在计算机可读载体上。

图15表示可以应用本公开的实施例的内容流传输系统的示例。

参考图15，被应用本公开的实施例的内容流传输系统可以通常包括编码服务器、流传输服务器、网络(web)服务器、媒体存储、用户设备和多媒体输入装置。

编码服务器用来将从诸如智能电话、照相机、便携式摄像机等这样的多媒体输入装置输入的内容压缩为数字数据，生成比特流，并且将其发送至流传输服务器。作为另一示例，在诸如智能电话、照相机、便携式摄像机等这样的多媒体输入装置直接生成码流的情况下，可以省略编码服务器。

可以通过本公开的实施例应用于的编码方法或比特流生成方法来生成比特流。并且流传输服务器可在发送或接收比特流的过程中暂时存储比特流。

流传输服务器基于用户的请求通过网络服务器向用户设备发送多媒体数据，该网络服务器充当向用户通知存在什么服务的工具。当用户请求用户想要的服务时，网络服务器将请求转移至流传输服务器，并且流传输服务器将多媒体数据传送至用户。在这方面，内容流系统可包括单独的控制服务器，并且在这种情况下，控制服务器用来控制内容流系统中的各个设备之间的命令/响应。

流传输服务器可从媒体存储装置和/或编码服务器接收内容。例如，在从编码服务器接收到内容的情况下，可实时地接收内容。在这种情况下，流传输服务器可将比特流存储预定时间段以流畅地提供流传输服务。

例如，用户设备可包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、板式PC、平板PC、超极本、可穿戴装置(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(HMD))、数字TV、台式计算机、数字标牌等。

可将内容流系统中的每个服务器作为分布式服务器操作，并且在这种情况下，可以分布式方式处理由每个服务器接收的数据。

Claims

1.一种用于图像解码的解码装置，所述解码装置包括：

存储器；以及

至少一个处理器，所述至少一个处理器连接到所述存储器，所述至少一个处理器被配置为：

接收比特流，其中，所述比特流的图像信息包括与当前图片相关联的图片报头，并且多个切片被包括在所述当前图片中；

从所述图片报头中解析第一标志或第二标志中的至少一个，其中，所述第一标志与用于帧间切片的信息是否存在于所述图片报头中相关，并且所述第二标志与用于帧内切片的信息是否存在于所述图片报头中相关；

基于所述第一标志或所述第二标志中的至少一个，从所述图片报头中解析用于所述帧间切片的信息或用于所述帧内切片的信息中的至少一个；

基于用于所述帧间切片的信息和用于所述帧内切片的信息中的至少一个来生成所述当前图片中的所述切片中的块的预测样本，其中，所述预测样本是基于帧内预测或帧间预测中的至少一个而生成的，

基于残差信息生成残差样本，其中所述残差信息被包括在所述图像信息中；以及

基于所述预测样本和所述残差样本生成重构样本，

其中，基于所述第二标志的值等于1，包括第一语法元素或第二语法元素中的至少一个的用于所述帧内切片的信息被包括在所述图片报头中，所述第一语法元素表示由四叉树分割产生的最小大小的以2为底的对数与所述当前图片中的所述帧内切片中的最小编译块大小的以2为底的对数之间的差，所述第二语法元素表示在所述当前图片中的所述帧内切片中由多类型树分割产生的编译单元的最大层级深度。

2.一种用于图像编码的编码装置，所述编码装置包括：

存储器；以及

确定当前图片中的切片的类型，其中，所述切片被包括在所述当前图片中；

生成第一标志或第二标志中的至少一个，其中，所述第一标志与用于帧间切片的信息是否存在于与所述当前图片相关联的图片报头中相关，并且所述第二标志与用于帧内切片的信息是否存在于所述图片报头中相关；

生成用于所述帧间切片的信息或用于所述帧内切片的信息中的至少一个；

基于预测模式生成用于所述当前图片中的所述切片中的块的预测样本；

基于所述预测样本生成残差样本；

基于所述残差样本生成残差信息；以及

对包括所述第一标志、所述第二标志、用于所述帧间切片的信息、用于所述帧内切片的信息以及所述残差信息中的至少一个的图像信息进行编码，

其中，所述第一标志和所述第二标志被包括在所述图像信息的所述图片报头中，

3.一种用于发送用于图像的数据的装置，所述装置包括：

至少一个处理器，所述至少一个处理器被配置为获得所述图像的比特流，其中，所述比特流是基于以下步骤生成的：确定当前图片中的切片的类型，其中，所述切片被包括在所述当前图片中，生成第一标志或第二标志中的至少一个，其中，所述第一标志与用于帧间切片的信息是否存在于与所述当前图片相关联的图片报头中相关，并且所述第二标志与用于帧内切片的信息是否存在于所述图片报头中相关，生成用于所述帧间切片的信息或用于所述帧内切片的信息中的至少一个，基于预测模式生成用于所述当前图片中的所述切片中的块的预测样本，基于所述预测样本生成残差样本，基于所述残差样本生成残差信息，以及对包括所述第一标志、所述第二标志、用于所述帧间切片的信息、用于所述帧内切片的信息以及所述残差信息中的至少一个的图像信息进行编码；以及

发送器，所述发送器被配置为发送包括所述比特流的所述数据，