CN114902667A - 基于色度量化参数偏移信息的图像或视频编码 - Google Patents

基于色度量化参数偏移信息的图像或视频编码 Download PDF

Info

Publication number
CN114902667A
CN114902667A CN202080090759.7A CN202080090759A CN114902667A CN 114902667 A CN114902667 A CN 114902667A CN 202080090759 A CN202080090759 A CN 202080090759A CN 114902667 A CN114902667 A CN 114902667A
Authority
CN
China
Prior art keywords
information
quantization parameter
offset
chroma
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080090759.7A
Other languages
English (en)
Inventor
亨得利·亨得利
金昇焕
赵杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN114902667A publication Critical patent/CN114902667A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据本文的公开内容,色度量化参数偏移相关信息可以通过调色板语法编码来发信号通知,并且用于色度量化参数偏移列表的索引信息可以基于关于色度量化参数偏移列表中的条目的数目的信息来高效地解析/发信号通知。因此,可以减少为了编码视频/图像而需要发信号通知的比特,并且可以提高编码效率。

Description

基于色度量化参数偏移信息的图像或视频编码
技术领域
本技术涉及视频或图像编码,例如基于色度量化参数偏移信息的编码技术。
背景技术
最近,在各种领域中对诸如4K或8K超高清(UHD)图像/视频的高分辨率、高质量图像/视频的需求不断增加。随着图像/视频分辨率或质量变得更高,与传统图像/视频数据相比发送相对更多的信息或比特。因此,如果图像/视频数据经由诸如现有有线/无线宽带线路的介质发送或被存储在传统存储介质中,则传输和存储的成本容易增加。
此外,对诸如虚拟现实(VR)、人工现实(AR)内容或全息图这样的沉浸式媒体的兴趣和需求日益增长。表现出与实际图像不同的图像特性的图像和视频(例如,游戏图像)的广播也日益增长。
因此,需要高度高效的图像/视频压缩技术来有效地压缩并发送、存储或播放如上所述显示出各种特性的高分辨率、高质量图像/视频。
另外,需要用于有效地发信号通知图像/视频信息并提高编码效率的方法,并且为此目的,需要用于有效地发信号通知与色度量化参数相关的信息的方法。
发明内容
技术问题
本文献要提供用于提高视频/图像编码效率的方法和设备。
本文献还要提供用于高效地解析/发信号通知调色板编码和/或变换单元相关信息的方法和设备。
本文献还要提供用于定义用于有效解析/发信号通知调色板编码和/或变换单元相关信息的条件并且用于基于该条件解析/发信号通知相应信息的方法和设备。
本文献还要提供用于有效地解析/发信号通知调色板编码和/或变换单元中的色度量化参数偏移相关信息的方法和设备。
技术方案
根据本文的实施方式,调色板编码语法可以包括色度量化参数偏移相关信息,并且可以基于关于色度量化参数偏移列表中的条目的数目的信息来解析/发信号通知色度量化参数偏移相关信息。例如,色度量化参数偏移相关信息可以是色度量化参数偏移列表的索引信息。
根据本文的实施方式,基于关于色度量化参数偏移列表中的条目的数目的信息的值大于0,关于色度量化参数偏移列表的索引信息可被包括在调色板编码语法中。
根据本公开的实施方式,提供了由解码设备执行的视频/图像解码方法。该视频/图像解码方法可以包括本公开的实施方式中公开的方法。
根据本公开的实施方式,提供了用于执行视频/图像解码的解码设备。该解码设备可以执行本公开的实施方式中公开的方法。
根据本公开的实施方式,提供了由编码设备执行的视频/图像编码方法。该视频/图像编码方法可以包括本公开的实施方式中公开的方法。
根据本公开的实施方式,提供了用于执行视频/图像编码的编码设备。该编码设备可以执行本公开的实施方式中公开的方法。
根据本公开的实施方式,提供了存储根据本公开的实施方式中的至少一个中公开的视频/图像编码方法生成的编码后的视频/图像信息的计算机可读数字存储介质。
根据本公开的实施方式,提供了存储使解码设备执行本公开的实施方式中的至少一个中公开的视频/图像解码方法的编码后的信息或编码后的视频/图像信息的计算机可读数字存储介质。
技术效果
本文献可以具有各种效果。例如,根据本文献的实施方式,可以提高整体图像/视频压缩效率。另外,根据本文献的实施方式,可以高效地解析/发信号通知调色板编码和/或变换单元相关信息。另外,根据本文献的实施方式,通过定义用于有效解析/发信号通知调色板编码和/或变换单元相关信息的条件,可以根据该条件无冗余地对相应信息进行有效编码。另外,根据本文献的实施方式,通过基于调色板编码和/或变换单元中色度量化参数偏移列表中的条目数目的条件来确定是否解析色度量化参数偏移列表的索引信息,可以提高编码效率,并且可以获得节省所发送比特的效果。
可以通过本文献的详细示例获得的效果不限于以上列举的效果。例如,可以存在可以被相关技术的普通技术人员从本文献中理解或归纳的各种技术效果。因此,本文献的详细效果不限于在本文献中明确阐述的效果,而是可以包括可以从本文献的技术特征中理解或归纳的各种效果。
附图说明
图1简要例示了适用本文献的实施方式的视频/图像编码装置的示例。
图2是例示了可以应用本文献的实施方式的视频/图像编码设备的配置的示意图。
图3是例示了可以应用本文献的实施方式的视频/图像解码设备的配置的示意图。
图4表示可应用本文的实施方式的示意性视频/图像编码过程的示例。
图5表示可应用本文的实施方式的示意性视频/图像解码过程的示例。
图6示意性地示出了可应用本文的实施方式的熵编码方法的示例,图7示意性地示出了编码设备中的熵编码器。
图8示意性地示出了可应用本文的实施方式的熵解码方法的示例,图9示意性地示出了编码设备中的熵解码器。
图10示例性地表示编码图像/视频的层次结构。
图11是用于解释基于调色板模式的编码方法的示例的示图。
图12和图13示意性地示出了根据本文的实施方式的视频/图像编码方法和相关组件的示例。
图14和图15示意性地示出了根据本文的实施方式的视频/图像解码方法和相关组件的示例。
图16示出了可应用本文中公开的实施方式的内容流传输系统的示例。
具体实施方式
本公开可按各种形式修改,将描述并且在附图中图示其特定实施方式。然而,这些实施方式并非旨在限制本公开。以下描述中使用的术语仅用于描述特定实施方式,而非旨在限制本公开。单数表达包括复数表达,只要清楚地不同解读即可。诸如“包括”和“具有”的术语旨在指示存在以下描述中使用的特征、数量、步骤、操作、元件、组件或其组合,因此应该理解,不排除存在或添加一个或更多个不同的特征、数量、步骤、操作、元件、组件或其组合的可能性。
另外,本文件描述的附图的各个配置是为了说明作为彼此不同的特征的功能而独立的图示的,并不意指各个配置通过彼此不同的硬件或不同的软件被实现。例如,可以组合配置中的两个以上的配置以形成一个配置,并且也可以将一个配置划分为多个配置。在不脱离本文件的主旨的情况下,配置被组合和/或分离的实施例被包括在权利要求范围内。
在本公开中,术语“A或B”可以意指“仅A”、“仅B”或“A和B二者”。换句话说,在本公开中,术语“A或B”可以被解释为指示“A和/或B”。例如,在本公开中,术语“A、B或C”可以意指“仅A”、“仅B”、“仅C”或“A、B、C的任何组合”。
在本公开中使用的斜杠“/”或逗号可以意指“和/或”。例如,“A/B”可以意指“A和/或B”。因此,“A/B”可以意指“仅A”、“仅B”或“A和B二者”。例如,“A、B、C”可以意指“A、B或C”。
在本公开中,“A和B中的至少一个”可以意指“仅A”、“仅B”或“A和B二者”。另外,在本公开中,表述“A或B中的至少一个”或“A和/或B中的至少一个”可以被解释为与“A和B中的至少一个”相同。
另外,在本公开中,“A、B和C中的至少一个”可以意指“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。另外,“A、B或C中的至少一个”或“A、B和/或C中的至少一个”可以意指“A、B和C中的至少一个”。
另外,本公开中使用的括号可以意指“例如”。具体地,在表达“预测(帧内预测)”的情况下,可以表明“帧内预测”被提议作为“预测”的示例。换句话说,本公开中的术语“预测”不限于“帧内预测”,并可以表明“帧内预测”被提议作为“预测”的示例。另外,即使在表达“预测(即,帧内预测)”的情况下,也可以表明“帧内预测”被提议作为“预测”的示例。
本公开涉及视频/图像编码。例如,本公开中公开的方法/实施方式可以应用于通用视频编码(VVC)中公开的方法。另外,本公开中公开的方法/实施方式可以应用于基本视频编码(EVC)标准、AOMedia Video 1(AV1)标准、第二代音频视频编码标准(AVS2)或下一代视频/图像编码标准(例如,H.267或H.268等)中公开的方法。
本公开提出了视频/图像编码的各种实施方式,并且除非另外提到,否则这些实施方式可以彼此组合地执行。
在本公开中,视频可以意指根据时间推移的一系列图像的集合。图片通常意指表示特定时间段中的一个图像的单元,并且切片/图块是编码时构成图片的一部分的单元。切片/图块可以包括一个或更多个编码树单元(CTU)。一个图片可以由一个或更多个切片/图块组成。图块是图片中的特定图块列和特定图块行内的CTU的矩形区域。图块列是高度等于图片的高度并且宽度由图片参数集中的语法元素指定的CTU的矩形区域。图块行是高度由图片参数集中的语法元素指定并且宽度等于图片宽度的CTU的矩形区域。图块扫描是以下的分割图片的CTU的特定顺序排序:在图块中按CTU光栅扫描对CTU进行连续排序,而按图片的图块的光栅扫描对图片中的图块进行连续排序。一个切片包括可以被排他性包含在单个NAL单元中的图片的图块内的整数个连续的完整CTU行或整数个完整图块。
此外,一个图片可以被划分为两个或更多个子图片。子图片可以是图片内的一个或更多个切片的矩形区域。
像素或像元(pel)可意指构成一个图片(或图像)的最小单元。另外,“样本”可用作与像素对应的术语。样本通常可表示像素或像素值,并且可仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
单元可表示图像处理的基本单位。单元可包括图片的特定区域和与该区域有关的信息中的至少一个。一个单元可包括一个亮度块和两个色度(例如,cb、cr)块。在一些情况下,单元可与诸如块或区域的术语互换使用。在一般情况下,M×N块可包括M列和N行的样本(或样本阵列)或变换系数的集合(或阵列)。另选地,样本可意指空间域中的像素值,并且当这样的像素值被变换到频域时,它可意指频域中的变换系数。
另外,在本公开中,量化/反量化和/或变换/逆变换中的至少一个可以被省略。当量化/反量化被省略时,量化变换系数可以被称为变换系数。当变换/逆变换被省略时,变换系数可以被称为系数或残差系数,或者为了表述的一致性,可以仍被称为变换系数。
在本公开中,量化变换系数和变换系数可以分别被称为变换系数和缩放后的变换系数。在这种情况下,残差信息可以包括关于变换系数的信息,并可以通过残差编码语法发信号通知关于变换系数的信息。可以基于残差信息(或关于变换系数的信息)来推导变换系数,并且可以通过对变换系数的逆变换(缩放)来推导缩放后的变换系数。可以基于对缩放后的变换系数的逆变换(变换)来推导残差样本。这也可以在本公开的其它部分中应用/表达。
在本公开中,在一个附图中分别说明的技术特征可以分别实现,或者可以同时实现。
下文中,参考附图更具体地描述本公开的优选实施方式。下文中,在附图中,相同的附图标记被用于相同的元件,并且可以省略对相同元件的冗余描述。
图1例示本文的实施方式可应用于的视频/图像编码系统的示例。
参照图1,视频/图像编码系统可包括源装置和接收装置。源装置可通过数字存储介质或网络将编码的视频/图像信息或数据以文件或流的形式传送至接收装置。
源装置可包括视频源、编码设备和发送器。接收装置可包括接收器、解码设备和渲染器。编码设备可被称为视频/图像编码设备,解码设备可被称为视频/图像解码设备。发送器可被包括在编码设备中。接收器可被包括在解码设备中。渲染器可包括显示器,并且显示器可被配置为单独的装置或外部组件。
视频源可通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可包括视频/图像捕获装置,和/或视频/图像生成装置。例如,视频/图像捕获装置可包括一个或更多个照相机、包括先前捕获的视频/图像的视频/图像档案等。例如,视频/图像生成装置可包括计算机、平板计算机和智能电话,并且可(以电子方式)生成视频/图像。例如,可通过计算机等生成虚拟视频/图像。在这种情况下,视频/图像捕获处理可由生成相关数据的处理代替。
编码设备可对输入视频/图像进行编码。为了压缩和编码效率,编码设备可执行诸如预测、变换和量化的一系列过程。编码的数据(编码的视频/图像信息)可按比特流的形式输出。
发送器可通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像信息或数据以文件或流的形式发送至接收装置的接收器。数字存储介质可包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。发送器可包括用于通过预定文件格式生成媒体文件的元件,并且可包括用于通过广播/通信网络传输的元件。接收器可接收/提取比特流并且将所接收的比特流发送至解码设备。
解码设备可通过执行与编码设备的操作对应的诸如反量化、逆变换和预测的一系列过程对视频/图像进行解码。
渲染器可渲染解码的视频/图像。渲染的视频/图像可通过显示器显示。
图2是示意性例示了适用本公开的实施方式的视频/图像编码设备的配置的示图。下文中,编码设备可以包括图像编码设备和/或视频编码设备。
参照图2,编码设备200包括图像分割器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可包括帧间预测器221和帧内预测器222。残差处理器230可包括变换器232、量化器233、反量化器234和逆变换器235。残差处理器230还可包括减法器231。加法器250可被称为重构器或重构块生成器。根据实施方式,图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可由至少一个硬件组件(例如,编码器芯片组或处理器)配置。另外,存储器270可包括解码图片缓冲器(DPB),或者可由数字存储介质配置。硬件组件还可包括存储器270作为内部/外部组件。
图像分割器210可将输入到编码设备200的输入图像(或者图片或帧)分割成一个或更多个处理器。例如,处理器可被称为编码单元(CU)。在这种情况下,编码单元可根据四叉树二叉树三叉树(QTBTTT)结构从编码树单元(CTU)或最大编码单元(LCU)递归地分割。例如,一个编码单元可基于四叉树结构、二叉树结构和/或三元结构被分割成深度更深的多个编码单元。在这种情况下,例如,可首先应用四叉树结构,稍后可应用二叉树结构和/或三元结构。另选地,可首先应用二叉树结构。可基于不再分割的最终编码单元来执行根据本公开的编码过程。在这种情况下,根据图像特性基于编码效率等,最大编码单元可用作最终编码单元,或者如果需要,编码单元可被递归地分割成深度更深的编码单元并且具有最优大小的编码单元可用作最终编码单元。这里,编码过程可包括预测、变换和重构的过程(将稍后描述)。作为另一示例,处理器还可包括预测单元(PU)或变换单元(TU)。在这种情况下,预测单元和变换单元可从上述最终编码单元拆分或分割。预测单元可以是样本预测的单元,变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
在一些情况下,单元可与诸如块或区域的术语互换使用。在一般情况下,M×N块可表示由M列和N行组成的样本或变换系数的集合。样本通常可表示像素或像素值,可仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。样本可用作与像素或像元的一个图片(或图像)对应的术语。
在编码设备200中,从输入图像信号(原始块、原始样本阵列)减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差块、残差样本阵列),并且所生成的残差信号被发送到变换器232。在这种情况下,如所示,在编码器200中从输入图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元可被称为减法器231。预测器可对要处理的块(以下,称为当前块)执行预测并且生成包括当前块的预测样本的预测块。预测器可确定基于当前块或CU应用帧内预测还是帧间预测。如在各个预测模式的描述中稍后描述的,预测器可生成与预测有关的各种类型的信息(例如,预测模式信息)并将所生成的信息发送到熵编码器240。关于预测的信息可在熵编码器240中编码并以比特流的形式输出。
帧内预测器222可参考当前图片中的样本来预测当前块。根据预测模式,所参考的样本可位于当前块附近或者可隔开。在帧内预测中,预测模式可包括多个非定向模式和多个定向模式。例如,非定向模式可包括DC模式和平面模式。例如,根据预测方向的详细程度,定向模式可包括33个定向预测模式或65个定向预测模式。然而,这仅是示例,可根据设置使用更多或更少的定向预测模式。帧内预测器222可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器221可基于参考图片上运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块。这里,为了减少在帧间预测模式下发送的运动信息量,可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动向量和参考图片索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下,邻近块可包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可相同或不同。时间邻近块可被称为并置参考块、并置CU(colCU)等,并且包括时间邻近块的参考图片可被称为并置图片(colPic)。例如,帧间预测器221可基于邻近块来配置运动信息候选列表并且生成指示哪一候选用于推导当前块的运动向量和/或参考图片索引的信息。可基于各种预测模式执行帧间预测。例如,在跳过模式和合并模式的情况下,帧间预测器221可使用邻近块的运动信息作为当前块的运动信息。在跳过模式下,与合并模式不同,可不发送残差信号。在运动向量预测(MVP)模式的情况下,邻近块的运动向量可用作运动向量预测器,并且可通过用信号通知运动向量差来指示当前块的运动向量。
预测器220可基于下面描述的各种预测方法来生成预测信号。例如,预测器可不仅应用帧内预测或帧间预测以预测一个块,而且同时应用帧内预测和帧间预测二者。这可被称为组合帧间和帧内预测(CIIP)。另外,预测器可基于帧内块复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可用于游戏等的内容图像/视频编码,例如屏幕内容编码(SCC)。IBC基本上在当前图片中执行预测,但是可与帧间预测相似地执行,使得在当前图片中推导参考块。即,IBC可使用本文中描述的至少一个帧间预测技术。调色板模式可被视为帧内编码或帧内预测的示例。当应用调色板模式时,可基于关于调色板表和调色板索引的信息用信号通知图片内的样本值。
通过预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可用于生成重构信号或生成残差信号。变换器232可通过对残差信号应用变换技术来生成变换系数。例如,变换技术可包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen–Loève变换(KLT)、基于图形的变换(GBT)或条件非线性变换(CNT)中的至少一个。这里,当像素之间的关系信息由图形表示时,GBT意指从图形获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号生成的变换。另外,变换处理可应用于具有相同大小的正方形像素块或者可应用于具有正方形以外的可变大小的块。
量化器233可将变换系数量化并将它们发送到熵编码器240,并且熵编码器240可对量化的信号(关于量化的变换系数的信息)进行编码并输出比特流。关于量化的变换系数的信息可被称为残差信息。量化器233可基于系数扫描顺序将块类型量化的变换系数重排为一维向量形式,并且基于一维向量形式的量化的变换系数来生成关于量化的变换系数的信息。可生成关于变换系数的信息。熵编码器240可执行例如指数Golomb编码、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等的各种编码方法。熵编码器240可对量化的变换系数以外的视频/图像重构所需的信息(例如,句法元素的值等)一起或单独地进行编码。编码的信息(例如,编码的视频/图像信息)可按比特流的形式以NAL(网络抽象层)为单位发送或存储。视频/图像信息还可包括关于各种参数集的信息,例如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。另外,视频/图像信息还可包括一般约束信息。在本文中,从编码设备发送/用信号通知给解码设备的信息和/或句法元素可被包括在视频/图片信息中。视频/图像信息可通过上述编码过程编码并被包括在比特流中。比特流可经由网络发送或者可被存储在数字存储介质中。网络可包括广播网络和/或通信网络,并且数字存储介质可包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。发送从熵编码器240输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)可被包括作为编码设备200的内部/外部元件,并且另选地,发送器可被包括在熵编码器240中。
从量化器233输出的量化变换系数可用于生成预测信号。例如,可通过经由反量化器234和逆变换器235对量化变换系数应用反量化和逆变换来重构残差信号(残差块或残差样本)。加法器250将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加以生成重构信号(重构图片、重构块、重构样本阵列)。如果要处理的块不存在残差(例如,应用跳过模式的情况),则预测块可用作重构块。加法器250可被称为重构器或重构块生成器。如下所述,所生成的重构信号可用于当前图片中要处理的下一块的帧内预测并且可通过滤波用于下一图片的帧间预测。
此外,可在图片编码和/或重构期间应用与色度缩放的亮度映射(LMCS)。
滤波器260可通过对重构信号应用滤波来改进主观/客观图像质量。例如,滤波器260可通过对重构图片应用各种滤波方法来生成修改的重构图片并将修改的重构图片存储在存储器270(具体地,存储器270的DPB)中。例如,各种滤波方法可包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可生成与滤波有关的各种类型的信息并且将所生成的信息发送到熵编码器240,如在各个滤波方法的描述中稍后描述的。与滤波有关的信息可由熵编码器240编码并以比特流的形式输出。
发送到存储器270的修改的重构图片可用作帧间预测器221中的参考图片。当通过编码设备应用帧间预测时,可避免编码设备200与解码设备之间的预测失配并且编码效率可改进。
存储器270的DPB可存储用作帧间预测器221中的参考图片的修改的重构图片。存储器270可存储推导(或编码)当前图片中的运动信息的块的运动信息和/或图片中已经重构的块的运动信息。所存储的运动信息可被发送到帧间预测器221并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可存储当前图片中的重构块的重构样本并且可将重构样本传送至帧内预测器222。
图3是示意性例示了适用本公开的实施方式的视频/图像解码设备的配置的示图。下文中,解码设备可以包括图像解码设备和/或视频解码设备。
参照图3,解码设备300可包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可包括帧间预测器331和帧内预测器332。残差处理器320可包括反量化器321和逆变换器321。根据实施方式,熵解码310、残差处理器320、预测器330、加法器340和滤波器350可由硬件组件(例如,解码器芯片组或处理器)配置。另外,存储器360可包括解码图片缓冲器(DPB)或者可由数字存储介质配置。硬件组件还可包括存储器360作为内部/外部组件。
当输入包括视频/图像信息的比特流时,解码设备300可重构与在图2的编码设备中处理视频/图像信息的处理对应的图像。例如,解码设备300可基于从比特流获得的块分割相关信息来推导单元/块。解码设备300可使用编码设备中应用的处理器来执行解码。因此,例如,解码的处理器可以是编码单元,并且编码单元可根据四叉树结构、二叉树结构和/或三叉树结构从编码树单元或最大编码单元分割。可从编码单元推导一个或更多个变换单元。通过解码设备300解码和输出的重构图像信号可通过再现设备再现。
解码设备300可接收从图2的编码设备以比特流的形式输出的信号,并且所接收的信号可通过熵解码器310解码。例如,熵解码器310可解析比特流以推导图像重构(或图片重构)所需的信息(例如,视频/图像信息)。视频/图像信息还可包括关于各种参数集的信息,例如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。另外,视频/图像信息还可包括一般约束信息。解码设备还可基于关于参数集的信息和/或一般约束信息将图片解码。本文中稍后描述的用信号通知/接收的信息和/或句法元素可通过解码过程解码并从比特流获得。例如,熵解码器310基于诸如指数Golomb编码、CAVLC或CABAC的编码方法对比特流中的信息进行解码,并且输出图像重构所需的句法元素和残差的变换系数的量化值。更具体地,CABAC熵解码方法可接收与比特流中的各个句法元素对应的信元(bin),使用解码目标句法元素信息、解码目标块的解码信息或在先前阶段中解码的符号/信元的信息来确定上下文模型,并且通过根据所确定的上下文模型预测信元出现的概率对信元执行算术解码,并且生成与各个句法元素的值对应的符号。在这种情况下,CABAC熵解码方法可在确定上下文模型之后通过将解码的符号/信元的信息用于下一符号/信元的上下文模型来更新上下文模型。熵解码器310所解码的信息当中与预测有关的信息可被提供给预测器(帧间预测器332和帧内预测器331),并且在熵解码器310中执行了熵解码的残差值(即,量化的变换系数和相关参数信息)可被输入到残差处理器320。残差处理器320可推导残差信号(残差块、残差样本、残差样本阵列)。另外,熵解码器310所解码的信息当中关于滤波的信息可被提供给滤波器350。此外,用于接收从编码设备输出的信号的接收器(未示出)还可被配置成解码设备300的内部/外部元件,或者接收器可以是熵解码器310的组件。此外,根据本文的解码设备可被称为视频/图像/图片解码设备,并且解码设备可被分类为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可包括熵解码器310,并且样本解码器可包括反量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
反量化器321可将量化的变换系数反量化并输出变换系数。反量化器321可按二维块形式重排量化的变换系数。在这种情况下,可基于在编码设备中执行的系数扫描顺序来执行重排。反量化器321可使用量化参数(例如,量化步长信息)对量化的变换系数执行反量化并且获得变换系数。
逆变换器322对变换系数逆变换以获得残差信号(残差块、残差样本阵列)。
预测器330可对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测并且可确定特定帧内/帧间预测模式。
预测器可基于下述各种预测方法来生成预测信号。例如,预测器不仅可应用帧内预测或帧间预测以预测一个块,而且可同时应用帧内预测和帧间预测。这可被称为组合帧间和帧内预测(CIIP)。另外,预测器可基于帧内块复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可用于游戏等的内容图像/视频编码,例如屏幕内容编码(SCC)。IBC基本上执行当前图片中的预测,但是可与帧间预测相似地执行,使得在当前图片中推导参考块。即,IBC可使用本文中描述的至少一种帧间预测技术。调色板模式可被视为帧内编码或帧内预测的示例。当应用调色板模式时,可基于关于调色板表和调色板索引的信息用信号通知图片内的样本值。帧内预测器331可参考当前图片中的样本来预测当前块。根据预测模式,所参考的样本可位于当前块附近或者可隔开。在帧内预测中,预测模式可包括多个非定向模式和多个定向模式。帧内预测器331可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧内预测器331可参考当前图片中的样本来预测当前块。根据预测模式,所参考的样本可位于当前块附近或者可隔开。在帧内预测中,预测模式可包括多个非定向模式和多个定向模式。帧内预测器331可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器332可基于参考图片上运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下,为了减少在帧间预测模式下发送的运动信息量,可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动向量和参考图片索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下,邻近块可包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。例如,帧间预测器332可基于邻近块来配置运动信息候选列表并且基于所接收的候选选择信息来推导当前块的运动向量和/或参考图片索引。可基于各种预测模式来执行帧间预测,并且关于预测的信息可包括指示当前块的帧间预测模式的信息。
加法器340可通过将所获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构图片、重构块、重构样本阵列)。如果要处理的块不存在残差,例如当应用跳过模式时,预测块可用作重构块。
加法器340可被称为重构器或重构块生成器。所生成的重构信号可用于当前图片中要处理的下一块的帧内预测,可如下所述通过滤波输出,或者可用于下一图片的帧间预测。
此外,可在图片解码处理中应用与色度缩放的亮度映射(LMCS)。
滤波器350可通过对重构信号应用滤波来改进主观/客观图像质量。例如,滤波器350可通过对重构图片应用各种滤波方法来生成修改的重构图片并且将修改的重构图片存储在存储器360(具体地,存储器360的DPB)中。例如,各种滤波方法可包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
存储在存储器360的DPB中的(修改的)重构图片可用作帧间预测器332中的参考图片。存储器360可存储推导(或解码)当前图片中的运动信息的块的运动信息和/或图片中已经重构的块的运动信息。所存储的运动信息可被发送到帧间预测器260以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可存储当前图片中的重构块的重构样本并将重构样本传送至帧内预测器331。
在本公开中,在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式可与解码设备300的滤波器350、帧间预测器332和帧内预测器331相同或分别与之对应应用。这也可适用于单元332和帧内预测器331。
此外,如上所述,在执行视频编码时,执行预测以增强压缩效率。可通过预测生成包括当前块(即,目标编码块)的预测样本的预测块。在这种情况下,预测块包括空间域(或像素域)中的预测样本。预测块在编码设备和解码设备中相同地推导。编码设备可通过用信号向解码设备通知关于原始块(而非原始块的原始样本值本身)与预测块之间的残差的信息(残差信息)来增强图像编码效率。解码设备可基于残差信息来推导包括残差样本的残差块,可通过将残差块和预测块相加来生成包括重构样本的重构块,并且可生成包括重构块的重构图片。
残差信息可通过变换过程和量化过程来生成。例如,编码设备可推导原始块与预测块之间的残差块,可通过对包括在残差块中的残差样本(残差样本阵列)执行变换过程来推导变换系数,可通过对变换系数执行量化过程来推导量化的变换系数,并且可将相关残差信息(通过比特流)用信号通知给解码设备。在这种情况下,残差信息可包括诸如量化的变换系数的值信息、位置信息、变换方案、变换核心和量化参数的信息。解码设备可基于残差信息来执行反量化/逆变换过程并且可推导残差样本(或残差块)。解码设备可基于预测块和残差块来生成重构图片。此外,编码设备可通过对供后续图片的帧间预测参考的量化的变换系数进行反量化/逆变换来推导残差块,并且可生成重构图片。
图4表示可应用本文的实施方式的示意性视频/图像编码过程的示例。在图4中,可以在上述图2中的编码设备的预测器220中执行S400;S410可以在残差处理器230中执行;并且S420可以在熵编码器240中执行。S400可以包括在本文中描述的帧间/帧内预测过程;S410可以包括在本文中描述的残差处理过程;S420可包括在本文中描述的信息编码过程。
参照图4,如关于图2的描述中所表示的,视频/图像编码过程可以示意性地包括:生成用于当前图片的重构图片的过程和对重构图片应用环路滤波的过程(可选),以及对用于图片重构的信息(例如,预测信息,残差信息,分割信息等)进行编码并将其以比特流的形式输出的过程。编码设备可通过反量化器234和逆变换器235从量化后的变换系数推导(修改后的)残差样本,并可基于作为S400的输出的(修改后的)残差样本和预测样本来生成重构图片。以这种方式产生的重构图片可以与上述在解码设备中生成的重构图片相同。类似于解码设备的情况,通过用于重构图片的环路滤波过程,可以生成修改后的重构图片,其可以被存储在解码图片缓冲器或存储器270中,并在随后的图片编码的帧间预测过程中用作参考图片。如上所述,根据情况可以跳过环路滤波过程的全部或一部分。在执行环路滤波过程的情况下,(环路)滤波相关信息(参数)可在熵编码器240中被编码并以比特流的形式输出,并且解码设备可基于滤波相关信息以与编码设备相同的方式执行环路滤波过程。
通过该环路滤波过程,可以减少在图像/视频编码期间产生的例如块伪影和振铃伪影之类的噪声,并提高主观/客观视觉质量。此外,由于在编码设备和解码设备二者中都执行环路滤波处理,所以编码设备和解码设备可以推导相同的预测结果,增加图片编码的可靠性,并且减少为了图片编码而发送的数据量。
如上所述,图片重构处理可以在编码设备以及解码设备中执行。基于每个块单元上的帧内预测/帧间预测,可生成重构块,并可生成包括重构块的重构图片。在当前图片/切片/图块组是I图片/切片/图块组的情况下,包含在当前图片/切片/图块组中的块可仅基于帧内预测来重构。此外,在当前图片/切片/图块组是P或B图片/切片/图块组的情况下,可基于帧内预测或帧间预测来重构包括在当前图片/切片/图块组中的块。在此情况下,可将帧间预测应用于当前图片/切片/图块组中的一些块,并且可将帧内预测应用于其余块中的一些块。图片的颜色分量可包括亮度分量和色度分量,并且除非本文明确地限制,否则本文中所提出的方法和实施方式可应用于亮度分量和色度分量。
图5表示可应用本文的实施方式的示意性视频/图像解码过程的示例。在图5中,S500可以在上述图3中的解码设备的熵解码器310中执行;S510可以在预测器330中执行;S520可以在残差处理器320中执行;S530可以在加法器340中执行;并且S540可以在滤波器350中执行。S500可以包括在本文中描述的信息解码过程;S510可以包括在本文中描述的帧间/帧内预测过程;S520可以包括在本文中描述的残差处理过程;S530可以包括在本文中描述的块/图片重构过程;并且S540可以包括在本文中描述的环路滤波过程。
参照图5,如关于图3的描述中所表示的,图片解码过程可以示意性地包括从比特流(通过解码)获得图像/视频信息的过程S500、图片重构过程S510至S530以及用于重构图片的环路滤波过程S540。可以基于通过帧间/帧内预测S510和残差处理S520(反量化、量化变换系数的逆变换)获得的残差样本和预测样本来执行图片重构过程。通过对已经通过图片重构过程产生的重构图片的环路滤波过程,可以产生修改后的重构图片,其可以作为解码后的图片输出,并且还可以被存储在解码设备的解码图片缓冲器或存储器360中,并在随后的图片解码的帧间预测过程中用作参考图片。
根据情况,可以跳过环路滤波过程,并且在这种情况下,重构图片可以作为解码后的图片输出,并且还可以被存储在解码设备的解码图片缓冲器或存储器360中,并且在随后的图片解码的帧间预测过程中用作参考图片。环路滤波过程S540可以包括如上所述的去块滤波过程、样本自适应偏移(SAO)过程、自适应环路滤波器(ALF)过程和/或双边滤波器过程,并且可以跳过它们中的全部或一些。此外,可以依次应用去块滤波过程、样本自适应偏移(SAO)过程、自适应环路滤波器(ALF)过程和双边滤波器过程中的一个或一些,或者可以依次应用它们中的全部。例如,在将去块滤波过程应用于重构图片之后,可以对其执行SAO过程。另选地,例如,在将去块滤波过程应用于重构图片之后,可以对其执行ALF过程。这同样可以在编码设备中执行。
此外,如上所述,编码设备基于诸如指数哥伦布、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等这样的各种编码方法来执行熵编码。此外,解码设备可基于诸如指数哥伦布编码、CAVLC或CABAC这样的编码方法来执行熵解码。在下文中,将描述熵编码/解码过程。
图6示意性地示出了可应用本文的实施方式的熵编码方法的示例,并且图7示意性地示出了编码设备中的熵编码器。图7的编码设备中的熵编码器也可以等同地或相应地应用于上述图2的编码设备200的熵编码器240。
参照图6和图7,编码设备(熵编码器)对图像/视频信息执行熵编码处理。图像/视频信息可包括分割相关信息、预测相关信息(例如,帧间/帧内预测区别信息、帧内预测模式信息、帧间预测模式信息等)、残差信息、环路滤波相关信息,或者可包括与其相关的各种语法元素。熵编码可以在语法元素单元中执行。S600和S610可由图2的编码设备200的上述熵编码器240执行。
编码设备可对目标语法元素执行二值化(S600)。这里,二值化可基于各种二值化方法,如截断莱斯二值化处理、固定长度二值化处理等,并且可以预定义用于目标语法元素的二值化方法。二值化过程可以由熵编码器240中的二值化器242执行。
编码设备可对目标语法元素执行熵编码(S610)。编码设备可基于诸如上下文自适应算术编码(CABAC)或上下文自适应可变长度编码(CAVLC)这样的熵编码方案,对目标语法元素的bin串进行基于常规编码(基于上下文)或基于旁路编码的编码,并可将其输出合并到比特流中。熵编码过程可以由熵编码器240中的熵编码处理器243执行。如上所述,可以通过(数字)存储介质或网络将比特流传送到解码设备。
图8示意性地示出了可应用本文的实施方式的熵解码方法的示例,并且图9示意性地示出了编码设备中的熵解码器。图9的解码设备中的熵解码器也可以与上述图3的解码设备300的熵解码器310相同或相应。
参照图8和图9,解码设备(熵解码器)可对编码后的图像/视频信息进行解码。图像/视频信息可包括分割相关信息、预测相关信息(例如,帧间/帧内预测区别信息、帧内预测模式信息,帧间预测模式信息等)、残差信息、环路滤波相关信息,或者可包括与其相关的各种语法元素。熵编码可以在语法元素单元中执行。S800和S810可由图3的解码设备300的上述熵解码器310执行。
解码设备可对目标语法元素执行二值化(S800)。这里,二值化可基于各种二值化方法,如截断莱斯二值化过程、固定长度二值化过程等,并且可以预定义用于目标语法元素的二值化方法。解码设备可通过二值化过程推导目标语法元素的启用值的启用bin串(bin串候选)。二值化过程可由熵解码器310中的二值化器312执行。
解码设备可对目标语法元素执行熵解码(S810)。当从比特流中的输入比特依次解码和解析目标语法元素的每个bin时,解码设备将推导出的bin串与相应语法元素的启用bin串进行比较。当推导出的bin串与启用bin串之一相同时,可以将对应于bin串的值推导为语法元素的值。如果不是,则可以在进一步解析比特流中的下一比特之后再次执行上述过程。通过这些过程,即使对于比特流中的特定信息(特定语法元素)不使用开始比特或结束比特,解码设备也可以使用可变长度比特来发信号通知该信息。由此,可以将相对较少的比特分配给低值,从而提高整体编码效率。
解码设备可基于诸如CABAC、CAVLC等这样的熵编码技术对来自比特流的bin串中的各个bin执行基于上下文或基于旁路的解码。在这一点上,比特流可以包括如上所述的用于图像/视频解码的各种信息。如上所述,可以通过(数字)存储介质或网络将比特流传送到解码设备。
图10示例性地示出了编码图像/视频的层次结构。
参照图10,编码图像/视频被划分为处理图像/视频解码过程的VCL(视频编码层)及其自身、发送和存储编码信息的子系统以及存在于VCL和子系统之间并负责网络适配功能的网络抽象层(NAL)。
VCL可以生成包括压缩图像数据(切片数据)的VCL数据,或者生成包括图片参数集(图片参数集:PPS)、序列参数集(序列参数集:SPS)、视频参数集(视频参数集:VPS)等的参数集或图像的解码处理另外需要的补充增强信息(SEI)消息。
在NAL中,可以通过向在VCL中生成的原始字节序列有效载荷(RBSP)添加头信息(NAL单元头)来生成NAL单元。在这种情况下,RBSP是指在VCL中生成的切片数据、参数集、SEI消息等。NAL单元头可以包括根据对应NAL单元中所包括的RBSP数据指定的NAL单元类型信息。
另外,根据在VCL中生成的RBSP,NAL单元可以分为VCL NAL单元和非VCL NAL单元。VCL NAL单元可以是指包括关于图像(切片数据)的信息的NAL单元,并且非VCL NAL单元可以是指包括解码图像所需的信息(参数集或SEI消息)的NAL单元。
VCL NAL单元和非VCL NAL单元可以通过根据子系统的数据标准附接头信息来经由网络发送。例如,NAL单元可以被变换为诸如H.266/VVC文件格式、实时传输协议(RTP)和传输流(TS)等这样的预定标准的形式,并通过各种网络来发送。
如上所述,在NAL单元中,可以根据对应NAL单元中所包括的RBSP数据结构来指定NAL单元类型,并且关于NAL单元类型的信息可以被存储在NAL单元头中并被发信号通知。
例如,根据NAL单元是否包括关于图像(切片数据)的信息,NAL单元可以大致分为VCL NAL单元类型和非VCL NAL单元类型。VCL NAL单元类型可以根据VCL NAL单元中所包括的图片的性质和类型来分类,并且非VCL NAL单元类型可以根据参数集的类型来分类。
以下是根据非VCL NAL单元类型中所包括的参数集的类型来指定的NAL单元类型的示例。
-APS(自适应参数集)NAL单元:包括APS的NAL单元的类型
-DPS(解码参数集)NAL单元:包括DPS的NAL单元的类型
-VPS(视频参数集)NAL单元:包括VPS的NAL单元的类型
-SPS(序列参数集)NAL单元:包括SPS的NAL单元的类型
-PPS(图片参数集)NAL单元:包括PPS的NAL单元的类型
-PH(图片头)NAL单元:包括PH的NAL单元的类型
上述NAL单元类型具有针对NAL单元类型的语法信息,并且语法信息可以被存储在NAL单元头中并被发信号通知。例如,语法信息可以是nal_unit_type,并且可以通过nal_unit_type值来指定NAL单元类型。
此外,如上所述,一个图片可以包括多个切片,并且一个切片可以包括切片头和切片数据。在这种情况下,可以向一个图片中的多个切片(切片头和切片数据集)进一步添加一个图片头。图片头(图片头语法)可以包括图片通用的信息/参数。在本文献中,图块组可以与切片或图片相混合或者被替换为切片或图片。另外,在本文献中,图块组头可以与切片头或图片头相混合或者被替换为切片头或图片头。
切片头(切片头语法)可以包括切片通用的信息/参数。APS(APS语法)或PPS(PPS语法)可以包括一个或更多个切片或图片通用的信息/参数。SPS(SPS语法)可以包括一个或更多个序列通用的信息/参数。VPS(VPS语法)可以包括多个层通用的信息/参数。DPS(DPS语法)可以包括整个视频通用的信息/参数。DPS可以包括与编码视频序列(CVS)的级联相关的信息/参数。在本文献中,高级语法(HLS)可以包括APS语法、PPS语法、SPS语法、VPS语法、DPS语法、图片头语法和切片头语法中的至少一个。
在本文献中,在编码设备中编码并以比特流的形式发信号通知给解码设备的图像/视频信息可以包括切片头中所包括的信息、图片头中所包括的信息、APS中所包括的信息、PPS中所包括的信息、SPS中所包括的信息、VPS中所包括的信息和/或DPS中所包括的信息,也可以包括图片中的图片分割相关信息、帧内/帧间预测信息、残差信息、环路滤波信息等。另外,图像/视频信息还可以包括NAL单元头的信息。
此外,如上所述,编码设备可以基于通过帧内/帧间/IBC/调色板预测等预测的块(预测样本)来推导残差块(残差样本),并可以通过向推导出的残差样本应用变换和量化来推导量化变换系数。关于量化变换系数的信息(残差信息)可以被包括在残差编码语法中,并在编码之后以比特流的形式输出。解码设备可以通过从比特流获得关于量化变换系数的信息(残差信息)并对其进行解码来推导量化变换系数。解码设备可以通过基于量化变换系数的反量化/逆变换来推导残差样本。如上所述,可以跳过量化/反量化和/或变换/逆变换中的至少一个。当跳过变换/逆变换时,变换系数可以被称为系数或残差系数,或者为了表述的一致性,仍可以被称为变换系数。可以基于transform_skip_flag来发信号通知是否跳过变换/逆变换。例如,当transform_skip_flag的值为1时,它可以指示跳过变换/逆变换,并且这可以被称为变换跳过模式。
通常,在视频/图像编码中,可以改变量化率,并且可以使用改变后的量化率来调整压缩率。从实现的观点来看,考虑到复杂度,可以使用量化参数(QP)来代替量化率。例如,可以使用从0至63的整数值的量化参数,并且每个量化参数值可以对应于实际量化率。例如,可以不同地设置亮度分量(亮度样本)的量化参数QPY和色度分量(色度样本)的量化参数QPC。
量化处理可以采用变换系数C作为输入,将其除以量化率Qstep,并且基于此,获得量化后的变换系数C’。在这种情况下,考虑到计算复杂度,可以将量化率乘以一定标度来形成整数,并且可以通过与标度值相对应的值来执行移位操作。可以基于量化率与标度值的乘积来推导量化标度。即,可以根据QP来推导量化标度。例如,可以通过将量化标度应用于变换系数C来推导量化后的变换系数C'。
反量化处理是量化处理的逆处理,并可以通过将量化后的变换系数C’乘以量化率Qstep来获得重构的变换系数C”。在这种情况下,可以根据量化参数来推导水平标度,并且可以通过将水平标度应用于量化后的变换系数C'来推导重构的变换系数C”。由于变换和/或量化处理中的损失,导致重构的变换系数C”可能与原始变换系数C略有不同。因此,在编码设备中,以与解码设备中相同的方式执行反量化。
此外,执行预测可以基于调色板编码。调色板编码是表示包含少量特有颜色值的块的有用技术。作为向块应用预测和变换的替代,调色板模式发信号通知索引来指示每个样本的值。该调色板模式对于节省视频存储器缓冲区空间是有用的。可以使用调色板模式(例如,MODE_PLT)对块进行编码。为了对编码块进行解码,解码器应该对调色板条目和索引进行解码。调色板条目可以由调色板表来表示,并可以由调色板表编码工具来编码。
调色板编码可以被称为(帧内)调色板模式或(帧内)调色板编码模式等。可以根据调色板编码或调色板模式来重构当前块。调色板编码可以被视为帧内编码的示例,或者可以被视为帧内预测方法之一。然而,与上述跳过模式类似,相应块的单独残差值可以不被发信号通知。
例如,调色板模式可以用于提高诸如包含大量文本和图形的计算机生成视频这样的屏幕内容的编码效率。在由相机获取的一般自然图像中,由于阴影、运动、相机噪声等,甚至在代表同一对象的像素之间,也存在值的差异。然而,诸如动画和文本这样的计算机生成的图像和视频在同一区域内存在的像素值的差异小或者可以仅用有限的像素数来表示特定区域。为了利用该特性,可以构成特定区域的一组像素可以被构造为调色板或调色板表,并且表示该区域的像素的值可以被指定为每个调色板条目以表示块的样本。
例如,当选择了调色板模式时,可以发信号通知关于调色板表的信息。调色板表可以包括对应于每个像素的索引。调色板表可以从先前块中使用的像素值构造调色板预测表。例如,先前使用的像素值被存储在特定缓冲区(调色板预测器)中,并且可以从该缓冲区接收用于构造当前调色板的调色板预测器信息(palette_predictor_run)。即,调色板预测器可以包括指示当前块的调色板索引图的至少一部分的索引的数据。当用于表示当前块的调色板条目对于从调色板预测器构造的调色板预测条目是不足的时,可以单独发送针对当前调色板条目的像素信息。
调色板模式在CU级被发信号通知,并且通常可以在CU中的大多数像素可以由代表性像素值的集合表示时使用。即,在调色板模式下,CU中的样本可以被表示为代表性像素值的集合。这样的集合可以被称为调色板。在样本具有接近调色板中的像素值的值的情况下,可以发信号通知对应于调色板中的像素值的调色板索引(palette_idx_idc)或可以指示索引的信息(run_copy_flag、copy_above_palette_indices_flag)。在样本具有并非调色板条目的像素值的情况下,样本可以被用转义符号标记,并且可以直接发信号通知量化样本值。在本文献中,像素或像素值可以被称为样本或样本值。
为了对以调色板模式编码的块进行解码,解码器需要调色板条目信息和调色板索引信息。当调色板索引对应于转义符号时,(量化)转义值可以被作为附加分量发信号通知。另外,编码器应该推导CU合适的调色板并将其传送到解码器。
为了对调色板条目进行高效编码,可以保持调色板预测器。可以在SPS中发信号通知调色板预测器和调色板的最大尺寸。另选地,调色板预测器和调色板最大尺寸可以是预定义的。例如,调色板预测器和调色板最大尺寸可以根据当前块是单树还是双树而被分别定义为31和15。在VVC标准中,可以发送指示是否启用调色板模式的sps_palette_enabled_flag。然后,可以发送指示当前编码单元是否被以调色板模式编码的pred_mode_plt_coding标志。调色板预测器可以在每个砖块或每个切片的开始处被初始化。
对于调色板预测器中的每个条目,可以发信号通知重用标志,以指示它是否是当前调色板的一部分。可以使用零的游程编码来发送重用标志。然后,可以使用零阶指数哥伦布编码来发信号通知新调色板条目的数目。最后,可以发信号通知新调色板条目的分量值。在对当前CU进行编码之后,可以使用当前调色板更新调色板预测器,并且可以将不在当前调色板中重用的先前调色板预测器的条目添加到新调色板预测器的末尾,直到达到允许的最大尺寸(调色板填充)。
可以使用水平和竖直遍历扫描对索引进行编码,以对调色板索引图进行编码。可以使用标志信息(例如,palette_transpose_flag)从比特流显式地发信号通知扫描顺序。下文中,在本文献中,为了便于描述,将主要描述水平扫描。另外,这也可以应用于竖直扫描。
此外,可以使用两种调色板样本模式对调色板索引进行编码,并且例如,可以使用“INDEX”模式和“COPY_ABOVE”模式。可以使用指示模式是“INDEX”还是“COPY_ABOVE”的标志来发信号通知该调色板模式。在这种情况下,转义符号可以在“INDEX”模式下发信号通知,并且可以分配与当前调色板尺寸相同的索引。例如,当当前调色板的尺寸为10时,索引0至9可以是指调色板中的条目索引,并且索引10可以是指转义符号的索引。当使用水平扫描时,除了顶行外可以发信号通知标志,并且当使用竖直扫描时或者当先前模式是“COPY_ABOVE”模式时,除了第一列外可以发信号通知标志。在“COPY_ABOVE”模式下,可以复制上一行中样本的调色板索引。在“INDEX”模式下,可以显式地发信号通知调色板索引。对于“INDEX”模式和“COPY_ABOVE”模式二者,可以发信号通知指示将使用相同模式编码的接下来的样本的数目的运行值。如果转义符号是“INDEX”模式或“COPY_ABOVE”模式下的运行的一部分,可以针对每个转义符号发信号通知转义分量值。
对调色板索引的编码如下。首先,可以发信号通知CU的索引的数目。然后,可以使用固定长度编码来发信号通知整个CU的实际索引。索引的数目和索引可以被以旁路模式编码。这允许索引相关旁路bin被分组在一起。接下来,调色板样本模式(copy_above_palette_indices_flag)和运行可以以交错方式发信号通知。最后,与整个CU的转义样本相对应的分量转义值可以被分组在一起并以旁路模式编码。
此外,在VVC标准中,可以为将I切片启用双树,将用于亮度和色度的编码单元分割分开。调色板编码(调色板模式)可以单独或一起地应用于亮度(Y分量)和色度(Cb和Cr分量)。当双树被禁用时,调色板编码(调色板模式)可以一起应用于亮度(Y分量)和色度(Cb和Cr分量)。
图11是用于解释基于调色板模式的编码方法的示例的示图。
参照图11,解码设备可基于比特流和/或先前调色板信息来获得调色板信息(S1100)。
作为实施方式,解码设备可构造调色板预测器。可存储先前块中所使用的调色板信息以用于稍后将产生的下一调色板CU(即以调色板模式编码的CU),并且其可被定义为调色板预测器条目。
解码设备可基于调色板信息构造调色板(S1110)。
例如,解码设备可以接收新的调色板条目信息,并为当前CU构造调色板。例如,在接收到将用于当前CU中的新调色板条目信息和已接收调色板预测器重用信息之后,解码设备可组合这两个条目信息,并且构造表示当前CU的一个调色板。
解码设备可推导基于调色板的当前块中的样本值(样本预测值)(S1120)。
在一个实施方式中,解码设备可以从比特流遍历调色板索引信息、遍历方向(扫描顺序)信息、CU中的样本,并可以接收针对每个样本位置的调色板模式信息和每个调色板模式信息的连续长度(游程)信息。并且,解码设备可以基于遍历方向(扫描顺序)信息在沿着水平方向或竖直方向遍历CU中的样本的同时,从所获得的调色板信息构造样本。如果调色板模式信息指示COPY_ABOVE模式,则CU中的每个样本值可以通过在竖直扫描中复制左样本位置的索引信息并通过在水平扫描中复制最上一个样本位置的索引信息来推导。即,通过基于CU中每个样本的索引信息从所构造的调色板表推导每个样本的值,可以推导出CU中的预测样本。并且,解码设备可以使用调色板信息来重新构造CU中的每个样本信息,并更新调色板预测器。
此外,在本文献中,可以使用包括语法元素的表(语法表)来指示从编码设备到解码设备的信息的信令。本文献中使用的语法表的语法元素的顺序可以指示语法元素从比特流的解析顺序。编码设备可以构造和编码语法表,使得解码设备可以按解析顺序解析语法元素,而解码设备可以通过根据解析顺序从比特流解析和解码对应语法表的语法元素来获得语法元素的值。
下表1示出了包括与针对编码单元的基于调色板模式的编码相关的语法元素的语法结构的示例。
[表1]
Figure BDA0003718258520000251
Figure BDA0003718258520000261
Figure BDA0003718258520000271
可以在下表2中示出表1的语法中所包括的语法元素的语义。
[表2]
Figure BDA0003718258520000272
Figure BDA0003718258520000281
Figure BDA0003718258520000291
Figure BDA0003718258520000301
Figure BDA0003718258520000311
参照表1和表2,当向当前块(即,当前编码单元)应用调色板模式时,可以解析/发信号通知如上表1中的调色板编码语法(例如,palette_coding())。
例如,可以基于调色板条目信息来构造调色板表。调色板条目信息可以包括诸如palette_predictor_run、num_signalled_palette_entry和new_palette_entry这样的语法元素。
另外,可以基于调色板索引信息针对当前块构造调色板索引图。调色板索引信息可以包括诸如num_palette_indices_minus1、palette_idx_idc和palette_transpose_flag这样的语法元素。基于如上所述的调色板索引信息,在根据遍历扫描方向(竖直方向或水平方向)遍历的同时,可以通过推导当前块中样本的调色板索引(例如,PaletteIndexIdc)来构造调色板索引图(例如,PaletteIndexMap)。
另外,可以基于调色板索引图来推导调色板表中调色板条目的样本值,并基于映射到调色板条目的样本值来生成当前块的恢复样本。
另外,当在当前块中存在具有转义值的样本时(即,当palette_escape_val_present_flag的值为1时),可以基于转义信息来推导当前块的转义值。转义信息可以包括诸如palette_escape_val_present_flag和palette_escape_val这样的语法元素。例如,可以基于量化转义值信息(例如,palette_escape_val)来推导当前块中转义编码样本的转义值。可以基于转义值来生成当前块的重构样本。
此外,如上所述,可以对高级语法(HLS)进行编码/发信号通知以用于视频/图像编码。例如,如上所述,HLS可以包括视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、自适应参数集(APS)、解码参数集(DPS)、切片头等。
例如,编码图片可以由一个或更多个切片构成。描述编码图片的参数可以在图片头(PH)中发信号通知,并且描述切片的参数可以在切片头(SH)中发信号通知。PH可以按其自身的NAL单元类型发送。SH可以存在于包括切片的有效载荷(即,切片数据)的NAL单元的开始部分。PH和SH的语法和语义的细节可以如在VVC标准中公开的。每个图片可以与PH关联。图片可以由不同类型的切片构成:帧内编码切片(即,I切片)和帧间编码切片(即,P切片和B切片)。结果,PH可以包括图片的帧内切片和图片的帧间切片所必需的语法元素。
此外,本文献中公开的语法表中的信息(语法元素)可以被包括在图像/视频信息中,并可以根据由编码设备执行的编码技术来构造/编码,并以比特流的形式发送到解码设备。解码设备可以解析/解码对应语法表中的信息(语法元素)。解码设备可以基于解码信息对当前块执行解码处理(预测、(基于变换跳过的)残差处理、调色板编码等),并可以基于此来重构块/图像/视频。下文中,本文献提出了可以通过发信号通知高级语法元素来提高编码性能以便对块/图像/视频进行高效编码的方法。
即,本文献提出了在视频/图像编码期间在调色板编码和/或变换单元编码处理中高效地编码和发信号通知与色度量化参数偏移相关的语法元素的方法。作为实施方式,提出了在与色度量化参数偏移相关的语法元素当中高效地发信号通知关于偏移索引的信息的方法。
如上所述,量化参数Qp可以被用于量化/反量化处理。另外,量化参数可以被用于推导视频/图像编码中的其它参数。量化参数可以包括亮度分量的Qp和色度分量的Qp。例如,如果比特流的颜色分量没有被单独编码,并且比特流不是单色比特流(即,ChromaArrayType不为0),则与色度分量的Qp偏移相关的语法元素可以通过HLS(例如,PPS、切片头等)和编码单元级别(例如,调色板编码语法、变换单元语法等)来发信号通知。
例如,与色度分量的Qp偏移相关的语法元素可以在PPS中发信号通知,如下表3中所示。
[表3]
Figure BDA0003718258520000331
上表3的语法中所包括的语法元素的语义可以如下表4中所示。
[表4]
Figure BDA0003718258520000332
Figure BDA0003718258520000341
参照表3和表4,可以在PPS中解析/发信号通知与色度Qp偏移相关的语法元素。例如,PPS中的与色度Qp偏移相关的语法元素可以包括如在上表4中描述的pps_cb_qp_offset和pps_cr_qp_offset、pps_joint_cbcr_qp_offset_present_flag、pps_joint_cbcr_qp_offset_value、pps_slice_chroma_qp_offsets_present_flag、pps_cu_chroma_qp_offset_list_enabled_flag、chroma_qp_offset_list_len_minus1、cb_qp_offset_list、cr_qp_offset_list、joint_cbcr_qp_offset_list等。
pps_slice_chroma_qp_offsets_present_flag可以是指示与色度Qp偏移相关的附加语法元素是否存在于相关切片头中的信息。例如,当pps_slice_chroma_qp_offsets_present_flag的值为1时,可以在关联的切片头中解析/发信号通知附加语法元素(例如,slice_cb_qp_offset、slice_cr_qp_offset)。另选地,当pps_slice_chroma_qp_offsets_present_flag的值为0时,可以不在关联的切片头中解析/发信号通知附加语法元素(例如,slice_cb_qp_offset、slice_cr_qp_offset)。
pps_cu_chroma_qp_offset_list_enabled_flag可以是指示与色度Qp偏移相关的附加语法元素是否存在于参照PPS的图片头中的信息。例如,当pps_cu_chroma_qp_offset_list_enabled_flag的值为1时,可以在参照PPS的图片头中解析/发信号通知附加语法元素(例如,pic_cu_chroma_qp_offset_subdiv_intra_slice、pic_cu_chroma_qp_offset_subdiv_inter_slice)。另选地,当pps_cu_chroma_qp_offset_list_enabled_flag的值为0时,可以不在参照PPS的图片头中解析/发信号通知附加语法元素(例如,pic_cu_chroma_qp_offset_subdiv_intra_slice、pic_cu_chroma_qp_offset_subdiv_inter_slice)。
另外,pps_cu_chroma_qp_offset_list_enabled_flag可以是指示在调色板编码语法和变换单元语法中是否存在cu_chroma_qp_offset_flag的信息。例如,当pps_cu_chroma_qp_offset_list_enabled_flag的值为1时,它可以指示可以在调色板编码语法和变换单元语法中解析/发信号通知cu_chroma_qp_offset_flag。另选地,当pps_cu_chroma_qp_offset_list_enabled_flag的值为0时,它可以指示不在调色板编码语法和变换单元语法中解析/发信号通知cu_chroma_qp_offset_flag。
另外,例如,与色度分量的Qp偏移相关的语法元素可以在切片头中发信号通知,如下表5中所示。作为示例,基于在PPS中发信号通知的语法元素(例如,当pps_slice_chroma_qp_offsets_present_flag的值为1或者当pps_cu_chroma_qp_offset_list_enabled_flag的值为1时),可以通过切片头发信号通知与色度Qp偏移相关的附加语法元素。
[表5]
Figure BDA0003718258520000361
上表5的语法中所包括的语法元素的语义可以如下表6中所示。
[表6]
Figure BDA0003718258520000362
参照表5和表6,可以在切片头中解析/发信号通知与色度Qp偏移相关的语法元素。例如,切片头中与色度Qp偏移相关的语法元素可以包括如在上表6中描述的slice_cb_qp_offset、slice_cr_qp_offset、slice_joint_cbcr_qp_offset、cu_chroma_qp_offset_enabled_flag等。
例如,当在PPS中发信号通知的pps_slice_chroma_qp_offsets_present_flag的值为1时,可以在关联的切片头中解析/发信号通知slice_cb_qp_offset和slice_cr_qp_offset语法元素。
或者,作为示例,当在PPS中发信号通知的pps_cu_chroma_qp_offset_list_enabled_flag的值为1时,可以在关联的切片头中解析/发信号通知cu_chroma_qp_offset_enabled_flag语法元素。
在这种情况下,cu_chroma_qp_offset_enabled_flag语法元素可以是关于在调色板编码语法和变换单元语法中是否存在cu_chroma_qp_offset_flag的信息。例如,当cu_chroma_qp_offset_enabled_flag的值为1时,它可以指示可以在调色板编码语法和变换单元语法中解析/发信号通知cu_chroma_qp_offset_flag。另选地,当cu_chroma_qp_offset_enabled_flag的值为0时,它可以指示不在调色板编码语法和变换单元语法中解析/发信号通知cu_chroma_qp_offset_flag。
另外,例如,与色度分量的Qp偏移相关的语法元素可以在CU级(例如,调色板编码语法、变换单元语法)发信号通知,如下表7和表8中所示。作为示例,基于在切片头中发信号通知的语法元素(例如,当cu_chroma_qp_offset_enabled_flag的值为1时),可以通过调色板编码语法和变换单元语法用信号发信号通知与色度Qp偏移相关的附加语法元素。
[表7]
Figure BDA0003718258520000371
[表8]
Figure BDA0003718258520000381
上表7和表8的语法中所包括的语法元素的语义可以如下表9中所示。
[表9]
Figure BDA0003718258520000382
参照表7至表9,可以在调色板编码语法和/或变换单元语法中解析/发信号通知与色度Qp偏移相关的语法元素。例如,调色板编码语法和/或变换单元语法中的与色度Qp偏移相关的语法元素可以包括cu_chroma_qp_offset_flag、cu_chroma_qp_offset_idx等,如上表9中描述的。
作为示例,基于在切片头中发信号通知的cu_chroma_qp_offset_enabled_flag的值为1的情况,可以在调色板编码语法和/或变换单元语法中解析/发信号通知cu_chroma_qp_offset_flag语法元素。
另外,作为示例,基于cu_chroma_qp_offset_flag的值为1的情况,可以在调色板编码语法和/或变换单元语法中解析/发信号通知cu_chroma_qp_offset_idx语法元素。
这里,cu_chroma_qp_offset_flag可以是指示是否使用色度Qp偏移列表(例如,cb_qp_offset_list、cr_qp_offset_list、joint_cbcr_qp_offset)来确定色度Qp偏移(例如,CuQpOffsetCb、CuQpOffsetCr、CuQpOffsetCbCr)的值的信息。例如,当cu_chroma_qp_offset_flag的值为1时,它可以指示使用色度Qp偏移列表来确定色度Qp偏移的值。另选地,当cu_chroma_qp_offset_flag的值为0时,它可以指示不使用色度Qp偏移列表来确定色度Qp偏移的值。
cu_chroma_qp_offset_idx可以是指示用于确定色度Qp偏移(例如,CuQpOffsetCb、CuQpOffsetCr、CuQpOffsetCbCr)的值的色度Qp偏移列表(例如,cb_qp_offset_list、cr_qp_offset_list、joint_cbcr_qp_offset_list)的索引的信息。例如,如果存在cu_chroma_qp_offset_idx,则cu_chroma_qp_offset_idx的值应该在0至chroma_qp_offset_list_len_minus1的范围内。另选地,当不存在cu_chroma_qp_offset_idx时,cu_chroma_qp_offset_idx的值可以被推断为0。
此外,针对与色度Qp偏移相关的语法元素的当前设计的信令方法可能不是优化设计,并且特别地,它可能不是关于调色板编码语法表中的色度Qp偏移的信令信息的最佳情况。如上所示,当cu_chroma_qp_offset_flag的值为1时,无论作为关于色度Qp偏移列表的数目的信息的chroma_qp_offset_list_len_minus1的值如何,都始终发信号通知语法元素cu_chroma_qp_offset_idx。当chroma_qp_offset_list_len_minus1的值为0时(即,当在cb_qp_offset_list、cr_qp_offset_list、joint_cbcr_qp_offset_list中只有一组色度Qp偏移时),可能出现冗余。当chroma_qp_offset_list_len_minus1的值为0时,cu_chroma_qp_offset_idx的可能值只有0,所以在这种情况下,不需要发信号通知cu_chroma_qp_offset_idx。
因此,本文献提供了解决上述问题的方法。即,本文献提供了可以通过调色板编码语法和/或变换单元语法来高效解析/发信号通知与色度Qp偏移相关的语法元素的方法。例如,可以如下基于针对色度Qp偏移列表的数目相关信息(例如,chroma_qp_offset_list_len_minus1)的条件通过调色板编码语法和/或变换单元语法来高效地发信号通知关于色度Qp偏移索引的信息(例如,cu_chroma_qp_offset_idx)。以下条目中的每一个可以被单独或组合地应用。
1.当cu_chroma_qp_offset_flag的值为1并且只有一组色度Qp偏移时(即,当chroma_qp_offset_list_len_minus1的值为0时),可以不针对调色板编码来发信号通知指示色度Qp偏移的索引的语法元素(例如,cu_chroma_qp_offset_idx)。在这种情况下,指示色度Qp偏移的索引的语法元素(例如,cu_chroma_qp_offset_idx)可以被推断为0。例如,它可以如随后将描述的表10和表11中所示。
2.另选地,当cu_chroma_qp_offset_flag的值为1时,可以始终发信号通知指示色度Qp偏移的索引的语法元素(例如,cu_chroma_qp_offset_idx)。例如,它可以如随后将描述的表12和表13中所示。
作为实施方式,可以通过如下表10中所示的调色板编码语法来发信号通知关于色度Qp偏移的索引的信息。
[表10]
Figure BDA0003718258520000401
上表10的语法中所包括的语法元素的语义可以如下表11中所示。
[表11]
Figure BDA0003718258520000402
Figure BDA0003718258520000411
参照上表10和表11,可以在调色板编码语法中解析/发信号通知cu_chroma_qp_offset_flag和cu_chroma_qp_offset_idx语法元素。
可以基于cu_chroma_qp_offset_enabled_flag的值是否为1,通过调色板编码语法来解析/发信号通知cu_chroma_qp_offset_flag语法元素。这里,cu_chroma_qp_offset_flag语法元素可以是与是否使用色度Qp偏移列表(例如,cb_qp_offset_list、cr_qp_offset_list、joint_cbcr_qp_offset_list)来确定色度Qp偏移(例如,CuQpOffsetCb、CuQpOffsetCr、CuQpOffsetCbCr)的值相关的信息。
例如,cu_chroma_qp_offset_enabled_flag语法元素是如上所述在切片头中解析/发信号通知的信息,并且当该值为1时,它指示在调色板编码语法和变换单元语法中可能存在cu_chroma_qp_offset_flag。即,基于cu_chroma_qp_offset_enabled_flag的值为1的情况,可以在调色板编码语法中解析/发信号通知cu_chroma_qp_offset_flag。
可以基于cu_chroma_qp_offset_flag和chroma_qp_offset_list_len_minus1语法元素通过调色板编码语法来解析/发信号通知cu_chroma_qp_offset_idx语法元素。即,基于关于是否使用色度Qp偏移列表来推导色度Qp偏移的值的信息(例如,cu_chroma_qp_offset_flag)和关于色度Qp偏移列表的数目的信息(例如,chroma_qp_offset_list_len_minus1),可以从调色板编码语法解析/发信号通知关于色度Qp偏移索引的信息(例如,cu_chroma_qp_offset_idx)。
例如,当cu_chroma_qp_offset_flag的值为1并且满足chroma_qp_offset_list_len_minus1的值大于0的条件时,可以在调色板编码语法中解析/发信号通知cu_chroma_qp_offset_idx语法元素。
这里,如上所述,cu_chroma_qp_offset_idx语法元素可以是指示用于确定色度Qp偏移(例如,CuQpOffsetCb、CuQpOffsetCr、CuQpOffsetCbCr)的值的色度Qp偏移列表(例如,cb_qp_offset_list、cr_qp_offset_list、joint_cbcr_qp_offset_list)的索引的信息。cu_chroma_qp_offset_idx的值应该在0至chroma_qp_offset_list_len_minus1的范围内。
可以基于cu_chroma_qp_offset_idx的值来推导色度Qp偏移值。例如,如在上表11中所示,从色度Qp偏移列表(例如,cb_qp_offset_list、cr_qp_offset_list、joint_cbcr_qp_offset_list)中的偏移值当中推导由cu_chroma_qp_offset_idx指示的偏移值,并且该值可以被推导为色度Qp偏移(例如,CuQpOffsetCb、CuQpOffsetCr、CuQpOffsetCbCr)的值。
此外,可以使用色度Qp偏移(例如,CuQpOffsetCb、CuQpOffsetCr、CuQpOffsetCbCr)的值来推导色度量化参数(例如,Qp'Cb、Qp'Cr、Qp'CbCr)的值。即,可以基于色度Qp偏移的值来推导色度量化参数,并且可以基于推导出的色度量化参数来执行缩放处理(量化/反量化)。此外,当应用调色板编码模式时,可以基于推导出的色度量化参数(例如,Qp'Cb、Qp'Cr、Qp'CbCr)来推导在调色板模式下使用的量化参数。在这种情况下,可以使用在调色板模式下使用的量化参数来推导当前块中转义编码样本的转义值。即,基于从色度量化参数(例如,Qp'Cb、Qp'Cr、Qp'CbCr)推导出的调色板模式下的量化参数,可以从量化转义值(例如,palette_escape_val)推导出当前块中的转义编码样本的转义值。可以基于转义值来生成当前块的重构样本。
根据上述实施方式,可以理解,只有当另外满足了针对与色度Qp偏移列表的数目相关的信息(例如,chroma_qp_offset_list_len_minus1)的条件时,才从调色板编码语法获得关于色度Qp偏移索引的信息(例如,cu_chroma_qp_offset_idx)。通过添加该条件,当在色度Qp偏移列表中仅存在一个偏移时,可以不发信号通知关于色度Qp偏移索引的信息(例如,cu_chroma_qp_offset_idx)。因此,通过防止发信号通知这种不必要的信息,可以针对与色度Qp偏移相关的信息提供最佳信令设计,由此提高调色板编码效率。
另选地,可以通过如下表12中所示的变换单元语法来发信号通知关于色度Qp偏移的索引的信息。
[表12]
Figure BDA0003718258520000431
上表12的语法中所包括的语法元素的语义可以如下表13中所示。
[表13]
Figure BDA0003718258520000432
Figure BDA0003718258520000441
参照上表12和表13,可以在变换单元语法中解析/发信号通知cu_chroma_qp_offset_flag和cu_chroma_qp_offset_idx语法元素。
可以基于cu_chroma_qp_offset_enabled_flag的值是否为1,通过变换单元语法来解析/发信号通知cu_chroma_qp_offset_flag语法元素。如上所述,cu_chroma_qp_offset_flag语法元素可以是与是否使用色度Qp偏移列表(例如,cb_qp_offset_list、cr_qp_offset_list、joint_cbcr_qp_offset_list)来确定色度Qp偏移(例如,CuQpOffsetCb、CuQpOffsetCr、CuQpOffsetCbCr)的值相关的信息。
例如,cu_chroma_qp_offset_enabled_flag语法元素是如上所述在切片头中解析/发信号通知的信息,并且当该值为1时,它指示在调色板编码语法和变换单元语法中可能存在cu_chroma_qp_offset_flag。即,基于cu_chroma_qp_offset_enabled_flag的值为1的情况,可以在变换单元语法中解析/发信号通知cu_chroma_qp_offset_flag。
可以基于cu_chroma_qp_offset_flag语法元素通过变换单元语法来解析/发信号通知cu_chroma_qp_offset_idx语法元素。即,基于关于是否使用色度Qp偏移列表来推导色度Qp偏移值的信息(例如,cu_chroma_qp_offset_flag),可以从变换单元语法解析/发信号通知关于色度Qp偏移索引的信息(例如,cu_chroma_qp_offset_idx)。
例如,当满足cu_chroma_qp_offset_flag的值为1的条件时,可以在变换单元语法中解析/发信号通知cu_chroma_qp_offset_idx语法元素。
这里,如上所述,cu_chroma_qp_offset_idx语法元素可以是指示用于确定色度Qp偏移(例如,CuQpOffsetCb、CuQpOffsetCr、CuQpOffsetCbCr)的值的色度Qp偏移列表(例如,cb_qp_offset_list、cr_qp_offset_list、joint_cbcr_qp_offset_list)的索引的信息。cu_chroma_qp_offset_idx的值应该在0至chroma_qp_offset_list_len_minus1的范围内。
可以基于cu_chroma_qp_offset_idx的值来推导色度Qp偏移值。例如,如在上表13中所示,从色度Qp偏移列表(例如,cb_qp_offset_list、cr_qp_offset_list、joint_cbcr_qp_offset_list)中的偏移值当中推导由cu_chroma_qp_offset_idx指示的偏移值,并且该值可以被推导为色度Qp偏移(例如,CuQpOffsetCb、CuQpOffsetCr、CuQpOffsetCbCr)的值。
此外,可以使用色度Qp偏移(例如,CuQpOffsetCb、CuQpOffsetCr、CuQpOffsetCbCr)的值来推导色度量化参数(例如,Qp'Cb、Qp'Cr、Qp'CbCr)的值。即,可以基于色度Qp偏移的值来推导色度量化参数,并且可以基于推导出的色度量化参数来执行缩放处理(反量化处理)。例如,基于从色度Qp偏移(例如,CuQpOffsetCb、CuQpOffsetCr、CuQpOffsetCbCr)推导出的色度量化参数(例如,Qp'Cb、Qp'Cr、Qp'CbCr),可以通过对当前块的量化变换系数执行缩放处理(反量化处理)来推导变换系数。可以基于推导出的变换系数来生成当前块的重构样本。
准备以下附图以便说明本文献的具体示例。由于附图中描述的具体装置的名称或具体术语或名称(例如,语法/语法元素的名称等)被呈现为示例,因此本文献的技术特征不限于下图中使用的具体名称。
图12和图13示意性地表示根据本文的实施方式的视频/图像编码方法和相关组件的示例。
图12中公开的方法可由图2或图13中公开的编码设备200执行。这里,图13中公开的编码设备200是图2中公开的编码设备200的简化表示。具体地,图12的步骤S1200至S1210可以由图2中公开的残差处理器230执行,并且图12的步骤S1220可以由图2中公开的熵编码器240执行。此外,虽然未示出,但是可以由编码设备200的预测器220执行推导预测样本的过程;基于当前块的残差样本和预测样本生成当前块的重构样本和重构图片的过程可由编码设备200的加法器250执行;并且,对当前块的预测信息进行编码的过程可由编码设备200的熵编码器240执行。此外,可以执行图12中公开的方法,包括本文中上述的实施方式。因此,在图12中,将省略或简化与上述实施方式的重复相对应的内容的详细描述。
参照图12,编码设备可推导当前块的色度量化参数偏移(S1200)。
作为实施方式,编码设备可以基于通过帧内/帧间/IBC/调色板预测等预测的块(预测样本)来推导残差块(残差样本),并可以通过向推导出的残差样本应用变换和量化来推导量化变换系数。关于量化变换系数的信息(残差信息)可以被包括在残差编码语法中,并在编码之后以比特流的形式输出。
如上所述,量化参数可以在应用量化处理时使用。量化参数可以包括亮度分量(亮度样本)的量化参数QPY和色度分量(色度样本)的量化参数QPc。例如,如果比特流的颜色分量没有被单独编码并且比特流不是单色比特流(即,ChromaArrayType不为0),则可以推导出色度分量的量化参数。
可以基于色度量化参数偏移的值来推导色度分量的量化参数(即,色度量化参数)。在实施方式中,可以基于色度量化参数偏移列表来推导色度量化参数偏移的值。例如,如上表10至表13中描述的,可以基于关于色度量化参数偏移列表(例如,cb_qp_offset_list、cr_qp_offset_list、joint_cbcr_qp_offset_list)的索引信息(例如,cu_chroma_qp_offset_idx)从色度量化参数偏移列表推导色度量化参数偏移(例如,CuQpOffsetCb、CuQpOffsetCr、CuQpOffsetCbCr)的值。换句话说,色度量化参数偏移列表中的偏移值(条目)当中的由索引信息(例如,cu_chroma_qp_offset_idx)指示的偏移值可以被推导为色度量化参数偏移值。
根据实施方式,可以向当前块应用调色板编码。即,当向当前块应用调色板模式时,编码设备可以基于色度量化参数偏移(例如,CuQpOffsetCb、CuQpOffsetCr、CuQpOffsetCbCr)的值来推导色度量化参数(例如,Qp'Cb、Qp'Cr、Qp'CbCr)。另外,编码设备可以基于色度量化参数(例如,Qp'Cb、Qp'Cr、Qp'CbCr)来推导在调色板模式下使用的量化参数QP。在这种情况下,可以使用在调色板模式下使用的量化参数Qp来推导当前块中的转义编码样本的转义值。即,基于从色度量化参数(例如,Qp'Cb、Qp'Cr、Qp'CbCr)推导出的调色板模式下的量化参数Qp,编码设备可以通过向当前块中的转义编码样本应用量化来生成量化转义值(例如,palette_escape_val)。已通过上表1至表2提供了对调色板编码的详细描述。
编码设备可生成关于色度量化参数偏移的信息(S1210)。
作为实施方式,编码设备可从色度量化参数偏移列表中的偏移值(条目)中生成指示推导出的色度量化参数偏移值的索引信息。即,编码设备可生成关于色度量化参数偏移列表的索引信息(例如,cu_chroma_qp_offset_idx)作为关于色度量化参数偏移的信息。
编码设备可对图像信息(或视频信息)进行编码(S1220)。这里,图像信息可以包括从编码过程推导出的各种信息,并且可以被编码为包括这各种信息。
例如,图像信息可包括残差信息。作为通过变换和/或量化过程生成的信息的残差信息可以是例如关于量化后的变换系数的信息,并且可以包括量化后的变换系数的值信息、位置信息、变换技术、变换核、量化参数等。
此外,例如,图像信息可包括与用于推导预测样本的预测相关的信息(例如,预测模式信息)。
另外,例如,图像信息可包括关于用于推导色度量化参数的色度量化参数偏移的信息。这里,关于色度量化参数偏移的信息可包括关于色度量化参数偏移列表的索引信息。
此外,根据本文的实施方式的图像信息可包括根据上述实施方式的各种信息,并且可包括上述表1至表13中的至少一个中公开的信息。
例如,图像信息可包括调色板编码语法。调色板编码语法可以包括用于如上所述对当前块执行调色板编码的各种信息。
例如,调色板编码语法可以包括关于色度量化参数偏移的信息。关于色度量化参数偏移的信息可以是上表7至表13中描述的色度量化参数偏移列表的索引信息(例如,cu_chroma_qp_offset_idx语法元素)。在这种情况下,色度量化参数偏移列表的索引信息(例如,cu_chroma_qp_offset_idx语法元素)可以基于关于色度量化参数偏移列表中的条目数目的信息而被包括在调色板编码语法中。关于色度量化参数偏移列表中的条目数目的信息可以是上表7至表13中描述的chroma_qp_offset_list_len_minus1语法元素。例如,通过将chroma_qp_offset_list_len_minus1语法元素的值加上1而获得的值可以被推导为色度量化参数偏移列表中的条目数目。
作为示例,基于关于色度量化参数偏移列表中的条目数目的信息(例如,chroma_qp_offset_list_len_minus1)的值大于0的情况,关于色度量化参数偏移列表的索引信息(例如,cu_chroma_qp_offset_idx)可以被包括在调色板编码语法中。
另选地,作为示例,基于关于色度量化参数偏移列表中的条目数目的信息(例如,chroma_qp_offset_list_len_minus1)的值为0的情况,关于色度量化参数偏移列表的索引信息(例如,cu_chroma_qp_offset_idx)可以不被包括在调色板编码语法中。在这种情况下,调色板编码语法中不包括的色度量化参数偏移列表的索引信息(例如,cu_chroma_qp_offset_idx)的值可以被推断为0。
另外,例如,调色板编码语法可以包括关于色度量化参数偏移列表是否用于推导色度量化参数偏移的值的标志信息。标志信息可以是上表7至表13中描述的cu_chroma_qp_offset_flag语法元素。作为示例,基于标志信息(例如,cu_chroma_qp_offset_flag)的值为1并且关于色度量化参数偏移列表中的条目数目的信息(例如,chroma_qp_offset_list_len_minus1)的值大于0的情况,关于色度量化参数偏移列表的索引信息(例如,cu_chroma_qp_offset_idx)可以被包括在调色板编码语法中。
此外,例如,图像信息可包括关于标志信息(例如,cu_chroma_qp_offset_flag)是否存在于调色板编码语法中的第一启用标志信息。第一启用标志信息可以是在表5至表6中描述的cu_chroma_qp_offset_enabled_flag语法元素,并且可以被包括在图像信息的切片头中。例如,基于第一启用标志信息(例如,cu_chroma_qp_offset_enabled_flag)的值为1,标志信息(例如,cu_chroma_qp_offset_flag)可被包括在调色板编码语法中。
此外,例如,图像信息可包括关于标志信息(例如,cu_chroma_qp_offset_flag)是否存在于调色板编码语法中的第二启用标志信息。第二启用标志信息可以是表3和表4中描述的pps_cu_chroma_qp_offset_list_enabled_flag语法元素,并且可以被包括在图像信息的图片参数集(PPS)中。在示例中,基于第二启用标志信息(例如,pps_cu_chroma_qp_offset_list_enabled_flag)的值为1,第一启用标志信息(例如,cu_chroma_qp_offset_enabled_flag)可被包含在切片头中。
包括如上所述的各种信息的图像信息可以被编码并以比特流的形式输出。可以通过网络或(数字)存储介质将比特流发送到解码设备。这里,网络可以包括广播网络、通信网络等,并且数字存储介质可以包括各种存储介质,诸如USB、SD、CD、DVD、蓝光、HDD、SSD等。
图14和图15示意性地表示根据本文的实施方式的视频/图像解码方法和相关组件的示例。
图14中公开的方法可由图3或图15中公开的解码设备300执行。这里,图15中公开的解码设备300是图3中公开的解码设备300的简化表示。具体地,图14的步骤S1400可以由图3中公开的熵解码器310执行;图14的步骤S1410可以由图3中公开的残差处理器320执行;并且图14的步骤S1420可以由图3中公开的预测器330和/或加法器340执行。此外,尽管未示出,但是接收当前块的预测信息的过程可由解码设备300的熵解码器310执行,并且推导当前块的预测样本的过程可由解码设备300的预测器330执行。此外,可以执行图14中公开的方法,包括本文中上述的实施方式。因此,在图14中,将省略或简化与上述实施方式的重复相对应的内容的详细描述。
参照图14,解码设备可从比特流接收图像信息(或视频信息)(S1400)。
例如,解码设备可解析比特流,并推导图像重构(或图片重构)所需的信息(例如,视频/图像信息)。在这种情况下,图像信息可包括残差信息,并且残差信息可包括量化后的变换系数的值信息、位置信息、变换技术、变换核、量化参数等。此外,图像信息可包括预测相关信息(例如,预测模式信息)。另外,图像信息可包括关于用于推导色度量化参数的色度量化参数偏移的信息。这里,关于色度量化参数偏移的信息可包括关于色度量化参数偏移列表的索引信息。即,图像信息可包括解码过程中所需的各种信息,并可基于诸如指数哥伦布编码、CAVLC或CABAC这样的编码方法来解码。
此外,根据本文的实施方式的图像信息可包括根据上述实施方式的各种信息,并且可包括上述表1至表13中的至少一个中公开的信息。
例如,图像信息可包括调色板编码语法。调色板编码语法可以包括用于如上所述对当前块执行调色板编码的各种信息。
例如,调色板编码语法可包括关于色度量化参数偏移的信息。关于色度量化参数偏移的信息可以是以上表7至表13中描述的色度量化参数偏移列表的索引信息(例如,cu_chroma_qp_offset_idx语法元素)。在这种情况下,用于色度量化参数偏移列表的索引信息(例如,cu_chroma_qp_offset_idx语法元素)可基于关于色度量化参数偏移列表中的条目的数目的信息而被包括在调色板编码语法中。关于色度量化参数偏移列表中的条目的数目的信息可以是以上表7到表13中描述的chroma_qp_offset_list_len_minus1语法元素。例如,通过将1添加到chroma_qp_offset_list_len_minus1语法元素的值而获得的值可被推导为色度量化参数偏移列表中的条目的数目。
作为示例,基于关于色度量化参数偏移列表中的条目的数目的信息的值(例如,chroma_qp_offset_list_len_minus1)大于0的情况,关于色度量化参数偏移列表的索引信息(例如,cu_chroma_qp_offset_idx)可被包括在调色板编码语法中。
另选地,作为示例,基于关于色度量化参数偏移列表中的条目的数目的信息的值(例如,chroma_qp_offset_list_len_minus1)为0的情况,关于色度量化参数偏移列表的索引信息(例如,cu_chroma_qp_offset_idx)可不被包含于调色板编码语法中。在这种情况下,不被包含于调色板编码语法中的色度量化参数偏移列表的索引信息(例如,cu_chroma_qp_offset_idx)的值可被推断为0。
另外,例如,调色板编码语法可包括关于色度量化参数偏移列表是否用于推导色度量化参数偏移的值的标志信息。标志信息可以是上述表7至表13中描述的cu_chroma_qp_offset_flag语法元素。作为示例,基于标志信息(例如,cu_chroma_qp_offset_flag)的值为1且关于色度量化参数偏移列表中的条目的数目的信息(例如,chroma_qp_offset_list_len_minus1)的值大于0的情况,关于色度量化参数偏移列表的索引信息(例如,cu_chroma_qp_offset_idx)可被包含在调色板编码语法中。
此外,例如,图像信息可包括关于标志信息(例如,cu_chroma_qp_offset_flag)是否存在于调色板编码语法中的第一启用标志信息。第一启用标志信息可以是在表5至表6中描述的cu_chroma_qp_offset_enabled_flag语法元素,并且可以被包括在图像信息的切片头中。例如,基于第一启用标志信息(例如,cu_chroma_qp_offset_enabled_flag)的值为1,标志信息(例如,cu_chroma_qp_offset_flag)可被包括在调色板编码语法中。
此外,例如,图像信息可包括关于标志信息(例如,cu_chroma_qp_offset_flag)是否存在于调色板编码语法中的第二启用标志信息。第二启用标志信息可以是表3和表4中描述的pps_cu_chroma_qp_offset_list_enabled_flag语法元素,并且可以被包括在图像信息的图片参数集(PPS)中。在示例中,基于第二启用标志信息(例如,pps_cu_chroma_qp_offset_list_enabled_flag)的值为1,第一启用标志信息(例如,cu_chroma_qp_offset_enabled_flag)可被包含在切片头中。
解码设备可基于关于色度量化参数偏移的信息来推导当前块的色度量化参数(S1410)。
作为实施方式,解码设备可获得关于图像信息中包括的色度量化参数偏移的信息,基于该信息,解码设备可推导色度量化参数。如上所述,关于色度量化参数偏移的信息可包括关于色度量化参数偏移列表的索引信息。在这种情况下,解码设备可基于关于色度量化参数偏移列表的索引信息从色度量化参数偏移列表推导色度量化参数偏移的值。并且,解码设备可基于色度量化参数偏移的值来推导色度量化参数。
换句话说,可基于色度量化参数偏移的值来推导色度量化参数。可基于色度量化参数偏移列表来推导色度量化参数偏移的值。例如,如上文表10到表13中所描述,色度量化参数偏移(例如,CuQpOffsetCb,CuQpOffsetCr,CuQpOffsetCbCr)的值可基于关于色度量化参数偏移列表的索引信息(例如,cu_chroma_qp_offset_idx)从色度量化参数偏移列表(例如,cb_qp_offset_list,cr_qp_offset_list,joint_cbcr_qp_offset_list)推导。即,由索引信息(例如,cu_chroma_qp_offset_idx)从色度量化参数偏移列表中的偏移值(条目)中指示的偏移值可被推导为色度量化参数偏移值。
解码设备可通过基于色度量化参数对当前块执行调色板编码来生成重构样本(S1420)。
作为实施方式,调色板编码可应用于当前块。在这种情况下,对于在其上执行调色板编码的调色板模式下的当前块,解码设备可以基于色度量化参数针对当前块中的量化转义值来推导转义值。此外,解码设备可基于转义值生成重构样本。
例如,基于色度量化参数偏移(例如,CuQpOffsetCb,CuQpOffsetCr,CuQpOffsetCbCr)的值,解码设备可推导色度量化参数(例如,Qp′Cb,Qp′Cr,Qp′CbCr),基于所述色度量化参数,解码设备可推导调色板模式中使用的量化参数Qp。在此情况下,调色板模式中使用的量化参数Qp可用于推导当前块中的转义编码样本的转义值。即,基于从色度量化参数(例如,Qp'Cb,Qp'Cr,Qp'CbCr)推导的调色板模式下的量化参数QP,解码设备可从量化转义值(例如,palette_escape_val)推导当前块中的转义编码样本的转义值。可以基于转义值来生成当前块的重构样本。量化转义值(例如,palette_escape_val)可以是在如上表1和表2中公开的调色板编码语法中发信号通知的信息。已经通过上面的表1到表2提供了调色板编码的详细描述。
根据实施方式,当未向当前块应用调色板模式时,如以上在表12和表13中公开的,可以基于通过变换单元语法发信号通知的关于色度量化参数偏移的信息来推导当前块的色度量化参数。在这种情况下,例如,可以基于关于色度量化参数偏移列表(例如,cb_qp_offset_list、cr_qp_offset_list、joint_cbcr_qp_offset_list)的索引信息(例如,cu_chroma_qp_offset_idx)来从色度量化参数偏移列表推导色度量化参数偏移(例如,CuQpOffsetCb、CuQpOffsetCr、CuQpOffsetCbCr)的值。另外,可以基于色度量化参数偏移(例如,CuQpOffsetCb、CuQpOffsetCr、CuQpOffsetCbCr)的值来推导色度量化参数(例如,Qp'Cb、Qp'Cr、Qp'CbCr)。即,解码设备可以基于推导出的色度量化参数来执行缩放处理(反量化处理)。例如,解码设备可以通过基于色度量化参数向当前块的量化变换系数应用反量化处理来推导变换系数。另外,解码设备可以基于变换系数来推导残差样本,并可以基于残差样本来生成重构样本。
尽管已在上述实施方式中通过使用一系列步骤和框来根据流程图描述方法,本公开不限于步骤的特定次序,并且可与不同的步骤一起并且按与上述步骤不同的次序或同时地执行一些步骤。另外,本领域的技术人员应该理解,流程图中所示的步骤不是排他性的,还可包括其它步骤,或者在不影响本公开的技术范围的情况下,可删除流程图的一个或更多个步骤。
可以软件的形式实现根据本公开的方法,并且可将根据本公开的编码设备和/或解码设备包括在执行图像处理的设备如TV、计算机、智能电话、机顶盒和显示设备中。
当本公开的实施方式由软件实现时,前述方法可由执行前述功能的模块(过程或功能)实现。模块可被存储在存储器中并由处理器执行。存储器可被安装在处理器内部或外部并且可经由各种公知手段连接到处理器。处理器可包括专用集成电路(ASIC)、其它芯片组、逻辑电路和/或数据处理装置。存储器可包括只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器、存储卡、存储介质和/或其它存储装置。换言之,可在处理器、微处理器、控制器或芯片上实现并执行根据本公开的实施方式。例如,可在计算机、处理器、微处理器、控制器或芯片上实现并执行各个图中图示的功能单元。在这种情况下,可在数字存储介质中存储关于实现方式的信息(例如,关于指令的信息)或算法。
另外,本公开应用于的解码设备和编码设备可被包括在以下各项中:多媒体广播收发器、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置以及诸如视频通信的实时通信装置、移动流装置、存储介质、摄像机、视频点播(VoD)服务提供商、空中(OTT)视频装置、互联网流服务提供商、3D视频装置、虚拟现实(VR)装置、增强现实(AR)装置、图像电话视频装置、车辆终端(例如,车辆(包括自主车辆)终端、飞机终端或船舶终端)和医疗视频装置;并且可用于处理图像信号或数据。例如,OTT视频装置可包括游戏机、蓝光播放器、连接互联网的TV、家庭影院系统、智能电话、平板PC和数字录像机(DVR)。
另外,本公开的实施方式应用于的处理方法可被以由计算机执行的程序的形式产生并且可被存储在计算机可读记录介质中。也可将具有根据本公开的数据结构的多媒体数据存储在计算机可读记录介质中。计算机可读记录介质包括在其中存储计算机可读数据的所有种类的存储装置和分布式存储装置。计算机可读记录介质可包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质也包括以载波(例如,通过互联网的传输)的形式体现的介质。另外,通过编码方法生成的比特流可被存储在计算机可读记录介质中或者通过有线或无线通信网络来传送。
另外,可将本公开的实施方式体现为基于程序代码的计算机程序产品,并且可在根据本公开的实施方式的计算机上执行程序代码。可将程序代码存储在计算机可读载体上。
图16表示可以应用本文的实施方式的内容流传输系统的示例。
参考图16,应用本文的实施方式的内容流传输系统通常可以包括编码服务器,流传输服务器、网络服务器、媒体存储器、用户设备和多媒体输入设备。
编码服务器用来将从诸如智能电话、照相机、摄像机等的多媒体输入装置输入的内容压缩为数字数据,生成比特流,并且将其传送至流传输服务器。作为另一示例,在诸如智能电话、照相机、摄像机等的多媒体输入装置直接生成码流的情况下,可省略编码服务器。
可通过本文的实施方式应用于的编码方法或比特流生成方法来生成比特流。并且流传输服务器可在传送或接收比特流的过程中暂时存储比特流。
流传输服务器基于用户的请求通过网络服务器向用户设备传送多媒体数据,该网络服务器充当向用户通知存在什么服务的工具。当用户请求用户想要的服务时,网络服务器将请求转移至流传输服务器,并且流传输服务器将多媒体数据传送至用户。在这方面,内容流传输系统可包括单独的控制服务器,并且在这种情况下,控制服务器用来控制内容流传输系统中的各个设备之间的命令/响应。
流传输服务器可从媒体存储装置和/或编码服务器接收内容。例如,在从编码服务器接收到内容的情况下,可实时地接收内容。在这种情况下,流传输服务器可将比特流存储预定时间段以流畅地提供流服务。
例如,用户设备可包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、板式PC、平板PC、超极本、可穿戴装置(例如,手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(HMD))、数字TV、台式计算机、数字标牌等。
可将内容流传输系统中的每个服务器作为分布式服务器操作,并且在这种情况下,可以分布式方式处理由每个服务器接收的数据。
可以以各种方式组合本公开中描述的权利要求。例如,本公开的方法权利要求的技术特征可以被组合并实现为设备,并且本公开的设备权利要求的技术特征可以被组合并实现为方法。另外,本公开的方法权利要求的技术特征和设备权利要求的技术特征可以被组合并实现为设备,并且本公开的方法权利要求的技术特征和设备权利要求的技术特征可以被组合并实现为方法。

Claims (19)

1.一种由解码设备执行的图像解码方法,所述图像解码方法包括以下步骤:
从比特流获得包括关于色度量化参数偏移的信息的图像信息;
基于关于所述色度量化参数偏移的所述信息推导当前块的色度量化参数;以及
通过基于所述色度量化参数对所述当前块执行调色板编码来生成重构样本,
其中,关于所述色度量化参数偏移的信息包括关于色度量化参数偏移列表的索引信息,
其中,所述图像信息包括调色板编码语法,并且
其中,所述调色板编码语法包括基于关于所述色度量化参数偏移列表中的条目的数目的信息的关于所述色度量化参数偏移的所述信息。
2.根据权利要求1所述的图像解码方法,其中,基于关于所述色度量化参数偏移列表中的条目的数目的信息的值大于0,关于所述色度量化参数偏移列表的所述索引信息被包括在所述调色板编码语法中。
3.根据权利要求1所述的图像解码方法,其中,所述调色板编码语法包括关于所述色度量化参数偏移列表是否用于推导所述色度量化参数偏移的值的标志信息,并且
其中,基于所述标志信息的值为1,并且基于关于所述色度量化参数偏移列表中的条目的数目的信息的值大于0,关于所述色度量化参数偏移列表的所述索引信息被包括在所述调色板编码语法中。
4.根据权利要求3所述的图像解码方法,其中,所述图像信息包括关于所述标志信息是否存在于所述调色板编码语法中的第一启用标志信息,并且
其中,基于所述第一启用标志信息的值为1,所述标志信息被包括在所述调色板编码语法中。
5.根据权利要求4所述的图像解码方法,其中,所述第一启用标志信息被包括在所述图像信息的切片头中。
6.根据权利要求5所述的图像解码方法,其中,所述图像信息包括关于所述标志信息是否存在于所述调色板编码语法中的第二启用标志信息,并且
其中,基于所述第二启用标志信息的值为1,所述第一启用标志信息被包括在所述切片头中。
7.根据权利要求6所述的图像解码方法,其中,所述第二启用标志信息被包括在所述图像信息的图片参数集PPS中。
8.根据权利要求2所述的图像解码方法,其中,基于关于所述色度量化参数偏移列表中的条目的数目的信息的值为0,关于所述色度量化参数偏移列表的所述索引信息不被包括在所述调色板编码语法中,并且
其中,不被包括在所述调色板编码语法中的所述色度量化参数偏移列表的所述索引信息的值被推断为0。
9.根据权利要求1所述的图像解码方法,其中,推导所述色度量化参数包括:
基于关于所述色度量化参数偏移列表的所述索引信息,从所述色度量化参数偏移列表推导所述色度量化参数偏移的值;以及
基于所述色度量化参数偏移的值来推导所述色度量化参数。
10.根据权利要求1所述的图像解码方法,其中,所述生成所述重构样本包括:
针对执行所述调色板编码的调色板模式下的所述当前块,基于所述色度量化参数来针对所述当前块中的量化转义值推导转义值;以及
基于所述转义值生成所述重构样本。
11.一种由编码设备执行的图像编码方法,所述图像编码方法包括以下步骤:
推导当前块的色度量化参数偏移;
生成关于所述色度量化参数偏移的信息;以及
对包括关于所述色度量化参数偏移的所述信息的图像信息进行编码,
其中,关于所述色度量化参数偏移的信息包括关于色度量化参数偏移列表的索引信息,
其中,所述图像信息包括调色板编码语法,并且
其中,所述调色板编码语法包括基于关于所述色度量化参数偏移列表中的条目的数目的信息的关于所述色度量化参数偏移的所述信息。
12.根据权利要求11所述的图像编码方法,其中,基于关于所述色度量化参数偏移列表中的条目的数目的信息的值大于0,关于所述色度量化参数偏移列表的所述索引信息被包括在所述调色板编码语法中。
13.根据权利要求11所述的图像编码方法,其中,所述调色板编码语法包括关于是否使用所述色度量化参数偏移列表来推导所述色度量化参数偏移的值的标志信息,并且
其中,基于所述标志信息的值为1,并且基于关于所述色度量化参数偏移列表中的条目的数目的信息的值大于0,关于所述色度量化参数偏移列表的所述索引信息被包括在所述调色板编码语法中。
14.根据权利要求13所述的图像编码方法,其中,所述图像信息包括关于所述标志信息是否存在于所述调色板编码语法中的第一启用标志信息,并且
其中,基于所述第一启用标志信息的值为1,所述标志信息被包括在所述调色板编码语法中。
15.根据权利要求14所述的图像编码方法,其中,所述第一启用标志信息被包括在所述图像信息的切片头中。
16.根据权利要求15所述的图像编码方法,其中,所述图像信息包括关于所述标志信息是否存在于所述调色板编码语法中的第二启用标志信息,并且
其中,基于所述第二启用标志信息的值为1,所述第一启用标志信息被包括在所述切片头中。
17.根据权利要求16所述的图像编码方法,其中,所述第二启用标志信息被包括在所述图像信息的图片参数集PPS中。
18.根据权利要求12所述的图像编码方法,其中,基于关于所述色度量化参数偏移列表中的条目的数目的信息的值为0,关于所述色度量化参数偏移列表的所述索引信息不被包括在所述调色板编码语法中,并且
其中,不被包括在所述调色板编码语法中的所述色度量化参数偏移列表的所述索引信息的值被推断为0。
19.一种用于存储使图像解码设备执行图像解码方法的编码信息的计算机可读存储介质,所述图像解码方法包括以下步骤:
从比特流获得包括关于色度量化参数偏移的信息的图像信息;
基于关于所述色度量化参数偏移的信息推导当前块的色度量化参数;以及
通过基于所述色度量化参数对所述当前块执行调色板编码来生成重构样本,
其中,关于所述色度量化参数偏移的信息包括关于色度量化参数偏移列表的索引信息,
其中,所述图像信息包括调色板编码语法,并且
其中,所述调色板编码语法包括基于关于所述色度量化参数偏移列表中的条目的数目的信息的关于所述色度量化参数偏移的信息。
CN202080090759.7A 2019-11-05 2020-11-05 基于色度量化参数偏移信息的图像或视频编码 Pending CN114902667A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962931177P 2019-11-05 2019-11-05
US62/931,177 2019-11-05
PCT/KR2020/015415 WO2021091260A1 (ko) 2019-11-05 2020-11-05 크로마 양자화 파라미터 오프셋 정보 기반 영상 또는 비디오 코딩

Publications (1)

Publication Number Publication Date
CN114902667A true CN114902667A (zh) 2022-08-12

Family

ID=75848775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080090759.7A Pending CN114902667A (zh) 2019-11-05 2020-11-05 基于色度量化参数偏移信息的图像或视频编码

Country Status (4)

Country Link
US (1) US20220408104A1 (zh)
KR (1) KR20220073825A (zh)
CN (1) CN114902667A (zh)
WO (1) WO2021091260A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10136141B2 (en) * 2014-06-11 2018-11-20 Qualcomm Incorporated Determining quantization parameter (QP) values and delta QP values for palette coded blocks in video coding
SG10202002209TA (en) * 2014-12-19 2020-04-29 Hfi Innovation Inc Methods of palette based prediction for non-444 color format in video and image coding
EP3243330B1 (en) * 2015-02-13 2021-10-27 MediaTek Inc. Method for palette syntax coding in video and image compression
US11146788B2 (en) * 2015-06-12 2021-10-12 Qualcomm Incorporated Grouping palette bypass bins for video coding

Also Published As

Publication number Publication date
KR20220073825A (ko) 2022-06-03
WO2021091260A1 (ko) 2021-05-14
US20220408104A1 (en) 2022-12-22

Similar Documents

Publication Publication Date Title
CN114556931B (zh) 基于调色板模式的图像或视频编码
JP2023158204A (ja) 変換スキップ及びパレットコーディング関連情報のシグナリングベースの映像又はビデオコーディング
KR102660881B1 (ko) 팔레트 이스케이프 코딩 기반 영상 또는 비디오 코딩
CN114762339B (zh) 基于变换跳过和调色板编码相关高级语法元素的图像或视频编码
CN114424548B (zh) 基于调色板编码的图像或视频编码
CN114747215B (zh) 调色板编码或变换单元的基于量化参数信息的图像或视频编码
CN114762335B (zh) 基于变换跳过和调色板编码相关数据的图像或视频编码
US12010344B2 (en) Image or video coding based on quantization-related information
US11973947B2 (en) Image or video coding based on signaling of quantization parameter offset-related information
RU2814221C2 (ru) Кодирование изображения или видео на основе режима палитры
US20220408104A1 (en) Image or video coding based on chroma quantization parameter offset information
US20220368907A1 (en) Image or video coding based on signaling of quantization parameter-related information
KR20220082082A (ko) 영상 정보를 시그널링하는 방법 및 장치
KR20220083818A (ko) 슬라이스 관련 정보를 시그널링하는 방법 및 장치
KR20220082081A (ko) 픽처 분할 정보를 시그널링 하는 방법 및 장치
CN115299060A (zh) 基于act残差的图像或视频编码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination