CN115699775A - 视频或图像编码系统中基于单色颜色格式的色度去块参数信息的图像编码方法 - Google Patents

视频或图像编码系统中基于单色颜色格式的色度去块参数信息的图像编码方法 Download PDF

Info

Publication number
CN115699775A
CN115699775A CN202180038047.5A CN202180038047A CN115699775A CN 115699775 A CN115699775 A CN 115699775A CN 202180038047 A CN202180038047 A CN 202180038047A CN 115699775 A CN115699775 A CN 115699775A
Authority
CN
China
Prior art keywords
chroma
deblocking
information
filter
flag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180038047.5A
Other languages
English (en)
Inventor
崔璋元
崔情娥
许镇
柳先美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN115699775A publication Critical patent/CN115699775A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据本文献的公开内容,与用于执行去块滤波的去块滤波器关联的信息可以包括与应用于色度分量的去块参数偏移关联的色度分量滤波器参数信息。可以基于色度工具偏移存在标志来选择性发信号通知色度分量滤波器参数信息。因此,仅在不是单色颜色格式的情况下,通过发信号通知色度分量滤波器参数信息,可以衍生出增加总体编码效率的效果。

Description

视频或图像编码系统中基于单色颜色格式的色度去块参数信 息的图像编码方法
技术领域
本文献涉及视频/图像编码技术,并且更具体地,涉及在单色颜色格式的视频或图像编码系统中基于色度去块参数信息的图像编码方法。
背景技术
近来,在各个领域中,对诸如4K或8K超高清(UHD)图像/视频这样的高分辨率、高质量图像/视频的需求在增长。随着图像/视频分辨率或质量变得更高,与常规的图像/视频数据相比,发送相对更多的信息或比特量。因此,如果图像/视频数据经由诸如现有有线/无线宽带线路这样的介质发送或被存储在传统存储介质中,则发送和存储的成本容易增加。
此外,对虚拟现实(VR)和人工现实(AR)内容以及诸如全息图这样的沉浸式媒体的兴趣和需求在增长;并且与诸如游戏图像/视频这样的表现出实际图像/视频的图像/视频特性不同的图像/视频特性的图像/视频的广播也在增长。
因此,需要高度高效的图像/视频压缩技术来有效地压缩和发送、存储或播放表现出如上所述的各种特性的高分辨率、高质量图像/视频。
发明内容
技术方案
本文献的示例性实施方式提供了用于增强视频/图像编码效率的方法和设备。
本文献的示例性实施方式提供了用于高效地发信号通知与去块滤波器相关的信息的方法和设备。
本文献的示例性实施方式提供了用于在PPS级高效地发信号通知单色颜色格式的色度去块参数信息的方法和设备。
本文献的示例性实施方式提供了用于在PH级高效地发信号通知单色颜色格式的色度去块参数信息的方法和设备。
本文献的示例性实施方式提供了用于在SH级高效地发信号通知单色颜色格式的色度去块参数信息的方法和设备。
本文献的示例性实施方式提供了用于在各种颜色格式的视频/图像中选择性发信号通知应用于亮度分量的去块参数信息和应用于色度分量的去块参数信息的方法和设备。
本文献的示例性实施方式提供了由解码设备执行的视频/图像解码方法。
本文献的示例性实施方式提供了用于执行视频/图像解码的解码设备。
本文献的示例性实施方式提供了由编码设备执行的视频/图像编码方法。
本文献的示例性实施方式提供了用于执行视频/图像编码的编码设备。
本文献的示例性实施方式提供了其中存储有通过本文献的示例性实施方式中的至少一个中公开的视频/图像编码方法生成的编码后的视频/图像信息的计算机可读数字存储介质。
本文献的示例性实施方式提供了其中存储有致使解码设备执行本文献的示例性实施方式中的至少一个中公开的视频/图像解码方法的编码后的信息或编码后的视频/图像信息的计算机可读数字存储介质。
技术效果
本文献的示例性实施方式可以增强整体图像/视频压缩效率。
本文献的示例性实施方式可以高效地发信号通知与去块滤波器相关的信息。
本文献的示例性实施方式可以在PPS级高效地发信号通知单色颜色格式的色度去块参数信息。
本文献的示例性实施方式可以在PH级高效地发信号通知单色颜色格式的色度去块参数信息。
本文献的示例性实施方式可以在SH级高效地发信号通知单色颜色格式的色度去块参数信息。
本文献的示例性实施方式可以在各种颜色格式的视频/图像中选择性发信号通知应用于亮度分量的去块参数信息和应用于色度分量的去块参数信息。
附图说明
图1示意性例示了适用本文献的示例性实施方式的视频/图像编码系统的示例。
图2是用于示意性说明适用本文献的示例性实施方式的视频/图像编码设备的配置的示图。
图3是用于示意性说明适用本文献的示例性实施方式的视频/图像解码设备的配置的示图。
图4示例性例示了编码视频/图像的层级结构。
图5示例性例示了根据色度格式的图片中亮度样本和色度样本的位置。
图6和图7示意性例示了基于环路滤波的视频/图像编码方法和编码设备中的滤波器的示例。
图8和图9示意性例示了基于环路滤波的视频/图像解码方法和解码设备中的滤波器的示例。
图10示意性例示了去块滤波过程的示例。
图11和图12示意性例示了根据本文献的实施方式的视频/图像编码方法和相关组件的示例。
图13和图14示意性例示了根据本文献的实施方式的视频/图像解码方法和相关组件的示例。
图15例示了适用本文献中公开的实施方式的内容流传输系统的示例。
具体实施方式
本公开可以按各种形式进行修改,并且将在附图中描述和例示其具体实施方式。然而,这些实施方式并不旨在限制本公开。以下描述中使用的术语仅仅用于描述具体实施方式,而不旨在限制本公开。单数的表述包括复数的表述,只要它被清楚不同地读出即可。诸如“包括”和“具有”这样的术语旨在指示存在以下描述中使用的特征、数字、步骤、操作、元件、组件或其组合,因此应该理解,没有排除存在或添加一个或更多个不同特征、数字、步骤、操作、元件、组件或其组合的可能性。
此外,为了便于关于不同特性功能的描述,独立地示出了本文献中描述的附图中的每个组件,这不意味着组件被实现为单独的硬件或单独的软件。例如,每个配置中的两个或更多个可以被组合以形成一个配置,或者一个配置可以被划分为多个配置。在不脱离本文献的精神的情况下,其中每个配置被集成和/或分离的实施方式也被包括在本文献的范围中。
下文中,将参考附图来详细地描述本文献的示例性实施方式。下文中,在附图中相同的附图标记用于相同的组件,并且可以省略对相同组件的冗余描述。
图1示意性例示了适用本文献的示例性实施方式的视频/图像编码系统的示例。
参照图1,视频/图像编码系统可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以经由数字存储介质或网络以文件或流的形式向接收装置发送编码视频/图像信息或数据。
源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以称为视频/图像编码设备,并且解码设备可以称为视频/图像解码设备。发送器可以包括在编码设备中。接收器可以包括在解码设备中。渲染器可以包括显示器,并且显示器可以被配置为单独的装置或外部组件。
视频源可以通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个照相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板电脑和智能电话,并且可以(电子地)生成视频/图像。例如,可以通过计算机等生成虚拟视频/图像。在这种情况下,视频/图像捕获处理可以由生成相关数据的处理代替。
编码设备可以对输入的视频/图像进行编码。编码设备可以执行诸如预测、变换和量化的一系列过程,以实现压缩和编码效率。编码数据(编码视频/图像信息)能够以比特流的形式输出。
发送器可以通过数字存储介质或网络以文件或流的形式向接收装置的接收器发送以比特流形式输出的编码后的图像/图像信息或数据。数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。发送器可以包括用于通过预定文件格式生成媒体文件的元件,并且可以包括用于通过广播/通信网络进行发送的元件。接收器可以接收/提取比特流,并向解码装置发送接收到的比特流。
解码设备可以通过执行与编码设备的操作相对应的诸如解量化、逆变换和预测之类的一系列过程,来对视频/图像进行解码。
渲染器可以渲染解码后的视频/图像。可以通过显示器显示渲染后的视频/图像。
本文献涉及视频/图像编码。例如,本文献中公开的方法/示例性实施方式适用于以通用视频编码(VVC)标准公开的方法。另外,本文献中公开的方法/示例性实施方式适用于以基本视频编码(EVC)标准、AOMedia Video 1(AV1)标准、第二代音频视频编码(AVS2)标准或下一代视频/图像编码标准(例如,H.267或H.268)公开的方法。
本公开提出了视频/图像编码的各种实施方式,并且除非另外提到,否则这些实施方式可以彼此组合地执行。
在本文献中,视频可以意指随时间推移的一系列图像的组。图片通常意指表示特定时间段中的一个图像的单元,并且切片和图块是编码时构成图片的一部分的单元。切片/图块可以包括一个或更多个编码树单元(CTU)。一个图片可以由一个或更多个切片/图块组成。图块是图片中的特定图块列和特定图块行内的CTU的矩形区域。图块列是高度等于图片的高度并且宽度由图片参数集中的语法元素指定的CTU的矩形区域。图块行是高度由图片参数集中的语法元素指定并且宽度等于图片宽度的CTU的矩形区域。图块扫描是以下的分割图片的CTU的特定顺序排序:在图块中按CTU光栅扫描对CTU进行连续排序,而按图片的图块的光栅扫描对图片中的图块进行连续排序。一个切片包括可以被排他性包含在单个NAL单元中的图片的图块内的整数个连续的完整CTU行或整数个完整图块。
此外,一个图片可以被划分为两个或更多个子图片。子图片可以是图片内的一个或更多个切片的矩形区域。
像素或画素(pel)可以意指构成一个图片(或图像)的最小单元。另外,“样本”可以被用作与像素对应的术语。样本通常可以表示像素或像素的值,可以仅表示亮度分量的像素/像素值,或仅表示色度分量的像素/像素值。
单元可以表示图像处理的基本单元。单元可以包括图片的特定区域和与该区域相关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如,cb、cr)块。在某些情况下,可以将单元与诸如块或区域这样的术语互换地使用。在通常情况下,M×N块可以包括M列N行的样本(或样本阵列)或变换系数的集合(或阵列)。
在本文献中,“A或B”可以意指“仅A”、“仅B”或“A和B二者”。换句话说,在本说明书中,“A或B”可以被解释为“A和/或B”。例如,本文中的“A、B或C”意指“仅A”、“仅B”、“仅C”或“A、B和C中的任一个及任何组合”。
在本文献中使用的斜杠(/)或逗号(,)可以意指“和/或”。例如,“A/B”可以意指“A和/或B”。相应地,“A/B”可以意指“仅A”、“仅B”或“A和B二者”。例如,“A、B、C”可以意指“A、B或C”。
在本文献中,“A和B中的至少一个”可以意指“仅A”、“仅B”或“A和B二者”。另外,在本文献中,表述“A或B中的至少一个”或“A和/或B中的至少一个”可以被解释为与“A和B中的至少一个”相同。
另外,在本文献中,“A、B和C中的至少一个”意指“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。另外,“A、B或C中的至少一个”或“A、B和/或C中的至少一个”可以意指“A、B和C中的至少一个”。
另外,在本文献中使用的括号可以意指“例如”。具体地,当指示“预测(帧内预测)”时,“帧内预测”可以被提议作为“预测”的示例。换句话说,本文献中的“预测”不限于“帧内预测”,并且“帧内预测”可以被提议作为“预测”的示例。另外,即使当指示“预测(即,帧内预测)”时,“帧内预测”可以被提议作为“预测”的示例。
在本文献中,在一个附图中被单独描述的技术特征可以被单独地实现或可以同时地实现。
图2是示意性说明了适用本文献的示例性实施方式的视频/图像编码设备的配置的示图。下文中,编码设备可以包括图像编码设备和/或视频编码设备。
参照图2,编码设备200包括图像分割器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、反量化器234和逆变换器235。残差处理器230还可以包括减法器231。加法器250可以称为重构器或重构块生成器。根据实施方式,图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由至少一个硬件组件(例如,编码器芯片组或处理器)构成。另外,存储器270可以包括解码图片缓冲器(DPB)或者可以由数字存储介质构成。硬件组件还可以包括作为内部/外部组件的存储器270。
图像分割器210可以将输入到编码设备200的输入图像(或图片或帧)分割到一个或更多个处理器中。例如,处理器可以被称为编码单元(CU)。在这种情况下,可以根据四叉树二叉树三叉树(QTBTTT)结构从编码树单元(CTU)或最大编码单元(LCU)来递归地分割编码单元。例如,一个编码单元可以基于四叉树结构、二叉树结构和/或三元结构而被分割为深度更深的多个编码单元。在这种情况下,例如,可以首先应用四叉树结构,随后可以应用二叉树结构和/或三元结构。可替选地,可以首先应用二叉树结构。可以基于不再分割的最终编码单元来执行根据本公开的编码过程。在这种情况下,可以根据图像特性基于编码效率将最大编码单元用作最终编码单元,或者如果需要,可以将编码单元递归地分割为深度更深的编码单元并且具有最佳大小的编码单元可以用作最终编码单元。这里,编码过程可以包括预测、变换和重构的过程,这将在后面描述。作为另一示例,处理器还可以包括预测单元(PU)或变换单元(TU)。在这种情况下,可以从上述最终编码单元来分离或分割预测单元和变换单元。预测单元可以是样本预测的单元,并且变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
在一些情况下,单元可以与诸如块或区域的术语互换使用。在一般情况下,M×N块可以表示由M列和N行组成的样本或变换系数的集合。样本通常可以表示像素或像素值,可以仅表示亮度分量的像素/像素值,或者仅表示色度分量的像素/像素值。样本可以用作与像素或画素的一幅图片(或图像)相对应的术语。
在编码设备200中,从输入图像信号(原始块、原始样本阵列)中减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列),以生成残差信号(残差块、残差样本阵列)并且所生成的残差信号被发送到变换器232。在这种情况下,如图所示,在编码设备200中用于从输入图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元可以称为减法器231。预测器可以对要处理的块(在下文中称为当前块)执行预测,并生成包括当前块的预测样本的预测块。预测器能够以当前块或CU为基础来确定是应用帧内预测还是应用帧间预测。如稍后在每个预测模式的描述中所述,预测器可以生成与预测有关的、诸如预测模式信息之类的各种信息,并向熵编码器240发送所生成的信息。关于预测的信息可以在熵编码器240中编码并以比特流的形式输出。
帧内预测器222可以通过参考当前图片中的样本来预测当前块。根据预测模式,参考的样本可以位于当前块的附近,或者可以远离当前块。在帧内预测中,预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度,定向模式可以包括例如33个定向预测模式或65个定向预测模式。然而,这仅是示例,依据设置,可以使用更多或更少的定向预测模式。帧内预测器222可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器221可以基于由参照图片上的运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。这里,为了减少在帧间预测模式下发送的运动信息的量,可以基于邻近块和当前块之间的运动信息的相关性,以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参照图片索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下,邻近块可以包括存在于当前图片中的空间邻近块和存在于参照图片中的时间邻近块。包括参考块的参照图片和包括时间邻近块的参照图片可以相同或不同。时间邻近块可以称为并置参考块、共位CU(colCU)等,并且包括时间邻近块的参照图片可以称为并置图片(colPic)。例如,帧间预测器221可以基于邻近块来配置运动信息候选列表,并且生成指示使用哪个候选来推导当前块的运动向量和/或参照图片索引的信息。可以基于各种预测模式来执行帧间预测。例如,在跳过模式和合并模式的情况下,帧间预测器221可以将邻近块的运动信息用作当前块的运动信息。在跳过模式下,与合并模式不同,可能无法发送残差信号。在运动向量预测(MVP)模式的情况下,可以将邻近块的运动向量用作运动向量预测子,并且可以通过发信号通知运动向量差来指示当前块的运动向量。
预测器220可以基于以下描述的各种预测方法来生成预测信号。例如,预测器不仅可以应用帧内预测或帧间预测来预测一个块,而且可以同时应用帧内预测和帧间预测这二者。这可以称为帧间帧内组合预测(CIIP)。另外,预测器可以基于帧内块复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可用于游戏等的内容图像/视频编码,例如,屏幕内容编码(SCC)。IBC基本上在当前图片中执行预测,但是可以类似于帧间预测来执行IBC,因为参考块是在当前图片中推导的。即,IBC可以使用本公开中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时,可以基于关于调色板表和调色板索引的信息来发信号通知图片内的样本值。
由预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以用于生成重构信号或生成残差信号。变换器232可以通过向残差信号应用变换技术来生成变换系数。例如,变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、karhunen-loève变换(KLT)、基于图的变换(GBT)或条件非线性变换(CNT)中的至少一种。这里,GBT表示当像素之间的关系信息由图表示时从图获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号而生成的变换。另外,变换处理可以应用于具有相同大小的正方形像素块,或者可以应用于具有可变大小而非正方形的块。
量化器233可以对变换系数进行量化,并且将它们发送给熵编码器240,并且熵编码器240可以对量化信号(关于量化变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以称为残差信息。量化器233可以基于系数扫描顺序将块类型量化变换系数重新布置为一维向量形式,并且基于一维向量形式的量化变换系数来生成关于量化变换系数的信息。可以生成关于变换系数的信息。熵编码器240可以执行各种编码方法,诸如,例如指数哥伦布(Golomb)、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。熵编码器240可以对除了量化变换系数以外的视频/图像重构所需的信息(例如,语法元素的值等)一起或分开地进行编码。能够以比特流的形式以NAL(网络抽象层)为单位发送或存储编码信息(例如,编码视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)之类的各种参数集的信息。另外,视频/图像信息还可包括一般约束信息。在本公开中,从编码设备向解码设备发送/发信号通知的信息和/或语法元素可以包括在视频/图片信息中。视频/图像信息可以通过上述编码过程被编码并且被包括在比特流中。比特流可以通过网络发送,或者可以存储在数字存储介质中。网络可以包括广播网络和/或通信网络,并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。可以包括发送从熵编码器240输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)作为编码设备200的内部/外部元件,并且可替选地,发送器可以包括在熵编码器240中。
从量化器233输出的量化变换系数可以用于生成预测信号。例如,可以通过利用反量化器234和逆变换器235对量化变换系数应用解量化和逆变换,来重构残差信号(残差块或残差样本)。加法器250将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加,以生成重构信号(重构图片、重构块、重构样本阵列)。如果要处理的块没有残差(诸如应用了跳过模式的情况),则可以将预测块用作重构块。加法器250可以称为重构器或重构块生成器。所生成的重构信号可以用于在当前图片中要处理的下一块的帧内预测,并且可以通过如下所述的滤波用于下一图片的帧间预测。
此外,在图片编码和/或重构期间,可以应用亮度映射与色度缩放(LMCS)。
滤波器260可以通过对重构信号应用滤波来改善主观/客观图像质量。例如,滤波器260可以通过对重构图片应用各种滤波方法来生成修改后的重构图片,并将修改后的重构图片存储在存储器270(具体地,存储器270的DPB)中。各种滤波方法可包括例如去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以生成与滤波有关的各种信息,并且将生成的信息发送给熵编码器240,如稍后在各种滤波方法的描述中所述。与滤波有关的信息可以由熵编码器240编码并且以比特流的形式输出。
发送给存储器270的修改后的重构图片可以用作帧间预测器221中的参照图片。当通过编码设备应用帧间预测时,可以避免编码设备200与解码设备之间的预测不匹配,并且可以提高编码效率。
存储器270的DPB可以存储用作帧间预测器221中的参照图片的修改后的重构图片。存储器270可以存储从中推导(或编码)当前图片中的运动信息的块的运动信息和/或图片中已重构的块的运动信息。所存储的运动信息可以发送给帧间预测器221,并且用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本,并且可以将重构样本传送给帧内预测器222。
图3是示意性说明了适用本文献的示例性实施方式的视频/图像解码设备的配置的示图。下文中,解码设备可以包括图像解码设备和/或视频解码设备。
参照图3,解码设备300可以包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350、存储器360。预测器330可以包括帧间预测器332和帧内预测器331。残差处理器320可以包括反量化器321和逆变换器322。根据实施方式,熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由硬件组件(例如,解码器芯片组或处理器)构成。另外,存储器360可以包括解码图片缓冲器(DPB),或者可以由数字存储介质构成。硬件组件还可以包括存储器360作为内部/外部组件。
当输入包括视频/图像信息的比特流时,解码设备300可以与在图2的编码设备中处理视频/图像信息的处理相对应地重构图像。例如,解码设备300可以基于从比特流获得的块分割相关信息来推导单元/块。解码设备300可以使用在编码设备中应用的处理器来执行解码。因此,解码的处理器可以是例如编码单元,并且可以根据四叉树结构、二叉树结构和/或三叉树结构,从编码树单元或最大编码单元对编码单元进行分割。可以从编码单元推导一个或更多个变换单元。可以通过再现装置来再现通过解码设备300解码并输出的重构图像信号。
解码设备300可以接收以比特流形式从图2的编码设备输出的信号,并且可以通过熵解码器310对接收到的信号进行解码。例如,熵解码器310可以解析比特流,以推导图像重构(或图片重构)所需的信息(例如,视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)之类的各种参数集的信息。另外,视频/图像信息还可以包括一般约束信息。解码设备还可以基于关于参数集的信息和/或一般约束信息来对图片进行解码。本公开中稍后描述的发信号通知的/接收的信息和/或语法元素可以通过解码过程被解码,并从比特流中获取。例如,熵解码器310基于诸如指数哥伦布编码、CAVLC或CABAC之类的编码方法对比特流中的信息进行解码,并输出图像重构所需的语法元素和残差的变换系数的量化值。更具体地,CABAC熵解码方法可以接收与比特流中的每个语法元素相对应的bin,使用解码目标语法元素信息、解码目标块的解码信息或在先前级中解码的符号/bin的信息来确定上下文模型,并通过根据所确定的上下文模型预测bin的出现概率来对该bin进行算术解码,并且生成与每个语法元素的值相对应的符号。在这种情况下,在确定上下文模型之后,CABAC熵解码方法可以通过将经解码的符号/bin的信息用于下一符号/bin的上下文模型来更新上下文模型。由熵解码器310解码的信息之中与预测有关的信息可以提供给预测器(帧间预测器332和帧内预测器331),并且在熵解码器310中对其执行了熵解码的残差值(也就是说,量化变换系数和相关参数信息)可以被输入到残差处理器320。残差处理器320可以推导残差信号(残差块、残差样本、残差样本阵列)。另外,由熵解码器310解码的信息之中关于滤波的信息可以提供给滤波器350。此外,用于接收从编码设备输出的信号的接收器(未示出)可以进一步被配置为解码设备300的内部/外部元件,或者接收器可以是熵解码器310的组件。此外,根据本公开的解码设备可以称为视频/图像/图片解码设备,并且解码设备可以分类为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310,并且样本解码器可以包括反量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
反量化器321可以对量化变换系数进行解量化并且输出变换系数。反量化器321能够以二维块的形式重新布置量化变换系数。在这种情况下,可以基于在编码设备中执行的系数扫描顺序来执行重新布置。反量化器321可以通过使用量化参数(例如,量化步长信息)对量化变换系数执行解量化,并且获得变换系数。
逆变换器322对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。
预测器330可以对当前块执行预测,并生成包括当前块的预测样本的预测块。预测器330可以基于从熵解码器310输出的关于预测的信息来确定向当前块应用帧内预测还是帧间预测,并且可以确定具体的帧内/帧间预测模式。
预测器330可以基于以下描述的各种预测方法来生成预测信号。例如,预测器330不仅可以应用帧内预测或帧间预测来预测一个块,而且可以同时应用帧内预测和帧间预测。这可以称为帧间和帧内组合预测(CIIP)。另外,预测器330可以基于帧内块复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可以用于游戏等的内容图像/视频编码,例如,屏幕内容编码(SCC)。IBC基本上在当前图片中执行预测,但是可以类似于帧间预测来执行IBC,因为在当前图片中推导参考块。即,IBC可以使用本公开中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时,可以基于关于调色板表和调色板索引的信息来发信号通知图片内的样本值。
帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式,所参考的样本可以位于当前块的近邻中,或者可以分开定位。在帧内预测中,预测模式可以包括多种非定向模式和多种定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式,所参考的样本可以位于当前块的近邻中,或者可以分开定位。在帧内预测中,预测模式可以包括多种非定向模式和多种定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器332可以基于参照图片上的由运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下,为了减少在帧间预测模式中发送的运动信息的量,可以基于邻近块和当前块之间的运动信息的相关性,以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参照图片索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下,邻近块可以包括存在于当前图片中的空间邻近块和存在于参照图片中的时间邻近块。例如,帧间预测器332可以基于邻近块来配置运动信息候选列表,并基于接收到的候选选择信息来推导当前块的运动向量和/或参照图片索引。可以基于各种预测模式来执行帧间预测,并且关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。
加法器340可以通过将所获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构图片、重构块、重构样本阵列)。如果要处理的块没有残差(例如当应用跳过模式时),则可以将预测块用作重构块。
加法器340可以称为重构器或重构块生成器。所生成的重构信号可以用于当前图片中要处理的下一块的帧内预测,可以通过如下所述的滤波输出,或者可以用于下一图片的帧间预测。
此外,在图片解码过程中可以应用亮度映射与色度缩放(LMCS)。
滤波器350可以通过向重构信号应用滤波来改善主观/客观图像质量。例如,滤波器350可以通过对重构图片应用各种滤波方法来生成修改后的重构图片,并将修改后的重构图片存储在存储器360(具体地,存储器360的DPB)中。各种滤波方法可包括例如去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
存储器360的DPB中存储的(修改后的)重构图片可以用作帧间预测器332中的参照图片。存储器360可以存储从中推导(或解码)当前图片中的运动信息的块的运动信息和/或图片中已重构的块的运动信息。所存储的运动信息可以发送给帧间预测器332,以作为空间邻近块的运动信息或时间邻近块的运动信息来利用。存储器360可以存储当前图片中的重构块的重构样本,并且可以将重构样本传送给帧内预测器331。
在本文献中,在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式可以与解码设备300的滤波器350、帧间预测器332和帧内预测器331相同或者分别被应用以对应于解码设备300的滤波器350、帧间预测器332和帧内预测器331。相同的内容也可以应用于帧间预测器332和帧内预测器331。
如上所述,在执行视频编码时,执行预测以增强压缩效率。可以通过预测生成包括当前块(即,目标编码块)的预测样本的预测块。在这种情况下,预测块包括空间域(或像素域)中的预测样本。在编码设备和解码设备中同样地推导预测块。编码设备可以通过向解码设备发信号通知关于原始块与预测块之间的残差的信息(残差信息)而非原始块的原始样本值本身来增强图像编码效率。解码设备可以基于残差信息来推导包括残差样本的残差块,可以通过将残差块与预测块相加来生成包括重构样本的重构块,并且可以生成包括重构块的重构图片。
可以通过变换和量化过程来生成残差信息。例如,编码设备可以推导原始块与预测块之间的残差块,可以通过对残差块中所包括的残差样本(残差样本阵列)执行变换过程来推导变换系数,可以通过对变换系数执行量化过程来推导量化变换系数,并且可以(通过比特流)向解码设备发信号通知相关残差信息。在这种情况下,残差信息可以包括诸如值信息、位置信息、变换方案、变换核以及量化变换系数的量化参数这样的信息。解码设备可以基于残差信息执行反量化/逆变换过程,并且可以推导残差样本(或残差块)。解码设备可以基于预测块和残差块来生成重构图片。此外,为了供后续图片的帧间预测参考,编码设备可以通过对量化后的变换系数进行反量化/逆变换来推导残差块,并且可以生成重构图片。
在本文献中,可以省略量化/逆量化和/或变换/逆变换中的至少一种。当省略量化/逆量化时,量化的变换系数可以被称为变换系数。当省略变换/逆变换时,变换系数可以被称为系数或残差系数,或者为了表达的统一性,仍可以被称为变换系数。
在本文献中,量化变换系数和变换系数可以分别被称为变换系数和缩放变换系数。在这种情况下,残差信息可以包括关于变换系数的信息,并且可以通过残差编码语法发信号通知关于变换系数的信息。可以基于残差信息(或关于变换系数的信息)推导变换系数,并且可以通过对变换系数逆变换(缩放)来推导缩放变换系数。可以基于对缩放变换系数逆变换(变换)来推导残差样本。这也可以在本公开的其他部分中应用/表达。
图4示例性例示了编码视频/图像的层级结构。
参照图4,编码视频/图像可以被分类为应对视频/图像的解码处理及其本身的视频编码层(VCL)、用于发送和存储编码信息的子系统以及存在于VCL和子系统之间并负责网络适配功能的网络抽象层。
在VCL中,可以生成包括压缩的图像数据(切片数据)的VCL数据,或者可以生成诸如图片参数集(PPS)、序列参数集(SPS)和视频参数集(VPS)这样的包括信息的参数集或图像解码处理另外需要的补充增强信息(SEI)消息。
在NAL中,可以通过向在VCL中生成的原始字节序列有效载荷(RBSP)添加头信息(NAL单元头)来生成NAL单元。在这种情况下,RBSP是指在VCL中生成的切片数据、参数集、SEI消息等。NAL单元头可以包括根据相应NAL单元中所包括的RBSP数据指定的NAL单元类型信息。
如图4中例示的,根据在VCL中生成的RBSP,NAL单元可以被分类为VCL NAL单元和非VCL NAL单元。VCL NAL单元可以意指包括关于图像(切片数据)的信息的NAL单元,并且非VCL NAL单元可以意指包括解码图像所需的信息(参数集或SEI消息)的NAL单元。
如上所述,根据子系统的数据标准,VCL NAL单元和非VCL NAL单元可以利用其上附接头信息通过网络来发送。例如,NAL单元可以被变换为诸如H.266/VVC文件格式、实时传输协议(RTP)、传输流(TS)等这样的预定标准的数据格式,并可以通过各种网络来发送。
如上所述,可以根据相应NAL单元中所包括的RBSP数据结构以NAL单元类型指定NAL单元,并且关于NAL单元类型的信息可以被存储在NAL单元头中以被发信号通知。
例如,根据NAL单元是否包括关于图像的信息(切片数据),NAL单元可以被简单地分类为VCL NAL单元类型和非VCL NAL单元类型。VCL NAL单元类型可以根据VCL NAL单元中所包括的图片的性质和类型来分类,并且非VCL NAL单元类型可以根据参数集的类型来分类。
以下是根据非VCL NAL单元类型中所包括的参数集的类型指定的NAL单元类型的示例。
-APS(自适应参数集)NAL单元:包括APS的NAL单元的类型
-DPS(解码参数集)NAL单元:包括DPS的NAL单元的类型
-VPS(视频参数集)NAL单元:包括VPS的NAL单元的类型
-SPS(序列参数集)NAL单元:包括SPS的NAL单元的类型
-PPS(图片参数集)NAL单元:包括PPS的NAL单元的类型
-PH(图片头)NAL单元:包括PH的NAL单元的类型
上述NAL单元类型可以具有针对NAL单元类型的语法信息,并且语法信息可以被存储在NAL单元头中以被发信号通知。例如,语法信息可以是nal_unit_type,并且可以通过nal_unit_type值指定NAL单元类型。
此外,如上所述,一个图片可以包括多个切片,并且一个切片可以包括切片头和切片数据。在这种情况下,可以向一个图片中的多个切片(切片头和切片数据的集合)进一步添加一个图片头。图片头(图片头语法)可以包括共同适用于图片的信息/参数。例如,一个图片可以由诸如帧内编码切片(即,I切片)和/或帧间编码切片(即,P切片和B切片)这样的不同类型的切片构成。在这种情况下,图片头可以包括应用于帧内编码切片和帧间编码切片的信息/参数。另外,一个图片可以由一种类型的切片构成。
切片头(切片头语法)可以包括可以共同应用于切片的信息/参数。APS(APS语法)或PPS(PPS语法)可以包括可以共同应用于一个或更多个切片或图片的信息/参数。SPS(SPS语法)可以包括可以共同应用于一个或更多个序列的信息/参数。VPS(VPS语法)可以包括可以共同应用于多个层的信息/参数。DPS(DPS语法)可以包括可以共同应用于整个视频的信息/参数。DPS可以包括与编码视频序列(CVS)的级联相关的信息/参数。本文献中的高级语法(HLS)可以包括APS语法、PPS语法、SPS语法、VPS语法、DPS语法、图片头语法和切片头语法中的至少一个。
在本文献中,从编码设备编码到解码设备并以比特流的形式发信号通知的视频/图像信息可以包括切片头中所包括的信息、图片头中所包括的信息、APS中所包括的信息、PPS中所包括的信息、SPS中所包括的信息、VPS中所包括的信息和/或DPS中所包括的信息以及图片中的分割相关信息、帧内/帧间预测信息、残差信息和环路滤波信息。另外,视频/图像信息还可以包括NAL单元头的信息。
在本文献中,源或编码图片/图像可以由一个或三个样本阵列构成。例如,源或编码图片/图像可以仅包括亮度分量阵列(单色)。
另选地,源或编码图片/图像可以包括亮度分量阵列,并且在某些情况下,它还可以包括两个色度分量(cb,cr)阵列。即,构成图片/图像的一个像素(样本)可以包括亮度样本阵列和色度样本(cb,cr)阵列。
与此相关,颜色格式与色度分量的采样格式相关。即,颜色格式可以表示亮度分量和色度分量(cb,cr)的配置格式,并可以被称为色度格式。颜色格式可以是预定的,或者可以自适应地发信号通知。例如,在色度格式为4∶4∶4的情况下,可以基于如下表1中的与颜色格式相关的语法元素chroma_format_idc和与三个颜色分量是否被分别编码相关的语法元素separate_color_plane_flag中的至少一个来确定色度格式。
[表1]
chroma_format_idc separate_colour_plane_flag 色度格武 SubWidthC SubHeightC
0 0 单色 1 1
1 0 4∶2∶0 2 2
2 0 4∶2∶2 2 1
3 0 4∶4∶4 1 1
3 1 4∶4∶4 1 1
即,如果色度格式是单色采样,则可以只存在作为仅一个样本阵列的亮度阵列。如果色度格式为4∶2∶0采样,则两个色度阵列中的每一个的高度是亮度阵列的高度的一半并且其宽度是亮度阵列的宽度的一半。如果色度格式为4∶2∶2采样,则两个色度阵列中的每一个具有与亮度阵列的高度相同的高度和与亮度阵列的宽度相同的宽度。如果色度格式为4∶4∶4采样,则基于separate_colour_plane_flag的值来确定高度和宽度。如果separate_colour_plane_flag的值为0,则两个色度阵列中的每一个具有与亮度阵列的高度相同的高度和与亮度阵列的宽度相同的宽度。如果separate_colour_plane_flag的值为1,则三个颜色分量被视为单色采样图片,并被分别编码。
在上表1中,SubWidthC和SubHeightC表示亮度样本与色度样本之间的比率。例如,如果chroma_format_idc的值为3,则色度格式为4∶4∶4。在这种情况下,如果亮度样本块的宽度为16,则色度样本块的相应宽度为16/SubWidthC。
另外,通常,在变量ChromaArrayType(色度阵列类型)的值不为0的情况下,解析色度样本相关信息。这里,ChromaArrayType是与色度分量的采样格式相关的变量,并且如果separate_colour_plane_flag的值为0,则ChromaArrayType的值被配置为与chroma_format_idc的值相同,而如果separate_colour_plane_flag的值为1,则ChromaArrayType的值被配置为0。
图5示例性例示了根据色度格式的图片中亮度样本和色度样本的位置。
例如,图5的参考标号“500”可以表示在chroma_format_idc的值为1的情况下(即,在色度格式为4:2:0的情况下)图片中亮度样本和色度样本的相对垂直或水平位置。图5的参考标号“510”可以表示在chroma_format_idc的值为2的情况下(即,在色度格式为4:2:2的情况下)图片中亮度样本和色度样本的相对位置,并且相应的色度样本可以存在于与相应亮度样本的位置相同的位置处。图5的参考标号“520”可以表示在chroma_format_idc的值为3的情况下(即,在色度格式为4:4:4的情况下)图片中亮度样本和色度样本的位置,并且所有的色度样本可以始终存在于与相应亮度样本的位置相同的位置处。
此外,在视频/图像编码中,可以按照一系列解码顺序对构成视频/图像的图片进行编码/解码。与解码图片的输出顺序对应的图片顺序可以与解码顺序不同地配置为,并且基础此,在帧间预测期间,可以不仅执行前向预测而且执行后向预测。
图6和图7示意性例示了基于环路滤波的视频/图像编码方法和编码设备中的滤波器的示例。
参照图6和图7,编码设备生成当前图片的重构图片(S600)。如在图2中描述的,编码设备可以通过对输入的原始图片进行分割、帧内/帧间预测和残差处理的过程来生成重构图片。具体地,编码设备可以通过帧内或帧间预测来生成当前块的预测样本,基于预测样本来生成残差样本,并通过在执行残差样本的变换/量化之后再次执行残差样本的反量化/逆变换来推导(修改后的)残差样本。在变换/量化之后再次执行反量化/逆变换的原因是推导与如上所述由解码设备推导的残差样本相同的残差样本。这是因为,量化过程基本上是有损编码过程,并且在应用简化变换(RT)的情况下,变换过程也有损失。编码设备可以基于预测样本和(修改后的)残差样本来生成包括当前块的重构样本的重构块。可以基于重构块来生成重构图片。
编码设备对重构图片执行环路滤波过程(S610)。通过环路滤波过程,可以生成修改后的重构图片。作为解码图片,修改后的重构图片可以被存储在解码图片缓冲器或存储器270中,并可以在后续图片编码期间用作帧间预测过程中的参考图片。环路滤波过程可以包括去块滤波过程、采样自适应偏移(SAO)过程和/或自适应环路滤波器(ALF)过程中的至少一个。可以由编码设备的滤波器260执行S610。具体地,例如,去块滤波过程可以由去块滤波处理器261执行,SAO过程可以由SAO处理器262执行,并且ALF过程可以由ALF处理器263执行。考虑到图像特性、复杂性和效率,可以省略各种滤波过程中的一些,并且在这种情况下,也可以省略图7中的相关组件。
编码设备可以对包括用于图片重构的信息和环路滤波相关信息的图像信息进行编码,并可以将编码后的图像信息以比特流的形式输出(S620)。输出的比特流可以通过存储介质或网络被传送到解码设备。可以由编码设备的熵编码器240执行S620。用于图片重构的信息可以包括如以上/稍后描述的分割信息、预测信息和残差信息。例如,环路滤波相关信息可以包括指示是否应用整个环路滤波的标志信息、指示是否应用相应滤波过程的标志信息、关于SAO类型的信息、关于SAO偏移值的信息、关于SAO频带位置的信息、关于ALF滤波形状的信息、和/或关于ALF滤波系数的信息。另外,例如,环路滤波相关信息可以包括去块滤波信息。去块滤波信息可以包括与去块滤波过程中使用的去块参数相关的信息/语法元素。稍后,将描述详细的滤波相关信息。以相同的方式,如上所述,考虑到图像特性、复杂性和效率,可以省略各种滤波过程中的一些,并且在省略了一些滤波方法的情况下,可以省略与省略的滤波相关的信息(参数)。
预测信息可以包括预测模式信息(例如,mpm标志、mpm索引、合并标志、合并子块标志、帧间仿射标志等)和运动信息索引(例如,合并索引、mvp标志(索引)、合并子块索引等)。例如,可以基于当前块的预测模式来配置运动信息候选列表(例如,合并候选列表、mvp候选列表或合并子块候选列表),并且可以使用运动信息索引来指示/选择在运动信息候选列表中存在的任一个候选。
图8和图9示意性例示了基于环路滤波的视频/图像解码方法和解码设备中的滤波器的示例。解码设备可以执行与由编码设备执行的操作对应的操作。
参照图8和图9,解码设备可以从接收的比特流中获得包括用于图片重构的信息和环路滤波相关信息的图像信息(S800)。可以由解码设备的熵解码器310执行S800。用于图片重构的信息可以包括如以上/稍后描述的分割信息、预测信息和残差信息。
例如,环路滤波相关信息可以包括指示是否应用整个环路滤波的标志信息、指示是否应用相应滤波过程的标志信息、关于SAO类型的信息、关于SAO偏移值的信息、关于SAO频带位置的信息、关于ALF滤波形状的信息、关于ALF滤波系数的信息、关于双边滤波器形状的信息、和/或关于双边滤波器权重值的信息。另外,例如,环路滤波相关信息可以包括去块滤波信息。去块滤波信息可以包括与去块滤波过程中使用的去块参数相关的信息/语法元素。稍后,将描述详细的滤波相关信息。以相同的方式,如上所述,考虑到图像特性、复杂性和效率,可以省略各种滤波过程中的一些,并且在省略了一些滤波方法的情况下,可以省略与省略的滤波相关的信息(参数)。
预测信息可以包括预测模式信息(例如,mpm标志、mpm索引、合并标志、合并子块标志、帧间仿射标志等)和运动信息索引(例如,合并索引、mvp标志(索引)、合并子块索引等)。例如,可以基于当前块的预测模式来配置运动信息候选列表(例如,合并候选列表、mvp候选列表、或合并子块候选列表),并且可以使用运动信息索引来指示/选择在运动信息候选列表中存在的任一个候选。
解码设备基于用于图片重构的信息来生成当前图片的重构图片(S810)。如以上在图3中描述的,编码设备可以通过对当前图片的帧内/帧间预测和残差处理的过程来生成重构图片。具体地,解码设备基于用于图片重构的信息中所包括的预测信息来通过帧内或帧间预测生成当前块的预测样本,并基于用于图片重构的信息中所包括的残差信息(基于反量化/逆变换)来推导当前块的残差样本。解码设备可以基于预测样本和残差样本来生成包括当前块的重构样本的重构块。可以基于重构块来生成重构图片。
解码设备对重构图片执行环路滤波过程(S820)。通过环路滤波过程,可以生成修改后的重构图片。修改后的重构图片可以被输出为解码图片,和/或可以被存储在解码图片缓冲器或存储器360中,并可以在后续图片解码期间用作帧间预测过程中的参考图片。环路滤波过程可以包括去块滤波过程、采样自适应偏移(SAO)过程和/或自适应环路滤波器(ALF)过程中的至少一个。可以由解码设备的滤波器350执行S820。具体地,例如,去块滤波过程可以由去块滤波处理器351执行,SAO过程可以由SAO处理器352执行,并且ALF过程可以由ALF处理器353执行。以相同的方式,考虑到如上所述的图像特性、复杂性和效率,可以省略各种滤波过程中的一些,并且在这种情况下,也可以省略图9中的相关组件。
即,解码设备可以基于环路滤波相关信息来应用环路滤波器。例如,可以基于去块滤波信息(与去块参数相关的信息/语法元素)来推导用于执行去块滤波的去块参数。可以基于去块参数来将去块滤波应用于重构图片或重构图片的目标边界。
通过环路滤波过程,可以减少对图像/视频进行编码时产生的诸如块伪影和振铃伪影这样的噪声,并增强主观/客观视觉质量。另外,通过在编码设备和解码设备二者中执行环路滤波过程,编码设备和解码设备可以推导出相同的预测结果,增加图片编码的可靠性,并减少为了对图片进行编码而要发送的数据量。
具体地,去块滤波是用于从重构图片中去除在块之间的边界上产生的失真的滤波技术。例如,去块滤波过程可以从重构图片推导目标边界,确定目标边界的边界强度(bS),并基于bS对目标边界执行去块滤波。可以基于与目标边界相邻的两个块的预测模式、运动向量差、参考图片是否相同以及是否存在不为0的有效系数来确定bS。
SAO是以样本为单位补偿重构图片与原始图片之间的偏移差的方法,并可以基于例如频带偏移和边缘偏移的类型来应用。根据SAO,可以按照相应SAO类型将样本分类为不同的类别,并且可以基于类别来将偏移值添加到相应样本。用于SAO的滤波信息可以包括关于是否应用SAO的信息、SAO类型信息和SAO偏移值信息。在应用去块滤波之后,可以对重构图片应用SAO。
自适应环路滤波器(ALF)是基于根据滤波器形状的滤波器系数以样本为单位对重构图片进行滤波的技术。编码设备可以通过重构图片与原始图片的比较来确定是否应用ALF、ALF形状和/或ALF滤波系数,并可以将它们发信号通知给解码设备。即,针对ALF的滤波信息可以包括关于是否应用ALF的信息、ALF滤波器形状信息、ALF滤波系数信息。在应用去块滤波之后,还可以对重构图片应用ALF。
图10示意性例示了去块滤波器过程的示例性实施方式。图10的过程可以由图2中例示的编码设备中的滤波器260和图3中例示的解码设备中的滤波器350执行。
参考图10,编码设备/解码设备可以推导重构图片中的被执行去块滤波的块之间的边界(S1000)。此外,被执行去块滤波的边界可以被称为边缘。另外,被执行去块滤波的边界可以包括两种类型,并且这两种类型可以是垂直边界和水平边界。垂直边界可以被称为垂直边缘,并且水平边界可以被称为水平边缘。编码设备/解码设备可以对垂直边缘执行去块滤波,并对水平边缘执行去块滤波。
当执行一个方向的去块滤波(即,垂直边界的去块滤波或水平边界的去块滤波)时,编码设备/解码设备可以推导变换块边界。编码设备/解码设备可以推导编码子块边界。
编码设备/解码设备可以基于N×N大小的网格来推导被执行去块滤波的块边界。例如,编码设备/解码设备可以基于块(变换块或编码子块)的边界是否对应于N×N大小的网格来推导被执行去块滤波的块边界。换句话说,例如,编码设备/解码设备可以基于块(变换块或编码子块)的边界是否是位于N×N大小的网格上的块边界来推导被执行去块滤波的块边界。编码设备/解码设备可以将与N×N大小的网格对应的块的边界推导为被执行去块滤波的块边界。这里,N×N大小的网格可以意指通过将重构图片分割成N×N大小的正方形而推导的边界。例如,N×N大小的网格可以是4×4或8×8大小的网格。
编码设备/解码设备可以确定被执行去块滤波的边界的边界强度(bS)(S1010)。bs也可以被称为边界滤波强度。
编码设备/解码设备可以基于与被执行去块滤波的边界相邻的块来确定bS。例如,可以假定获得块P与块Q之间的边界(块边缘)的bS值的情况。在这种情况下,编码设备/解码设备可以基于关于块P和块Q的位置的信息和/或块P和块Q是否被以帧内模式编码来确定边界的bS值。
这里,块P可以表示包括与被执行去块滤波的边界相邻的p0样本的块,并且块Q可以表示包括与被执行去块滤波的边界相邻的q0样本的块。
例如,p0可以表示与被执行去块滤波的边界的左侧或顶部相邻的块的样本,并且q0可以表示与被执行去块过滤的边界的右侧或底部相邻的块的样本。作为示例,如果滤波边界的方向是垂直方向(即,如果滤波边缘是垂直边界),则p0可以表示与被执行去块滤波的边界的左侧相邻的块的样本,并且q0可以表示与被执行去块滤波的边界的右侧相邻的块的样本。另选地,作为另一示例,如果滤波边界的方向是水平方向(即,如果滤波边界是水平边界),则p0可以表示与被执行去块滤波的边界的顶部相邻的块的样本,并且q0可以表示与被执行去块滤波的边界的底部相邻的块的样本。
编码设备/解码设备可以推导去块参数(S1020)。去块参数可以包括与β和tc相关的参数。可以基于与本文献中公开的去块滤波器相关的信息来推导β值和tc值。即,β值和tc值可以是稍后将要描述的色度分量滤波器参数信息。
编码设备/解码设备可以基于bS和去块参数来执行去块滤波(S1030)。去块参数可以表示去块滤波器系数。可以基于去块滤波器系数来执行去块滤波。即,S1030可以包括基于去块参数来推导去块滤波器系数并基于去块滤波器系数将去块滤波器应用于重构样本的目标边界的步骤。在bS大于0的情况下,可以执行去块滤波。具体地,如果bS为1,则可以执行针对亮度分量的去块滤波,而如果bS为2,则可以执行针对亮度分量和色度分量的去块滤波。
编码设备/解码设备可以基于bS来执行去块滤波。例如,编码设备/解码设备可以确定是否执行了对重构图片中的所有块边界的滤波过程,并且如果没有执行对所有块边界的滤波过程,则编码设备/解码设备可以确定子块的边界位置是否对应于N×N大小的网格(例如,8×8网格)。例如,可以确定通过将子块的边界位置的x分量和y分量除以N而推导的余数是否为0。如果通过将子块的边界位置的x分量和y分量除以N而推导的余数为0,则子块的边界位置可以对应于N×N大小的网格。如果子块的边界位置对应于N×N大小的网格,则编码设备/解码设备可以基于边界的bS和去块参数对边界执行去块滤波。
此时,基于所确定的bS值,可以确定应用于块之间的边界的滤波器。滤波器可以分为强滤波器和弱滤波器。编码设备/解码设备可以用不同的滤波器对重构图片中很有可能发生块失真的位置处的边界和其中不太可能发生块失真的位置处的边界执行滤波,由此增强编码效率。
编码设备/解码设备可以使用所确定的滤波器(例如,强滤波器或弱滤波果器)对块之间的边界执行去块滤波。如执行了对重构图片中的块之间的所有边界的去块滤波过程,则去块滤波过程可以终止。
与此相关,根据这一个现有实施方式,图片参数集(PPS)可以包括下表2的语法。下表2的语法可以是PPS的一部分。
[表2]
Figure BDA0003963998290000231
这里,上表2的语法中所包括的语法元素的语义可以例如如下表3中地表示。
[表3]
Figure BDA0003963998290000232
Figure BDA0003963998290000241
通过比特流获得的图像信息可以包括与去块滤波器相关的信息,并且与去块滤波器相关的信息可以包括第一去块滤波器禁用标志、第一亮度分量滤波器参数信息和第一色度分量滤波器参数信息。
这里,第一去块滤波器禁用标志可以与是否不对参照PPS的图片启用去块滤波器相关。即,第一去块滤波器禁用标志可以指示/表示是否不对参照PPS的图片启用去块滤波器。
例如,第一去块滤波器禁用标志可以以pps_deblocking_filter_disabled_flag语法元素的形式来表示。例如,pps_deblocking_filter_disabled_flag语法元素可以指定是否不对参照PPS的图片启用去块滤波器。
第一亮度分量滤波器参数信息可以与应用于参照PPS的切片的亮度分量的去块参数偏移相关。即,第一亮度分量滤波器参数信息可以指示/表示应用于参照PPS的切片的亮度分量的去块参数偏移。
例如,第一亮度分量滤波器参数信息可以以pps_beta_offset_div2语法元素和pps_tc_offset_div2语法元素的形式表示。例如,pps_beta_offset_div2语法元素和pps_tc_offset_div2语法元素可以指定应用于参照PPS的切片的亮度分量的去块参数偏移。
第一色度分量滤波器参数信息可以与应用于参照PPS的切片的色度分量的去块参数偏移相关。即,第一色度分量滤波器参数信息可以指示/表示应用于参照PPS的切片的色度分量的去块参数偏移。
例如,第一色度分量滤波器参数信息可以以pps_cb_beta_offset_div2语法元素、pps_cb_tc_offset_div2语法元素、pps_cr_beta_offset_div2语法元素或pps_cr_tc_offset_div2语法元素的形式来表示。例如,pps_cb_beta_offset_div2语法元素、pps_cb_tc_offset_div2语法元素、pps_cr_beta_offset_div2语法元素和pps_cr_tc_offset_div2语法元素可以指定应用于参照PPS的切片的色度分量的去块参数偏移。
根据这一个现有实施方式,如果第一去块滤波器禁用标志的值为0,则可以在PPS中配置/包括第一亮度分量滤波器参数信息和第一色度分量滤波器参数信息。如果第一去块滤波器禁用标志的值为1,则第一亮度分量滤波器参数信息和第一色度分量滤波器参数信息可以不存在。在不存在第一亮度分量滤波器参数信息和第一色度分量滤波器参数信息的情况下,第一亮度分量滤波器参数信息和第一色度分量滤波器参数信息可以分别具有值0。
根据这一个现有实施方式,图片头(PH)可以包括下表4的语法。下表4的语法可以是PH的一部分。
[表4]
Figure BDA0003963998290000251
这里,上表4的语法中所包括的语法元素的语义可以例如如下表5中地表示。
[表5]
Figure BDA0003963998290000252
Figure BDA0003963998290000261
与去块滤波器相关的信息可以包括第二去块滤波器覆写标志、第二去块滤波器禁用标志、第二亮度分量滤波器参数信息和第二色度分量滤波器参数信息。
这里,第二去块滤波器覆写标志可以与在PH中是否存在去块参数相关。即,第二去块滤波器覆写标志可以指示/表示在PH中是否存在去块参数。
例如,第二去块滤波器覆写标志可以以ph_deblocking_filter_override_flag语法元素的形式来表示。例如,ph_deblocking_filter_override_flag语法元素可以指定在PH中是否存在去块参数。
第二去块滤波器禁用标志可以与是否不对当前图片的切片启用去块滤波器相关。即,第二去块滤波器禁用标志可以指示/表示是否不对当前图片的切片启用去块滤波器。
例如,第二去块滤波器禁用标志可以以ph_deblocking_filter_disabled_flag语法元素的形式来表示。例如,ph_deblocking_filter_disabled_flag语法元素可以指定是否不对当前图片的切片启用去块滤波器。
第二亮度分量滤波器参数信息可以与应用于当前图片中的切片的亮度分量的去块参数偏移相关。即,第二亮度分量滤波器参数信息可以指示/表示应用于当前图片中的切片的亮度分量的去块参数偏移。
例如,第二亮度分量滤波器参数信息可以以ph_beta_offset_div2语法元素或ph_tc_offset_div2语法元素的形式来表示。例如,ph_beta_offset_div2语法元素和ph_tc_offset_div2语法元素可以指定应用于当前图片中的切片的亮度分量的去块参数偏移。
第二色度分量滤波器参数信息可以与应用于当前图片中的切片的色度分量的去块参数偏移相关。即,第二色度分量滤波器参数信息可以指示/表示应用于当前图片中的切片的色度分量的去块参数偏移。
例如,第二色度分量滤波器参数信息可以以ph_cb_beta_offset_div2语法元素、ph_cb_tc_offset_div2语法元素、ph_cr_beta_offset_div2语法元素或ph_cr_tc_offset_div2语法元素的形式来表示。例如,ph_cb_beta_offset_div2语法元素、ph_cb_tc_offset_div2语法元素、ph_cr_beta_offset_div2语法元素或ph_cr_tc_offset_div2语法元素可以指定应用于当前图片中的切片的色度分量的去块参数偏移。
根据这一个现有实施方式,如果第二去块滤波器覆写标志的值为1,则可以在PH中配置/包括第二去块滤波器禁用标志。如果第二去块滤波器覆写标志的值为0,则可以不存在第二去块滤波器禁用标志。如果第二去块滤波器禁用标志不存在,则第二去块滤波器禁用标志的值可以为0。
在这种情况下,根据这一个实施方式,如果第二去块滤波器禁用标志的值为0,则可以在PH中配置/包括第二亮度分量滤波器参数信息和第二色度分量滤波器参数信息。如果第二去块滤波器禁用标志的值为1,则第二亮度分量滤波器参数信息和第二色度分量滤波器参数可以不存在。如果不存在第二色度分量滤波器参数信息,则在某些条件下,第二色度分量滤波器参数信息可以具有与第一色度分量滤波器参数信息的值相同的值。
根据这一个现有实施方式,切片头(SH)可以包括下表6的语法。下表6的语法可以是SH的一部分。
[表6]
Figure BDA0003963998290000271
这里,上表6的语法中所包括的语法元素的语义可以例如如下表7中地表示。
[表7]
Figure BDA0003963998290000281
与去块滤波器相关的信息可以包括第三去块滤波器覆写标志、第三去块滤波器禁用标志、第三亮度分量滤波器参数信息和第三色度分量滤波器参数信息。
这里,第三去块滤波器覆写标志可以与在SH中是否存在去块参数相关。即,第三去块滤波器覆写标志可以指示/表示在SH中是否存在去块参数。
例如,第三去块滤波器覆写标志可以以slice_deblocking_filter_override_flag语法元素的形式来表示。例如,slice_deblocking_filter_override_flag语法元素可以指定在SH中是否存在去块参数。
第三去块滤波器禁用标志可以与是否不对当前切片启用去块滤波器相关。即,第三去块滤波器禁用标志可以指示/表示是否不对当前切片启用去块滤波器。
例如,第三去块滤波器禁用标志可以以slice_deblocking_filter_disabled_flag语法元素的形式来表示。例如,slice_deblocking_filter_disabled_flag语法元素可以指定是否不对当前切片启用去块滤波器。
第三亮度分量滤波器参数信息可以与应用于当前切片的亮度分量的去块参数偏移相关。即,第三亮度分量滤波器参数信息可以指示/表示应用于当前切片的亮度分量的去块参数偏移。
例如,第三亮度分量滤波器参数信息可以以slice_beta_offset_div2语法元素或slice_tc_offset_div2语法元素的形式来表示。例如,slice_beta_offset_div2语法元素和slice_tc_offset_div2语法元素可以指定应用于当前切片的亮度分量的去块参数偏移。
第三色度分量滤波器参数信息可以与应用于当前切片的色度分量的去块参数偏移相关。即,第三色度分量滤波器参数信息可以指示/表示应用于当前切片的色度分量的去块参数偏移。
例如,第三色度分量滤波器参数信息可以以slice_cb_beta_offset_div2语法元素、slice_cb_tc_offset_div2语法元素、slice_cr_beta_offset_div2语法元素或slice_cr_tc_offset_div2语法元素的形式来表示。例如,slice_cb_beta_offset_div2语法元素、slice_cb_tc_offset_div2语法元素、slice_cr_beta_offset_div2语法元素或slice_cr_tc_offset_div2语法元素可以指定应用于当前切片的色度分量的去块参数偏移。
根据这一个现有实施方式,如果第三去块滤波器覆写标志的值为1,则可以在SH中配置/包括第三去块滤波器禁用标志。如果第三去块滤波器覆写标志的值为0,则可以不存在第三去块滤波器禁用标志。如果第三去块滤波器禁用标志不存在,则第三去块滤波器禁用标志的值可以为0。
在这种情况下,根据这一个实施方式,如果第三去块滤波器禁用标志的值为0,则可以在SH中配置/包括第三亮度分量滤波器参数信息和第三色度分量滤波器参数信息。如果第三去块滤波器禁用标志的值为1,则第三亮度分量滤波器参数信息和第三色度分量滤波器参数信息可以不存在。如果不存在第三色度分量滤波器参数信息,则在某些条件下,第三色度分量滤波器参数信息可以具有与第二色度分量滤波器参数信息的值相同的值。
即,根据这一个现有实施方式,在编码/解码与去块滤波器相关的信息以便执行去块滤波时,与应用于色度分量的去块参数偏移相关的色度分量滤波器参数信息在某些条件下始终在相应的PPS、PH和SH级发信号通知/解析。
然而,在单色图像(黑白图像)的情况下,色度分量滤波器参数信息是在执行去块滤波时不必要的信息,因此不必发信号通知/解析色度分量滤波器参数信息。相应地,本文献的实施方式提出了用于高效编码/解码单色图像的色度分量滤波器参数信息的方法。在这种情况下,本文献的实施方式可以被彼此组合。
根据本文献中提出的实施方式,与去块滤波器相关的信息可以如下在PH级发信号通知。
根据实施方式,PH可以包括如下表8中的语法。下表8中的语法可以是PH的一部分。
[表8]
Figure BDA0003963998290000301
这里,上表8的语法中所包括的语法元素的语义可以例如如上表5中地表示。
根据这一个实施方式,如同这一个现有实施方式,如果第二去块滤波器禁用标志的值为0,则可以在PH中配置/包括第二亮度分量滤波器参数信息和第二色度分量滤波器参数信息。如果第二去块滤波器禁用标志的值为1,则第二亮度分量滤波器参数信息和第二色度分量滤波器参数可以不存在。如果不存在第二色度分量滤波器参数信息,则在某些条件下,第二色度分量滤波器参数信息可以具有与第一色度分量滤波器参数信息的值相同的值。
在这种情况下,编码设备/解码设备可以基于上表1的chroma_format_idc语法元素和separate_colour_plane_fla语法元素来推导与色度分量的采样格式相关的变量ChromaArrayType(色度阵列类型)。作为示例,在色度格式是单色的情况下,ChromaArrayType可以具有值0,在色度格式为4:2:0的情况下可以具有值1,在色度格式为4:2:2的情况下可以具有值2,并且在色度格式为4:4:4的情况下可以具有值3或0。
即,根据这一个实施方式,如果ChromaArrayType的值不为0,则可以在PH中配置/包括第二色度分量滤波器参数信息。如果ChromaArrayType的值为0,则第二色度分量滤波器参数信息可以不存在。
另外,根据另一实施方式,PH可以包括上表4的语法,并且上表4的语法中所包括的语法元素的语义例如可以如下表9中地表示。
[表9]
Figure BDA0003963998290000302
Figure BDA0003963998290000311
即,如果第二去块滤波器禁用标志的值为0,则可以在PH中配置/包括第二亮度分量滤波器参数信息和第二色度分量滤波器参数信息,并且根据这一个实施方式,如果ChromaArrayType的值为0,则第二色度分量滤波器参数信息的值可以限于0。
另外,根据另一实施方式,PH可以包括下表10的语法。下表10的语法可以是PH的一部分。
[表10]
Figure BDA0003963998290000312
这里,上表10的语法中所包括的语法元素的语义例如可以如上表5或表9中地表示。
与去块滤波器相关的信息可以包括第二去块滤波器覆写标志、第二去块滤波器禁用标志、第二亮度分量滤波器参数信息、第二色度分量滤波器参数信息和色度工具偏移存在标志。
这里,色度工具偏移存在标志可以与在PPS中是否存在色度工具偏移相关信息以及在参照PPS的PH或SH中是否存在色度去块参数偏移信息相关。即,色度工具偏移存在标志可以与是否存在色度分量滤波器参数信息相关。即,色度工具偏移存在标志可以指示/表示是否存在色度分量滤波器参数信息。
例如,色度工具偏移存在标志可以以pps_chroma_tool_offsets_present_flag语法元素的形式来表示。例如,pps_chroma_tool_offsets_present_flag语法元素可以指定是否存在色度分量滤波器参数信息。
根据这一个实施方式,如同这一个现有实施方式,如果第二去块滤波器覆写标志的值为1,则可以在PH中配置/包括第二去块滤波器禁用标志。如果第二去块滤波器覆写标志的值为0,则可以不存在第二去块滤波器禁用标志。如果第二去块滤波器禁用标志不存在,则第二去块滤波器禁用标志的值可以为0。
在这种情况下,根据这一个实施方式,如果第二去块滤波器禁用标志的值为0,则可以在PH中配置/包括第二亮度分量滤波器参数信息和第二色度分量滤波器参数信息。
在这种情况下,根据这一个实施方式,如果色度工具偏移存在标志的值为1,则可以在PH中配置/包括第二色度分量滤波器参数信息。如果色度工具偏移存在标志的值为0,则第二色度分量滤波器参数信息可以不存在。
根据本文献中提出的实施方式,去块滤波器相关信息可以如下在SH级发信号通知。
根据这一个实施方式,SH可以包括下表11的语法。下表11的语法可以是SH的一部分。
[表11]
Figure BDA0003963998290000331
这里,上表11的语法中所包括的语法元素的语义可以例如如上表7中地表示。
根据这一个实施方式,如同这一个现有实施方式,如果第三去块滤波器禁用标志的值为0,则可以在SH中配置/包括第三亮度分量滤波器参数信息和第三色度分量滤波器参数信息。如果第三去块滤波器禁用标志的值为1,则第三亮度分量滤波器参数信息和第三色度分量滤波器参数信息可以不存在。如果不存在第三色度分量滤波器参数信息,则在某些条件下,第三色度分量滤波器参数信息可以具有与第二色度分量滤波器参数信息的值相同的值。
在这种情况下,根据这一个实施方式,如果ChromaArrayType的值不为0,则可以在SH中配置/包括第三色度分量滤波器参数信息。如果ChromaArrayType的值为0,则第三色度分量滤波器参数信息可以不存在。
另外,根据这一个实施方式,SH可以包括上表6的语法,并且上表6的语法中所包括的语法元素的语义例如可以如下表12中地表示。
[表12]
Figure BDA0003963998290000332
Figure BDA0003963998290000341
即,如果第三去块滤波器禁用标志的值为0,则可以在SH中配置/包括第三亮度分量滤波器参数信息和第三色度分量滤波器参数信息,并且根据这一个实施方式,如果ChromaArrayType的值为0,则第三色度分量滤波器参数信息的值可以限于0。
另外,根据另一实施方式,SH可以包括下表13的语法。下表13的语法可以是SH的一部分。
[表13]
Figure BDA0003963998290000342
这里,上表13的语法中所包括的语法元素的语义例如可以如上表7或表12中地表示。
与去块滤波器相关的信息可以包括第三去块滤波器覆写标志、第三去块滤波器禁用标志、第三亮度分量滤波器参数信息、第三色度分量滤波器参数信息和色度工具偏移存在标志。
根据这一个实施方式,如同这一个现有实施方式,如果第三去块滤波器覆写标志的值为1,则可以在SH中配置/包括第三去块滤波器禁用标志。如果第三去块滤波器覆写标志的值为0,则可以不存在第三去块滤波器禁用标志。如果第三去块滤波器禁用标志不存在,则第三去块滤波器禁用标志的值可以为0。
在这种情况下,根据这一个实施方式,如果第三去块滤波器禁用标志的值为0,则可以在SH中配置/包括第三亮度分量滤波器参数信息和第三色度分量滤波器参数信息。
在这种情况下,根据这一个实施方式,如果色度工具偏移存在标志的值为1,则可以在SH中配置/包括第三色度分量滤波器参数信息。如果色度工具偏移存在标志的值为0,则第三色度分量滤波器参数信息可以不存在。
根据本文献中提出的另一实施方式,去块滤波器相关信息可以如下在PPS级发信号通知。根据上述实施方式,在PH级或SH级,在单色图像的情况下,可以通过ChromaArrayType确定是否发送与应用于色度分量的去块滤波器相关的信息,但在PPS级,不可以推导当前图片的ChromaArrayType的值,使得不能够提出用于通过ChromaArrayType确定是否发送信息的实施方式。
此外,根据这一个实施方式,PPS可以包括下表14的语法。下表14的语法可以是PPS的一部分。
[表14]
Figure BDA0003963998290000351
Figure BDA0003963998290000361
这里,上表14的语法中所包括的语法元素的语义可以例如如下表15中地表示。
[表15]
Figure BDA0003963998290000362
Figure BDA0003963998290000371
与去块滤波器相关的信息可以包括去块滤波器控制存在标志、去块滤波器覆写启用标志、第一去块滤波器禁用标志、第一亮度分量滤波器参数信息和第一色度分量滤波器参数信息。
这里,去块滤波器控制存在标志可以与是否存在去块滤波器的控制信息相关。即,去块滤波器控制存在标志可以指示/表示是否存在去块滤波器控制信息。
例如,去块滤波器控制存在标志可以以deblocking_filter_control_present_flag语法元素的形式来表示。例如,deblocking_filter_control_present_flag语法元素可以指定是否存在去块滤波器控制信息。
去块滤波器覆写启用标志可以与对参照PPS的图片的去块操作是在图片级还是切片级重新定义相关。即,去块滤波器覆写启用标志可以指示/表示对参照PPS的图片的去块操作是在图片级还是在切片级重新定义相关。
例如,去块滤波器覆写启用标志可以以deblocking_filter_override_enabled_flag语法元素的形式来表示。例如,deblocking_filter_override_enabled_flag语法元素可以指定对参照PPS的图片的去块操作是在图片级还是在切片级重新定义。
根据这一个实施方式,如果去块滤波器控制存在标志的值为1,则可以在PPS中配置/包括去块滤波器覆写启用标志和第一去块滤波器禁用标志。如果去块滤波器控制存在标志的值为0,则去块滤波器覆写启用标志和第一去块滤波器禁用标志可以不存在。
在这种情况下,根据这一个实施方式,如果第一去块滤波器禁用标志的值为0,则可以在PPS中配置/包括第一亮度分量滤波器参数信息。如果第一去块滤波器禁用标志的值为1,则第一亮度分量滤波器参数信息可以不存在。
此后,例如,如果色度工具偏移存在标志的值为1,则可以识别到去块滤波器控制存在标志和第一去块滤波器禁用标志。在这种情况下,根据这一个实施方式,如果去块滤波器控制存在标志的值为1并且第一去块滤波器禁用标志的值为0,则可以在PPS中配置/包括第一色度分量滤波器参数信息。如果去块滤波器控制存在标志的值为0或者第一去块滤波器禁用标志的值为1,则第一色度分量滤波器参数信息可以不存在。
根据与这一个实施方式相比的一个现有实施方式,PPS可以包括下表16的语法。下表16的语法可以是PPS的一部分。
[表16]
Figure BDA0003963998290000381
这里,表16的语法中所包括的语法元素的语义可以例如如上表15中地表示。
另外,根据另一实施方式,PPS可以包括上表2的语法,并且上表2的语法中所包括的语法元素的语义例如可以如下表17中地表示。
[表17]
Figure BDA0003963998290000391
即,如果第一去块滤波器禁用标志的值为0,则可以在PPS中配置/包括第一亮度分量滤波器参数信息和第一色度分量滤波器参数信息,但根据这一个实施方式,如果ChromaArrayType的值为0,则第一色度分量滤波器参数信息的值可以限于0。
另外,根据另一实施方式,PPS可以包括下表18的语法,并且下表18的语法可以是PPS的一部分。
[表18]
Figure BDA0003963998290000392
这里,上表18的语法中所包括的语法元素的语义例如可以如上表3或表17中地表示。
与去块滤波器相关的信息可以包括第一去块滤波器禁用标志、第一亮度分量滤波器参数信息、第一色度分量滤波器参数信息和色度工具偏移存在标志。
根据这一个实施方式,如同这一个现有实施方式,如果第一去块滤波器禁用标志的值为0,则可以在PPS中配置/包括第一亮度分量滤波器参数信息和第一色度分量滤波器参数信息。
在这种情况下,根据这一个实施方式,如果色度工具偏移存在标志的值为1,则可以在PPS中配置/包括第一色度分量滤波器参数信息。如果色度工具偏移存在标志的值为0,则第一色度分量滤波器参数信息可以不存在。
如上所述,可以通过在相应PPS、PH和SH级的自适应处理(编码/解码)来增强总体编码效率,使得仅在源或编码图片/图像不是单色图像的情况下发送和发信号通知/解析与应用于色度分量的去块滤波器相关的信息。
根据本文献中提出的另一实施方式,与去块滤波器相关的信息可以如下发信号通知。
根据如上所述的这一个实施方式,PPS可以包括下表19的语法。下表19的语法可以是PPS的一部分。
[表19]
Figure BDA0003963998290000401
这里,上表19的语法中所包括的语法元素的语义例如可以如上表3和表15和以及下表20中地表示。
[表20]
Figure BDA0003963998290000411
与去块滤波器相关的信息可以包括去块滤波器控制存在标志、色度去块参数存在标志、去块滤波器覆写启用标志、色度去块滤波器覆写启用标志、第一去块滤波器禁用标志、第一亮度分量滤波器参数信息和第一色度分量滤波器参数信息。
这里,色度去块参数存在标志可以与在PPS中是否存在色度去块相关信息相关。即,色度去块参数存在标志可以指示/表示在PPS中是否存在色度去块相关信息。
例如,色度去块参数存在标志可以以pps_chroma_deblocking_params_present_flag语法元素的形式来表示。例如,pps_chroma_deblocking_params_present_flag语法元素可以指定在PPS中是否存在色度去块相关信息。
色度去块滤波器覆写启用标志可以与在PH和/或SH中是否存在色度去块相关信息相关。即,色度去块滤波器覆写启用标志可以指示/表示在PH和/或SH中是否存在色度去块相关信息。
例如,色度去块滤波器覆写启用标志可以以chroma_deblocking_filter_override_enabled_flag语法元素的形式来表示。例如,chroma_deblocking_filter_override_enabled_flag语法元素可以指定在PH或SH中是否存在色度去块相关信息。
根据这一个实施方式,如果去块滤波器控制存在标志的值为1,则可以在PPS中配置/包括色度去块参数存在标志和去块滤波器覆写启用标志。如果去块滤波器控制存在标志的值为0,则色度去块参数存在标志和去块滤波器覆写启用标志可以不存在。
与此相关,如果ChromaArrayType的值为0,则去块参数存在标志的值可以限于0。
在这种情况下,根据这一个实施方式,如果去块滤波器覆写启用标志为1并且色度去块参数存在标志的值为1,则可以在PPS中配置/包括色度去块滤波器覆写启用标志。如果去块滤波器覆写启用标志为0或者色度去块参数存在标志的值为0,则色度去块滤波器覆写启用标志可以不存在。
与此相关,如果ChromaArrayType的值为0,则色度去块滤波器覆写启用标志的值可以限于0。
此后,例如,如果第一去块滤波器禁用标志的值为0,则可以在PPS中配置/包括第一亮度分量滤波器参数信息和第一色度分量滤波器参数信息。
在这种情况下,根据这一个实施方式,如果色度去块参数存在标志为1,则可以在PPS中配置/包括第一色度分量滤波器参数信息。如果色度去块参数存在标志的值为0,则第一色度分量滤波器参数信息可以不存在。
与此相关,根据这一个实施方式,PH可以包括下表21的语法。下表21的语法可以是PH的一部分。
[表21]
Figure BDA0003963998290000421
这里,上表21的语法中所包括的语法元素的语义例如可以如上表5和表20中地表示。
与去块滤波器相关的信息可以包括第二去块滤波器覆写标志、第二去块滤波器禁用标志、第二亮度分量滤波器参数信息和第二色度分量滤波器参数信息。
根据这一个实施方式,如同这一个现有实施方式,在去块滤波器覆写启用标志的值为1并且与在PH中是否存在去块滤波器信息(参数)相关的语法元素dbf_info_in_ph_flag的值为1的情况下,可以在PH中配置/包括第二去块滤波器覆写标志。在去块滤波器覆写启用标志的值为0或者语法元素dbf_info_in_ph_flag的值为0的情况下,第二去块滤波器覆写标志可以不存在。
在这种情况下,根据这一个实施方式,如果第二去块滤波器覆写标志的值为1,则可以在PH中配置/包括第二去块滤波器禁用标志。如果第二去块滤波器覆写标志的值为0,则第二去块滤波器禁用标志可以不存在。
此后,例如,如果第二去块滤波器禁用标志的值为0,则可以在PH中配置/包括第二亮度分量滤波器参数信息和第二色度分量滤波器参数信息。
在这种情况下,根据这一个实施方式,在色度去块参数存在标志的值为1并且色度去块滤波器覆写启用标志的值为1的情况下,可以在PH中配置/包括第二色度分量滤波器参数信息。如果色度去块参数存在标志的值为0或者色度去块滤波器覆写启用标志的值为0,则第二色度分量滤波器参数信息可以不存在。
根据这一个实施方式,SH可以包括下表22的语法。下表22的语法可以是SH的一部分。
[表22]
Figure BDA0003963998290000441
这里,上表22的语法中所包括的语法元素的语义例如可以如上表7和表20中地表示。
与去块滤波器相关的信息可以包括第三去块滤波器覆写标志、第三去块滤波器禁用标志、第三亮度分量滤波器参数信息和第三色度分量滤波器参数信息。
根据这一个实施方式,如同这一个现有实施方式,在去块滤波器覆写启用标志的值为1并且语法元素dbf_info_in_ph_flag的值为0的情况下,可以在SH中配置/包括第三去块滤波器覆写标志。在去块滤波器覆写启用标志的值为0或者语法元素dbf_info_in_ph_flag的值为1的情况下,第三去块滤波器覆写标志可以不存在。
在这种情况下,根据这一个实施方式,如果第三去块滤波器覆写标志的值为1,则可以在SH中配置/包括第三去块滤波器禁用标志。如果第三去块滤波器覆写标志的值为0,则可以不存在第三去块滤波器禁用标志。
此后,例如,如果第三去块滤波器禁用标志的值为0,则可以在SH中配置/包括第三亮度分量滤波器参数信息和第三色度分量滤波器参数信息。
在这种情况下,根据这一个实施方式,在色度去块参数存在标志的值为1并且色度去块滤波器覆写启用标志的值为1的情况下,可以在SH中配置/包括第三色度分量滤波器参数信息。如果色度去块参数存在标志的值为0或者色度去块滤波器覆写启用标志的值为0,则第三色度分量滤波器参数信息可以不存在。
准备下图来说明本文献的详细示例。由于示例性提出了附图中描述的器件的详细名称或信号/消息/字段的详细术语,因此本文献的技术特征不限于附图中使用的详细名称。
如上所述,针对包括单色图像的各种编码图片/图像,通过选择性发送与应用于亮度分量的去块滤波器相关的信息和与应用于色度分量的去块滤波器相关的信息,可以增强整体编码效率。
图11和图12示意性例示了根据本文献的实施方式的视频/图像编码方法和相关组件的示例。
图11中公开的方法可以由图2或图12中公开的编码设备执行。具体地,例如,图11的S1100可以由图12的编码设备200的残差处理器230、预测器220和/或加法器250中的至少一个执行,图11的S1110和S1120可以由图12的编码设备200的滤波器260执行,并且图11的S1130可以由编码设备200的熵编码器240执行。图11中公开的方法可以包括本文献的上述实施方式。
参照图11,编码设备生成当前块的重构样本(S1100)。如在图2中描述的,编码设备可以通过对输入的原始图片进行分割、帧内/帧间预测和残差处理的过程来生成重构图片。具体地,编码设备可以通过帧内或帧间预测来生成当前块的预测样本,基于预测样本来生成残差样本,并通过在执行残差样本的变换/量化之后执行残差样本的反量化/逆变换来推导(修改后的)残差样本。编码设备可以基于预测样本和(修改后的)残差样本来生成包括当前块的重构样本的重构块。可以基于重构块来生成重构图片。
编码设备通过对重构样本应用去块滤波器来生成修改后的重构样本(S1110)。通过去块滤波过程,可以生成修改后的重构样本或重构图片。作为解码图片,修改后的重构图片可以被存储在解码图片缓冲器或存储器270中,并可以在后续图片编码期间用作帧间预测过程中的参考图片。
编码设备生成与去块滤波器相关的信息(S1120)。
与去块滤波器相关的信息可以包括去块滤波器控制存在标志、色度去块参数存在标志、去块滤波器覆写启用标志、色度去块滤波器覆写启用标志、第一去块滤波器禁用标志、第一亮度分量滤波器参数信息、第一色度分量滤波器参数信息、第二去块滤波器覆写标志、第二去块滤波器禁用标志、第二亮度分量滤波器参数信息、第二色度分量滤波器参数信息、第三去块滤波器覆写标志、第三去块滤波器禁用标志、第三亮度分量滤波器参数信息、第三色度分量滤波器参数信息和/或色度工具偏移存在标志中的至少一个。例如,与去块滤波器相关的信息可以包括deblocking_filter_control_present_flag、pps_chroma_deblocking_params_present_flag、deblocking_filter_override_enabled_flag、chroma_deblocking_filter_override_enabled_flag、pps_deblocking_filter_disabled_flag、pps_beta_offset_div2、pps_tc_offset_div2、pps_cb_beta_offset_div2、pps_cb_tc_offset_div2、pps_cr_beta_offset_div2、pps_cr_tc_offset_div2、ph_deblocking_filter_override_flag、ph_deblocking_filter_disabled_flag、ph_beta_offset_div2、ph_tc_offset_div2、ph_cb_beta_offset_div2、ph_cb_tc_offset_div2、ph_cr_beta_offset_div2、ph_cr_tc_offset_div2、slice_deblocking_filter_override_flag、slice_deblocking_filter_disabled_flag、slice_beta_offset_div2、slice_tc_offset_div2、slice_cb_beta_offset_div2、slice_cb_tc_offset_div2、slice_cr_beta_offset_div2、slice_cr_tc_offset_div2、和/或dbf_info_in_ph_flag语法元素中的至少一个。
编码设备对视频/图像信息进行编码(S1130)。视频/图像信息可以包括与去块滤波器相关的信息。另外,根据本文献的实施方式,视频/图像信息可以包括各项信息。例如,视频/图像信息可以包括如上所述的表2、4、6、8、10、11、13、14、16、18、19、21和/或22中的至少一个中公开的信息。另外,视频/图像信息可以包括用于图片重构的信息。用于图片重构的信息可以包括预测信息和残差信息。
编码后的视频/图像信息可以以比特流的形式输出。可以通过网络或存储介质将比特流发送到解码设备。
具体地,与去块滤波器相关的信息可以包括根据本文献的实施方式的各项信息。
根据本文献中提出的实施方式,与去块滤波器相关的信息可以包括色度工具偏移存在标志和/或第一色度分量滤波器参数信息。例如,基于色度工具偏移存在标志的值为1的情况,第一色度分量滤波器参数信息可以被包括在PPS中。
根据实施方式,与去块滤波器相关的信息还可以包括第二色度分量滤波器参数信息。第二色度分量滤波器参数信息可以与应用于与PH相关的切片的色度分量的去块参数偏移相关。在这种情况下,例如,基于色度工具偏移存在标志的值为1的情况,第二色度分量滤波器参数信息可以被包括在PH中。
根据实施方式,与去块滤波器相关的信息还可以包括第三色度分量滤波器参数信息。第三色度分量滤波器参数信息可以与应用于当前切片的色度分量的去块参数偏移相关。在这种情况下,例如,基于色度工具偏移存在标志的值为1的情况,第三色度分量滤波器参数信息可以被包括在SH中。
根据实施方式,生成修改后的重构样本的步骤可以包括推导色度阵列类型(ChromaArrayType)的步骤,ChromaArrayType是与色度分量的采样格式相关的变量。在这种情况下,例如,基于色度阵列类型的值为0的情况,第一色度分量滤波器参数信息的值可以限于0。
根据实施方式,生成修改后的重构样本的步骤可以包括推导色度阵列类型的步骤。与去块滤波器相关的信息还可以包括第二色度分量滤波器参数信息。第二色度分量滤波器参数信息可以与应用于与PH相关的切片的色度分量的去块参数偏移相关。在这种情况下,例如,基于色度阵列类型的值为0的情况,第二色度分量滤波器参数信息的值可以限于0。
根据实施方式,生成修改后的重构样本的步骤可以包括推导色度阵列类型的步骤。与去块滤波器相关的信息还可以包括第二色度分量滤波器参数信息。第二色度分量滤波器参数信息可以与应用于与PH相关的切片的色度分量的去块参数偏移相关。在这种情况下,例如,基于色度阵列类型的值为0的情况,第二色度分量滤波器参数信息可以被包括在PH中。
根据实施方式,生成修改后的重构样本的步骤可以包括推导色度阵列类型的步骤。与去块滤波器相关的信息还可以包括第三色度分量滤波器参数信息。第三色度分量滤波器参数信息可以与应用于当前切片的色度分量的去块参数偏移相关。在这种情况下,例如,基于色度阵列类型的值为0的情况,第三色度分量滤波器参数信息的值可以限于0。
根据实施方式,生成修改后的重构样本的步骤可以包括推导色度阵列类型的步骤。与去块滤波器相关的信息还可以包括第三色度分量滤波器参数信息。第三色度分量滤波器参数信息可以与应用于当前切片的色度分量的去块参数偏移相关。在这种情况下,例如,基于色度阵列类型的值为0的情况,第三色度分量滤波器参数信息可以被包括在SH中。
根据实施方式,与去块滤波器相关的信息还可以包括色度去块参数存在标志和/或色度去块滤波器覆写启用标志。色度去块参数存在标志可以与PPS中是否存在色度去块相关信息相关。色度去块参数存在标志可以被包括在PPS中。色度去块滤波器覆写启用标志可以与PH或SH中是否存在色度去块相关信息相关。在这种情况下,例如,基于色度去块参数存在标志的值为1的情况,色度去块滤波器覆写启用标志可以被包括在PPS中。
根据实施方式,与去块滤波器相关的信息还可以包括去块滤波器覆写启用标志。去块滤波器覆写启用标志可以与对参照PPS的图片的去块操作是在图片级还是切片级重新定义相关。基于去块滤波器覆写启用标志的值为1的情况,去块滤波器覆写启用标志可以被包括在PPS中。
根据实施方式,与去块滤波器相关的信息可以包括第二色度分量滤波器参数信息。第二色度分量滤波器参数信息可以与应用于与PH相关的切片的色度分量的去块参数偏移相关。在这种情况下,例如,基于色度去块参数存在标志的值为1并且色度去块滤波器覆写启用标志的值为1的情况,第二色度分量滤波器参数信息可以被包括在PH中。
根据实施方式,与去块滤波器相关的信息可以包括第三色度分量滤波器参数信息。第三色度分量滤波器参数信息可以与应用于当前切片的色度分量的去块参数偏移相关。在这种情况下,例如,基于色度去块参数存在标志的值为1并且色度去块滤波器覆写启用标志的值为1的情况,第三色度分量滤波器参数信息可以被包括在SH中。
根据实施方式,生成修改后的重构样本的步骤可以包括推导色度阵列类型的步骤。在这种情况下,例如,基于色度阵列类型的值为0的情况,色度去块参数存在标志的值可以限于0,并且色度去块滤波器覆写启用标志的值可以限于0。
图13和图14示意性例示了根据本文献的实施方式的视频/图像解码方法和相关组件的示例。
图13中公开的方法可以由图3或图14中公开的解码设备执行。具体地,例如,图13中的S1300可以由解码设备300的熵解码器310执行,S1310可以由解码设备300的残差处理器320、预测器330和/或加法器340中的至少一个执行,并且S1320可以由解码设备300的滤波器350执行。图13中公开的方法可以包括本文献的上述实施方式。
参照图13,解码设备接收/获得视频/图像信息(S1300)。解码设备可以通过比特流接收/获得视频/图像信息。视频/图像信息可以包括与去块滤波器相关的信息。
与去块滤波器相关的信息可以包括去块滤波器控制存在标志、色度去块参数存在标志、去块滤波器覆写启用标志、色度去块滤波器覆写启用标志、第一去块滤波器禁用标志、第一亮度分量滤波器参数信息、第一色度分量滤波器参数信息、第二去块滤波器覆写标志、第二去块滤波器禁用标志、第二亮度分量滤波器参数信息、第二色度分量滤波器参数信息、第三去块滤波器覆写标志、第三去块滤波器禁用标志、第三亮度分量滤波器参数信息、第三色度分量滤波器参数信息和/或色度工具偏移存在标志中的至少一个。例如,与去块滤波器相关的信息可以包括deblocking_filter_control_present_flag、pps_chroma_deblocking_params_present_flag、deblocking_filter_override_enabled_flag、chroma_deblocking_filter_override_enabled_flag、pps_deblocking_filter_disabled_flag、pps_beta_offset_div2、pps_tc_offset_div2、pps_cb_beta_offset_div2、pps_cb_tc_offset_div2、pps_cr_beta_offset_div2、pps_cr_tc_offset_div2、ph_deblocking_filter_override_flag、ph_deblocking_filter_disabled_flag、ph_beta_offset_div2、ph_tc_offset_div2、ph_cb_beta_offset_div2、ph_cb_tc_offset_div2、ph_cr_beta_offset_div2、ph_cr_tc_offset_div2、slice_deblocking_filter_override_flag、slice_deblocking_filter_disabled_flag、slice_beta_offset_div2、slice_tc_offset_div2、slice_cb_beta_offset_div2、slice_cb_tc_offset_div2、slice_cr_beta_offset_div2、slice_cr_tc_offset_div2、和/或dbf_info_in_ph_flag语法元素中的至少一个。
另外,根据本文献的实施方式,视频/图像信息可以包括各项信息。例如,视频/图像信息可以包括如上所述的表2、4、6、8、10、11、13、14、16、18、19、21和/或22中的至少一个中公开的信息。另外,视频/图像信息可以包括用于图片重构的信息。用于图片重构的信息可以包括预测信息和残差信息。
解码设备生成当前块的重构样本(S1310)。如以上在图3中描述的,解码设备可以通过对当前图片的帧内/帧间预测和残差处理的过程来生成重构图片。具体地,解码设备基于用于图片重构的信息中所包括的预测信息来通过帧内或帧间预测生成当前块的预测样本,并(基于反量化/逆变换)基于用于图片重构的信息中所包括的残差信息来推导当前块的残差样本。解码设备可以基于预测样本和残差样本来生成包括当前块的重构样本的重构块。可以基于重构块来生成重构图片。
解码设备基于与去块滤波器和重构样本相关的信息来生成修改后的重构样本(S1320)。例如,解码设备可以通过基于视频/图像信息中所包括的与去块滤波器相关的信息对重构样本应用去块滤波器来生成修改后的重构样本或修改后的重构图片。修改后的重构图片可以被输出为解码图片,和/或可以被存储在解码图片缓冲器或存储器360中,并可以在后续图片解码期间用作帧间预测过程中的参考图片。
具体地,与去块滤波器相关的信息可以包括根据本文献的实施方式的各项信息。
根据本文献中提出的实施方式,与去块滤波器相关的信息可以包括色度工具偏移存在标志和/或第一色度分量滤波器参数信息。例如,基于色度工具偏移存在标志的值为1的情况,第一色度分量滤波器参数信息可以被包括在PPS中。
根据实施方式,与去块滤波器相关的信息还可以包括第二色度分量滤波器参数信息。第二色度分量滤波器参数信息可以与应用于与PH相关的切片的色度分量的去块参数偏移相关。在这种情况下,例如,基于色度工具偏移存在标志的值为1的情况,第二色度分量滤波器参数信息可以被包括在PH中。
根据实施方式,与去块滤波器相关的信息还可以包括第三色度分量滤波器参数信息。第三色度分量滤波器参数信息可以与应用于当前切片的色度分量的去块参数偏移相关。在这种情况下,例如,基于色度工具偏移存在标志的值为1的情况,第三色度分量滤波器参数信息可以被包括在SH中。
根据实施方式,生成修改后的重构样本的步骤可以包括推导色度阵列类型(ChromaArrayType)的步骤,ChromaArrayType是与色度分量的采样格式相关的变量。在这种情况下,例如,基于色度阵列类型的值为0的情况,第一色度分量滤波器参数信息的值可以限于0。
根据实施方式,生成修改后的重构样本的步骤可以包括推导色度阵列类型的步骤。与去块滤波器相关的信息还可以包括第二色度分量滤波器参数信息。第二色度分量滤波器参数信息可以与应用于与PH相关的切片的色度分量的去块参数偏移相关。在这种情况下,例如,基于色度阵列类型的值为0的情况,第二色度分量滤波器参数信息的值可以限于0。
根据实施方式,生成修改后的重构样本的步骤可以包括推导色度阵列类型的步骤。与去块滤波器相关的信息还可以包括第二色度分量滤波器参数信息。第二色度分量滤波器参数信息可以与应用于与PH相关的切片的色度分量的去块参数偏移相关。在这种情况下,例如,基于色度阵列类型的值不为0的情况,第二色度分量滤波器参数信息可以被包括在PH中。
根据实施方式,生成修改后的重构样本的步骤可以包括推导色度阵列类型的步骤。与去块滤波器相关的信息还可以包括第三色度分量滤波器参数信息。第三色度分量滤波器参数信息可以与应用于当前切片的色度分量的去块参数偏移相关。在这种情况下,例如,基于色度阵列类型的值为0的情况,第三色度分量滤波器参数信息的值可以限于0。
根据实施方式,生成修改后的重构样本的步骤可以包括推导色度阵列类型的步骤。与去块滤波器相关的信息还可以包括第三色度分量滤波器参数信息。第三色度分量滤波器参数信息可以与应用于当前切片的色度分量的去块参数偏移相关。在这种情况下,例如,基于色度阵列类型的值不为0的情况,第三色度分量滤波器参数信息可以被包括在SH中。
根据实施方式,与去块滤波器相关的信息还可以包括色度去块参数存在标志和/或色度去块滤波器覆写启用标志。色度去块参数存在标志可以与PPS中是否存在色度去块相关信息相关。色度去块参数存在标志可以被包括在PPS中。色度去块滤波器覆写启用标志可以与PH或SH中是否存在色度去块相关信息相关。在这种情况下,例如,基于色度去块参数存在标志的值为1的情况,色度去块滤波器覆写启用标志可以被包括在PPS中。
根据实施方式,与去块滤波器相关的信息还可以包括去块滤波器覆写启用标志。去块滤波器覆写启用标志可以与对参照PPS的图片的去块操作是在图片级还是切片级重新定义相关。基于去块滤波器覆写启用标志的值为1的情况,去块滤波器覆写启用标志可以被包括在PPS中。
根据实施方式,与去块滤波器相关的信息可以包括第二色度分量滤波器参数信息。第二色度分量滤波器参数信息可以与应用于与PH相关的切片的色度分量的去块参数偏移相关。在这种情况下,例如,基于色度去块参数存在标志的值为1并且色度去块滤波器覆写启用标志的值为1的情况,第二色度分量滤波器参数信息可以被包括在PH中。
根据实施方式,与去块滤波器相关的信息可以包括第三色度分量滤波器参数信息。第三色度分量滤波器参数信息可以与应用于当前切片的色度分量的去块参数偏移相关。在这种情况下,例如,基于色度去块参数存在标志的值为1并且色度去块滤波器覆写启用标志的值为1的情况,第三色度分量滤波器参数信息可以被包括在SH中。
根据实施方式,生成修改后的重构样本的步骤可以包括推导色度阵列类型的步骤。在这种情况下,例如,基于色度阵列类型的值为0的情况,色度去块参数存在标志的值可以限于0,并且色度去块滤波器覆写启用标志的值可以限于0。
在以上实施方式中,基于具有一系列步骤或方框的流程图描述了方法。本公开不限于以上步骤或方框的顺序。一些步骤或方框能够以与上述的其他步骤或方框不同的顺序执行或同时执行。此外,本领域技术人员将理解,流程图中所示的步骤不是排它的,并且可以还包括其他步骤,或者可以在不影响本公开的范围的情况下删除流程图中的一个或更多个步骤。
上述根据本文献的实施方式的方法可以在软件中实现。根据本文献的编码设备和/或解码设备可以被包括在执行图像处理的装置(例如,TV、计算机、智能电话、机顶盒或显示装置)中。
当用软件实现本文献的实施方式时,可以用执行上述功能的模块(处理、功能等)来实现上述方法。这些模块可以被存储在存储器中并且由处理器运行。存储器可以在处理器的内部或外部,并且可以使用各种熟知的手段将存储器联接到处理器。处理器可以包括专用集成电路(ASIC)、其它芯片集、逻辑电路和/或数据处理装置。存储器可以包括ROM(只读存储器)、RAM(随机存取存储器)、闪速存储器、存储卡、存储介质和/或其它存储装置。即,本文献中描述的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如,每个附图中示出的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。在这种情况下,用于实现的信息(例如,关于指令的信息)或算法可以被存储在数字存储介质中。
另外,应用本文献的实施方式的解码设备和编码设备可以应用于可以被包括在例如存储介质、摄录机、视频点播(VoD)服务提供装置、OTT装置(顶置装置)、互联网流传输服务提供装置、3D视频装置、虚拟现实(VR)装置、增强现实(AR)装置、视频呼叫装置、运输工具终端(例如,车辆(包括自主车辆)终端、飞机终端、轮船终端等)中并可以用于处理视频信号或数据信号的诸如多媒体广播发送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、(3D)视频装置、视频电话视频装置和医疗视频装置等这样的多媒体通信装置。例如,OTT视频(顶置视频)装置可以包括游戏控制台、蓝光(Blu-ray)播放器、互联网访问TV、家庭影院系统、智能电话、平板PC、数字录像机(DVR)。
另外,应用本文献的实施方式的处理方法可以以计算机执行的程序的形式产生,并可以被存储在计算机可读记录介质中。根据本文献的实施方式的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括其中存储了计算机可读数据的所有种类的存储装置和分布式存储装置。计算机可读记录介质可以是例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。另外,计算机可读记录介质包括以载波(例如,通过互联网传输)的形式实现的媒体。另外,通过编码方法生成的比特流可以被存储在计算机可读记录介质中,或者通过有线或无线通信网络传输。
另外,本文献的实施方式可以通过程序代码被实现为计算机程序产品,并且程序代码可以根据本文献的实施方式在计算机中执行。程序代码可以被存储在可供计算机读取的载体上。
图15是例示了应用本文献的实施方式的内容流传输系统的结构的示图。
参照图15,应用本文献的实施方式的内容流传输系统可以主要包括编码服务器、流传输服务器、网络服务器、媒体存储器、用户装置和多媒体输入装置。
编码服务器将从诸如智能电话、照相机或摄录机等的多媒体输入装置输入的内容压缩为数字数据,以生成比特流并将比特流发送到流传输服务器。作为另一示例,当诸如智能电话、照相机或摄录机等的多媒体输入设备直接生成比特流时,可以省略编码服务器。
可以通过应用本文献的实施方式的编码方法或比特流生成方法来生成比特流,并且流传输服务器可以在发送或接收比特流的过程中临时存储比特流。
流传输服务器用于基于用户请求通过网络服务器将多媒体数据发送到用户装置,并且网络服务器用作将什么服务可用告知用户的媒介。当用户向网络服务器请求所期望的服务时,网络服务器向流传输服务器传送用户的请求,并且流传输服务器将多媒体数据发送到用户。此时,内容流传输系统可以包括单独的控制服务器,并且在这种情况下,控制服务器用于控制内容流传输系统内的装置之间的命令/响应。
流传输服务器可以从媒体存储器和/或编码服务器接收内容。例如,当从编码服务器接收内容时,流传输服务器可以实时地接收内容。在这种情况下,为了提供平稳的流传输服务,流传输服务器可以将比特流存储预定时间。
作为用户装置的示例,可以存在便携式电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航装置、触屏PC、平板PC、超级本、可穿戴装置(例如,智能手表、智能眼镜、头戴式显示器(HMD))、数字TV、台式计算机、数字标牌等。
内容流传输系统中的各个服务器可以由分布式服务器操作,并且在这种情况下,每个服务器接收的数据可以被分发和处理。
本公开中描述的权利要求能够以各种方式组合。例如,可以组合本公开的方法权利要求的技术特征以实现为装置,以及可以组合本公开的装置权利要求的技术特征以实现为方法。此外,可以组合本公开的方法权利要求的技术特征和装置权利要求的技术特征以实施为装置,以及可以组合本公开的方法权利要求的技术特征和装置权利要求的技术特征以实现为方法。

Claims (15)

1.一种解码设备执行的图像解码方法,该图像解码方法包括以下步骤:
通过比特流获得图像信息,其中,所述图像信息包括与去块滤波器相关的信息;
生成当前块的重构样本;以及
基于与所述去块滤波器和所述重构样本相关的信息来生成修改后的重构样本,
其中,与所述去块滤波器相关的信息包括色度工具偏移存在标志和第一色度分量滤波器参数信息,
其中,所述第一色度分量滤波器参数信息与应用于参照图片参数集PPS的切片的色度分量的去块参数偏移相关,并且
其中,基于所述色度工具偏移存在标志的值为1的情况,所述第一色度分量滤波器参数信息被包括在所述PPS中。
2.根据权利要求1所述的图像解码方法,其中,与所述去块滤波器相关的信息还包括第二色度分量滤波器参数信息,
其中,所述第二色度分量滤波器参数信息与应用于与图片头PH相关的切片的色度分量的去块参数偏移相关,并且
其中,基于所述色度工具偏移存在标志的值为1的情况,所述第二色度分量滤波器参数信息被包括在所述PH中。
3.根据权利要求1所述的图像解码方法,其中,与所述去块滤波器相关的信息还包括第三色度分量滤波器参数信息,
其中,所述第三色度分量滤波器参数信息与应用于当前切片的色度分量的去块参数偏移相关,并且
其中,基于所述色度工具偏移存在标志的值为1的情况,所述第三色度分量滤波器参数信息被包括在切片头SH中。
4.根据权利要求1所述的图像解码方法,其中,生成所述修改后的重构样本的步骤包括推导作为与所述色度分量的采样格式相关的变量的色度阵列类型,并且
其中,基于所述色度阵列类型的值为0的情况,所述第一色度分量滤波器参数信息的值限于0。
5.根据权利要求1所述的图像解码方法,其中,生成所述修改后的重构样本的步骤包括推导作为与所述色度分量的采样格式相关的变量的色度阵列类型,
其中,与所述去块滤波器相关的信息还包括第二色度分量滤波器参数信息,
其中,所述第二色度分量滤波器参数信息与应用于与图片头PH相关的切片的色度分量的去块参数偏移相关,并且
其中,基于所述色度阵列类型的值为0的情况,所述第二色度分量滤波器参数信息的值限于0。
6.根据权利要求1所述的图像解码方法,其中,生成所述修改后的重构样本的步骤包括推导作为与所述色度分量的采样格式相关的变量的色度阵列类型,
其中,与所述去块滤波器相关的信息还包括第二色度分量滤波器参数信息,
其中,所述第二色度分量滤波器参数信息与应用于与图片头PH相关的切片的色度分量的去块参数偏移相关,并且
其中,基于所述色度阵列类型的值不为0的情况,所述第二色度分量滤波器参数信息被包括在所述PH中。
7.根据权利要求1所述的图像解码方法,其中,生成所述修改后的重构样本的步骤包括推导作为与所述色度分量的采样格式相关的变量的色度阵列类型,
其中,与所述去块滤波器相关的信息还包括第三色度分量滤波器参数信息,
其中,所述第三色度分量滤波器参数信息与应用于当前切片的色度分量的去块参数偏移相关,并且
其中,基于所述色度阵列类型的值为0的情况,所述第三色度分量滤波器参数信息的值限于0。
8.根据权利要求1所述的图像解码方法,其中,生成所述修改后的重构样本的步骤包括推导作为与所述色度分量的采样格式相关的变量的色度阵列类型,
其中,与所述去块滤波器相关的信息还包括第三色度分量滤波器参数信息,
其中,所述第三色度分量滤波器参数信息与应用于当前切片的色度分量的去块参数偏移相关,并且
其中,基于所述色度阵列类型的值不为0的情况,所述第三色度分量滤波器参数信息被包括在切片头SH中。
9.根据权利要求1所述的图像解码方法,其中,与所述去块滤波器相关的信息还包括色度去块参数存在标志和色度去块滤波器覆写启用标志,
其中,所述色度去块参数存在标志与所述PPS中是否存在色度去块相关信息相关,并且所述色度去块参数存在标志被包括在所述PPS中,
其中,所述色度去块滤波器覆写启用标志与图片头PH或切片头SH中是否存在所述色度去块相关信息相关,并且
其中,基于所述色度去块参数存在标志的值为1的情况,所述色度去块滤波器覆写启用标志被包括在所述PPS中。
10.根据权利要求9所述的图像解码方法,其中,与所述去块滤波器相关的信息还包括去块滤波器覆写启用标志,
其中,所述去块滤波器覆写启用标志与对参照所述PPS的图片的去块操作是在图片级还是切片级重新定义相关,并且
其中,基于所述去块滤波器覆写启用标志的值为1的情况,所述色度去块滤波器覆写启用标志被包括在所述PPS中。
11.根据权利要求9所述的图像解码方法,其中,与所述去块滤波器相关的信息包括第二色度分量滤波器参数信息,
其中,所述第二色度分量滤波器参数信息与应用于与所述PH相关的切片的色度分量的去块参数偏移相关,并且
其中,基于所述色度去块参数存在标志的值为1并且所述色度去块滤波器覆写启用标志的值为1的情况,所述第二色度分量滤波器参数信息被包括在所述PH中。
12.根据权利要求9所述的图像解码方法,其中,与所述去块滤波器相关的信息包括第三色度分量滤波器参数信息,
其中,所述第三色度分量滤波器参数信息与应用于当前切片的色度分量的去块参数偏移相关,并且
其中,基于所述色度去块参数存在标志的值为1并且所述色度去块滤波器覆写启用标志的值为1的情况,所述第三色度分量滤波器参数信息被包括在所述SH中。
13.根据权利要求9所述的图像解码方法,其中,生成所述修改后的重构样本的步骤包括推导作为与所述色度分量的采样格式相关的变量的色度阵列类型,
其中,基于所述色度阵列类型的值为0的情况,所述色度去块参数存在标志的值限于0,并且
其中,基于所述色度阵列类型的值为0的情况,所述色度去块滤波器覆写启用标志的值限于0。
14.一种由编码设备执行的图像编码方法,该图像编码方法包括以下步骤:
生成当前块的重构样本;
通过对所述重构样本应用去块滤波器来生成修改后的重构样本;
生成与所述去块滤波器相关的信息;以及
对包括与所述去块滤波器相关的所述信息的图像信息进行编码,
其中,与所述去块滤波器相关的所述信息包括色度工具偏移存在标志和第一色度分量滤波器参数信息,
其中,所述第一色度分量滤波器参数信息与应用于参照图片参数集PPS的切片的色度分量的去块参数偏移相关,并且
其中,基于所述色度工具偏移存在标志的值为1的情况,所述第一色度分量滤波器参数信息被包括在所述PPS中。
15.一种存储致使解码设备执行图像解码方法的编码信息的计算机可读数字存储介质,该图像解码方法包括以下步骤:
通过所述编码信息获得图像信息,其中,所述图像信息包括与去块滤波器相关的信息;
生成当前块的重构样本;以及
基于与所述去块滤波器和所述重构样本相关的信息来生成修改后的重构样本,
其中,与所述去块滤波器相关的所述信息包括色度工具偏移存在标志和第一色度分量滤波器参数信息,
其中,所述第一色度分量滤波器参数信息与应用于参照图片参数集PPS的切片的色度分量的去块参数偏移相关,并且
其中,基于所述色度工具偏移存在标志的值为1的情况,所述第一色度分量滤波器参数信息被包括在所述PPS中。
CN202180038047.5A 2020-04-02 2021-03-30 视频或图像编码系统中基于单色颜色格式的色度去块参数信息的图像编码方法 Pending CN115699775A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063004434P 2020-04-02 2020-04-02
US63/004,434 2020-04-02
PCT/KR2021/003896 WO2021201551A1 (ko) 2020-04-02 2021-03-30 비디오 또는 영상 코딩 시스템에서의 흑백 영상에 대한 크로마 디블록킹 파라미터 정보에 기반한 영상 코딩 방법

Publications (1)

Publication Number Publication Date
CN115699775A true CN115699775A (zh) 2023-02-03

Family

ID=77928680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180038047.5A Pending CN115699775A (zh) 2020-04-02 2021-03-30 视频或图像编码系统中基于单色颜色格式的色度去块参数信息的图像编码方法

Country Status (6)

Country Link
US (2) US11792395B2 (zh)
EP (1) EP4131971A4 (zh)
JP (1) JP2023520040A (zh)
KR (1) KR20220161412A (zh)
CN (1) CN115699775A (zh)
WO (1) WO2021201551A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7372483B2 (ja) * 2020-04-29 2023-10-31 バイトダンス インコーポレイテッド 映像ピクチャヘッダにおけるフィルタリングパラメータ信号通知

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101620620B1 (ko) * 2011-10-26 2016-05-13 주식회사 케이티 인트라 예측 모드를 기초로 양자화 계수를 예측하는 방법 및 이를 이용하는 장치
US9363516B2 (en) * 2012-01-19 2016-06-07 Qualcomm Incorporated Deblocking chroma data for video coding
CN107079149B (zh) * 2014-10-06 2020-03-03 索尼公司 图像处理装置和方法
KR102294016B1 (ko) * 2014-12-05 2021-08-25 성균관대학교산학협력단 변환생략을 참조하는 디블록킹 필터링을 이용한 영상의 부호화/복호화 방법 및 이를 이용하는 장치
CA3164388A1 (en) * 2020-01-10 2021-07-15 Minwoo Park Video decoding method and apparatus for obtaining quantization parameter, and video encoding method and apparatus for transmitting quantization parameter
EP4088465A4 (en) * 2020-02-04 2023-11-29 Huawei Technologies Co., Ltd. ENCODER, DECODER AND CORRESPONDING METHODS FOR SIGNALING HIGH-LEVEL SYNTAX
CN115152221A (zh) * 2020-02-05 2022-10-04 抖音视界有限公司 用于色度分量的去方块参数
US11303897B2 (en) * 2020-02-25 2022-04-12 Tencent America LLC Method and apparatus for signaling of chroma quantization parameters
EP4107963A4 (en) * 2020-02-26 2024-04-24 HFI Innovation Inc. METHODS AND APPARATUS FOR SIGNALING LOOP FILTER PARAMETERS IN AN IMAGE OR VIDEO PROCESSING SYSTEM
CN115211044A (zh) * 2020-03-03 2022-10-18 字节跳动有限公司 使用条带头信令通知控制缩放处理

Also Published As

Publication number Publication date
JP2023520040A (ja) 2023-05-15
EP4131971A1 (en) 2023-02-08
US20230421760A1 (en) 2023-12-28
US20220337829A1 (en) 2022-10-20
WO2021201551A1 (ko) 2021-10-07
KR20220161412A (ko) 2022-12-06
EP4131971A4 (en) 2024-04-17
US11792395B2 (en) 2023-10-17

Similar Documents

Publication Publication Date Title
JP7375196B2 (ja) フィルタリングに基づく画像コーディング装置及び方法
US20230131137A1 (en) Syntax design method and apparatus for performing coding by using syntax
CN114946190B (zh) 用于控制环路滤波的图像编码装置和方法
US20230344986A1 (en) Filtering-based image coding device and method
KR20220110299A (ko) 인루프 필터링 기반 영상 코딩 장치 및 방법
KR20220100019A (ko) 루프 필터링을 제어하기 위한 영상 코딩 장치 및 방법
KR20220082059A (ko) 루프 필터링을 제어하기 위한 영상 코딩 장치 및 방법
US20230421760A1 (en) Image coding method based on chroma deblocking parameter information for monochrome color format in video or image coding system
KR20220100700A (ko) 서브픽처 기반 영상 코딩 장치 및 방법
CN114946191B (zh) 基于用于滤波的信息的信令的图像编码设备和方法
US20230164321A1 (en) In-loop filtering-based image coding device and method
KR20220110840A (ko) 적응적 루프 필터링 기반 영상 코딩 장치 및 방법
KR20220112828A (ko) 필터링 관련 정보 시그널링 기반 영상 코딩 장치 및 방법
KR20220097996A (ko) 필터링을 위한 정보의 시그널링 기반 영상 코딩 장치 및 방법
KR20220097997A (ko) 루프 필터링을 제어하는 영상 코딩 장치 및 방법
CN114762350A (zh) 基于切片类型的图像/视频编译方法和设备
US20230046583A1 (en) Virtual boundary-based image coding device and method
US20230041024A1 (en) Image coding device and method
CN114982242A (zh) 发信号通知图片分割信息的方法和设备
KR20220100702A (ko) 픽처 분할 기반 영상 코딩 장치 및 방법
KR20220082082A (ko) 영상 정보를 시그널링하는 방법 및 장치
CN115004709A (zh) 用于发信号通知切片相关信息的方法和装置
CN114762335A (zh) 基于变换跳过和调色板编码相关数据的图像或视频编码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination