CN115280783A - 用于图像/视频编码的加权预测的方法和装置 - Google Patents

用于图像/视频编码的加权预测的方法和装置 Download PDF

Info

Publication number
CN115280783A
CN115280783A CN202180019319.7A CN202180019319A CN115280783A CN 115280783 A CN115280783 A CN 115280783A CN 202180019319 A CN202180019319 A CN 202180019319A CN 115280783 A CN115280783 A CN 115280783A
Authority
CN
China
Prior art keywords
prediction
flag
information
weighted
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180019319.7A
Other languages
English (en)
Inventor
S·帕鲁利
亨得利·亨得利
赵杰
金昇焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN115280783A publication Critical patent/CN115280783A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

根据本文档,由视频解码装置执行的视频解码方法能够包括以下步骤:从比特流解析第一标志和第二标志,其中,第一标志与是否将加权预测应用于参考比特流中的图片参数集的切片相关,并且第二标志与关于加权预测的信息是否存在于比特流的图片报头中相关;基于第一标志和第二标志从图片报头解析预测加权表语法;基于预测加权表语法中的语法元素生成当前图片中的当前块的预测样本;基于从比特流获得的残差信息生成残差样本;以及基于预测样本和残差样本生成重构样本,其中,第二标志是基于第一标志从图片参数集解析的。

Description

用于图像/视频编码的加权预测的方法和装置
技术领域
本公开涉及在对图像/视频进行编码/解码时执行加权预测的方法和设备。
背景技术
最近,在各种领域中对诸如4K或8K或以上超高清晰度(UHD)图像/视频的高分辨率、高质量图像/视频的需求在增加。随着图像/视频分辨率或质量变得更高,与对于常规图像/视频数据相比,发送相对更多量的信息或比特。因此,如果图像/视频数据经由诸如现有有线/无线宽带线路的介质来发送或者被存储在传统存储介质中,则容易增加用于传输和存储的成本。
此外,对虚拟现实(VR)和人工现实(AR)内容以及诸如全息图这样的沉浸式媒体的兴趣和需求日益增长;并且表现出与实际图像/视频不同的图像/视频特性的图像/视频(例如,游戏图像/视频)的广播也日益增长。
因此,需要高度高效的图像/视频压缩技术来有效地压缩并发送、存储或播放如上所述显示出各种特性的高分辨率、高质量图像/视频。
发明内容
技术问题
本文档的技术主题是提供用于提高图像/视频编译的效率的方法和设备。
本文档的另一技术主题是提供用于高效地用信号通知预测加权表语法的方法和设备。
本文档的又一技术主题是提供用于减少关于加权预测的信令开销的方法和设备。
本文档的再一技术主题是提供减少用于加权预测的比特的量的方法和设备。
解决问题的手段
根据本文档的实施方式,一种由视频解码设备执行的视频解码方法可以包括以下步骤:从比特流解析与是否将加权预测应用于参考所述比特流中的图片参数集的切片相关的第一标志以及与关于所述加权预测的信息是否存在于所述比特流的图片报头中相关的第二标志;基于所述第一标志和所述第二标志从所述图片报头解析预测加权表语法;基于所述预测加权表语法中的语法元素生成当前图片中的当前块的预测样本;基于从所述比特流获得的残差信息生成残差样本;以及基于所述预测样本和所述残差样本生成重构样本,其中,所述第二标志可以是基于所述第一标志从所述图片参数集解析的。
根据本文档的另一实施方式,一种由视频编码设备执行的视频编码方法可以包括以下步骤:推导关于当前块的运动信息;通过基于所述运动信息执行加权预测来生成所述当前块的预测样本;基于所述预测样本和原始样本生成残差信息;以及对包括关于所述加权预测的信息和所述残差信息的图像信息进行编码,其中,关于所述加权预测的所述信息可以包括与是否将所述加权预测应用于参考所述图像信息的图片参数集的切片相关的第一标志、与关于所述加权预测的所述信息是否存在于所述图像信息的图片报头中相关的第二标志以及预测加权表语法,所述第二标志可以基于所述第一标志被包括在所述图片参数集中,并且所述预测加权表语法可以基于所述第一标志和所述第二标志被包括在所述图片报头中。
根据本文档的又一实施方式,一种计算机可读数字存储介质可以包括使视频解码设备执行视频解码方法的信息,所述视频解码方法可以包括以下步骤:从图像信息解析与是否将加权预测应用于参考所述图像信息中的图片参数集的切片相关的第一标志以及与关于所述加权预测的信息是否存在于所述图像信息的图片报头中相关的第二标志;基于所述第一标志和所述第二标志从所述图片报头解析预测加权表语法;基于所述预测加权表语法中的语法元素生成当前图片中的当前块的预测样本;基于从所述图像信息获得的残差信息生成残差样本;以及基于所述预测样本和所述残差信息生成重构样本,其中,所述第二标志可以是基于所述第一标志从所述图片参数集解析的。
本发明的效果
根据本文档的实施方式,可以提高整体视频/图像压缩效率。
根据本文档的实施方式,可以高效地用信号通知预测加权表语法。
根据本文档的实施方式,可以减少发送关于加权预测的信息的冗余信令。
根据本文档的实施方式,可以减少用于加权预测的比特的量。
附图说明
图1示意性地例示了可应用本文档的实施方式的视频/图像编译系统的示例。
图2是示意性地例示了可应用本文档的实施方式的视频/图像编码设备的配置的图。
图3是示意性地例示了可应用本文档的实施方式的视频/图像解码设备的配置的图。
图4例示了对一个语法元素进行编码的示例。
图5示意性地例示了编码设备中的帧间预测器。
图6示意性地例示了解码设备中的帧间预测器。
图7和图8示意性地例示了根据本文档的实施方式的视频/图像编码方法和相关部件的示例。
图9和图10示意性地例示了根据本文档的实施方式的视频/图像解码方法和相关部件的示例。
图11例示了可应用本文档公开的实施方式的内容流传输系统的示例。
具体实施方式
本文档涉及视频/图像编译。例如,本文档中公开的方法/实施方式可以应用于在通用视频编译(VVC)标准中公开的方法。此外,本文档中公开的方法/实施方式可以应用于基本视频编译(EVC)标准、AOMedia视频1(AV1)标准、第2代音频视频编译标准(AVS2)或下一代视频/图像编译标准(例如,H.267、H.268等)中公开的方法。
在本文档呈现与视频/图像编译有关的各种实施方式,并且除非另外指定,否则也可以彼此组合地执行上述实施方式。
在本文档中,视频可以指随着时间的一系列图像。图片通常是指表示特定时间帧处的一个图像的单元,并且切片(slice)/拼块(tile)是指在编译方面构成图片的一部分的单元。切片/拼块可以包括一个或更多个编译树单元(CTU)。一个图片可以由一个或更多个切片/拼块组成。一个图片可以由一个或更多个拼块组组成。一个拼块组可以包括一个或更多个拼块。图块(brick)可以表示图片中的拼块内的CTU行的矩形区域。拼块可以被分割成多个图块,各个图块可以由拼块内的一个或更多个CTU行组成。未被分割成多个图块的拼块也可以被称为图块。图块扫描是分割图片的CTU的特定顺序排序,其中CTU在图块内以CTU光栅扫描连续地排序,拼块内的图块以拼块的图块的光栅扫描连续地排序,并且图片中的拼块以图片的拼块的光栅扫描连续地排序。拼块是图片中的特定拼块列和特定拼块行内的CTU的矩形区域。拼块列是CTU的矩形区域,其具有等于图片的高度的高度和由图片参数集中的语法元素指定的宽度。拼块行是CTU的矩形区域,其具有由图片参数集中的语法元素指定的高度和等于图片的宽度的宽度。拼块扫描是分割图片的CTU的特定顺序排序,其中CTU在拼块中以CTU光栅扫描连续地排序而图片中的拼块以图片的拼块的光栅扫描连续地排序。切片包括可以仅包含在单个NAL单元中的图片的整数个图块。切片可以由多个完整图块组成,或者仅由一个拼块的连续完整图块序列组成。在本文档中,可以互换地使用拼块组和切片。例如,在本文档中,拼块组/拼块组报头可以称为切片/切片报头。
像素或像元(pel)可意指构成一个图片(或图像)的最小单元。另外,“样本”可用作与像素对应的术语。样本通常可表示像素或像素值,并且可仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
单元可以表示图像处理的基本单位。单元可包括图片的特定区域和与该区域有关的信息中的至少一个。一个单元可包括一个亮度块和两个色度(例如,cb、cr)块。在一些情况下,单元可与诸如块或区域这样的术语互换使用。在一般情况下,M×N块可包括M列和N行的样本(或样本阵列)或变换系数的集合(或阵列)。另选地,样本可意指空间域中的像素值,并且当这样的像素值被变换到频域时,它可意指频域中的变换系数。
在一些情况下,单元可以与诸如块或区域这样的术语互换使用。在一般情况下,M×N块可以表示由M列和N行组成的样本或变换系数的集合。样本通常可以表示像素或像素值,并且可以仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。样本可以用作与配置一个图片(或图像)的像素或像元对应的术语。
可以各种形式修改本文档的公开内容,并且将在附图中描述和图示其具体实施方式。在本文档中使用的术语仅用于描述具体实施方式,而不旨在限制本文档中的所公开的方法。单数的表达包括“至少一个”的表达,只要它被清楚地不同地解读。诸如“包括”和“具有”的术语旨在指示存在文档中使用的特征、数量、步骤、操作、元素、组件或其组合,并且因此应当理解,不排除存在或添加一个或多个不同特征、数量、步骤、操作、元素、组件或其组合的可能性。
此外,本文档中描述的附图的各个配置是用于解释作为彼此不同的特征的功能的独立图示,并且不意味着各个配置由相互不同的硬件或不同的软件实现。例如,可将两种或更多种配置组合以形成一种配置,并且还可将一种配置分成多种配置。在不脱离本文档的所公开的方法的主旨的情况下,组合和/或分离配置的实施方式包括在本文档的公开内容的范围内。
在本文档中,术语“/”和“,”应解释为指示“和/或”。例如,表达“A/B”可以意指“A和/或B”。此外,“A、B”可以意指“A和/或B”。此外,“A/B/C”可以意指“A、B和/或C中的至少一个”。此外,“A/B/C”可以意指“A、B和/或C中的至少一个”。
此外,在文档中,术语“或”应解释为指示“和/或”。例如,表达“A或B”可以包括1)仅A、2)仅B和/或3)A和B两者。换句话说,本文档中的术语“或”应解释为指示“附加地或另选地”。
此外,本文档中使用的括号可以意指“例如”。具体地,在表达“预测(帧内预测)”的情况下,可以指示将“帧内预测”作为“预测”的示例提出。换句话说,本文档中的术语“预测”不限于“帧内预测”,并且可以指示将“帧内预测”作为“预测”的示例提出。此外,即使在表达“预测(即,帧内预测)”的情况下,也可以指示将“帧内预测”作为“预测”的示例提出。
在本文档中,在一个附图中单独说明的技术特征可以被单独实现,或者可以被同时实现。
下文中,将参考附图详细描述本文档的实施方式。另外,在所有附图中,相同的附图标记可用于指示相同的元件,并且将省略对相同元件的相同描述。
图1例示了可应用本文档的实施方式的视频/图像编译系统的示例。
参照图1,视频/图像编译系统可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以通过数字存储介质或网络将编码的视频/图像信息或数据以文件或流的形式发送至接收装置。
源装置可以包括视频源、编码设备和发送器。接收装置可包括接收器、解码设备和渲染器。编码设备可被称为视频/图像编码设备,解码设备可被称为视频/图像解码设备。发送器可被包括在编码设备中。接收器可被包括在解码设备中。渲染器可包括显示器,并且显示器可被配置为单独的装置或外部部件。
视频源可通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可包括视频/图像捕获装置,和/或视频/图像生成装置。例如,视频/图像捕获装置可包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。例如,视频/图像生成装置可包括计算机、平板计算机和智能电话,并且可(以电子方式)生成视频/图像。例如,可通过计算机等生成虚拟视频/图像。在这种情况下,视频/图像捕获处理可以由生成相关数据的处理代替。
编码设备可以对输入视频/图像进行编码。为了压缩和编译效率,编码设备可执行诸如预测、变换和量化的一系列过程。编码的数据(编码的视频/图像信息)可按比特流的形式输出。
发送器可以通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像信息或数据以文件或流的形式发送至接收装置的接收器。数字存储介质可包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。发送器可包括用于通过预定文件格式生成媒体文件的元件,并且可包括用于通过广播/通信网络传输的元件。接收器可接收/提取比特流并且将所接收的比特流发送至解码设备。
解码设备可以通过执行与编码设备的操作对应的诸如解量化、逆变换和预测的一系列过程对视频/图像进行解码。
渲染器可渲染解码的视频/图像。渲染的视频/图像可通过显示器显示。
图2是示意性地例示了本文档的实施方式可以应用于的视频/图像编码设备的配置的图。在下文中,被称为视频编码设备的设备可以包括图像编码设备。
参照图2,编码设备200包括并配置有图像分区器210、预测器220、残差处理器230、熵编码器240、加法器250、滤波器260和存储器270。预测器220可包括帧间预测器221和帧内预测器222。残差处理器230可包括变换器232、量化器233、解量化器234和逆变换器235。残差处理器230还可包括减法器231。加法器250可被称为重构器或重构块生成器。根据实施方式,上面已经描述的图像分区器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可由一个或更多个硬件部件(例如,编码器芯片组或处理器)配置。另外,存储器270可包括解码图片缓冲器(DPB),或者还可由数字存储介质配置。硬件部件还可以包括存储器270作为内部/外部部件。
图像分区器210可以将输入到编码设备200的输入图像(或者图片、帧)分割成一个或更多个处理单元。例如,处理单元可以被称为编译单元(CU)。在这种情况下,编译单元可以根据四叉树二叉树三叉树(QTBTTT)结构从编译树单元(CTU)或最大编译单元(LCU)递归地分割。例如,一个编译单元可以基于四叉树结构、二叉树结构和/或三叉树结构被分割成深度更深的多个编译单元。在这种情况下,例如,可以首先应用四叉树结构,稍后可以应用二叉树结构和/或三叉树结构。另选地,可以首先应用二叉树结构。可以基于不再分割的最终编译单元来执行根据本文档的编译过程。在这种情况下,根据图像特性基于编译效率等,最大编译单元可以直接用作最终编译单元,或者如果需要,编译单元可以被递归地分割成深度更深的编译单元,使得具有最优大小的编译单元可以用作最终编译单元。这里,编译过程可以包括诸如预测、变换和重构的过程(将稍后描述)。在另一示例中,处理单元还可以包括预测单元(PU)或变换单元(TU)。在这种情况下,预测单元和变换单元中的每一者可以从上述最终编译单元分割或分区。预测单元可以是样本预测的单元,并且变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
编码设备200可以从输入图像信号(原始块、原始样本阵列)减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差块、残差样本阵列),并且所生成的残差信号被发送到变换器232。在这种情况下,如所示,在编码器200中从输入图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元可以被称为减法器231。预测器220可以对处理目标块(以下,称为当前块)执行预测并且生成包括当前块的预测样本的预测块。预测器220可以确定在当前块或CU的单元中应用帧内预测还是帧间预测。如在各个预测模式的描述中稍后描述的,预测器220可以生成关于预测的各种类型的信息(诸如,预测模式信息)并将所生成的信息发送到熵编码器240,如下文在每个预测模式的描述中所描述的。关于预测的信息可以由熵编码器240编码并以比特流的形式输出。
帧内预测器222可以参考当前图片中的样本来预测当前块。根据预测模式,所参考的样本可以位于当前块附近或者可以与当前块隔开。在帧内预测中,预测模式可以包括多个非定向模式和多个定向模式。例如,非定向模式可以包括DC模式和平面模式。例如,根据预测方向的详细程度,定向模式可以包括33个定向预测模式或65个定向预测模式。然而,这仅是示例,可以根据设置使用比以上数目更多或更少的定向预测模式。帧内预测器222还可以使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器221可以基于参考图片上运动矢量所指定的参考块(参考样本阵列)来推导当前块的预测块。这时,为了减少在帧间预测模式下发送的运动信息量,可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、双预测(Bi prediction)等)信息。在帧间预测的情况下,邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可彼此相同或彼此不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等的名称,并且包括时间邻近块的参考图片可以被称为并置图片(colPic)。例如,帧间预测器221可以基于邻近块来配置运动信息候选列表并且生成指示哪一候选用于推导当前块的运动矢量和/或参考图片索引的信息。可以基于各种预测模式执行帧间预测。例如,在跳过模式和合并模式的情况下,帧间预测器221可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下,与合并模式不同,可以不发送残差信号。运动矢量预测(MVP)模式通过使用邻近块的运动矢量作为运动矢量预测器并且用信号通知运动矢量差来指示当前块的运动矢量。
预测器220可以基于稍后描述的各种预测方法来生成预测信号。例如,预测器220可以应用帧内预测或帧间预测来预测一个块,并且可以同时应用帧内预测和帧间预测。这可以被称为组合帧间和帧内预测(CIIP)。此外,预测器可以基于帧内块复制(IBC)预测模式或基于调色板模式以用于预测块。IBC预测模式或调色板模式可用于诸如游戏等的内容的图像/视频编译,例如,屏幕内容编译(SCC)。IBC基本上在当前图片中执行预测,但是它可以与帧间预测类似地执行在于在当前图片中推导参考块。也就是说,IBC可以使用本文档中描述的帧间预测技术中的至少一个。调色板模式可以被视为帧内编译或帧内预测的示例。当应用调色板模式时,可以基于关于调色板表和调色板索引的信息用信号通知图片中的样本值。
通过预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以用于生成重构信号或可以用于生成残差信号。
变换器232可以通过将变换技术应用于残差信号来生成变换系数。例如,变换技术可以包括以下中的至少一个:离散余弦变换(DCT)、离散正弦变换(DST)、基于图形的变换(GBT)或条件非线性变换(CNT)。这里,当像素之间的关系信息被图示为图形时,GBT意指从图形获取的变换。CNT意指基于通过使用所有先前重构的像素生成的预测信号而获取的变换。另外,变换处理还可以应用于具有相同大小的正方形的像素块,或者还可以应用于不是正方形的可变大小的块。
量化器233量化变换系数并且将量化的变换系数发送到熵编码器240,并且熵编码器240编码量化的信号(关于量化的变换系数的信息)并且输出编码的信号作为比特流。关于量化的变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序以一维矢量形式重新排列具有块形式的量化的变换系数,并且可以基于一维矢量形式的量化的变换系数来生成关于变换系数的信息。
熵编码器240可以执行诸如例如指数哥伦布(Golomb)、上下文自适应可变长度编译(CAVLC)、和上下文自适应二进制算术编译(CABAC)的各种编码方法。熵编码器240还可以一起或单独地对除了量化的变换系数之外的视频/图像重构所必需的信息(例如,语法元素的值等)进行编码。编码的信息(例如,编码的视频/图像信息)可以比特流的形式以网络抽象层(NAL)单元为单位被发送或存储。视频/图像信息还可以包括关于各种参数集的信息,例如适配参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。另外,视频/图像信息还可以包括一般约束信息。在该文档中,可以在视频/图像信息中包括从编码设备用信号通知/发送到解码设备的信息和/或语法元素。视频/图像信息可以通过前述编码过程来编码并且因此包括在比特流中。比特流可以通过网络被发送或者可以被存储在数字存储介质中。这里,网络可以包括广播网络和/或通信网络,并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD和SSD的各种存储介质。用于发送从熵编码器240输出的信号的发送单元(未示出)和/或用于存储该信号的存储单元(未示出)可以被配置为编码设备200的内部/外部元件,或者发送单元也可以被包括在熵编码器240中。
从量化器233输出的量化的变换系数可以用于生成预测信号。例如,可以通过解量化器234和逆变换单元235将解量化和逆变换应用于量化的变换系数来重构残差信号(残差块或残差样本)。加法器250可以将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加,以生成重构信号(重构图片、重构块、重构样本阵列)。诸如在应用跳过模式时,当针对处理目标块不存在残差时,预测块可用作重构块。加法器250可以被称为恢复器或恢复块生成器。所生成的重构信号可以用于当前图片内的下一个处理目标块的帧内预测,或者可以在滤波之后用于下一图片的帧间预测,如下所述。
此外,也可以在图片编码和/或重构处理期间应用亮度映射与色度缩放(LMCS)。
滤波器260可以通过对重构信号应用滤波来改进主观/客观图像质量。例如,滤波器260可以通过对重构图片应用各种滤波方法来生成修改的重构图片并将修改的重构图片存储在存储器270(具体地,存储器270的DPB)中。例如,各种滤波方法可以包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以生成与滤波有关的各种类型的信息并且将所生成的信息传送到熵编码器240,如在各个滤波方法的描述中稍后描述的。与滤波有关的信息可以由熵编码器240编码并以比特流的形式输出。
发送到存储器270的修改的重构图片可以用作帧间预测器221中的参考图片。当通过编码设备应用帧间预测时,可以避免编码设备200与解码设备之间的预测失配并且可以改善编译效率。
存储器270的DPB可以存储修正后的重构图片,以用作帧间预测器221中的参考图片。存储器270可以存储从其推导出(或编码)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被传送到帧间预测器221,以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本,并可以将重构样本传送到帧内预测器222。
图3是用于示意性地解释可应用本文档的实施方式的视频/图像解码设备的配置的图。
参照图3,解码设备300可以包括并配置有熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可以包括帧间预测器331和帧内预测器332。残差处理器320可以包括解量化器321和逆变换器322。根据实施方式,上面已经描述的熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由一个或更多个硬件部件(例如,解码器芯片组或处理器)配置。另外,存储器360可以包括解码图片缓冲器(DPB)或者可以由数字存储介质配置。硬件部件还可以包括存储器360作为内部/外部部件。
当输入包括视频/图像信息的比特流时,解码设备300可以响应于在图2例示的编码设备中处理视频/图像信息的处理重构图像。例如,解码设备300可以基于从比特流获得的块分区相关信息来推导单元/块。解码设备300可以使用应用于编码设备的处理单元来执行解码。因此,例如,解码的处理单元可以是编译单元,并且编译单元可以根据四叉树结构、二叉树结构和/或三叉树结构从编译树单元或最大编译单元分割。可以从编译单元推导一个或更多个变换单元。另外,通过解码设备300解码和输出的重构图像信号可以通过再现设备再现。
解码设备300可以接收以比特流的形式从图2的编码设备输出的信号,并且可以通过熵解码器310对接收的信号进行解码。例如,熵解码器310可以解析比特流来推导图像重构(或图片重构)所需的信息(例如,视频/图像信息)。视频/图像信息还可以包括关于各种参数集的信息,例如适配参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。另外,视频/图像信息还可以包括一般约束信息。解码设备还可以基于关于参数集和/或一般约束信息的信息来解码图片。稍后将在本文档中描述的用信号通知/接收的信息和/或语法元素可以通过解码过程解码且从比特流获取。例如,熵解码器310可以基于诸如指数哥伦布(Golomb)编译、上下文自适应可变长度编译(CAVLC)、或上下文自适应二进制算术编译(CABAC)的编译方法解码比特流内的信息,并且输出图像重构所需的语法元素和用于残差的变换系数的量化值。更具体地,CABAC熵解码方法可以接收与比特流中的各个语法元素相对应的bin,通过使用解码目标语法元素信息、解码目标块的解码信息或者在先前阶段中解码的符号/bin的信息来确定上下文模型,并且通过根据所确定的上下文模型预测出现bin的概率来对bin执行算术解码,并且生成与各个语法元素的值相对应的符号。在这种情况下,CABAC熵解码方法可以在确定上下文模型之后通过将解码的符号/bin的信息用于下一符号/bin的上下文模型来更新上下文模型。由熵解码器310所解码的信息之中与预测有关的信息可以被提供给预测器(帧间预测器332和帧内预测器331),并且在熵解码器310中已经执行熵解码的残差值(即,量化的变换系数和相关参数信息)可以被输入到残差处理器320。
残差处理器320可以推导残差信号(残差块、残差样本或残差样本阵列)。另外,由熵解码器310解码的信息之中关于滤波的信息可以被提供给滤波器350。同时,用于接收从编码设备输出的信号的接收器(未示出)还可以被配置成解码设备300的内部/外部元件,或者接收器可以是熵解码器310的组件。同时,根据该文档的解码设备可以被称为视频/图像/图片解码设备,并且解码设备可以被分类为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310,并且样本解码器可以包括以下中的至少一个:解量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331。
解量化器321可以对量化后的变换系数进行解量化以输出变换系数。解量化器321可以按二维块形式重排量化后的变换系数。在这种情况下,可以基于由编码设备执行的系数扫描顺序来执行重排。解量化器321可以使用量化参数(例如,量化步长信息)对量化后的变换系数执行解量化并且获得变换系数。
逆变换器322对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。
在本文档中,可以省略量化/解量化和/或变换/逆变换中的至少一个。当量化/解量化被省略时,量化变换系数可以被称为变换系数。当变换/逆变换被省略时,变换系数可以被称作系数或残差系数或者为了表达的一致性可以仍被称作变换系数。
在本文档中,可以将量化变换系数和变换系数分别称为变换系数和缩放变换系数。在这种情况下,残差信息可以包括关于变换系数的信息,并且可以通过残差编译语法来用信号通知关于变换系数的信息。可以基于残差信息(或关于变换系数的信息)来推导变换系数,并且可以通过对变换系数的逆变换(缩放)来推导缩放变换系数。可以基于缩放变换系数的逆变换(变换)来推导残差样本。也可以在本文档的其它部分中应用/表达这个。
预测器330可以对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可以基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测并且确定特定帧内/帧间预测模式。
预测器330可以基于下述各种预测方法来生成预测信号。例如,预测器可以应用帧内预测或帧间预测以用于预测一个块,而且可以同时应用帧内预测和帧间预测。这可以被称为组合帧间和帧内预测(CIIP)。另外,预测器可以基于帧内块复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可用于游戏等的内容的图像/视频编译,例如屏幕内容编译(SCC)。IBC可以基本上执行当前图片中的预测,但是可以与帧间预测相似地执行,使得在当前图片内推导参考块。即,IBC可以使用该文档中描述的至少一个帧间预测技术。调色板模式可以被视为帧内编译或帧内预测的示例。当应用调色板模式时,关于调色板表和调色板索引的信息可以包括在视频/图像信息中并且用信号通知。
帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式,所参考的样本可位于当前块附近或者可以与当前块隔开。在帧内预测中,预测模式可以包括多个非定向模式和多个定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器332可以基于由参考图片上的运动矢量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下,为了减少在帧间预测模式下发送的运动信息量,可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括关于帧间预测方向(L0预测、L1预测、双预测等)的信息。在帧间预测的情况下,邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。例如,帧间预测器332可以基于邻近块来构造运动信息候选列表并且基于所接收的候选选择信息来推导当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测,并且关于预测的信息可以包括指示用于当前块的帧间预测模式的信息。
加法器340可以通过将所获取的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块或预测样本阵列)相加来生成重构信号(重构图片、重构块、重构样本阵列)。如果针对处理目标块不存在残差,例如应用跳过模式的情况,预测块可以用作重构块。
加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以用于在当前图片中将处理的下一个块的帧内预测,并且如随后描述的,还可以通过滤波来输出或者还可以用于下一个图片的帧间预测。
此外,亮度映射与色度缩放(LMCS)还可以被应用于图片解码处理。
滤波器350可以通过向重构信号应用滤波来改善主观/客观图像质量。例如,滤波器350可以通过向重构图片应用各种滤波方法来生成修正后的重构图片,并将修正后的重构图片存储在存储器360中,具体地,存储在存储器360的DPB中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
存储在存储器360的DPB中的(修改的)重构图片可以用作帧间预测器332中的参考图片。存储器360可以存储从其中推导(解码)当前图片内的运动信息的块的运动信息和/或已经重构的图片内的块的运动信息。存储的运动信息可以被传送到帧间预测器332,以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片内的重构块的重构样本,并且将所重构样本传送到帧内预测器331。
在本文档中,在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式可以被同等地应用于或对应于滤波器350、帧间预测器332和帧内预测器331。
此外,可以基于以下分区结构来执行根据本文档的视频/图像编译方法。具体地,可以根据基于分区结构而推导的CTU和CU(和/或TU和PU)来执行上述预测、残差处理((逆)变换和(解)量化)、语法元素编译和滤波的过程。块分区过程可以由上述编码设备的图像分区器210执行,并且分区相关信息可以由熵编码器240(编码)处理,并且可以被以比特流的形式传送到解码设备。解码设备的熵解码器310可以基于从比特流获得的分区相关信息来推导当前图片的块分区结构,并且基于此,可以执行用于图像解码的一系列过程(例如,预测、残差处理、块/图片重构、环路内滤波等)。CU大小和TU大小可以彼此相等,或者多个TU可以存在于CU区域内。此外,CU大小可以通常表示亮度分量(样本)编译块(CB)大小。TU大小可以通常表示亮度分量(样本)变换块(TB)大小。可以根据图片/图像的颜色格式(色度格式,例如,4:4:4、4:2:2、4:2:0等)依照分量比基于亮度分量(样本)CB或TB大小来推导色度分量(样本)CB或TB大小。可以基于maxTbSize来推导TU大小。例如,如果CU大小大于maxTbSize,则可以从CU推导maxTbSize的多个TU(TB),并且能够以TU(TB)为单位执行变换/逆变换。此外,例如,在应用帧内预测的情况下,能够以CU(或CB)为单位推导帧内预测模式/类型,并且能够以TU(或TB)为单位执行邻近参考样本推导和预测样本生成过程。在这种情况下,一个或多个TU(或TB)可以存在于一个CU(或CB)区域中,并且在这种情况下,多个TU(或TB)可以共享相同的帧内预测模式/类型。
此外,在根据本文档的视频/图像编译中,图像处理单元可以具有分层结构。可以将一个图片分区成一个或更多个拼块、图块、切片和/或拼块组。一个切片可以包括一个或更多个图块。一个图块可以包括拼块内的一个或更多个CTU行。切片可以包括图片的整数个图块。一个拼块组可以包括一个或更多个拼块。一个拼块可以包括一个或更多个CTU。CTU可以分区成一个或更多个CU。拼块表示图片中的特定拼块列和特定拼块行内的CTU的矩形区域。拼块组可以根据图片中的拼块光栅扫描包括整数个拼块。切片报头可以承载能够被应用于对应切片(切片中的块)的信息/参数。如果编码/解码设备具有多核心处理器,则可以并行处理用于拼块、切片、图块和/或拼块组的编码/解码过程。在本文档中,可以互换地使用切片或拼块组。也就是说,可以将拼块组报头称作切片报头。这里,切片可以具有包括帧内(I)切片、预测(P)切片和双预测(B)切片的切片类型之一。在预测I切片中的块时,可以不使用帧间预测,并且可以仅使用帧内预测。当然,即使在这种情况下,也可以通过在没有预测的情况下对原始样本值进行编译来执行用信号通知。关于P切片中的块,可以使用帧内预测或帧间预测,并且在使用帧间预测的情况下,可以仅使用单向预测。此外,关于B切片中的块,可以使用帧内预测或帧间预测,并且在使用帧间预测的情况下,可以最大地使用可达双预测。
考虑到编译效率或并行处理或者根据视频图像的特征(例如,分辨率),编码设备可以确定拼块/拼块组、图块、切片以及最大和最小编译单元大小,并且它们的信息或能够推导它们的信息可以被包括在比特流中。
解码设备可以获得表示当前图片的拼块/拼块组、图块和切片的信息,以及拼块中的CTU是否已被分区成多个编译单元。通过仅在特定条件下获取(发送)这种信息,可以提高效率。
如上所述,一个图片可以包括多个切片,并且一个切片可以包括切片报头和切片数据。在这种情况下,可以为一个图片中的多个切片(切片报头和切片数据的集合)进一步添加一个图片报头。图片报头(图片报头语法)可以包括共同地应用于图片的信息/参数。切片报头(切片报头语法)可以包括共同地应用于切片的信息/参数。自适应参数集(APS)或图片参数集(PPS)可以包括共同地应用于一个或更多个图片的信息/参数。序列参数集(SPS)可以包括共同地应用于一个或更多个序列的信息/参数。视频参数集(VPS)可以包括共同地应用于多个层的信息/参数。解码参数集(DPS)可以包括共同地应用于整体视频的信息/参数。DPS可以包括与编译视频序列(CVS)的级联相关的信息/参数。
在本文档中,高级语法可以包括APS语法、PPS语法、SPS语法、VPS语法、DPS语法、图片报头语法和切片报头语法中的至少一个。
另外,例如,关于拼块/拼块组/图块/切片的分区和配置的信息可以基于高级语法在编码设备中配置,并且可以以比特流的形式发送到解码设备。
图4例示了对一个语法元素进行编码的示例。
图4是例示了用于对一个语法元素进行编码的CABAC的框图。在CABAC的编码过程中,当输入信号是语法元素而不是二进制值时,首先通过二值化将输入信号转换为二进制值。当输入信号已经是二进制值时,输入信号被旁路而不进行二值化。这里,可以将形成二进制值的各个二进制0或1称为bin。例如,当二值化得出的二进制串为110时,将1、1、0中的每一者称为一个bin。一个语法元素的bin可以指示该语法元素的值。
二值化bin被输入到常规编译引擎或旁路编译引擎。常规编译引擎指派反映bin的概率值的上下文模型并基于指派的上下文模型对bin进行编码。常规编译引擎可以对各个bin执行编译,然后可以更新bin的上下文模型。这些编码的bin可以被称为上下文编码的bin。旁路编译引擎省略了估计输入bin的概率的过程以及在编译之后更新应用于bin的概率模型的过程。旁路编译引擎通过应用统一的概率分布(例如50:50)而不是指派上下文来对输入bin进行编码,从而提高编码速度。这些编码的bin可以称为旁路bin。可以为要进行上下文编码(常规编码)的各个bin指派和更新上下文模型,并且可以基于ctxIdx或ctxInc来指示上下文模型。ctxIdx可以基于ctxInc推导。具体地,例如,指示各个常规编码的bin的上下文模型的上下文索引(ctxIdx)可以被推导为上下文索引增量(ctxInc)和上下文索引偏移(ctxIdxOffset)的总和。这里,可以针对各个bin推导不同的ctxInc。ctxIdxOffset可以表示为ctxIdx的最小值。ctxIdx的最小值可以称为ctxIdx的初始值(initValue)。ctxIdxOffset是通常用于区分其它语法元素的上下文模型的值,一个语法元素的上下文模型可以基于ctxInc被分类/推导。
在熵编码中,可以确定是通过常规编译引擎还是通过旁路编码引擎执行编码,并且可以切换编译路径。熵解码可以通过与相反顺序的编码相同的过程来执行。
例如,可以如下执行前述熵编码。
编码设备(熵编码器)对图像/图像信息执行熵编译过程。图像/图像信息可以包括分区相关信息、预测相关信息(例如,帧间/帧内预测分类信息、帧内预测模式信息和帧间预测模式信息)、残差信息、环路内滤波相关信息等,或者可以包括与其相关的各种语法元素。熵编译可以以语法元素为单位来执行。
具体地,编码设备对目标语法元素执行二值化。二值化可以基于各种二值化方法,诸如截断莱斯二值化过程(truncated Rice binarization process)和固定长度二值化过程,并且可以预定义目标语法元素的二值化方法。二值化过程可以由熵编码器240中的二值化器242执行。
编码设备对目标语法元素执行熵编码。编码设备可以基于诸如上下文自适应算术编译(CABAC)或上下文自适应可变长度编译(CAVLC)的熵编译技术对目标语法元素的空串执行基于常规编译(上下文)或基于旁路编译的编码,并且来自编码的输出可以包括在比特流中。熵编码过程可以由熵编码器240中的熵编码处理器243执行。如上所述,比特流可以通过(数字)存储介质或网络传送到解码设备。
解码设备(熵解码器)可以对编码的图像/图像信息进行解码。图像/图像信息可以包括分区相关信息、预测相关信息(例如,帧间/帧内预测分类信息、帧内预测模式信息和帧间预测模式信息)、残差信息、环路内滤波相关信息等,或者可以包括与其相关的各种语法元素。熵编译可以以语法元素为单位来执行。
具体地,解码设备对目标语法元素执行二值化。这里,二值化可以基于各种二值化方法,诸如截断莱斯二值化过程和固定长度二值化过程,并且可以预定义目标语法元素的二值化方法。解码设备可以通过二值化过程推导目标语法元素的可用值的可用bin串(bin串候选)。二值化过程可以由熵解码器310中的二值化器312执行。
解码设备对目标语法元素执行熵解码。解码设备在从比特流中的输入比特顺序解码和解析语法元素的各个bin的同时,将推导的bin串与目标语法元素的可用bin串进行比较。如果推导的bin串与可用bin串之一相同,则推导对应于bin串的值作为语法元素的值。否则,解码设备进一步解析比特流中的下一比特,然后再次执行上述过程。通过该过程,可以使用可变长度比特来用信号通知特定信息,而不使用比特流中的特定信息(特定语法元素)的开始比特或结束比特。因此,可以为较低的值分配较少数量的比特,并且可以提高整体编译效率。
解码设备可以基于诸如CABAC或CAVLC的熵编译技术对来自比特流的bin串中的各个bin执行基于上下文或基于旁路的解码。熵解码过程可以由熵解码器310中的熵解码处理器313执行。比特流可以包括如上所述的用于图像/视频解码的各种信息。如上所述,比特流可以通过(数字)存储介质或网络传送到解码设备。
在本文档中,包括语法元素的表(语法表)可以用于指示从编码设备到解码设备的信息的信令。包括在本文档中使用的语法元素的表的语法元素的顺序可以指从比特流中解析语法元素的顺序。编码设备可以构建和编码语法表,使得解码设备可以按照解析顺序解析语法元素,并且解码设备可以根据解析顺序从比特流中解析和解码语法表的语法元素,从而获得语法元素的值。
基于帧间预测的视频/图像编码过程可以示意性地包括以下内容。
图5示意性地例示了编码设备中的帧间预测器。
参照图5,编码设备对当前块执行帧间预测。编码设备可以针对当前块推导帧间预测模式和运动信息,并且可以生成当前块的预测样本。这里,可以同时执行用于确定帧间预测模式、推导运动信息并生成预测样本的过程,或者可以在另一过程之前执行一个过程。例如,编码设备的帧间预测器221可以包括预测模式确定器221_1、运动信息推导器221_2和预测样本推导器221_3,其中,预测模式确定器221_1可以确定当前块的预测模式,运动信息推导器221_2可以推导关于当前块的运动信息,并且预测样本推导器221_3可以推导当前块的预测样本。例如,编码设备的帧间预测器可以通过运动估计在参考图片的预定区域(搜索区域)内搜索类似于当前块的块,并且可以推导与当前块的差为最小值或预定的参考水平或更小的参考块。帧间预测器可以基于参考块推导参考图片索引,该参考图片索引指示参考块所在的参考图片,并且可以基于参考块与当前块之间的位置差来推导运动矢量。编码设备可以确定各种预测模式当中的要应用于当前块的模式。编码设备可以比较各种预测模式的率失真(RD,rate-distortion)成本,并且可以确定当前块的最佳预测模式。
例如,当将跳过模式或合并模式应用于当前块时,编码设备可以构建合并候选列表,并且可以推导在合并候选列表中包含的合并候选指示的参考块当中的参考块,该参考块与当前块的差为最小值或预定的参考水平或更少。在这种情况下,可以选择与推导的参考块相关联的合并候选,并且可以生成指示所选择的合并候选的合并索引信息并用信号通知给解码设备。可以使用关于所选择的合并候选的运动信息来推导关于当前块的运动信息。
在另一示例中,当(A)MVP模式应用于当前块时,编码设备可以构建(A)MVP候选列表,并且可以使用从(A)MVP候选列表中包括的运动矢量预测子(mvp)候选中选择的mvp候选的运动矢量作为当前块的mvp。例如,在这种情况下,指示通过运动估计推导的参考块的运动矢量可以用作当前块的运动矢量,而mvp候选当中的具有与当前块的运动矢量的差最小的运动矢量的mvp候选可以是所选择的mvp候选。可以推导运动矢量差(MVD),该MVD是通过从当前块的运动矢量减去mvp获得的差。在这种情况下,有关MVD的信息可以用信号通知给解码装置。当应用(A)MVP模式时,参考图片索引的值可以被配置为参考图片索引信息,并且可以单独用信号通知给解码设备。
编码设备可以基于预测样本推导残差样本。编码设备可以通过将当前块的原始样本与预测样本进行比较来推导残差样本。
编码设备对包括预测信息和残差信息的图像信息进行编码。编码设备可能以比特流的形式输出编码的图像信息。预测信息是与预测过程相关的信息,并且可以包括预测模式信息(例如,跳过标志、合并标志或模式索引)和关于运动信息的信息。关于运动信息的信息可以包括候选选择信息(例如,合并索引、mvp标志或mvp索引),这些信息是用于推导运动矢量的信息。另外,关于运动信息的信息可以包括关于MVD的信息和/或参考图片索引信息。此外,关于运动信息的信息可以包括指示是应用L0预测、L1预测还是双预测的信息。残差信息是关于残差样本的信息。残差信息可以包括关于残差样本的量化的变换系数的信息。
输出比特流可以存储在(数字)存储介质中并发送到解码设备,或者可以通过网络发送到解码设备。
如上所述,编码设备可以基于参考样本和残差样本生成重构图片(包括重构样本和重构块),该重构图片用于编码设备推导与由解码设备推导的预测结果相同的结果,并用于提高编译效率。因此,编码设备可以在存储器中存储重构图片(或重构样本和重构块),并可以将其用作帧间预测的参考图片。如上所述,可以将环路内滤波过程进一步应用于重构图片。
例如,基于帧间预测的视频/图像解码过程可以示意性地包括以下内容。
图6示意性地例示了解码设备中的帧间预测器。
解码设备可以执行与编码设备执行的上述操作相对应的操作。解码设备可以基于接收到的预测信息预测当前块,并且可以推导预测样本。
具体地,参照图6,解码设备可以基于从比特流接收的预测信息确定当前块的预测模式。解码设备可以基于预测信息中的预测模式信息确定将哪种帧间预测模式应用于当前块。
例如,可以基于合并标志确定是否将合并模式应用于当前块或是否确定(A)MVP模式。另选地,可以基于合并索引选择各种帧间预测模式候选之一。帧间预测模式候选可以包括各种帧间预测模式,诸如,跳过模式、合并模式和/或(A)MVP模式。
解码设备基于所确定的帧间预测模式推导关于当前块的运动信息。例如,当将跳过模式或合并模式应用于当前块时,解码设备可以构建以后描述的合并候选列表,并且可以从合并候选列表中包括的合并候选当中选择一个合并候选。可以基于上述选择信息(合并索引)执行选择。可以使用关于所选择的合并候选的运动信息推导关于当前块的运动信息。关于所选择的合并候选的运动信息可以用作关于当前块的运动信息。
在另一示例中,当(A)MVP模式应用于当前块时,解码设备可以构建(A)MVP候选列表,并且可以使用从(A)MVP候选列表中包括的mvp候选中选择的运动矢量预测子(mvp)候选的运动矢量作为当前块的mvp。可以基于上述选择信息(mvp标志或mvp索引)执行选择。在这种情况下,解码设备可以基于关于MVD的信息推导当前块的MVD,并且可以基于当前块的mvp和MVD推导当前块的运动矢量。此外,解码设备可以基于参考图片索引信息推导当前块的参考图片索引。当前块的参考图片列表中的参考图片索引指示的图片可以推导为当前块的帧间预测所参考的参考图片。
可以在不构建候选列表的情况下推导关于当前块的运动信息,在这种情况下,可以省略上述候选列表的构建。
解码设备可以基于关于当前块的运动信息生成当前块的预测样本。在这种情况下,可以基于当前块的参考图片索引推导参考图片,并且可以使用参考图片中的当前块的运动矢量指示的参考块的样本来推导当前块的预测样本。在这种情况下,如稍后所述,可以根据情况进一步执行当前块的所有或一些预测样本的预测样本滤波过程。
例如,解码设备的帧间预测器332可以包括预测模式确定器332_1、运动信息推导器332_2和预测样本推导器332_3,其中,预测模式确定器332_1可以基于接收到的预测模式信息确定当前块的预测模式,运动信息推导器332_2可以基于接收到的关于运动信息的信息推导关于当前块的运动信息(运动矢量和/或参考图片索引),并且预测样本推导器332_3可以推导当前块的预测样本。
解码设备基于接收的残差信息生成当前块的残差样本。解码设备可以基于预测样本和残差样本生成当前块的重构样本,并且可以基于重构样本生成重构图片。随后,如上所述,可以将环路内滤波过程进一步应用于重构图片。
可以基于根据当前块的预测模式推导的运动信息推导当前块的预测块。预测块可以包括当前块的预测样本(预测样本阵列)。在当前块的运动矢量指示部分样本单元时,可以执行插值过程,通过该过程,可以基于参考图片中的部分样本单元中的参考样本推导当前块的预测样本。当对当前块应用仿射帧间预测时,可以基于样本/子块单元中的运动矢量(MV)生成预测样本。当应用双预测时,通过基于L0预测(即,使用参考图片列表L0中的参考图片和MVL0的预测)推导的预测样本的加权总和或加权平均推导的预测样本以及基于L1预测推导的预测样本(即,使用参考图片列表L1中的参考图片和MVL1的预测(根据阶段))可以用作当前块的预测样本。应用双预测并且用于L0预测的参考图片和用于L1预测的参考图片相对于当前图片位于不同时间方向上(即,与双预测和双向预测相对应)的情况被称为真正的双预测。
如上所述,可以基于推导的预测样本生成重构样本和重构图片,然后可以执行环路内滤波过程。
在帧间预测中,可以使用加权样本预测。加权样本预测可以称为加权预测。在当前块(例如,CU)所在的当前切片的切片类型是P切片或B切片时,可以应用加权预测。也就是说,加权预测不仅可以在应用双预测时使用,还可以在应用单预测时使用。例如,如下所述,可以基于weightedPredFlag确定加权预测,并且可以基于用信号通知的pps_weighted_pred_flag(在P切片的情况下)或pps_weighted_bipred_flag(在B切片的情况下)确定weightedPredFlag的值。例如,当slice_type为p时,可以将weightedPredFlag设置为pps_weighted_pred_flag。否则(当slice_type为B时),可以将weightedPredFlag设置为pps_weighted_bipred_flag。
作为加权预测的输出的预测样本或预测样本的值可以称为pbSamples。
加权预测过程可以在很大程度上分为默认加权(样本)预测过程和显式加权(样本)预测过程。加权(样本)预测过程可以仅指显式加权(样本)预测过程。例如,当weightedPredFlag的值为0时,可以基于默认加权(样本)预测过程推导预测样本的值(pbSamples)。当weightedPredFlag的值为1时,可以基于显式加权(样本)预测过程推导预测样本的值(pbSamples)。
当将双预测应用于当前块时,可以基于加权平均推导预测样本。通常,可以通过简单地平均L0预测信号(L0预测样本)和L1预测信号(L1预测样本)来推导双预测信号(即,双预测样本)。也就是说,双预测样本被推导为基于L0参考图片和MVL0的L0预测样本和基于L1参考图片和MVL1的L1预测样本的平均。然而,根据本文档,当应用双预测时,可以通过加权平均L0预测信号和L1预测信号来推导双预测信号(双预测样本)。
双向光流(BDOF)可以用于细化双预测信号。BDOF用于在将双预测应用于当前块(例如,CU)时通过计算改进的运动信息来生成预测样本,并且计算改进的运动信息的过程可以包括在运动信息推导操作中。
例如,BDOF可以以4×4的子块水平应用。也就是说,BDOF可以在当前块中以4×4个子块为单位执行。BDOF只能应用于亮度分量。另选地,BDOF只能应用于色度分量,或者也可以应用于亮度分量和色度分量。
如上所述,高级语法(HLS)可以编译用于视频/图像编译/用信号通知。视频/图像信息可以包括在HLS中。
编译图片可以包括一个或更多个切片。在图片报头中用信号通知描述编译图片的参数,并且在切片报头中用信号通知描述切片的参数。图片报头以独立的NAL单元的形式承载。切片报头存在于NAL单元的开头,该NAL单元包括切片的有效载荷(即,切片数据)。
各个图片与图片报头相关联。图片可以包括不同类型的切片(帧内编译切片(即,I切片)和帧间编译切片(即,P切片和B切片))。因此,图片报头可以包括图片帧内切片和图片帧间切片所需的语法元素。
图片可以分为子图片、拼块和/或切片。序列参数集(SPS)可以存在子图片信令,并且图片参数集(PPS)中可以存在拼块和正方形切片信令。切片报头中可以存在光栅扫描切片信令。
当将加权预测应用于当前块的帧间预测时,可以基于关于加权预测的信息执行加权预测。
加权预测过程可以基于SPS中的两个标志开始。
例如,下面表1中示出的语法元素可以包括在关于加权预测的SPS语法中。
[表1]
Figure BDA0003834127950000231
在表1中,sps_weighted_pred_flag等于1的值可以指示加权预测应用于参考SPS的P切片。
sps_weighted_bipred_flag等于1的值可以指示加权预测应用于参考SPS的B切片。sps_weighted_bipred_flag等于0的值可以指示加权预测未应用于参考SPS的B切片。
SPS中用信号通知的两个标志指示是否将加权预测应用于编译视频序列(CVS)中的P切片和B切片。
下面在表2中示出的语法元素可以包括在关于加权预测的PPS语法中。
[表2]
Figure BDA0003834127950000232
在表2中,pps_weighted_pred_flag等于0的值可以指示加权预测未应用于参考PPS的P切片。pps_weighted_pred_flag等于1的值可以指示加权预测应用于参考PPS的P切片。当sps_weighted_pred_flag的值为0时,pps_weighted_pred_flag的值为0。
pps_weighted_bipred_flag等于0的值可以指示加权预测未应用于参考PPS的B切片。pps_weighted_bipred_flag等于1的值可以指示将显式加权预测应用于参考PPS的B切片。当sps_weighted_bipred_flag的值为0时,pps_weighted_bipred_flag的值为0。
另外,下面在表3中示出的语法元素可以包括在切片报头语法中。
[表3]
Figure BDA0003834127950000241
在表3中,slice_pic_parameter_set_id指示使用的PPS的pps_pic_parameter_set_id的值。slice_pic_parameter_set_id的值被包括在从0到63的范围内。
当前图片的临时ID(TempralID)的值需要大于或等于具有与slice_pic_parameter_set_id相同的pps_pic_parameter_set_id的PPS的TempralID值。
预测加权表语法可以包括关于下面表4中所示的加权预测的信息。
[表4]
Figure BDA0003834127950000251
在表4中,luma_log2_weight_denom是所有亮度加权因子的分母的以2为底的对数。luma_log2_weight_denom的值被包括在从0到7的范围内。
delta_chroma_log2_weight_denom是所有色度加权因子的分母的以2为底的对数的差。当不存在delta_chroma_log2_weight_denom时,delta_chroma_log2_weight_denom被推断为0。
ChromaLog2WeightDenom被推导为luma_log2_weight_denom+delta_chroma_log2_weight_denom,并且其值被包括在从0到7的范围内。
luma_weight_10_flag[i]等于1的值指示存在使用RefPicList[0][i]的(参考图片)列表0(L0)预测的亮度分量的加权因子。luma_weight_10_flag[i]等于0的值指示这些加权因子不存在。
chroma_weight_10_flag[i]等于1的值指示使用RefPicList[0][i]的L0预测的色度预测值的加权因子。chroma_weight_10_flag[i]等于0的值指示这些加权因子不存在。当chroma_weight_10_flag[i]不存在时,chroma_weight_10_flag[i]被推断为0。
delta_luma_weight_10[i]是应用于使用RefPicList[0][i]的L0预测的亮度预测值的加权因子的差。
LumaWeightL0[i]被推断为(1<<luma_log2_weight_denom)+delta_luma_weight_l0[i]。当luma_weight_10_flag[i]为1时,delta_luma_weight_10[i]的值被包括在从-128到127的范围内。当luma_weight_10_flag[i]为0时,LumaWeightL0[i]被推断为2luma _log2_weight_denom
luma_offset_10[i]是应用于使用RefPicList[0][i]的L0预测的亮度预测值的累积偏移。luma_offset_10[i]的值被包括在从-128到127的范围内。当luma_weight_10_flag[i]的值为0时,luma_offset_10[i]的值被推断为0。
delta_chroma_weight_l0[i][j]是应用于使用RefPicList[0][i]的L0预测的色度预测值的加权因子的差,其中,针对Cb,j为0,并且针对Cr,j为1。
ChromaWeightL0[i][j]被推导为(1<<Chromalog2WeightDenom)+delta_chroma_weight_l0[i][j]。当chroma_weight_10_flag[i]为1时,delta_chroma_weight_10[i][j]的值被包括在从-128到127的范围内。当chroma_weight_l0_flag[i]为0时,ChromaWeightL0[i][j]被推断为2ChromaLog2WeightDenom
delta_chroma_offset_l0[i][j]是应用于使用RefPicList[0][i]的L0预测的色度预测值的累积偏移,其中,针对Cb,j为0,并且针对Cr,j为1。
delta_chroma_offset_10[i][j]的值被包括从-4×128到4×127的范围内。当chroma_weight_10_flag[i的值为0时,ChromaOffsetL0[i][j]的值被推断为0。
预测加权表语法经常用于修改场景更改时的序列。当启用了用于加权预测的PPS标志并且切片类型为P时或者当启用了用于加权双预测的PPS标志并且切片类型为B时,在切片报头中用信号通知现有的预测加权表语法。然而,通常情况是,当场景更改时,需要针对一个或多个帧调整预测加权表。通常,当多个帧共享PPS时,可能不必用信号通知关于参考PPS的所有帧的加权预测的信息。
提供了以下附图来描述本文档的具体示例。由于提供了附图中例示的装置的特定术语或特定的信号/消息术语来进行例示,因此本公开的技术特征不限于以下附图中使用的特定术语。
本文档提供了以下方法来解决上述问题。这些方法可以独立应用,或者也可以彼此结合使用。
1.可以以图片级而不是切片级应用加权预测的工具(关于加权预测的信息)。加权值应用于图片的特定参考图片,并且用于图片的所有切片。
a.另选地,用于加权预测的工具可以以图片级别或切片级别应用,但可能不针对同一图片以两个级别应用。即,当以图片级别应用加权预测时,加权预测不需要图片的各个切片的附加信令。
b.另选地,用于加权预测的工具可以以图片级别和切片级别应用。
2.预测加权表语法可以以图片级而不是切片级用信号通知。为此,可以在图片报头(PH)或图片参数集(PPS)中用信号通知关于加权预测语法的信息。
3.另选地,当用于加权预测的工具适用于图片级别或切片级别时,可以以图片级别或切片级别用信号通知用于加权预测的工具。
a.图片级别信令存在于图片报头中。
b.切片级别信令存在于切片报头中。
4.另选地,当用于加权预测的工具适用于图片级别或切片级别时,可以以图片级别用信号通知用于加权预测的工具,然后可以以切片级别覆盖该工具。
a.图片级别信令存在于图片报头中。
b.切片级别信令存在于切片报头中。
5.当预测加权表存在于图片报头中时,可以明确地用信号通知加权参考图片的数量。可以用信号通知参考图片列表0的一个数量和参考图片列表1的一个数量。当预测加权表存在于切片报头中时,可以从参考图片列表0和参考图片列表1的活动参考图片的数量推断该数量。
6.当在图片报头中用信号通知用于加权预测的工具(例如,预测加权表)时,图片(和图片的切片)的参考图片信令可以存在于图片报头中。
7.当加权预测以图片级别应用时,如果加权预测应用于图片,则图片的所有切片可以具有相同的活动参考图片。这包括参考图片列表(即,P切片的L0,B切片的L0和L1)中的活动参考图片的顺序。
8.另选地,当上述不适用时,以下情况可能适用。
a.加权预测的信令独立于参考图片列表的信令。也就是说,在预测加权表的信令中,没有关于RPL中参考图片的顺序的假设。
b.没有针对L0和L1中的参考图片的加权预测值的信令。对于参考图片,直接提供加权值。
c.只使用一个循环,而不是两个循环来用信号通知参考图片的加权值。在各个循环中,识别与首先用信号通知的加权值关联的参考图片。
d.参考图片识别是基于图片顺序计数(POC)值的。
e.对于比特节省,可以用信号通知参考图片与当前图片之间的增量POC值,而不是用信号通知参考图片的POC值。
9.除了第4项之外,为了用信号通知参考图与当前图片之间的增量POC值,可以进一步指定以下内容,以便可以如下用信号通知绝对增量POC值。
a.第一个用信号通知的增量POC是参考图片的POC与当前图片的POC之间的增量。
b.其余用信号通知的增量POC(即,i从1开始的情况)是第i参考图片的POC与第(i-1)参考图片的POC之间的增量。
10.PPS中的两个标志可以统一为单个控制标志(例如,pps_weighted_pred_flag)。该标志可以用于指示图片报头中存在附加标志。
a.PH中的标志可以以PPS标志为条件,并且当NAL单元类型不是瞬时解码刷新(IDR)时,可以进一步指示pred_weighted_table()数据(预测加权表语法)的存在。
11.PPS中用信号通知的两个标志(pps_weighted_pred_flag和pps_weighted_bipred_flag)可以统一为一个标志。所述一个标志可以使用pps_weighted_pred_flag的现有名称。
12.可以在图片报头中用信号通知标志,以指示是否将加权预测应用于与图片报头相关的图片。标志可以称为pic_weighted_pred_flag。
a.pic_weighted_pred_flag的存在可以以pps_weighted_pred_flag的值为条件。当pps_weighted_pred_flag的值为0时,pic_weighted_pred_flag不存在,并且可以将其值推断为0。
b.当pic_weighted_pred_flag的值为1时,图片报头中可能存在pred_weighted_table()的信令。
13.另选地,当启用加权预测(即,pps_weighted_pred_flag的值为1或pps_weighted_bipred_flag的值为1)时,关于加权预测的信息可能仍然存在于切片报头中,并且以下可能适用。
a.可以用信号通知新标志,以指示切片报头中是否存在关于加权预测的信息。标志可以称为slice_weighted_pred_present_flag。
b.可以根据切片类型和pps_weighted_pred_flag和pps_weighted_bipred_flag的值确定slice_weighted_pred_present_flag的存在。
在本文档中,关于加权预测的信息可以包括与表1到表4所述的加权预测有关的信息/语法元素。视频/图像信息可以包括各种帧间预测信息,诸如,关于加权预测的信息、残差信息和帧间预测模式信息。帧间预测模式信息可以包括信息/语法元素,诸如指示合并模式还是MVP模式应用于当前块的信息,以及用于在运动候选列表中选择运动候选之一的选择信息。例如,当合并模式应用于当前块时,基于当前块的邻近块构建合并候选列表,并且可以从合并候选列表中选择/使用(基于合并索引)用于推导关于当前块的运动信息的一个候选。在另一示例中,当将MVP模式应用于当前块时,可以基于当前块的邻近块构建mvp候选列表,并且可以从mvp候选列表中选择/使用(基于mvp标志)用于推导关于当前块的运动信息的一个候选。
在一个实施方式中,对于帧间预测中的加权预测,PPS可以包括下面在表5示出的语法元素,并且语法元素的语义可以如下表6所示。
[表5]
Figure BDA0003834127950000291
[表6]
Figure BDA0003834127950000301
参考表5和表6,pps_weighted_pred_flag等于0的值可以指示加权预测未应用于参考PPS的P或B切片。pps_weighted_pred_flag等于1的值可以指示加权预测应用于参考PPS的P或B切片。
另外,图片报头可以包括下面表7所示的语法元素,并且语法元素的语义可以如下表8所示。
[表7]
Figure BDA0003834127950000302
[表8]
Figure BDA0003834127950000311
参考表7和表8,pic_weighted_pred_flag等于0的值可以指示加权预测未应用于参考图片报头的P或B切片。pic_weighted_pred_flag等于1的值可以指示加权预测应用于参考图片报头的P或B切片。
当pic_weighted_pred_flag的值为1时,图片中的与图片报头相关联的所有切片都可以具有相同的参考图片列表。否则,当pic_weighted_pred_flag的值为1时,pic_rpl_present_flag的值可以为1。
在没有上述条件的情况下,可以用信号通知pic_weighted_pred_flag,如下表9所示。
[表9]
Figure BDA0003834127950000312
切片报头可以包括下面表10所示的语法元素。
[表10]
Figure BDA0003834127950000321
预测加权表语法可以包括下面表11所示的语法元素,并且语法元素的语义可以如下表12所示。
[表11]
Figure BDA0003834127950000331
[表12]
Figure BDA0003834127950000332
参考表11和表12,num_10_weighted_ref_pics可以指示参考图片列表0中的加权参考图片的数量。num_10_weighted_ref_pics的值被包括在从0到MaxDecPicBuffMinus1+14的范围内。
num_11_weighted_ref_pics可以指示参考图片列表1中的加权参考图片的数量。num_11_weighted_ref_pics的值被包括在从0到MaxDecPicBuffMinus1+14的范围内。
luma_weight_10_flag[i]等于1的值指示存在使用RefPicList[0][i]的列表0(L0)预测的亮度分量的加权因子。
chroma_weight_10_flag[i]等于1的值指示存在使用RefPicList[0][i]的L0预测的色度预测值的加权因子。chroma_weight_10_flag[i]等于0的值指示这些加权因子不存在。
luma_weight_11_flag[i]等于1的值指示存在使用RefPicList[0][i]的列表1(L1)预测的亮度分量的加权因子。
chroma_weight_11_flag[i]指示存在使用RefPicList[0][i]的L1预测的色度预测值的加权因子。chroma_weight_10_flag[i]等于0的值指示这些加权因子不存在。
例如,当将加权预测应用于当前块时,编码设备可以基于加权预测生成关于当前块的参考图片列表中的加权参考图片的数量信息。数量信息可以指关于针对L0参考图片列表和/或L1参考图片列表中的项(参考图片)用信号通知的权重的数量信息。也就是说,数量信息的值可以等于参考图片列表(L0和/或L1)中加权参考图片的数量。因此,当数量信息的值为n时,预测加权表语法可以包括参考图片列表的n个加权因子相关标志。加权因子相关标志可以对应于表11的luma_weight_l0_flag、luma_weight_l1_flag、chroma_weight_l0_flag和/或chroma_weight_l0_flag。可以基于加权因子相关标志推导当前图片的权重。
当加权双预测应用于当前块时,预测加权表语法可以独立包括关于L1参考图片列表中加权参考图片的数量信息以及关于L0参考图片列表中加权参考图片的数量信息,如表11所示。可以针对关于L1参考图片列表中的加权参考图片的数量信息以及关于L0参考图片列表中的加权参考图片的数量信息中的每一个独立地包括加权因子相关标志。也就是说,预测加权表语法可以包括与L0参考图片列表中的加权参考图片的数量相同数量的luma_weight_l0_flag和/或chroma_weight_l0_flag,并且可以包括与L1参考图片列表中的加权参考图片的数量相同数量的luma_weight_l1_flag和/或chroma_weight_l1_flag。
编码设备可以对包括数量信息和加权因子相关标志的图像信息进行编码,并且可以以比特流的形式输出编码的图像信息。这里,如表11所示的图像信息中的预测加权表语法中可以包括数量信息和加权因子相关标志。预测加权表语法可以被包括在图像信息中的图片报头中或图像信息的切片报头中。为了指示预测加权表语法是否被包括在图片报头中,也就是说,为了指示关于加权预测的信息是否存在于图片报头中,加权预测相关标志可以被包括在图片参数集和/或图片报头中。当加权预测相关标志被包括在图片参数集中时,加权预测相关标志可以对应于表5的pps_weighted_pred_flag。当加权预测相关标志被包括在图片报头中时,加权预测相关标志可以对应于表7的pic_weighted_pred_flag。另选地,pps_weighted_pred_flag和pic_weighted_pred_flag可以被包括在图像信息中,以指示预测加权表语法是否被包括在图片报头中。
当从比特流解析加权预测相关标志时,解码设备可以基于解析的标志从比特斯流解析预测加权表语法。可以从图片参数集和/或比特流的图片报头解析加权预测相关标志。换句话说,加权预测相关标志可以包括pps_weighted_pred_flag和/或pic_weighted_pred_flag。当pps_weighted_pred_flag和/或pic_weighted_pred_flag的值是1时,解码设备可以从比特流的图片报头解析预测加权表语法。
当预测加权表语法从图片报头解析时(当pps_weighted_pred_flag和/或pic_weighted_pred_flag的值是1)时,解码设备可以将被包括在预测加权表语法中的关于加权预测的信息应用于当前图片中的所有切片。换句话说,当预测加权表语法从图片报头解析时,图片中的与图片报头相关联的所有切片都可以具有相同的参考图片列表。
解码设备可以基于预测加权表语法解析关于当前块的参考图片列表中的加权参考图片的数量信息。数量信息的值可以等于参考图片列表中的加权参考图片的数量。当加权双预测应用于当前块时,解码设备可以从预测加权表语法独立地解析关于L1参考图片列表中的加权参考图片的数量信息以及L0参考图片列表中的加权参考图片的数量信息。
解码设备可以基于数量信息从预测加权表语法解析参考图片列表的加权因子相关标志。加权因子相关标志可以对应于表11的luma_weight_l0_flag、luma_weight_l1_flag、chroma_weight_l0_flag和/或chroma_weight_l0_flag。例如,当数量信息的值为n时,解码设备可以从预测加权表语法解析n个加权因子相关标志。解码设备可以基于加权因子相关标志推导当前块的参考图片的权重,并且可以基于权重对当前块执行加权预测,从而生成或推导预测样本。随后,解码设备可以基于预测样本生成或推导当前块的重构样本,并且可以基于重构样本重构当前图片。
在另一实施方式中,对于帧间预测中的加权预测,图片报头可以包括下面表13所示的语法元素,并且语法元素的语义可以如下表14所示。
[表13]
Figure BDA0003834127950000361
[表14]
Figure BDA0003834127950000371
参考表13和表14,pic_weighted_pred_flag等于0的值可以指示加权预测未应用于参考图片报头的P或B切片。pic_weighted_pred_flag等于1的值可以指示加权预测应用于参考图片报头的P或B切片。当sps_weighted_pred_flag的值为0时,pic_weighted_pred_flag的值为0。
切片报头可以包括下面表15所示的语法元素。
[表15]
Figure BDA0003834127950000372
Figure BDA0003834127950000381
参考表15,加权预测相关标志(pic_weighted_pred_flag)可以指示图片报头还是切片报头中存在预测加权表语法(关于加权预测的信息)。pic_weighted_pred_flag等于1的值可以指示预测加权表语法(关于加权预测的信息)可能存在于图片报头中,而不是切片报头中。pic_weighted_pred_flag等于0的值可以指示预测加权表语法(关于加权预测的信息)可能存在于切片报头中,而不是图片报头中。尽管表13和表14表明在图片报头中用信号通知了加权预测相关标志,但也可以在图片参数集中用信号通知加权预测相关标志。
例如,当将加权预测应用于当前块时,编码设备执行加权预测,并且可以基于加权预测对包括加权预测相关标志和预测加权表语法的图像信息进行编码。这里,当预测加权表语法被包括在图像信息的图片报头中时,编码设备可以确定标志的值为1,并且当预测加权表语法被包括在图像信息的切片报头中时,编码设备可以确定标志的值为0。当标志的值为1时,可以将预测加权表语法中包括的关于加权预测的信息应用于当前图片中的所有切片。当标志的值为0时,可以将预测加权表语法中包括的关于加权预测的信息应用于当前图片中的切片当中的与切片报头相关联的切片。因此,当图片报头中包括预测加权表语法时,图片中的与图片报头相关联的所有切片都可以具有相同的参考图片列表,并且当切片报头中包括预测加权表语法时,与切片报头相关联的切片可以具有相同的参考图片列表。
预测加权表语法可以包括关于当前块的参考图片列表中的加权参考图片的数量信息、加权因子相关标志等。如上所述,数量信息可以指关于针对L0参考图片列表和/或L1参考图片列表中的项(参考图片)用信号通知的权重的数量信息,并且数量信息的值可以等于参考图片列表(L0和/或L1)中的加权参考图片的数量。因此,当数量信息的值为n时,预测加权表语法可以包括参考图片列表的n个加权因子相关标志。加权因子相关标志可以对应于表11的luma_weight_l0_flag、luma_weight_l1_flag、chroma_weight_l0_flag和/或chroma_weight_l0_flag。
当加权双预测应用于当前块时,编码设备可以生成预测加权表语法,该预测加权表语法包括关于L1参考图片列表中的加权参考图片的数量信息以及关于L0参考图片中的加权参考图片的数量信息。预测加权表语法针对关于L1参考图片列表中的加权参考图片的数量信息以及关于L0参考图片列表中的加权参考图片的数量信息中的每一者可以独立地包括加权因子相关标志。也就是说,预测加权表语法可以包括与L0参考图片列表中的加权参考图片的数量相同数量的luma_weight_l0_flag和/或chroma_weight_l0_flag,并且可以包括与L1参考图片列表中的加权参考图片的数量相同数量的luma_weight_l1_flag和/或chroma_weight_l1_flag。
当从比特流解析加权预测相关标志时,解码设备可以基于解析的标志从比特斯流解析预测加权表语法。可以从图片参数集和/或比特流的图片报头解析加权预测相关标志。换句话说,加权预测相关标志可以对应于pps_weighted_pred_flag和/或pic_weighted_pred_flag。当加权预测相关标志的值是1时,解码设备可以从比特流的图片报头解析预测加权表语法。当加权预测相关标志的值是0时,解码设备可以从比特流的切片报头解析预测加权表语法。
当预测加权表语法从图片报头解析时,解码设备可以将被包括在预测加权表语法中的关于加权预测的信息应用于当前图片中的所有切片。换句话说,当预测加权表语法从图片报头解析时,图片中的与图片报头相关联的所有切片都可以具有相同的参考图片列表。当预测加权表语法从切片报头解析时,解码设备可以将被包括在预测加权表语法中的关于加权预测的信息应用于当前图片中的切片当中的与切片报头相关联的切片。换句话说,当预测加权表语法从图片报头解析时,与切片报头相关联的切片可以具有相同的参考图片列表。
解码设备可以基于预测加权表语法解析关于当前块的参考图片列表中的加权参考图片的数量信息。数量信息的值可以等于参考图片列表中的加权参考图片的数量。当加权双预测应用于当前块时,解码设备可以从预测加权表语法独立地解析关于L1参考图片列表中的加权参考图片的数量信息以及关于L0参考图片列表中的加权参考图片的数量信息。
解码设备可以基于数量信息从预测加权表语法解析参考图片列表的加权因子相关标志。加权因子相关标志可以对应于上述luma_weight_l0_flag、luma_weight_l1_flag、chroma_weight_l0_flag和/或chroma_weight_l0_flag。例如,当数量信息的值为n时,解码设备可以从预测加权表语法解析n个加权因子相关标志。解码设备可以基于加权因子相关标志推导当前块的参考图片的权重,并且可以基于权重对当前块执行帧间预测,从而生成或推导预测样本。解码设备可以基于预测样本生成或推导当前块的重构样本,并且可以基于重构样本生成当前图片的重构图片。
在又一实施方式中,预测加权表语法可以包括下面表16所示的语法元素,并且语法元素的语义可以如下表17所示。
[表16]
Figure BDA0003834127950000411
[表17]
Figure BDA0003834127950000412
Figure BDA0003834127950000421
在表16和表17中,当pic_poc_delta_sign[i]不存在时,pic_poc_delta_sign[i]被推断为0。可以如下推导DeltaPocWeightedRefPic[i],其中,i被包括在从0到num_weighted_ref_pics_minus1的范围内。
[式1]
DeltaPocWeightedRefPic[i]=pic_poc_abs_delta[i]*(1-2*pic_poc_delta_sign[i])
Chromaweight[i][j]可以推导为(1<<Chromalog2WeightDenom)+delta_chroma_weight[i][j]。当chroma_weight_flag[i]的值为1时,delta_chroma_weight[i][j]的值被包括在从-128至127的范围内。当chroma_weight_flag[i]的值为0时,Chromaweight[i][j]可以推导为2Chromalog2WeightDenom。
可以如下推导ChromaOffset[i][j]。
[式2]
ChromaOffset[i][j]=Clip3(-128,127,(128+delta chroma offset[i][j]-((128*ChromaWeight[i][j])>>ChromaLog2WeightDenom)))
delta_chroma_offset[i][j]的值可以被包括在从-4*128到4*127的范围内。当chroma_weight_flag[i]的值为0时,ChromaOffset[i][j]的值被推断为9。
sumWeightflags可以被推导为luma_weight_flag[i]+2*chroma_weight_flag[i]的总和。i被包括在从0到num_weighted_ref_pics_minus1的范围内。当slice_type为P时,sumWeightL0Flags小于或等于24。
在当前切片为P切片或B切片并且pic_weighted_pred_flag的值为1时,L0ToWeightedRefIdx[i]可以表示加权参考图片列表中的索引与第i参考图片L0之间的映射。i被包括在从0到NumRefIdxActive[0]-1的范围内,并且可以如下推导。
[式3]
Figure BDA0003834127950000431
在当前切片为B切片并且pic_weighted_pred_flag的值为1时,L1ToWeightedRefIdx[i]可以表示加权参考图片列表中的索引与第i活动参考图片L1之间的映射。i被包括在从0到NumRefIdxActive[1]-1的范围内,并且可以如下推导。
[式4]
Figure BDA0003834127950000432
当出现luma_weight_l0_flag[i]时,luma_weight_l0_flag[i]被luma_weight_flag[L0ToWeightedRefIdx[i]]替换,并且当出现luma_weight_l1_flag[i]时,luma_weight_l1_flag[i]被luma_weight_flag[L1ToWeightedRefIdx[i]]替换。
当出现LumaWeightL0[i]时,LumaWeightL0[i]被LumaWeight[L0ToWeightedRefIdx[i]]替换,并且当出现LumaWeightL1[i]时,LumaWeightL1[i]被LumaWeight[L1ToWeightedRefIdx[i]]替换。
当出现luma_offset_l0[i]时,luma_offset_l0[i]被luma_offset[L0ToWeightedRefIdx[i]]替换,并且当出现luma_offset_l1[i]时,luma_offset_l1[i]被luma_offset[L1ToWeightedRefIdx[i]]替换。
当出现ChromaWeightL0[i]时,ChromaWeightL0[i]被ChromaWeight[L0ToWeightedRefIdx[i]]替换,并且当出现ChromaWeightL1[i]时,ChromaWeightL1[i]被ChromaWeight[L1ToWeightedRefIdx[i]]替换。
在又一实施方式中,切片报头语法可以包括下面表18所示的语法元素,并且语法元素的语义可以如下表19所示。
[表18]
Figure BDA0003834127950000441
[表19]
Figure BDA0003834127950000442
参考表18和表19,可以用信号通知指示切片报头中是否存在预测加权表语法的标志。可以在切片报头中用信号通知该标志,并且该标志可以被称为slice_weight_pred_present_flag。
slice_weight_pred_present_flag等于1的值可以指示预测加权表语法存在于切片报头中。slice_weight_pred_present_flag等于0的值可以指示预测加权表语法不存在于切片报头中。也就是说,slice_weight_pred_present_flag等于0可以指示预测加权表语法存在于图片报头中。
在又一实施方式中,从切片报头解析预测加权表语法,但是可以用信号通知包括在下面表20中所示的语法元素的适配参数集。
[表20]
Figure BDA0003834127950000451
各个APS RBSP在被包括以用于在至少一个访问单元中用作参考之前需要可用于解码过程,该访问单元的TemporalId小于或等于编译的切片NAL单元的TemporalId,该编译的切片NAL单元参考APS RBSP或通过外部方法提供的。
aspLayerId可以称为APS NAL单元的nuh_layer_id。当具有等于aspLayerId的nuh_layer_id的层是独立层时(即,当vps_independent_layer_flag[GeneralLayerIdx[aspLayerId]]为1)时,包括APS RBSP在内的APS NAL单元具有与参考APS RBSP的编译切片NAL的nuh_layer_id相同的nuh_layer_id。否则,包括APS RBSP在内的APS NAL单元具有与参考APS RBSP的编译切片NAL单元的nuh_layer_id或者包括参考APS RBSP的编译切片NAL单元的层的直接依赖层的nuh_layer_id相同的nuh_layer_id。
访问单元中的具有adaptation_parameter_set_id的特定值和aps_params_type的特定值的所有APS NAL单元具有相同的内容。
adaptation_parameter_set_id提供APS的标识符,以便其它语法元素可以参考标识符。
当aps_params_type为ALF_APS、SCALING_APS或PRED_WEIGHT_APS时,adaptation_parameter_set_id的值被包括在从0到7的范围内。
当aps_params_type为LMCS_APS时,adaptation_parameter_set_id的值被包括在从0到3的范围内。
aps_params_type指示APS中包括的APS参数的类型,如下表21所示。当aps_params_type的值为1(LMCS_APS)时,adaptation_parameter_set_id的值被包括在从0到3的范围中。
[表21]
aps_params_type aps_params_type的名称 APS参数的类型
0 ALF_APS ALF参数
1 LMCS_APS LMCS参数
2 SCALING_APS 缩放列表参数
3 PRED_WEIGHT_APS 预测加权参数
4..7 保留 保留
每种类型的APS都使用adaptation_parameter_set_id的单独值空间。
APS NAL单元(具有adaptation_parameter_set_id的特定值和aps_params_type的特定值)可以在图片之间共享,并且图片中的不同切片可以参考不同的ALF APS。
aps_extension_flag等于0的值指示aps_extension_data_flag语法元素在APSRBSP语法结构中不存在。aps_extension_flag等于1的值指示aps_extension_data_flag语法元素存在于APS RBSP语法结构中。
aps_extension_data_flag可以具有随机值。
如上所述,可以将新的aps_params_type(PRED_WEIGHT_APS)添加到现有类型中。此外,可以修改切片报头以用信号通知APS ID,而不是pred_weight_table(),如下表22所示。
[表22]
Figure BDA0003834127950000461
在表22中,slice_pred_weight_aps_id指示预测加权表APS的adaptation_parameter_set_id。具有与PERD_WEIGHT_APS相同的aps_params_type和与slice_pred_weight_aps_id相同的adaptation_parameter_set_id的APS NAL单元的TemporalId小于或等于编译切片NAL单元的TemporalId。
当slice_pred_weight_aps_id语法元素存在于切片报头中时,对于图片的所有切片,slice_pred_weight_aps_id的值都是相同的。
在这种情况下,可以用信号通知下面表23中所示的预测加权表语法。
[表23]
Figure BDA0003834127950000471
Figure BDA0003834127950000481
在表23中,num_lists_active_flag等于1的值可以指示预测加权表信息是针对一个参考图片列表用信号通知的。num_lists_active_flag等于0的值可以指示未用信号通知两个参考图片列表L0和L1的预测权重表信息。
numRefIdxActive[i]可以用于指示活动参考索引的数量。numRefIdxActive[i]的值在从0到14的范围内。
表23的语法指示当num_lists_active_flag被解析时,是否在APS中解析了关于一个或两个列表的信息。
代替表23,可以使用下面表24所示的预测加权表语法。
[表24]
Figure BDA0003834127950000491
在表24中,num_lists_active_flag等于1的值可以指示针对一个参考图片列表用信号通知预测加权表信息。num_lists_active_flag等于0的值可以指示未用信号通知针对两个参考图片列表的预测加权表信息。
在又一实施方式中,图片参数集语法可以包括如下表25所示的语法元素,并且语法元素的语义可以如下表26所示。
[表25]
Figure BDA0003834127950000501
[表26]
Figure BDA0003834127950000502
参考表25和表26,图片参数集可以包括关于指示是否将加权预测应用于参考图片参数集的切片的标志的信息和关于指示关于加权预测的信息是存在于图片报头中还是切片报头中的标志的信息。
关于指示加权预测是否应用于参考图片参数集的切片的标志的信息可以包括指示加权预测是否应用于参考图片参数集的P或B切片的pps_weighted_pred_flag语法元素和/或指示是否将加权预测应用于参考图片参数集的B切片的pps_weighted_bipred_flag语法元素。
指示关于加权预测的信息是存在于图片报头还是切片报头中的标志的信息可以包括weighted_pred_table_present_in_ph_flag语法元素,当pps_weighted_pred_flag和/或pps_weighted_bipred_flag语法元素的值为1时,weighted_pred_table_present_in_ph_flag语法元素可以被包括在图片参数集中。当指示关于加权预测的信息是存在于图片报头还是切片报头中的标志的值为1时,包括在预测加权表语法中的关于加权预测的信息可以不存在于参考图片参数集的切片报头中,但可以存在于参考图片参数集的图片报头中。当指示关于加权预测的信息是存在于图片报头还是切片报头中的标志的值为0时,关于加权预测的信息可以不存在于参考图片参数集的图片报头中,但可以存在于参考图片参数集的切片报头中。
在这种情况下,可以分别如下表27和表28所示用信号通知图片报头语法和切片报头语法。
[表27]
Figure BDA0003834127950000511
[表28]
Figure BDA0003834127950000512
Figure BDA0003834127950000521
参考表27,当指示是否将加权预测应用于参考图片参数集的切片的标志(pps_weighted_pred_flag和/或pps_weighted_bipred_flag)的值为1并且指示关于加权预测的信息是存在于图片报头还是切片报头的标志(weighted_pred_table_present_in_ph_flag)的值为1时,图片报头语法可以包括预测加权表语法(pred_weight_table)。
参考表28,当指示是否将加权预测应用于参考图片参数集的切片的标志(pps_weighted_pred_flag和/或pps_weighted_bipred_flag)的值为1并且指示关于加权预测的信息是存在于图片报头还是切片报头的标志(weighted_pred_table_present_in_ph_flag)的值为0时,切片报头语法可以包括预测加权表语法(pred_weight_table)。具体地,当pps_weighted_pred_flag的值为1、切片类型为P切片并且weighted_pred_table_present_in_ph_flag的值为0时,预测加权表语法可以包括在切片报头中。另选地,当pps_weighted_bipred_flag的值为1、切片类型为B切片并且weighted_pred_table_present_in_ph_flag的值为0时,预测加权表语法可以包括在切片报头中。
预测加权表语法可以包括下表29所示的语法元素,并且语法元素的语义可以如下表30所示。
[表29]
Figure BDA0003834127950000531
[表30]
Figure BDA0003834127950000541
参考表29和表30,预测加权表语法可以包括加权预测的数量信息。数量信息可以指示参考图片列表中的加权参考图片的数量。换言之,数量信息的值可以与参考图片列表中的加权参考图片的数量相同。参考图片列表可以包括L0参考图片列表和L1参考图片列表。例如,加权预测的数量信息可以包括L0参考图片列表的第一数量信息(num_10_weighted_ref_pics)和L1参考图片列表的第二数量信息(num_10_weighted_ref_pics)。如表29所示,第一数量信息和第二数量信息可以从预测加权表语法中独立解析。可以基于指示关于加权预测的信息是存在于图片报头中还是切片报头中的标志(例如,weighted_pred_table_present_in_ph_flag语法元素),将加权预测的数量信息包括在预测加权表语法中。例如,当指示关于加权预测的信息是存在于图片报头中还是切片报头中的标志(例如,weighted_pred_table_present_in_ph_flag语法元素)的值为1时,加权预测的数量信息可以包括在预测加权表语法中。当flag的值为0时,第一数量信息可以推断为NumRefIdxActive[0],并且第二数量信息可以推断为NumRefIdxActive[1]。NumRefIdxActive[i]可以指示用于对对应切片进行解码的RPL i的(活动)参考索引的数量。
可以基于第一数量信息来从预测加权表语法解析指示是否存在L0预测的加权因子的语法元素(luma_weight_10_flag)。可以基于第二数量信息来从预测加权表语法解析指示是否存在L1预测的加权因子的语法元素(luma_weight_11_flag)。例如,当第一数量信息的值为n时,可以从预测加权表语法中解析n个luma_weight_10_flag语法元素。同样,当第二数量信息的值为n时,可以从预测加权表语法中解析n个luma_weight_11_flag语法元素。
图7和图8示意性地例示了根据本文档的实施方式的视频/图像编码方法和相关部件的示例。
图7中公开的视频/图像编码方法可以由图2和图7中公开的(视频/图像)编码设备200执行。具体地,例如,图7的S700和S710可以由编码设备200的预测器220执行,并且S720可以由编码设备200的残差处理器230执行。S730可以由编码设备200的熵编码器240执行。图7中公开的视频/图像编码方法可以包括本文档的上述实施方式。
具体地,参考图7和图8,编码设备的预测器220可以基于运动估计推导关于当前图片中当前块的运动信息(S700)。例如,编码设备可以使用原始图片中的原始块在参考图片中的预定搜索范围内以分数像素为单位搜索相对于当前块具有高相关性的相似参考块,并因此可以推导运动信息。根据基于阶段的样本值之间的差,可以推导块的相似性。例如,可以基于当前块(或当前块的模板)与参考块(或参考块的模板)之间的绝对差的总和(SAD)来计算块的相似性。在这种情况下,运动信息可以基于搜索区域中的具有最小SAD的参考块来推导。根据各种方法,基于帧间预测模式,可以将推导的运动信息用信号通知给解码设备。
编码设备的预测器220可以基于关于当前块的运动信息对当前块执行加权(样本)预测,并且可以基于加权预测生成当前块的预测样本(预测块)和预测相关信息(S710)。预测相关信息可以包括预测模式信息(合并模式、跳过模式等)、关于运动信息的信息、关于加权预测的信息等。关于运动信息的信息可以包括候选选择信息(例如,合并索引、mvp标志或mvp索引),这些信息是用于推导运动矢量的信息。此外,关于运动信息的信息可以包括关于上述MVD的信息和/或参考图片索引信息。另外,关于运动信息的信息可以包括指示是应用L0预测、L1预测还是双预测的信息。例如,在当前切片的切片类型为P切片或B切片时,预测器220可以对当前切片中的当前块执行加权预测。加权预测不仅可以在双预测应用于当前块时使用,而且还可以在单预测应用于当前块时使用。
编码设备的残差处理器230可以基于由预测器220生成的预测样本和原始图片(原始块和原始样本)来生成残差样本和残差信息(S720)。这里,残差信息是关于残差样本的信息,并且可以包括关于用于残差样本的(量化)变换系数的信息。
编码设备的加法器(或重构器)可以通过将由残差处理器230生成的残差样本和由预测器220生成的预测样本相加来生成重构样本(重构图片、重构块或重构样本阵列)。
编码设备的熵编码器240可以对包括预测相关信息和关于由预测器220生成的加权预测的信息、由残差处理器230生成的残差信息等的图像信息进行编码(S730)。这里,关于加权预测的信息可以包括与是否将加权预测应用于参考图像信息的图片参数集的切片相关的标志(以下称为“第一标志”)、与关于加权预测的信息是存在于图像信息的图片报头中还是图像信息的切片报头中相关的标志(以下称为“第二标志”)、预测加权表语法等。第一标志可以包括指示加权预测是否应用于参考图片参数集的P或B切片的pps_weighted_pred_flag语法元素和/或指示是否将加权预测应用于参考图片参数集的B切片的pps_weighted_bipred_flag语法元素。第二标志例如可以是weighted_pred_table_present_in_ph_flag,当pps_weighted_pred_flag和/或pps_weighted_bipred_flag语法元素的值为1时,weighted_pred_table_present_in_ph_flag可以包括在图片参数集中。当第二标志的值为1时,包括在预测加权表语法中的关于加权预测的信息可以不存在于参考图片参数集的切片报头中,但可以存在于参考图片参数集的图片报头中。当第二标志的值为0时,关于加权预测的信息可以不存在于参考图片参数集的图片报头中,但可以存在于参考图片参数集的切片报头中。
基于第一标志(pps_weighted_pred_flag和/或pps_weighted_bipred_flag)和第二标志的值,可以将预测加权表语法包括在图像信息的图片报头或切片报头中。例如,当第一标志的值和第二标志的值都为1时,预测加权表语法可以包括在图片报头中。当第一标志的值为1并且第二标志的值为0时,预测加权表语法可以包括在切片报头中。
预测加权表语法可以基于第二标志的值包括加权预测的数量信息。数量信息的值可以与参考图片列表中的加权参考图片的数量相同。这里,参考图片列表可以包括L0参考图片列表和L1参考图片列表。加权预测的数量信息可以包括关于L0参考图片列表的第一数量信息(num_10_weighted_ref_pics)和关于L1参考图片列表的第二数量信息(num_10_weighted_ref_pics)。如表29所示,第一数量信息和第二数量信息可以从预测加权表语法中独立解析。基于第二标志的值是0还是1,加权预测的数量信息可以也可以不包括在预测加权表语法中。例如,当第二标志的值为1时,加权预测的数量信息可以包括在预测加权表语法中。当第二标志的值为0时,第一数量信息可以推断为NumRefIdxActive[0],并且第二数量信息可以推断为NumRefIdxActive[1]。
预测加权表语法可以包括指示L0预测的加权因子是否存在的语法元素(luma_weight_10_flag)和/或指示L1预测的加权因子是否存在的语法元素(luma_weight_11_flag)。luma_weight_10_flag可以基于第一数量信息包括在预测加权表语法中。luma_weight_11_flag可以基于第二数量信息包括在预测加权表语法中。例如,当第一数量信息的值为n时,n个luma_weight_10_flag语法元素可以包括在预测加权表语法中。类似地,当第二数量信息的值为n时,n个luma_weight_11_flag语法元素可以包括在预测加权表语法中。
例如,编码设备的熵编码器240可以基于表5至表23中的至少一个对图像信息进行编码,并且可以以比特流的形式输出编码的图像信息。具体地,当预测加权表语法被包括在图像信息的图片报头中时,编码设备的熵编码器240可以将第一标志(pps_weighted_pred_flag和/或pps_weighted_bipred_flag)的值和第二标志(weighted_pred_table_present_in_ph_flag)的值确定为1。当预测加权表语法被包括在图像信息的切片报头中时,编码设备的熵编码器240可以将第一标志的值确定为1并且可以将第二标志的值确定为0。当预测加权表语法被包括在图片报头中时,图片中与图片报头相关联的所有切片可以具有相同的参考图片列表,并且当预测加权表语法被包括在切片报头中时,与切片报头相关联的切片可以具有相同的参考图片列表。第一标志和第二标志可以被包括在图像信息的图片参数集中并且被发送到解码设备。
编码设备的预测器220可以基于根据运动信息的加权预测,生成关于参考图片列表中加权参考图片的数量信息。在这种情况下,编码设备的熵编码器240可以对包括关于数量的信息的图像信息进行编码。数量信息可以基于标志的值是0还是1被包括或不被包括在图像信息中的预测加权表语法中。数量信息的值可以与参考图片列表中的加权参考图片的数量相同。因此,预测加权表语法可以包括与数量信息的值一样多的加权因子相关标志(luma_weight_l0_flag和/或luma_weight_l1_flag)。例如,当数量信息的值为n时,预测加权表语法可以包括n个加权因子相关标志。针对L0和L1中的每一者,预测加权表语法中可以独立地包括数量信息和/或加权因子相关标志。换句话说,关于L0中的加权参考图片的数量信息以及关于L1中的加权参考图片的数量信息可以在预测加权表语法中独立地用信号通知,而无需彼此依赖(不依赖于各个列表的活动参考图片的数量)。
图9和图10示意性地例示了根据本文档的实施方式的视频/图像解码方法和相关部件的示例。
图9中公开的视频/图像解码方法可以由图3和图10中公开的(视频/图像)解码设备300执行。具体地,例如,图9的S900和S910可以由解码设备的熵解码器310执行。S920可以由解码设备的预测器330执行,并且S930可以由解码设备的残差处理器320执行。S940可以由解码设备的加法器340执行。图9中公开的视频/图像解码方法可以包括本文档的上述实施方式。
参考图9和图10,解码设备的熵解码器310可以从比特流的图片参数集解析与是否将加权预测应用于参考图片参数集的切片相关的第一标志,并且可以基于第一标志从比特流解析与关于加权预测的信息是存在于比特流的图片报头中还是比特流的切片报头中相关的第二标志(S900)。解码设备的熵解码器310可以基于第一标志和第二标志从图片报头或切片报头解析预测加权表语法(S910)。这里,第一标志可以包括指示是否将加权预测应用于参考图片参数集的P或B切片的pps_weighted_pred_flag语法元素和/或指示是否将加权预测应用于参考图片参数集的B切片的pps_weighted_bipred_flag语法元素。当pps_weighted_pred_flag和/或pps_weighted_bipred_flag语法元素的值为1时,可以从图片参数集解析第二标志。
当第二标志的值为1时,包括在预测加权表语法中的关于加权预测的信息可以不存在于参考图片参数集的切片报头中,但可以存在于参考图片参数集的图片报头中。当第二标志的值为0时,关于加权预测的信息可以不存在于参考图片参数集的图片报头中,但可以存在于参考图片参数集的切片报头中。因此,当第一标志的值和第二标志的值为1时,解码设备的熵解码器310可以从比特流的图片报头解析预测加权表语法。当第一标志的值为1并且第二标志的值为0时,解码设备的熵解码器310可以从比特流的切片报头解析预测加权表语法。当从图片报头解析预测加权表语法时,图片中与图片报头相关联的所有切片可以具有相同的参考图片列表,并且当从切片报头解析预测加权表语法时,与切片报头相关联的切片可以具有相同的参考图片列表。
解码设备的熵解码器310可以从预测加权表语法解析加权预测的数量信息。数量信息的值可以与参考图片列表中的加权参考图片的数量相同。解码设备的熵解码器310可以基于数量信息从预测加权表语法解析与数量信息的值一样多的加权因子相关标志(luma_weight_l0_flag和/或luma_weight_l1_flag)。例如,当第二标志的值为1时,解码设备的熵解码器310可以从预测加权表语法解析数量信息。当第二标志的值为0时,第一数量信息可以推断为NumRefIdxActive[0],并且第二数量信息可以推断为NumRefIdxActive[1]。当数量信息的值为n时,可以从预测加权表语法解析n个加权因子相关标志。针对L0和L1中的每一者,预测加权表语法中可以独立地包括数量信息和/或加权因子相关标志。在一个示例中,关于L0中的加权参考图片的数量信息以及关于L1中的加权参考图片的数量信息可以在预测加权表语法中独立地解析,而无需彼此依赖(不依赖于各个列表的活动参考图片的数量)。
解码设备可以基于从比特流中获得的预测相关信息(帧间/帧内预测分类信息、帧内预测模式信息、帧间预测模式信息、关于加权预测的信息等)对当前图片中的当前块执行加权预测,从而重构当前图片。具体地,解码设备的预测器330可以基于预测加权表语法中的语法元素对当前块执行加权预测,从而生成当前块的预测样本(S920)。在一个示例中,解码设备的预测器330可以基于预测加权表语法中的加权预测的数量信息解析加权因子相关标志,并且可以基于加权因子相关推导加权预测的权重。例如,当数量信息的值为n时,解码设备的预测器330可以从预测加权表语法中解析n个加权因子相关标志。解码设备的预测器330可以基于权重对当前块执行加权预测,从而推导当前块的预测样本。
解码设备的残差处理器320可以基于从比特流获得的残差信息来生成残差样本(S930)。解码设备的加法器340可以基于由预测器330生成的预测样本和由残差处理器320生成的残差样本生成重构样本(S940)。解码设备的加法器340可以基于重构样本生成重构图片(重构块)。
随后,如果需要,则可以将环路内滤波过程(诸如,去块滤波、SAO和/或ALF)应用于重构图片,以提高主观/客观图片质量。
尽管已经在上述实施方式中基于在其中按顺序列举步骤或框的流程图描述了方法,但是本文档的步骤不限于特定次序,并且可以相对于上述次序在不同步骤中或按不同次序或同时地执行某个步骤。此外,本领域的普通技术人员应理解,流程图中的步骤不是排他性的,并且在不对本文档的范围施加影响的情况下,可以在其中包括另一步骤或者可以删除流程图中的一个或更多个步骤。
根据本文档的以上提到的方法可以是软件的形式,并且根据本文档的编码设备和/或解码设备可以被包括在用于执行图像处理的装置(例如,TV、计算机、智能电话、机顶盒、显示装置等)中。
当用软件实现本文档的实施方式时,可以用执行以上提到的功能的模块(处理或功能)实现以上提到的方法。模块可以被存储在存储器中并且由处理器执行。存储器可以安装在处理器的内部或外部,并可以经由各种公知装置连接到处理器。处理器可以包括专用集成电路(ASIC)、其它芯片集、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器、存储卡、存储介质和/或其它存储装置。换句话说,根据本文档的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如,相应图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。在这种情况下,关于实现方式的信息(例如,关于指令的信息)或算法可以被存储在数字存储介质中。
另外,应用本文档的实施方式的解码设备和编码设备可以被包括在多媒体广播收发器、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、便携式摄像机、视频点播(VoD)服务提供器、顶置(OTT)视频装置、互联网流传输服务提供器、3D视频装置、虚拟现实(VR)装置、增强现实(AR)装置、图像电话视频装置、车载终端(例如,车(包括自主车辆)载终端、飞机终端或轮船终端)和医疗视频装置中;并且可以被用于处理图像信号或数据。例如,OTT视频装置可以包括游戏控制台、Blueray(蓝光)播放器、联网TV、家庭影院系统、智能手机、平板PC和数字视频记录仪(DVR)。
另外,应用本文档的实施方式的处理方法能够以由计算机执行的程序的形式产生,并可以被存储在计算机可读记录介质中。根据本文档的实施方式的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括存储有计算机可读数据的所有种类的存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质还包括以载波(例如,互联网上的传输)的形式实施的媒体。另外,通过编码方法生成的比特流可以被存储在计算机可读记录介质中,或者可以通过有线或无线通信网络传输。
另外,本文档的实施方式可以基于程序代码被实施为计算机程序产品,并且程序代码可以根据本文献的实施方式在计算机上执行。程序代码可以被存储在计算机可读载体上。
图11表示本文档的实施方式可以被应用于的内容流传输系统的示例。
参考图11,本文档的实施方式被应用于的内容流传输系统可以通常包括编码服务器、流传输服务器、网络服务器(web server)、媒体存储、用户装置和多媒体输入装置。
编码服务器用来将从诸如智能电话、照相机、便携式摄像机等这样的多媒体输入装置输入的内容压缩为数字数据,生成比特流,并且将其传送至流传输服务器。在另一示例中,在诸如智能电话、照相机、便携式摄像机等这样的多媒体输入装置直接生成码流的情况下,可以省略编码服务器。
可以通过本文档的实施方式应用于的编码方法或比特流生成方法来生成比特流。并且流传输服务器可在发送或接收比特流的过程中暂时存储比特流。
流传输服务器基于用户的请求通过网络服务器向用户设备传送多媒体数据,该网络服务器充当向用户通知存在什么服务的工具。当用户请求用户想要的服务时,网络服务器将请求转移至流传输服务器,并且流传输服务器将多媒体数据传送至用户。在这方面,内容流系统可包括单独的控制服务器,并且在这种情况下,控制服务器用来控制内容流系统中的各个设备之间的命令/响应。
流传输服务器可从媒体存储和/或编码服务器接收内容。例如,在从编码服务器接收到内容的情况下,可实时地接收内容。在这种情况下,流传输服务器可将比特流存储预定时间段以流畅地提供流传输服务。
例如,用户设备可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、板式PC、平板PC、超极本、可穿戴装置(例如,手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(HMD))、数字TV、台式计算机、数字标牌等。
可将内容流系统中的每个服务器作为分布式服务器操作,并且在这种情况下,可以分布式方式处理由每个服务器接收的数据。

Claims (15)

1.一种由视频解码设备执行的视频解码方法,所述视频解码方法包括以下步骤:
从比特流解析与是否将加权预测应用于参考所述比特流中的图片参数集的切片相关的第一标志以及与关于所述加权预测的信息是否存在于所述比特流的图片报头中相关的第二标志;
基于所述第一标志和所述第二标志从所述图片报头解析预测加权表语法;
基于所述预测加权表语法中的语法元素生成当前图片中的当前块的预测样本;
基于从所述比特流获得的残差信息生成残差样本;以及
基于所述预测样本和所述残差样本生成重构样本,
其中,所述第二标志是基于所述第一标志从所述图片参数集解析的。
2.根据权利要求1所述的视频解码方法,其中,基于所述第二标志的值为1,关于所述加权预测的所述信息不存在于所述切片报头中,并且基于所述第二标志的所述值为0,关于所述加权预测的所述信息不存在于所述图片报头中。
3.根据权利要求1所述的视频解码方法,其中,所述第一标志包括指示是否将所述加权预测应用于参考所述图片参数集的P切片的第一语法元素或指示是否将所述加权预测应用于参考所述图片参数集的B切片的第二语法元素。
4.根据权利要求3所述的视频解码方法,其中,基于所述第一语法元素或所述第二语法元素的值为1,从所述图片参数集解析所述第二标志。
5.根据权利要求1所述的视频解码方法,其中,基于所述第一标志的值为1并且所述第二标志的值为1,从所述图片报头解析所述预测加权表语法,并且基于所述第一标志的值为1并且所述第二标志的值为0,从所述切片报头解析所述预测加权表语法。
6.根据权利要求1所述的视频解码方法,所述视频解码方法还包括以下步骤:
基于所述第二标志从所述预测加权表语法解析所述加权预测的数量信息,
其中,所述数量信息的值与参考图片列表中的加权参考图片的数量相同。
7.根据权利要求6所述的视频解码方法,其中,所述参考图片列表包括L0参考图片列表和L1参考图片列表,
其中,所述数量信息包括关于所述L0参考图片列表的第一数量信息和关于所述L1参考图片列表的第二数量信息,并且
其中,所述第一数量信息和所述第二数量信息是从所述预测加权表语法独立解析的。
8.根据权利要求7所述的视频解码方法,所述视频解码方法还包括以下步骤:
基于所述第一数量信息从所述预测加权表语法解析指示L0预测的加权因子是否存在的luma_weight_10_flag语法元素;以及
基于所述第二数量信息从所述预测加权表语法解析指示L1预测的加权因子是否存在的luma_weight_11_flag语法元素。
9.根据权利要求8所述的视频解码方法,其中,解析所述luma_weight_10_flag语法元素的步骤包括:基于所述第一数量信息为n,从所述预测加权表语法解析n个luma_weight_10_flag语法元素。
10.一种由视频编码设备执行的视频编码方法,所述视频编码方法包括以下步骤:
推导关于当前块的运动信息;
通过基于所述运动信息执行加权预测来生成所述当前块的预测样本;
基于所述预测样本和原始样本生成残差信息;以及
对包括关于所述加权预测的信息和所述残差信息的图像信息进行编码,
其中,关于所述加权预测的所述信息包括与是否将所述加权预测应用于参考所述图像信息的图片参数集的切片相关的第一标志、与关于所述加权预测的所述信息是否存在于所述图像信息的图片报头中相关的第二标志以及预测加权表语法,
其中,所述第二标志基于所述第一标志被包括在所述图片参数集中,并且
其中,所述预测加权表语法基于所述第一标志和所述第二标志被包括在所述图片报头中。
11.根据权利要求10所述的视频编码方法,其中,基于所述第二标志的值为1,关于所述加权预测的所述信息不存在于所述切片报头中,并且基于所述第二标志的值为0,关于所述加权预测的所述信息不存在于所述图片报头中。
12.根据权利要求10所述的视频编码方法,其中,所述第一标志包括指示是否将所述加权预测应用于参考所述图片参数集的P切片的第一语法元素或指示是否将所述加权预测应用于参考所述图片参数集的B切片的第二语法元素,并且
其中,基于所述第一语法元素或所述第二语法元素的值为1,所述第二标志被包括在所述图片参数集中。
13.根据权利要求10所述的视频编码方法,其中,基于所述第一标志的值为1并且所述第二标志的值为1,所述预测加权表语法被包括在所述图片报头中,基于所述第一标志的值为1并且所述第二标志的值为0,所述预测加权表语法被包括在所述切片报头中。
14.根据权利要求10所述的视频编码方法,其中,所述预测加权表语法基于所述第二标志包括所述加权预测的数量信息,并且
其中,所述数量信息的值与参考图片列表中的加权参考图片的数量相同。
15.一种计算机可读数字存储介质,所述数字存储介质包括使视频解码设备执行视频解码方法的信息,所述视频解码方法包括以下步骤:
从图像信息解析与是否将加权预测应用于参考所述图像信息中的图片参数集的切片相关的第一标志以及与关于所述加权预测的信息是否存在于所述图像信息的图片报头中相关的第二标志;
基于所述第一标志和所述第二标志从所述图片报头解析预测加权表语法;
基于所述预测加权表语法中的语法元素生成当前图片中的当前块的预测样本;
基于从所述图像信息获得的残差信息生成残差样本;以及
基于所述预测样本和所述残差信息生成重构样本,
其中,所述第二标志是基于所述第一标志从所述图片参数集解析的。
CN202180019319.7A 2020-01-13 2021-01-13 用于图像/视频编码的加权预测的方法和装置 Pending CN115280783A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062960653P 2020-01-13 2020-01-13
US62/960,653 2020-01-13
PCT/KR2021/000471 WO2021145673A1 (ko) 2020-01-13 2021-01-13 영상/비디오 코딩을 위한 가중된 예측 방법 및 장치

Publications (1)

Publication Number Publication Date
CN115280783A true CN115280783A (zh) 2022-11-01

Family

ID=76864538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180019319.7A Pending CN115280783A (zh) 2020-01-13 2021-01-13 用于图像/视频编码的加权预测的方法和装置

Country Status (6)

Country Link
US (2) US12022128B2 (zh)
KR (1) KR20220101718A (zh)
CN (1) CN115280783A (zh)
AU (2) AU2021207559B2 (zh)
CA (1) CA3167876A1 (zh)
WO (1) WO2021145673A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4091328A4 (en) 2020-02-19 2023-05-03 ByteDance Inc. REPORTING WEIGHTS OF A LIST OF REFERENCE IMAGES
WO2023219288A1 (ko) * 2022-05-12 2023-11-16 현대자동차주식회사 양방향 예측을 이용하는 크로마 성분의 인터 예측을 위한 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103096047B (zh) * 2011-11-01 2018-06-19 中兴通讯股份有限公司 一种分片层参数集解码及编码方法和装置
US9497473B2 (en) * 2013-10-03 2016-11-15 Qualcomm Incorporated High precision explicit weighted prediction for video coding
CA3048426C (en) * 2016-12-28 2024-01-02 Arris Enterprises Llc Adaptive unequal weight planar prediction
JP2023011955A (ja) * 2019-12-03 2023-01-25 シャープ株式会社 動画像符号化装置、動画像復号装置
JP7448349B2 (ja) * 2019-12-17 2024-03-12 シャープ株式会社 動画像復号装置
MX2022008593A (es) * 2020-01-12 2022-10-20 Huawei Tech Co Ltd Método y aparato para armonizar predicción ponderada con modos de fusión no rectangulares.

Also Published As

Publication number Publication date
US20240305827A1 (en) 2024-09-12
US12022128B2 (en) 2024-06-25
AU2021207559A1 (en) 2022-09-08
CA3167876A1 (en) 2021-07-22
WO2021145673A1 (ko) 2021-07-22
US20230100733A1 (en) 2023-03-30
AU2024210999A1 (en) 2024-09-05
AU2021207559B2 (en) 2024-05-23
KR20220101718A (ko) 2022-07-19

Similar Documents

Publication Publication Date Title
US12015766B2 (en) Prediction weighted table-based image/video coding method and apparatus
US11895314B2 (en) Method and device for coding image/video on basis of prediction weighted table
US12081740B2 (en) Image/video coding method and device based on weighted prediction
US20240305827A1 (en) Method and device for weighted prediction for image/video coding
US20240056566A1 (en) Inter prediction method and apparatus in image/video coding system
CN114762351B (zh) 图像/视频编译方法和装置
US20230344987A1 (en) Image/video encoding/decoding method and apparatus using same
US20230328269A1 (en) Image/video coding method and apparatus based on inter prediction
CN114930856A (zh) 图像/视频编译方法和装置
CN114073078A (zh) 视频/图像编译系统中的语法信令的方法和装置
CN114762349A (zh) 用于图像/视频编译的高级别语法信令方法和装置
CN114762350A (zh) 基于切片类型的图像/视频编译方法和设备
US11677958B2 (en) Image/video coding method and device
CN114902681A (zh) 图像/视频编码/解码系统中与切片相关的信令信息的方法和设备
CN114930855A (zh) 用于图像/视频编译的切片和拼块配置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination