CN112425160A - 用于对视频信号进行编码/解码的方法及其设备 - Google Patents

用于对视频信号进行编码/解码的方法及其设备 Download PDF

Info

Publication number
CN112425160A
CN112425160A CN202080004012.5A CN202080004012A CN112425160A CN 112425160 A CN112425160 A CN 112425160A CN 202080004012 A CN202080004012 A CN 202080004012A CN 112425160 A CN112425160 A CN 112425160A
Authority
CN
China
Prior art keywords
merge
motion information
block
prediction
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080004012.5A
Other languages
English (en)
Other versions
CN112425160B (zh
Inventor
李培根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Xris Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xris Corp filed Critical Xris Corp
Priority to CN202310512325.7A priority Critical patent/CN116366840A/zh
Publication of CN112425160A publication Critical patent/CN112425160A/zh
Application granted granted Critical
Publication of CN112425160B publication Critical patent/CN112425160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

根据本发明的用于对视频进行解码的方法可包括以下步骤:对指示基于合并模式的帧间预测是否被应用于当前块的第一标志进行解析;如果第一标志为真,则对指示常规合并模式或合并偏移编码模式是否被应用于当前块的第二标志进行解析;并且如果第二标志为真,则对指示合并偏移编码模式是否被应用于当前块的第三标志进行解析。

Description

用于对视频信号进行编码/解码的方法及其设备
技术领域
本公开涉及一种视频信号编码/解码方法及其装置。
背景技术
随着显示面板变得更大,需要更高质量的视频服务。高清视频服务的最大问题是数据量大大地增加。为了解决以上问题,正在积极进行提高视频压缩率的研究。作为代表性示例,视频编码联合协作组(JCT-VC)在2009年由国际电信联盟-电信(ITU-T)下的运动画面专家组(MPEG)和视频编码专家组(VCEG)组建。JCT-VC提出高效视频编码(HEVC),一种压缩性能是H.264/AVC的约两倍且在2013年1月25日被批准为标准的视频压缩标准。然而,随着高清视频服务的快速发展,HEVC的性能逐渐显示出它的局限性。
发明内容
技术目的
本公开的目的在于提供一种在对视频信号进行编码/解码时通过使用运动信息表来推导合并候选的方法以及用于执行所述方法的装置。
本公开的目的在于提供一种在对视频信号进行编码/解码时更新运动信息表中的包括在合并处理区域中的块的运动信息的方法以及用于执行所述方法的装置。
本公开的目的在于提供一种在对视频信号进行编码/解码时对基于合并候选推导出的运动矢量进行修正的方法以及用于执行所述方法的装置。
本公开的目的在于提供一种在对视频信号进行编码/解码时有效地确定将被应用于当前块的帧间预测方法的方法以及用于执行所述方法的装置。
可从本公开获得的技术目的不限于上述技术目的,并且本公开所属技术领域的普通技术人员可从以下描述中清楚地理解其他未提及的技术目的。
技术方案
一种根据本公开的视频信号解码方法可包括:对表示基于合并模式的帧间预测是否被应用于当前块的第一标志进行解析,当第一标志为真时对表示常规合并模式或合并偏移编码模式是否被应用于当前块的第二标志进行解析,并且当第二标志为真时对表示合并偏移编码模式是否被应用于当前块的第三标志进行解析。在这种情况下,当第三标志为真时,合并偏移编码模式可被应用于当前块,并且当第三标志为假时,常规合并模式可被应用于当前块。
一种根据本公开的视频信号编码方法可包括:对表示基于合并模式的帧间预测是否被应用于当前块的第一标志进行编码,当第一标志为真时对表示常规合并模式或合并偏移编码模式是否被应用于当前块的第二标志进行编码,并且当第二标志为真时对表示合并偏移编码模式是否被应用于当前块的第三标志进行编码。在这种情况下,当合并偏移编码模式被应用于当前块时,第三标志可被设置为真,并且当常规合并模式被应用于当前块时,第三标志可被设置为假。
根据本公开的视频信号解码/编码方法还可包括:当第二标志为假时,对表示组合预测模式是否被应用于当前块的第四标志进行解析/编码。
在根据本公开的视频信号解码/编码方法中,当第四标志为假时,基于预测单元分区的编码方法可被应用。
在根据本公开的视频信号解码/编码方法中,可从当前块的合并候选列表推导当前块的运动信息,并且当从当前块的邻近块推导出的合并候选的数量等于或小于阈值时,包括在运动信息表中的运动信息候选作为合并候选可被添加到合并候选列表。
在根据本公开的视频信号解码/编码方法中,当当前块被包括在合并处理区域中时,在对包括在合并处理区域中的块进行解码时可不更新运动信息表。
在根据本公开的视频信号解码/编码方法中,当当前块被包括在合并处理区域中时,可基于当前块在合并处理区域中的位置来确定是否在运动信息表中更新当前块的运动信息。
在根据本公开的视频信号解码/编码方法中,当当前块在合并处理区域中的右下方位置时,可确定更新运动信息表中的当前块的运动信息。
应理解,前述概括的特征是本公开的以下详细描述的示例性方面,而不限制本公开的范围。
技术效果
根据本公开,可通过使用运动信息表推导合并候选来提高帧间预测效率。
根据本公开,可通过提供一种更新运动信息表中的包括在合并处理区域中的块的运动信息的方法来提高帧间预测效率。
根据本公开,可通过对基于合并候选推导出的运动矢量进行修正来提高帧间预测效率。
根据本公开,可有效地确定将被应用于当前块的帧间预测方法。
可从本公开获得的效果可不受上述效果的限制,并且本公开所属技术领域的普通技术人员可从以下描述清楚地理解其他未提及的效果。
附图说明
图1是示出根据本公开的实施例的视频编码装置(编码器)的框图的示图。
图2是示出根据本公开的实施例的视频解码装置(解码器)的框图的示图。
图3是示出根据本公开的实施例的基本编码树单元的示图。
图4是示出编码块的各种分区类型的示图。
图5是示出对CTU进行分区的方面的示例的示图。
图6是根据本公开的实施例的帧间预测方法的流程图。
图7是在合并模式下推导当前块运动信息的处理的流程图。
图8是示出用于推导合并候选的候选块的示图。
图9是示出基本样点的位置的示图。
图10是示出用于推导合并候选的候选块的示图。
图11是示出基本样点的位置被改变的示例的示图。
图12是示出基本样点的位置被改变的示例的示图。
图13是用于解释运动信息表的更新方面的示图。
图14是示出运动信息表的更新方面的示图。
图15是示出预先存储的运动信息候选的索引被更新的示例的示图。
图16是示出代表性子块的位置的示图。
图17示出按帧间预测模式生成运动信息表的示例。
图18示出按运动矢量分辨率生成运动信息表的示例。
图19示出应用合并偏移编码方法的块的运动信息被存储在单独的运动信息表中的示例。
图20是示出将包括在长期运动信息表中的运动信息候选添加到合并候选列表的示例的示图。
图21是示出仅针对合并候选中的一部分合并候选执行冗余校验的示例的示图。
图22是示出对特定合并候选的冗余校验被省略的示例的示图。
图23是示出包括在与当前块相同的合并处理区域中的候选块被设置为不可用作合并候选的示例的示图。
图24是示出当当前块被包括在合并处理区域中时推导针对当前块的合并候选的示例的示图。
图25是示出临时运动信息表的示图。
图26是示出使运动信息表和临时运动信息表一致的示例的示图。
图27是示出通过使用对角线将编码块分区为多个预测单元的示例的示图。
图28是示出将编码块分区为两个预测单元的示例的示图。
图29示出将编码块分区为多个不同尺寸的预测块的示例。
图30是示出用于推导分区模式合并候选的邻近块的示图。
图31是用于解释按预测单元确定邻近块的可用性的示例的示图。
图32和图33是示出基于第一预测样点和第二预测样点的加权和运算推导预测样点的示例的示图。
图34是示出根据示出偏移矢量的大小的distance_idx和示出偏移矢量的方向的direction_idx的值的偏移矢量的示图。
图35是示出根据示出偏移矢量的大小的distance_idx和示出偏移矢量的方向的direction_idx的值的偏移矢量的示图。
具体实施方式
在下文中,将参照附图详细描述本公开的实施例。
基于块来执行图像编码和解码。在示例中,对于编码块、变换块或预测块,可执行编码/解码处理,诸如变换、量化、预测、环内滤波、重建等。
在下文中,编码/解码目标块被称为“当前块”。在示例中,当前块可表示根据编码/解码的当前处理的编码块、变换块或预测块。
此外,本说明书中使用的术语“单元”表示用于执行特定编码/解码处理的基本单元,并且“块”可被理解为表示具有预定尺寸的样点阵列。除非另有说明,否则“块”和“单元”可被可互换地使用。在示例中,在稍后描述的示例中,编码块和编码单元可被理解为具有彼此相同的含义。
图1是示出根据本公开的实施例的图像编码设备(编码器)的框图的示图。
参照图1,图像编码设备100可包括画面分区单元110、预测单元120和125、变换单元130、量化单元135、重排单元160、熵编码单元165、反量化单元140、逆变换单元145、滤波器单元150和存储器155。
图1中描述的组件被独立地示出,以便示出图像编码设备中的不同特征功能,并且该图不表示每个组件由单独的硬件或一个软件单元构成。也就是说,每个组件仅是为了便于解释而被列举出的,各个组件中的至少两个组件可构成一个组件,或者一个组件可被划分为可执行其功能的多个组件。甚至对各个组件进行集成的实施例以及对组件进行划分的实施例也被包括在本公开的范围中,除非它们脱离本公开的精神。
此外,一些组件不是执行本公开的必要功能的必需部件,而是仅用于提升性能的可选组件。本公开可利用除了仅用于提升性能的组件之外的用于实现本公开的精神的必要组件来实现,并且仅包括除了仅用于提升性能的可选组件之外的必要组件的结构也被包括在本公开的范围内。
画面分区单元110可将输入画面分区为至少一个处理单元。就此而言,处理单元可以是预测单元(PU)、变换单元(TU)或编码单元(CU)。在画面分区单元110中,可将单个画面分区为多个编码单元、预测单元和变换单元的组合,并且可通过根据预定条件(例如,代价函数)选择编码单元、预测单元和变换单元的组合来对画面进行编码。
例如,可将单个画面分区为多个编码单元。为了将画面分区为编码单元,可使用诸如四叉树结构的递归树结构,并且源自诸如单个图像或最大编码单元的根的编码单元可被分区为其他编码单元,并且可具有与分区出的编码单元一样多的子节点。根据特定限制不再被分区的编码单元成为叶节点。即,当假设仅正方形分区可用于单个编码单元时,单个编码单元可被分区为最多四个其他编码单元。
在下文中,在本公开的实施例中,编码单元可被用作用于编码的单元或可被用作用于解码的单元。
可通过将单个编码单元分区为具有相同尺寸的至少一个正方形或矩形来获得预测单元,或者可以以一个预测单元在形状和/或尺寸上可与另一预测单元不同的方式将单个编码单元分区为预测单元。
在基于正被执行帧内预测的编码块生成预测单元时,当编码单元不是最小编码单元时,可在不执行分区为多个N×N的预测单元的情况下执行帧内预测。
预测单元120和125可包括执行帧间预测的帧间预测单元120以及执行帧内预测的帧内预测单元125。可确定是对预测单元执行帧间预测还是帧内预测,并且可确定根据每种预测方法的详细信息(例如,帧内预测模式、运动矢量、参考画面等)。就此而言,被执行预测的处理单元可与确定了预测方法及其细节的处理单元不同。例如,可基于预测单元来确定预测方法、预测模式等,并且可基于变换单元来执行预测。所生成的预测块与原始块之间的残差值(残差块)可被输入到变换单元130。此外,用于预测的预测模式信息、运动矢量信息等可由熵编码单元165使用残差值来编码,且可被发送到解码器。当使用特定编码模式时,原始块在不通过预测单元120或125生成预测块的情况下被按原样编码并被发送到解码单元。
帧间预测单元120可基于关于当前画面的先前画面和后续画面中的至少一个的信息来对预测单元进行预测,或者在一些情况下,可基于关于当前画面中的一些编码区域的信息来对预测单元进行预测。帧间预测单元120可包括参考画面插值单元、运动预测单元和运动补偿单元。
参考画面插值单元可从存储器155接收参考画面信息,并且从参考画面生成整数像素或更小像素的像素信息。在亮度像素的情况下,可使用具有不同系数的8抽头的基于DCT的插值滤波器,以便生成关于整数像素或针对1/4像素单位的更小像素的像素信息。在色度信号的情况下,可使用具有不同滤波器系数的4抽头的基于DCT的插值滤波器,以便生成关于整数像素或针对1/8像素单位的更小像素的像素信息。
运动预测单元可基于由参考画面插值单元插值的参考画面来执行运动预测。作为用于计算运动矢量的方法,可使用各种方法,诸如基于全搜索的块匹配算法(FBMA)、三步搜索(TSS)算法、新三步搜索(NTS)算法等。基于经过插值的像素,运动矢量可具有以1/2像素或1/4像素为单位的运动矢大小。运动预测单元可通过改变运动预测方法来对当前预测单元进行预测。作为运动预测方法,可使用各种方法,诸如跳过方法、合并方法、高级运动矢量预测(AMVP)方法、帧内块复制方法等。
帧内预测单元125可基于关于当前块周围的参考像素的信息(是当前画面中的像素信息)生成预测单元。当当前预测单元的邻近块是被执行帧间预测的块,并且因此参考像素是被执行帧间预测的像素时,包括在被执行帧间预测的块中的参考像素可被替换为关于被执行帧内预测的邻近块的参考像素的信息。换句话说,当参考像素不可用时,可使用可用参考像素中的至少一个参考像素来替换不可用参考像素信息。
帧内预测中的预测模式可包括根据预测方向使用参考像素信息的方向预测模式以及在执行预测时不使用方向信息的非方向模式。用于对亮度信息进行预测的模式可不同于用于对色度信息进行预测的模式。为了对色度信息进行预测,可使用关于用于对亮度信息进行预测的帧内预测模式的信息或关于预测的亮度信号的信息。
在执行帧内预测时,当预测单元的尺寸与变换单元相同时,可基于位于预测单元的左侧、左上方和上方的像素对预测单元执行帧内预测。然而,在执行帧内预测时,当预测单元的尺寸与变换单元不同时,可通过使用基于变换单元的参考像素来执行帧内预测。此外,使用N×N分区的帧内预测可仅被用于最小编码单元。
在帧内预测方法中,可在根据预测模式将自适应帧内平滑(AIS)滤波器应用于参考像素之后生成预测块。应用于参考像素的AIS滤波器的类型可变化。为了执行帧内预测方法,可从当前预测单元周围存在的预测单元的帧内预测模式对针对当前预测单元的帧内预测模式进行预测。在通过使用从邻近预测单元预测出的模式信息对针对当前预测单元的预测模式进行预测时,当针对当前预测单元的帧内预测模式与邻近预测单元的帧内预测模式相同时,可通过使用预定标志信息来发送指示当前预测单元和邻近预测单元具有相同预测模式的信息。当针对当前预测单元的预测模式与邻近预测单元的预测模式不同时,可执行熵编码以对关于针对当前块的预测模式的信息进行编码。
此外,可生成包括关于残差值的信息的残差块,其中,所述残差值是通过预测单元120或125而被执行预测的预测单元与该预测单元的原始块之间的差值。所生成的残差块可被输入到变换单元130。
变换单元130可通过使用诸如离散余弦变换(DCT)或离散正弦变换(DST)的变换方法来对残差块执行变换,其中,所述残差块包括关于原始块与由预测单元120或125生成的预测单元之间的残差值的信息。就此而言,DCT变换核包括DCT2或DCT8中的至少一个,并且DST变换核包括DST7。可基于关于用于生成残差块的预测单元的帧内预测模式的信息来确定是应用DCT还是DST以便对残差块执行变换。可跳过针对残差块的变换。可对指示是否跳过针对残差块的变换的标志进行编码。对于尺寸小于或等于阈值的残差块、亮度分量的残差块或4:4:4格式下的色度分量的残差块,可允许变换跳过。
量化单元135可对由变换单元130变换到频域的值执行量化。量化系数可根据块或图像的重要性而变化。在量化单元135中计算出的值可被提供给反量化单元140和重排单元160。
重排单元160可对针对量化的残差值的系数值执行重排。
重排单元160可通过系数扫描方法将二维块形式的系数改变为一维矢量形式的系数。例如,重排单元160可通过使用Z字形扫描方法从DC系数扫描到高频域中的系数,以便将系数改变为一维矢量的形式。根据变换单元的尺寸和帧内预测模式,可使用垂直方向扫描或水平方向扫描,而不是Z字形扫描,其中,在垂直方向扫描中在列方向上对二维块形式的系数进行扫描,在水平方向扫描中在行方向上对二维块形式的系数进行扫描。换句话说,可根据变换单元的尺寸和帧内预测模式来确定使用Z字形扫描、垂直方向扫描和水平方向扫描中的哪种扫描方法。
熵编码单元165可基于由重排单元160计算出的值来执行熵编码。熵编码可使用各种编码方法,例如,指数哥伦布编码、上下文自适应可变长度编码(CAVLC)或上下文自适应二进制算术编码(CABAC)。
熵编码单元165可对从重排单元160以及预测单元120和125获得的各种类型的信息(诸如关于残差值系数的信息和关于编码单元的块类型的信息、关于预测模式的信息、关于分区单元的信息、关于预测单元的信息、关于分区单元的信息、关于预测单元的信息和关于发送单元的信息、关于运动矢量的信息、关于参考帧的信息、关于块插值的信息、滤波信息等)进行编码。
熵编码单元165可对从重排单元160输入的编码单元的系数进行熵编码。
反量化单元140可对在量化单元135中量化的值执行反量化,并且逆变换单元145可对在变换单元130中变换的值执行逆变换。由反量化单元140和逆变换单元145生成的残差值可与由包括在预测单元120和125中的运动估计单元、运动补偿单元或帧内预测单元预测出的预测单元相加,以便生成重建块。
滤波器单元150可包括去块滤波器、偏移校正单元和自适应环路滤波器(ALF)中的至少一个。
去块滤波器可去除由于重建画面中的块之间的边界而发生的块失真。为了确定是否执行去块,可基于块中包括的若干行和若干列中所包括的像素来确定是否将去块滤波器应用于当前块。当去块滤波器被应用于块时,根据所需的去块滤波强度应用强滤波器或弱滤波器。此外,在应用去块滤波器时,当执行水平方向滤波和垂直方向滤波时,水平方向滤波和垂直方向滤波可被配置为被并行处理。
偏移校正单元可通过相对于被执行去块的图像的以像素为单位的偏移来校正原始图像。为了对特定画面执行偏移校正,将偏移应用于在将图像的像素分区为预定数量的区域之后确定的区域的方法或者根据每个像素的边缘信息应用偏移的方法可被使用。
可基于通过将经过滤波的重建图像与原始图像进行比较而获得的值来执行自适应环路滤波(ALF)。可将图像中包括的像素分区为预定组,将被应用于所述组中的每个组的滤波器可被确定,并且可对每个组单独执行滤波。可针对亮度信号的每个编码单元(CU)发送关于是否应用ALF的信息,并且将被应用的ALF滤波器的形状和滤波器系数可基于每个块而变化。可选地,可应用具有相同形状(固定的形状)的ALF滤波器,而不管将被应用滤波器的块的特征如何。
在存储器155中,可存储通过滤波器单元150计算出的重建块或画面。当执行帧间预测时,可将所存储的重建块或画面提供给预测单元120或125。
图2是示出根据本公开的实施例的图像解码设备(解码器)的框图的示图。
参照图2,图像解码设备200可包括:熵解码单元210、重排单元215、反量化单元220、逆变换单元225、预测单元230和235、滤波器单元240和存储器245。
当从编码器输入了图像比特流时,可根据图像编码设备的逆处理对输入的比特流进行解码。
熵解码单元210可根据由图像编码器的熵编码单元进行的熵编码的逆处理来执行熵解码。例如,与由图像编码器设备执行的方法相关联,可应用各种方法,诸如指数哥伦布编码、上下文自适应可变长度编码(CAVLC)或上下文自适应二进制算术编码(CABAC)。
熵解码单元210可对关于由编码器执行的帧内预测和帧间预测的信息进行解码。
重排单元215可基于在编码器中使用的重排方法对由熵解码单元210熵解码的比特流执行重排。以一维矢量形式表示的系数可被重建并被重排为二维块形式的系数。重排单元215可通过下述方法来执行重排:接收与在编码器中执行的系数扫描相关的信息并基于在编码器中执行的扫描顺序进行逆扫描。
反量化单元220可基于从编码器接收到的量化参数和经过重排的块的系数值来执行反量化。
逆变换单元225可执行与由图像编码器中的变换单元对量化结果执行的变换(即,DCT或DST)相反的逆变换(即,逆DCT或逆DST)。就此而言,DCT变换核可包括DCT2或DCT8中的至少一个,并且DST变换核可包括DST7。可选地,当在图像编码器中跳过了变换时,也不在逆变换单元225中执行逆变换。可基于由图像编码器确定的发送单元来执行逆变换。图像解码器的逆变换单元225可根据诸如预测方法、当前块的尺寸、预测方向等的多条信息选择性地执行变换方法(例如,DCT或DST)。
预测单元230或235可基于从熵解码单元210接收到的与预测块相关的信息以及从存储器245接收到的关于先前解码的块或画面的信息来生成预测块。
如上所述,作为图像编码器的操作,在执行帧内预测时,当预测单元的尺寸与变换单元相同时,可基于位于预测单元的左侧、左上方和上方的像素对预测单元执行帧内预测。然而,在执行帧内预测时,当预测单元的尺寸与变换单元不同时,可通过使用基于变换单元的参考像素来执行帧内预测。此外,使用N×N分区的帧内预测可仅被用于最小编码单元。
预测单元230和235可包括PU确定模块、帧间预测单元和帧内预测单元。PU确定单元可接收从熵解码单元210输入的各种类型的信息(诸如关于预测单元的信息、关于帧内预测方法的预测模式的信息、关于帧间预测方法的运动预测的信息等),对当前编码单元中的预测单元进行划分,并且确定对预测单元执行帧间预测还是帧内预测。通过使用从图像编码器接收到的在当前预测单元的帧间预测中所需的信息,帧间预测单元230可基于关于包括当前预测单元的当前画面的先前画面和后续画面中的至少一个的信息来对当前预测单元执行帧间预测。可选地,可基于关于包括当前预测单元的当前画面中的一些预重建区域的信息来执行帧间预测。
为了执行帧间预测,可基于编码单元确定将跳过模式、合并模式、AMVP模式或帧内块复制模式中的哪种方法用作针对包括在编码单元中的预测单元的运动预测方法。
帧内预测单元235可基于关于当前画面内的像素的信息来生成预测块。当预测单元是已被执行帧内预测的预测单元时,可基于从图像编码器接收到的关于预测单元的帧内预测模式的信息来执行帧内预测。帧内预测单元235可包括自适应帧内平滑(AIS)滤波器、参考像素插值模块或DC滤波器。AIS滤波器可对当前块的参考像素执行滤波,并且可根据针对当前预测单元的预测模式来确定是否应用滤波器。当对当前块的参考像素执行AIS滤波时,可使用从图像编码器接收到的关于AIS滤波器的信息和预测单元的预测模式。当针对当前块的预测模式是不应用AIS滤波的模式时,可不应用AIS滤波器。
当预测单元的预测模式是基于通过对参考像素进行插值而获得的像素值执行帧内预测的预测模式时,参考像素插值单元可对参考像素进行插值以便生成具有整数或更小的单位的参考像素。当针对当前预测单元的预测模式是在不对参考像素进行插值的情况下生成预测块的预测模式时,可不对参考像素进行插值。当针对当前块的预测模式是DC模式时,DC滤波器可通过滤波来生成预测块。
可将重建块或重建画面提供给滤波器单元240。滤波器单元240可包括去块滤波器、偏移校正模块和ALF。
可从图像编码器接收关于去块滤波器是否已被应用于对应块或对应画面的信息以及关于当去块滤波器被应用时是应用强滤波器还是弱滤波器的信息。图像解码器的去块滤波器可从图像编码器接收关于去块滤波器的信息,并且图像解码器可对对应块执行去块滤波。
偏移校正单元可基于在执行编码时应用于图像的偏移校正的类型、关于偏移值的信息等对重建图像执行偏移校正。
可基于从编码器接收到的关于是否应用ALF的信息、关于ALF系数的信息等将ALF应用于编码单元。以上ALF信息可通过被包括在特定参数集中而被提供。
在存储器245中,可存储重建画面或重建块以便用作参考画面或参考块,并且可将重建画面提供给输出单元。
图3是示出根据本公开的实施例的基本编码树单元的示图。
最大编码块可被定义为编码树块。可将单个画面分区为多个编码树单元(CTU)。CTU可以是最大尺寸的编码单元,并且可被称作最大编码单元(LCU)。图3是示出将单个画面分区为多个CTU的示例的示图。
可在画面级或序列级定义CTU的尺寸。同样,可通过画面参数集或序列参数集用信号发送表示CTU的尺寸的信息。
在示例中,针对序列内的整个画面的CTU的尺寸可被设置为128×128。可选地,可将128×128或256×256中的任意一个确定为画面级的CTU的尺寸。在示例中,CTU可被设置为在第一画面具有128×128的尺寸,并且在第二画面具有256×256的尺寸。
可通过对CTU进行分区来生成编码块。编码块表示用于执行编码/解码的基本单元。在示例中,可针对每个编码块执行预测或变换,或者可针对每个编码块确定预测编码模式。就此而言,预测编码模式表示生成预测图像的方法。在示例中,预测编码模式可包括帧内预测、帧间预测、当前画面参考(CPR)、帧内块复制(IBC)或组合预测。对于编码块,可通过使用帧内预测、帧间预测、当前画面参考或组合预测中的至少一个的预测编码模式来生成编码块的预测块。
可以以比特流用信号发送表示针对当前块的预测编码模式的信息。在示例中,该信息可以是表示预测编码模式是帧内模式还是帧间模式的1比特标志。当针对当前块的预测编码模式被确定为帧间模式时,当前画面参考或组合预测可以是可用的。
当前画面参考将当前画面设置为参考画面,并且从当前画面内的已被编码/解码的区域获得当前块的预测块。就此而言,当前画面表示包括当前块的画面。可以以比特流用信号发送表示当前画面参考是否被应用于当前块的信息。在示例中,该信息可以是1比特标志。当该标志为真时,可将针对当前块的预测编码模式确定为当前画面参考,并且当该标志为假时,可将针对当前块的预测编码模式确定为帧间预测。
可选地,可基于参考画面索引来确定当前块的预测编码模式。在示例中,当参考画面索引指示当前画面时,可将针对当前块的预测编码模式确定为当前画面参考。当参考画面索引指示除了当前画面之外的画面时,可将针对当前块的预测编码模式确定为帧间预测。换句话说,当前画面参考是使用关于当前画面内的已被编码/解码的区域的信息的预测方法,并且帧间预测是使用关于已被编码/解码的另一画面的信息的预测方法。
组合预测表示将帧内预测、帧间预测和当前画面参考中的至少两个进行组合的组合编码模式。在示例中,当组合预测被应用时,可基于帧内预测、帧间预测或当前画面参考中的任意一个来生成第一预测块,并且可基于帧内预测、帧间预测或当前画面参考中的另一个来生成第二预测块。当生成了第一预测块和第二预测块时,可通过计算第一预测块和第二预测块的平均值或加权和来生成最终预测块。可以以比特流用信号发送表示组合预测是否被应用于当前块的信息。该信息可以是1比特标志。
图4是示出编码块的各种分区类型的示图。
可基于四叉树分区、二叉树分区或三叉树分区将编码块分区为多个编码块。可基于四叉树分区、二叉树分区或三叉树分区将分区出的编码块再次分区为多个编码块。
四叉树分区表示将当前块分区为四个块的方法。作为四叉树分区的结果,当前块可被分区为四个正方形分区(参照图4(a)的“SPLIT_QT”)。
二叉树分区表示将当前块分区为两个块的方法。沿着垂直方向(即,使用穿过当前块的垂直线)将当前块分区为两个块的操作可被称为垂直方向二叉树分区,并且沿着水平方向(即,使用穿过当前块的水平线)将当前块分区为两个块的操作可被称为水平方向二叉树分区。作为二叉树分区的结果,当前块可被分区为两个非正方形分区。图4(b)的“SPLIT_BT_VER”是示出垂直方向二叉树分区的结果的示图,并且图4(c)的“SPLIT_BT_HOR”是示出水平方向二叉树分区的结果的示图。
三叉树分区表示将当前块分区为三个块的方法。沿着垂直方向(即,使用穿过当前块的两条垂直线)将当前块分区为三个块的操作可被称为垂直方向三叉树分区,并且沿着水平方向(即,使用穿过当前块的两条水平线)将当前块分区为三个块的操作可被称为水平方向三叉树分区。作为三叉树分区的结果,当前块可被分区为三个非正方形分区。就此而言,位于当前块的中心的分区的宽度/高度可以是其他分区的宽度/高度的两倍。图4(d)的“SPLIT_TT_VER”是示出垂直方向三叉树分区的结果的示图,而图4(e)的“SPLIT_TT_HOR”是示出水平方向三叉树分区的结果的示图。
CTU的分区次数可被定义为分区深度。CTU的最大分区深度可在序列级或画面级被确定。因此,CTU的最大分区深度可基于序列或画面而变化。
可选地,可针对每种分区方法独立地确定最大分区深度。在示例中,允许四叉树分区的最大分区深度可与允许二叉树分区和/或三叉树分区的最大分区深度不同。
编码器可以以比特流用信号发送表示当前块的分区类型和分区深度中的至少一个的信息。解码器可基于通过对比特流进行解析而获得的该信息来确定CTU的分区类型和分区深度。
图5是示出对CTU进行分区的方面的示例的示图。
通过使用四叉树分区、二叉树分区和/或三叉树分区来对编码块进行分区的操作可被称为多树分区。
通过应用多树分区对编码块进行分区而生成的编码块可被称为子编码块。当编码块的分区深度为k时,子编码块的分区深度被设置为k+1。
相反,对于分区深度为k+1的编码块,分区深度为k的编码块可被称为父编码块。
可基于父编码块的分区类型和邻近编码块的分区类型中的至少一个来确定当前编码块的分区类型。就此而言,邻近编码块可以是与当前编码块相邻的块,并且包括上方邻近块、左侧邻近块或与当前编码块的左上角相邻的邻近块中的至少一个。就此而言,所述分区类型可包括是否应用四叉树分区、是否应用二叉树分区、二叉树分区的方向、是否应用三叉树分区或三叉树分区的方向。
为了确定编码块的分区类型,可以以比特流用信号发送表示编码块是否被分区的信息。该信息是1比特标志“split_cu_flag”,并且当该标志为真时,它可表示编码块通过多树分区方法被分区。
当split_cu_flag为真时,可以以比特流用信号发送表示编码块是否通过四叉树分区被分区的信息。该信息是1比特标志split_qt_flag,并且当该标志为真时,编码块可被分区为四个块。
在示例中,在图5中所示的示例中,CTU通过四叉树分区被分区,并且因此生成分区深度为1的四个编码块。此外,示出了再次将四叉树分区应用于通过四叉树分区生成的四个编码块中的第一编码块和第四编码块。结果,可生成分区深度为2的四个编码块。
此外,通过再次将四叉树分区应用于分区深度为2的编码块,可生成分区深度为3的编码块。
当四叉树分区不被应用于编码块时,可根据编码块的尺寸、编码块是否位于画面边界、最大分区深度或邻近块的分区类型中的至少一个来确定是否针对编码块执行二叉树分区或三叉树分区。当确定针对编码块执行二叉树分区或三叉树分区时,可以以比特流用信号发送表示分区方向的信息。该信息可以是1比特标志mtt_split_cu_vertical_flag。可基于该标志确定分区方向是垂直方向还是水平方向。此外,可以以比特流用信号发送表示二叉树分区或三叉树分区中的哪一个被应用于编码块的信息。该信息可以是1比特标志mtt_split_cu_binary_flag。可基于该标志确定是二叉树分区被应用于编码块还是三叉树分区被应用于编码块。
在示例中,在图5中所示的示例中,垂直方向二叉树分区被应用于分区深度为1的编码块,垂直方向三叉树分区被应用于通过分区生成的编码块中的左侧编码块,并且垂直方向二叉树分区被应用于右侧编码块。
帧间预测是一种通过使用关于先前画面的信息对当前块进行预测的预测编码模式。在示例中,先前画面内的与当前块相同位置处的块(在下文中,同位块)可被设置为当前块的预测块。在下文中,基于当前块的同位块生成的预测块可被称为同位预测块。
相反,当存在于先前画面中的对象已移动到当前画面中的另一位置时,可通过使用对象的运动来有效地预测当前块。例如,当通过将先前画面与当前画面进行比较来确定对象的运动方向和尺寸时,可根据对象的运动信息生成当前块的预测块(或预测图像)。在下文中,通过使用运动信息生成的预测块可被称为运动预测块。
可通过从当前块减去预测块来生成残差块。就此而言,在对象移动的情况下,可通过使用运动预测块而不使用同位预测块来减小残差块的能量,因此可提高残差块的压缩性能。
如上,通过使用运动信息生成预测块的操作可被称为运动估计预测。在大多数帧间预测中,可基于运动补偿预测来生成预测块。
运动信息可包括运动矢量、参考画面索引、预测方向和双向加权因子索引中的至少一个。运动矢量表示对象的运动方向和大小。参考画面索引指定参考画面列表中包括的参考画面中的当前块的参考画面。预测方向指示单向L0预测、单向L1预测或双向预测(L0预测和L1预测)中的任意一个。可根据当前块的预测方向使用L0方向运动信息和L1方向运动信息中的至少一个。双向加权因子索引指定应用于L0预测块的加权因子和应用于L1预测块的加权因子。
图6是根据本公开的实施例的帧间预测方法的流程图。
参照图6,帧间预测方法包括:确定针对当前块的帧间预测模式S601,根据所确定的帧间预测模式获得当前块的运动信息S602,并且基于所获得的运动信息执行针对当前块的运动补偿预测S603。
就此而言,帧间预测模式可表示用于确定当前块的运动信息的各种方法,并且包括使用平移运动信息的帧间预测模式、使用仿射运动信息的帧间预测模式。在示例中,使用平移运动信息的帧间预测模式可包括合并模式和运动矢量预测模式,并且使用仿射运动信息的帧间预测模式可包括仿射合并模式和仿射运动矢量预测模式。可基于与当前块邻近的邻近块或通过对比特流进行解析而获得的信息来确定关于当前块的运动信息。
可从另一块的运动信息推导当前块的运动信息。就此而言,另一块可以是在当前块之前通过帧间预测被编码/解码的块。将当前块的运动信息设置为与另一块的运动信息相同的操作可被定义为合并模式。此外,将另一块的运动矢量设置为当前块的运动矢量的预测值的操作可被定义为运动矢量预测模式。
图7是在合并模式下推导当前块的运动信息的处理的流程图。
可推导当前块的合并候选S701。可从在当前块之前通过帧间预测被编码/解码的块推导当前块的合并候选。
图8是示出用于推导合并候选的候选块的示图。
候选块可包括邻近块或非邻近块中的至少一个,其中,所述邻近块包括与当前块相邻的样点,所述非邻近块包括与当前块不相邻的样点。在下文中,确定候选块的样点被定义为基本样点。此外,与当前块相邻的基本样点被称作邻近基本样点,并且与当前块不相邻的基本样点被称作非邻近基本样点。
邻近基本样点可被包括在当前块的最左侧列的邻近列或当前块的最上方行的邻近行中。在示例中,当当前块的左上样点的坐标为(0,0)时,包括位置(-1,H-1)、(W-1,-1)、(W,-1)、(-1,H)或(-1,-1)处的基本样点的块中的至少一个可被用作候选块。参照示图,索引0至4的邻近块可被用作候选块。
非邻近基本样点表示距与当前块相邻的基本样点的x轴距离或y轴距离中的至少一个具有预定义值的样点。在示例中,包括距左基本样点的x轴距离是预定义值的基本样点的块、包括距上基本样点的y轴距离是预定义值的非邻近样点的块或者包括距左上基本样点的x轴距离和y轴距离是预定义值的非邻近样点的块中的至少一个块可被用作候选块。预定义值可以是诸如4、8、12、16等的自然数。参照附图,索引5至26的块中的至少一个块可被用作候选块。
可将不位于与邻近基本样点相同的垂直线、水平线或对角线上的样点设定为非邻近基本样点。
图9是示出基本样点的位置的示图。
如在图9中所示的示例中,上非邻近基本样点的x坐标可被设置为不同于上邻近基本样点的x坐标。在示例中,当上邻近基本样点的位置为(W-1,-1)时,可将在y轴上与上邻近基本样点间隔N的上非邻近基本样点的位置设置为((W/2)-1,-1-N),并且可将在y轴上与上邻近基本样点间隔2N的上非邻近基本样点的位置设置为(0,-1-2N)。换句话说,可基于相邻基本样点的位置和与相邻基本样点的距离来确定非相邻基本样点的位置。
在下文中,候选块中的包括邻近基本样点的候选块被称为邻近块,并且包括非邻近基本样点的候选块被称为非邻近块。
当当前块与候选块之间的距离等于或大于阈值时,可将候选块设置为不可用作合并候选。可基于编码树单元的尺寸来确定所述阈值。在示例中,阈值可被设置为编码树单元的高度(ctu_height)或者将偏移与编码树单元的高度相加或从编码树单元的高度减去偏移的值(ctu_height±N)。当偏移N是编码装置和解码装置中的预定义值时,它可被设置为4、8、16、32或ctu_height。
当当前块的y轴坐标与包括在候选块中的样点的y轴坐标之间的差大于阈值时,可确定候选块不可用作合并候选。
可选地,可将不属于与当前块相同的编码树单元的候选块设置为不可用作合并候选。在示例中,当基本样点在当前块所属的编码树单元的上边界之外时,包括该基本样点的候选块可被设置为不可用作合并候选。
当当前块的上边界邻接编码树单元的上边界时,可确定多个候选块不可用作合并候选,因此当前块的编码/解码效率可能被降低。为了解决这样的问题,可设置位于当前块的左侧的候选块的数量大于位于当前块的上方的候选块的数量。
图10是示出用于推导合并候选的候选块的示图。
如在图10中所示的示例中,属于当前块的上方处的N个块行的上方块以及属于当前块的左侧处的M个块列的左侧块可被设置为候选块。在这种情况下,可通过将N设置为大于M来将左侧候选块的数量设置为大于上方候选块的数量。
在示例中,当前块中的基本样点的y轴坐标与可被用作候选块的上方块的y轴坐标之间的差可被设置为不超过当前块的高度的N倍。此外,当前块中的基本样点的x轴坐标与可被用作候选块的左侧块的x轴坐标之间的差可被设置为不超过当前块的宽度的M倍。
在示例中,图10中所示的示例示出了属于当前块的上方处的两个块行的块以及属于当前块的左侧处的五个左侧块列的块被设置为候选块。
在另一示例中,当候选块不属于与当前块相同的编码树单元时,可通过使用属于与当前块相同的编码树单元的块或包括与该编码树单元的边界相邻的基本样点的块而非所述候选块来推导合并候选。
图11是示出改变基本样点的位置的示例的示图。
当基本样点被包括在与当前块不同的编码树单元中并且基本样点不与该编码树单元的边界相邻时,可通过使用与该编码树单元的边界相邻的基本样点而非所述基本样点来确定候选块。
在示例中,在图11(a)和(b)中所示的示例中,当当前块的上边界邻接编码树单元的上边界时,当前块的上方处的基本样点属于与当前块不同的编码树单元。可用与编码树单元的上边界相邻的样点来替换属于与当前块不同的编码树单元的基本样点中的与编码树单元的上边界不相邻的基本样点。
在示例中,如图11(a)中所示的示例中,可用编码树单元的上边界上的位置6’处的样点来替换位置6处的基本样点,并且如图11(b)中所示的示例中,可用编码树单元的上边界上的位置15’处的样点来替换位置15处的基本样点。在这种情况下,经过替换的样点的y坐标被推导为改变为编码树单元的相邻位置,并且经过替换的样点的x坐标可被设置为与基本样点相同。在示例中,位置6’处的样点可与位置6处的样点具有相同的x坐标,并且位置15’处的样点可与位置15处的样点具有相同的x坐标。
可选地,可通过将偏移与基本样点的x坐标相加或从基本样点的x坐标减去偏移来设置经过替换的样点的x坐标。在示例中,当邻近基本样点和位于当前块的上方的非邻近块的x坐标相同时,可通过将偏移与基本样点的x坐标相加或从基本样点的x坐标减去偏移来设置经过替换的样点的x坐标。这是为了防止替换非邻近基本样点的经过替换的样点与另一非邻近基本样点或邻近基本样点处于相同位置。
图12是示出改变基本样点的位置的示例的示图。
当用位于编码树单元的边界上的样点来替换包括在与当前块不同的编码树单元中且不与编码树单元的边界相邻的基本样点时,将偏移与基本样点的x坐标相加或从基本样点的x坐标减去偏移的值可被设置为经过替换的样点的x坐标。
在示例中,在图12中所示的示例中,位置6处的基本样点和位置15处的基本样点可分别被位置6’处的样点和位置15’处的样点替换,其中,位置6’处的样点和位置15’处的样点的y坐标与相邻于编码树单元的上边界的行相同。在这种情况下,可将位置6’处的样点的x坐标设置为从位置6处的基本样点的x坐标减去W/2的值,并且可将位置15’处的样点的x坐标设置为从位置15处的基本样点的x坐标减去W-1的值。
与图11和图12中所示的示例不同,位于当前块的最上方行的上方的行的y坐标或编码树单元的上边界上的y坐标可被设置为经过替换的样点的y坐标。
未示出,但替换基本样点的样点可基于编码树单元的左边界来确定。在示例中,当基本样点不被包括在与当前块相同的编码树单元中并且与编码树单元的左边界不相邻时,可用与编码树单元的左边界相邻的样点来替换该基本样点。在这种情况下,经过替换的样点可与基本样点具有相同的y坐标,或可具有通过将偏移与基本样点的y坐标相加或从基本样点的y坐标减去偏移而获得的y坐标。
此后,可将包括经过替换的样点的块设置为候选块,并且可基于该候选块推导当前块的合并候选。
可从不同于当前块的画面中包括的时间邻近块推导合并候选。在示例中,可从同位画面中包括的同位块推导合并候选。参考画面列表中包括的参考画面中的任意一个可被设置为同位画面。可以以比特流用信号发送标识参考画面中的同位画面的索引信息。可选地,可将参考画面中的具有预定义索引的参考画面确定为同位画面。
合并候选的运动信息可被设置为与候选块的运动信息相同。在示例中,候选块的运动矢量、参考画面索引、预测方向或双向权重索引中的至少一个可被设置为合并候选的运动信息。
可生成包括合并候选的合并候选列表S702。
可根据预定顺序分配合并候选列表中的合并候选的索引。在示例中,可按照从左侧邻近块推导出的合并候选、从上方邻近块推导出的合并候选、从右上方邻近块推导出的合并候选、从左下方邻近块推导出的合并候选、从左上方邻近块推导出的合并候选和从时间邻近块推导出的合并候选的顺序分配索引。
当多个合并候选被包括在合并候选中时,可选择所述多个合并候选中的至少一个合并候选S703。具体地,可以以比特流用信号发送用于指定所述多个合并候选中的任意一个合并候选的信息。在示例中,可以以比特流用信号发送表示合并候选列表中包括的合并候选中的任意一个合并候选的索引的信息merge_idx。
当包括在合并候选列表中的合并候选的数量小于阈值时,包括在运动信息表中的运动信息候选可作为合并候选被添加到合并候选列表。就此而言,所述阈值可以是可被包括在合并候选列表中的合并候选的最大数量或者从所述合并候选的最大数量减去偏移的值。偏移可以是诸如1或2等的自然数。
运动信息表包括从当前画面中的基于帧间预测被编码/解码的块推导出的运动信息候选。在示例中,包括在运动信息表中的运动信息候选的运动信息可被设置为与基于帧间预测被编码/解码的块的运动信息相同。就此而言,运动信息可包括运动矢量、参考画面索引、预测方向或双向权重索引中的至少一个。
包括在运动信息表中的运动信息候选也可被称作帧间区域合并候选或预测区域合并候选。
可在编码器和解码器中预定义可被包括在运动信息表中的运动信息候选的最大数量。在示例中,可被包括在运动信息表中的运动信息候选的最大数量可以是1、2、3、4、5、6、7、8或更大(例如,16)。
可选地,可以以比特流用信号发送表示可被包括在运动信息表中的运动信息候选的最大数量的信息。可以以序列级、画面级或条带级用信号发送所述信息。所述信息可表示可被包括在运动信息表中的运动信息候选的最大数量。可选地,所述信息可表示可被包括在运动信息表中的运动信息候选的最大数量与可被包括在合并候选列表中的合并候选的最大数量之间的差。
可选地,可根据画面尺寸、条带尺寸或编码树单元尺寸来确定可被包括在运动信息表中的运动信息候选的最大数量。
运动信息表可以以画面、条带、并行块(tile)、分块(brick)、编码树单元或编码树单元线(行或列)为单位被初始化。在示例中,当条带被初始化时,运动信息表也被初始化,因此运动信息表可不包括任何运动信息候选。
可选地,可以以比特流用信号发送表示运动信息表是否将被初始化的信息。可在条带级、并行块级、分块级或块级用信号发送所述信息。可使用预配置的运动信息表,直到所述信息指示运动信息表的初始化为止。
可选地,关于初始运动信息候选的信息可在画面参数集或条带头中被用信号发送。尽管条带被初始化,但是运动信息表可包括初始运动信息候选。因此,可针对作为条带中的第一编码/解码目标的块使用初始运动信息候选。
可选地,可将包括在先前编码树单元的运动信息表中的运动信息候选设置为初始运动信息候选。在示例中,可将先前编码树单元的运动信息表中包括的运动信息候选中的具有最小索引或具有最大索引的运动信息候选设置为初始运动信息候选。
按照编码/解码顺序对块进行编码/解码,并且可按照编码/解码顺序将基于帧间预测被编码/解码的块顺序地设置为运动信息候选。
图13是用于解释运动信息表的更新方面的示图。
对于当前块,当执行帧间预测S1301时,可基于当前块推导运动信息候选S1302。运动信息候选的运动信息可被设置为与当前块的运动信息相同。
当运动信息表为空时S1303,可将基于当前块推导出的运动信息候选添加到运动信息表S1304。
当运动信息表已包括运动信息候选S1303时,可执行针对当前块的运动信息(或基于当前块推导出的运动信息候选)的冗余校验S1305。冗余校验在于确定运动信息表中的预存储的运动信息候选的运动信息是否与当前块的运动信息相同。可针对运动信息表中的所有预存储的运动信息候选执行冗余校验。可选地,可针对运动信息表中的预存储的运动信息候选中的索引超过或低于阈值的运动信息候选执行冗余校验。可选地,可针对预定义数量的运动信息候选执行冗余校验。在示例中,可将具有最小索引或具有最大索引的2个运动信息候选确定为用于冗余校验的目标。
当不包括与当前块具有相同运动信息的运动信息候选时,可将基于当前块推导出的运动信息候选添加到运动信息表S1308。可基于运动信息候选的运动信息(例如,运动矢量/参考画面索引等)是否相同来确定运动信息候选是否相同。
就此而言,当最大数量的运动信息候选已被存储在运动信息表中时S1306,可删除最老的运动信息候选S1307,并且可将基于当前块推导出的运动信息候选添加到运动信息表S1308。就此而言,最老的运动信息候选可以是具有最大索引或最小索引的运动信息候选。
运动信息候选可由相应索引标识。当将从当前块推导出的运动信息候选添加到运动信息表时,可将最小索引(例如,0)分配给该运动信息候选,并且预存储的运动信息候选的索引可增加1。就此而言,当最大数量的运动信息候选已被存储在运动信息表中时,去除具有最大索引的运动信息候选。
可选地,当将从当前块推导出的运动信息候选添加到运动信息表时,可将最大索引分配给该运动信息候选。在示例中,当运动信息表中的预存储的运动信息候选的数量小于最大值时,可将与预存储的运动信息候选的数量具有相同的值的索引分配给该运动信息候选。可选地,当运动信息表中的预存储的运动信息候选的数量等于最大值时,可将从最大值减去1得到的索引分配给该运动信息候选。可选地,去除具有最小索引的运动信息候选,并且将其余的预存储的运动信息候选的索引减小1。
图14是示出运动信息表的更新方面的示图。
假设当将从当前块推导出的运动信息候选添加到运动信息表时,将最大索引分配给该运动信息候选。此外,假设最大数量的运动信息候选已被存储在运动信息表中。
当将从当前块推导出的运动信息候选HmvpCand[n+1]添加到运动信息表HmvpCandList时,可删除预存储的运动信息候选中的具有最小索引的运动信息候选HmvpCand[0],并且其余的运动信息候选的索引可减小1。此外,可将从当前块推导出的运动信息候选HmvpCand[n+1]的索引设置为最大值(对于图14中所示的示例,n)。
当预存储了与基于当前块推导出的运动信息候选相同的运动信息候选时S1305,可不将基于当前块推导出的运动信息候选添加到运动信息表S1309。
可选地,在将基于当前块推导出的运动信息候选添加到运动信息表时,可去除与该运动信息候选相同的预存储的运动信息候选。在这种情况下,产生与预存储的运动信息候选的索引被重新更新时相同的效果。
图15是示出更新预存储的运动信息候选的索引的示例的示图。
当与从当前块推导出的运动信息候选mvCand相同的预存储的运动信息候选的索引为hIdx时,可去除预存储的运动信息候选,并且索引大于hIdx的运动信息候选的索引可减小1。在示例中,图15中所示的示例示出了在运动信息表HvmpCandList中删除与mvCand相同的HmvpCand[2],并且从HmvpCand[3]到HmvpCand[n]的索引减小1。
而且,可将基于当前块推导出的运动信息候选mvCand添加到运动信息表的末尾。
可选地,分配给与基于当前块推导出的运动信息候选相同的预存储的运动信息候选的索引可被更新。例如,可将预存储的运动信息候选的索引改变为最小值或最大值。
可将包括在预定区域中的块的运动信息设置为不被添加到运动信息表。在示例中,可不将基于包括在合并处理区域中的块的运动信息推导出的运动信息候选添加到运动信息表。由于针对包括在合并处理区域中的多个块的编码/解码顺序未被定义,因此将所述多个块中的任意一个块的运动信息用于所述多个块中的另一块的帧间预测是不合适的。因此,可不将基于包括在合并处理区域中的块推导出的运动信息候选添加到运动信息表。
可选地,可将小于预设尺寸的块的运动信息设置为不被添加到运动信息表。在示例中,可不将基于宽度或高度小于4或8的编码块的运动信息或者4×4尺寸的编码块的运动信息推导出的运动信息候选添加到运动信息表。
当基于每个子块执行运动补偿预测时,可基于当前块中包括的多个子块中的代表性子块的运动信息来推导运动信息候选。在示例中,当子块合并候选被用于当前块时,可基于子块中的代表性子块的运动信息来推导运动信息候选。
子块的运动矢量可按照以下顺序被推导。首先,可选择当前块的合并候选列表中包括的合并候选中的任意一个,并且可基于所选的合并候选的运动矢量推导初始移位矢量(shVector)。而且,可通过将初始移位矢量与编码块中的每个子块的基本样点(例如,左上样点或中心样点)的位置(xSb,ySb)相加来推导基本样点在位置(xColSb,yColSb)的移位子块。下面的方程式1示出用于推导移位子块的公式。
[方程式1]
(xColSb,yColSb)=(xSb+shVector[0]>>4,ySb+shVector[1]>>4)
然后,与包括(xColSb,yColSb)的子块的中心位置对应的同位块的运动矢量可被设置为包括(xSb,ySb)的子块的运动矢量。
代表性子块可表示包括当前块的左上样点、中心样点、右下样点、右上样点或左下样点的子块。
图16是示出代表性子块的位置的示图。
图16(a)示出位于当前块的左上方的子块被设置为代表性子块的示例,并且图16(b)示出位于当前块的中心的子块被设置为代表性子块的示例。当基于子块执行运动补偿预测时,可基于包括当前块的左上样点或包括当前块的中心样点的子块的运动矢量推导当前块的运动信息候选。
基于当前块的帧间预测模式,可确定当前块是否将被用作运动信息候选。在示例中,基于仿射运动模型被编码/解码的块可被设置为不可用作运动信息候选。因此,尽管通过帧间预测对当前块进行编码/解码,但是当当前块的帧间预测模式是仿射预测模式时,可不基于当前块更新运动信息表。
可选地,可基于当前块的运动矢量分辨率、合并偏移编码方法是否被应用、组合预测是否被应用或者三角形分区是否被应用中的至少一个来确定当前块是否将被用作运动信息候选。在示例中,在当前块的运动信息分辨率等于或大于2整数像素的情况、组合预测被应用于当前块的情况或合并偏移编码方法被应用于当前块的情况中的至少一个情况下,当前块可被设置为不可用作运动信息候选。
可选地,可基于包括在基于仿射运动模型被编码/解码的块中的子块的至少一个子块矢量来推导运动信息候选。在示例中,可通过使用位于当前块的左上方、中心或右上方的子块来推导运动信息候选。可选地,可将多个子块的子块矢量的平均值设置为运动信息候选的运动矢量。
可选地,可基于根据仿射运动模型被编码/解码的块的仿射种子矢量的平均值来推导运动信息候选。在示例中,当前块的第一仿射种子矢量、第二仿射种子矢量或第三仿射种子矢量的至少一个平均值可被设置为运动信息候选的运动矢量。
可选地,可按帧间预测模式配置运动信息表。在示例中,针对通过帧内块复制被编码/解码的块的运动信息表、针对基于平移运动模型被编码/解码的块的运动信息表或者针对基于仿射运动模型被编码/解码的块的运动信息表中的至少一个可被定义。根据当前块的帧间预测模式,可选择多个运动信息表中的任意一个。
图17示出按帧间预测模式生成运动信息表的示例。
当块基于非仿射运动模型被编码/解码时,可将基于该块推导出的运动信息候选mvCand添加到非仿射运动信息表HmvpCandList。另一方面,当块基于仿射运动模型被编码/解码时,可将基于以上模型推导出的运动信息候选mvAfCand添加到仿射运动信息表HmvpCandList。
上述块的仿射种子矢量可被存储在从基于仿射运动模型被编码/解码的块推导出的运动信息候选中。因此,该运动信息候选可被用作用于推导当前块的仿射种子矢量的合并候选。
可选地,可按运动矢量分辨率配置运动信息表。在示例中,用于存储运动矢量分辨率为1/16像素的运动信息的运动信息表、用于存储运动矢量分辨率为1/4像素的运动信息的运动信息表、用于存储运动矢量分辨率为1/2像素的运动信息的运动信息表、用于存储运动矢量分辨率为整数像素的运动信息的运动信息表或者用于存储运动矢量分辨率为4整数像素的运动信息的运动信息表中的至少一个可被定义。
图18示出按运动矢量分辨率生成运动信息表的示例。
当块的运动矢量分辨率具有1/4像素时,块的运动信息mvCand可被存储在四分之一像素运动信息表HmvpQPCandList中。另一方面,当块的运动矢量分辨率具有整数像素时,块的运动信息mvCand可被存储在整数像素运动信息表HmvpIPCandList中。当块的运动矢量分辨率具有4整数像素时,块的运动信息mvCand可被存储在4整数像素运动信息表Hmvp4IPCandList中。
基于当前块的运动矢量分辨率,可通过选择运动信息表来推导当前块的合并候选。在示例中,当当前块的运动矢量分辨率为1/4像素时,可通过使用四分之一像素运动信息表HmvpQPCandList来推导当前块的合并候选。另一方面,当当前块的运动矢量分辨率是整数像素时,可通过使用整数像素运动信息表HmvpIPCandList来推导当前块的合并候选。
可选地,应用合并偏移编码方法的块的运动信息可被存储在单独的运动信息表中。
图19示出应用合并偏移编码方法的块的运动信息被存储在单独的运动信息表中的示例。
当合并偏移矢量编码方法未被应用于块时,块的运动信息mvCand可被存储在运动信息表HmvpCandList中。另一方面,当合并偏移矢量编码方法被应用于块时,块的运动信息mvCand可不被存储在运动信息表HmvpCandList中,并且可被存储在合并偏移运动信息表HmvpMMVDCandList中。
基于合并偏移矢量编码方法是否被应用于当前块,可选择运动信息表。在示例中,当合并偏移编码方法未被应用于当前块时,可通过使用运动信息表HmvpCandList来推导当前块的合并候选。另一方面,当合并偏移编码方法被应用于当前块时,可通过使用合并偏移运动信息表HmvpMMVDCandList来推导当前块的合并候选。
除了所描述的运动信息表之外,还可定义附加运动信息表。除了上述运动信息表(在下文中,被称作第一运动信息表)之外,还可定义长期运动信息表(在下文中,被称作第二运动信息表)。就此而言,长期运动信息表包括长期运动信息候选。
当第一运动信息表和第二运动信息表两者为空时,首先,可将运动信息候选添加到第二运动信息表。在可用于第二运动信息表的运动信息候选的数量达到最大数量之后,可将运动信息候选添加到第一运动信息表。
可选地,可将一个运动信息候选添加到第二运动信息表和第一运动信息表两者。
就此而言,填满的第二运动信息表可不再执行更新。可选地,当经过解码的区域在条带中超过预定比率时,可更新第二运动信息表。可选地,可每N条编码树单元线更新第二运动信息表。
另一方面,每当通过帧间预测生成了编码/解码块时,可更新第一运动信息表。但是,添加到第二运动信息表的运动信息候选可被设置为不被用于更新第一运动信息表。
可以以比特流用信号发送用于选择第一运动信息表或第二运动信息表中的任意一个的信息。当包括在合并候选列表中的合并候选的数量小于阈值时,包括在由所述信息指示的运动信息表中的运动信息候选可作为合并候选被添加到合并候选列表。
可选地,可基于当前块的尺寸、当前块的形状、当前块的帧间预测模式、双向预测是否被应用于当前块、运动矢量是否被修正或者三角形分区是否被应用于当前块来选择运动信息表。
可选地,当即使包括在第一运动信息表中的运动信息候选被添加,包括在合并候选列表中的合并候选的数量也小于最大数量时,还可将包括在第二运动信息表中的运动信息候选添加到合并候选列表。
图20是示出将包括在长期运动信息表中的运动信息候选添加到合并候选列表的示例的示图。
在包括在合并候选列表中的合并候选的数量小于最大数量的情况下,可将包括在第一运动信息表HmvpCandList中的运动信息候选添加到合并候选列表。当即使包括在第一运动信息表中的运动信息候选被添加到合并候选列表,包括在合并候选列表中的合并候选的数量也小于最大数量时,,还可将包括在长期运动信息表HmvpLTCandList中的运动信息候选添加到合并候选列表。
表1示出将包括在长期信息表中的运动信息候选添加到合并候选列表的处理。
【表1】
Figure BDA0002902514150000271
Figure BDA0002902514150000281
运动信息候选可被设置为包括除了运动信息之外的附加信息。在示例中,块的尺寸、形状或分区信息中的至少一个可被另外存储在运动信息候选中。当配置当前块的合并候选列表时,可仅使用运动信息候选中的尺寸、形状或分区信息与当前块相同或相似的运动信息候选,或者可将尺寸、形状或分区信息与当前块相同或相似的运动信息候选预先添加到合并候选列表。可选地,可按块尺寸、形状或分区信息生成运动信息表。可通过使用多个运动信息表中的与当前块的形状、尺寸或分区信息匹配的运动信息表来配置当前块的合并候选列表。
当包括在当前块的合并候选列表中的合并候选的数量小于阈值时,包括在运动信息表中的运动信息候选可作为合并候选被添加到合并候选列表。按照按升序或降序反映运动信息候选的索引的排序顺序执行附加处理。在示例中,首先可将具有最大索引的运动信息候选添加到当前块的合并候选列表。
当包括在运动信息表中的运动信息候选被添加到合并候选列表时,可执行运动信息候选与合并候选列表中的预存储的合并候选之间的冗余校验。作为冗余校验的结果,可不将与预存储的合并候选具有相同的运动信息的运动信息候选添加到合并候选列表。
在示例中,表2示出将运动信息候选添加到合并候选列表的处理。
【表2】
Figure BDA0002902514150000282
可仅针对包括在运动信息表中的运动信息候选中的一部分运动信息候选执行冗余校验。在示例中,可仅针对索引超过或低于阈值的运动信息候选执行冗余校验。可选地,可仅针对具有最大索引或最小索引的N个运动信息候选执行冗余校验。可选地,可仅针对合并候选列表中的预存储的合并候选中的一部分合并候选执行冗余校验。在示例中,可仅针对索引超过或低于阈值的合并候选或从特定位置处的块推导出的合并候选执行冗余校验。就此而言,特定位置可包括当前块的左侧邻近块、上方邻近块、右上方邻近块或左下方邻近块中的至少一个。
图21是示出仅针对一部分合并候选执行冗余校验的示例的示图。
当运动信息候选HmvpCand[j]被添加到合并候选列表时,可针对运动信息候选执行对具有最大索引的2个合并候选mergeCandList[NumMerge-2]和mergeCandList[NumMerge-1]的冗余校验。就此而言,NumMerge可示出可用空间合并候选和时间合并候选的数量。
不同于所示的示例,当运动信息候选HmvpCand[j]被添加到合并候选列表时,可针对运动信息候选执行对具有最小索引的2个合并候选的冗余校验。例如,可检查mergeCandList[0]和mergeCandList[1]是否与HmvpCand[j]相同。
可选地,可仅针对从特定位置推导出的合并候选执行冗余校验。在示例中,可针对从位于当前块的左侧或当前块的上方的邻近块推导出的合并候选中的至少一个执行冗余校验。当在合并候选列表中不存在从特定位置推导出的合并候选时,可在不进行冗余校验的情况下将运动信息候选添加到合并候选列表。
当运动信息候选HmvpCand[j]被添加到合并候选列表时,可针对运动信息候选执行对具有最大索引的2个合并候选mergeCandList[NumMerge-2]和mergeCandList[NumMerge-1]的冗余校验。就此而言,NumMerge可示出可用空间合并候选和时间合并候选的数量。
可仅针对运动信息候选中的一部分运动信息候选执行对合并候选的冗余校验。在示例中,可仅针对运动信息表中包括的运动信息候选中的具有大索引或最小索引的N个运动信息候选执行冗余校验。在示例中,可仅针对具有包括在运动信息表中的运动信息候选的编号和差低于阈值的索引的运动信息候选执行冗余校验。当所述阈值为2时,可仅针对运动信息表中包括的运动信息候选中的具有最大索引值的3个运动信息候选执行冗余校验。对于除了上述3个运动信息候选之外的运动信息候选,可省略冗余校验。当省略冗余校验时,可将运动信息候选添加到合并候选列表,而不管是否存在与合并候选相同的运动信息。
相反,将冗余校验设置为仅针对具有包括在运动信息表中的运动信息候选的编号和差超过所述阈值的索引的运动信息候选来执行。
可在编码器和解码器中重新定义执行冗余校验的运动信息候选的数量。在示例中,所述阈值可以是诸如0、1或2的整数。
可选地,可基于包括在合并候选列表中的合并候选的数量或包括在运动信息表中的运动信息候选的数量中的至少一个来确定所述阈值。
当发现与第一运动信息候选相同的合并候选时,可在针对第二运动信息候选的冗余校验中省略对与第一运动信息候选相同的合并候选的冗余校验。
图22是示出省略对特定合并候选的冗余校验的示例的示图。
当索引为i的运动信息候选HmvpCand[i]被添加到合并候选列表时,执行该运动信息候选与合并候选列表中的预存储的合并候选之间的冗余校验。就此而言,当发现与运动信息候选HmvpCand[i]相同的合并候选mergeCandlist[j]时,可在不将运动信息候选HmvpCand[i]添加到合并候选列表的情况下执行索引为i-1的运动信息候选HmvpCand[i-1]与合并候选之间的冗余校验。就此而言,可省略运动信息候选HmvpCand[i-1]与合并候选mergeCandList[j]之间的冗余校验。
在示例中,在图22中所示的示例中,确定HmvpCand[i]和mergeCandList[2]相同。因此,可在不将HmvpCand[i]添加到合并候选列表的情况下执行针对HmvpCand[i-1]的冗余校验。就此而言,可省略HmvpCand[i-1]与mergeCandList[2]之间的冗余校验。
当包括在当前块的合并候选列表中的合并候选的数量小于阈值时,除了运动信息候选之外,可另外包括成对合并候选或零合并候选中的至少一个。成对合并候选表示具有从对多于2个合并候选的运动矢量求平均而获得的值作为运动矢量的合并候选,并且零合并候选表示运动矢量为0的合并候选。
对于当前块的合并候选列表,可按照以下顺序添加合并候选。
空间合并候选-时间合并候选-运动信息候选-(仿射运动信息候选)-成对合并候选-零合并候选
空间合并候选表示从邻近块或非邻近块中的至少一个推导出的合并候选,并且时间合并候选表示从先前参考画面推导出的合并候选。仿射运动信息候选表示从通过仿射运动模型被编码/解码的块推导出的运动信息候选。
可在运动矢量预测模式下使用运动信息表。在示例中,当包括在当前块的运动矢量预测候选列表中的运动矢量预测候选的数量小于阈值时,包括在运动信息表中的运动信息候选可被设置为针对当前块的运动矢量预测候选。具体地,运动信息候选的运动矢量可被设置为运动矢量预测候选。
如果包括在当前块的运动矢量预测候选列表中的运动矢量预测候选中的任意一个被选择,则可将所选的候选设置为当前块的运动矢量预测因子。然后,在对当前块的运动矢量残差值进行解码之后,可通过将运动矢量预测因子和运动矢量残差值相加来获得当前块的运动矢量。
可按照以下顺序配置当前块的运动矢量预测候选列表。
空间运动矢量预测候选-时间运动矢量预测候选-运动信息候选-(仿射运动信息候选)-零运动矢量预测候选
空间运动矢量预测候选表示从邻近块或非邻近块中的至少一个推导出的运动矢量预测候选,并且时间运动矢量预测候选表示从先前参考画面推导出的运动矢量预测候选。仿射运动信息候选表示从通过仿射运动模型被编码/解码的块推导出的运动信息候选。零运动矢量预测候选表示运动矢量的值为0的候选。
大于编码块的合并处理区域可被定义。合并处理区域中包括的编码块可被并行地处理,而不被顺序地编码/解码。就此而言,不被顺序地编码/解码表示编码/解码的顺序未被定义。因此,可独立地对合并处理区域中包括的块的编码/解码处理进行处理。可选地,包括在合并处理区域中的块可共享合并候选。就此而言,可基于合并处理区域推导合并候选。
根据上述特征,合并处理区域可被称为并行处理区域、共享合并区域(SMR)或合并估计区域(MER)。
可基于编码块推导当前块的合并候选。然而,当当前块被包括在大于当前块的合并处理区域中时,包括在与当前块相同的合并处理区域中的候选块可被设置为不可用作合并候选。
图23是示出包括在与当前块相同的合并处理区域中的候选块被设置为不可用作合并候选的示例的示图。
在图23(a)中所示的示例中,在CU5的解码/解码中,包括与CU5相邻的基本样点的块可被设置为候选块。就此而言,包括在与CU5相同的合并处理区域中的候选块x3和x4可被设置为不可用作CU5的合并候选。但是,未包括在与CU5相同的合并处理区域中的候选块x0、x1和x2可被设置为可用作合并候选。
在图23(b)中所示的示例中,在CU8的解码/解码中,包括与CU8相邻的基本样点的块可被设置为候选块。就此而言,包括在与CU8相同的合并处理区域中的候选块x6、x7和x8可被设置为不可用作合并候选。然而,未包括在与CU8相同的合并处理区域中的候选块x5和x9可被设置为可用作合并候选。
可选地,当当前块被包括在合并处理区域中时,可将与当前块和合并处理区域相邻的邻近块设置为候选块。
图24是示出当当前块被包括在合并处理区域中时推导针对当前块的合并候选的示例的示图。
如在图24(a)所示的示例中,与当前块相邻的邻近块可被设置为用于推导当前块的合并候选的候选块。就此而言,包括在与当前块相同的合并处理区域中的候选块可被设置为不可用作合并候选。在示例中,在推导针对编码块CU3的合并候选时,包括在与编码块CU3相同的合并处理区域中的上方邻近块y3和右上方邻近块y4可被设置为不可用作编码块CU3的合并候选。
通过按照预定义顺序对与当前块相邻的邻近块进行扫描,可推导合并候选。在示例中,所述预定义顺序可以是y1、y3、y4、y0和y2的顺序。
当可从与当前块相邻的邻近块推导的合并候选的数量小于从合并候选的最大数量减去偏移的值或所述最大数量时,可如图24(b)中所示的示例通过使用与合并处理区域相邻的邻近块来推导针对当前块的合并候选。在示例中,与包括编码块CU3的合并处理区域相邻的邻近块可被设置为针对编码块CU3的候选块。就此而言,与合并处理区域相邻的邻近块可包括左侧邻近块x1、上方邻近块x3、左下方邻近块x0、右上方邻近块x4或左上方邻近块x2中的至少一个。
通过按照预定义顺序对与合并处理区域相邻的邻近块进行扫描,可推导合并候选。在示例中,所述预定义顺序可以是x1、x3、x4、x0和x2的顺序。
总之,可通过按照以下扫描顺序对候选块进行扫描来推导针对包括在合并处理区域中的编码块CU3的合并候选。
(y1,y3,y4,y0,y2,x1,x3,x4,x0,x2)
但是,上面示出的候选块的扫描顺序仅示出了本公开的示例,并且可按照与以上示例不同的顺序对候选块进行扫描。可选地,可基于当前块或合并处理区域的尺寸或形状中的至少一个来自适应地确定扫描顺序。
合并处理区域可以是正方形或非正方形的。可以以比特流用信号发送用于确定合并处理区域的信息。该信息可包括表示合并处理区域的形状的信息或表示合并处理区域的尺寸的信息中的至少一个。当合并处理区域是非正方形时,可以以比特流用信号发送表示合并处理区域的尺寸的信息、表示合并处理区域的宽度或高度的信息或者表示合并处理区域的宽高比的信息中的至少一个。
可基于以比特流用信号发送的信息、画面分辨率、条带的尺寸或并行块的尺寸中的至少一个来确定合并处理区域的尺寸。
如果针对包括在合并处理区域中的块执行运动补偿预测,则可将基于被执行运动补偿预测的块的运动信息推导出的运动信息候选添加到运动信息表。
但是,如果从包括在合并处理区域中的块推导出的运动信息候选被添加到运动信息表,则可能发生在对合并处理区域中的编码/解码实际上比该块慢的其它块的编码/解码中使用从该块推导出的运动信息候选的情况。换句话说,虽然应该在合并处理区域中包括的块的编码/解码中排除块之间的依赖性,但是可能发生通过使用合并处理区域中包括的其他块的运动信息来执行运动预测补偿的情况。为了解决这样的问题,虽然完成了对合并处理区域中包括的块的编码/解码,但是可不将完成了编码/解码的块的运动信息添加到运动信息表。
可选地,可通过仅使用合并处理区域中的预定义位置处的块来更新运动信息表。预定义位置可包括合并处理区域中的左上方位置处的块、右上方位置处的块、左下方位置处的块、右下方位置处的块、中心位置处的块、与右边界相邻的块或与下边界相邻的块中的至少一个。在示例中,可在运动信息表中仅更新合并处理区中的与右下角相邻的块的运动信息,并且可不在运动信息表中更新其它块的运动信息。
可选地,在包括在合并处理区域中的全部块被解码之后,可将从块推导出的运动信息候选添加到运动信息表。换句话说,虽然包括在合并处理区域中的块被编码/解码,但可不更新运动信息表。
在示例中,如果针对合并处理区域中包括的块执行运动补偿预测,则可按照预定义顺序将从所述块推导出的运动信息候选添加到运动信息表。就此而言,可按照合并处理区域或编码树单元中的编码块的扫描顺序来确定所述预定义顺序。扫描顺序可以是光栅扫描、水平扫描、垂直扫描或Z字形扫描中的至少一个。可选地,可基于每个块的运动信息或具有相同运动信息的块的数量来确定所述预定义顺序。
可选地,包括单向运动信息的运动信息候选可在包括双向运动信息的运动信息候选之前被添加到运动信息表。相反,包括双向运动信息的运动信息候选可在包括单向运动信息的运动信息候选之前被添加到运动信息表。
可选地,可按照在合并处理区域或编码树单元中高使用频率或低使用频率的顺序将运动信息候选添加到运动信息表。
当当前块被包括在合并处理区域中且包括在当前块的合并候选列表中的合并候选的数量小于最大数量时,可将包括在运动信息表中的运动信息候选添加到合并候选列表。就此而言,可将从包括在与当前块相同的合并处理区域中的块推导出的运动信息候选设置为不被添加到当前块的合并候选列表。
可选地,当当前块被包括在合并处理区域中时,可设置为不使用包括在运动信息表中的运动信息候选。换句话说,虽然包括在当前块的合并候选列表中的合并候选的数量小于最大数量,但是可不将包括在运动信息表中的运动信息候选添加到合并候选列表。
在另一示例中,可配置关于合并处理区域或编码树单元的运动信息表。这个运动信息表起到临时存储合并处理区域中包括的块的运动信息的作用。为了将一般运动信息表与针对合并处理区域或编码树单元的运动信息表区分开,针对合并处理区域或编码树单元的运动信息表被称为临时运动信息表。而且,存储在临时运动信息表中的运动信息候选被称为临时运动信息候选。
图25是示出临时运动信息表的示图。
可配置针对编码树单元或合并处理区域的临时运动信息表。当对包括在编码树单元或合并处理区域中的当前块执行运动补偿预测时,可不将该块的运动信息添加到运动信息表HmvpCandList。作为替代,可将从该块推导出的临时运动信息候选添加到临时运动信息表HmvpMERCandList。换句话说,添加到临时运动信息表的临时运动信息候选可不被添加到运动信息表。因此,运动信息表可不包括基于包括当前块的编码树单元或合并处理区中所包括的块的运动信息推导出的运动信息候选。
可选地,可仅将合并处理区域中包括的块中的一些块的运动信息添加到临时运动信息表。在示例中,仅合并处理区域中的预定义位置处的块可被用于更新运动信息表。预定义位置可包括合并处理区域中的左上方位置处的块、右上方位置处的块、左下方位置处的块、右下方位置处的块、中心位置处的块、与右边界相邻的块或与下边界相邻的块中的至少一个。在示例中,可仅将合并处理区中的与右下角相邻的块的运动信息添加到临时运动信息表,并且可不将其它块的运动信息添加到临时运动信息表。
可被临时运动信息表包括的临时运动信息候选的最大数量可被设置为与运动信息候选的最大数量相同。可选地,可根据编码树单元或合并处理区域的尺寸来确定可被临时运动信息表包括的临时运动信息候选的最大数量。可选地,可将可被包括在临时运动信息表中的临时运动信息候选的最大数量设定为小于可被包括在运动信息表中的运动信息候选的最大数量。
包括在编码树单元或合并处理区域中的当前块可被设置为不使用关于对应的编码树单元或合并处理区域的临时运动信息表。换句话说,当包括在当前块的合并候选列表中的合并候选的数量小于阈值时,可将包括在运动信息表中的运动信息候选添加到合并候选列表,并且可不将包括在临时运动信息表中的临时运动信息候选添加到合并候选列表。因此,包括在与当前块相同的编码树单元或相同的合并处理区域中的其他块的运动信息可不被用于当前块的运动补偿预测。
如果完成了对编码树单元或合并处理区域中包括的全部块的编码/解码,则可使运动信息表和临时运动信息表一致。
图26是示出使运动信息表和临时运动信息表一致的示例的示图。
如果完成了对包括在编码树单元或合并处理区域中的全部块的编码/解码,则如在图26中所示的示例中,可在运动信息表中更新包括在临时运动信息表中的临时运动信息候选。
就此而言,包括在临时运动信息表中的临时运动信息候选可按照插入在临时运动信息表中的顺序(换句话说,按照索引值的升序或降序)被添加到运动信息表。
在另一示例中,包括在临时运动信息表中的临时运动信息候选可按照预定义顺序被添加到运动信息表。就此而言,可按照合并处理区域或编码树单元中的编码块的扫描顺序来确定所述预定义顺序。扫描顺序可以是光栅扫描、水平扫描、垂直扫描或Z字形扫描中的至少一个。可选地,可基于每个块的运动信息或具有相同运动信息的块的数量来确定所述预定义顺序。
可选地,包括单向运动信息的临时运动信息候选可在包括双向运动信息的临时运动信息候选之前被添加到运动信息表。相反,包括双向运动信息的临时运动信息候选可在包括单向运动信息的临时运动信息候选之前被添加到运动信息表。
可选地,可按照在合并处理区域或编码树单元中高使用频率或低使用频率的顺序将临时运动信息候选添加到运动信息表。
在包括在临时运动信息表中的临时运动信息候选被添加到运动信息表的情况下,可执行针对临时运动信息候选的冗余校验。在示例中,当与包括在临时运动信息表中的临时运动信息候选相同的运动信息候选被预存储在运动信息表中时,可不将该临时运动信息候选添加到运动信息表。就此而言,可针对包括在运动信息表中的运动信息候选中的一部分运动信息候选执行冗余校验。在示例中,可针对索引超过或低于阈值的运动信息候选执行冗余校验。在示例中,当临时运动信息候选等于索引高于预定义值的运动信息候选时,可不将该临时运动信息候选添加到运动信息表。
这可限制将从与当前块相同的编码树单元或相同的合并处理区域中包括的块推导出的运动信息候选用作当前块的合并候选。为此,可针对运动信息候选另外存储块的地址信息。块的地址信息可包括块的位置、块的地址、块的索引、包括块的合并处理区域的位置、包括块的合并处理区域的地址、包括块的合并处理区域的索引、包括块的编码树区域的位置、包括块的编码树区域的地址或包括块的编码树区域的索引中的至少一个。
编码块可被分区为多个预测单元,并且可针对分区出的预测单元中的每个预测单元执行预测。在这种情况下,预测单元表示用于执行预测的基本单元。
可通过使用垂直线、水平线、斜线或对角线中的至少一个来对编码块进行分区。由分区线分区出的预测单元可具有诸如三角形、四边形、梯形或五边形的形状。在示例中,编码块可被分区为两个三角形预测单元、两个梯形预测单元、两个四边形预测单元、或一个三角形预测单元和一个五边形预测单元。
可以以比特流用信号发送用于确定对编码块进行分区的线的数量、角度或位置中的至少一个的信息。在示例中,可以以比特流用信号发送表示编码块的分区类型候选中的一个分区类型候选的信息,或者可以以比特流用信号发送指定对编码块进行分区的多条线候选中的一条线候选的信息。在示例中,可以以比特流用信号发送指示多条线候选中的一条线候选的索引信息。
对于多条线候选中的每一条,角度或位置中的至少一个可不同。可基于当前块的尺寸或形状、可用合并候选的数量、或特定位置处的邻近块是否可用作合并候选来确定可用于当前块的线候选的数量。
可选地,可以以比特流用信号发送用于确定线候选的数量或类型的信息。在示例中,可通过使用1比特标志来确定具有大于对角线的角度的斜线和/或具有小于对角线的角度的斜线是否可用作线候选。可在序列级、画面级或序列级用信号发送所述信息。
可选地,可基于编码块的帧内预测模式或帧间预测模式、可用合并候选的位置或邻近块的分区类型中的至少一个来自适应地确定对编码块进行分区的线的数量、角度或位置中的至少一个。
当编码块被分区为多个预测单元时,可针对每个分区出的预测单元执行帧内预测或帧间预测。
图27是示出通过使用对角线将编码块分区为多个预测单元的示例的示图。
如在图27(a)和(b)中所示的示例中,可通过使用对角线将编码块分区为两个三角形预测单元。
图27(a)和(b)示出了通过使用连接编码块的两个顶点的对角线来将编码块分区为两个预测单元。但是,可通过使用线的至少一端不穿过编码块的顶点的斜线来将编码块分区为两个预测单元。
图28是示出编码块被分区为两个预测单元的示例的示图。
如在图28(a)和(b)中所示的示例中,可通过使用两端分别邻接编码块的上边界和下边界的斜线来将编码块分区为两个预测单元。
可选地,如在图28(c)和(d)中所示的示例中,可通过使用两端分别邻接编码块的左边界和右边界的斜线来将编码块分区为两个预测单元。
可选地,可将编码块分区为具有不同尺寸的两个预测单元。在示例中,可通过将对编码块进行分区的斜线设置为遇到形成一个顶点的两个边界来将编码块分区为具有不同尺寸的两个预测单元。
图29示出编码块被分区为多个不同尺寸的预测块的示例。
如在图29(a)和(b)中所示的示例中,可通过将连接编码块的左上方和右下方的对角线设置为穿过左边界、右边界、上边界或下边界而不是穿过编码块的左上角或右下角来将编码块分区为具有不同尺寸的两个预测单元。
可选地,如在图29(c)和(d)中所示的示例中,可通过将连接编码块的右上方和左下方的对角线设置为穿过左边界、右边界、上边界或下边界而不是穿过编码块的左上角或右下角来将编码块分区为具有不同尺寸的两个预测单元。
通过对编码块进行分区而生成的预测单元中的每个预测单元被称为“第N预测单元”。在示例中,在图27至图29中所示的示例中,PU1可被定义为第一预测单元,并且PU2可被定义为第二预测单元。第一预测单元可表示包括编码块中的位于左下位置的样点或位于左上位置的样点的预测单元,并且第二预测单元可表示包括编码块中的位于右上位置的样点或位于右下位置的样点的预测单元。
相反,包括编码块中的位于右上位置的样点或位于右下位置的样点的预测单元可被定义为第一预测单元,并且包括编码块中的位于左下位置的样点或位于左上位置的样点的预测单元可被定义为第二预测单元。
当通过使用水平线、垂直线、对角线或斜线对编码块进行分区时,这可被称为预测单元分区。通过应用预测单元分区而生成的预测单元可根据其形状被称为三角形预测单元、四边形预测单元或五边形预测单元。
在下面的实施例中,将假设通过使用对角线对编码块进行分区。具体地,当通过使用对角线将编码块分区为两个预测单元时,这被称为对角线分区或三角形分区。但是,即使当通过使用与垂直线、水平线或对角线具有不同的角度的斜线来对编码块进行分区时,也可根据下述实施例对预测单元进行编码/解码。换句话说,与下面描述的三角形预测单元的编码/解码相关的事项也可被应用于四边形预测单元或五边形预测单元的编码/解码。
可基于条带类型、可被包括在合并候选列表中的合并候选的最大数量、编码块的尺寸、编码块的形状、编码块的预测编码模式或父节点的分区方面中的至少一个来确定预测单元分区是否将被应用于编码块。
在示例中,可基于当前条带是否为B类型来确定预测单元分区是否将被应用于编码块。仅当当前条带为B类型时,可允许预测单元分区。
可选地,可基于包括在合并候选列表中的合并候选的最大数量是否等于或大于2来确定预测单元分区是否将被应用于编码块。仅当包括在合并候选列表中的合并候选的最大数量等于或大于2时,可允许预测单元分区。
可选地,当宽度或高度中的至少一个大于64时,在冗余地访问64×64尺寸的数据处理单元的硬件的实现期间可能出现缺点。因此,当编码块的宽度或高度中的至少一个大于阈值时,可不允许将编码块分区为多个预测单元。在示例中,当编码块的宽度或高度中的至少一个大于64时(例如,当宽度或高度中的至少一个为128时),可不使用预测单元分区。
可选地,通过考虑可由实现的硬件同时处理的样点的最大数量,可不允许预测单元分区用于样点的数量大于阈值的编码块。在示例中,可不允许预测单元分区用于样点的数量大于4096的编码树块。
可选地,可不允许预测单元分区用于包括在编码块中的样点的数量小于阈值的编码块。在示例中,当包括在编码块中的样点的数量小于64时,可将预测单元分区设置为不被应用于编码块。
可选地,可基于编码块的宽高比是否小于第一阈值或者编码块的宽高比是否大于第二阈值来确定预测单元分区是否将被应用于编码块。在这种情况下,如以下方程式2中所示,编码块的宽高比whRatio可被确定为编码块的宽度CbW和高度CbH的比率。
【方程式2】
whRatio=CbW/CbH
第二阈值可以是第一阈值的倒数。在示例中,当第一阈值是k时,第二阈值可以是1/k。
仅当编码块的宽高比在第一阈值与第二阈值之间的范围内时,预测单元分区可被应用于编码块。
可选地,仅当编码块的宽高比小于第一阈值或大于第二阈值时,可使用预测单元分区。在示例中,当第一阈值为16时,可不允许预测单元分区用于64×4或4×64尺寸的编码块。
可选地,基于父节点的分区类型,可确定是否允许预测单元分区。在示例中,当基于四叉树分区对编码块、父节点进行分区时,预测单元分区可被应用于编码块、叶节点。另一方面,当基于二叉树或三叉树分区对编码块、父节点进行分区时,可将预测单元分区设置为不可允许用于编码块、叶节点。
可选地,基于编码块的预测编码模式,可确定是否允许预测单元分区。在示例中,仅当通过帧内预测对编码块进行编码时,当通过帧间预测对编码块进行编码时,或者当通过预定义的帧间预测模式对编码块进行编码时,可允许预测单元分区。在这种情况下,预定义的帧间预测模式可包括合并模式、运动矢量预测模式、仿射合并模式或仿射运动矢量预测模式中的至少一个。
可选地,基于并行处理区域的尺寸,可确定是否允许预测单元分区。在示例中,当编码块的尺寸大于并行处理区域的尺寸时,可不使用预测单元分区。
通过考虑上面列举的状况中的两个或更多个,可确定预测单元分区是否将被应用于编码块。
在另一示例中,可以以比特流用信号发送表示预测单元分区是否将被应用于编码块的信息。可在序列级、画面级、条带级或块级用信号发送所述信息。例如,表示预测单元分区是否被应用于编码块的标志triangle_partition_flag可在编码块级被用信号发送。
当确定将预测单元分区应用于编码块时,可以以比特流用信号发送表示对编码块进行分区的线的数量或线的位置的信息。
在示例中,当编码块由对角线分区时,可以以比特流用信号发送表示对编码块进行分区的对角线的方向的信息。在示例中,可以以比特流用信号发送表示对角线的方向的标志triangle_partition_type_flag。该标志表示编码块是否由连接左上方和右下方的对角线分区,或者编码块是否由连接右上方和左下方的对角线分区。当编码块由连接左上方和右下方的对角线分区时,这可被称为左侧三角形分区类型,并且当编码块由连接右上方和左下方的对角线分区时,这可被称为右侧三角形分区类型。在示例中,当所述标志的值为0时,这可表示编码块的分区类型为左侧三角形分区类型,并且当所述标志的值为1时,这可表示编码块的分区类型为右侧三角形分区类型。
此外,可以以比特流用信号发送表示预测单元的尺寸是否相同的信息或表示对编码块进行分区的对角线的位置的信息。在示例中,当表示预测单元的尺寸的信息表示预测单元的尺寸相同时,可省略对表示对角线的位置的信息的编码,并且可通过使用穿过编码块的两个顶点的对角线来将编码块分区为两个预测单元。另一方面,当表示预测单元的尺寸的信息表示预测单元的尺寸不相同时,可基于表示对角线的位置的信息来确定对编码块进行分区的对角线的位置。在示例中,当左侧三角形分区类型被应用于编码块时,位置信息可表示对角线是否遇到编码块的左边界和下边界或者对角线是否遇到上边界和右边界。可选地,当右侧三角形分区类型被应用于编码块时,位置信息可表示对角线是否遇到编码块的右边界和下边界或者对角线是否遇到上边界和左边界。
可在编码块级用信号发送表示编码块的分区类型的信息。因此,可按应用了预测单元分区的编码块来确定分区类型。
在另一示例中,可用信号发送表示针对序列、画面、条带、并行块或编码树单元的分区类型的信息。在这种情况下,可将在序列、画面、条带、并行块或编码树单元中的应用对角线分区的编码块的分区类型设置为相同。
可选地,用于确定在编码树单元中应用预测单元分区的第一编码单元的分区类型的信息可被编码并被用信号发送,并且可将第二个或稍后应用预测单元分区的编码单元设置为使用与第一编码单元相同的分区类型。
在另一示例中,编码块的分区类型可基于邻近块的分区类型而被确定。在这种情况下,邻近块可包括与编码块的左上角相邻的邻近块、与右上角相邻的邻近块、与左下角相邻的邻近块、位于上方的邻近块或位于左侧的邻近块中的至少一个。在示例中,可将当前块的分区类型设置为与邻近块的分区类型相同。可选地,可基于左侧三角形分区类型是否被应用于左上方邻近块或者右侧三角形分区类型是否被应用于右上方邻近块或左下方邻近块来确定当前块的分区类型。
为了针对第一预测单元和第二预测单元执行运动预测补偿,可推导第一预测单元和第二预测单元中的每一个的运动信息。在这种情况下,可从包括在合并候选列表中的合并候选推导第一预测单元和第二预测单元的运动信息。为了在一般合并候选列表与用于推导预测单元的运动信息的合并候选列表之间进行区分,用于推导预测单元的运动信息的合并候选列表被称为分区模式合并候选列表或三角形合并候选列表。此外,分区模式合并候选列表中包括的合并候选被称为分区模式合并候选或三角形合并候选。但是,应用上述推导合并候选的方法和上述构建合并候选列表的方法以推导分区模式合并候选并构建分区模式合并候选列表的操作也被包括在本公开的范围中。
可以以比特流用信号发送用于确定可被包括在分区模式合并候选列表中的分区模式合并候选的最大数量的信息。所述信息可表示可被包括在合并候选列表中的合并候选的最大数量与可被包括在分区模式合并候选列表中的分区模式合并候选的最大数量之间的差。
可从编码块的空间邻近块和时间邻近块推导分区模式合并候选。
图30是示出用于推导分区模式合并候选的邻近块的示图。
可通过使用位于编码块的上方的邻近块、位于编码块的左侧的邻近块或包括在与编码块不同的画面中的同位置块中的至少一个来推导分区模式合并候选。上方邻近块可包括以下块中的至少一个:包括位于编码块的上方的样点(xCb+CbW-1,yCb-1)的块、包括位于编码块的上方的样点(xCb+CbW,yCb-1)的块或包括位于编码块的上方的样点(xCb-1,yCb-1)的块。左侧邻近块可包括以下块中的至少一个:包括位于编码块的左侧的样点(xCb-1,yCb+CbH-1)的块或包括位于编码块的左侧的样点(xCb-1,yCb+CbH)的块。同位置块可被确定为同位置画面中的包括与编码块的右上角相邻的样点(xCb+CbW,yCb+CbH)的块或包括位于编码块的中心的样点(xCb/2,yCb/2)的块中的一个。
可按照预定义顺序搜索邻近块,并且分区模式合并候选列表可根据所述预定义顺序被配置有分区模式合并候选。在示例中,可按照B1、A1、B0、A0、C0、B2和C1的顺序搜索分区模式合并候选以配置分区模式合并候选列表。
可基于分区模式合并候选列表推导预测单元的运动信息。换句话说,预测单元可共享单个分区模式合并候选列表。
为了推导预测单元的运动信息,可以以比特流用信号发送用于指定分区模式合并候选列表中包括的分区模式合并候选中的至少一个分区模式合并候选的信息。在示例中,可以以比特流用信号发送用于指定分区模式合并候选中的至少一个分区模式合并候选的索引信息merge_triangle_idx。
索引信息可指定第一预测单元的合并候选和第二预测单元的合并候选的组合。在示例中,下表3是表示根据索引信息merge_triangle_idx的合并候选的组合的示例。
【表3】
Figure BDA0002902514150000421
Figure BDA0002902514150000431
当索引信息merge_triangle_idx的值为1时,这表示从索引为1的合并候选推导第一预测单元的运动信息并且从索引为0的合并候选推导第二预测单元的运动信息。可通过索引信息merge_triangle_idx来确定用于推导第一预测单元的运动信息的分区模式合并候选以及用于推导第二预测单元的运动信息的分区模式合并候选。还可基于索引信息确定应用对角线分区的编码块的分区类型。换句话说,索引信息可指定第一预测单元的合并候选、第二预测单元的合并候选和编码块的分区方向的组合。当编码块的分区类型由索引信息确定时,可不对表示对编码块进行分区的对角线的方向的信息triangle_partition_type_flag进行编码。表4表示针对索引信息merge_triangle_idx的编码块的分区类型。
【表4】
Figure BDA0002902514150000432
Figure BDA0002902514150000441
当变量TriangleDir为0时,这表示左侧三角形分区类型被应用于编码块,并且当变量TriangleDir为1时,这表示右侧三角形分区类型被应用于编码块。通过将表3和表4进行组合,可设置索引信息merge_triangle_idx以指定第一预测单元的合并候选、第二预测单元的合并候选和编码块的分区方向的组合。在另一示例中,可用信号发送仅针对第一预测单元和第二预测单元中的一个预测单元的索引信息,并且可基于所述索引信息确定针对第一预测单元和第二预测单元中的另一个的合并候选的索引。在示例中,可基于表示分区模式合并候选中的一个分区模式合并候选的索引的索引信息merge_triangle_idx来确定第一预测单元的合并候选。而且,可基于merge_triangle_idx指定第二预测单元的合并候选。在示例中,可通过将偏移与索引信息merge_triangle_idx相加或从索引信息merge_triangle_idx减去偏移来推导第二预测单元的合并候选。偏移可以是诸如1或2的整数。在示例中,第二预测单元的合并候选可被确定为具有通过将1与merge_triangle_idx相加而获得的值作为索引的分区模式合并候选。当merge_triangle_idx指示分区模式合并候选中的具有最大索引值的分区模式合并候选时,可从索引为0的分区模式合并候选或具有从merge_triangle_idx减去1的值作为索引的分区模式合并候选推导第二预测单元的运动信息。
可选地,可从与由索引信息指定的第一预测单元的分区模式合并候选具有相同的参考画面的分区模式合并候选推导第二预测单元的运动信息。在这种情况下,与第一预测单元的分区模式合并候选具有相同的参考画面的分区模式合并候选可表示L0参考画面或L1参考画面中的至少一个与第一预测单元的分区模式合并候选相同的分区模式合并候选。当存在与第一预测单元的分区模式合并候选具有相同的参考画面的多个分区模式合并候选时,可基于合并候选是否包括双向运动信息或者合并候选的索引与索引信息之间的差值中的至少一个来选择任意一个。
在另一示例中,可针对第一预测单元和第二预测单元中的每一个用信号发送索引信息。在示例中,可以以比特流用信号发送用于确定第一预测单元的分区模式合并候选的第一索引信息1st_merge_idx以及用于确定第二预测单元的分区模式合并候选的第二索引信息2nd_merge_idx。可从基于第一索引信息1st_merge_idx确定的分区模式合并候选推导第一预测单元的运动信息,并且可从基于第二索引信息2nd_merge_idx确定的分区模式合并候选推导第二预测单元的运动信息。
第一索引信息1st_merge_idx可表示分区模式合并候选列表中包括的分区模式合并候选中的一个分区模式合并候选的索引。第一预测单元的分区模式合并候选可被确定为由第一索引信息1st_merge_idx指示的分区模式合并候选。
由第一索引信息1st_merge_idx指示的分区模式合并候选可被设置为不可用作第二预测单元的分区模式合并候选。因此,第二预测单元的第二索引信息2nd_merge_idx可表示除了由第一索引信息指示的分区模式合并候选之外的其余分区模式合并候选中的任意一个分区模式合并候选的索引。当第二索引信息2nd_merge_idx的值小于第一索引信息1st_merge_idx的值时,第二预测单元的分区模式合并候选可被确定为具有由第二索引信息2nd_merge_idx表示的索引信息的分区模式合并候选。另一方面,当第二索引信息2nd_merge_idx的值等于或大于第一索引信息1st_merge_idx的值时,第二预测单元的分区模式合并候选可被确定为具有通过将第二索引信息2nd_merge_idx的值加1而获得的值作为索引的分区模式合并候选。
可选地,根据包括在分区模式合并候选列表中的分区模式合并候选的数量,可确定是否用信号发送第二索引信息。在示例中,当可被包括在分区模式合并候选列表中的分区模式合并候选的最大数量不超过2时,可省略用信号发送第二索引信息的操作。当省略用信号发送第二索引信息的操作时,可通过将偏移与第一索引信息相加或从第一索引信息减去偏移来推导第二分区模式合并候选。在示例中,当可被包括在分区模式合并候选列表中的分区模式合并候选的最大数量为2且第一索引信息指示索引0时,可通过将1与第一索引信息相加来推导第二分区模式合并候选。可选地,当可被包括在分区模式合并候选列表中的分区模式合并候选的最大数量为2且第一索引信息指示1时,可通过从第一索引信息减去1来推导第二分区模式合并候选。
可选地,当省略用信号发送第二索引信息的操作时,第二索引信息可被推测为默认值。在这种情况下,默认值可以是0。可通过将第一索引信息与第二索引信息进行比较来推导第二分区模式合并候选。在示例中,当第二索引信息小于第一索引信息时,可将索引为0的合并候选设置为第二分区模式合并候选,并且当第二索引信息与第一索引信息相同或大于第一索引信息时,可将索引为1的合并候选设置为第二分区模式合并候选。
当分区模式合并候选具有单向运动信息时,分区模式合并候选的单向运动信息可被设置为预测单元的运动信息。另一方面,当分区模式合并候选具有双向运动信息时,L0运动信息或L1运动信息中的仅一个可被设置为预测单元的运动信息。可基于分区模式合并候选的索引或另一预测单元的运动信息来确定将采用L0运动信息或L1运动信息中的哪一个。
在示例中,当分区模式合并候选的索引为偶数时,可将预测单元的L0运动信息设置为0,并且可将分区模式合并候选的L1运动信息设置为预测单元的L1运动信息。另一方面,当分区模式合并候选的索引为奇数时,可将预测单元的L1运动信息设置为0,并且可将分区模式合并候选的L0运动信息设置为0。相反,当分区模式合并候选的索引为偶数时,可将分区模式合并候选的L0运动信息设置为预测单元的L0运动信息,并且当分区模式合并候选的索引为奇数时,可将分区模式合并候选的L1运动信息设置为预测单元的L1运动信息。可选地,对于第一预测单元,当针对第一预测单元的分区模式合并候选是偶数时,可将分区模式合并候选的L0运动信息设置为第一预测单元的L0运动信息,但是对于第二预测单元,当针对第二预测单元的分区模式合并候选是奇数时,可将分区模式合并候选的L1运动信息设置为第二预测单元的L1运动信息。
可选地,当第一预测单元具有L0运动信息时,第二预测单元的L0运动信息可被设置为0,并且分区模式合并候选的L1运动信息可被设置为第二预测单元的L1信息。另一方面,当第一预测单元具有L1运动信息时,第二预测单元的L1运动信息可被设置为0,并且分区模式合并候选的L0运动信息可被设置为第二预测单元的L0运动信息。
用于推导第一预测单元的运动信息的分区模式合并候选列表可被设置为与用于推导第二预测单元的运动信息的分区模式合并候选列表不同。
在示例中,当基于针对第一预测单元的索引信息来指定分区模式合并候选列表中的用于推导第一预测单元的运动信息的分区模式合并候选时,可通过使用包括除了由索引信息指示的分区模式合并候选之外的其余分区模式合并候选的分区模式合并列表来推导第二预测单元的运动信息。具体地,可从其余分区模式合并候选中的一个分区模式合并候选推导第二预测单元的运动信息。
因此,包括在第一预测单元的分区模式合并候选列表中的分区模式合并候选的最大数量可与包括在第二预测单元的分区模式合并候选列表中的分区模式合并候选的最大数量不同。在示例中,当第一预测单元的分区模式合并候选列表包括M个合并候选时,第二预测单元的分区模式合并候选列表可包括除了由第一预测单元的索引信息指示的分区模式合并候选之外的M-1个合并候选。
在另一示例中,除了通过考虑预测单元的形状或位置之外,可通过基于与编码块相邻的邻近块推导每个预测单元的合并候选来确定邻近块的可用性。
图31是用于解释按预测单元确定邻近块的可用性的示例的示图。
与第一预测单元不相邻的邻近块可被设置为不可用于第一预测单元,并且与第二预测单元不相邻的邻近块可被设置为不可用于第二预测单元。
在示例中,如在图31(a)中所示的示例中,当左侧三角形分区类型被应用于编码块时,可确定与编码块相邻的邻近块中的与第一预测单元相邻的块A1、A0和A2可用于第一预测单元,但是可确定块B0和B1不可用于第一预测单元。因此,针对第一预测单元的分区模式合并候选列表可包括从块A1、A0和A2推导出的分区模式合并候选,但它可不包括从块B0和B1推导出的分区模式合并候选。
如在图31(b)中所示的示例中,当左侧三角形分区类型被应用于编码块时,可确定与第二预测单元相邻的块B0和B1可用于第二预测单元,但是可确定块A1、A0和A2不可用于第二预测单元。因此,针对第二预测单元的分区模式合并候选列表可包括从块B0和B1推导出的分区模式合并候选,但它可不包括从块A1、A0和A2推导出的分区模式合并候选。
因此,可基于预测单元的位置或编码块的分区类型中的至少一个来确定预测单元可使用的分区模式合并候选的数量或分区模式合并候选的范围。
在另一示例中,合并模式可仅被应用于第一预测单元和第二预测单元中的一个。而且,第一预测单元和第二预测单元中的另一个的运动信息可被设置为与应用合并模式的预测单元的运动信息相同,或者可通过对应用合并模式的预测单元的运动信息进行修正被推导出。
在示例中,可基于分区模式合并候选推导第一预测单元的运动矢量和参考画面索引,并且可通过对第一预测单元的运动矢量进行修正来推导第二预测单元的运动矢量。在示例中,可通过将修正运动矢量{Rx,Ry}与第一预测单元的运动矢量{mvD1LXx,mvD1LXy}相加或从第一预测单元的运动矢量{mvD1LXx,mvD1LXy}减去修正运动矢量{Rx,Ry}来推导第二预测单元的运动矢量。可将第二预测单元的参考画面索引设置为与第一预测单元的参考画面索引相同。
可以以比特流用信号发送用于确定表示第一预测单元的运动矢量与第二预测单元的运动矢量之间的差的修正运动矢量的信息。所述信息可包括表示修正运动矢量的大小的信息或表示修正运动矢量的符号的信息中的至少一个。
可选地,可基于预测单元的位置或索引或应用于编码块的分区类型中的至少一个来推导修正运动矢量的符号。
在另一示例中,可用信号发送第一预测单元和第二预测单元中的一个的运动矢量和参考画面索引。第一预测单元和第二预测单元中的另一个的运动矢量可通过对用信号发送的运动矢量进行修正被推导出。
在示例中,基于以比特流用信号发送的信息,可确定第一预测单元的运动矢量和参考画面索引。而且,可通过对第一预测单元的运动矢量进行修正来推导第二预测单元的运动矢量。在示例中,可通过将修正运动矢量{Rx,Ry}与第一预测单元的运动矢量{mvD1LXx,mvD1LXy}相加或从第一预测单元的运动矢量{mvD1LXx,mvD1LXy}减去修正运动矢量{Rx,Ry}来推导第二预测单元的运动矢量。可将第二预测单元的参考画面索引设置为与第一预测单元的参考画面索引相同。
在另一示例中,合并模式可仅被应用于第一预测单元和第二预测单元中的一个。而且,可基于应用合并模式的预测单元的运动信息推导第一预测单元和第二预测单元中的另一个的运动信息。在示例中,可将第一预测单元的运动矢量的对称运动矢量设置为第二预测单元的运动矢量。在这种情况下,对称运动矢量可表示与第一预测单元的运动矢量具有相同的大小但具有至少一个相反符号的x轴分量或y轴分量的运动矢量,或者与通过对第一预测单元的运动矢量进行缩放而获得的缩放后的矢量具有相同的大小但具有至少一个相反符号的x轴分量或y轴分量的运动矢量。在示例中,当第一预测单元的运动矢量为(MVx,MVy)时,第二预测单元的运动矢量可被设置为作为该运动矢量的对称运动矢量的(MVx,-MVy)、(-MVx,MVy)或(-MVx,-MVy)。
可将第一预测单元和第二预测单元中的不应用合并模式的预测单元的参考画面索引设置为与应用合并模式的预测单元的参考画面索引相同。可选地,可将不应用合并模式的预测单元的参考画面索引设置为预定义值。在这种情况下,预定义值可以是参考画面列表中的最小索引或最大索引。可选地,可以以比特流用信号发送指定不应用合并模式的预测单元的参考画面索引的信息。可选地,可从与应用合并模式的预测单元的参考画面所属的参考画面列表不同的参考画面列表选择不应用合并模式的预测单元的参考画面。在示例中,当从L0参考画面列表选择应用合并模式的预测单元的参考画面时,可从L1参考画面列表选择不应用合并模式的预测单元的参考画面。在这种情况下,可基于应用合并模式的预测单元的参考画面与当前画面之间的画面顺序计数(POC)差来推导不应用合并模式的预测单元的参考画面。在示例中,当从L0参考画面列表选择应用合并模式的预测单元的参考画面时,可选择与L1参考画面列表中的当前画面的差值和应用合并模式的预测单元的参考画面与当前画面之间的差值相同或相似的参考画面作为不应用合并模式的预测单元的参考画面。
当第一预测单元的参考画面与当前画面之间的画面顺序计数差值不同于第二预测单元的参考画面与当前画面之间的画面顺序计数差值时,可将应用合并模式的预测单元的缩放后的运动矢量的对称运动矢量设置为不应用合并模式的预测单元的运动矢量。在这种情况下,可基于每个参考画面与当前画面之间的画面顺序计数差值来执行缩放。
在另一示例中,在推导第一预测单元和第二预测单元中的每一个的运动矢量之后,可将修正矢量与推导出的运动矢量相加或从推导出的运动矢量减去修正矢量。在示例中,可通过将第一修正矢量与基于第一合并候选推导出的第一运动矢量相加或从基于第一合并候选推导出的第一运动矢量减去第一修正矢量来推导第一预测单元的运动矢量,并且可通过将第二修正矢量与基于第二合并候选推导出的第二运动矢量相加或从基于第二合并候选推导出的第二运动矢量减去第二修正矢量来推导第二预测单元的运动矢量。可以以比特流用信号发送用于确定第一修正矢量或第二修正矢量中的至少一个的信息。所述信息可包括用于确定修正矢量的大小的信息或用于确定修正矢量的符号的信息中的至少一个。
第二修正矢量可以是第一修正矢量的对称运动矢量。在这种情况下,可仅针对第一修正矢量和第二修正矢量中的一个用信号发送用于确定修正矢量的信息。在示例中,当通过以比特流用信号发送的信息将第一修正矢量确定为(MVDx,MVDy)时,可将作为第一修正矢量的对称运动矢量的(-MVDx,MVDy)、(MVDx,-MVDy)或(-MVDx,-MVDy)设置为第二修正矢量。根据每个预测单元的参考画面的画面顺序计数,可将通过对第一修正矢量进行缩放而获得的缩放后的运动矢量的对称运动矢量设置为第二修正矢量。
在另一示例中,可基于合并候选推导第一预测单元和第二预测单元中的一个的信息,并且可基于以比特流用信号发送的信息来确定另一个的运动信息。在示例中,可针对第一预测单元用信号发送合并索引,并且可针对第二预测单元用信号发送用于确定运动矢量的信息和用于确定参考画面的信息中的至少一个。第一预测单元的运动信息可被设置为与由合并索引指定的合并候选的运动信息相同。第二预测单元的运动信息可由以比特流用信号发送的用于确定运动矢量的信息和用于确定参考画面的信息中的至少一个来指定。
可基于第一预测单元的运动信息和第二预测单元的运动信息来执行针对每个编码块的运动预测补偿预测。在这种情况下,可能在第一预测单元和第二预测单元的边界上生成质量劣化。在示例中,质量连续性可能在第一预测单元和第二预测单元的边界上的边缘周围恶化。为了降低边界上的质量劣化,可通过平滑滤波器或加权预测来推导预测样点。
可基于根据第一预测单元的运动信息获得的第一预测样点和根据第二预测单元的运动信息获得的第二预测样点的加权和运算来推导应用对角线分区的编码块中的预测样点。可选地,可从基于第一预测单元的运动信息确定的第一预测块推导第一预测单元的预测样点,并且可从基于第二预测单元的运动信息确定的第二预测块推导第二预测单元的预测样点,但是,可基于包括在第一预测块中的第一预测样点和包括在第二预测块中的第二预测样点的加权和运算来推导第一预测单元和第二预测单元的边界区域上的预测样点。在示例中,下面的方程式3表示推导第一预测单元和第二预测单元的预测样点的示例。
【方程式3】
P(x,y)=w1*P1(x,y)+(1-w1)*P2(x,y)
在方程式3中,P1表示第一预测样点,并且P2表示第二预测样点。w1表示应用于第一预测样点的权重,并且(1-w1)表示应用于第二预测样点的权重。如在方程式3中所示的示例中,可通过从常数值减去应用于第一预测样点的权重来推导应用于第二预测样点的权重。
当左侧三角形分区类型被应用于编码块时,边界区域可包括具有相同的x轴坐标和y轴坐标的预测样点。另一方面,当右侧三角形分区类型被应用于编码块时,边界区域可包括x轴坐标和y轴坐标的总和等于或大于第一阈值并且等于或小于第二阈值的预测样点。
可基于编码块的尺寸、编码块的形状、预测单元的运动信息、预测单元的运动矢量差值、参考画面的画面顺序计数或者对角线边界上的第一预测样点与第二预测样点之间的差值中的至少一个来确定边界区域的尺寸。
图32和图33是示出基于第一预测样点和第二预测样点的加权和运算推导预测样点的示例的示图。图32示出左侧三角形分区类型被应用于编码块的情况,并且图33示出右侧三角形分区类型被应用于编码块的情况。此外,图32(a)和图33(a)是表示针对亮度分量的预测方面的示图,并且图32(b)和图33(b)是表示针对色度分量的预测方面的示图。
在所示的示图中,在第一预测单元和第二预测单元的边界周围的预测样点上标记的数字表示应用于第一预测样点的权重。在示例中,当在预测样点上标记的数字为N时,可通过将权重N/8应用于第一预测样点并将权重(1-(N/8))应用于第二预测样点来推导预测样点。
在非边界区域中,可将第一预测样点或第二预测样点确定为预测样点。查看图32中的示例,可将基于第一预测单元的运动信息推导出的第一预测样点确定为属于第一预测单元的区域中的预测样点。另一方面,基于第二预测单元的运动信息推导出的第二预测样点可被确定为属于第二预测单元的区域中的预测样点。
查看图33中的示例,可将基于第一预测单元的运动信息推导出的第一预测样点确定为x轴坐标和y轴坐标的总和小于第一阈值的区域中的预测样点。另一方面,可将基于第二预测单元的运动信息推导出的第二预测样点确定为x轴坐标和y轴坐标的总和大于第二阈值的区域中的预测样点。
可基于编码块的尺寸、编码块的形状或颜色分量中的至少一个来确定用于确定非边界区域的阈值。在示例中,当针对亮度分量的阈值被设置为N时,针对色度分量的阈值可被设置为N/2。
可基于第一预测样点和第二预测样点的加权和运算推导包括在边界区域中的预测样点。在这种情况下,可基于预测样点的位置、编码块的尺寸、编码块的形状或颜色分量中的至少一个来确定应用于第一预测样点和第二预测样点的权重。
在示例中,如图32(a)中所示的示例中,可通过将相同的权重应用于第一预测样点和第二预测样点来推导具有相同的x轴坐标和y轴坐标的预测样点。可通过将应用于第一预测样点和第二预测样点的权重比率设置为(3:1)或(1:3)来推导x轴坐标与y轴坐标之间的差的绝对值为1的预测样点。此外,可通过将应用于第一预测样点和第二预测样点的权重比率设置为(7:1)或(1:7)来推导x轴坐标与y轴坐标之间的差的绝对值为2的预测样点。
可选地,如图32(b)中所示的示例中,可通过将相同的权重应用于第一预测样点和第二预测样点来推导具有相同的x轴坐标和y轴坐标的预测样点,并且可通过将应用于第一预测样点和第二预测样点的权重比率设定为(7:1)或(1:7)来推导x轴坐标与y轴坐标之间的差的绝对值为1的预测样点。
在示例中,如图33(a)中所示的示例中,可通过将相同的权重应用于第一预测样点和第二预测样点来推导x轴坐标和y轴坐标的总和比编码块的宽度或高度小1的预测样点。可通过将应用于第一预测样点和第二预测样点的权重比率设置为(3:1)或(1:3)来推导x轴坐标和y轴坐标的总和与编码块的宽度或高度相同或者比编码块的宽度或高度小2的预测样点。可通过将应用于第一预测样点和第二预测样点的权重比率设置为(7:1)或(1:7)来推导x轴坐标和y轴坐标的总和比编码块的宽度或高度大1或者比编码块的宽度或高度小3的预测样点。
可选地,如图33(b)中所示的示例中,可通过将相同的权重应用于第一预测样点和第二预测样点来推导x轴坐标和y轴坐标的总和比编码块的宽度或高度小1的预测样点。可通过将应用于第一预测样点和第二预测样点的权重比率设置为(7:1)或(1:7)来推导x轴坐标和y轴坐标的总和与编码块的宽度或高度相同或者比编码块的宽度或高度小2的预测样点。
在另一示例中,可通过考虑预测样点的位置或编码块的形状来确定权重。方程式4至方程式6表示当左侧三角形分区类型被应用于编码块时推导权重的示例。方程式4表示当编码块为正方形时推导应用于第一预测样点的权重的示例。
【方程式4】
w1=(x-y+4)/8
在方程式4中,x和y表示预测样点的位置。当编码块为非正方形时,可如在以下方程式5或方程式6中推导应用于第一预测样点的权重。方程式5表示编码块的宽度大于高度的情况,并且方程式6表示编码块的宽度小于高度的情况。
【方程式5】
w1=((x/whRatio)-y+4)/8
【方程式6】
w1=(x-(y*whRatio)+4)/8
当右侧三角形分区类型被应用于编码块时,可如在方程式7至方程式9中确定应用于第一预测样点的权重。方程式7表示当编码块为正方形时推导应用于第一预测样点的权重的示例。
【方程式7】
w1=(CbW-1-x-y)+4)/8
在方程式7中,CbW表示编码块的宽度。当编码块为非正方形时,可如在下面的方程式8或方程式9中推导应用于第一预测样点的权重。方程式8表示编码块的宽度大于高度的情况,并且方程式9表示编码块的宽度小于高度的情况。
【方程式8】
w1=(CbH-1-(x/whRatio)-y)+4)/8
【方程式9】
w1=(CbW-1-x-(y*whRatio)+4)/8
在方程式8中,CbH表示编码块的高度。
如在所示的示例中,可通过向第一预测样点赋予比第二预测样点更大的权重来推导边界区域中的预测样点中的包括在第一预测单元中的预测样点,并且可通过向第二预测样点赋予比第一预测样点更大的权重来推导边界区域中的预测样点中的包括在第二预测单元中的预测样点。
当对角线分区被应用于编码块时,将帧内预测模式和合并模式进行组合的组合预测模式可被设置为不被应用于编码块。
当编码块的编码/解码完成时,完成了编码/解码的编码块的运动信息可被存储以用于后续编码块的编码/解码。可以以具有预设尺寸的子块为单位存储运动信息。在示例中,具有预设尺寸的子块可具有4×4尺寸。可选地,根据编码块的尺寸或形状,可不同地确定子块的尺寸或形状。
当子块属于第一预测单元时,第一预测单元的运动信息可被存储为子块的运动信息。另一方面,当子块属于第二预测单元时,第二预测单元的运动信息可被存储为子块的运动信息。
当子块在第一预测单元和第二预测单元的边界上时,第一预测单元的运动信息和第二预测单元的运动信息中的任意一个可被设置为子块的运动信息。在示例中,可将第一预测单元的运动信息设置为子块的运动信息,或者可将第二预测单元的运动信息设置为子块的运动信息。
在另一示例中,当子块在第一预测单元和第二预测单元的边界上时,可从第一预测单元推导子块的L0运动信息和L1运动信息中的任意一个,并且可从第二预测单元推导子块的L0运动信息和L1运动信息中的另一个。在示例中,可将第一预测单元的L0运动信息设置为子块的L0运动信息,并且可将第二预测单元的L1运动信息设置为子块的L1运动信息。但是,当第一预测单元和第二预测单元仅具有L0运动信息或仅具有L1运动信息时,可通过选择第一预测单元或第二预测单元中的任意一个来确定子块的运动信息。可选地,可将第一预测单元和第二预测单元的运动矢量平均值设置为子块的运动矢量。
可在运动信息表中更新完成了编码/解码的编码块的运动信息。在这种情况下,可将应用预测单元分区的编码块的运动信息设置为不被添加到运动信息表。
可选地,可仅将通过对编码块进行分区而生成的多个预测单元中的任意一个预测单元的运动信息添加到运动信息表。在示例中,虽然第一预测单元的运动信息可被添加到运动信息表,但第二预测单元的运动信息可不被添加到运动信息表。在这种情况下,可基于编码块的尺寸、编码块的形状、预测单元的尺寸、预测单元的形状、或是否针对预测单元执行双向预测中的至少一个来选择将被添加到运动信息表的预测单元。
可选地,可将通过对编码块进行分区而生成的多个预测单元中的每个预测单元的运动信息添加到运动信息表。在这种情况下,可在编码装置和解码装置中预定义针对运动信息表的添加顺序。在示例中,包括左上样点或左下角样点的预测单元的运动信息可在另一预测单元的运动信息之前被添加到运动信息表。可选地,可基于每个预测单元的合并索引或参考画面索引或者运动矢量的大小中的至少一个来确定针对运动信息表的添加顺序。
可选地,将第一预测单元的运动信息和第二预测单元的运动信息进行组合的运动信息可被添加到运动信息表。可从第一预测单元推导组合运动信息的L0运动信息和L1运动信息中的任意一个,并且可从第二预测单元推导L0运动信息和L1运动信息中的另一个。
可选地,基于第一预测单元的参考画面是否与第二预测单元的参考画面相同,可确定将被添加到运动信息表的运动信息。在示例中,当第一预测单元的参考画面与第二预测单元的参考画面不同时,第一预测单元和第二预测单元中的任意一个的运动信息或者将第一预测单元和第二预测单元进行组合的运动信息可被添加到运动信息表。另一方面,当第一预测单元的参考画面与第二预测单元的参考画面相同时,可将第一预测单元的运动矢量和第二预测单元的运动矢量的平均值添加到运动信息表。
可选地,基于编码块的尺寸、编码块的形状或编码块的分区形状,可确定将被添加到运动信息表的运动矢量。在示例中,当右侧三角形分区被应用于编码块时,第一预测单元的运动信息可被添加到运动信息表。另一方面,当左侧三角形分区被应用于编码块时,第二预测单元的运动信息可被添加到运动信息表,或者将第一预测单元的运动信息和第二预测单元的运动信息进行组合的运动信息可被添加到运动信息表。
可单独定义用于存储应用预测单元分区的编码块的运动信息的运动信息表。在示例中,应用预测单元分区的编码块的运动信息可被存储在分区模式运动信息表中。分区模式运动信息表可被称为三角形运动信息表。换句话说,未应用预测单元分区的编码块的运动信息可被存储在一般运动信息表中,并且应用预测单元分区的编码块的运动信息可被存储在分区模式运动信息表中。将应用上述预测单元分区的编码块的运动信息添加到运动信息表的实施例可被应用于更新分区模式运动信息表。在示例中,第一预测单元的运动信息、第二预测单元的运动信息、将第一预测单元的运动信息和第二预测单元的运动信息进行组合的运动信息以及对第一预测单元的运动矢量和第二预测单元的运动矢量求平均的运动信息可被添加到分区模式运动信息表。
当预测模式分区不被应用于编码块时,可通过使用一般运动信息表推导合并候选。另一方面,当预测模式分区被应用于编码块时,可通过使用预测模式运动信息表推导合并候选。
当当前块的合并候选被选择时,可将所选的合并候选的运动矢量设置为初始运动矢量,并且可通过使用通过将偏移矢量与初始运动矢量相加或从初始运动矢量减去偏移矢量而推导出的运动矢量来执行针对当前块的运动补偿预测。通过将偏移矢量与合并候选的运动矢量相加或从合并候选的运动矢量减去偏移矢量来推导新运动矢量的方法可被定义为合并偏移矢量编码方法。
可以以比特流用信号发送表示合并偏移编码方法是否将被使用的信息。所述信息可以是1比特标志merge_offset_vector_flag。在示例中,当merge_offset_vector_flag的值为1时,这表示合并偏移矢量编码方法被应用于当前块。当合并偏移矢量编码方法被应用于当前块时,可通过将偏移矢量与合并候选的运动矢量相加或从合并候选的运动矢量减去偏移矢量来推导当前块的运动矢量。当merge_offset_vector_flag的值为0时,这表示合并偏移矢量编码方法未被应用于当前块。当合并偏移编码方法未被应用时,可将合并候选的运动矢量设置为当前块的运动矢量。
仅当表示跳过模式是否被应用的跳过标志的值为真时或者当表示合并模式是否被应用的合并标志的值为真时,可用信号发送所述标志。在示例中,当表示跳过模式被应用于当前块的skip_flag的值为1时或者当表示合并模式被应用于当前块的merge_flag的值为1时,merge_offset_vector_flag可被编码并被用信号发送。
当确定合并偏移编码方法被应用于当前块时,可另外用信号发送指定合并候选列表中包括的合并候选中的任意一个合并候选的信息、表示偏移矢量的大小的信息或表示偏移矢量的方向的信息中的至少一个。
可以以比特流用信号发送用于确定可被包括在合并候选列表中的合并候选的最大数量的信息。在示例中,可被包括在合并候选列表中的合并候选的最大数量可被设置为等于或小于6的自然数。
当确定合并偏移编码方法被应用于当前块时,可仅将预设最大数量的合并候选设置为当前块的初始运动矢量。换句话说,根据合并偏移编码方法是否被应用,可自适应地确定可用于当前块的合并候选的数量。在示例中,当merge_offset_vector_flag的值被设置为0时,可用于当前块的合并候选的最大数量可被设置为M,但是当merge_offset_vector_flag的值被设置为1时,可用于当前块的合并候选的最大数量可被设置为N。在这种情况下,M表示可被包括在合并候选列表中的合并候选的最大数量,并且N表示等于或小于M的自然数。
在示例中,当M为6且N为2时,可将合并候选列表中包括的合并候选中的具有最小索引的两个合并候选设置为可用于当前块。因此,索引值为0的合并候选的运动矢量或索引值为1的合并候选的运动矢量可被设置为当前块的初始运动矢量。当M和N相同时(例如,当M和N为2时),合并候选列表中包括的全部合并候选可被设置为可用于当前块。
可选地,可基于合并偏移矢量编码方法是否被应用于当前块来确定邻近块是否可用作合并候选。在示例中,当merge_offset_vector_flag的值为1时,与当前块的右上角相邻的邻近块、与左下角相邻的邻近块或与左下角相邻的邻近块中的至少一个可被设置为不可用作合并候选。因此,当合并偏移矢量编码方法被应用于当前块时,与当前块的右上角相邻的邻近块、与左下角相邻的邻近块或与左下角相邻的邻近块中的至少一个的运动矢量可不被设置为初始运动矢量。可选地,当merge_offset_vector_flag的值为1时,当前块的时间邻近块可被设置为不可用作合并候选。
当合并偏移矢量编码方法被应用于当前块时,可设置为不使用成对合并候选或零合并候选中的至少一个。因此,当merge_offset_vector_flag的值为1时,虽然合并候选列表中包括的合并候选的数量小于最大数量,但是可不将成对合并候选或零合并候选中的至少一个添加到合并候选列表。
合并候选的运动矢量可被设置为当前块的初始运动矢量。在这种情况下,当可用于当前块的合并候选的数量是多个时,可以以比特流用信号发送指定多个合并候选中的任意一个合并候选的信息。在示例中,当可被包括在合并候选列表中的合并候选的最大数量大于1时,可以以比特流用信号发送指示多个合并候选中的一个合并候选的信息merge_idx。换句话说,在合并偏移编码方法中可通过用于指定多个合并候选中的一个合并候选的信息merge_idx来指定合并候选。当前块的初始运动矢量可被设置为由merge_idx指示的合并候选的运动矢量。
另一方面,当可用于当前块的合并候选的数量是1时,可省略用信号发送用于指定合并候选的信息。在示例中,当可被包括在合并候选列表中的合并候选的最大数量不大于1时,可省略用信号发送用于指定合并候选的信息merge_idx的操作。换句话说,在合并偏移编码方法中,当合并候选列表中包括1个合并候选时,可省略对用于指定合并候选的信息merge_idx的编码,并且可基于合并候选列表中包括的合并候选来确定初始运动矢量。合并候选的运动矢量可被设置为当前块的初始运动矢量。
在另一示例中,在确定当前块的合并候选之后,可确定合并偏移矢量编码方法是否将被应用于当前块。在示例中,当可被包括在合并候选中的合并候选的最大数量大于1时,可用信号发送用于指定合并候选中的一个合并候选的信息merge_idx。在基于merge_idx选择了合并候选之后,可对表示合并偏移矢量编码方法是否被应用于当前块的merge_offset_vector_flag进行解码。表3是表示根据上述实施例的语法表的示图。
【表5】
Figure BDA0002902514150000591
Figure BDA0002902514150000601
在另一示例中,在确定当前块的合并候选之后,仅当所确定的合并候选的索引小于在合并偏移矢量编码方法下可用的合并候选的最大数量时,可确定合并偏移矢量编码方法是否将被应用于当前块。在示例中,仅当索引信息merge_idx的值小于N时,表示合并偏移矢量编码方法是否将被应用于当前块的merge_offset_vector_flag可被编码并被用信号发送。当索引信息merge_idx的值等于或大于N时,可省略对merge_offset_vector_flag的编码。当省略对merge_offset_vector_flag的编码时,可将合并偏移矢量编码方法设置为不被应用于当前块。可选地,在确定当前块的合并候选之后,可通过考虑所确定的合并候选具有双向运动信息还是单向运动信息来确定合并偏移矢量编码方法是否将被应用于当前块。在示例中,仅当索引信息merge_idx的值小于N并且由所述索引信息选择的合并候选具有双向运动信息时,表示合并偏移矢量编码方法是否将被应用于当前块的merge_offset_vector_flag可被编码并被用信号发送。可选地,仅当索引信息merge_idx的值小于N并且由所述索引信息选择的合并候选具有单向运动信息时,表示合并偏移矢量编码方法是否将被应用于当前块的merge_offset_vector_flag可被编码并被用信号发送。
可选地,可基于当前块的尺寸或形状或者当前块是否邻接编码树单元的边界中的至少一个来确定合并偏移矢量编码方法是否将被应用。当当前块的尺寸或形状或者当前块是否邻接编码树单元的边界中的至少一个不满足预设条件时,可省略对表示合并偏移矢量编码方法是否将被应用于当前块的merge_offset_vector_flag的编码。
当合并候选被选择时,可将合并候选的运动矢量设置为当前块的初始运动矢量。而且,可通过对表示偏移矢量的大小的信息和表示偏移矢量的方向的信息进行解码来确定偏移矢量。偏移矢量可具有水平方向分量或垂直方向分量。
表示偏移矢量的大小的信息可以是表示矢量大小候选中的一个矢量大小候选的索引信息。在示例中,可以以比特流用信号发送表示矢量大小候选中的一个矢量大小候选的索引信息distance_idx。表4表示索引信息distance_idx和用于根据distance_idx确定偏移矢量的大小的变量DistFromMergeMV的值的二值化。
【表6】
Figure BDA0002902514150000611
Figure BDA0002902514150000621
可通过将变量DistFromMergeMV除以预设值来推导偏移矢量的大小。方程式10表示确定偏移矢量的大小的示例。
【方程式10】
abs(offsetMV)=DistFromMergeMV<<2
根据方程式10,可将通过将变量DistFromMergeMV除以4而获得的值或通过将变量DistFromMergeMV向左比特移位2而获得的值设置为偏移矢量的大小。
可使用比表6中所示的示例更多的矢量大小候选或更少的矢量大小候选,或者可将运动矢量偏移大小候选的范围设置为与表6中所示的示例不同。在示例中,偏移矢量的水平方向分量或垂直方向分量的大小可被设置为不大于样点距离2。表7表示索引信息distance_idx和用于根据distance_idx确定偏移矢量的大小的变量DistFromMergeMV的值的二值化。
【表7】
Figure BDA0002902514150000622
可选地,基于运动矢量精度,可不同地设置运动矢量偏移大小候选的范围。在示例中,当针对当前块的运动矢量精度为小数像素(分数像素)时,可将与索引信息distance_idx的值对应的变量DistFromMergeMV的值设置为1、2、4、8、16等。在这种情况下,小数像素包括1/16像素、八分之一像素、四分之一像素或二分之一像素中的至少一个。另一方面,当针对当前块的运动矢量精度为整数像素时,可将与索引信息distance_idx的值对应的变量DistFromMergeMV的值设置为4、8、16、32、64等。换句话说,根据针对当前块的运动矢量精度,可不同地设置被参考以确定变量DistFromMergeMV的表。在示例中,当当前块或合并候选的运动矢量精度为四分之一像素时,可通过使用表6来推导由distance_idx指示的变量DistFromMergeMV。另一方面,当当前块或合并候选的运动矢量精度为整数像素时,将由表6中的distance_idx指示的变量DistFromMergeMV的值乘以N倍(例如,4倍)所得到的值可被推导为DistFromMergeMV的值。
可以以比特流用信号发送用于确定运动矢量精度的信息。在示例中,可在序列级、画面级、条带级或块级用信号发送所述信息。因此,可通过以比特流用信号发送的与运动矢量精度相关的信息来不同地设置矢量大小候选的范围。可选地,基于当前块的合并候选,可确定运动矢量精度。在示例中,可将当前块的运动矢量精度设置为与合并候选的运动矢量精度相同。
可选地,可以以比特流用信号发送用于确定偏移矢量的搜索范围的信息。可基于搜索范围来确定矢量大小候选的数量、矢量大小候选的最小值或最大数量中的至少一个。在示例中,可以以比特流用信号发送用于确定偏移矢量的搜索范围的标志merge_offset_vector_flag。可在序列头、画面头或条带头用信号发送所述信息。
在示例中,当merge_offset_extend_range_flag的值为0时,可将偏移矢量的大小设置为不超过2。因此,DiffFromMergeMV的最大值可被设置为8。另一方面,当merge_offset_extend_range_flag的值为1时,可将偏移矢量的大小设置为不超过样点距离32。因此,DiffFromMergeMV的最大值可被设置为128。
可通过使用表示偏移矢量的大小是否大于阈值的标志来确定偏移矢量的大小。在示例中,可以以比特流用信号发送表示偏移矢量的大小是否大于阈值的标志distance_flag。阈值可以是1、2、4、8或16。在示例中,当distance_flag为1时,这表示偏移矢量的大小大于4。另一方面,当distance_flag为0时,这表示偏移矢量的大小等于或小于4。
当偏移矢量的大小大于阈值时,可通过使用索引信息distance_idx来推导偏移矢量的大小与阈值之间的差值。可选地,当偏移矢量的大小等于或小于阈值时,可通过使用索引信息distance_idx来确定偏移矢量的大小。表8是表示distance_flag和distance_idx的编码方面的语法表。
【表8】
Figure BDA0002902514150000641
Figure BDA0002902514150000651
方程式11表示通过使用distance_flag和distance_idx来推导用于确定偏移矢量的大小的变量DistFromMergeMV的示例。
【方程式11】
DistFromMergeMV=N*distance_flag+(1<<distance_idx)
在方程式11中,distance_flag的值可被设置为1或0。distance_idx的值可被设置为1、2、4、8、16、32、64、128等。N表示由阈值确定的系数。在示例中,当阈值为4时,N可被设置为16。
表示偏移矢量的方向的信息可以是表示矢量方向候选中的一个矢量方向候选的索引信息。在示例中,可以以比特流用信号发送表示矢量方向候选中的一个矢量方向候选的索引信息direction_idx。表9表示索引信息direction_idx和根据direction_idx的偏移矢量的方向的二值化。
【表9】
Figure BDA0002902514150000661
在表9中,sign[0]表示水平方向,sign[1]表示垂直方向。+1表示偏移矢量的x分量或y分量的值为正,并且-1表示偏移矢量的x分量或y分量的值为负。方程式12表示基于偏移矢量的大小和方向确定偏移矢量的示例。
【方程式12】
offsetMV[0]=dbs(offsetMV)*sign[0]
offsetMV[1]=abs(offsetMV)*sign[1]
在方程式12中,offsetMV[0]表示偏移矢量的垂直方向分量,并且offsetMV[1]表示偏移矢量的水平方向分量。
图34是示出根据示出偏移矢量的大小的distance_idx和示出偏移矢量的方向的direction_idx的值的偏移矢量的示图。
如图34中所示的示例中,可根据distance_idx和direction_idx的值来确定偏移矢量的大小和方向。偏移矢量的最大大小可被设置为不超过阈值。在这种情况下,阈值可在编码装置和解码装置中具有预定义值。在示例中,阈值可以是样点距离32。可选地,根据初始运动矢量的大小,可确定阈值。在示例中,可基于初始运动矢量的水平方向分量的大小来设置针对水平方向的阈值,并且可基于初始运动矢量的垂直方向分量的大小来设置针对垂直方向的阈值。
当合并候选具有双向运动信息时,合并候选的L0运动矢量可被设置为当前块的L0初始运动矢量,并且合并候选的L1运动矢量可被设置为当前块的L1初始运动矢量。在这种情况下,可通过考虑合并候选的L0参考画面与当前画面之间的画面顺序计数差值(在下文中,称为L0差值)以及合并候选的L1参考画面与当前画面之间的画面顺序计数差值(在下文中,称为L1差值)来确定L0偏移矢量和L1偏移矢量。
首先,当L0差值的符号与L1差值的符号相同时,可将L0偏移矢量和L1偏移矢量设置为相同。另一方面,当L0差值的符号与L1差值的符号不同时,可在与L0偏移矢量相反的方向上设置L1偏移矢量。
可将L0偏移矢量的大小设置为与L1偏移矢量的大小相同。可选地,可通过基于L0差值和L1差值对L0偏移矢量进行缩放来确定L1偏移矢量的大小。
在示例中,方程式13表示当L0差值的符号和L1差值的符号相同时的L0偏移矢量和L1偏移矢量。
【方程式13】
offsetMVL0[0]=abs(offsetMV)*sign[0]
offsetMVL0[1]=abs(offsetMV)*sign[1]
offsetMVL1[0]=abs(offsetMV)*sign[0]
offsetMVL1[1]=abs(offsetMV)*sign[1]
在方程式13中,offsetMVL0[0]表示L0偏移矢量的水平方向分量,并且offsetMVL0[1]表示L0偏移矢量的垂直方向分量。offsetMVL1[0]表示L1偏移矢量的水平方向分量,并且offsetMVL1[1]表示L1偏移矢量的垂直方向分量。
方程式14表示当L0差值的符号和L1差值的符号不同时的L0偏移矢量和L1偏移矢量。
【方程式14】
offsetMVL0[0]=abs(offsetMV)*sign[0]
offsetMVL0[1]=abs(offsetMV)*sign[1]
offsetMVL1[0]=-1*abs(offsetMV)*sign[0]
offsetMVL1[1]=-1*abs(offsetMV)*sign[1]
可定义四个或更多个矢量方向候选。表10和表11表示定义了8个矢量方向候选的示例。
【表10】
Figure BDA0002902514150000671
Figure BDA0002902514150000681
【表11】
Figure BDA0002902514150000682
在表10和表11中,当sign[0]和sign[1]的绝对值大于0时,这表示偏移矢量具有对角线方向。虽然当使用表9时可将对角线方向上的偏移矢量的x轴和y轴分量的大小设置为abs(offsetMV),但是当使用表10时可将对角线方向上的偏移矢量的x轴和y轴分量的大小设置为abs(offsetMV/2)。
图35是示出根据示出偏移矢量的大小的distance_idx和示出偏移矢量的方向的direction_idx的值的偏移矢量的示图。
图35(a)是应用表9的情况的示例,并且图35(b)是应用表10的情况的示例。
可以以比特流用信号发送用于确定矢量方向候选的数量或大小中的至少一个的信息。在示例中,可以以比特流用信号发送用于确定矢量方向候选的标志merge_offset_direction_range_flag。可在序列级、画面级或条带级用信号发送所述标志。在示例中,当所述标志的值为0时,可使用表9中所示的四个矢量方向候选。另一方面,当所述标志的值为1时,可使用表10或表11中所示的八个矢量方向候选。
可选地,基于偏移矢量的大小,可确定矢量方向候选的数量或大小中的至少一个。在示例中,当用于确定偏移矢量的大小的变量DistFromMergeMV的值等于或小于阈值时,可使用表10或表11中所示的八个矢量方向候选。另一方面,当变量DistFromMergeMV的值大于阈值时,可使用表9中所示的四个矢量方向候选。
可选地,基于初始运动矢量的x分量值MVx和初始运动矢量的y分量值MVy,可确定矢量方向候选的数量或大小中的至少一个。在示例中,当MVx与MVy之间的差或差的绝对值等于或小于阈值时,可使用表10或表11中所示的八个矢量方向候选。另一方面,当MVx与MVy之间的差或差的绝对值大于阈值时,可使用表9中所示的四个矢量方向候选。
可通过将偏移矢量与初始运动矢量相加来推导当前块的运动矢量。方程式15表示确定当前块的运动矢量的示例。
【方程式15】
mvL0[0]=mergeMVL0[0]+offsetMVL0[0]
mvL0[1]=mergeMVL0[1]+offsetMVL0[1]
mvL1[0]=mergeMVL1[0]+offsetMVL1[0]
mvL1[1]=mergeMVL1[1]+offsetMVL1[1]
在方程式15中,mvL0表示当前块的L0运动矢量,并且mvL1表示当前块的L1运动矢量。mergeMVL0表示当前块的L0初始运动矢量(即,合并候选的L0运动矢量),并且mergeMVL1表示当前块的L1初始运动矢量。[0]表示运动矢量的水平方向分量,并且[1]表示运动矢量的垂直方向分量。
可基于偏移矢量来更新基于仿射合并模式或仿射运动矢量预测模式推导出的仿射种子矢量或者子块的运动矢量(子块运动矢量或仿射子块矢量)。具体地,可通过将偏移与子块的仿射种子矢量或运动矢量相加或者从子块的仿射种子矢量或运动矢量减去偏移来推导更新的仿射种子矢量或更新的子块运动矢量。当在仿射运动模型中对仿射种子矢量或子块的运动矢量进行修正时,这可被称为仿射合并偏移编码方法。
当仿射运动模型被应用于编码块并且表示合并偏移编码方法是否被使用的标志merge_offset_vector_flag的值为1时,仿射合并偏移编码方法可被应用于编码块。
当确定仿射合并偏移编码方法被应用时,可用信号发送用于确定当前块的初始运动矢量的合并索引(merge_idx)、用于确定偏移矢量的大小的索引信息distance_idx和用于确定偏移矢量的方向的索引信息direction_idx。用于确定大小的索引信息distance_idx指示多个大小候选中的一个大小候选,并且用于确定方向的索引信息direction_idx指示多个方向候选中的一个方向候选。基于用于确定大小的索引信息distance_idx和用于确定方向的索引信息direction_idx,可确定偏移矢量(offsetAffice[0],offsetAffine[1])。
可通过将偏移矢量与仿射种子矢量相加或从仿射种子矢量减去偏移矢量来推导更新的仿射种子矢量。在这种情况下,可根据参考画面的方向确定应用于每个仿射种子矢量的偏移矢量的符号。在示例中,当双向预测被应用于编码块并且L0参考画面的时间方向与L1参考画面的时间方向相同时,如在下面的方程式16中,可将偏移矢量与每个仿射种子矢量相加。在这种情况下,可基于当前画面与参考画面之间的画面顺序计数(POC)差来确定时间方向。在示例中,当当前画面与L0参考画面之间的画面顺序计数(POC)差以及当前画面与L1参考画面之间的画面顺序计数(POC)差两者为负数时,或者当当前画面与L0参考画面之间的画面顺序计数(POC)差以及当前画面与L1参考画面之间的画面顺序计数(POC)差两者为正数时,可确定L0参考画面的时间方向与L1参考画面的时间方向相同。
【方程式16】
CpMV[0].mvL0[0]=CpMV[0].mvL0[0]+offsetAffine[0]
CpMV[0].mvL0[1]=CpMV[0].mvL0[1]+offsetAffine[1]
CpMV[1].mvL0[0]=CpMV[1].mvL0[0]+offsetAffine[0]
CpMV[1].mvL0[1]=CpMV[1].mvL0[1]+offsetAffine[1]
CpMV[2].mvL0[0]=CpMV[2].mvL0[0]+offsetAffine[0]
CpMV[2].mvL0[1]=CpMV[2].mvL0[1]+offsetAffine[1]
另一方面,当L0参考画面的时间方向与L1参考画面的时间方向不同时,如在下面的方程式17中,可通过将偏移矢量与每个仿射种子矢量相加或从每个仿射种子矢量减去偏移矢量来推导更新的仿射种子矢量。在示例中,当当前画面与L0参考画面之间的画面顺序计数(POC)差为负数而当前画面与L1参考画面之间的画面顺序计数(POC)差为正数时,或者当当前画面与L0参考画面之间的画面顺序计数(POC)差为正数而当前画面与L1参考画面之间的画面顺序计数(POC)差为负数时,可确定L0参考画面的时间方向与L1参考画面的时间方向不同。
【方程式17】
CpMV[0].mvL0[0]=CpMV[0].mvL0[0]+offsetAfrine[0]
CpMV[0].mvL0[1]=CpMV[0].mvL0[1]-offsetAffine[1]
CpMV[1].mvL0[0]=CpMV[1].mvL0[0]+offsetAffine[0]
CpMV[1].mvL0[1]=CpMV[1].mvL0[1]-offsetAffine[1]
CpMV[2].mvL0[0]=CpMV[2].mvL0[0]+offsetAffine[0]
CpMV[2].mvL0[1]=CpMV[2].mvL0[1]-offsetAffine[1]
方程式16和方程式17示出相同的偏移矢量被应用于全部仿射种子矢量,但本发明不限于此。还可单独地确定每个仿射种子矢量的偏移矢量。
可选地,可按子块设置偏移矢量。可通过使用对应子块的偏移矢量来更新子块的运动矢量。
根据当前块或邻近块的运动矢量精度,可不同地确定偏移矢量大小候选的范围。换句话说,根据当前块或邻近块的运动矢量精度,偏移矢量大小候选的数量、最小值或最大值中的至少一个可不同。在示例中,当仿射运动模型被应用于当前块并且当前块的运动矢量精度为1/4像素时,可通过distance_idx将变量DistFromMergeMV的值确定为1、2、4、8、16、32、64和128中的一个。另一方面,当当前块的运动矢量精度为整数像素时,可通过distance_idx将变量DistFromMergeMV的值确定为4、8、16、32、64、128、256和512中的一个。
在另一示例中,可以以比特流用信号发送用于指定多个偏移矢量大小候选集中的一个偏移矢量大小候选集的信息。包括在每个偏移矢量大小候选集中的偏移矢量大小候选的数量或类型中的至少一个可不同。在示例中,当第一偏移矢量大小候选集被选择时,可将变量DistFromMergeMV确定为{1,2,4,8,16,32,64,128}中的一个,并且当第二偏移矢量大小候选集被选择时,可将变量DistFromMergeMV确定为{4,8,16,32,64,128,256,512}中的一个。
可以以比特流用信号发送指定多个偏移矢量大小候选集中的一个偏移矢量大小候选集的索引信息DistMV_idx。在示例中,当DistMV_idx为0时,这表示第一偏移矢量大小候选集被选择,并且当DistMV_idx为1时,这表示第二偏移矢量大小候选集被选择。
可按子块或按样点设置偏移矢量。换句话说,针对子块或样点的偏移矢量(或差矢量)或偏移矢量阵列(或差矢量阵列)可被定义为偏移数据。
例如,当基于仿射种子矢量推导子块运动矢量时,可通过使用推导出的子块运动矢量来执行针对子块的运动补偿。在这种情况下,按子块或按样点的偏移矢量可另外被用于执行运动补偿。
可通过使用偏移矢量候选来推导子块的偏移矢量。可基于偏移矢量来更新子块运动矢量,并且可基于更新的子块运动矢量来执行针对子块的运动补偿。
可按子块中的预测样点推导偏移矢量。具体地,可基于子块中的每个预测样点的位置推导针对每个预测样点的偏移矢量。在这种情况下,可基于子块的左上样点确定预测样点的位置。
可基于将第二仿射种子矢量的x分量与第一仿射种子矢量的x分量之间的差值乘以预测样点的x轴坐标得到的值以及将第二仿射种子矢量的y分量与第一仿射种子矢量的y分量之间的差值乘以预测样点的y轴坐标得到的值来推导针对预测样点的偏移矢量的x分量。此外,可基于将第三仿射种子矢量的x分量与第一仿射种子矢量的x分量之间的差值乘以预测样点的x轴坐标得到的值以及将第三仿射种子矢量的y分量与第二仿射种子矢量的y分量之间的差值乘以预测样点的y轴坐标得到的值来推导针对预测样点的偏移矢量的y分量。
当4参数运动模型被应用于当前块时,可基于将第一仿射种子矢量的x分量与第二仿射种子矢量的x分量之间的差值乘以预测样点的x轴坐标得到的值以及将第二仿射种子矢量的y分量与第一仿射种子矢量的y分量之间的差值乘以预测样点的y轴坐标得到的值来推导偏移矢量的y分量。
如上所述,子块中的预测样点的偏移矢量可分别具有不同的值。但是,针对预测样点的偏移矢量阵列可共同被应用于全部子块。换句话说,应用于第一子块的偏移矢量阵列可与应用于第二子块的偏移矢量阵列相同。
可选地,可通过进一步考虑子块的位置来推导按样点的偏移矢量阵列。在这种情况下,可在子块之间应用不同的偏移矢量阵列。
在基于子块运动矢量针对子块执行运动补偿之后,可基于偏移矢量来更新每个预测样点。可基于预测样点的偏移矢量和对预测样点的梯度来执行预测样点更新。
可基于预测样点的差值推导对预测样点的梯度。可基于属于与第一预测样点相同的线的预测样点之间的差值或属于与第一预测样点邻近的线的预测样点之间的差值来推导对第一预测样点的梯度。
在示例中,可通过第一预测样点与属于与第一预测样点相同的线的另一预测样点之间的差值来推导对第一预测样点的梯度。具体地,可通过第一预测样点与属于与第一预测样点相同的行的第二预测样点之间的差值来推导第一预测样点的水平方向梯度,并且可通过第一预测样点与属于与第一预测样点相同的列的第三预测样点之间的差值来推导第一预测样点的垂直方向梯度。在这种情况下,第二预测样点和第三预测样点可与第一预测样点邻近。在示例中,第二预测样点可位于第一预测样点的左侧或右侧,并且第三预测样点可位于第一预测样点的上方或下方。可选地,第二预测样点和第三预测样点可在x轴和/或y轴方向上与第一预测样点间隔预定距离。在这种情况下,预定距离可以是诸如1、2或3等的自然数。
可选地,可将属于与第一预测样点相邻的线的预测样点的差值设置为针对第一预测样点的梯度。在示例中,可通过属于与第一预测样点相邻的行的预测样点的差值来推导第一预测样点的水平方向梯度。在这种情况下,与第一预测样点相邻的行可表示第一预测样点的上方行或下方行。用于推导第一预测样点的水平方向梯度的预测样点中的至少一个预测样点可与第一预测样点相邻,并且其它预测样点可与预测样点不相邻。在示例中,可基于位于第一预测样点的上方或下方的第二预测样点与在x轴方向上与第二预测样点间隔预定距离的第三预测样点之间的差值来推导针对第一预测样点的水平方向梯度。可通过属于与第一预测样点相邻的列的预测样点的差值来推导针对第一预测样点的垂直方向梯度。在这种情况下,与第一预测样点相邻的列可表示第一预测样点的左侧列或右侧行。用于推导第一预测样点的垂直方向梯度的预测样点中的至少一个预测样点可与第一预测样点相邻,并且其它预测样点可与第一预测样点不相邻。在示例中,可基于位于第一预测样点的左侧或右侧的第四预测样点与在y轴方向上与第四预测样点间隔预定距离的第五预测样点之间的差值来推导针对第一预测样点的垂直方向梯度。在这种情况下,预定距离可以是诸如1、2或3等的自然数。
方程式18表示推导针对第一预测样点的水平方向梯度gradientH和垂直方向梯度gradientV的示例。
【方程式18】
gradientH[x][y]=(predSample[x+2][y+1]-predSample[x][y+1])>>shift1
gradientV[x][y]=(predSample[x+1][y+2]-predSample[x+1][y])>>shift1
在方程式18中,predSample表示预测样点,并且[x][y]表示x轴和y轴坐标。shift1表示移位参数。移位参数可在编码装置和解码装置中具有预定义值。可选地,可基于当前块的尺寸、形状、高宽比或仿射运动模型中的至少一个自适应地确定移位参数。
当推导针对预测样点的梯度时,可通过使用梯度和偏移矢量来推导针对预测样点的偏移预测值。可基于梯度和偏移矢量的相乘运算来推导偏移预测值。在示例中,方程式19表示推导偏移预测值OffsetPred的示例。
【方程式19】
OffsetPred[x][y]=gradientH[x][y]*offsetMV[x][y][0]+gradientV*offsetMV[x][y][1]
当推导偏移预测值时,可通过将偏移预测值与预测样点相加来更新预测样点。方程式20表示更新预测样点的示例。
【方程式20】
predSample[x][y]=predSample[x][y]+OffsetPre[x][y]
在另一示例中,可通过将偏移矢量与周围的预测样点相加来更新预测样点。在这种情况下,周围的预测样点可包括位于预测样点的右侧的样点、位于预测样点的下方的样点或位于预测样点的右下方的样点中的至少一个。在示例中,方程式21表示通过使用周围的预测样点来更新预测样点的示例。
【方程式21】
predSample[x][y]=predSample[x+1][y+1]+OffsetPred[x][y]
可以以比特流用信号发送表示偏移矢量是否将被用于针对当前块执行运动补偿的信息。所述信息可以是1比特标志。
可选地,可基于当前块的尺寸、当前块的形状、或者仿射种子矢量是否相同来确定是否使用偏移矢量。在示例中,如果4参数仿射运动模型被应用于当前块,则当第一仿射种子矢量和第二仿射种子矢量相同时,偏移矢量可被用于运动补偿。可选地,如果6参数仿射运动模型被应用于当前块,则当第一仿射种子矢量、第二仿射种子矢量和第三仿射种子矢量相同时或者当第一仿射种子矢量、第二仿射种子矢量和第三仿射种子矢量中的两者相同时,偏移矢量可被用于运动补偿。
一个预测模式可被多次应用于当前块,并且多个预测模式可被冗余地应用。因此,使用相同或不同的预测模式的预测方法可被称为组合预测模式(或多假设预测模式)。
组合预测模式可包括将合并模式和合并模式进行组合的模式、将帧间预测和帧内预测进行组合的模式、将合并模式和运动矢量预测模式进行组合的模式、将运动矢量预测模式和运动矢量预测模式进行组合的模式或者将合并模式和帧内预测进行组合的模式中的至少一个。
在组合预测模式下,可基于第一预测模式生成第一预测块,并且可基于第二预测模式生成第二预测块。此后,可基于第一预测块和第二预测块的加权和运算来生成第三预测块。第三预测块可被设置为当前块的最终预测块。
在上述实施例中,描述了使用在合并模式下从合并候选推导出的运动信息的各种帧间预测方法。具体地,本说明书介绍了基于以下合并模式的帧间预测方法。
ⅰ)常规合并模式:基于从合并候选推导出的运动矢量来执行运动补偿的方法
ⅱ)合并偏移编码模式:基于偏移矢量修改从合并候选推导出的运动矢量并基于修改后的运动矢量执行运动补偿的方法
ⅲ)子块运动补偿模式:基于合并候选推导子块运动矢量并基于子块执行运动补偿的方法
ⅳ)基于预测单元分区的编码模式:将当前块分区为多个预测单元并从不同的合并候选推导每个预测单元的运动信息的方法
v)组合预测模式:将帧内预测和帧间预测(例如,合并模式)进行组合的方法
可以以比特流用信号发送表示允许基于合并模式的帧间预测方法的信息。在示例中,合并标志merge_flag表示当前块的至少一个运动信息是从合并候选推导出的。在示例中,当语法merge_flag的值为1时,这表示上述基于合并模式的帧间预测方法之一被应用于当前块。换句话说,当语法merge_flag的值为1时,常规合并模式、合并偏移编码模式、子块运动补偿模式、基于预测单元分区的编码模式或组合预测模式中的任意一种可被应用于当前块。另一方面,当语法merge_flag的值为0时,这表示上述基于合并模式的帧间预测方法不被应用于当前块。
虽然语法merge_flag为的值1,但是需要附加信息来确定应用于当前块的帧间预测方法,这是因为存在各种基于合并模式的帧间预测方法。在示例中,可另外用信号发送用于确定子块运动补偿模式是否被应用的语法merge_subblock_flag、用于确定合并偏移编码模式是否被应用的语法merge_offset_vector_flag或mmvd_flag、表示基于预测单元分区的编码模式是否被应用的triangle_partition_flag或merge_triangle_flag、或者表示组合预测模式是否被应用的ciip_flag中的至少一个。可选地,可基于当前块的尺寸或形状或者合并候选列表中包括的合并候选的数量中的至少一个而不是标志来确定基于特定合并模式的帧间预测方法是否被应用于当前块。
在这种情况下,当未应用除了常规合并模式之外的其他预测方法时,可将常规合并模式应用于当前块。但是,在这种情况下,存在以下问题:应该对大量语法元素进行解析以确定常规合并模式是否被应用于当前块。例如,存在以下问题:当在对表示合并偏移编码模式是否被应用的mmvd_flag、表示子块运动补偿是否被应用的merge_subblock_flag、表示基于预测单元分区的编码模式是否被应用的merge_triangle_flag和/或表示组合预测模式是否被应用的ciip_flag进行解析之后确定常规合并模式是否被应用时,虽然常规合并模式比其他模式更频繁地被使用,但是应该对大量语法元素进行解析。换句话说,对常规合并模式是否被应用于当前块的确定具有多步解析依赖性。此外,产生了以下问题:用于在常规合并模式下指定合并候选的索引信息merge_idx也具有高度解析依赖性。
为了解决上述问题,可单独对表示常规合并模式是否被使用的信息进行编码。具体地,表示常规合并模式是否被应用的标志regular_merge_flag可被编码并被用信号发送。
表12表示包括regular_merge_flag的语法表。
【表12】
Figure BDA0002902514150000771
Figure BDA0002902514150000781
仅当确定基于合并模式的帧间预测模式被应用于当前块时,可对语法regular_merge_flag进行编码。换句话说,仅当语法merge_flag为1时,可以以比特流用信号发送语法regular_merge_flag。
当语法regular_merge_flag为1时,这表示常规合并模式被应用于当前块。当确定常规合并模式被应用于当前块时,可以以比特流用信号发送用于指定合并候选中的一个合并候选的合并索引merge_idx。
当语法regular_merge_flag为0时,这表示常规合并模式未被应用于当前块。当语法regular_merge_flag为0时,可以以比特流用信号发送表示合并偏移编码模式是否被应用的mmvd_flag、表示子块运动补偿模式是否被应用的merge_subblock_flag、表示组合预测模式是否被应用的ciip_flag或表示基于预测单元分区的编码模式是否被应用的merge_triangle_flag中的至少一个。
可选地,可省略用信号发送标志merge_triangle_flag的操作,并且可基于ciip_flag确定基于预测单元分区的编码模式是否被应用。在示例中,当ciip_flag为真时,这表示组合预测模式被应用于当前块,并且未应用基于预测单元分区的编码模式。当ciip_flag为假时,这表示组合预测模式未被应用于当前块,并且基于预测单元分区的编码模式可被应用。
可选地,可在表示常规合并模式是否被应用的regular_merge_flag之前用信号发送表示合并偏移编码模式是否被应用的mmvd_flag、表示子块运动补偿模式是否被应用的merge_subblock_flag、表示组合预测模式是否被应用的ciip_flag或表示基于预测单元分区的编码模式是否被应用的merge_triangle_flag中的至少一个。在示例中,当表示子块运动补偿模式是否被应用的标志merge_subblock_flag的值为0时,可用信号发送表示常规合并是否被应用的regular_merge_flag。
作为表示常规合并模式是否被应用的标志的替代,表示常规合并模式或合并偏移编码模式中的至少一个是否被应用的标志可被编码并被用信号发送。在示例中,可以以比特流用信号发送表示常规合并模式或合并偏移编码模式中的至少一个是否被应用的regular_mmvd_merge_flag。
表13表示包括regular_mmvd_merge_flag的语法表。
【表13】
Figure BDA0002902514150000801
Figure BDA0002902514150000811
仅当确定基于合并模式的帧间预测模式被应用于当前块时,可对语法regular_mmvd_merge_flag进行编码。换句话说,仅当语法merge_flag为1时,可以以比特流用信号发送语法regular_mmvd_merge_flag。
当语法regular_mmvd_merge_flag的值为1时,这表示常规合并模式或合并偏移编码模式被应用于当前块。当语法regular_mmvd_merge_flag为1时,可另外用信号发送表示合并偏移编码模式是否被应用于当前块的语法mmvd_flag。当语法mmvd_flag的值为1时,这表示合并偏移编码模式被应用于当前块,并且当语法mmvd_flag的值为0时,这表示常规合并模式被应用于当前块。
当语法regular_mmvd_merge_flag的值为0时,这表示常规合并模式和合并偏移编码模式未被应用于当前块。当语法regular_mmvd_merge_flag的值为0时,可以以比特流用信号发送表示子块运动补偿模式是否被应用的merge_subblock_flag、表示组合预测模式是否被应用的ciip_flag或表示基于预测单元分区的编码模式是否被应用的merge_triangle_flag中的至少一个。
可选地,可省略用信号发送标志merge_triangle_flag的操作,并且可基于ciip_flag确定基于预测单元分区的编码模式是否被应用。在示例中,当ciip_flag为真时,这表示组合预测模式被应用于当前块,并且未应用基于预测单元分区的编码模式。当ciip_flag为假时,这表示组合预测模式未被应用于当前块,并且基于预测单元分区的编码模式可被应用。
可选地,可在表示常规合并模式或合并偏移编码模式是否被应用的regular_mmvd_merge_flag之前用信号发送表示子块运动补偿模式是否被应用的merge_subblock_flag、表示组合预测模式是否被应用的ciip_flag或表示基于预测单元分区的编码模式是否被应用的merge_triangle_flag中的至少一个。在示例中,当表示子块运动补偿模式是否被应用的标志merge_subblock_flag的值为0时,可用信号发送表示常规合并模式或合并偏移编码模式是否被应用的标志regular_mmvd_merge_flag。
当标志regular_mmvd_merge_flag的值为1时,用于指定合并候选中的一个合并候选的合并索引merge_idx可被编码并被用信号发送,并且可基于merge_idx的值来确定合并偏移编码模式的可用性。在示例中,当语法merge_idx的值小于阈值时,常规合并模式或合并偏移编码模式可被应用于当前块。另一方面,当语法merge_idx的值等于或大于阈值时,常规合并模式被应用于当前块,并且合并偏移编码模式不被应用。
在示例中,仅当merge_idx的值小于2时,表示合并偏移编码模式是否被应用的语法mmvd_flag可被编码并被用信号发送。另一方面,当merge_idx的值等于或大于2时,可省略对表示合并偏移编码模式是否被应用的语法mmvd_flag的编码,并且常规合并模式可被应用于当前块。换句话说,仅当merge_idx的值小于2时,合并偏移编码模式可被应用。
当语法mmvd_flag为1时,这表示合并偏移编码模式被应用。当合并偏移编码模式被应用时,可将由合并索引merge_idx指示的合并候选的运动矢量设置为初始运动矢量。换句话说,可基于在mmvd_flag之前被解析的merge_idx来指定合并候选中的用于推导初始运动矢量的合并候选。
可选地,当mmvd_flag为1时,可以以比特流用信号发送用于确定偏移矢量的distance_idx和direction_idx。
在另一示例中,语法表可被配置为使得合并索引merge_idx将在表示常规合并模式是否被应用的标志(例如,regular_merge_flag或regular_mmvd_merge_flag)之前被解析。
表14表示合并索引在表示常规合并模式是否被应用的标志之前被解析的示例。
【表14】
Figure BDA0002902514150000841
Figure BDA0002902514150000851
当确定针对当前块执行了基于合并模式的运动预测时,可用信号发送用于指定合并候选中的一个合并候选的合并索引。换句话说,当语法merge_flag的值为1时,可用信号发送用于指定合并候选的merge_idx。
在对合并索引merge_idx进行解析之后,可对表示常规合并模式是否被应用的标志进行解析。在示例中,表14示出了在对merge_idx进行解析之后对表示常规合并模式是否被应用的标志regular_merge_flag进行解析。与表14中的示例不同,表示常规合并模式或合并偏移编码模式是否被应用的标志mmvd_flag可被设置为在用信号发送合并索引merge_idx之后被用信号发送。
当常规合并模式被应用时,由合并索引merge_idx指定的合并候选可被用于推导当前块的运动信息。
当合并偏移编码模式被应用时,由合并索引merge_idx指定的合并候选可被用于推导当前块的初始运动矢量。仅当合并索引小于阈值时,可以以比特流用信号发送表示合并偏移编码模式是否被应用的标志mmvd_flag。
当确定未应用常规合并模式时(例如,当regular_merge_flag或regular_mmvd_merge_flag为0时),可用信号发送表示子块运动补偿模式是否被应用的标志merge_subblock_flag。当子块运动补偿模式被应用时,由合并索引merge_idx指定的合并候选可被用于推导子块的运动矢量。
当确定常规合并模式未被应用于当前块时(例如,当regular_merge_flag或regular_mmvd_merge_flag为0时),基于预测单元分区的编码模式可被应用于当前块。当基于预测单元分区的编码模式被应用时,可将由合并索引merge_idx指定的合并候选设置为第一分区和第二分区中的一个分区的合并候选。当基于预测单元分区的编码模式被应用时,可另外用信号发送用于指定第一分区或第二分区中的另一个分区的合并候选的合并索引。
仅当当前块的尺寸小于阈值时,可用信号发送表示上述常规合并模式是否被应用的regular_merge_flag或regular_mmvd_merge_flag。在示例中,当当前块的尺寸小于128×128时,可用信号发送表示常规合并模式是否被应用的标志。当未用信号发送表示常规合并模式是否被应用的标志时,这表示常规合并模式未被应用于当前块。在这种情况下,基于预测单元分区的编码模式可被应用于当前块。
帧内预测是一种用于通过使用已经被编码/解码且在当前块周围的重建样点来对当前块执行预测的方法。就此而言,在应用环内滤波器之前的重建样点可被用于当前块的帧内预测。
帧内预测方法包括基于矩阵的帧内预测以及根据邻近重建样点的方向的帧内预测。可以以比特流用信号发送指示当前块的帧内预测方法的信息。所述信息可以是1比特标志。可选地,可基于当前块的位置、当前块的尺寸、当前块的形状或邻近块的帧内预测方法中的至少一个来确定当前块的帧内预测。在示例中,当当前块呈现为跨越画面边界时,可设置为使得基于矩阵的帧内预测方法不被应用于当前块。
基于矩阵的帧内预测方法是一种基于存储在编码器和解码器中的矩阵和当前块周围的重建样点的矩阵乘积来获得当前块的预测块的方法。可以以比特流用信号发送用于指定多个预存储的矩阵中的任意一个矩阵的信息。解码器可基于上述信息和当前块的尺寸来确定用于对当前块执行帧内预测的矩阵。
一般帧内预测是一种基于非方向帧内预测模式或方向帧内预测模式来获得当前块的预测块的方法。
可通过从原始图像减去预测图像来推导残差图像。就此而言,当将残差图像转换到频域时,即使从频率分量去除了高频分量,图像的主观图像质量也不会显著下降。因此,当高频分量的值被变换为小值时,或者当高频分量的值被设置为0时,可在不导致大的视觉失真的情况下提高压缩效率。反映上述特征,可对当前块执行变换,以便将残差图像分解为二维频率分量。可通过使用诸如DCT(离散余弦变换)、DST(离散正弦变换)等的变换方法来执行变换。
可基于块来确定变换方法。可基于针对当前块的预测编码模式、当前块的尺寸或当前块的尺寸中的至少一个来确定变换方法。在示例中,当通过帧内预测模式对当前块进行编码并且当前块的尺寸小于N×N时,可通过使用DST的变换方法来执行变换。另一方面,当不满足上述条件时,可通过使用DCT的变换方法来执行变换。
对于残差图像的部分块,可不执行二维图像变换。不执行二维图像变换可被称为变换跳过。当应用变换跳过时,可将量化应用于不执行变换的残差值。
在通过使用DCT或DST对当前块执行变换之后,可再次对经过变换的当前块执行变换。就此而言,基于DCT或DST的变换可被定义为首次变换,并且再次对应用了首次变换的块执行变换可被定义为二次变换。
可通过使用多个变换核候选中的任意一个来执行首次变换。在示例中,可通过使用DCT2、DCT8或DCT7中的任意一个来执行首次变换。
不同变换核可被用于水平方向和垂直方向。可以以比特流用信号发送表示水平方向的变换核和垂直方向的变换核的组合的信息。
首次变换的处理单元可不同于二次变换。在示例中,可对8×8的块执行首次变换,并且可对经过变换的8×8的块内的4×4尺寸的子块执行二次变换。就此而言,可将针对不执行二次变换的其余区域的变换系数设置为0。
可选地,可对4×4的块执行首次变换,并且可对包括经过变换的4×4的块的尺寸为8×8的区域执行二次变换。
可以以比特流用信号发送表示是否执行二次变换的信息。
可选地,可基于水平方向变换核和垂直方向变换核是否彼此相同来确定是否执行二次变换。在一个示例中,可仅在水平方向变换核和垂直方向变换核彼此相同时执行二次变换。可选地,可仅在水平方向变换核和垂直方向变换核彼此不同时执行二次变换。
可选地,可仅在预定义变换核被用于水平方向变换和垂直方向变换时允许二次变换。在一个示例中,当DCT2变换核被用于水平方向上的变换和垂直方向上的变换时,可允许二次变换。
可选地,可基于当前块的非零变换系数的数量确定是否执行二次变换。在一个示例中,当当前块的非零变换系数的数量小于或等于阈值时,预测方法可被配置为不使用二次变换。当当前块的非零变换系数的数量大于阈值时,预测方法可被配置为使用二次变换。只要使用帧内预测对当前块进行编码,预测方法就可被配置为使用二次变换。
解码器可执行相对于二次变换的逆变换(二次逆变换),并且可执行相对于作为二次逆变换的结果的首次变换的逆变换(首次逆变换)。作为执行二次逆变换和首次逆变换的结果,可获得针对当前块的残差信号。
当由编码器执行变换和量化时,解码器可经由反量化和逆变换获得残差块。解码器可将预测块和残差块彼此相加,以获得针对当前块的重建块。
当获得当前块的重建块时,可经由环内滤波降低在量化和编码处理中发生的信息的损失。环内滤波器可包括去块滤波器、样点自适应偏移滤波器(SAO)或自适应环路滤波器(ALF)中的至少一个。
将如关于解码处理或编码处理所描述的实施例分别应用于编码处理或解码处理的操作可被包括在本公开的范围中。在本公开的范围内,操作按照预定顺序发生的实施例可被修改为操作按照与所述预定顺序不同的顺序发生的实施例。
虽然基于一系列操作或流程图描述了上述实施例,但是所述实施例不将方法的操作的时间序列顺序限制于此。在另一示例中,操作可根据需要同时执行或按照与其不同的顺序来执行。此外,在上述实施例中,构成框图的组件中的每个组件(例如,单元、模块等)可以以硬件装置或软件的形式来实现。多个组件可被彼此组合为可使用单个硬件装置或软件来实现的单个组件。可使用可经由各种计算机组件执行的程序指令来实现上述实施例。指令可被记录在计算机可读存储介质中。计算机可读存储介质可在其中单独地或彼此组合地包括程序指令、数据文件、数据结构等。计算机可读存储介质的示例包括磁介质(诸如硬盘、软盘和磁带)、光学存储介质(诸如CD-ROM、DVD)和磁光介质(诸如软光盘)以及被专门配置为在其中存储并执行程序指令的硬件装置(诸如ROM、RAM、闪存等)。硬件装置可被配置为如一个或更多个软件模块进行操作以执行根据本公开的处理,反之亦可。
工业实用性
本公开可被应用于对视频进行编码/解码的电子装置。

Claims (14)

1.一种对视频进行解码的方法,包括:
对表示基于合并模式的帧间预测是否被应用于当前块的第一标志进行解析;
当第一标志为真时,对表示常规合并模式或合并偏移编码模式是否被应用于当前块的第二标志进行解析;并且
当第二标志为真时,对表示合并偏移编码模式是否被应用于当前块的第三标志进行解析,
其中,当第三标志为真时,合并偏移编码模式被应用于当前块,并且当第三标志为假时,常规合并模式被应用于当前块。
2.如权利要求1所述的方法,其中,当第二标志为假时,对表示组合预测模式是否被应用于当前块的第四标志进行解析。
3.如权利要求2所述的方法,其中,当第四标志为假时,基于预测单元分区的编码方法被应用。
4.如权利要求1所述的方法,其中,从当前块的合并候选列表推导当前块的运动信息,
其中,当从当前块的邻近块推导出的合并候选的数量等于或小于阈值时,包括在运动信息表中的运动信息候选作为合并候选被添加到所述合并候选列表。
5.如权利要求4所述的方法,其中,当当前块被包括在合并处理区域中时,在对包括在所述合并处理区域中的块进行解码时不更新所述运动信息表。
6.如权利要求4所述的方法,其中,当当前块被包括在合并处理区域中时,基于当前块在所述合并处理区域中的位置来确定是否在所述运动信息表中更新当前块的运动信息。
7.如权利要求6所述的方法,其中,当当前块在所述合并处理区域中的右下方位置时,确定更新所述运动信息表中的当前块的运动信息。
8.一种视频编码方法,包括:
对表示基于合并模式的帧间预测是否被应用于当前块的第一标志进行编码;
当第一标志为真时,对表示常规合并模式或合并偏移编码模式是否被应用于当前块的第二标志进行编码;并且
当第二标志为真时,对表示合并偏移编码模式是否被应用于当前块的第三标志进行编码,
其中,当合并偏移编码模式被应用于当前块时,第三标志被设置为真,并且当常规合并模式被应用于当前块时,第三标志被设置为假。
9.如权利要求8所述的方法,其中,当第二标志为假时,对表示组合预测模式是否被应用于当前块的第四标志进行编码。
10.如权利要求9所述的方法,其中,当组合预测模式被应用于当前块时,第四标志被设置为真,并且当基于预测单元分区的编码方法被应用于当前块时,第四标志被设置为假。
11.如权利要求8所述的方法,其中,从当前块的合并候选列表推导当前块的运动信息,
其中,当从当前块的邻近块推导出的合并候选的数量等于或小于阈值时,包括在运动信息表中的运动信息候选作为合并候选被添加到所述合并候选列表。
12.如权利要求11所述的方法,其中,当当前块被包括在合并处理区域中时,在对包括在所述合并处理区域中的块进行解码时不更新所述运动信息表。
13.如权利要求11所述的方法,其中,当当前块被包括在合并处理区域中时,基于当前块在所述合并处理区域中的位置来确定是否在所述运动信息表中更新当前块的运动信息。
14.如权利要求13所述的方法,其中,当当前块在所述合并处理区域中的右下方位置时,确定更新所述运动信息表中的当前块的运动信息。
CN202080004012.5A 2019-02-26 2020-02-26 用于对视频信号进行编码/解码的方法及其设备 Active CN112425160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310512325.7A CN116366840A (zh) 2019-02-26 2020-02-26 用于对视频信号进行编码/解码的方法及其设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0022767 2019-02-26
KR20190022767 2019-02-26
PCT/KR2020/002754 WO2020175915A1 (ko) 2019-02-26 2020-02-26 영상 신호 부호화/복호화 방법 및 이를 위한 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310512325.7A Division CN116366840A (zh) 2019-02-26 2020-02-26 用于对视频信号进行编码/解码的方法及其设备

Publications (2)

Publication Number Publication Date
CN112425160A true CN112425160A (zh) 2021-02-26
CN112425160B CN112425160B (zh) 2023-05-12

Family

ID=72239766

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310512325.7A Pending CN116366840A (zh) 2019-02-26 2020-02-26 用于对视频信号进行编码/解码的方法及其设备
CN202080004012.5A Active CN112425160B (zh) 2019-02-26 2020-02-26 用于对视频信号进行编码/解码的方法及其设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310512325.7A Pending CN116366840A (zh) 2019-02-26 2020-02-26 用于对视频信号进行编码/解码的方法及其设备

Country Status (5)

Country Link
US (3) US11025944B2 (zh)
KR (2) KR102597617B1 (zh)
CN (2) CN116366840A (zh)
WO (1) WO2020175915A1 (zh)
ZA (1) ZA202104757B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102597617B1 (ko) 2019-02-26 2023-11-03 애플 인크. 영상 신호 부호화/복호화 방법 및 이를 위한 장치
KR20210130809A (ko) * 2019-03-05 2021-11-01 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 하이브리드 비디오 코딩 도구를 위한 사용 사례 기반 컨텍스트 모델 선택
WO2020207497A1 (en) 2019-04-12 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Applicability of matrix-based intra prediction
CN113748676B (zh) 2019-04-16 2024-05-10 北京字节跳动网络技术有限公司 帧内编解码模式下的矩阵推导
KR20220002318A (ko) 2019-05-01 2022-01-06 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 필터링을 이용한 행렬 기반 인트라 예측
CN113728647B (zh) 2019-05-01 2023-09-05 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文编码
SG11202112517QA (en) 2019-05-22 2021-12-30 Beijing Bytedance Network Technology Co Ltd Matrix-based intra prediction using upsampling
KR20220013939A (ko) 2019-05-31 2022-02-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 행렬 기반 인트라 예측에서의 제한된 업샘플링 프로세스
EP3963885A4 (en) 2019-06-05 2022-12-14 Beijing Bytedance Network Technology Co., Ltd. DETERMINING CONTEXT FOR MATRIX-BASED INTRAPREDICTION
JP7460664B2 (ja) * 2019-06-19 2024-04-02 エルジー エレクトロニクス インコーポレイティド 決定された予測モードを適用して予測サンプルを生成する映像デコーディング方法及びその装置
US11523104B2 (en) * 2019-09-19 2022-12-06 Alibaba Group Holding Limited Methods for constructing a merge candidate list
CN117615155A (zh) 2019-09-19 2024-02-27 北京字节跳动网络技术有限公司 视频编解码中的参考样点位置推导
BR112022006453A2 (pt) 2019-10-05 2022-09-27 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamento não transitório legível por computador e meio de gravação não transitório legível por computador
CN114556918A (zh) 2019-10-12 2022-05-27 北京字节跳动网络技术有限公司 细化视频编解码工具的使用和信令
CN114641997A (zh) 2019-10-28 2022-06-17 北京字节跳动网络技术有限公司 基于颜色分量的语法信令通知和解析
KR20220113379A (ko) * 2019-12-27 2022-08-12 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 픽처 헤더의 슬라이스 유형의 시그널링

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130028633A (ko) * 2011-09-09 2013-03-19 주식회사 케이티 화면 간 예측 수행시 후보 블록 결정 방법 및 이러한 방법을 사용하는 장치
CN104396248A (zh) * 2012-10-12 2015-03-04 韩国电子通信研究院 图像编码/解码方法和使用其的装置
KR20180037583A (ko) * 2016-10-04 2018-04-12 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN109314785A (zh) * 2016-04-08 2019-02-05 韩国电子通信研究院 用于导出运动预测信息的方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017176092A1 (ko) * 2016-04-08 2017-10-12 한국전자통신연구원 움직임 예측 정보를 유도하는 방법 및 장치
US11019357B2 (en) * 2018-08-07 2021-05-25 Qualcomm Incorporated Motion vector predictor list generation
JP7193624B2 (ja) * 2018-10-02 2022-12-20 エルジー エレクトロニクス インコーポレイティド Hmvpに基づいて予測候補を構成する方法及び装置
CN112840645B (zh) * 2018-10-10 2023-12-12 寰发股份有限公司 视频编码系统中组合多个预测子用于块预测的方法及装置
US20200169757A1 (en) 2018-11-23 2020-05-28 Mediatek Inc. Signaling For Multi-Reference Line Prediction And Multi-Hypothesis Prediction
US11146810B2 (en) 2018-11-27 2021-10-12 Qualcomm Incorporated Decoder-side motion vector refinement
KR102597617B1 (ko) 2019-02-26 2023-11-03 애플 인크. 영상 신호 부호화/복호화 방법 및 이를 위한 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130028633A (ko) * 2011-09-09 2013-03-19 주식회사 케이티 화면 간 예측 수행시 후보 블록 결정 방법 및 이러한 방법을 사용하는 장치
CN104396248A (zh) * 2012-10-12 2015-03-04 韩国电子通信研究院 图像编码/解码方法和使用其的装置
CN109314785A (zh) * 2016-04-08 2019-02-05 韩国电子通信研究院 用于导出运动预测信息的方法和装置
KR20180037583A (ko) * 2016-10-04 2018-04-12 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS ET AL.: "<Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11>", 18 January 2019, pages: 92 - 94 *

Also Published As

Publication number Publication date
CN112425160B (zh) 2023-05-12
ZA202104757B (en) 2022-06-29
US11632562B2 (en) 2023-04-18
CN116366840A (zh) 2023-06-30
US20210258599A1 (en) 2021-08-19
KR20230155381A (ko) 2023-11-10
WO2020175915A1 (ko) 2020-09-03
US20210105499A1 (en) 2021-04-08
KR20200104253A (ko) 2020-09-03
KR102597617B1 (ko) 2023-11-03
US11025944B2 (en) 2021-06-01
US20230370631A1 (en) 2023-11-16

Similar Documents

Publication Publication Date Title
CN112425160B (zh) 用于对视频信号进行编码/解码的方法及其设备
KR102608847B1 (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
CN112673637A (zh) 用于对图像信号进行编码/解码的方法及其装置
KR102617439B1 (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
CN112514384A (zh) 视频信号编码/解码方法及其装置
US20220303532A1 (en) Method for encoding/decoding image signal and device therefor
CN113329224A (zh) 视频信号编码/解码方法以及用于所述方法的设备
CN113382234B (zh) 视频信号编码/解码方法以及用于所述方法的设备
CN113170130A (zh) 图像信号编码/解码方法及其装置
CN112930683A (zh) 用于对图像信号进行编码/解码的方法及其设备
KR102597461B1 (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
CN113039799B (zh) 图像信号编码/解码方法及其设备
CN113507603A (zh) 图像信号编码/解码方法及其设备
CN112236996A (zh) 视频信号编码/解码方法及其装置
CN113711596A (zh) 图像信号编码/解码方法及其装置
CN113574878A (zh) 用于对视频信号进行编码/解码的方法及其设备
CN112970251A (zh) 用于对图像信号进行编码/解码的方法及其装置
CN113056912B (zh) 用于对图像信号进行编码/解码的方法及其装置
CN112956198A (zh) 用于对图像信号进行编码/解码的方法及其装置
CN112237003B (zh) 用于对图像信号编码/解码的方法及其装置
CN113170199B (zh) 用于对图像信号进行编码/解码的方法及其装置
CN113287310A (zh) 用于对图像信号进行编码/解码方法及其装置
CN112237003A (zh) 用于对图像信号编码/解码的方法及其装置
CN113170199A (zh) 用于对图像信号进行编码/解码的方法及其装置
CN114556922A (zh) 通过使用分区对图像进行编码/解码的方法、设备和记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220414

Address after: California, USA

Applicant after: APPLE Inc.

Address before: Gyeonggi Do city of South Korea

Applicant before: Xris Co.,Ltd.

GR01 Patent grant
GR01 Patent grant