CN110463201B - 使用参考块的预测方法和装置 - Google Patents

使用参考块的预测方法和装置 Download PDF

Info

Publication number
CN110463201B
CN110463201B CN201880020487.6A CN201880020487A CN110463201B CN 110463201 B CN110463201 B CN 110463201B CN 201880020487 A CN201880020487 A CN 201880020487A CN 110463201 B CN110463201 B CN 110463201B
Authority
CN
China
Prior art keywords
block
prediction
mode
information
target block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880020487.6A
Other languages
English (en)
Other versions
CN110463201A (zh
Inventor
李镇浩
林成昶
姜晶媛
高玄硕
李河贤
全东山
赵承炫
金晖容
金在坤
朴都铉
崔海哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Industry Academic Cooperation Foundation of Hanbat National University
University Industry Cooperation Foundation of Korea Aerospace University
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Industry Academic Cooperation Foundation of Hanbat National University
University Industry Cooperation Foundation of Korea Aerospace University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI, Industry Academic Cooperation Foundation of Hanbat National University, University Industry Cooperation Foundation of Korea Aerospace University filed Critical Electronics and Telecommunications Research Institute ETRI
Priority to CN202311626814.1A priority Critical patent/CN117425006A/zh
Priority to CN202311628472.7A priority patent/CN117395394A/zh
Priority to CN202311630162.9A priority patent/CN117395395A/zh
Priority claimed from PCT/KR2018/003393 external-priority patent/WO2018174618A1/ko
Publication of CN110463201A publication Critical patent/CN110463201A/zh
Application granted granted Critical
Publication of CN110463201B publication Critical patent/CN110463201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

本发明涉及一种用于视频的解码方法、解码装置、编码方法和编码装置,其中,在对视频进行编码和解码中,可使用用于将被预测的块的预测模式信息从多个预测模式之中选择预测模式,并可基于选择的预测模式对将被预测的块执行预测。预测模式信息可包括与参考块相关联的信息,其中,参考块可包括在空间上与将被预测的块相邻的空间邻近块和在时间上与将被预测的块相邻的时间邻近块中的至少一个。如果选择了多个预测模式,则可通过预测模式确定信息的信号传送来确定在选择的多个预测模式之中的将被用于对将被预测的块进行预测的预测模式。

Description

使用参考块的预测方法和装置
技术领域
以下实施例总体上涉及一种视频解码方法和设备以及视频编码方法和设备,更具体地讲,涉及一种用于在对视频进行编码和解码时使用参考块执行预测的方法和设备。
本申请要求于2017年3月22日提交的第10-2017-0036267号韩国专利申请的权益,其在此通过整体引用被合并到本申请中。
背景技术
随着信息与通信行业的持续发展,支持高清晰度(HD)分辨率的广播服务已经在全世界普及。通过这种普及,大量用户已经习惯了高分辨率和高清晰度图像和/或视频。
为了满足用户对高清晰度的需求,大量机构已加速了对下一代成像装置的开发。用户除了对高清晰度TV(HDTV)和全高清晰度(FHD)TV的兴趣已增加之外,对UHD TV的兴趣也已增加,其中,UHD TV的分辨率是全高清晰度(FHD)TV的分辨率的四倍以上。随着其兴趣的增加,不断地需要对于具有更高分辨率和更高清晰度的图像的图像编码/解码技术。
图像编码/解码设备和方法可使用帧间预测技术、帧内预测技术、熵编码技术等,以便对高分辨率和高清晰度图像执行编码/解码。帧间预测技术可以是用于使用时间上在前的画面和/或时间上在后的画面对当前画面中包括的像素的值进行预测的技术。帧内预测技术可以是用于使用关于在当前画面中的像素的信息对当前画面中包括的像素的值进行预测的技术。熵编码技术可以是用于将短码字分配给频繁出现的符号并且将长码字分配给很少出现的符号的技术。
已开发出各种预测方法来提高帧内预测和/或帧间预测的效率和精度。预测效率可能根据各种可应用的预测方法中的哪一种预测方法将被用于对块进行编码和/或解码而发生很大改变。
发明内容
技术问题
实施例旨在提供一种使用关于参考块的信息执行预测的编码设备和方法以及解码设备和方法。
实施例旨在提供一种使用关于空间参考块和/或时间参考块执行预测的编码设备和方法以及解码设备和方法。
技术方案
根据一方面,提供了一种编码设备,所述编码设备包括:处理单元,用于使用用于目标块的预测模式信息从多个预测模式中选择预测模式,并基于选择的预测模式对目标块执行预测,其中,预测模式信息包括与参考块相关的信息,并且其中,参考块包括在空间上与目标块相邻的空间邻近块和在时间上与目标块相邻的时间邻近块中的一个或更多个。
根据另一方面,提供了一种解码设备,所述解码设备包括:处理单元,用于使用用于目标块的预测模式信息从多个预测模式中选择预测模式,并基于选择的预测模式对目标块执行预测,其中,预测模式信息包括与参考块相关的信息,并且其中,参考块包括在空间上与目标块相邻的空间邻近块和在时间上与目标块相邻的时间邻近块中的一个或更多个。
根据另一方面,提供了一种解码方法,所述解码方法包括:使用用于目标块的预测模式信息从多个预测模式中选择预测模式;并且基于选择的预测模式对目标块执行预测,其中,预测模式信息包括与参考块相关的信息,并且其中,参考块包括在空间上与目标块相邻的空间邻近块和在时间上与目标块相邻的时间邻近块中的一个或更多个。
选择的预测模式可包括若干预测模式。
可使用预测模式决定信息在选择的所述若干预测模式之中决定将被用于对目标块进行预测的预测模式。
所述解码方法还可包括:接收包括预测模式决定信息的比特流。
预测模式决定信息可包括一条或更多条部分预测模式决定信息。
选择的预测模式可包括一个或更多个预测模式。
所述一条或更多条部分预测模式决定信息中的至少一部分可根据选择的一个或更多个预测模式在对预测模式决定信息的信号传送中被省略。
预测模式决定信息可包括匹配模式标识符。
选择的预测模式可包括所述若干预测模式,匹配模式标识符指示选择的所述若干预测模式之中的将被用于对目标块进行解码的预测模式。
当选择的预测模式是一个预测模式时,预测模式决定信息可不包括匹配模式标识符。
预测模式决定信息可包括匹配预测标识符。
匹配预测标识符可指示预测模式是否是从所述多个预测模式中选择的。
与参考块相关的信息可包括参考块的运动矢量、参考块的预测方向、用于参考块的参考画面索引、参考块的编码模式、用于参考块的参考画面列表、参考块的画面顺序计数(POC)、参考块的量化参数(QP)和参考块的编码块标志(CBF)中的一个或更多个。
所述多个预测模式可包括模板匹配模式和双边匹配模式。
参考块可包括多个参考块。
可推导所述多个参考块的运动矢量,可确定在推导出的运动矢量之间的一致性,并且可基于所述一致性来选择预测模式。
可经由所述一致性与阈值之间的比较将模板匹配模式和双边匹配模式之一选为目标块的预测模式。
可使用预测方向从所述多个预测模式中选择预测模式。
所述预测方向可以是目标块的预测方向或参考块的预测方向。
可根据单向预测和双向预测中的哪一个是目标块的帧间预测来选择预测模式。
当帧间预测是双向预测时,可从所述多个预测模式中选择双边匹配模式。
当帧间预测是单向预测时,可从所述多个预测模式中选择模板匹配模式。
可使用参考块的编码参数从所述多个预测模式中选择预测模式。
可根据参考块的编码参数来确定参考块的预测模式是帧内预测模式还是帧间预测模式,并且可根据帧内预测模式和帧间预测模式中的哪一个是参考块的预测模式来从所述多个预测模式中决定选择的预测模式。
可基于特定的POC之间的差从所述多个预测模式中选择预测模式。
有益效果
提供了一种使用关于参考块的信息执行预测的编码设备和方法以及解码设备和方法。
提供了一种使用关于空间参考块和/或时间参考块执行预测的编码设备和方法以及解码设备和方法。
附图说明
图1是示出被应用了本公开的编码设备的实施例的配置的框图;
图2是示出被应用了本公开的解码设备的实施例的配置的框图;
图3是示意性地示出了当图像被编码和解码时图像的分区结构的示图;
图4是示出编码单元(CU)能够包括的预测单元(PU)的形式的示图;
图5是示出能够被包括在CU中的变换单元(TU)的形式的示图;
图6是用于解释帧内预测过程的实施例的示图;
图7是用于解释帧内预测过程中使用的参考样点的位置的示图;
图8是用于解释帧间预测过程的实施例的示图;
图9示出根据实施例的空间候选;
图10示出根据实施例的将空间候选的运动信息添加到合并列表的顺序;
图11示出根据示例的变换和量化处理;
图12是根据实施例的编码设备的配置图;
图13是根据实施例的解码设备的配置图;
图14是根据实施例的预测方法的流程图;
图15是根据实施例的预测模式选择方法的流程图;
图16示出了根据示例的参考块;
图17示出了根据示例的当两个预测模式被选择时的预测模式决定信息的信号传送;
图18示出了根据示例的当一个预测模式被选择时的预测模式决定信息的信号传送;
图19示出了根据示例的当一个预测模式被选择时的预测模式决定信息的信号传送;
图20示出了根据示例的使用双边匹配模式对目标块的预测;
图21示出了根据示例的使用模板匹配模式对目标块的预测;
图22是示出根据实施例的目标块预测方法和比特流产生方法的流程图;
图23是根据实施例的使用比特流的目标块预测方法的流程图。
最佳实施方式
本发明可被各种改变,并且可具有各种实施例,下面将参照附图详细地描述特定实施例。然而,应理解,这些实施例不意图将本发明限制为特定的公开形式,它们包括在本发明的精神和范围内包括的所有变化、等同或修改。
将参照示出特定实施例的附图对以下示例性实施例进行详细描述。描述这些实施例,使得本公开所属技术领域的普通技术人员能够容易地实践这些实施例。应注意,各种实施例彼此不同,但不需要彼此互斥。例如,在此描述的特定形状、结构和特性可在不脱离与一个实施例相关的多个实施例的精神和范围的情况下被实现为其它实施例。此外,应该理解,在不脱离实施例的精神和范围的情况下,能够改变在每个公开的实施例中的各个组件的位置或布置。因此,所附的详细描述并非旨在限制本公开的范围,并且示例性实施例的范围仅由所附的权利要求及其等同物(只要它们被适当地描述)限定。
在附图中,相似的参考标号被用于在各个方面指定相同或相似的功能。附图中的组件的形状、尺寸等可被夸大以使得描述清楚。
诸如“第一”和“第二”的术语可用于描述各种组件,但是组件不受所述术语限制。所述术语仅用于将一个组件与另一个组件区分开。例如,在不脱离本说明书的范围的情况下,第一组件可被称为第二组件。类似地,第二组件可被称为第一组件。术语“和/或”可包括多个相关描述项目的组合或者多个相关描述项目中的任意一个。
将理解的是,当组件被称为“连接”或“结合”到另一组件时,两个组件可彼此直接连接或结合,或者在两个组件之间可存在中间组件。将理解的是,当部件被称为“直接连接或结合”时,在两个组件之间不存在中间组件。
此外,在实施例中描述的组件被独立地示出以表示不同的特征功能,但是这并不意味着每个组件由一个单独的硬件或软件形成。也就是说,为了方便描述,多个组件被单独地布置和包括。例如,多个组件中的至少两个组件可被集成为单个组件。相反,一个组件可被划分为多个组件。只要不脱离本说明书的本质,多个组件被集成的实施例或一些组件被分离的实施例被包括在本说明书的范围中。
此外,应注意,在示例性实施例中,描述组件“包括”特定组件的表述意指另外的组件可被包括在示例性实施例的实践或技术精神的范围内,但是不排除存在除了所述特定组件之外的组件。
在本说明书中使用的术语仅用于描述特定实施例,并不意图限制本发明。单数表述包括复数表述,除非在上下文中具体指出相反的描述。在本说明书中,应理解,诸如“包括”或“具有”的术语仅意图指示存在特征、数字、步骤、操作、组件、部件或它们的组合,而不意图排除将存在或添加一个或更多个其它特征、数字、步骤、操作、组件、部件或它们的组合的可能。
下面将参照附图来详细描述实施例,使得实施例所属技术领域的普通技术人员能够容易地实践实施例。在实施例的以下描述中,被视为使本说明书的要点模糊的公知功能或配置的详细描述将被省略。此外,相同的参考标号在整个附图中用于指定相同的组件,并且将省略对相同组件的重复描述。
在下文中,“图像”可表示构成视频的一部分的单个画面,或者可表示视频本身。例如,“对图像的编码和/或解码”可表示“对视频的编码和/或解码”,并且也可表示“对构成视频的多个图像中的任意一个图像的编码和/或解码”。
在下文中,术语“视频”和“运动画面”可被用于具有相同的含义,并且可彼此互换使用。
在下文中,目标图像可以是作为将被编码的目标的编码目标图像和/或作为将被解码的目标的解码目标图像。此外,目标图像可以是被输入到编码设备的输入图像或者被输入到解码设备的输入图像。
在下文中,术语“图像”、“画面”、“帧”和“屏幕”可被用于具有相同的含义,并且可彼此互换使用。
在下文中,目标块可以是编码目标块(即,将被编码的目标)和/或解码目标块(即,将被解码的目标)。此外,目标块可以是当前块,即,当前将被编码和/或解码的目标。这里,术语“目标块”和“当前块”可被用于具有相同的含义,并且可彼此互换使用。
在下文中,术语“块”和“单元”可被用于具有相同的含义,并且可彼此互换使用。可选地,“块”可表示特定单元。
在下文中,术语“区域”和“区段”可彼此互换使用。
在下文中,特定信号可以是指示特定块的信号。例如,原始信号可以是指示目标块的信号。预测信号可以是指示预测块的信号。残差信号可以是指示残差块的信号。
在以下的实施例中,特定的信息、数据、标志、元素和属性可具有它们各自的值。与所述信息、数据、标志、元素和属性中的每一个相应的值“0”可指示逻辑假或第一预定义值。换句话说,值“0”、假、逻辑假和第一预定义值可彼此互换使用。与所述信息、数据、标志、元素和属性中的每一个相应的值“1”可指示逻辑真或第二预定义值。换句话说,值“1”、真、逻辑真和第二预定义值可彼此互换使用。
当诸如i或j的变量被用于指示行、列或索引时,值i可以是整数0或大于0的整数,或者可以是整数1或大于1的整数。换句话说,在实施例中,行、列和索引中的每一个可从0开始计数,或者可以从1开始计数。
下面,将描述将在实施例中使用的术语。
编码器:编码器表示用于执行编码的装置。
解码器:解码器表示用于执行解码的装置。
单元:“单元”可表示图像编码和解码的单元。术语“单元”和“块”可以被用于具有相同的含义,并且可彼此互换使用。
–“单元”可以是M×N样点阵列。M和N可分别是正整数。术语“单元”通常可表示二维(2D)样点的阵列。
–在图像的编码和解码过程中,“单元”可以是通过对一个图像进行分区而产生的区域。单个图像可被分区为多个单元。可选地,一个图像可被分区为子部分,并且单元可表示在对分区出的子部分执行编码或解码时每个分区出的子部分。
–在对图像的编码和解码中,可根据单元的类型对每个单元执行预定义的处理。
–根据功能,单元类型可被分类为宏块单元、编码单元(CU)、预测单元(PU)、残差单元、变换单元(TU)等。可选地,根据功能,单元可表示块、宏块、编码树单元、编码树块、编码单元、编码块、预测单元、预测块、残差单元、残差块、变换单元、变换块等。
–术语“单元”可表示包括亮度(luma)分量块、与亮度分量块相应的色度(chroma)分量块、以及用于各个块的语法元素的信息使得单元被指定为与块区分开。
–单元的尺寸和形状可被不同地实现。此外,单元可具有各种尺寸和形状中的任意一种。具体地,单元的形状不仅可包括正方形,还可以包括可以以二维(2D)表示的几何形状(诸如,矩形、梯形、三角形和五边形)。
–此外,单元信息可包括单元的类型(指示编码单元、预测单元、残差单元或变换单元)、单元的尺寸、单元的深度、单元的编码和解码的顺序等中的一个或更多个。
–一个单元可被分区为子单元,每个子单元具有比相关单元的尺寸小的尺寸。
–单元深度:单元深度可表示单元被分区的程度。此外,单元深度可指示当以树结构表示单元时相应单元存在的等级。
–单元分区信息可包括指示单元的深度的单元深度。单元深度可指示单元被分区的次数和/或单元被分区的程度。
–在树结构中,可认为根节点的深度最小并且叶节点的深度最大。
–单个单元可被分层分区为多个子单元,同时所述多个子单元具有基于树结构的深度信息。换句话说,单元和通过对该单元进行分区而产生的子单元可分别对应于节点和该节点的子节点。每个被分区出的子单元可具有单元深度。由于单元深度指示单元被分区的次数和/或单元被分区的程度,因此子单元的分区信息可包括关于所述子单元的尺寸的信息。
–在树结构中,顶部节点可对应于进行分区之前的初始节点。顶部节点可被称为“根节点”。此外,根节点可具有最小深度值。这里,顶部节点的深度可为等级“0”。
–深度为等级“1”的节点可表示在初始单元被分区一次时所产生的单元。深度为等级“2”的节点可表示在初始单元被分区两次时所产生的单元。
–深度为等级“n”的叶节点可表示在初始单元被分区n次时所产生的单元。
–叶节点可以是底部节点,该叶节点不能被进一步分区。叶节点的深度可以是最大等级。例如,针对最大等级的预定义值可以是3。
–样点:样点可以是构成块的基本单元。可用从根据比特深度(Bd)的0到2Bd-1的值来表示样点。
–样点可以是像素或像素值。
–在下文中,术语“像素”和“样点”可被用于具有相同含义,并且可彼此互换使用。
编码树单元(CTU):CTU可由单个亮度分量(Y)编码树块和与亮度分量编码树块相关的两个色度分量(Cb,Cr)编码树块构成。此外,CTU可表示包括上述块以及用于每个块的语法元素的信息。
–可使用一个或更多个分区方法(诸如四叉树和二叉树)对每个编码树单元(CTU)进行分区,以便配置子单元,诸如编码单元、预测单元和变换单元。
–“CTU”可被用作指定在图像解码和编码处理中(如在对输入图像进行分区的情况下)作为处理单元的像素块的术语。
编码树块(CTB):“CTB”可被用作指定Y编码树块、Cb编码树块和Cr编码树块中的任意一个的术语。
邻近块:邻近块表示与目标块相邻的块。与目标块相邻的块可表示边界与目标块接触的块或者表示位于距目标块预定距离内的块。邻近块可表示与目标块的顶点相邻的块。这里,与目标块的顶点相邻的块可表示与水平相邻于目标块的邻近块垂直相邻的块或者与垂直相邻于目标块的邻近块水平相邻的块。邻近块可以是重建的邻近块。
预测单元:预测单元可以是用于预测的基本单元,诸如帧间预测、帧内预测、帧间补偿、帧内补偿和运动补偿。
–单个预测单元可被划分为具有更小尺寸的多个分区或者子预测单元。所述多个分区也可以是在执行预测或补偿时的基本单元。通过对预测单元进行划分所产生的分区也可以是预测单元。
预测单元分区:预测单元分区可以是预测单元被划分成的形状。
重建的邻近单元:重建的邻近单元可以是在目标单元周围已经被解码和重建的单元。
–重建的邻近单元可以是在空间上与目标单元相邻或者在时间上与目标单元相邻的单元。
–重建的空间邻近单元可以是在当前画面中包括的已经通过编码和/或解码被重建的单元。
–重建的时间邻近单元可以是在参考图像中包括的已经通过编码和/或解码被重建的单元。重建的时间邻近单元在参考图像中的位置可以与目标单元在当前画面中的位置相同,或者可以与目标单元在当前画面中的位置相应。
参数集:参数集可以是比特流的结构中的头信息。例如,参数集可包括序列参数集、画面参数集、自适应参数集等。
率失真优化:编码设备可使用率失真优化以便通过利用以下项的组合来提供高编码效率:编码单元(CU)的尺寸、预测模式、预测单元(PU)的尺寸、运动信息和变换单元(TU)的尺寸。
–率失真优化方案可计算各个组合的率失真代价以从这些组合中选择最优组合。可使用以下等式1来计算率失真代价。通常,可将使率失真代价最小化的组合选为在率失真优化方案下的最优组合。
[等式1]
D+λ*R
–D可表示失真。D可以是在变换单元中的原始变换系数与重建的变换系数之间的差值的平方的平均值(即均方误差)。
–R可表示码率,其可使用相关上下文信息来表示比特率。
–λ表示拉格朗日乘数。R不仅可包括编码参数信息(诸如预测模式、运动信息和编码块标志),还可包括由于对变换系数进行编码而产生的比特。
–编码设备可执行诸如帧间预测和/或帧内预测、变换、量化、熵编码、反量化(去量化)和逆变换的过程,以便计算精确的D和R。这些过程会大大增加编码设备的复杂度。
–比特流:比特流可表示包括编码图像信息的比特的流。
–参数集:参数集可以是比特流的结构中的头信息。
参数集可包括视频参数集、序列参数集、画面参数集和自适应参数集中的至少一个。此外,参数集可包括关于条带头的信息和关于并行块头的信息。
解析:解析可以是通过对比特流执行熵解码而做出的对语法元素的值的决定。可选地,术语“解析”可表示这种熵解码本身。
符号:符号可以是编码目标单元和/或解码目标单元的语法元素、编码参数和变换系数中的至少一个。此外,符号可以是熵编码的目标或熵解码的结果。
参考画面:参考画面可以是被单元参考以便执行帧间预测或运动补偿的图像。可选地,参考画面可以是包括被目标单元参考以便执行帧间预测或运动补偿的参考单元的图像。
在下文中,术语“参考画面”和“参考图像”可被用于具有相同的含义,并且可彼此互换使用。
参考画面列表:参考画面列表可以是包括被用于帧间预测或运动补偿的一个或更多个参考画面的列表。
–参考画面列表的类型可包括合并的列表(LC)、列表0(L0)、列表1(L1)、列表2(L3)、列表3(L3)等。
–一个或更多个参考画面列表可被用于帧间预测。
帧间预测指示符:帧间预测指示符可指示目标单元的帧间预测方向。帧间预测可以是单向预测和双向预测之一。可选地,帧间预测指示符可表示用于产生目标单元的预测单元的参考图像的数量。可选地,帧间预测指示符可表示用于目标单元的帧间预测或运动补偿的预测块的数量。
参考画面索引:参考画面索引可以是指示在参考画面列表中的特定参考图像的索引。
运动矢量(MV):运动矢量可以是用于帧间预测或运动补偿的2D矢量。运动矢量可表示在编码目标图像/解码目标图像与参考图像之间的偏移。
–例如,可以以诸如(mvx,mvy)的形式来表示MV。mvx可指示水平分量,mvy可指示垂直分量。
–搜索范围:搜索范围可以是在帧间预测期间执行针对MV的搜索的2D区域。例如,搜索范围的尺寸可以是M×N。M和N可分别是正整数。
运动矢量候选:运动矢量候选可以是在运动矢量被预测时作为预测候选的块或者作为预测候选的块的运动矢量。
–运动矢量候选可被包括在运动矢量候选列表中。
运动矢量候选列表:运动矢量候选列表可以是使用一个或更多个运动矢量候选配置的列表。
运动矢量候选索引:运动矢量候选索引可以是用于指示运动矢量候选列表中的运动矢量候选的指示符。可选地,运动矢量候选索引可以是运动矢量预测因子的索引。
运动信息:运动信息可以是包括参考画面列表、参考图像、运动矢量候选、运动矢量候选索引、合并候选和合并索引中的至少一个以及运动矢量、参考画面索引和帧间预测指示符的信息。
合并候选列表:合并候选列表可以是使用合并候选配置的列表。
合并候选:合并候选可以是空间合并候选、时间合并候选、组合合并候选、组合双预测合并候选、零合并候选等。合并候选可包括运动信息,诸如帧间预测指示符、用于每个列表的参考画面索引、以及运动矢量。
合并索引:合并索引可以是用于指示合并候选列表中的合并候选的指示符。
–合并索引可指示在空间上与目标单元相邻的重建单元和在时间上与目标单元相邻的重建单元之间的用于推导合并候选的重建单元。
–合并索引可指示合并候选的多条运动信息中的至少一条。
变换单元:变换单元可以是残差信号编码和/或残差信号解码(诸如变换、逆变换、量化、去量化、变换系数编码和变换系数解码)的基本单元。单个变换单元可被划分为具有更小尺寸的多个变换单元。
缩放:缩放可表示将因子乘以变换系数等级的过程。
–作为对变换系数等级进行缩放的结果,可产生变换系数。缩放也可被称为“去量化”。
量化参数(QP):量化参数可以是用于在量化中产生用于变换系数的变换系数等级的值。可选地,量化参数也可以是用于在去量化中通过对变换系数等级进行缩放来产生变换系数的值。可选地,量化参数可以是被映射到量化步长的值。
变量增量(Delta)量化参数:变量增量量化参数是编码/解码目标单元的量化参数与预测出的量化参数之间的差值。
扫描:扫描可表示对单元、块或矩阵中的系数顺序进行排列的方法。例如,用于按照一维(1D)阵列的形式对2D阵列进行排列的方法可被称为“扫描”。可选地,用于按照2D阵列的形式对1D阵列进行排列的方法也可被称为“扫描”或“逆扫描”。
变换系数:变换系数可以是在编码设备执行变换时产生的系数值。可选地,变换系数可以是在解码设备执行熵解码和去量化中的至少一个时产生的系数值。
–在量化被应用于变换系数或者残差信号的量化的等级或量化的变换系数等级也可被包括在术语“变换系数”的含义中。
量化的等级:量化的等级可以是在编码设备对变换系数或残差信号执行量化时产生的值。可选地,量化的等级可以是在解码设备执行去量化时作为去量化的目标的值。
–作为变换和量化的结果的量化的变换系数等级也可被包括在量化的等级的含义中。
非零变换系数:非零变换系数可以是具有除了0之外的值的变换系数,或者可以是具有除了0之外的值的变换系数等级。可选地,非零变换系数可以是值的幅度不为0的变换系数,或者可以是值的幅度不为0的变换系数等级。
量化矩阵:量化矩阵可以是在量化或去量化过程中使用以便提高图像的主观图像质量或客观图像质量的矩阵。量化矩阵也可被称为“缩放列表”。
量化矩阵系数:量化矩阵系数可以是量化矩阵中的每个元素。量化矩阵系数也可被称为“矩阵系数”。
默认矩阵:默认矩阵可以是被编码设备和解码设备预先定义的量化矩阵。
非默认矩阵:非默认矩阵可以是未被编码设备和解码设备预先定义的量化矩阵。非默认矩阵可以由编码设备用信号传送给解码设备。
图1是示出被应用了本公开的编码设备的实施例的配置的框图。
编码设备100可以是编码器、视频编码设备或图像编码设备。视频可包括一个或更多个图像(画面)。编码设备100可顺序地对视频的一个或更多个图像进行编码。
参照图1,编码设备100包括帧间预测单元110、帧内预测单元120、切换器115、减法器125、变换单元130、量化单元140、熵编码单元150、去量化(反量化)单元160、逆变换单元170、加法器175、滤波单元180和参考画面缓冲器190。
编码设备100可使用帧内模式和/或帧间模式对目标图像执行编码。
此外,编码设备100可通过对目标图像进行编码来产生包括关于编码的信息的比特流,并且可输出产生的比特流。产生的比特流可被存储在计算机可读存储介质中,并且可通过无线/有线传输介质被流传输。
当帧内模式被用作预测模式时,切换器115可切换到帧内模式。当帧间模式被用作预测模式时,切换器115可切换到帧间模式。
编码设备100可产生目标块的预测块。此外,在已产生了预测块之后,编码设备100可对目标块与预测块之间的残差进行编码。
当预测模式是帧内模式时,帧内预测单元120可将在目标块周围的先前被编码/解码的邻近块的像素用作参考样点。帧内预测单元120可使用所述参考样点对目标块执行空间预测,并且可经由空间预测针对目标块产生预测样点。
帧间预测单元110可包括运动预测单元和运动补偿单元。
当预测模式是帧间模式时,运动预测单元可在运动预测过程中在参考图像中搜索与目标块最匹配的区域,并且可基于找到的区域针对目标块和找到的区域推导出运动矢量。
参考图像可被存储在参考画面缓冲器190中。更具体地讲,当参考图像的编码和/或解码已被处理时,参考图像可被存储在参考画面缓冲器190中。
运动补偿单元可通过使用运动矢量执行运动补偿来产生针对目标块的预测块。这里,运动矢量可以是用于帧间预测的二维(2D)矢量。此外,运动矢量可表示目标图像与参考图像之间的偏移。
当运动矢量具有除了整数之外的值时,运动预测单元和运动补偿单元可通过将插值滤波器应用于参考图像的部分区域来产生预测块。为了执行帧间预测或运动补偿,可确定跳过模式、合并模式、高级运动矢量预测(AMVP)模式和当前画面参考模式中的哪一种模式对应于用于基于CU对CU中包括的PU的运动进行预测并对该运动进行补偿的方法,并且可根据该模式执行帧间预测或运动补偿。
减法器125可产生残差块,其中,残差块是目标块与预测块之间的差。残差块也可被称为“残差信号”。
残差信号可以是原始信号与预测信号之间的差。可选地,残差信号可以是通过对原始信号与预测信号之间的差进行变换或量化而产生的信号或者通过对该差进行变换和量化而产生的信号。残差块可以是针对块单元的残差信号。
变换单元130可通过对残差块进行变换来产生变换系数,并且可输出产生的变换系数。这里,变换系数可以是通过对残差块进行变换而产生的系数值。
当使用变换跳过模式时,变换单元130可省略对残差块进行变换的操作。
通过对变换系数实施量化,可产生量化的变换系数等级或者量化的等级。在下文中,在实施例中,量化的变换系数等级和量化的等级中的每一个也可被称为“变换系数”。
量化单元140可通过根据量化参数对变换系数进行量化来产生量化的变换系数等级或量化的等级。量化单元140可输出产生的量化的变换系数等级或量化的等级。在这种情况下,量化单元140可使用量化矩阵对变换系数进行量化。
熵编码单元150可通过基于由量化单元140计算出的值和/或在编码过程中计算出的编码参数值执行基于概率分布的熵编码来产生比特流。熵编码单元150可输出产生的比特流。
熵编码单元150还可针对关于图像的像素的信息以及对图像进行解码所需的信息执行熵编码。例如,对图像进行解码所需的信息可包括语法元素等。
编码参数可以是进行编码和/或解码所需的信息。编码参数可包括由编码设备100编码并从编码设备100被传送到解码设备的信息,并且还可包括在编码或解码过程中推导出的信息。例如,被传送到解码设备的信息可包括语法元素。
例如,编码参数可包括值或统计信息,诸如预测模式、运动矢量、参考画面索引、编码块图案、存在或不存在残差信号、变换系数、量化的变换系数、量化参数、块尺寸以及块分区信息。预测模式可以是帧内预测模式或帧间预测模式。
残差信号可表示原始信号与预测信号之间的差。可选地,残差信号可以是通过对原始信号与预测信号之间的差进行变换而产生的信号。可选地,残差信号可以是通过对原始信号与预测信号之间的差进行变换和量化而产生的信号。
当应用熵编码时,可将更少的比特分配给更频繁出现的符号,并且可将更多的比特分配给很少出现的符号。由于通过该分配来表示符号,因此可减少用于将被编码的目标符号的比特串的大小。因此,通过熵编码可提高视频编码的压缩性能。
此外,为了进行熵编码,熵编码单元150可使用诸如指数哥伦布、上下文自适应可变长度编码(CAVLC)或上下文自适应二进制算术编码(CABAC)的编码方法。例如,熵编码单元150可使用可变长度编码/码(VLC)表来执行熵编码。例如,熵编码单元150可推导出用于目标符号的二值化方法。此外,熵编码单元150可推导出用于目标符号/二进制位的概率模型。熵编码单元150可使用推导出的二值化方法、概率模型和上下文模型来执行算术编码。
熵编码单元150可通过变换系数扫描方法将2D块形式的系数变换为1D矢量形式,以便对变换系数等级进行编码。
编码系数不仅可包括由编码设备编码并由编码设备用信号传送到解码设备的诸如语法元素的信息(或标志或索引),还可包括在编码或解码过程中推导出的信息。此外,编码参数可包括对图像进行编码或解码所需的信息。例如,编码参数可包括以下项中的至少一项或以下项的组合:单元/块的尺寸、单元/块的深度、单元/块的分区信息、单元/块的分区结构、指示单元/块是否以四叉树结构被分区的信息、指示单元/块是否以二叉树结构被分区的信息、二叉树结构的分区方向(水平方向或垂直方向)、二叉树结构的分区形式(对称分区或非对称分区)、预测方案(帧内预测或帧间预测)、帧内预测模式/方向、参考样点滤波方法、预测块滤波方法、预测块边界滤波方法、用于滤波的滤波器抽头、用于滤波的滤波器系数、帧间预测模式、运动信息、运动矢量、参考画面索引、帧间预测方向、帧间预测指示符、参考画面列表、参考图像、运动矢量预测因子、运动矢量预测候选、运动矢量候选列表、指示合并模式是否被使用的信息、合并候选、合并候选列表、关于跳过模式是否被使用的信息、插值滤波器的类型、插值滤波器的抽头、插值滤波器的滤波器系数、运动矢量的大小、运动矢量表示的精确度、变换类型、变换大小、指示首次变换是否被使用的信息、指示附加(二次)变换是否被使用的信息、首次变换索引、二次变换索引、指示残差信号是否存在的信息、编码块样式、编码块标志、量化参数、量化矩阵、关于环路内滤波器的信息、指示环路内滤波器是否被应用的信息、环路内滤波器的系数、环路内滤波器的抽头、环路内滤波器的形状/形式、指示去块滤波器是否被应用的信息、去块滤波器的系数、去块滤波器的抽头、去块滤波器强度、去块滤波器的形状/形式、指示自适应样点偏移是否被应用的信息、自适应样点偏移的值、自适应样点偏移的类别、自适应样点偏移的类型、指示自适应环路滤波器是否被应用的信息、自适应环路滤波器的系数、自适应环路滤波器的抽头、自适应环路滤波器的形状/形式、二值化/反二值化方法、上下文模型、上下文模型决定方法、上下文模型更新方法、指示常规模式是否被执行的信息、指示旁路模式是否被执行的信息、上下文二进制位、旁通二进制位、变换系数、变换系数等级、变换系数等级扫描方法、图像显示/输出顺序、条带识别信息、条带类型、条带分区信息、并行块识别信息、并行块类型、并行块分区信息、画面类型、比特深度、关于亮度信号的信息和关于色度信号的信息。
这里,用信号传送标志或索引可表示编码设备100将通过对标志或索引执行熵编码而产生的熵编码的标志或熵编码的索引包括在比特流中,并且可表示解码设备200通过对从比特流提取的熵编码的标志或熵编码的索引执行熵解码来获取标志或索引。
由于编码设备100经由帧间预测执行编码,因此编码的目标图像可被用作用于将被后续处理的另外的图像的参考图像。因此,编码设备100可对编码的目标图像进行重建或解码,并将重建或解码的图像作为参考图像存储在参考画面缓冲器190中。对于解码,可进行对编码的目标图像的去量化和逆变换。
量化的等级可由去量化单元160进行反量化,并且可由逆变换单元170进行逆变换。可由加法器175将已被反量化和/或逆变换的系数与预测块相加。将反量化和/或逆变换的系数和预测块相加,然后可产生重建块。这里,反量化和/或逆变换的系数可表示被执行了去量化和逆变换中的一个或更多个的系数,并且也可以表示重建的残差块。
重建块可通过滤波单元180进行滤波。滤波单元180可将去块滤波器、样点自适应偏移(SAO)滤波器和自适应环路滤波器(ALF)中的一个或更多个滤波器应用于重建块或重建画面。滤波单元180也可被称为“环路滤波器”。
去块滤波器可消除在块之间的边界处出现的块失真。为了确定是否应用去块滤波器,可决定被包括在块中并且包括确定是否对目标块应用去块滤波器所基于的像素的列或行的数量。当去块滤波器被应用于目标块时,所应用的滤波器可根据所需要的去块滤波的强度而不同。换句话说,在不同的滤波器之中,可将考虑去块滤波的强度而决定的滤波器应用于目标块。
SAO可将适当的偏移与像素值相加以便对编码误差进行补偿。SAO可基于像素对被应用去块的图像执行校正,该校正使用原始图像与被应用去块的图像之间的差的偏移。可使用用于将图像中包括的像素划分为特定数量的区域、在划分出的区域之中确定将被应用偏移的区域并将偏移应用于所确定的区域的方法,并且也可使用用于考虑每个像素的边缘信息来应用偏移的方法。
ALF可基于通过将重建图像与原始图像进行比较而获得的值来执行滤波。在图像中包括的像素已被划分为预定数量的群组之后,可确定将被应用于群组的滤波器,并且可针对各个群组不同地执行滤波。可针对每个CU用信号传送与是否应用自适应环路滤波器相关的信息。将被应用于各个块的ALF的形状和滤波器系数对于各个块可以不同。
通过滤波单元180滤波的重建块或重建图像可被存储在参考画面缓冲器190中。通过滤波单元180滤波的重建块可以是参考画面的一部分。换句话说,参考画面可以是由通过滤波单元180滤波的重建块构成的重建画面。存储的参考画面随后可被用于帧间预测。
图2是示出被应用了本公开的解码设备的实施例的配置的框图。
解码设备200可以是解码器、视频解码设备或图像解码设备。
参照图2,解码设备200可包括熵解码单元210、去量化(反量化)单元220、逆变换单元230、帧内预测单元240、帧间预测单元250、加法器255、滤波单元260和参考画面缓冲器270。
解码设备200可接收从编码设备100输出的比特流。解码设备200可接收存储在计算机可读存储介质中的比特流,并且可接收通过有线/无线传输介质流传输的比特流。
解码设备200可在帧内模式和/或帧间模式下对比特流执行解码。此外,解码设备200可经由解码来产生重建图像或解码图像,并且可输出重建图像或解码图像。
例如,可通过切换器来执行基于用于进行解码的预测模式而切换到帧内模式或帧间模式的操作。当用于解码的预测模式是帧内模式时,切换器可被操作以切换到帧内模式。当用于解码的预测模式是帧间模式时,切换器可被操作以切换到帧间模式。
解码设备200可通过对输入的比特流进行解码来获取重建的残差块,并且可产生预测块。当重建的残差块和预测块被获取时,解码设备200可通过将重建的残差块与预测块相加来产生作为被解码的目标的重建块。
熵解码单元210可通过基于比特流的概率分布对比特流执行熵解码来产生符号。产生的符号可包括量化的等级格式符号。这里,熵解码方法可与以上描述的熵编码方法相似。也就是说,熵解码方法可以是以上描述的熵编码方法的逆过程。
量化的系数可由去量化单元220进行反量化。去量化单元220可通过对量化的系数执行去量化来产生反量化的系数。此外,反量化的系数可由逆变换单元230进行逆变换。逆变换单元230可通过对反量化的系数执行逆变换来产生重建的残差块。作为对量化的系数执行去量化和逆变换的结果,可产生重建的残差块。这里,当产生重建的残差块时,去量化单元220可将量化矩阵应用于量化的系数。
当使用帧内模式时,帧内预测单元240可通过执行使用在目标块周围的先前被解码的邻近块的像素值的空间预测来产生预测块。
帧间预测单元250可包括运动补偿单元。可选地,帧间预测单元250可被指定为“运动补偿单元”。
当使用帧间模式时,运动补偿单元250可通过执行利用运动矢量和被存储在参考画面缓冲器270中的参考图像的运动补偿来产生预测块。
运动补偿单元可在运动矢量具有除了整数之外的值时将插值滤波器应用于参考图像的部分区域,并且可使用被应用了插值滤波器的参考图像来产生预测块。为了执行运动补偿,运动补偿单元可基于CU确定跳过模式、合并模式、高级运动矢量预测(AMVP)模式和当前画面参考模式中的哪一种模式对应于用于CU中包括的PU的运动补偿方法,并且可根据所确定的模式来执行运动补偿。
重建的残差块和预测块可由加法器255彼此相加。加法器255可通过将重建的残差块和预测块相加来产生重建块。
重建块可通过滤波单元260进行滤波。滤波单元260可将去块滤波器、SAO滤波器和ALF中的至少一个应用于重建块或重建画面。
通过滤波单元260滤波的重建块可被存储在参考画面缓冲器270中。通过滤波单元260滤波的重建块可以是参考画面的一部分。换句话说,参考图像可以是由通过滤波单元260滤波的重建块构成的图像。存储的参考图像随后可被用于帧间预测。
图3是示意性地示出了当图像被编码和解码时图像的分区结构的示图。
图3可示意性地示出单个单元被分区为多个子单元的示例。
为了有效地对图像进行分区,可在编码和解码中使用编码单元(CU)。术语“单元”可被用于共同地指定1)包括图像样点的块和2)语法元素。例如,“单元的分区”可表示“与单元相应的块的分区”。
CU可被用作用于图像编码/解码的基本单元。CU可被用作在图像编码/解码中从帧内模式和帧间模式选择的一个模式被应用到的单元。换句话说,在图像编码/解码中,可确定帧内模式和帧间模式中的哪一个模式将被应用于每个CU。
此外,CU可以是对变换系数的预测、变换、量化、逆变换、去量化和编码/解码中的基本单元。
参照图3,图像300可被顺序地分区为与最大编码单元(LCU)相应的单元,并且图像300的分区结构可根据LCU被确定。这里,LCU可被用于具有与编码树单元(CTU)相同的含义。
对单元进行分区可表示对与单元相应的块进行分区。块分区信息可包括关于单元的深度的深度信息。深度信息可指示单元被分区的次数和/或单元被分区的程度。单个单元可被分层分区为子单元,同时子单元具有基于树结构的深度信息。每个被分区出的子单元可具有深度信息。深度信息可以是指示CU的尺寸的信息。可针对每个CU存储深度信息。每个CU可具有深度信息。
分区结构可表示LCU 310中的用于对图像进行有效编码的编码单元(CU)的分布。可根据单个CU是否将被分区为多个CU来确定这种分布。通过进行分区而产生的CU的数量可以是正整数2或更大,包括2、3、4、8、16等。根据通过进行分区而产生的CU的数量,通过进行分区而产生的每个CU的水平尺寸和垂直尺寸可以小于被分区之前的CU的水平尺寸和垂直尺寸。
每个被分区出的CU可按照相同的方式被递归地分区为四个CU。与被分区之前的CU的水平尺寸和垂直尺寸中的至少一个相比,经由递归分区,每个被分区出的CU的水平尺寸和垂直尺寸中的至少一个可被减小。
可递归地执行CU的分区直到预定义的深度或预定义的尺寸为止。例如,LCU的深度可以是0,最小编码单元(SCU)的深度可以是预定义的最大深度。这里,如上所述,LCU可以是具有最大编码单元尺寸的CU,SCU可以是具有最小编码单元尺寸的CU。
可在LCU 310处开始进行分区,并且每当CU的水平尺寸和/或垂直尺寸通过进行分区而减小时,CU的深度可增加1。
例如,对于各个深度,未被分区的CU可具有2N×2N的尺寸。此外,在CU被分区的情况下,尺寸为2N×2N的CU可被分区为尺寸均为N×N的四个CU。每当深度增加1时,N的值可减半。
参照图3,深度为0的LCU可具有64×64个像素或64×64块。0可以是最小深度。深度为3的SCU可具有8×8个像素或8×8块。3可以是最大深度。这里,作为LCU的具有64×64块的CU可用深度0来表示。具有32×32块的CU可以用深度1来表示。具有16×16块的CU可以用深度2来表示。作为SCU的具有8×8块的CU可以用深度3来表示。
关于相应CU是否被分区的信息可以用CU的分区信息来表示。分区信息可以是1比特信息。除了SCU之外的所有CU可包括分区信息。例如,未被分区的CU的分区信息的值可以是0。被分区的CU的分区信息的值可以是1。
例如,当单个CU被分区为四个CU时,通过进行分区而产生的四个CU中的每个CU的水平尺寸和垂直尺寸可以是在被分区之前的CU的水平尺寸和垂直尺寸的一半。当具有32×32尺寸的CU被分区为四个CU时,被分区出的四个CU中的每个CU的尺寸可以是16×16。当单个CU被分区为四个CU时,可认为CU已经以四叉树结构被分区。
例如,当单个CU被分区成两个CU时,通过进行分区而产生的两个CU中的每个CU的水平尺寸或垂直尺寸可以是在被分区之前的CU的水平尺寸或垂直尺寸的一半。当具有32×32尺寸的CU被垂直分区为两个CU时,被分区出的两个CU中的每个CU的尺寸可以是16×32。当单个CU被分区为两个CU时,可认为CU已经以二叉树结构被分区。
除了四叉树分区之外,可将二叉树分区应用于图3的LCU 310。
图4是示出编码单元(CU)能够包括的预测单元(PU)的形式的示图。
在从LCU分区出的CU中,可将不再被分区的CU划分为一个或更多个预测单元(PU)。这种划分也被称为“分区”。
PU可以是用于预测的基本单元。PU可在跳过模式、帧间模式和帧内模式中的任意一个模式下被编码和解码。可根据各个模式将PU分区为各种形状。例如,以上参照图1描述的目标块和以上参照图2描述的目标块可以均是PU。
在跳过模式下,在CU中可不存在分区。在跳过模式下,可支持2N×2N模式410,而不进行分区,其中,在2N×2N模式中,PU的尺寸和CU的尺寸彼此相同。
在帧间模式下,在CU中可存在8种类型的分区形状。例如,在帧间模式下,可支持2N×2N模式410、2N×N模式415、N×2N模式420、N×N模式425、2N×nU模式430、2N×nD模式435、nL×2N模式440和nR×2N模式445。
在帧内模式下,可支持2N×2N模式410、N×N模式425、2N×N模式和N×2N模式。
在2N×2N模式410下,可对尺寸为2N×2N的PU进行编码。尺寸为2N×2N的PU可表示尺寸与CU的尺寸相同的PU。例如,尺寸为2N×2N的PU可具有尺寸64×64、32×32、16×16或8×8。
在N×N模式425下,可对尺寸为N×N的PU进行编码。
例如,在帧内预测中,当PU的尺寸是8×8时,可对四个分区出的PU进行编码。每个分区出的PU的尺寸可以是4×4。
当在帧内模式下对PU进行编码时,可使用多个帧内预测模式中的任意一个对PU进行编码。例如,HEVC技术可提供35个帧内预测模式,PU可在所述35个帧内预测模式中的任意一个下被编码。
可基于率失真代价来确定2N×2N模式410和N×N模式425中的哪一个模式将被用于对PU进行编码。
编码设备100可对尺寸为2N×2N的PU执行编码操作。这里,编码操作可以是在能够被编码设备100使用的多个帧内预测模式中的每个模式下对PU进行编码的操作。通过编码操作,可推导出用于尺寸为2N×2N的PU的最佳帧内预测模式。最佳帧内预测模式可以是能够被编码设备100使用的多个帧内预测模式之中的在对尺寸为2N×2N的PU进行编码时出现最小率失真代价的帧内预测模式。
此外,编码设备100可顺序地对通过进行N×N分区而获得的各个PU执行编码操作。这里,编码操作可以是在能够被编码设备100使用的多个帧内预测模式中的每个模式下对PU进行编码的操作。通过编码操作,可推导出用于尺寸为N×N的PU的最佳帧内预测模式。最佳帧内预测模式可以是能够被编码设备100使用的多个帧内预测模式之中的在对尺寸为N×N的PU进行编码时出现最小率失真代价的帧内预测模式。
图5是示出能够被包括在CU中的变换单元(TU)的形式的示图。
变换单元(TU)可以是CU中被用于诸如变换、量化、逆变换、去量化、熵编码和熵解码的过程的基本单元。TU可具有正方形或矩形的形状。
在从LCU分区出的CU中,可将不再被分区为CU的CU分区为一个或更多个TU。这里,TU的分区结构可以是四叉树结构。例如,如图5中所示,可根据四叉树结构将单个CU 510分区一次或更多次。通过这种分区,单个CU 510可由具有各种尺寸的TU组成。
在编码设备100中,尺寸为64×64的编码树单元(CTU)可按照递归四叉树结构被分区为多个更小的CU。单个CU可被分区为具有相同尺寸的四个CU。每个CU可被递归划分,并且可具有四叉树结构。
CU可具有给定的深度。当CU被分区时,通过进行分区而产生的CU可具有从被分区的CU的深度增加1的深度。
例如,CU的深度可具有范围从0到3的值。根据CU的深度,CU的尺寸范围可从66×64的尺寸到8×8的尺寸。
通过对CU的递归分区,可选择产生最小率失真代价的最佳分区方法。
图6是用于解释帧内预测过程的实施例的示图。
从图6中的图的中心径向延伸的箭头表示帧内预测模式的预测方向。此外,出现在箭头附近的数字可表示被分配给帧内预测模式或被分配给帧内预测模式的预测方向的模式值的示例。
可使用与目标块邻近的块的参考样点来执行帧内编码和/或解码。邻近块可以是邻近的重建块。例如,可使用在每个邻近的重建块中包括的参考样点的值或者邻近的重建块的编码参数来执行帧内编码和/或解码。
编码设备100和/或解码设备200可通过基于关于目标图像中的样点的信息对目标块执行帧内预测来产生预测块。当帧内预测被执行时,编码设备100和/或解码设备200可通过基于关于目标图像中的样点的信息执行帧内预测来产生用于目标块的预测块。当帧内预测被执行时,编码设备100和/或解码设备200可基于至少一个重建的参考样点来执行定向预测和/或非定向预测。
预测块可以是作为执行帧内预测的结果而产生的块。预测块可对应于CU、PU和TU中的至少一个。
预测块的单元可具有与CU、PU和TU中的至少一个相应的尺寸。预测块可具有尺寸为2N×2N或N×N的正方形形状。尺寸N×N可包括尺寸4×4、8×8、16×16、32×32、64×64等。
可选地,预测块可以是尺寸为M×N(诸如2×8、4×8、2×16、4×16、8×16等)的矩形块。
可考虑用于目标块的帧内预测模式执行帧内预测。目标块可具有的帧内预测模式的数量可以是预定义的固定值,并且可以是根据预测块的属性不同地确定的值。例如,预测块的属性可包括预测块的尺寸、预测块的类型等。
例如,不论预测块的尺寸如何,帧内预测模式的数量都可被固定为35。可选地,帧内预测模式的数量可以是例如3、5、9、17、34、35或36。
帧内预测模式可以是非定向模式或定向模式。例如,如图6中所示,帧内预测模式可包括两种非定向模式和33种定向模式。
非定向模式包括DC模式和平面模式。例如,DC模式的值可以是1。平面模式的值可以是0。
定向模式可以是具有特定方向或特定角度的模式。在多个帧内预测模式之中,除了DC模式和平面模式之外的其余模式可以是定向模式。
帧内预测模式中的每一个可用模式编号、模式值、模式编号和模式角度中的至少一个来表示。帧内预测模式的数量可以是M。M的值可以是1或更大。换句话说,帧内预测模式的数量可以是M,M包括非定向模式的数量和定向模式的数量。
帧内预测模式的数量可被固定为M,而不管块的尺寸如何。可选地,帧内预测模式的数量可根据块的尺寸和/或颜色分量的类型而不同。例如,预测模式的数量可根据颜色分量是亮度信号还是色度信号而不同。例如,块的尺寸越大,帧内预测模式的数量越大。可选地,与亮度分量块相应的帧内预测模式的数量可大于与色度分量块相应的帧内预测模式的数量。
例如,在模式值为26的垂直模式中,可基于参考样点的像素值沿垂直方向执行预测。
即使在除了上述模式之外的定向模式中,编码设备100和解码设备200仍可使用依据与定向模式相应的角度的参考样点对目标单元执行帧内预测。
位于相对于垂直模式的右侧的帧内预测模式可被称为“垂直-右侧模式”。位于水平模式下方的帧内预测模式可被称为“水平-下方模式”。例如,在图6中,模式值是27、28、29、30、31、32、33和34之一的帧内预测模式可以是垂直-右侧模式613。模式值是2、3、4、5、6、7、8和9之一的帧内预测模式可以是水平-下方模式616。
以上描述的帧内预测模式的数量以及各个帧内预测模式的模式值仅是示例性的。可根据实施例、实现和/或要求来不同地定义以上描述的帧内预测模式的数量以及各个帧内预测模式的模式值。
为了对目标块执行帧内预测,可执行检查在重建的邻近块中包括的样点是否可被用作目标块的参考样点的步骤。当在邻近块中的样点之中存在不能被用作当前块的参考样点的样点时,经由使用在重建的邻近块中包括的样点之中的至少一个样点值的插值和/或复制而产生的值可替换不能被用作参考样点的样点的样点值。当经由复制和/或插值而产生的值替换现有样点的样点值时,该样点可被用作目标块的参考样点。
在帧内预测中,可基于帧内预测模式和目标块的尺寸中的至少一个将滤波器应用于参考样点和预测样点中的至少一个。
当帧内预测模式是平面模式时,可在产生目标块的预测块时根据预测目标样点在预测块中的位置使用目标块的上方参考样点、目标块的左侧参考样点、目标块的右上方参考样点、目标块的左下方参考样点的加权和来产生预测目标块的样点值。
当帧内预测模式是DC模式时,可在产生目标块的预测块时使用目标块上方的参考样点和目标块左侧的参考样点的平均值。
当帧内预测模式是定向模式时,可使用目标块的上方参考样点、左侧参考样点、右上方参考样点和/或左下方参考样点来产生预测块。
为了产生上述预测样点,可执行基于实数的插值。
目标块的帧内预测模式可从与目标块相邻的邻近块的帧内预测执行预测,并且用于预测的信息可被熵编码/解码。
例如,当目标块和邻近块的帧内预测模式彼此相同时,可使用预定义的标志来用信号传送目标块和邻近块的帧内预测模式是相同的。
例如,可用信号传送用于指示在多个邻近块的帧内预测模式之中与目标块的帧内预测模式相同的帧内预测模式的指示符。
当目标块和邻近块的帧内预测模式彼此不同时,可基于邻近块的帧内预测模式对目标块的帧内预测模式信息进行熵编码/解码。
图7是用于解释在帧内预测过程中使用的参考样点的位置的示图。
图7示出了用于对目标块进行帧内预测的参考样点的位置。参照图7,用于对目标块进行帧内预测的重建参考样点可包括左下方参考样点731、左侧参考样点733、左上角参考样点735、上方参考样点737和右上方参考样点739。
例如,左侧参考样点733可表示与目标块的左侧相邻的重建参考像素。上方参考样点737可表示与目标块的顶部相邻的重建参考像素。左上角参考样点735可表示位于目标块的左上角处的重建参考像素。左下方参考样点731可表示在位于与由左侧参考样点733组成的左侧样点线相同的线上的样点之中的位于所述左侧样点线下方的参考样点。右上方参考样点739可表示在位于与由上方参考样点737组成的上方样点线相同的线上的样点之中的位于所述上方样点线右侧的参考样点。
当目标块的尺寸是N×N时,左下方参考样点731、左侧参考样点733、上方参考样点737和右上方参考样点739的数量可以均是N。
通过对目标块执行帧内预测,可产生预测块。产生预测块的过程可包括确定预测块中的像素的值。目标块和预测块的尺寸可以相同。
用于对目标块进行帧内预测的参考样点可根据目标块的帧内预测模式而改变。帧内预测模式的方向可表示参考样点与预测块的像素之间的依赖关系。例如,指定参考样点的值可被用作预测块中的一个或更多个指定像素的值。在这种情况下,所述指定参考样点和预测块中的所述一个或更多个指定像素可以是位于沿帧内预测模式的方向的直线上的样点和像素。换句话说,所述指定参考样点的值可被复制作为位于与帧内预测模式的方向相反的方向上的像素的值。可选地,在预测块中的像素的值可以是相对于该像素的位置位于帧内预测模式的方向上的参考样点的值。
在一个示例中,当目标块的帧内预测模式是模式值为26的垂直模式时,上方参考样点737可被用于帧内预测。当帧内预测模式是垂直模式时,预测块中的像素的值可以是垂直地位于该像素的位置上方的参考样点的值。因此,与目标块的顶部相邻的上方参考样点737可被用于帧内预测。此外,在预测块的一行中的像素的值可与上方参考样点737的像素的值相同。
在一个示例中,当当前块的帧内预测模式的模式值是18时,左侧参考样点733中的至少一些、左上角参考样点735、以及上方参考样点737中的至少一些可被用于帧内预测。当帧内预测模式的模式值是18时,预测块中的像素的值可以是对角地位于该像素的左上角处的参考样点的值。
用于确定预测块中的一个像素的像素值的参考样点的数量可以是1或者2或者更多。
如上所述,可根据像素的位置和由帧内预测模式的方向所指示的参考样点的位置来确定预测块中的像素的像素值。当像素的位置以及由帧内预测模式的方向所指示的参考样点的位置是整数位置时,由整数位置所指示的一个参考样点的值可被用于确定预测块中的像素的像素值。
当像素的位置以及由帧内预测模式的方向所指示的参考样点的位置不是整数位置时,可产生基于与该参考样点的位置最接近的两个参考样点的内插参考样点。内插参考样点的值可被用于确定预测块中的像素的像素值。换句话说,当预测块中的像素的位置以及由帧内预测模式的方向所指示的参考样点的位置指示两个参考样点之间的位置时,可产生基于这两个样点的值的内插值。
经由预测而产生的预测块可以与原始目标块不同。换句话说,可能存在预测误差,该预测误差是目标块与预测块之间的差,并且也可能存在在目标块的像素与预测块的像素之间的预测误差。
在下文中,术语“差”、“误差”和“残差”可被用于具有相同的含义,并且可彼此互换使用。
例如,在定向帧内预测的情况下,预测块的像素与参考样点之间的距离越长,则可能发生的预测误差越大。这种预测误差可导致产生的预测块与邻近块之间的不连续性。
为了减少预测误差,可使用针对预测块的滤波操作。滤波操作可被配置为自适应地将滤波器应用于预测块中的被认为具有较大预测误差的区域。例如,被认为具有较大预测误差的区域可以是预测块的边界。此外,在预测块中被认为具有较大预测误差的区域可根据帧内预测模式而不同,并且滤波器的特性也可根据帧内预测模式而不同。
图8是用于解释帧间预测过程的实施例的示图。
图8中示出的矩形可表示图像(或画面)。此外,在图8中,箭头可表示预测方向。也就是说,可根据预测方向对每个图像进行编码和/或解码。
图像可根据编码类型被分类为帧内画面(I画面)、单向预测画面或预测编码画面(P画面)、和双向预测画面或双向预测编码画面(B画面)。可根据每个画面的编码类型对每个画面进行编码。
当作为将被编码的目标的目标图像是I画面时,目标图像可在不进行参照其它图像的帧间预测的情况下使用图像本身包含的数据被编码。例如,I画面可仅经由帧内预测被编码。
当目标图像是P画面时,可经由使用存在于一个方向上的参考画面的帧间预测对目标图像进行编码。这里,所述一个方向可以是前向方向或后向方向。
当目标图像是B画面时,可经由使用存在于两个方向上的参考画面的帧间预测对图像进行编码,或者可以经由使用存在于前向方向和后向方向之一上的参考画面的帧间预测对图像进行编码。这里,所述两个方向可以是前向方向和后向方向。
使用参考画面进行编码和/或解码的P画面和B画面可被视为使用帧间预测的图像。
下面,将详细地描述根据实施例的在帧间模式下的帧间预测。
可使用运动信息来执行帧间预测。
在帧间模式下,编码设备100可对目标块执行帧间预测和/或运动补偿。解码设备200可对目标块执行与由编码设备100执行的帧间预测和/或运动补偿相应的帧间预测和/或运动补偿。
可由编码设备100和解码设备200在帧间预测期间单独地推导目标块的运动信息。可使用重建的邻近块的运动信息、同位块(col块)的运动信息和/或与col块相邻的块的运动信息来推导运动信息。col块可以是先前重建的同位画面(col画面)中的块。col块在col画面中的位置可与目标块在目标图像中的位置相应。col画面可以是在参考画面列表中包括的一个或更多个参考画面中的任意一个。
例如,编码设备100或解码设备200可通过将空间候选和/或时间候选的运动信息用作目标块的运动信息来执行预测和/或运动补偿。目标块可表示PU和/或PU分区。
空间候选可以是在空间上与目标块相邻的重建块。
时间候选可以是在先前重建的同位画面(col画面)中的与目标块相应的重建块。
在帧间预测中,编码设备100和解码设备200可通过利用空间候选和/或时间候选的运动信息来提高编码效率和解码效率。空间候选的运动信息可被称为“空间运动信息”。时间候选的运动信息可被称为“时间运动信息”。
下面,空间候选的运动信息可以是包括空间候选的PU的运动信息。时间候选的运动信息可以是包括时间候选的PU的运动信息。候选块的运动信息可以是包括候选块的PU的运动信息。
可使用参考画面执行帧间预测。
参考画面可以是在目标画面之前的画面和在目标画面之后的画面中的至少一个。参考画面可以是用于对目标块的预测的图像。
在帧间预测中,可利用用于指示参考画面的参考画面索引(或refIdx)、随后将被描述的运动矢量等来指定参考画面中的区域。这里,在参考画面中指定的区域可指示参考块。
帧间预测可选择参考画面,也可以从参考画面选择与目标块相应的参考块。此外,帧间预测可使用所选择的参考块来产生针对目标块的预测块。
可由编码设备100和解码设备200中的每一个在帧间预测期间推导运动信息。
空间候选可以是1)存在于目标画面中的2)已经在先前经由编码和/或解码而重建并且3)与目标块相邻或位于目标块的拐角处的块。这里,“位于目标块的拐角处的块”可以是与水平相邻于目标块的邻近块垂直相邻的块,或者是与垂直相邻于目标块的邻近块水平相邻的块。此外,“位于目标块的拐角处的块”可具有与“与目标块的拐角相邻的块”相同的含义。“位于目标块的拐角处的块”的含义可被包括在“与目标块相邻的块”的含义中。
例如,空间候选可以是位于目标块左侧的重建块、位于目标块上方的重建块、位于目标块左下角的重建块、位于目标块右上角的重建块或位于目标块左上角的目标块。
编码设备100和解码设备200中的每一个可识别存在于col画面中的在空间上与目标块相应的位置的块。目标块在目标画面中的位置和所识别的块在col画面中的位置可彼此相应。
编码设备100和解码设备200中的每一个可将存在于针对所识别的块的预定义相关位置处的col块确定为时间候选。所述预定义相关位置可以是存在于所识别的块内部和/或外部的位置。
例如,col块可包括第一col块和第二col块。当所识别的块的坐标是(xP,yP)并且所识别的块的尺寸用(nPSW,nPSH)表示时,第一col块可以是位于坐标(xP+nPSW,yP+nPSH)处的块。第二col块可以是位于坐标(xP+(nPSW>>1),yP+(nPSH>>1))处的块。当第一col块不可用时,可选择性地使用第二col块。
可基于col块的运动矢量确定目标块的运动矢量。编码设备100和解码设备200中的每一个可对col块的运动矢量进行缩放。col块的经缩放的运动矢量可被用作目标块的运动矢量。此外,存储在列表中的时间候选的运行信息的运动矢量可以是经缩放的运动矢量。
目标块的运动矢量与col块的运动矢量的比率可与第一距离与第二距离的比率相同。第一距离可以是参考画面与目标块的目标画面之间的距离。第二距离可以是参考画面与col块的col画面之间的距离。
用于推导运动信息的方案可根据目标块的帧间预测模式而改变。例如,作为被应用于帧间预测的帧间预测模式,可存在高级运动矢量预测因子(AMVP)模式、合并模式、跳过模式、当前画面参考模式等。合并模式也可被称为“运动合并模式”。下面将详细描述各个模式。
1)AMVP模式
当使用AMVP模式时,编码设备100可在目标块的邻近区域中搜索相似块。编码设备100可通过使用找到的相似块的运动信息对目标块执行预测来获取预测块。编码设备100可对作为目标块与预测块之间的差的残差块进行编码。
1-1)创建预测运动矢量候选的列表
当AMVP模式被用作预测模式时,编码设备100和解码设备200中的每一个可使用空间候选的运动矢量、时间候选的运动矢量和零矢量来创建预测运动矢量候选的列表。预测运动矢量候选列表可包括一个或更多个预测运动矢量候选。空间候选的运动矢量、时间候选的运动矢量和零矢量中的至少一个可被确定并被用作预测运动矢量候选。
在下文中,术语“预测运动矢量(候选)”和“运动矢量(候选)”可被用于具有相同的含义,并且可彼此互换使用。
空间运动候选可包括重建的空间邻近块。换句话说,重建的邻近块的运动矢量可被称为“空间预测运动矢量候选”。
时间运动候选可包括col块和与col块相邻的块。换句话说,col块的运动矢量或与col块相邻的块的运动矢量可被称为“时间预测运动矢量候选”。
零矢量可以是(0,0)运动矢量。
预测运动矢量候选可以是用于对运动矢量进行预测的运动矢量预测因子。此外,在编码设备100中,每个预测运动矢量候选可以是用于运动矢量的初始搜索位置。
1-2)使用预测运动矢量候选的列表搜索运动矢量
编码设备100可使用预测运动矢量候选的列表在搜索范围内确定将被用于对目标块进行编码的运动矢量。此外,编码设备100可在存在于预测运动矢量候选列表中的预测运动矢量候选之中确定将被用作目标块的预测运动矢量的预测运动矢量候选。
将被用于对目标块进行编码的运动矢量可以是可按最小代价编码的运动矢量。
此外,编码设备100可确定是否使用AMVP模式对目标块进行编码。
1-3)对帧间预测信息的传输
编码设备100可产生包括帧间预测所需的帧间预测信息的比特流。解码设备200可使用比特流的帧间预测信息对目标块执行帧间预测。
帧间预测信息可包含1)指示AMVP是否被使用的模式信息、2)预测运动矢量索引、3)运动矢量差(MVD)、4)参考方向和5)参考画面索引。
此外,帧间预测信息可包含残差信号。
当模式信息指示AMVP模式被使用时,解码设备200可通过熵解码从比特流获取预测运动矢量索引、MVD、参考方向和参考画面索引。
预测运动矢量索引可指示在预测运动矢量候选列表中包括的预测运动矢量候选之中的将被用于对目标块进行预测的预测运动矢量候选。
1-4)使用帧间预测信息在AMVP模式下进行帧间预测
解码设备200可使用预测运动矢量候选列表来推导预测运动矢量候选,并且可基于推导的预测运动矢量候选来确定目标块的运动信息。
解码设备200可使用预测运动矢量索引在预测运动矢量候选列表中包括的预测运动矢量候选之中确定用于目标块的运动矢量候选。解码设备200可从预测运动矢量候选列表中包括的预测运动矢量候选之中选择由预测运动矢量索引所指示的预测运动矢量候选作为目标块的预测运动矢量。
实际将被用于对目标块的帧间预测的运动矢量可不与预测运动矢量匹配。为了指示实际将被用于对目标块的帧间预测的运动矢量与预测运动矢量之间的差,可使用MVD。编码设备100可推导与实际将被用于对目标块的帧间预测的运动矢量相似的预测运动矢量,以便使用尽可能小的MVD。
MVD可以是目标块的运动矢量与预测运动矢量之间的差。编码设备100可计算MVD,并可对MVD进行熵编码。
可通过比特流将MVD从编码设备100发送到解码设备200。解码设备200可对接收的MVD进行解码。解码设备200可通过对解码的MVD和预测运动矢量进行求和来推导目标块的运动矢量。换句话说,由解码设备200推导出的目标块的运动矢量可以是熵解码的MVD和运动矢量候选之和。
参考方向可指示将被用于对目标块进行预测的参考画面的列表。例如,参考方向可指示参考画面列表L0和参考画面列表L1中的一个。
参考方向仅指示将被用于对目标块进行预测的参考画面列表,并不意味着参考画面的方向被限制为前向方向或后向方向。换句话说,参考画面列表L0和参考画面列表L1中的每一个可包括前向方向和/或后向方向上的画面。
参考画面是单向的可意味着使用单个参考画面列表。参考方向是双向的可意味着使用两个参考画面列表。换句话说,参考方向可指示以下情况之一:仅使用参考画面列表L0的情况、仅使用参考画面列表L1的情况、以及使用两个参考画面列表的情况。
参考画面索引可指示在参考画面列表中的参考画面之中的将被用于对目标块进行预测的参考画面。可由编码设备100对参考画面索引进行熵编码。经熵编码的参考画面索引可通过比特流由编码设备100用信号传送到解码设备200。
当两个参考画面列表被用于对目标块进行预测时,单个参考画面索引和单个运动矢量可被用于参考画面列表中的每一个。此外,当两个参考画面列表被用于对目标块进行预测时,可为目标块指定两个预测块。例如,可使用针对目标块的两个预测块的平均值或加权和来产生目标块的(最终)预测块。
可通过预测运动矢量索引、MVD、参考方向和参考画面索引来推导目标块的运动矢量。
解码设备200可基于推导出的运动矢量和参考画面索引来产生针对目标块的预测块。例如,预测块可以是在由参考画面索引所指示的参考画面中的由推导出的运动矢量所指示的参考块。
由于预测运动矢量索引和MVD被编码,而目标块的运动矢量自身不被编码,因此从编码设备100发送到解码设备200的比特的数量可减少,并且编码效率可提高。
可将重建的邻近块的运动信息用于目标块。在特定的帧间预测模式中,编码设备100可不单独对目标块的实际运动信息进行编码。目标块的运动信息不被编码,而是可对额外信息进行编码,所述额外信息使得能够使用重建的邻近块的运动信息来推导目标块的运动信息。由于所述额外信息被编码,因此被发送到解码设备200的比特的数量可减少,并且编码效率可提高。
例如,作为目标块的运动信息不被直接编码的帧间预测模式,可存在跳过模式和/或合并模式。这里,编码设备100和解码设备200中的每一个可使用指示在重建的邻近单元之中的其运动信息将被用作目标单元的运动信息的单元的指示符和/或索引。
2)合并模式
作为用于推导目标块的运动信息的方案,存在合并。术语“合并”可意味着对多个块的运动进行合并。“合并”可意味着一个块的运动信息也被应用于其它块。换句话说,合并模式可以是从邻近块的运动信息推导目标块的运动信息的模式。
当使用合并模式时,编码设备100可使用空间候选的运动信息和/或时间候选的运动信息来预测目标块的运动信息。空间候选可包括在空间上与目标块相邻的重建的空间邻近块。空间上相邻的块可包括左侧相邻块和上方相邻块。时间候选可包括col块。术语“空间候选”和“空间合并候选”可被用于具有相同的含义,并且可彼此互换使用。术语“时间候选”和“时间合并候选”可被用于具有相同的含义,并且可彼此互换使用。
编码设备100可经由预测来获取预测块。编码设备100可对作为目标块与预测块之间的差的残差块进行编码。
2-1)创建合并候选列表
当使用合并模式时,编码设备100和解码设备200中的每一个可使用空间候选的运动信息和/或时间候选的运动信息来创建合并候选列表。运动信息可包括1)运动矢量、2)参考画面索引和3)参考方向。参考方向可以是单向或双向。
合并候选列表可包括合并候选。合并候选可以是运动信息。换句话说,合并候选列表可以是存储多条运动信息的列表。
合并候选可以是多条时间候选和/或空间候选的运动信息。此外,合并候选列表可包括通过对已存在于合并候选列表中的合并候选进行组合而产生的新的合并候选。换句话说,合并候选列表可包括通过对先前存在于合并候选列表中的多条运动信息进行合并而产生的新的运动信息。
此外,合并候选列表可包括零矢量的运动信息。零矢量也可被称为“零合并候选”。
换句话说,合并候选列表中的多条运动信息可以是以下信息中的至少一个:1)空间候选的运动信息、2)时间候选的运动信息、3)通过对先前存在于合并候选列表中的多条运动信息进行组合而产生的运动信息、以及4)零矢量。
运动信息可包括1)运动矢量、2)参考画面索引和3)参考方向。参考方向也可被称为“帧间预测指示符”。参考方向可以是单向或双向。单向参考方向可指示L0预测或L1预测。
可在执行合并模式下的预测之前创建合并候选列表。
可预先定义合并候选列表中的合并候选的数量。编码设备100和解码设备200中的每一个可根据预定义的方案或预定义的优先级将合并候选添加到合并候选列表,使得合并候选列表具有预定义数量的合并候选。可使用预定义的方案和预定义的优先级将编码设备100的合并候选列表和解码设备200的合并候选列表制作为彼此相同。
可基于CU或PU来应用合并。当基于CU或PU执行合并时,编码设备100可将包括预定义的信息的比特流发送到解码设备200。例如,预定义的信息可包含1)指示是否针对各个块分区执行合并的信息、以及2)关于在作为针对目标块的空间候选和/或时间候选的块之中的将被执行合并的块的信息。
2-2)搜索使用合并候选列表的运动矢量
编码设备100可确定将被用于对目标块进行编码的合并候选。例如,编码设备100可使用合并候选列表中的合并候选对目标块执行预测,并且可产生针对合并候选的残差块。编码设备100可使用在预测和残差块的编码中产生最小代价的合并候选来对目标块进行编码。
此外,编码设备100可确定是否使用合并模式对目标块进行编码。
2-3)对帧间预测信息的传输
编码设备100可产生包括帧间预测所需的帧间预测信息的比特流。编码设备100可通过对帧间预测信息执行熵编码来产生经熵编码的帧间预测信息,并且可将包括经熵编码的帧间预测信息的比特流发送到解码设备200。经熵编码的帧间预测信息可由编码设备100通过比特流用信号传送到解码设备200。
解码设备200可使用比特流的帧间预测信息对目标块执行帧间预测。
帧间预测信息可包含1)指示合并模式是否被使用的模式信息和2)合并索引。
此外,帧间预测信息可包含残差信号。
解码设备200可仅在模式信息指示合并模式被使用时从比特流获取合并索引。
模式信息可以是合并标志。模式信息的单位可以是块。关于块的信息可包括模式信息,并且模式信息可指示合并模式是否被应用于块。
合并索引可指示在合并候选列表中包括的合并候选之中的将被用于对目标块进行预测的合并候选。可选地,合并索引可指示在与目标块在空间上或时间上相邻的邻近块之中的将与目标块合并的块。
2-4)使用帧间预测信息的合并模式的帧间预测
解码设备200可使用在合并候选列表中包括的合并候选之中的由合并索引指示的合并候选对目标块执行预测。
可通过由合并索引指示的合并候选的运动矢量、参考画面索引和参考方向来指定目标块的运动矢量。
3)跳过模式
跳过模式可以是将空间候选的运动信息或时间候选的运动信息在没有改变的情况下应用于目标块的模式。此外,跳过模式可以是不使用残差信号的模式。换句话说,当使用跳过模式时,重建块可以是预测块。
合并模式与跳过模式之间的差异在于是否发送或使用残差信号。也就是说,除了不发送或使用残差信号之外,跳过模式可类似于合并模式。
当使用跳过模式时,编码设备100可通过比特流将与在作为空间候选或时间候选的块之中的其运动信息将被用作目标块的运动信息的块有关的信息发送到解码设备200。编码设备100可通过对该信息执行熵编码来产生经熵编码的信息,并且可通过比特流将经熵编码的信息用信号传送到解码设备200。
此外,当使用跳过模式时,编码设备100可不将其它语法信息(诸如MVD)发送到解码设备200。例如,当使用跳过模式时,编码设备100可不将与MVC、编码块标志和变换系数等级中的至少一个相关的语法元素用信号传送到解码设备200。
3-1)创建合并候选列表
跳过模式也可使用合并候选列表。换句话说,可在合并模式和跳过模式两者中使用合并候选列表。在这方面,合并候选列表也可被称为“跳过候选列表”或“合并/跳过候选列表”。
可选地,跳过模式可使用与合并模式的候选列表不同的额外候选列表。在这种情况下,在以下描述中,可分别用跳过候选列表和跳过候选来替换合并候选列表和合并候选。
可在执行跳过模式下的预测之前创建合并候选列表。
3-2)使用合并候选列表搜索运动矢量
编码设备100可确定将被用于对目标块进行编码的合并候选。例如,编码设备100可使用合并候选列表中的合并候选对目标块执行预测。编码设备100可使用在预测中产生最小代价的合并候选对目标块进行编码。
此外,编码设备100可确定是否使用跳过模式对目标块进行编码。
3-3)对帧间预测信息的传输
编码设备100可产生包括帧间预测所需的帧间预测信息的比特流。解码设备200可使用比特流的帧间预测信息对目标块执行帧间预测。
帧间预测信息可包括1)指示跳过模式是否被使用的模式信息和2)跳过索引。
跳过索引可与以上描述的合并索引相同。
当使用跳过模式时,可在不使用残差信号的情况下对目标块进行编码。帧间预测信息可不包含残差信号。可选地,比特流可不包括残差信号。
解码设备200可仅在模式信息指示跳过模式被使用时从比特流获取跳过索引。如上所述,合并索引和跳过索引可彼此相同。解码设备200可仅在模式信息指示合并模式或跳过模式被使用时从比特流获取跳过索引。
跳过索引可指示在合并候选列表中包括的合并候选之中的将被用于对目标块进行预测的合并候选。
3-4)使用帧间预测信息在跳过模式下进行帧间预测
解码设备200可使用在合并候选列表中包括的合并候选之中的由跳过索引指示的合并候选对目标块执行预测。
可通过由跳过索引指示的合并候选的运动矢量、参考画面索引和参考方向来指定目标块的运动矢量。
4)当前画面参考模式
当前画面参考模式可表示这样的预测模式:该预测模式使用目标块所属的当前画面中的先前重建的区域。
可定义用于指定先前重建的区域的矢量。可使用目标块的参考画面索引来确定目标块是否已在当前画面参考模式下被编码。
指示目标块是否是以当前画面参考模式被编码的块的标志或索引可由编码设备100用信号传送到解码设备200。可选地,可通过目标块的参考画面索引来推断目标块是否是以当前画面参考模式被编码的块。
当目标块以当前画面参考模式被编码时,当前画面可被添加到在用于目标块的参考画面列表中的固定位置或任意位置。
例如,所述固定位置可以是参考画面索引是0的位置或最后位置。
在当前画面被添加到参考画面列表中的任意位置时,指示这样的任意位置的额外参考画面索引可由编码设备100用信号传送到解码设备200。
在以上描述的AMVP模式、合并模式和跳过模式中,可使用列表的索引来指定在列表中的多条运动信息之中的将被用于对目标块进行预测的运动信息。
为了提高编码效率,编码设备100可仅用信号传送在列表中的元素之中的在对目标块的帧间预测中产生最小代价的元素的索引。编码设备100可对该索引进行编码,并且可用信号传送编码后的索引。
因此,必须能够由编码设备100和解码设备200使用相同的方案基于相同的数据来推导以上描述的列表(即,预测运动矢量候选列表和合并候选列表)。这里,所述相同的数据可包括重建画面和重建块。此外,为了使用索引指定元素,必须固定列表中的元素的顺序。
图9示出了根据实施例的空间候选。
在图9中,示出了空间候选的位置。
在图的中央处的大块可表示目标块。五个小块可表示空间候选。
目标块的坐标可以是(xP,yP),目标块的尺寸可用(nPSW,nPSH)来表示。
空间候选A0可以是与目标块的左下角相邻的块。A0可以是占有位于坐标(xP-1,yP+nPSH+1)处的像素的块。
空间坐标A1可以是与目标块的左侧相邻的块。A1可以是在与目标块的左侧相邻的块之中的最下方的块。可选地,A1可以是与A0的顶部相邻的块。A1可以是占有位于坐标(xP-1,yP+nPSH)处的像素的块。
空间候选B0可以是与目标块的右上角相邻的块。B0可以是占有位于坐标(xP+nPSW+1,yP-1)处的像素的块。
空间候选B1可以是与目标块的顶部相邻的块。B1可以是在与目标块的顶部相邻的块之中的最右侧的块。可选地,B1可以是与B0的左侧相邻的块。B1可以是占有位于坐标(xP+nPSW,yP-1)处的像素的块。
空间候选B2可以是与目标块的左上角相邻的块。B2可以是占有位于坐标(xP-1,yP-1)处的像素的块。
确定空间候选和时间候选的可用性
为了将空间候选的运动信息或时间候选的运动信息包括在列表中,必须确定空间候选的运动信息或时间候选的运动信息是否可用。
在下文中,候选块可包括空间候选和时间候选。
例如,可通过顺序地应用以下步骤1)至步骤4)来执行确定空间候选的运动信息或时间候选的运动信息是否可用的操作。
步骤1)当包括候选块的PU位于画面的边界外时,候选块的可用性可被设置为“假”。表述“可用性被设置为假”可具有与“设置为不可用”相同的含义。
步骤2)当包括候选块的PU位于条带的边界外时,候选块的可用性可被设置为“假”。当目标块和候选块位于不同条带中时,候选块的可用性可被设置为“假”。
步骤3)当包括候选块的PU位于并行块的边界外时,候选块的可用性可被设置为“假”。当目标块和候选块位于不同并行块中时,候选块的可用性可被设置为“假”。
步骤4)当包括候选块的PU的预测模式是帧内预测模式时,候选块的可用性可被设置为“假”。当包括候选块的PU不使用帧间预测时,候选块的可用性可被设置为“假”。
图10示出了根据实施例的将空间候选的运动信息添加到合并列表的顺序。
如图10中所示,当空间候选的多条运动信息被添加到合并列表时,可使用A1、B1、B0、A0和B2的顺序。也就是说,可按照A1、B1、B0、A0和B2的顺序将可用空间候选的多条运动信息添加到合并列表。
用于在合并模式和跳过模式下推导合并列表的方法
如上所述,可设置合并列表中的合并候选的最大数量。可用“N”来指示设置的最大数量。设置的数量可从编码设备100发送到解码设备200。条带的条带头可包括N。换句话说,可通过条带头来设置用于条带的目标块的合并列表中的合并候选的最大数量。例如,N的值基本上可以是5。
可按照以下步骤1)至4)的顺序将多条运动信息(即,合并候选)添加到合并列表中。
步骤1)在空间候选之中,可将有效的空间候选添加到合并列表。可按照图10中示出的顺序来将可用空间候选的多条运动信息添加到合并列表。这里,当可用空间候选的运动信息与合并列表中已经存在的其它运动信息重叠时,可不将可用空间候选的运动信息添加到合并列表。检查相应运动信息是否与列表中存在的其它运动信息重叠的操作可被称为“重叠检查”。
被添加的运动信息的最大条数可以是N。
步骤2)当合并列表中的运动信息的条数小于N并且时间候选可用时,可将时间候选的运动信息添加到合并列表。这里,当可用时间候选的运动信息与合并列表中已经存在的其它运动信息重叠时,可不将时间候选的运动信息添加到合并列表。
步骤3)当合并列表中的运动信息的条数小于N并且目标条带的类型是“B”时,可将通过组合的双向预测(双预测)而产生的组合运动信息添加到合并列表。
目标条带可以是包括目标块的条带。
组合运动信息可以是L0运动信息和L1运动信息的组合。L0运动信息可以是仅参照参考画面列表L0的运动信息。L1运动信息可以是仅参照参考画面列表L1的运动信息。
在合并列表中,可存在一条或更多条L0运动信息。此外,在合并列表中,可存在一条或更多条L1运动信息。
组合运动信息可包括一条或更多条组合运动信息。当产生组合运动信息时,可预先定义所述一条或更多条L0运动信息和所述一条或更多条L1运动信息之中的将被用于产生组合运动信息的步骤的L0运动信息和L1运动信息。可经由使用合并列表中的一对不同运动信息的组合的双向预测按照预定义的顺序来产生一条或更多条组合运动信息。所述一对不同运动信息中的一条运动信息可以是L0运动信息,并且所述一对不同运动信息中的另一条运动信息可以是L1运动信息。
例如,被添加有最高优先级的组合运动信息可以是具有合并索引0的L0运动信息和具有合并索引1的L1运动信息的组合。当具有合并索引0的运动信息不是L0运动信息时或者当具有合并索引1的运动信息不是L1运动信息时,可既不产生也不添加组合运动信息。接下来,被添加有下一优先级的组合运动信息可以是具有合并索引1的L0运动信息和具有合并索引0的L1运动信息的组合。随后的详细组合可符合视频编码/解码领域的其它组合。
这里,当组合运动信息与合并列表中已经存在的其它运动信息重叠时,可不将组合运动信息添加到合并列表。
步骤4)当合并列表中的运动信息的条数小于N时,可将零矢量运动信息添加到合并列表。
零矢量运动信息可以是运动矢量是零矢量的运动信息。
零矢量运动信息的条数可以是一个或更多个。一条或更多条零矢量运动信息的参考画面索引可彼此不同。例如,第一零矢量运动信息的参考画面索引的值可以是0。第二零矢量运动信息的参考画面索引的值可以是1。
零矢量运动信息的条数可与参考画面列表中的参考画面的数量相同。
零矢量运动信息的参考方向可以是双向的。两个运动矢量可以是零矢量。零矢量运动信息的条数可以是参考画面列表L0的参考画面的数量和参考画面列表L1的参考画面的数量中较小的一个。可选地,当参考画面列表L0中的参考画面的数量和参考画面列表L1中的参考画面的数量彼此不同时,作为单向的参考方向可被用于可仅应用于单个参考画面列表的参考画面索引。
编码设备100和/或解码设备200可随后将零矢量运动信息添加到合并列表,同时改变参考画面索引。
当零矢量运动信息与合并列表中已经存在的其它运动信息重叠时,可不将零矢量运动信息添加到合并列表。
上述步骤1)至步骤4)的顺序仅是示例性的,并且可被改变。此外,可根据预定义的条件省略以上步骤中的一些步骤。
用于在AMVP模式下推导预测运动矢量候选列表的方法
可预先定义在预测运动矢量候选列表中的预测运动矢量候选的最大数量。可用N来指示预定义的最大数量。例如,预定义的最大数量可以是2。
可按照以下的步骤1)至步骤3)的顺序将多条运动信息(即,预测运动矢量候选)添加到预测运动矢量候选列表。
步骤1)可将空间候选之中的可用空间候选添加到预测运动矢量候选列表。空间候选可包括第一空间候选和第二空间候选。
第一空间候选可以是A0、A1、经缩放的A0和经缩放的A1中的一个。第二空间候选可以是B0、B1、B2、经缩放的B0、经缩放的B1和经缩放的B2中的一个。
可按照第一空间候选和第二空间候选的顺序将可用空间候选的多条运动信息添加到预测运动矢量候选列表。在这种情况下,当可用空间候选的运动信息与预测运动矢量候选列表中已经存在的其它运动信息重叠时,可不将可用空间候选的运动信息添加到预测运动矢量候选列表。换句话说,当N的值是2时,如果第二空间候选的运动信息与第一空间候选的运动信息相同,则可不将第二空间候选的运动信息添加到预测运动矢量候选列表。
被添加的运动信息的最大条数可以是N。
步骤2)当预测运动矢量候选列表中的运动信息的条数小于N并且时间候选可用时,可将时间候选的运动信息添加到预测运动矢量候选列表。在这种情况下,当可用时间候选的运动信息与预测运动矢量候选列表中已经存在的其它运动信息重叠时,可不将可用时间候选的运动信息添加到预测运动矢量候选列表。
步骤3)当预测运动矢量候选列表中的运动信息的条数小于N时,可将零矢量运动信息添加到预测运动矢量候选列表。
零矢量运动信息可包括一条或更多条零矢量运动信息。所述一条或更多条零矢量运动信息的参考画面索引可彼此不同。
编码设备100和/或解码设备200可顺序地将多条零矢量运动信息添加到预测运动矢量候选列表,同时改变参考画面索引。
当零矢量运动信息与预测运动矢量候选列表中已经存在的其它运动信息重叠时,可不将零矢量运动信息添加到预测运动矢量候选列表。
以上结合合并列表做出的对零矢量运动信息的描述也可应用于零矢量运动信息。将省略其重复的描述。
以上描述的步骤1)至步骤3)的顺序仅是示例性的,并且可被改变。此外,可根据预定义的条件省略步骤中的一些步骤。
图11示出了根据示例的变换和量化处理。
如图11中所示,可通过对残差信号执行变换和/或量化处理来产生量化的等级。
残差信号可被产生为原始块与预测块之间的差。这里,预测块可以是经由帧内预测或帧间预测而产生的块。
变换可包括首次变换和二次变换中的至少一个。可通过对残差信号执行首次变换来产生变换系数,并且可通过对变换系数执行二次变换来产生二次变换系数。
可使用预定义的多种变换方法中的至少一种来执行首次变换。例如,所述预定义的多种变换方法可包括离散余弦变换(DCT)、离散正弦变换(DST)、卡洛变换(KLT)等。
可对通过执行首次变换而产生的变换系数执行二次变换。
可基于用于目标块和/或邻近块的编码参数中的至少一个来确定被应用于首次变换和/或二次变换的变换方法。可选地,指示变换方法的变换信息可由编码设备用信号传送到解码设备200。
可通过对经由执行首次变换和/或二次变换而产生的结果执行量化或者对残差信号执行量化来产生量化的等级。
可根据帧内预测模式、块尺寸和块形式中的至少一个,基于右上对角扫描、垂直扫描和水平扫描中的至少一个对量化的等级进行扫描。
例如,可通过使用右上对角扫描对块的系数进行扫描来将系数改变为1D矢量形式。可选地,根据帧内块的尺寸和/或帧内预测模式,可使用按照列方向对2D块格式系数进行扫描的垂直扫描或按照行方向对2D块格式系数进行扫描的水平扫描来代替右上对角扫描。
可对扫描后的量化的等级进行熵编码,并且比特流可包括经熵编码的量化的等级。
解码设备200可经由对比特流进行熵解码来产生量化的等级。可经由逆扫描按照2D块的形式对量化的等级进行排列。这里,作为逆扫描的方法,可执行右上对角扫描、垂直扫描和水平扫描中的至少一个。
可对量化的等级执行去量化。可根据是否执行二次逆变换,对通过执行去量化而产生的结果执行二次逆变换。此外,可根据是否将执行首次逆变换,对通过执行二次逆变换而产生的结果执行首次逆变换。可通过对经由执行二次逆变换而产生的结果执行首次逆变换来产生重建的残差信号。
图12是根据实施例的编码设备的配置图。
编码设备1200可对应于以上描述的编码设备100。
编码设备1200可包括通过总线1290彼此通信的处理单元1210、存储器1230、用户界面(UI)输入装置1250、UI输出装置1260和贮存器1240。电子装置1200还可包括连接到网络1299的通信单元1220。
处理单元1210可以是用于运行存储在存储器1230或贮存器1240中的处理指令的中央处理器(CPU)或半导体器件。处理单元1210可以是至少一个硬件处理器。
处理单元1210可产生并处理被输入到编码设备1200的、从编码设备1200输出的、或者在编码设备1200中使用的信号、数据或信息,并且可执行与信号、数据或信息相关的检查、比较、确定等。换句话说,在实施例中,可由处理单元1210执行数据或信息的产生和处理以及与数据或信息相关的检查、比较和确定。
处理单元1210可包括帧间预测单元110、帧内预测单元120、切换器115、减法器125、变换单元130、量化单元140、熵编码单元150、去量化单元160、逆变换单元170、加法器175、滤波单元180和参考画面缓冲器190。
帧间预测单元110、帧内预测单元120、切换器115、减法器125、变换单元130、量化单元140、熵编码单元150、去量化单元160、逆变换单元170、加法器175、滤波单元180和参考画面缓冲器190中的至少一些可以是程序模块,并且可与外部装置或系统进行通信。所述程序模块可以以操作系统、应用程序模块或其它程序模块的形式被包括在编码设备1200中。
所述程序模块可被物理地存储在各种类型的公知的存储装置中。此外,所述程序模块中的至少一些也可被存储在能够与编码设备1200进行通信的远程存储装置中。
程序模块可包括但不限于用于执行根据实施例的功能或操作或者用于实现根据实施例的抽象数据类型的例程、子例程、程序、对象、组件和数据结构。
可使用由编码设备1200的至少一个处理器运行的指令或代码来实现所述程序模块。
处理单元1210可运行在帧间预测单元110、帧内预测单元120、切换器115、减法器125、变换单元130、量化单元140、熵编码单元150、去量化单元160、逆变换单元170、加法器175、滤波单元180和参考画面缓冲器190中的指令或代码。
存储单元可表示存储器1230和/或贮存器1240。存储器1230和贮存器1240中的每一个可以是各种类型的易失性或非易失性存储介质中的任意一种。例如,存储器1230可包括只读存储器(ROM)1231和随机存取存储器(RAM)1232中的至少一个。
存储单元可存储用于编码设备1200的操作的数据或信息。在实施例中,编码设备1200的数据或信息可被存储在存储单元中。
例如,存储单元可存储画面、块、列表、运动信息、帧间预测信息、比特流等。
编码设备1200可被实现在包括计算机可读存储介质的计算机系统中。
存储介质可存储编码设备1200的操作所需的至少一个模块。存储器1230可存储至少一个模块,并且可被配置为使得至少一个模块由处理单元1210运行。
可通过通信单元1220来执行与编码设备1200的数据或信息的通信相关的功能。
例如,通信单元1220可将比特流发送到随后将描述的解码设备1300。
图13是根据实施例的解码设备的配置图。
解码设备1300可对应于以上描述的解码设备200。
解码设备1300可包括通过总线1390彼此通信的处理单元1310、存储器1330、用户界面(UI)输入装置1350、UI输出装置1360和贮存器1340。解码设备1300还可包括连接到网络1399的通信单元1320。
处理器1310可以是用于运行存储在存储器1330或贮存器1340中的处理指令的中央处理器(CPU)或半导体器件。处理单元1310可以是至少一个硬件处理器。
处理单元1310可产生并处理被输入到解码设备1300的、从解码设备1300输出的、或者在解码设备1300中使用的信号、数据或信息,并且可执行与信号、数据或信息相关的检查、比较、确定等。换句话说,在实施例中,可由处理单元1310执行数据或信息的产生和处理以及与数据或信息相关的检查、比较和确定。
处理单元1310可包括熵解码单元210、去量化单元220、逆变换单元230、帧内预测单元240、帧间预测单元250、加法器255、滤波单元260和参考画面缓冲器270。
解码设备1300的熵解码单元210、去量化单元220、逆变换单元230、帧内预测单元240、帧间预测单元250、加法器255、滤波单元260和参考画面缓冲器270中的至少一些可以是程序模块,并且可与外部装置或系统进行通信。所述程序模块可以以操作系统、应用程序模块或其它程序模块的形式被包括在解码设备1300中。
程序模块可被物理地存储在各种类型的公知的存储装置中。此外,所述程序模块中的至少一些也可被存储在能够与解码设备1300进行通信的远程存储装置中。
程序模块可包括但不限于用于执行根据实施例的功能或操作或者用于实现根据实施例的抽象数据类型的例程、子例程、程序、对象、组件和数据结构。
可使用由解码设备1300的至少一个处理器运行的指令或代码来实现所述程序模块。
处理单元1310可运行熵解码单元210、去量化单元220、逆变换单元230、帧内预测单元240、帧间预测单元250、加法器255、滤波单元260和参考画面缓冲器270中的指令或代码。
存储单元可表示存储器1330和/或贮存器1340。存储器1330和贮存器1340中的每一个可以是各种类型的易失性或非易失性存储介质中的任意一种。例如,存储器1330可包括ROM 1331和RAM 1332中的至少一个。
存储单元可存储用于解码设备1300的操作的数据或信息。在实施例中,解码设备1300的数据或信息可被存储在存储单元中。
例如,存储单元可存储画面、块、列表、运动信息、帧间预测信息、比特流等。
解码设备1300可被实现在包括计算机可读存储介质的计算机系统中。
存储介质可存储解码设备1300的操作所需的至少一个模块。存储器1330可存储至少一个模块,并且可被配置为使得至少一个模块由处理单元1310运行。
可通过通信单元1320来执行与解码设备1300的数据或信息的通信相关的功能。
例如,通信单元1320可从编码设备1200接收比特流。
图14是根据实施例的预测方法的流程图。
预测方法可由编码设备1200和/或解码设备1300执行。
例如,编码设备1200可执行根据本实施例的预测方法以针对目标块和/或多个分区块比较多个预测方案的效率,并且也可执行根据本实施例的预测方法以产生目标块的重建块。
例如,解码设备1300可执行根据实施例的预测方法以产生目标块的重建块。
在下文中,处理单元可对应于编码设备1200的处理单元1210和/或解码设备1300的处理单元1310。
在步骤1410,处理单元可选择将被用于对目标块进行预测的预测模式。选择的预测模式可包括一个或更多个预测模式。
在实施例中,当存在多个选择的预测模式时,可使用用于决定多个选择的预测模式之中的将被用于对目标块进行预测的预测模式的预测模式决定信息。在对目标块的编码中,当存在多个选择的预测模式时,处理单元可产生指示多个选择的预测模式之中的将被用于对目标块进行预测的预测模式的预测模式决定信息。
在实施例中,选择的预测模式可以是帧间预测模式。该预测模式可以是多个帧间预测方法之中的指定的帧间预测方法。
在实施例中,选择的预测模式可以是帧内预测模式。该预测模式可以是多个帧内预测方法之中的指定的帧内预测方法。
随后将参照图15详细地描述步骤1410的示例。
在步骤1420,处理单元可基于选择的预测模式对目标块执行预测。
在实施例中,预测可以是帧内预测或帧间预测。
在对目标块的解码中,当存在多个选择的预测模式时,处理单元可使用预测模式决定信息决定在多个选择的预测模式之中的将被用于对目标块进行预测的预测模式。
随后将参照图20和图21详细描述步骤1420的示例。
图15是根据实施例的预测模式选择方法的流程图。
根据实施例的预测模式选择方法可对应于以上描述的步骤1410。步骤1410可包括步骤1510和步骤1520。
在步骤1410,当对目标块执行帧间预测时,处理单元可从多个预测模式之中选择一个或更多个预测模式。
多个预测模式也可被称为能够在编码设备1200和/或解码设备1300中使用的“多个可用预测模式”。选择的一个或更多个预测模式也可被称为“一个或更多个预测模式候选”。选择的一个或更多个预测模式可以是能够用于对目标块进行编码和/或解码的一个或更多个预测模式候选。
在实施例中,多个预测模式可包括以下模式中的至少一个:高级运动矢量预测(AMVP)模式、合并模式、跳过模式、高级时间运动矢量预测(ATMVP)模式、空时运动矢量预测因子(STMVP)模式、模式匹配的运动矢量推导(PMMVD)模板匹配模式、双边匹配模式、仿射模式、双向光流(BIO)模式、解码器端运动矢量修正(DVMR)模式、以及局部照度补偿(LIC)模式。
在实施例中,仿射模式可包括仿射帧间模式和仿射合并模式。
在实施例中,可基于第一预测模式的运动信息来配置合并或AMVP候选列表。例如,可从合并或AMVP候选列表排除具有与第一预测模式的运动矢量相似或相同的运动矢量的候选,或者可选地,可改变候选的顺序。第一预测模式可以是AMVP模式、合并模式、跳过模式、模板匹配模式、双边匹配模式和仿射合并模式中的至少一个。
在实施例中,多个预测模式可包括以上描述的另外的模式。
处理单元可使用在步骤1510的预测模式选择方法和在步骤1520的预测模式选择方法中的至少一个从多个预测模式之中选择一个或更多个预测模式。
在步骤1510,处理单元可基于多个预测模式的统计值来选择预测模式。
例如,可通过对多个预测模式的统计值进行比较来选择具有最低统计值或最高统计值的预测模式。
统计值可表示平均值、最大值、最小值、众数、中间值、加权平均值、失真值和率失真值中的至少一个。
可选地,以上描述的统计值可以是率失真代价或率失真代价的统计值。处理单元可通过使用各个预测模式对目标块执行熵编码来针对多个预测模式中的每一个计算多个预测模式的率失真代价。处理单元可根据率失真代价从多个预测模式之中选择一个或更多个预测模式。处理单元可通过对多个预测模式的率失真代价进行比较来选择具有最低率失真代价的预测模式。
在步骤1520,处理单元可推导用于目标块的预测模式信息,并且可使用推导出的预测模式信息从多个预测模式之中选择一个或更多个预测模式。
在实施例中,在推导预测模式信息时,处理单元可使用与参考块相关的信息。可选地,预测模式信息可包括与参考块相关的信息。
在实施例中,参考块可包括在空间上与目标块相邻的空间邻近块以及在时间上与目标块相邻的时间邻近块中的一个或更多个。
例如,当使用与参考块相关的信息推导用于目标块的预测模式信息时,处理单元可使用以下推导中的一个或更多个:使用空间邻近块对预测模式信息进行推导、以及使用时间邻近块对预测模式信息进行推导。
在实施例中,与参考块相关的信息可包括参考块的运动矢量、参考块的预测方向、用于参考块的参考画面索引、参考块的编码模式、用于参考块的参考画面列表、参考块的画面顺序计数(POC)、参考块的量化参数(QP)和参考块的编码块标志(CBF)中的一个或更多个。
在实施例中,与参考块相关的信息还可包括以上描述的将被用于对参考块进行编码和/或解码的信息。
在实施例中,处理单元可从模板匹配模式和双边匹配模式中选择预测模式。多个预测模式可包括模板匹配模式和双边匹配模式。
当从多个预测模式(即模板匹配模式和双边匹配模式)选择一个或更多个预测模式时,处理单元可推导参考块的运动矢量,可确定推导出的运动矢量之间的一致性,并且可基于确定的一致性从多个预测模式中选择一个或更多个预测模式。随后将参照图16描述对运动矢量的推导、对一致性的确定、以及对预测模式的选择。
在实施例中,处理单元可使用预测方向从多个预测模式中选择一个或更多个预测模式。预测模式可以是目标块的预测方向或参考块的预测方向。
在实施例中,处理单元可根据单向预测和双向预测中的哪一个是目标块的帧间预测来选择一个或更多个预测模式。
例如,当目标块的帧间预测是双向预测时,处理单元可从多个预测模式中选择双边匹配模式。当目标块的帧间预测是单向预测时,处理单元可从多个预测模式中选择模板匹配模式。
例如,当参考块的帧间预测是双向预测时,处理单元可从多个预测模式中选择双边匹配模式。当参考块的帧间预测是单向预测时,处理单元可从多个预测模式选择模板匹配模式。
在实施例中,处理单元可使用编码参数从多个预测模式中选择一个或更多个预测模式。编码参数可以是目标块的编码参数或参考块的编码参数。
例如,处理单元可根据参考块的编码参数确定参考块的预测模式是帧内预测模式还是帧间预测模式。处理单元可根据帧内预测模式和帧间预测模式中的哪一个是参考块的预测模式来从多个预测模式中选择一个或更多个预测模式。参考块可以是时间邻近块。
在实施例中,处理单元可使用画面顺序计数(POC)从多个预测模式中选择一个或更多个预测模式。POC可以是包括目标块的目标画面的POC或者包括参考块的参考画面的POC。
例如,处理单元可基于特定POC之间的差来从多个预测模式中选择一个或更多个预测模式。
例如,当特定POC之间的差小于阈值时,处理单元可从多个预测模式中选择模板匹配模式。这里,特定POC可以是目标画面的POC和参考画面的POC。
图16示出了根据示例的参考块。
如上所述,当从多个预测模式中选择用于目标块的一个或更多个预测模式时,可使用参考块的运动矢量。运动矢量可被如下推导。
参考块可包括在空间上与目标块相邻的块。
在图16中,“a”表示块a。块a可以是在与目标块的顶部相邻的块之中的最左侧块。“b”表示块b。块b可以是在与目标块的顶部相邻的块之中的从左侧起的第二个块。“c”表示块c。块c可以是在与目标块的顶部相邻的块之中的从右侧起的第二个块。“d”表示块d。块d可以是在与目标块的顶部相邻的块之中的最右侧块。
在图16中,“e”表示块e。块e可以是在与目标块的左侧相邻的块之中的最上方块。“f”表示块f。块f可以是在与目标块的左侧相邻的块之中的从顶部起的第二个块。“g”表示块g。块g可以是在与目标块的左侧相邻的块之中的从底部起的第二个块。“h”表示块h。块h可以是在与目标块的左侧相邻的块之中的最下方块。
当推导参考块的运动矢量时,处理单元可利用n个更多个合并候选的运动矢量。换句话说,参考块可以是n个或更多个合并候选。这里,n可以是正整数。
例如,当处理单元推导两个运动矢量时,可将第一合并候选和第二合并候选用作参考块。
例如,当处理单元推导三个运动矢量时,可将第一合并候选、第二合并候选和第三合并候选用作参考块。
在实施例中,合并候选可以是存在于关于目标块的特定位置处的块。
在实施例中,合并候选可以是基于存在于关于目标块的特定位置处的块而产生的块。可选地,合并候选可以是基于存在于关于目标块的特定位置处的块而设置的虚拟块或推导出的块。可选地,所述虚拟块或推导出的块可被视为参考块。在这种情况下,参考块可以是基于存在于关于目标块的特定位置处的块而产生的块。
存在于关于目标块的特定位置处的块可包括空间相邻块和时间相邻块。
例如,当两个合并候选被使用时,多个合并候选可包括上方(上)块和左侧块。上方块可以是与目标块的顶部相邻的块或基于与目标块的顶部相邻的块而产生的块。左侧块可以是与目标块的左侧相邻的块或者基于与目标块的左侧相邻的块而产生的块。
在实施例中,处理单元可推导块a、块b、块c和块d之一的运动矢量,并且可将推导出的运动矢量用作上方块的运动矢量。
例如,处理单元可将块a的运动矢量用作上方块的运动矢量。
例如,处理单元可将块d的运动矢量用作上方块的运动矢量。
在实施例中,处理单元可推导块e、块f、块g和块h之一的运动矢量,并可将推导出的运动矢量用作左侧块的运动矢量。
例如,处理单元可将块e的运动矢量用作左侧块的运动矢量。
例如,处理单元可将块h的运动矢量用作左侧块的运动矢量。
在实施例中,处理单元可推导块a、块b、块c和块d中的一个或更多个的运动矢量,并可将推导出的运动矢量的组合用作上方块的运动矢量。
例如,推导出的运动矢量的组合可以是推导出的运动矢量的平均或推导出的运动矢量的加权平均。可选地,推导出的运动矢量的组合可以是使用推导出的运动矢量的公式的结果或运动矢量决策方案的结果。
例如,处理单元可将块a的运动矢量和块b的运动矢量的平均或加权平均用作上方块的运动矢量。
例如,处理单元可将在与目标块的顶部相邻的块之中的m个最左侧块或m个最右侧块的运动矢量的平均或加权平均用作上方块的运动矢量。这里,m可以是2或更大的整数。
例如,处理单元可将块a、块b、块c和块d的运动矢量的平均或加权平均用作上方块的运动矢量。
例如,处理单元可将与目标块的顶部相邻的块的运动矢量的平均或加权平均用作上方块的运动矢量。
在实施例中,处理单元可推导块e、块f、块g和块h中的一个或更多个的运动矢量,并且可将推导出的运动矢量的组合用作左侧块的运动矢量。
例如,推导出的运动矢量的组合可以是推导出的运动矢量的平均或推导出的运动矢量的加权平均。可选地,推导出的运动矢量的组合可以是使用推导出的运动矢量的公式的结果或者运动矢量决策方案的结果。
例如,处理单元可将块e的运动矢量和块f的运动矢量的平均或加权平均用作左侧块的运动矢量。
例如,处理单元可将在与目标块的左侧相邻的块之中的m个最上方块或m个最下方块的运动矢量的平均或加权平均用作左侧块的运动矢量。这里,m可以是2或更大的整数。
例如,处理单元可将块e、块f、块g和块h的运动矢量的平均或加权平均用作左侧块的运动矢量。
例如,处理单元可将与目标块的左侧相邻的块的运动矢量的平均或加权平均用作左侧块的运动矢量。
在实施例中,当推导将被用于左侧块的运动矢量的运动矢量时,处理单元可对运动矢量进行缩放。
例如,当用于相邻块的参考画面的POC在参考画面列表L0中不匹配((目标块的目标画面的POC)-1)时,处理单元可对相邻块的运动矢量进行缩放。这里,处理单元可根据((目标画面的POC)-1)对相邻块的运动矢量进行缩放。
例如,当用于相邻块的参考画面的POC在参考画面列表L1中不匹配((目标块的目标画面的POC)+1)时,处理单元可对相邻块的运动矢量进行缩放。这里,处理单元可根据((目标画面的POC)+1)对相邻块的运动矢量进行缩放。
在以上实施例中,已在一个或更多个相邻块的一个或更多个运动矢量被用于推导合并候选的运动矢量的假设下进行了描述。此外,可认为一个或更多个相邻块的一个或更多个运动矢量被用于从多个预测模式中选择一个或更多个预测模式。换句话说,合并候选可以是用于定义将被用于选择一个或更多个预测模式的运动矢量的虚拟块或推导出的块。此外,合并候选的运动矢量可被认为是基于一个或更多个相邻块的一个或更多个运动矢量被计算、设置或推导出的运动矢量。
参照回图15,如上所述,在步骤1520,处理单元可确定在参考块的推导出的运动矢量之间的一致性。
在实施例中,参考块的数量可以是3。处理单元可使用三个参考块的运动矢量来计算一致性。在一致性的计算时,可使用下面的等式2。
[等式2]
一致性=abs{(MV1x-MV0x)-(MV2y-MV0y)}+abs{(MV1y-MV0y)
+(MV2x-MV0x)}
在等式中的“MVnm”中,n可表示参考块的索引或编号。例如,MV0可表示第一参考块。这里,m可表示相应运动矢量的x坐标或y坐标。例如,MVnx可表示索引为n的参考块的运动矢量的x坐标。MVny可表示索引为n的参考块的运动矢量的y坐标。
在等式中,“abs{}”可表示绝对值。
例如,三个参考块可以是以上描述的第一合并候选、第二合并候选和第三合并候选。
在实施例中,处理单元可使用两个参考块的运动矢量来计算一致性。在一致性的计算中,可使用下面的等式3。
[等式3]
一致性=abs{(MV1x-MV0x)}+abs{(MV1y-MV0y)}
在实施例中,处理单元可使用存在于一个参考块中的运动矢量来计算一致性。在这种情况下,参考块可以是经由双向预测而解码的块,并且可使用该参考块中的两个运动矢量来计算一致性。在一致性的计算中,可使用下面的等式4。
[等式4]
一致性=abs{MV0x+MV1x}+abs{MV0y+MV1y}
在等式中的“MVNm”中,N可表示参考块的参考画面列表的索引或编号。例如,MV0可表示第0参考画面列表,m可表示运动矢量的x坐标或y坐标。例如,MVNx可表示在参考块的第N参考画面列表中的运动矢量的x坐标。
在等式中,“abs{}”可表示绝对值。
例如,参考块可以是以上描述的第一合并候选、第二合并候选或第三合并候选。
当选择目标块的预测模式时,处理单元可基于计算出的一致性来选择模板匹配模式和双边匹配模式之一作为目标块的预测模式。
在实施例中,处理单元可基于计算出的一致性与阈值之间的比较来选择模板匹配模式和双边匹配模式之一作为目标块的预测模式。
在实施例中,当计算出的一致性大于阈值时,处理单元可选择模板匹配模式作为目标块的预测模式。
在实施例中,当计算出的一致性小于阈值时,处理单元可选择模板匹配模式作为目标块的预测模式。
在实施例中,当计算出的一致性大于阈值时,处理单元可将模板匹配模式添加到针对目标块选择的一个或更多个预测模式。
在实施例中,当计算出的一致性小于阈值时,处理单元可将模板匹配模式添加到针对目标块选择的一个或更多个预测模式。
在实施例中,当计算出的一致性大于阈值时,处理单元可将双边匹配模式添加到针对目标块选择的一个或更多个预测模式。
在实施例中,当计算出的一致性小于阈值时,处理单元可将双边匹配模式添加到针对目标块选择的一个或更多个预测模式。
在实施例中,处理单元可选择模板匹配模式和双边匹配模式两者作为目标块的一个或更多个预测模式,而不管计算出的一致性如何。
在实施例中,可由编码设备1200和/或解码设备1300的用户来设置阈值。可选地,可基于与目标块相关的信息和/或与参考块相关的信息来设置阈值。
对于基于预测模式信息等从多个预测模式中选择的一个或更多个预测模式,在选择的一个或更多个预测模式中的一个预测模式可被用于对目标块进行编码和/或解码。
预测模式决定信息可被用于指示在选择的一个或更多个预测模式之中将被用于对目标块进行编码和/或解码的预测模式。换句话说,预测模式决定信息可指示用于对目标块进行编码和/或解码的预测模式。处理单元可使用由预测模式决定信息所指示的预测模式对目标块执行编码和/或解码。
为了决定用于对目标块进行解码的预测模式,用于决定预测模式的预测模式决定信息可从编码设备1200用信号传送到解码设备1300。
当基于预测模式信息等从多个预测模式中选择一个或更多个预测模式时,可至少部分地基于选择的一个或更多个预测模式省略预测模式决定信息。
换句话说,预测模式决定信息可包括一条或更多条部分预测模式决定信息,并且根据从多个预测模式中选择的一个或更多个预测模式,当预测模式决定信息被用信号传送时,所述一条或更多条部分预测模式决定信息中的至少一些可被省略。
也就是说,当能够基于预测模式信息等确定从多个预测模式中的选择中排除特定预测模式时,预测模式决定信息可被用信号传送,使得关于被排除的预测模式的信息被省略。可选地,当能够基于预测模式信息等确定从多个预测模式中仅选择特定预测模式时,预测模式决定信息可被用信号传送,使得关于特定预测模式的信息被包括。
下面的图17至图19示出了根据示例的对预测模式决定信息的信号传送的实施例。
图17示出了根据示例的当两个预测模式被选择时的预测模式决定信息的信号传送。
在图17中,“1”可表示第一预定义值(例如,1、逻辑1或真)。
“0”可表示第二预定义值(例如,0、逻辑0或假)。
“X”可意味着不执行信号传送。
预测模式决定信息可包括合并标识符、匹配预测标识符、条件和匹配模式标识符中的至少一个。例如,以上描述的多条部分预测模式决定信息可以分别是合并标识符、匹配预测标识符、条件和匹配模式标识符。可选地,所述条件可以是目标块的编码参数或预测模式信息,而不被包括在预测模式决定信息中。
合并标识符可指示合并模式是否被使用。在实施例中,合并模式可以以从多个预测模式中选择一个或更多个预测模式为前提。也就是说,仅在合并模式被执行时从多个预测模式中选择性地选择一个或更多个预测模式。
当合并标识符具有第一预定义值时,可执行对目标块的合并。当由于合并标识符具有第一预定义值而执行对目标块的合并时,预测模式决定信息可包括匹配预测标识符、所述条件、以及匹配模式标识符中的至少一个。
当合并标识符具有第二预定义值时,可不执行对目标块的合并。当由于合并标识符具有第二预定义值而不执行对目标块的合并时,可从预测模式决定信息中排除匹配预测标识符、所述条件、以及匹配模式标识符。也就是说,当不执行对目标块的合并时,预测模式决定信息可不包括匹配预测标识符、所述条件、以及匹配模式标识符。
根据实施例,匹配预测标识符可指示是否从多个预测模式中选择一个或更多个预测模式。
当匹配预测标识符具有第一预定义值时,如上所述,可使用预测模式信息等从多个预测模式中选择一个或更多个预测模式。当由于匹配预测标识符具有第一预定义值而从多个预测模式中选择一个或更多个预测模式时,预测模式决定信息可包括所述条件以及匹配模式标识符中的至少一个。
当匹配预测标识符具有第二预定义值时,可不选择一个或更多个预测模式,并且处理单元可使用特定预测模式对目标块进行解码。例如,特定预测模式可以是合并模式。当由于匹配预测标识符具有第二预定义值而未从多个预测模式中选择一个或更多个预测模式时,可从预测模式决定信息中排除所述条件以及匹配模式标识符。也就是说,当未从多个预测模式中选择一个或更多个预测模式时,预测模式决定信息可不包括所述条件以及匹配模式标识符。
处理单元可使用所述条件从多个预测模式中选择一个或更多个预测模式。换句话说,可通过所述条件来设置被选择的一个或更多个预测模式的数量。根据所述条件,被选择的一个或更多个预测模式的数量可以是多个或者仅是一个。
当被选择的一个或更多个预测模式包括若干预测模式时,可在被选择的所述若干预测模式中决定将被用于对目标块进行编码的预测模式。
当所述若干预测模式被选择时,可需要匹配模式标识符以在被选择的所述若干预测模式中决定将被用于对目标块进行编码和/或解码的预测模式。
匹配模式标识符可指示被选择的所述若干预测模式之中将被用于对目标块进行编码和/或解码的预测模式。匹配模式标识符的值可以是在被选择的所述若干预测模式之中将被用于对目标块进行编码和/或解码的预测模式的编号或索引。例如,当匹配模式标识符的值是L时,将被用于对目标块进行编码和/或解码的预测模式可以是被选择的所述若干预测模式之中的第L预测模式或第L+1预测模式。
当所述若干预测模式被选择时,预测模式决定信息可包括匹配模式标识符,其中,匹配模式标识符指示在被选择的所述若干预测模式之中将被用于对目标块进行编码和/或解码的预测模式。
当一个预测模式被选择或者被选择的预测模式的数量是1时,可从预测模式决定信息中排除匹配模式标识符。也就是说,当仅一个预测模式被选择并且可在不需要匹配模式标识符的情况下决定将被用于对目标块进行解码和/或编码的预测模式时,预测模式决定信息可不包括匹配模式标识符。
在实施例中,所述条件可指示目标块的目标画面的条带。例如,当目标画面的条件是B条带时,选择的一个或更多个预测模式可包括模板匹配模式和双边匹配模式。
例如,当选择的一个或更多个预测模式包括模板匹配模式和双边匹配模式时,如果匹配模式标识符具有第一预定义值,则模板匹配模式可以是将被用于对目标块进行编码和/或解码的匹配模式。此外,在这种情况下,当匹配模式标识符具有第二预定义值时,双边匹配模式可以是将被用于对目标块进行编码和/或解码的匹配模式。
图18示出了根据示例的当一个预测模式被选择时的预测模式决定信息的信号传送。
在图18中,合并标识符和匹配预测标识符的功能可与以上参照图17描述的合并标识符和匹配预测标识符的功能相同和/或相似。这里将省略重复描述。
当匹配预测标识符具有第一预定义值时,可使用预测模式信息等从多个预测模式中选择预测模式。
例如,使用预测模式信息等选择的预测模式可以仅是模板匹配模式。当选择的预测模式的数量是1时,可不需要匹配模式标识符。也就是说,当选择的预测模式的数量是1时,可从预测模式决定信息中排除匹配模式标识符。可选地,当选择的预测模式的数量是1时,预测模式决定信息可不包括匹配模式标识符。
图19示出了根据示例的当一个预测模式被选择时的预测模式决定信息的信号传送。
在图19中,合并标识符和匹配预测标识符的功能可与以上参照图17描述的合并标识符和匹配预测标识符的功能相同和/或相似。这里将省略重复描述。
当匹配预测标识符具有第一预定义值时,可使用预测模式信息等从多个预测模式中选择预测模式。
例如,使用预测模式信息等选择的预测模式可以仅是双边匹配模式。当选择的预测模式的数量是1时,可不需要匹配模式标识符。也就是说,当选择的预测模式的数量是1时,可从预测模式决定信息排除匹配模式标识符。可选地,当选择的预测模式的数量是1时,预测模式决定信息可不包括匹配模式标识符。
处理单元可使用以上描述的合并标识符、匹配预测标识符和/或所述条件的值来识别信息是否被包含在预测模式决定信息中。
此外,处理单元可使用以上描述的合并标识符、匹配预测标识符、条件和/或匹配模式标识符的值来决定将被用于对目标块进行编码和/或解码的预测模式。
如上所述,双边匹配模式和/或模板匹配模式可被用于对目标块进行编码和/或解码。在图20和图21中,将在下面分别描述使用双边匹配模式的预测和使用模板匹配模式的预测。
图20示出根据示例的使用双边匹配模式对目标块的预测。
在步骤1420,处理单元可使用双边匹配对目标块执行预测。
在实施例中,处理单元可根据条带的类型来确定是否执行双边匹配。条带可以是目标块的条带。
例如,处理单元可仅在条带是B条带时执行双边匹配。可选地,处理单元可仅在条带是P条带或B条带时执行双边匹配。
在实施例中,当双边匹配被执行时,处理单元可使用能够从目标块推导出的初始运动矢量来推导运动矢量MV0,并且可根据运动矢量MV0来推导运动矢量MV1。
运动矢量MV1的方向可与推导出的运动矢量MV0的方向相反,并且运动矢量MV1的运动轨迹可以与推导出的运动矢量MV0的运动轨迹相同。换句话说,运动矢量MV1可以是在与推导出的运动矢量MV0的方向相反的方向上存在于与推导出的运动矢量MV0相同的运动轨迹上的运动矢量。
初始运动矢量可以是最初推导出的运动矢量。
“Ref0”可以是MV0的参考画面0。“Ref1”可以是MV1的参考画面1。
TD0可以是目标画面与参考画面0之间的轨迹距离。TD1可以是目标画面与参考画面1之间的轨迹距离。
在实施例中,初始运动矢量的数量可以是一个或更多个。
在实施例中,如图20中所示,处理单元可根据运动矢量MV0和MV1中的一个或更多个运动矢量的方向性来推导初始运动矢量。
例如,处理单元可从参考画面列表L0推导用于目标块的初始运动矢量。
例如,处理单元可从参考画面列表L1推导用于目标块的初始运动矢量。
当双边匹配被执行时,处理单元可配置初始运动矢量候选列表,并且当推导用于目标块的初始运动矢量时,处理单元可将存在于配置的初始运动矢量候选列表中的一个或更多个初始运动矢量候选中的至少一个用作初始运动矢量。
例如,处理单元可使用AMVP模式来配置用于目标块的初始运动矢量候选列表。在AMVP模式下存在于预测运动矢量候选列表中的预测运动矢量候选可以是存在于初始运动矢量候选列表中的一个或更多个初始运动矢量候选。处理单元可将在AMVP模式下存在于预测运动矢量候选列表中的预测运动矢量候选添加到初始运动矢量候选列表。
例如,处理单元可使用合并模式来配置用于目标块的初始运动矢量候选列表。在合并模式下存在于合并候选列表中的合并候选可以是初始运动矢量候选列表中的一个或更多个初始运动矢量候选。处理单元可将合并模式下的合并候选添加到初始运动矢量候选列表。
例如,处理单元可以以初始运动矢量候选列表的形式来配置用于目标块的匹配预测单向运动矢量。处理单元可将用于目标块的匹配预测单向运动矢量添加到初始运动矢量候选列表。
例如,处理单元可以以初始运动矢量候选列表的形式来配置用于目标块的邻近块的运动矢量。处理单元可将用于目标块的邻近块的运动矢量添加到初始运动矢量候选列表。
例如,处理单元可以以初始运动矢量候选列表的形式来配置上述运动矢量的组合。运动矢量的组合的数量可以是N个或更多个。N可以是正整数。处理单元可将上述运动矢量的组合添加到初始运动矢量候选列表。
例如,当配置初始运动矢量候选列表时,处理单元可使用在参考画面列表L0的方向和参考画面列表L1的方向中的一个或更多个方向上的运动矢量。处理单元可将在参考画面列表L0的方向和参考画面列表L1的方向中的一个或更多个方向上的运动矢量添加到初始运动矢量候选列表。
在实施例中,当执行双边匹配时,处理单元可使用初始运动矢量候选列表来推导与初始运动矢量指示块和与其相对的块彼此匹配最好的双向运动矢量。这里,初始运动矢量指示块可以是由初始运动矢量指示的块。所述相对的块可以是在与初始运动矢量指示块的方向相反的方向上存在于与初始运动矢量指示块相同的轨迹上的块。换句话说,初始运动矢量指示块的方向和所述相对的块的方向可彼此相反,并且初始运动矢量指示块的轨迹和所述相对的块的轨迹可彼此相同。
例如,如图20中所示,当存在于初始运动矢量候选列表中的运动矢量是MV0时,处理单元可推导运动矢量MV1,运动矢量MV1指示1)被包括在与MV0的方向相反的方向上的参考画面中、2)存在于与MV0相同的轨迹上、并且3)与由MV0所指示的块匹配最好的块。
在实施例中,处理单元可针对初始运动矢量执行修正。
例如,处理单元可搜索与由MV0指示的块邻近的块,并且也可搜索与由推导出的MV1所指示的块邻近的块。处理单元可针对初始运动矢量执行修正,使得匹配最好的块被指示位于与由MV0所指示的块邻近的块和与由MV1所指示的块邻近的块之间。
在实施例中,当执行双边匹配时,处理单元可基于子块来推导运动信息。运动信息可包括运动矢量。
当基于子块推导运动信息时,处理单元可使用基于子块推导初始运动矢量的上述方案。
例如,作为推导运动信息的单元的子块可以是尺寸为4×4的块。可选地,子块可以是尺寸为8×8的块。换句话说,在运动信息的推导中,参考块可被划分为具有预定义尺寸(诸如4×4尺寸或8×8尺寸)的子块。
在实施例中,子块可以是与一个或更多个预定义尺寸的组合相应的块。子块可以是具有4×4和8×8中的一个或更多个的尺寸的块。例如,子块可以是4×4块和8×8块。
在实施例中,当执行双边匹配时,处理单元可定义块之间匹配的程度。也就是说,处理单元可在确定块之间匹配的程度的操作中使用专门定义的方案之一。
例如,处理单元可确定当两个块之间的绝对差之和(SAD)最小时两个块彼此匹配最好。也就是说,处理单元可确定两个块之间的SAD越小,则两个块彼此匹配得越好。
例如,处理单元可确定当两个块之间的绝对变换差之和(SATD)最小时两个块彼此匹配最好。也就是说,处理单元可确定两个块之间的SATD越小,两个块彼此匹配得越好。
图21示出了根据示例的使用模板匹配模式对目标块的预测。
在步骤1420,处理单元可使用模板匹配对目标块执行预测。
在实施例中,处理单元可根据条带的类型确定是否执行模板匹配。该条带可以是目标块的条带。例如,处理单元可仅在该条带是B条带时执行模板匹配。可选地,处理单元可仅在该条带是P条带或B条带时执行模板匹配。
在实施例中,当执行模板匹配时,处理单元可将与目标块邻近的块用作模板。可基于预定义的方案来确定模板的尺寸和位置。
例如,处理单元可将与目标块的顶部相邻的邻近块用作模板。
例如,处理单元可将与目标块的左侧相邻的邻近块用作模板。
例如,处理单元可将与目标块的顶部或左侧相邻的邻近块用作模板。
例如,模板的尺寸可以是(宽度,4)或(4,高度)。宽度可以是目标块的水平尺寸。高度可以是目标块的垂直尺寸。
例如,模板的尺寸可以是(宽度,8)或(8,高度)。
例如,可基于目标块的尺寸来设置模板的尺寸。例如,模板的尺寸可以是目标块的尺寸的1/2或1/4。
在实施例中,当执行模板匹配时,处理单元可使用模板在参考画面中搜索块。在图21中,“Ref0”可以是参考画面。
处理单元可在参考画面中搜索与模板具有相同形状和尺寸的块。处理单元可使用找到的块的运动矢量来推导目标块的运动矢量。处理单元可将找到的块的运动矢量设置为目标块的运动矢量。
这里,被找到块的参考画面的方向以及由目标块的运动矢量所指示的参考画面的方向可彼此相反。
例如,处理单元可在参考画面列表L0中包含的参考画面中搜索与目标块的模板匹配最好的块。
例如,处理单元可在参考画面列表L1中包含的参考画面中搜索与目标块的模板匹配最好的块。
例如,处理单元可使用所提供的参考画面列表中的至少一个来搜索块。
在实施例中,处理单元可针对运动矢量执行修正。
例如,处理单元可搜索与当前模板邻近的块以及由推导出的运动矢量所指示的块,并且可针对运动信息执行修正,使得运动矢量指示所找到的邻近块之中的与模板匹配最好的块。换句话说,修正后的运动信息可以是在与由推导出的运动矢量所指示的块邻近的块之中的与模板匹配最好的块的运动矢量。
在实施例中,当执行模板匹配时,处理单元可基于子块来推导运动信息。运动信息可包括运动矢量。
当基于子块推导运动信息时,处理单元可使用诸如基于子块推导运动矢量的方案的方案。
例如,作为推导运动信息的单元的子块可以是4×4块。可选地,子块可以是8×8块。换句话说,在运动信息的推导中,块可被划分为具有预定义尺寸(诸如4×4尺寸或8×8尺寸)的子块。
在实施例中,子块可以是与一个或更多个预定义尺寸的组合相应的块。子块可以是具有4×4和8×8尺寸中的一个或更多个的块。例如,子块可以是4×4块和8×8块。
在实施例中,当执行模板匹配时,处理单元可定义块之间匹配的程度。也就是说,处理单元可在确定块之间匹配的程度的操作中使用专门定义的方案之一。块之一可以是模板。
例如,处理单元可确定当两个块之间的绝对差之和(SAD)最小时两个块彼此匹配最好。也就是说,处理单元可确定两个块之间的SAD越小,则两个块彼此匹配得越好。
例如,处理单元可确定当两个块之间的绝对变换差之和(SATD)最小时两个块彼此匹配最好。也就是说,处理单元可确定两个块之间的SATD越小,则两个块彼此匹配得越好。
图22是示出根据实施例的目标块预测方法和比特流产生方法的流程图。
根据本实施例的目标块预测方法和比特流产生方法可由编码设备1200执行。该实施例可以是目标块编码方法或视频编码方法的一部分。
在步骤2210,处理单元1210可选择预测模式。步骤2210可对应于以上参照图14所描述的步骤1410。
在步骤2220,处理单元1210可执行使用选择的预测模式的预测。步骤2220可对应于以上参照图14所描述的步骤1420。
在步骤2230,处理单元可产生预测模式决定信息。预测模式决定信息可至少部分地在步骤2210或2220被产生。
在步骤2240,处理单元1210可产生比特流。
比特流可包括关于编码目标块的信息。例如,关于编码目标块的信息可包括目标块的变换和量化的系数,并且也可以包括目标块的编码参数。比特流可包括预测模式决定信息。
处理单元1210可对预测模式决定信息执行熵编码,并且可产生包括经熵编码的预测模式决定信息的比特流。
处理单元1210可将产生的比特流存储在贮存器1240中。可选地,通信单元1220可将比特流发送到解码设备1300。
图23是根据实施例的使用比特流的目标块预测方法的流程图。
根据本实施例的使用比特流的目标块预测方法可由解码设备1300执行。该实施例可以是目标块解码方法或视频解码方法的一部分。
在步骤2310,通信单元1320可获取比特流。通信单元1320可从编码设备1200接收比特流。
比特流可包括关于编码目标块的信息。例如,关于编码目标块的信息可包括目标块的变换和量化的系数,并且也可以包括目标块的编码参数。比特流可包括预测模式决定信息。
处理单元1310可将获取的比特流存储在贮存器1240中。
在步骤2320,处理单元1310可从比特流获取预测模式决定信息。
处理单元1310可通过对比特流的经熵编码的预测模式决定信息执行熵解码来获取预测模式决定信息。
在步骤2330,处理单元1310可基于预测模式决定信息选择预测模式。步骤2330可对应于以上参照图14所描述的步骤1410。
在步骤2340,处理单元1310可使用所选择的预测模式执行预测。步骤2340可对应于以上参照图14所描述的步骤1420。
在以上描述的实施例中,虽然已基于作为一系列步骤或单元的流程图描述了方法,但是本公开不限于步骤的顺序,并且一些步骤可以按照与已描述的步骤的顺序不同的顺序来执行或者与其它步骤同时执行。此外,本领域技术人员将理解:在流程图中示出的步骤不是排他性的,并且还可包括其它步骤,或者,可在不脱离本公开的范围的情况下删除流程图中的一个或更多个步骤。
以上描述的根据本公开的实施例可被实现为能够由各种计算机装置运行的程序,并且可被记录在计算机可读存储介质上。计算机可读存储介质可单独地或者组合地包括程序指令、数据文件和数据结构。在存储介质上记录的程序指令可被专门设计或配置用于本公开,或者对于计算机软件领域的普通技术人员可以是已知的或者可用的。计算机存储介质的示例可包括被专门配置用于记录和运行程序指令的所有类型的硬件装置,诸如,磁介质(诸如硬盘、软盘和磁带)、光学介质(诸如致密盘(CD)-ROM和数字多功能盘(DVD))、磁光介质(诸如软光盘、ROM、RAM和闪存)。程序指令的示例包括机器代码(诸如由编译器创建的代码)和能够由计算机使用解释器执行的高级语言代码。硬件装置可被配置为作为一个或更多个软件模块进行操作以执行本公开的操作,反之亦然。
如上所述,虽然已基于特定细节(诸如详细组件和有限数量的实施例和附图)描述了本公开,但是所述特定细节仅被提供用于容易理解本公开,本公开不限于这些实施例,本领域技术人员将根据以上描述实践各种改变和修改。
因此,应该理解的是,本实施例的精神不受限于上述实施例,并且所附权利要求及其等同物和对它们的修改落入本公开的范围内。

Claims (5)

1.一种视频编码方法,包括:
产生用于目标块的合并列表;并且
产生合并索引,其中,
合并索引指示在合并列表中的合并候选之中的将被用于使用帧间预测对目标块进行解码的合并候选,
合并列表是基于在空间上与目标块相邻的多个相邻块的信息来产生的,
所述多个相邻块包括第一块、第二块、第三块和第四块,
第一块是与目标块的上方边相邻的多个块中的最左侧块,
第二块是与目标块的上方边相邻的多个块中的最右侧块,
第三块是与目标块的左侧边相邻的多个块中的最上方块,
第四块是与目标块的左侧边相邻的多个块中的最下方块,
用于针对目标块的所述帧间预测的运动矢量是基于四个参考块的信息被推导的,
所述四个参考块的最右侧像素的x坐标小于目标块的最左侧像素的x坐标。
2.如权利要求1所述的视频编码方法,还包括:产生指示合并模式是否将被用于所述解码的合并标识符,其中
在合并模式被执行的情况下,多个预测模式之中的特定预测模式被选择用于所述解码,
多个子块的运动信息在选择的预测模式下被推导,
目标块由所述多个子块组成,并且
合并列表用于推导所述多个子块的运动矢量。
3.如权利要求1所述的视频编码方法,还包括:产生指示合并模式是否被用于所述解码的合并标识符,其中,
在合并模式被执行的情况下,多个预测模式之中的特定预测模式被选择用于所述解码,
针对目标块的运动信息的修正在选择的预测模式下被执行,
所述多个相邻块还包括第五块、第六块和第七块,
第五块与目标块的左上角对角相邻,
第六块与目标块的右上角对角相邻,并且
第七块与目标块的左下角对角相邻。
4.如权利要求1所述的视频编码方法,其中:
合并列表中的两个合并候选被用于所述帧间预测。
5.如权利要求1所述的视频编码方法,其中:
合并列表基于多个参考块被产生用于所述解码,
参考块包括在与目标块的上方边相邻的一个或更多个块之中的最左侧块,并且
用于针对目标块的所述帧间预测的运动矢量是基于在空间上与目标块相邻的七个不同块的信息被推导的。
CN201880020487.6A 2017-03-22 2018-03-22 使用参考块的预测方法和装置 Active CN110463201B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202311626814.1A CN117425006A (zh) 2017-03-22 2018-03-22 使用参考块的预测方法和装置
CN202311628472.7A CN117395394A (zh) 2017-03-22 2018-03-22 使用参考块的预测方法和装置
CN202311630162.9A CN117395395A (zh) 2017-03-22 2018-03-22 使用参考块的预测方法和装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20170036267 2017-03-22
KR10-2017-0036267 2017-03-22
PCT/KR2018/003393 WO2018174618A1 (ko) 2017-03-22 2018-03-22 참조 블록을 사용하는 예측 방법 및 장치

Related Child Applications (3)

Application Number Title Priority Date Filing Date
CN202311626814.1A Division CN117425006A (zh) 2017-03-22 2018-03-22 使用参考块的预测方法和装置
CN202311630162.9A Division CN117395395A (zh) 2017-03-22 2018-03-22 使用参考块的预测方法和装置
CN202311628472.7A Division CN117395394A (zh) 2017-03-22 2018-03-22 使用参考块的预测方法和装置

Publications (2)

Publication Number Publication Date
CN110463201A CN110463201A (zh) 2019-11-15
CN110463201B true CN110463201B (zh) 2023-12-19

Family

ID=63863962

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202311630162.9A Pending CN117395395A (zh) 2017-03-22 2018-03-22 使用参考块的预测方法和装置
CN201880020487.6A Active CN110463201B (zh) 2017-03-22 2018-03-22 使用参考块的预测方法和装置
CN202311626814.1A Pending CN117425006A (zh) 2017-03-22 2018-03-22 使用参考块的预测方法和装置
CN202311628472.7A Pending CN117395394A (zh) 2017-03-22 2018-03-22 使用参考块的预测方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311630162.9A Pending CN117395395A (zh) 2017-03-22 2018-03-22 使用参考块的预测方法和装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202311626814.1A Pending CN117425006A (zh) 2017-03-22 2018-03-22 使用参考块的预测方法和装置
CN202311628472.7A Pending CN117395394A (zh) 2017-03-22 2018-03-22 使用参考块的预测方法和装置

Country Status (3)

Country Link
US (1) US20200084441A1 (zh)
KR (1) KR20180107761A (zh)
CN (4) CN117395395A (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017122997A1 (ko) * 2016-01-11 2017-07-20 삼성전자 주식회사 영상 부호화 방법 및 장치와 영상 복호화 방법 및 장치
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
WO2018212111A1 (ja) 2017-05-19 2018-11-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
CN114205621A (zh) * 2018-02-28 2022-03-18 三星电子株式会社 编码方法及其装置以及解码方法及其装置
AU2018423422B2 (en) * 2018-05-16 2023-02-02 Huawei Technologies Co., Ltd. Video coding method and apparatus
GB2588004B (en) 2018-06-05 2023-03-01 Beijing Bytedance Network Tech Co Ltd Interaction between IBC and affine
CN113115046A (zh) 2018-06-21 2021-07-13 北京字节跳动网络技术有限公司 分量相关的子块分割
CN110636298B (zh) 2018-06-21 2022-09-13 北京字节跳动网络技术有限公司 对于Merge仿射模式和非Merge仿射模式的统一约束
CN110876059B (zh) * 2018-09-03 2022-06-10 华为技术有限公司 运动矢量的获取方法、装置、计算机设备及存储介质
WO2020065518A1 (en) 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction with weights in video coding and decoding
WO2020084556A1 (en) 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block motion candidate list in video coding
EP3861723A4 (en) 2018-11-10 2022-04-20 Beijing Bytedance Network Technology Co., Ltd. ROUNDS IN PAIRS OF MEDIUM CANDIDATE BILLS
WO2020103935A1 (en) * 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Blending method for inter prediction with geometry partition
WO2020116242A1 (ja) * 2018-12-07 2020-06-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2020135465A1 (en) 2018-12-28 2020-07-02 Beijing Bytedance Network Technology Co., Ltd. Modified history based motion prediction
WO2020142762A1 (en) 2019-01-06 2020-07-09 Beijing Dajia Internet Information Technology Co., Ltd. Bit-width control for bi-directional optical flow
WO2020184958A1 (ko) * 2019-03-11 2020-09-17 엘지전자 주식회사 인터 예측을 위한 비디오 신호의 처리 방법 및 장치
CN116800960A (zh) * 2019-03-12 2023-09-22 北京达佳互联信息技术有限公司 用于视频解码的方法、装置和存储介质
KR20230025509A (ko) * 2019-03-12 2023-02-21 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 결합된 인터 및 인트라-예측 모드의 제한되고 조정된 적용
KR20210114060A (ko) * 2019-03-13 2021-09-17 엘지전자 주식회사 Dmvr 기반의 인터 예측 방법 및 장치
KR20230070532A (ko) * 2019-03-22 2023-05-23 로즈데일 다이나믹스 엘엘씨 Dmvr 및 bdof 기반의 인터 예측 방법 및 장치
US11140409B2 (en) 2019-03-22 2021-10-05 Lg Electronics Inc. DMVR and BDOF based inter prediction method and apparatus thereof
KR102624093B1 (ko) 2019-03-22 2024-01-12 엘지전자 주식회사 Dmvr 기반의 인터 예측 방법 및 장치
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
KR20200145758A (ko) * 2019-06-19 2020-12-30 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN113891082B (zh) * 2019-12-19 2023-06-09 Oppo广东移动通信有限公司 图像分量预测方法、编码器、解码器以及存储介质
CN112565750B (zh) * 2020-12-06 2022-09-06 浙江大华技术股份有限公司 一种视频编码方法、电子设备和存储介质
CN117501690A (zh) * 2021-06-15 2024-02-02 抖音视界有限公司 用于视频处理的方法、设备和介质
CN117561714A (zh) * 2021-06-15 2024-02-13 抖音视界有限公司 用于视频处理的方法、设备和介质
CN114339231B (zh) * 2021-12-27 2023-10-27 杭州当虹科技股份有限公司 利用运动矢量快速跳Cu级模式选择的方法
WO2024051725A1 (en) * 2022-09-06 2024-03-14 Mediatek Inc. Method and apparatus for video coding

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102474608A (zh) * 2009-07-30 2012-05-23 汤姆森特许公司 解码代表图像序列的编码数据流的方法和编码图像序列的方法
WO2012096095A1 (ja) * 2011-01-12 2012-07-19 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
CN105208386A (zh) * 2009-12-16 2015-12-30 韩国电子通信研究院 执行帧间预测的视频解码/编码方法和装置
CN105580364A (zh) * 2013-09-26 2016-05-11 高通股份有限公司 Hevc中的基于子预测单元(pu)的时间运动向量预测和3d-hevc中的子pu设计
CN106210739A (zh) * 2011-01-07 2016-12-07 Lg电子株式会社 编码和解码图像信息的方法和使用该方法的装置
WO2017003063A1 (ko) * 2015-06-28 2017-01-05 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681810B (zh) * 2010-05-26 2018-11-06 Lg电子株式会社 用于处理视频信号的方法和设备
CN105812817B (zh) * 2010-11-23 2019-07-12 Lg电子株式会社 由编码装置和解码装置执行的间预测方法
KR102047507B1 (ko) * 2010-11-25 2019-12-02 엘지전자 주식회사 영상 정보의 시그널링 방법 및 이를 이용한 영상 정보의 복호화 방법
EP3879834A1 (en) * 2011-05-31 2021-09-15 JVCKENWOOD Corporation Moving image encoding device, moving image encoding method and moving image encoding program, as well as moving image decoding device, moving image decoding method and moving image decoding program
JP5768662B2 (ja) * 2011-10-31 2015-08-26 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
WO2016008157A1 (en) * 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
US10271064B2 (en) * 2015-06-11 2019-04-23 Qualcomm Incorporated Sub-prediction unit motion vector prediction using spatial and/or temporal motion information
WO2017105097A1 (ko) * 2015-12-17 2017-06-22 삼성전자 주식회사 머지 후보 리스트를 이용한 비디오 복호화 방법 및 비디오 복호화 장치
WO2017191891A1 (en) * 2016-05-06 2017-11-09 Samsung Electronics Co., Ltd. Method and electronic device for coding a segment of an inter frame

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102474608A (zh) * 2009-07-30 2012-05-23 汤姆森特许公司 解码代表图像序列的编码数据流的方法和编码图像序列的方法
CN105208386A (zh) * 2009-12-16 2015-12-30 韩国电子通信研究院 执行帧间预测的视频解码/编码方法和装置
CN106210739A (zh) * 2011-01-07 2016-12-07 Lg电子株式会社 编码和解码图像信息的方法和使用该方法的装置
WO2012096095A1 (ja) * 2011-01-12 2012-07-19 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
CN105580364A (zh) * 2013-09-26 2016-05-11 高通股份有限公司 Hevc中的基于子预测单元(pu)的时间运动向量预测和3d-hevc中的子pu设计
WO2017003063A1 (ko) * 2015-06-28 2017-01-05 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
CN117395395A (zh) 2024-01-12
CN117395394A (zh) 2024-01-12
CN110463201A (zh) 2019-11-15
US20200084441A1 (en) 2020-03-12
CN117425006A (zh) 2024-01-19
KR20180107761A (ko) 2018-10-02

Similar Documents

Publication Publication Date Title
CN110463201B (zh) 使用参考块的预测方法和装置
US11792424B2 (en) Method and device using inter prediction information
CN109314785B (zh) 用于导出运动预测信息的方法和装置
US11917148B2 (en) Block form-based prediction method and device
CN110476425B (zh) 基于块形式的预测方法和装置
CN116320493A (zh) 用于滤波的方法和装置
CN116347073A (zh) 使用画面划分信息对视频进行编码和解码的方法和设备
CN111699682A (zh) 用于使用通道之间的选择性信息共享进行编码和解码的方法和设备
US20230421804A1 (en) Method and device using inter prediction information
CN111684801A (zh) 双向帧内预测方法和设备
CN114450946A (zh) 通过使用几何分区对图像进行编码/解码的方法、设备和记录介质
CN111919448A (zh) 用于使用时间运动信息的图像编码和图像解码的方法和设备
US20220295059A1 (en) Method, apparatus, and recording medium for encoding/decoding image by using partitioning
CN114270828A (zh) 用于使用基于块类型的预测的图像编码和图像解码的方法和设备
US20240137511A1 (en) Block form-based prediction method and device
CN114342388A (zh) 使用区域分段进行图像编码和图像解码的方法和设备
CN116546211A (zh) 视频编码方法、装置、计算机设备及存储介质
CN114556922A (zh) 通过使用分区对图像进行编码/解码的方法、设备和记录介质
CN114270820A (zh) 使用参考画面对图像进行编码/解码的方法、装置和记录介质
CN115066895A (zh) 用于通过使用调色板模式对图像进行编码/解码的方法和装置以及记录介质
CN114788288A (zh) 变换信息编码/解码方法和装置以及比特流存储介质
CN115733977A9 (zh) 通过使用预测对视频进行编码和解码的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant