CN110213588B - 空域候选运动信息获取方法、装置、编解码器及存储装置 - Google Patents
空域候选运动信息获取方法、装置、编解码器及存储装置 Download PDFInfo
- Publication number
- CN110213588B CN110213588B CN201910556619.3A CN201910556619A CN110213588B CN 110213588 B CN110213588 B CN 110213588B CN 201910556619 A CN201910556619 A CN 201910556619A CN 110213588 B CN110213588 B CN 110213588B
- Authority
- CN
- China
- Prior art keywords
- motion information
- coded
- block
- candidate
- spatial domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请公开了一种空域候选运动信息获取方法、装置、编解码器及存储装置。该空域候选运动信息获取方法包括:获取图像中的待编码块的预设特征情况;将图像中的多个已编码块的运动信息确定为多个待候选运动信息,以及确定多个待候选运动信息的获取顺序;其中,所述多个待候选运动信息及其获取顺序中的至少一者是基于预设特征情况确定得到的;按照获取顺序,获取待候选运动信息作为待编码块的空域候选运动信息。通过上述方式,本申请能够提高获取空域候选运动信息的准确性,以提高后续预测准确性,或后续可采用更少码字表示待编码块的运动信息预测,提高编码压缩率。
Description
技术领域
本申请涉及视频编解码领域,特别是涉及一种空域候选运动信息获取方法、装置、编解码器及存储装置。
背景技术
由于视频图像数据量比较大,通常需要对其进行编码压缩,压缩后的数据称之为视频码流,视频码流通过有线或者无线网络传输至用户端,再进行解码观看。
整个视频编码流程包括预测、变换、量化、编码等过程。目前对视频图像数据进行预测的过程,通常包括先对图像数据中的待编码块构建运动信息候选列表,再基于运动信息候选列表实现待编码块的运动信息预测。因此,运动信息候选列表中的候选运动信息与待编码块的相关性直接影响后续待编码块的运动信息预测效果。因此,如何为视频图像数据中待编码块选择出相关性较高的候选运动信息,以提高后续预测准确性或编码压缩率是人们日益关心的问题。
发明内容
本申请提供一种空域候选运动信息获取方法、装置、编解码器及存储装置,能够提高获取空域候选运动信息的准确性,以提高后续预测准确性,或后续可采用更少码字表示待编码块的运动信息预测,提高编码压缩率。
为解决上述技术问题,本申请第一方面采用的一个技术方案是:提供一种空域候选运动信息获取方法,包括:获取图像中的待编码块的预设特征情况,其中,所述预设特征情况包括尺寸特征情况和纹理特征情况中的至少一者;将所述图像中的多个已编码块的运动信息确定为多个待候选运动信息,以及确定所述多个待候选运动信息的获取顺序;其中,所述多个待候选运动信息及其获取顺序中的至少一者是基于所述预设特征情况确定得到的;按照所述获取顺序,获取所述待候选运动信息作为所述待编码块的空域候选运动信息。
为解决上述技术问题,本申请第二方面采用的一个技术方案是:提供一种编码方法,包括:采用预测模式对待编码块进行预测,得到所述待编码块的预测结果;其中,所述预测模式中所使用的所述待编码块的空域候选运动信息由第一方面所述的方法得到;对所述待编码块的预测结果进行编码。
为解决上述技术问题,本申请第三方面采用的一个技术方案是:提供一种空域候选运动信息的获取装置,包括:第一获取模块,用于获取图像中的待编码块的预设特征情况,其中,所述预设特征情况包括尺寸特征情况和纹理特征情况中的至少一者;确定模块,用于将所述图像中的多个已编码块的运动信息确定为多个待候选运动信息,以及确定所述多个待候选运动信息的获取顺序;其中,所述多个待候选运动信息及其获取顺序中的至少一者是基于所述预设特征情况确定得到的;第二获取模块,用于按照所述获取顺序,获取所述待候选运动信息作为所述待编码块的空域候选运动信息。
为解决上述技术问题,本申请第四方面采用的一个技术方案是:提供一种编码装置,包括:预测模块,用于采用预测模式对待编码块进行预测,得到所述待编码块的预测结果;其中,所述预测模式中所使用的所述待编码块的空域候选运动信息由第三方面所述的装置获得的;编码模块,用于对所述待编码块的预测结果进行编码。
为解决上述技术问题,本申请第五方面采用的一个技术方案是:提供一种编解码器,该编解码器包括处理器、与处理器耦接的存储器,其中,存储器存储有用于实现上述第一方面所述方法的程序指令;处理器用于执行存储器存储的程序指令以获取空域候选运动信息。
为解决上述技术问题,本申请第六方面采用的一个技术方案是:提供一种编解码器,该编解码器包括处理器、与处理器耦接的存储器,其中,存储器存储有用于实现上述第二方面所述方法的程序指令;处理器用于执行存储器存储的程序指令以实现对图像进行编码。
为解决上述技术问题,本申请第七方面采用的一个技术方案是:提供一种存储装置,存储有能够实现上述第一方面或第二方面所述方法的程序指令。
上述方案,利用待编码块的预设特征情况,将出所在图像中的已编码块的运动信息确定为待候选运动信息和/或确定待候选运动信息的获取顺序,进而基于确定结果获取待候选运动信息作为空域候选运动信息,由于待编码块的预设特征情况能够反映出待编码块与所在图像中已编码块之间的相关性情况,故利用该预设特征情况进行确定为待候选运动信息,能够较大概率将相关性较高的已编码块的运动信息确定为待候选运动信息,进而提高空域候选运动信息的获取准确性,以提高后续预测准确性,或者利用该预设特征情况进行确定为待候选运动信息的获取顺序,能够按照待候选运动信息对应的已编码块与待编码块的相关性调整待候选运动信息的获取顺序,故可将较大概率作为后续待编码块的运动信息预测的待候选运动信息优先获取作为空域候选运动信息,进而置于运动信息候选列表的前面,进而后续可采用更少码字表示待编码块的运动信息预测,提高编码压缩率。
附图说明
图1是本申请空域候选运动信息获取方法第一实施例的流程示意图;
图2是本申请空域候选运动信息获取方法第一实施例中的步骤S120的流程示意图;
图3是本申请空域候选运动信息获取方法第二实施例的流程示意图;
图4是本申请空域候选运动信息获取方法实施例中待编码块与确定为待候选运动信息中的已编码块之间的第一位置关系示意图;
图5是本申请空域候选运动信息获取方法实施例中待编码块与确定为待候选运动信息中的已编码块之间的第二位置关系示意图;
图6是本申请空域候选运动信息获取方法第三实施例的流程示意图;
图7是本申请空域候选运动信息获取方法第四实施例的流程示意图;
图8是本申请空域候选运动信息获取方法第四实施例中的步骤S710的流程示意图;
图9是本申请空域候选运动信息获取方法实施例中帧内角度模式的方向示意图;
图10是本申请空域候选运动信息获取方法第五实施例的流程示意图;
图11是本申请空域候选运动信息获取方法第六实施例的流程示意图;
图12是本申请空域候选运动信息获取方法第六实施例中的步骤S1110的流程示意图;
图13是本申请空域候选运动信息获取方法实施例中待编码块与确定为待候选运动信息中的已编码块之间的第三位置关系示意图。
图14是本申请编码方法一实施例的流程示意图;
图15是本申请编码方法一实施例中的步骤S1410的流程示意图;
图16是本申请空域候选运动信息的获取装置一实施例的结构示意图;
图17是本申请编码装置一实施例的结构示意图;
图18是本申请编解码器一实施例的结构示意图;
图19是本申请存储装置一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。需注意的是,对于下述方法实施例,若有实质上相同的结果,本申请的方法并不以图示的流程顺序为限。
为便于说明,下面先对下文所提及的多个预测模式进行介绍。
一、帧间预测模式,包括AMVP预测模式和merge预测模式。
1)AMVP预测模式,具体包括常规AMVP和affine_amvp两种子模式。
其中,在常规AMVP模式下,其构建运动信息候选列表的方式具体如下:
按照原本AMVP的空域候选运动信息的默认获取原则,如图4所示,默认从待编码块的左边界和上边界的预设方位选择已编码块运动信息(即位于待编码块左下的相邻已编码块A0的运动信息、位于待编码块左边界的相邻已编码块A1的运动信息、位于待编码块左上的相邻已编码块B2的运动信息、位于待编码块上侧的相邻已编码块B1的运动信息、位于待编码块右上的相邻已编码块B0的运动信息以及上述已编码块A0-A1/B0-B2的经缩放后的运动信息),以作为待候选运动信息。
AMVP的运动信息候选列表包含2个候选MV。故在待编码块的左边界和上边界各获取一个待候选运动信息以作为空域候选运动信息,并加入到运动信息候选列表中。其中,左边界的待候选运动信息的默认获取顺序为A0->A1->scaled A0->scaled A1,上边界的待候选运动信息的默认获取顺序为B0->B1->B2(->scaled B0->scaled B1->scaled B2)。当左边界(或上边界)检查到第一个可用的待候选运动信息时,将该待候选运动信息作为空域候选运动信息加入至运动信息候选列表,不再检查左边界(或上边界)的其他待候选运动信息。
其中,上述用于提供待候选运动信息的已编码块与待编码块的参考帧为同一帧时,选择已编码块的运动信息加入候选列表;参考帧不同时,需将已编码块的运动信息经缩放后再加入候选列表,缩放基于待编码块与其参考帧的POC距离和已编码块与其参考帧的POC距离。上边界的3个缩放后的运动信息只有在A0和A1都不可用或都是非帧间模式时才会选择。
如果未能采用空域候选运动信息填满运动信息候选列表,将先后获取时域候选运动信息、HMVP和(0,0)加入到运动信息候选列表中,直到运动信息候选列表填满。其中,HMVP为当前编码树单元(CTU)中已编码的块的运动信息。
2)merge预测模式,具体包括常规merge、MMVD(Merge mode with MVD)、三角形merge、帧内帧间联合预测(CIIP)和affine_merge等子模式。
其中,在常规merge模式下,其构建运动信息候选列表的方式具体如下:
按照原本常规merge的空域候选运动信息的默认获取原则,如图4所示,默认从待编码块的左边界和上边界的预设方位选择已编码块运动信息(即A0、A1、B0、B1、B2的运动信息),以作为待候选运动信息。
常规merge模式的运动信息候选列表包含6个候选运动信息。最多能从空域中获取4个候选运动信息。故空域候选运动信息的默认获取顺序为A1->B1->B0->A0(->B2)。其中,只有当A1,B1,B0,A0中至少有一个不存在且B2与A1和B1的运动信息都不相同时,才会获取B2的运动信息。
如果未能采用空域候选运动信息填满运动信息候选列表,将先后获取时域候选运动信息、HMVP和(0,0)加入到运动信息候选列表中,直到运动信息候选列表填满。
二、帧内块拷贝(Intra Block Copy,IBC)预测模块,分为IBC预测模式和IBC_MERGE预测模式两种。
1)IBC预测模式
其中,在IBC预测模式下,其构建运动信息候选列表的方式具体如下:
按照原本IBC的空域候选运动信息的默认获取原则,如图4所示,默认从待编码块的左边界和上边界的预设方位选择已编码块运动信息(即A0、A1、B0、B1、B2的运动信息),以作为待候选运动信息。
IBC模式的候选运动列表包含2个候选运动信息。IBC模式的空域候选运动信息只能从采用了IBC或IBC_merge模式的已编码块获取。空域候选运动信息的默认获取顺序为A1->B1->B0->A0->B2,直到填满运动信息候选列表。
如果未能采用空域候选运动信息填满运动信息候选列表,将先后获取时域候选运动信息、HMVP和(0,0)加入到运动信息候选列表中,直到运动信息候选列表填满。
2)IBC_MERGE预测模式
其中,在IBC_MERGE预测模式下,其构建运动信息候选列表的方式具体如下:
按照原本IBC_MERGE的空域候选运动信息的默认获取原则,如图4所示,默认从待编码块的左边界和上边界的预设方位选择已编码块运动信息(即A0、A1、B0、B1、B2的运动信息),以作为待候选运动信息。
IBC_MERGE模式的候选运动列表最多包含6个候选运动信息。IBC_MERGE模式的空域候选运动信息只能从采用了IBC或IBC_merge模式的已编码块获取。空域候选运动信息的默认获取顺序为A1->B1->B0->A0->B2,直到填满运动信息候选列表。
如果未能采用空域候选运动信息填满运动信息候选列表,将先后获取时域候选运动信息、HMVP和(0,0)加入到运动信息候选列表中,直到运动信息候选列表填满。
下面结合上述各预测模式的介绍,对本申请各实施例进行说明。
请参阅图1,图1是本申请空域候选运动信息获取方法第一实施例的流程示意图。如图1所示,该方法包括步骤:
S110:获取图像中的待编码块的预设特征情况。
其中,该预设特征情况包括尺寸特征情况和纹理特征情况中的至少一者。具体而言,该尺寸特征情况可以包括反映待编码块的至少部分边界的长度情况的信息。如在一应用场景中,尺寸特征情况包括待编码块的相邻两条边界的长度信息,该相邻两条边界具体如为待编码块的宽和高。该纹理特征情况可以包括任意反映待编码块的纹理特征相关情况的信息,其中,纹理特征具体包括纹理方向和纹理复杂度等,该纹理复杂度可用于表示该块的纹理平坦或者不规则等情况。在一应用场景中,该纹理特征情况可包括待编码块的纹理方向、或待编码块与所在图像中其他块之间的纹理特征相似度等。
S120:将图像中的多个已编码块的运动信息确定为多个待候选运动信息,以及确定多个待候选运动信息的获取顺序;其中,多个待候选运动信息及其获取顺序中的至少一者是基于预设特征情况确定得到的。
本实施例中,已编码块的运动信息可以在已编码块的编码信息中直接获得。本步骤S120中的多个待候选运动信息及其获取顺序中的至少一者是基于预设特征情况确定得到的。
当多个待候选运动信息基于预设特征情况确定时,确定该多个待候选运动信息具体为:基于预设特征情况,将图像中的多个已编码块的运动信息确定为多个待候选运动信息。当多个待候选运动信息基于预设特征情况确定时,确定该多个待候选运动信息具体为:按照原来空域候选运动信息的默认获取原则确定得到多个待候选运动信息。本文所述的原来空域候选运动信息的默认获取原则,可以理解为某一编译码标准所规定的获取原则。如前述预测模式的相关介绍,在常规merge预测模式下,该按照原来空域候选运动信息的默认获取原则确定的待候选运动信息为如图4所示的已编码块A0、A1、B0、B1、B2的运动信息。
当多个待候选运动信息的获取顺序基于预设特征情况确定时,确定该多个待候选运动信息的获取顺序具体为:基于预设特征情况,确定所述多个待候选运动信息的获取顺序。当多个待候选运动信息的获取顺序基于预设特征情况确定时,确定该多个待候选运动信息的获取顺序具体为:按照原来空域候选运动信息的默认获取原则确定其获取顺序。如前述预测模式的相关介绍,在常规merge预测模式下,该按照原来空域候选运动信息的默认获取原则确定的待候选运动信息的获取顺序为A1->B1->B0->A0(->B2)。
基于预设特征情况确定的多个待候选运动信息及其获取顺序可能有别于按照原来空域候选运动信息的默认获取原则确定的多个待候选运动信息及其获取顺序。由于待编码块的上述预测特征情况,可反映出所在图像中与待编码块相关性较高的已编码块,故可基于上述预设特征情况,能够选出图像中与待编码块相关性较高的多个已编码块的运动信息,以作为待候选运动信息,或者将相关性较高的已编码块的运动信息的获取顺序置前。
可以理解的是,本步骤120中待候选运动信息及其获取顺序中的至少一者可基于待编码块的预设特征情况确定。故,该待候选运动信息及其获取顺序可均基于预设特征情况确定,即可先基于预设特征情况确定待候选运动信息,然后再基于预设特征情况对其获取顺序进行排序。当然,该待候选运动信息及其获取顺序也可仅其中一个基于预设特征情况确定,例如仅基于预设特征情况确定待候选运动信息,该待候选运动信息的获取顺序则按照上述默认获取原则进行默认排序。
在一些实施例中,基于预设特征情况确定待候选运动信息。结合图2,本步骤S120中的将所述图像中的多个已编码块的运动信息确定为多个待候选运动信息,可进一步包括以下子步骤:
S221:基于预设特征情况,确定待编码块的不同边界的运动信息获取个数。
其中,可按照待编码块的不同边界的长度比较结果,来确定不同边界方向的已编码块的选择个数。例如,基于所述预设特征情况,从所述待编码块的相邻两条边界中选出符合预设条件的第一边界;将所述第一边界的运动信息获取个数增加至第一数量,且将所述相邻两条边界中的第二边界的运动信息获取个数减少至第二数量。其中,所述增加的个数和所述减少的个数均大于或等于0。
S222:按照不同边界的运动信息获取个数,获取位于待编码块不同边界方向的对应数量个已编码块的运动信息,以作为多个待候选运动信息。
接上例,第一边界的运动信息获取个数增加至第一数量,第二边界的运动信息获取个数减少至第二数量,故在第一边界方向选择所述第一数量个的已编码块,以作为所述第一数量个待候选运动信息;在第二边界方向选择所述第二数量个的相邻已编码块,,以作为所述第二数量个待候选运动信。其中,所述第一数量个的已编码块包括与所述第一边界相邻和/或不相邻的已编码块。其中,本文所述的位于待编码块某一边界方向的已编码块可以理解为,待编码块的该边界以外的区域中的相邻已编码块和非相邻编码块,例如位于待编码块的上边界的已编码块包括待编码块的上边界以上的区域中的相邻已编码块和非相邻编码块;位于待编码块的左边界的已编码块包括待编码块的左边界以左的区域中的相邻已编码块和非相邻编码块。
在一些实施例中,基于预设特征情况确定待编码块待候选运动信息的获取顺序。例如,本步骤S120中的确定所述多个待候选运动信息的获取顺序,可具体包括:基于所述预设特征情况,从所述待编码块的相邻两条边界中选出符合预设条件的第一边界;将所述多个待候选运动信息的获取顺序确定为:将所述多个待候选运动信息的获取顺序确定为:先获取位于所述第一边界方向的待候选运动信息,后获取位于所述相邻两条边界中的第二边界方向的待候选运动信息。又例如,本步骤S120中的确定所述多个待候选运动信息的获取顺序,可具体包括:确定待编码块分别对应多个已编码块的纹理特征情况(如纹理特征相似度),将对应所述多个待候选运动信息对应的已编码块的纹理特征情况的排列顺序作为所述多个待候选运动信息的获取顺序。
S130:按照所述获取顺序,获取所述待候选运动信息作为所述待编码块的空域候选运动信息。
例如,按照步骤S120确定的获取顺序,从多个待候选运动信息中获取待候选运动信息作为空域候选运动信息,并置于待编码块的运动信息候选列表中。其中,空域候选运动信息在运动信息候选列表中的排序与该空域候选运动信息的获取顺序一致,即,先获取的空域候选运动信息放在运动信息候选列表的前面。可以理解的是,在实际情况中,可获取0个以上待候选运动信息作为所述待编码块的空域候选运动信息。如在一具体应用中,从多个待候选运动信息中获取符合设定要求的待候选运动信息作为空域候选运动信息,若多个待候选运动信息中不存在符合设定要求的待候选运动信息,则相当于获取0个待候选运动信息作为所述待编码块的空域候选运动信息。
本申请的空域候选运动信息获取方法可用于图像预测编码,例如,用于预测编码过程时所需构建的待编码块的候选运动列表,其中,该预测编码过程所采用的预测模式可以但不限于包括以下至少一步模式:帧间预测模式和帧内块拷贝预测模式。所述帧间预测模式包括以下至少一种:merge帧间预测模式、AMVP帧间预测模式;所述帧内块拷贝预测模式包括以下至少一种:IBC预测模式和IBC_merge预测模式。
本文所述的块的运动信息为该块的参考块到该块的移动信息,该运动信息具体可以为运动矢量(MotionVector,MV)。
本实施例中,利用待编码块的尺寸、纹理等预设特征情况,将出所在图像中的已编码块的运动信息确定为待候选运动信息和/或确定待候选运动信息的获取顺序,进而基于确定结果获取待候选运动信息作为空域候选运动信息,由于待编码块的预设特征情况能够反映出待编码块与所在图像中已编码块之间的相关性情况,故利用该预设特征情况进行确定为待候选运动信息,能够较大概率将相关性较高的已编码块的运动信息确定为待候选运动信息,进而提高空域候选运动信息的获取准确性,以提高后续预测准确性,或者利用该预设特征情况进行确定为待候选运动信息的获取顺序,能够按照待候选运动信息对应的已编码块与待编码块的相关性调整待候选运动信息的获取顺序,故可将较大概率作为后续待编码块的运动信息预测(如运动信息具体为运动矢量,则运动信息预测具体为MVP)的待候选运动信息优先获取作为空域候选运动信息,进而置于运动信息候选列表的前面,进而后续可采用更少码字表示待编码块的运动信息预测,提高编码压缩率。
下面针对具体预设特征情况继续进行举例说明。其中,分别针对待编码块的尺寸特征情况、待编码块的纹理方向、待编码块与已编码块之间的纹理特征相似度三种特征情况进行一一举例。可以理解的是,本申请预设特征情况并不受限于下面列举的三种情况,对于其他可体现出相关性的特征,可按照类似原理进行空域候选运动信息的获取。
请参阅图3,图3是本申请空域候选运动信息获取方法第二实施例的流程示意图。本实施例中,预设特征情况包括待编码块的尺寸特征情况,且上述步骤S120的多个待候选运动信息是基于所述预设特征情况确定得到的。如图3所示,本实施例方法包括步骤:
S310:获取图像中的待编码块的尺寸特征情况。
其中,所述尺寸特征情况包括所述相邻两条边界的长度信息。
本实施例中,待编码块的空域候选运动信息均从其两个相邻边界的方向上的已编码块运动信息选出。其中,该相邻两条边界包括第一边界和第二边界。如图4所示,该相邻两条边界为待编码块的宽高,故获取待编码块的宽高信息。
S321:基于预设特征情况,从待编码块的相邻两条边界中选出符合预设条件的第一边界。
其中,该预设条件包括所述相邻两条边界中长度较长的边界。
由于待编码块的相邻两条边界不同时,靠近长边界的已编码块与待编码块相关性更高的可能性较大。故可以减少从短边界相邻块获取运动信息,增加从靠近长边界的已编码块获取运动信息。因此,本实施例依据待编码块的预设特征情况,从相邻两条边界中选择出符合预设条件的第一边界,即查找出相关性更高的已编码块所在的边界,进而在后续步骤S322中调整第一边界和第二边界方向上的已编码块个数,进而使得相关性较高的相应边界方向上的已编码块个数增加,相关性较低的相应边界方向上的已编码块个数减少。
S322:将第一边界的运动信息获取个数增加至第一数量,且将相邻两条边界中的第二边界的运动信息获取个数减少至第二数量。
当待编码块的相邻两条边界长度不相等,且第一边界的长度长于第二边界时,可增加第一边界方向上的运动信息获取个数,减少第二边界方向上的运动信息获取个数。例如,第一边界的运动信息获取个数原来为G个,增加的个数为M,故第一边界的运动信息获取个数增加至G+M个;第二边界的运动信息获取个数原来为H个,减少的个数为N,故第二边界的运动信息获取个数减少至H-N个。其中,上述增加的个数M和上述减少的个数N均大于或等于0;M和N可以为相等或不相等,在此不做限定。
继续结合图4和5进行举例说明。在图4中,待编码块的相邻两条边界表示宽高,具体地,待编码块的第一边界和第二边界的其中一个为左边界,另一个为上边界。按照原来的空域候选运动信息的默认获取原则,默认从待编码块的左边界和上边界的预设方位选择已编码块运动信息(A0、A1、B2、B1、B0的运动信息),以作为待候选运动信息。在检测到待编码块的宽大于高时,增加上边界方向上的运动信息获取个数,减少左边界方向上的运动信息获取个数,如图5所示,上边界方向的运动信息获取个数由图4的3个(B0-B2)增加至4个(B0-B3);左边界方向的运动信息获取个数由图4的2个(A0-A1)减少至1个(A1)。
可以理解的是,当待编码块的相邻两条边界长度相等,可按照原来的空域候选运动信息的默认获取原则,即直接获取图4所示的已编码块A0、A1、B2、B1、B0的运动信息作为待候选运动信息。
S323:在第一边界方向选择第一数量个已编码块的运动信息,以作为第一数量个待候选运动信息,在第二边界方向选择第二数量个相邻已编码块的运动信息,以作为第二数量个待候选运动信息。
其中,所述第一数量个已编码块包括与所述第一边界相邻和/或不相邻的已编码块。
继续结合图4和5进行举例说明,对于第一边界(本例即上边界)方向的已编码块运动信息的选择,由于其运动信息获取个数相对于原来默认的获取个数有所增加,故除选择默认获取的上边界方向的已编码块(B0-B2)的运动信息外,另外,在上边界方向选择除上述默认获取的已编码块(B0-B2)外的其他任意已编码块(B3)的运动信息,该其他任意已编码块可以为与上边界相邻或不相邻的已编码块。对于第二边界(本例即左边界)方向的已编码块运动信息的选择,由于其运动信息获取个数相对于原来默认的运动信息获取个数有所减少,故在原来默认获取的上边界方向上的相邻已编码块(A0-A1)中选择任意部分已编码块(A1)的运动信息。可以理解的是,对于本步骤S323中的第一边界和第二边界的已编码块运动信息选择,也未必选择原来默认获取的已编码块(B0-B2、A0-A1)的运动信息,在一些实施例中,可在对应边界方向重新任意选择对应数量个已编码块的运动信息。
S330:按照获取顺序,获取待候选运动信息作为待编码块的空域候选运动信息。
例如,按照步骤S323确定的获取顺序,获取待候选运动信息作为空域候选运动信息,并置于待编码块的运动信息候选列表中。其中,空域候选运动信息在运动信息候选列表中的排序与该空域候选运动信息的获取顺序一致。该空域候选运动信息获取方法可以但不限用于帧间预测模式或块拷贝预测模式。
继续结合图4和5进行举例说明,该待编码块的空域候选运动信息用于merge预测模式。按照原来空域候选运动信息的默认获取原则,常规merge预测模式的运动信息候选列表包含6个候选运动信息。最多能从空域中获取4个空域候选运动信息。如图4,待候选运动信息的默认获取顺序为A1->B1->B0->A0(->B2)。由于本实施例重新确定待候选运动信息如图5所示,已不同于图4,故待候选运动信息的获取顺序相应更改为:A1->B1->B0->B3(->B2),并按照该获取顺序,将待候选运动信息获取作为空域候选运动信息,且置于待编码块的运动信息候选列表中。可以理解的是,上述获取顺序的更改是因为A0未被选择,且新增B3,故将B3替换至A0的获取顺序。
请参阅图6,图6是本申请空域候选运动信息获取方法第三实施例的流程示意图。本实施例中,预设特征情况包括待编码块的尺寸特征情况,且上述步骤S120的待候选运动信息的获取顺序是基于所述预设特征情况确定得到的。如图6所示,本实施例方法包括步骤:
S610:获取图像中的待编码块的尺寸特征情况。
其中,所述尺寸特征情况包括所述相邻两条边界的长度信息。
S621:基于预设特征情况,从待编码块的相邻两条边界中选出符合预设条件的第一边界。
其中,该预设条件包括所述相邻两条边界中长度较长的边界。
步骤S610和S621的说明可参考步骤S310和S321的相关描述,在此不做赘述。
S624:将多个待候选运动信息的获取顺序确定为:先获取位于第一边界方向的待候选运动信息,后获取位于相邻两条边界中的第二边界方向的待候选运动信息。
由于待编码块的相邻两条边界不同时,靠近长边界的已编码块与待编码块相关性更高的可能性较大。故将长边界的已编码块的运动信息的获取顺序提前,以使长边界的已编码块的运动信息置于待编码块的运动信息候选列表前列,而将短边界的已编码块的运动信息的获取顺序置后,以使短边界的已编码块的运动信息置于待编码块的运动信息候选列表的后列。
具体地,当待编码块的相邻两条边界长度不相等,且第一边界的长度长于第二边界时,可将位于第一边界方向的已编码块的运动信息的获取顺序置于位于第二边界方向的已编码块的运动信息的前面。当待编码块的相邻两条边界长度相等,按照待候选运动信息的默认获取顺序作为该多个已编码块的运动信息的获取顺序,即如图4,对于merge预测模式,待候选运动信息的默认获取顺序为A1->B1->B0->A0(->B2)。
S630:按照获取顺序,获取待候选运动信息作为所述待编码块的空域候选运动信息。
例如,按照步骤S624确定的获取顺序,获取待候选运动信息作为空域候选运动信息,并置于待编码块的运动信息候选列表中。其中,空域候选运动信息在运动信息候选列表中的排序与该空域候选运动信息的获取顺序一致。该空域候选运动信息获取方法可以但不限用于帧间预测模式或块拷贝预测模式。
继续结合图4进行举例说明,该待编码块的空域候选运动信息用于常规AMVP预测模式。在常规AMVP模式下,待编码块的宽大于高,如图4所示。因此,分别从上边界或左边界获取一待候选运动信息作为空域候选运动信息。待候选运动信息的获取顺序改为:先获取上边界的待候选运动信息B0->B1->B2->scaled B0->scaledB1->scaled B2,再获取左边界的待候选运动信息MV A0->A1(->scaled A0->scaled A1),左边界的2个缩放运动信息只有在A0和A1都不可用或都是非帧间模式时才会选择。调整后,AMVP运动信息候选列表的大小仍为2,空域候选运动信息的数量最大仍为2。
请参阅图7,图7是本申请空域候选运动信息获取方法第四实施例的流程示意图。本实施例中,预设特征情况包括待编码块的纹理方向,且上述步骤S120的多个待候选运动信息是基于所述预设特征情况确定得到的。如图3所示,本实施例方法包括步骤:
S710:获取图像中的待编码块的第一纹理特征情况。
其中,所述第一纹理特征情况为所述待编码块的纹理方向。
在一些实施例中,可采用帧内角度预测对待编码块的预测效果来确定待编码块的纹理方向。例如,结合参考图8,本步骤S710包括以下子步骤:
S811:采用至少一种第一方向的角度模式和至少一种第二方向的角度模式对待编码块进行帧内预测,并计算对应每个角度模式的率失真代价。
帧内角度预测基于某种角度方向采用相邻已编码参考像素对待编码块进行预测,每种角度预测的效果好坏与待编码块自身的纹理方向强相关。因此,可采用角度预测及其率失真代价对待编码块的纹理方向进行判断。其中,率失真代价越小的角度模式对应的方向越贴近待编码块的纹理方向,率失真代价越大的角度模式对应的方向则越远离待编码块的纹理方向。
具体的,帧内角度模式的方向如图9所示。采用图9所示中的至少一种第一方向的角度模式和至少一种第二方向的角度模式对待编码块进行帧内预测,并计算对应每个角度模式的率失真代价。在一些应用场景中,该第一方向和第二方向的其中一个为水平方向,另一个为垂直方向。
S812:将率失真代价最小的角度模块对应的方向确定为待编码块的纹理方向。
例如,比较步骤S811中每个角度模式的率失真代价,并查找出最小率失真代价的角度模式,将该角度模式的方向确定为待编码块的纹理方向。
S721:基于所述预设特征情况,从所述待编码块的相邻两条边界中选出符合预设条件的第一边界。
其中,该预设条件包括与所述待编码块的纹理方向对应的边界。该纹理方向对应的边界可以理解为与该纹理方向垂直或接近垂直的边界,例如,该纹理方向为水平方向(如图9所示的角度模式2-33),则该纹理方向对应的边界为待编码块的左边界;该纹理方向为垂直方向(如图9所示的角度模式35-66),则该纹理方向对应的边界为待编码块的上边界。
步骤722:将第一边界的运动信息获取个数增加至第一数量,且将相邻两条边界中的第二边界的运动信息获取个数减少至第二数量。
本实施例根据待编码块的纹理方向来增加或减少待编码块的对应边界的运动信息获取个数。例如,将纹理方向对应的第一边界的运动信息获取个数增加,纹理方向不对应的第二边界的运动信息获取个数减少。其中,所述增加的个数和减少的个数均大于或等于0。
在一应用场景中,如果率失真代价最小的角度模式属于水平方向,则该待编码块的纹理方向为水平方向,故减少待编码块的上边界的运动信息获取个数,减少的个数为N;增加待编码块的左边界的运动信息获取个数,增加的个数为M。如果率失真代价最小的角度模式属于垂直方向,则该待编码块的纹理方向为垂直方向,故减少待编码块的左边界的运动信息获取个数,减少的个数为N;增加待编码块的上边界的运动信息获取个数,增加的个数为M。其中,类似于第二实施例,上述增加的个数M和上述减少的个数N均大于或等于0;M和N可以为相等或不相等。减少的N个已编码块可为该边界方向上默认获取的相邻块已编码块中的任意N个。新增的M个已编码块,可以为除该边界方向上默认获取的相邻已编码块以外的任意已编码块。新增的M个已编码块可以与待编码块相邻,也可以不相邻。
步骤S723:在第一边界方向选择第一数量个已编码块的运动信息,以作为第一数量个待候选运动信息,在第二边界方向选择第二数量个相邻已编码块的运动信息,以作为第二数量个待候选运动信息。
其中,所述第一数量个已编码块包括与所述第一边界相邻和/或不相邻的已编码块。
具体地,该步骤S723可参考S323的说明,在此不做赘述。
步骤S730:按照获取顺序,获取待候选运动信息作为待编码块的空域候选运动信息。
例如,按照步骤S723确定的获取顺序,获取待候选运动信息作为空域候选运动信息,并置于待编码块的运动信息候选列表中。其中,空域候选运动信息在运动信息候选列表中的排序与该空域候选运动信息的获取顺序一致。该空域候选运动信息获取方法可以但不限用于帧间预测模式或块拷贝预测模式。
举例说明,该待编码块的空域候选运动信息用于IBC_merge预测模式。按照原来空域候选运动信息的默认获取原则,常规IBC_merge预测模式的待候选运动信息及其获取顺序为A1->B1->B0->A0->B2。由于本实施例对待编码块采用水平角度模式18和垂直角度模式50对待编码块进行帧内预测,并记录其率失真代价。假设垂直角度模式50的率失真代价最小,则确定待编码块的纹理方向为垂直方向,故减少左边界的已编码块A0,则增加上边界的已编码块B3,如图9所示。待候选运动信息的获取顺序改为A1->B1->B0->B3->B2,并按照该获取顺序,将待候选运动信息获取作为空域候选运动信息,且置于待编码块的运动信息候选列表中。可以理解的是,上述获取顺序的更改是因为A0未被选择,且新增B3,故将B3替换至A0的获取顺序。可以理解的是,该获取顺序也可基于预设特征情况进行重新确定,例如,可结合不同的预设特征情况分别进行待候选运动信息及其获取信息的确定。如图5所示,待编码块的上边界长于左边界,故基于待编码块的尺寸特征情况确定待候选运动信息的获取顺序为B1->B0->B3->B2->A1。
请参阅图10,图10是本申请空域候选运动信息获取方法第五实施例的流程示意图。本实施例中,预设特征情况包括待编码块的纹理方向,且上述步骤S120的待候选运动信息的获取顺序是基于所述预设特征情况确定得到的。如图10所示,本实施例方法包括步骤:
步骤S1010:获取图像中的待编码块的第一纹理特征情况。
其中,所述第一纹理特征情况为所述待编码块的纹理方向。
步骤S1021:基于所述预设特征情况,从所述待编码块的相邻两条边界中选出符合预设条件的第一边界。
其中,预设条件包括与所述待编码块的纹理方向对应的边界。
步骤S1010和S1021的说明可参考步骤S710和S721的相关描述,在此不做赘述。
步骤S1024:将多个待候选运动信息的获取顺序确定为:先获取位于第一边界方向的待候选运动信息,后获取位于相邻两条边界中的第二边界方向的待候选运动信息。
本实施例根据待编码块的纹理方向来调整待候选运动信息的获取信息。例如,优先将与失真代价最小的角度模式所属方向对应的边界的待候选运动信息的获取顺序提前,以使该边界的待候选运动信息置于待编码块的运动信息候选列表前列,而将将与率失真代价最大的角度模式所属方向对应的边界的待候选运动信息的获取顺序置后,以使该边界的待候选运动信息置于待编码块的运动信息候选列表的后列。
步骤S1030:按照获取顺序,获取待候选运动信息作为所述待编码块的空域候选运动信息。
例如,按照步骤S1024确定的获取顺序,获取待候选运动信息作为空域候选运动信息,并置于待编码块的运动信息候选列表中。其中,空域候选运动信息在运动信息候选列表中的排序与该空域候选运动信息的获取顺序一致。该空域候选运动信息获取方法可以但不限用于帧间预测模式或块拷贝预测模式。
结合图5进行举例说明,本例采用基于多种预设特征情况来分别确定待候选运动信息及其获取顺序。该待编码块的空域候选运动信息用于常规IBC预测模式。在IBC模式下,待编码块的宽大于高,故基于该待编码块的尺寸特征情况确定待候选运动信息为A1、B1、B0、B3和B2的运动信息。对待编码块采用4种角度模式{18,34,50,66}进行帧内预测并计算其率失真代价。假设模式66的率失真代价最低,模式18的率失真代价最高,故得到待编码块的纹理方向为模式66所属方向,即垂直方向。因此将该模式66所属方向对应的上边界的获取顺序提前,得到待候选运动信息的获取顺序为B1->B0->B3->B2->A1。
请参阅图11,图11是本申请空域候选运动信息获取方法第六实施例的流程示意图。本实施例中,预设特征情况包括待编码块与已编码块之间的纹理特征相似度,且上述步骤S120的待候选运动信息的获取顺序是基于所述预设特征情况确定得到的。如图11所示,本实施例方法包括步骤:
S1110:获取图像中的待编码块的第二纹理特征情况。
其中,第二纹理特征情况为待编码块分别与多个已编码块之间的纹理特征相似度。
计算待编码块与每个用于获得待候选运动信息的已编码块之间的纹理特征相似性。可以理解的是,本步骤所针对的已编码块为后续用于获得待候选运动信息的已编码块,如按照原来空域候选运动信息的默认获取原则,确定将获取已编码块A0、A1、B0、B1、B2的运动信息作为待候选运动信息,故则分别获取已编码块A0、A1、B0、B1、B2与待编码块之间的纹理特征相似度。如果该待候选运动信息是基于待编码块的其他预设特征情况如尺寸或纹理方向确定,则可先基于待编码块的其他预设特征情况确定出待候选运动信息后,再算出该待候选运动信息对应的已编码块与待编码块之间的纹理特征相似度,进而基于该纹理特征相似度来确定待候选运动信息的获取顺序。
具体地址,待编码块与已编码块之间的纹理特征相似度可以由待编码块与已编码块的梯度值、欧氏距离度量、Mahalanobis度量等得到。
下面以由待编码块与已编码块的梯度值得到纹理特征相似度作为例子。结合参考图12,本步骤S1110可具体包括以下子步骤:
S1211:分别计算待编码块和多个已编码块的梯度。
例如,利用以下公式(1),计算得到所述待编码块和所述多个已编码块的梯度grad;
其中,w和h分别表示待编码块或已编码块的宽和高,i和j分别表示所述待编码块或已编码块内像素点的横坐标和纵坐标,p表示所述待编码块或已编码块内像素点的像素值。
S1212:将待编码块与每个已编码块之间的梯度差的绝对值作为所述待编码块与对应已编码块的纹理特征相似度。
S1121:将多个待候选运动信息对应的已编码块分别与待编码块之间的纹理特征相似度从高到底排列。
S1122:将多个待候选运动信息对应的纹理特征相似度的排列顺序作为多个待候选运动信息的获取顺序。
本实施例根据待编码块的纹理特征相似度来调整待候选运动信息的获取信息。具体如,所对应的纹理特征相似度越高的待候选运动信息的获取顺序越提前,以使该待候选运动信息置于待编码块的运动信息候选列表的越前列。
下面结合图13对上述步骤进行具体举例说明,如在常规merge模式下,默认获取的已编码块A0、A1、B0、B1、B2的运动信息作为待候选运动信息。利用上述公式1分别计算已编码块A0、A1、B0、B1、B2和待编码块的梯度值,对应记为gradA0、gradA1、gradB0、gradB1、gradB2和gradCur。
分别计算已编码块A0、A1、B0、B1、B2和待编码块之间的梯度值差的绝对值,记为diff_gradA0、diff_gradA1、diff_gradB0、diff_gradB1、diff_gradB2。例如,diff_gradA0为gradA0与gradCur之间的差的绝对值,iff_gradA1为gradA1与gradCur之间的差的绝对值,以此类推。
已编码块对应的梯度值差的绝对值越小,则表示已编码块与待编码块的纹理特征越相似。故上述diff_gradA0、diff_gradA1、diff_gradB0、diff_gradB1、diff_gradB2,对应作为已编码块A0、A1、B0、B1、B2与待编码块之间纹理特征相似度。因此,按已编码块对应梯度值差的绝对值从小到大的排序,得到diff_gradA0<diff_gradA1<diff_gradB0<diff_gradB1<diff_gradB2,则待候选运动信息的获取顺序为A0->A1->B0->B1->B2。
S1130:按照获取顺序,获取待候选运动信息作为所述待编码块的空域候选运动信息。
例如,按照步骤S1122确定的获取顺序,获取待候选运动信息作为空域候选运动信息,并置于待编码块的运动信息候选列表中。其中,空域候选运动信息在运动信息候选列表中的排序与该空域候选运动信息的获取顺序一致。该空域候选运动信息获取方法可以但不限用于帧间预测模式或块拷贝预测模式。
可以理解的是,本申请可结合不同中预设特征情况来分别确定待候选运动信息及其获取顺序,例如,基于尺寸特征情况确定待候选运动信息,且基于上述纹理方向或纹理特征相似度确定待候选运动信息的获取顺序;又例如,基于纹理方向确定待候选运动信息,且基于上述尺寸特征情况或纹理特征相似度确定待候选运动信息的获取顺序。
本申请空域候选运动信息获取方法实施例可应用于图像编码,具体如采用帧间或帧内预测模式来对图像中的块进行预测编码的编码过程中,通过上述空域候选运动信息获取方法实施例可构建得到预测编码过程中所采用的运动信息候选列表。
请参阅图14,图14是本申请编码方法一实施例的流程示意图。本实施例中,该编码方法包括如下步骤:
步骤S1410:采用预测模式对待编码块进行预测,得到所述待编码块的预测结果。
其中,所述预测模式中所使用的所述待编码块的空域候选运动信息由上述空运候选运动信息的获取方法实施例得到。具体地,所述预测模式可包括帧间预测模式和帧内块拷贝预测模式中的至少一种;所述帧间预测模式可包括以下至少一种:merge预测模式、AMVP预测模式;所述帧内块拷贝预测模式可包括以下至少一种:IBC预测模式和IBC_merge预测模式。
在一些实施例中,结合参考图15,对于本步骤采用预测模式对待编码块进行预测的过程具体如下:
步骤S1511:构建待编码块的运动信息候选列表,其中,运动信息候选列表包括所述空域候选运动信息。
例如,采用上述空域候选运动信息获取方法实施例获得空域候选运动信息,并置于运动信息候选列表中,以构建得到当前视频帧中待编码块的运动信息候选列表。
步骤S1512:基于运动信息候选列表进行运动估计和运动补偿。
步骤S1513:根据运动估计和运动补偿的结果确定待编码块的预测结果。
例如,对于帧间预测模式,可根据运动估计和运动补偿结果确定待编码块的以下至少部分信息:待编码块的预测方向、参考索引、运动矢量预测(Motion VectorPrediction,MVP)、运动矢量差(MotionVector Difference,MVD)、残差等。对于帧内块拷贝预测模式,可根据运动估计和运动补偿结果确定待编码块的以下至少部分信息:待编码块的MVP、MVD、残差等。
步骤S1420:对待编码块的预测结果进行编码。
具体地,在不同预测模式下对待编码块的预测编码过程可参考现有对应预测模式的预测编码过程,在此不做赘述。
图16是本申请空域候选运动信息的获取装置一实施例的结构示意图。如图16所示,该装置160包括第一获取模块161、确定模块162和第二获取模块163。
第一获取模块161用于获取图像中的待编码块的预设特征情况,其中,所述预设特征情况包括尺寸特征情况和纹理特征情况中的至少一者。
确定模块162用于将所述图像中的多个已编码块的运动信息确定为多个待候选运动信息,以及确定所述多个待候选运动信息的获取顺序;其中,所述多个待候选运动信息及其获取顺序中的至少一者是基于所述预设特征情况确定得到的。
第二获取模块163用于按照所述获取顺序,获取所述待候选运动信息作为所述待编码块的空域候选运动信息。
在一些实施例中,所述多个待候选运动信息是基于所述预设特征情况确定得到的;确定模块162包括:确定单元,用于基于所述预设特征情况,确定所述待编码块的不同边界的运动信息获取个数;获取单元,用于按照所述不同边界的运动信息获取个数,获取位于所述待编码块不同边界方向的对应数量个已编码块的运动信息,以作为多个待候选运动信息。
其中,确定单元可具体用于:基于所述预设特征情况,从所述待编码块的相邻两条边界中选出符合预设条件的第一边界;将所述第一边界的运动信息获取个数增加至第一数量,且将所述相邻两条边界中的第二边界的运动信息获取个数减少至第二数量,其中,所述增加的个数和所述减少的个数均大于或等于0;获取单元可具体用于:在所述第一边界方向选择所述第一数量个已编码块的运动信息,以作为所述第一数量个待候选运动信息,其中,所述第一数量个已编码块包括与所述第一边界相邻和/或不相邻的已编码块;以及,在所述第二边界方向选择所述第二数量个相邻已编码块的运动信息,以作为所述第二数量个待候选运动信息。
在一些实施例中,所述多个待候选运动信息的获取顺序是基于所述预设特征情况确定得到的;所述确定模块162包括:选择单元,用于基于所述预设特征情况,从所述待编码块的相邻两条边界中选出符合预设条件的第一边界;第一确定单元,用于将所述多个待候选运动信息的获取顺序确定为:先获取位于所述第一边界方向的待候选运动信息,后获取位于所述相邻两条边界中的第二边界方向的待候选运动信息。
在一些实施例中,第一获取模块161具体用于:获取图像中的待编码块的尺寸特征情况;其中,所述尺寸特征情况包括所述相邻两条边界的长度信息;所述预设条件包括所述相邻两条边界中长度较长的边界。
在一些实施例中,第一获取模块161具体用于:获取图像中的待编码块的第一纹理特征情况,其中,所述第一纹理特征情况为所述待编码块的纹理方向;所述预设条件包括与所述待编码块的纹理方向对应的边界。
具体地,第一获取模块161可包括:第一计算单元,用于采用至少一种第一方向的角度模式和至少一种第二方向的角度模式对所述待编码块进行帧内预测,并计算对应每个角度模式的率失真代价;第二确定单元,用于将所述率失真代价最小的角度模块对应的方向确定为所述待编码块的纹理方向。
在一些实施例中,第一获取模块161具体用于:获取图像中的待编码块的第二纹理特征情况,其中,所述第二纹理特征情况为所述待编码块分别与所述多个已编码块之间的纹理特征相似度;所述多个待候选运动信息的获取顺序是基于所述预设特征情况确定得到的;确定模块,包括:排序单元,用于将所述多个待候选运动信息对应的已编码块分别与所述待编码块之间的纹理特征相似度从高到底排列;第三确定单元,用于将所述多个待候选运动信息对应的纹理特征相似度的排列顺序作为所述多个待候选运动信息的获取顺序。
进一步地,第一获取模块161可包括:第二计算单元,用于分别计算所述待编码块和所述多个已编码块的梯度,其中,第二计算单元可具体用于:利用上述公式(1),计算得到所述待编码块和所述多个已编码块的梯度;第四确定单元,用于将所述待编码块与每个所述已编码块之间的梯度差的绝对值作为所述待编码块与对应所述已编码块的纹理特征相似度。
在一些实施例中,所述运动信息为运动矢量。
请参阅17,图17是本申请编码装置一实施例的结构示意图。如图17所示,该装置170包括预测模块171和编码模块172。
预测模块171用于采用预测模式对待编码块进行预测,得到所述待编码块的预测结果;其中,所述预测模式中所使用的所述待编码块的空域候选运动信息由权利要求15所述的装置获得的;
编码模块172用于对所述待编码块的预测结果进行编码。
在一些实施例中,所述预测模式包括帧间预测模式和帧内块拷贝预测模式中的至少一种;所述帧间预测模式包括以下至少一种:merge预测模式、AMVP预测模式;所述帧内块拷贝预测模式包括以下至少一种:IBC预测模式和IBC_merge预测模式。
在一些实施例中,所述预测模块171包括:构建单元,用于构建待编码块的运动信息候选列表,其中,所述运动信息候选列表包括所述空域候选运动信息;运动估计和补偿单元,用于基于所述运动信息候选列表进行运动估计和运动补偿;确定单元,用于根据所述运动估计和运动补偿的结果确定所述待编码块的预测结果。
上述装置的各模块具体执行可参考上述方法实施例的对应步骤,在此不做赘述。
请参阅图18,图18为本申请编解码器一实施例的结构示意图。如图18所示,该编解码器180包括处理器181及和处理器181耦接的存储器182。
存储器182存储有用于实现上述任一实施例所述的空域候选运动信息获取方法或编码方法的程序指令。处理器181用于执行存储器182存储的程序指令以获取空域候选信息或实现对图像的编码。
其中,处理器181还可以称为CPU(Central Processing Unit,中央处理单元)。处理器181可能是一种集成电路芯片,具有信号的处理能力。处理器181还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
参阅图19,图19为本申请存储装置一实施例的结构示意图。本申请实施例的存储装置存储有能够实现上述所有方法的程序指令191,其中,该程序指令191可以以软件产品的形式存储在上述存储装置中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储装置包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
上述实施例中,利用待编码块的尺寸、纹理等预设特征情况,将出所在图像中的已编码块的运动信息确定为待候选运动信息和/或确定待候选运动信息的获取顺序,进而基于确定结果获取待候选运动信息作为空域候选运动信息,由于待编码块的预设特征情况能够反映出待编码块与所在图像中已编码块之间的相关性情况,故利用该预设特征情况进行确定为待候选运动信息,能够较大概率将相关性较高的已编码块的运动信息确定为待候选运动信息,进而提高空域候选运动信息的获取准确性,以提高后续预测准确性,或者利用该预设特征情况进行确定为待候选运动信息的获取顺序,能够按照待候选运动信息对应的已编码块与待编码块的相关性调整待候选运动信息的获取顺序,故可将较大概率作为后续待编码块的运动信息预测的待候选运动信息(在一些实施例中可称为最佳候选MVP)优先获取作为空域候选运动信息,进而置于运动信息候选列表的前面,进而后续可采用更少码字表示待编码块的运动信息预测,提高编码压缩率。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (19)
1.一种空域候选运动信息获取方法,其特征在于,包括:
获取图像中的待编码块的预设特征情况,其中,所述预设特征情况包括尺寸特征情况和纹理特征情况中的至少一者;
将所述图像中的多个已编码块的运动信息确定为多个待候选运动信息,以及确定所述多个待候选运动信息的获取顺序;其中,所述多个待候选运动信息及其获取顺序中的至少一者是基于所述预设特征情况确定得到的;
按照所述获取顺序,获取所述待候选运动信息作为所述待编码块的空域候选运动信息,其中,所述待编码块的空域候选运动信息用于对所述待编码进行预测,以得到预测结果,所述预测结果包括运动矢量预测。
2.根据权利要求1所述的方法,其特征在于,所述多个待候选运动信息是基于所述预设特征情况确定得到的;所述将所述图像中的多个已编码块的运动信息确定为多个待候选运动信息,包括
基于所述预设特征情况,确定所述待编码块的不同边界的运动信息获取个数;
按照所述不同边界的运动信息获取个数,获取位于所述待编码块不同边界方向的对应数量个已编码块的运动信息,以作为多个待候选运动信息。
3.根据权利要求2所述的方法,其特征在于,所述基于所述预设特征,确定所述待编码块的不同边界的运动信息获取个数,包括:
基于所述预设特征情况,从所述待编码块的相邻两条边界中选出符合预设条件的第一边界;
将所述第一边界的运动信息获取个数增加至第一数量,且将所述相邻两条边界中的第二边界的运动信息获取个数减少至第二数量,其中,所述增加的个数和所述减少的个数均大于或等于0;
所述按照所述不同边界的运动信息获取个数,获取位于所述待编码块不同边界方向的对应数量个已编码块的运动信息,以作为多个待候选运动信息,包括:
在所述第一边界方向选择所述第一数量个已编码块的运动信息,以作为所述第一数量个待候选运动信息,其中,所述第一数量个已编码块包括与所述第一边界相邻和/或不相邻的已编码块;以及
在所述第二边界方向选择所述第二数量个相邻已编码块的运动信息,以作为所述第二数量个待候选运动信息。
4.根据权利要求1所述的方法,其特征在于,所述多个待候选运动信息的获取顺序是基于所述预设特征情况确定得到的;所述确定所述多个待候选运动信息的获取顺序,包括:
基于所述预设特征情况,从所述待编码块的相邻两条边界中选出符合预设条件的第一边界;
将所述多个待候选运动信息的获取顺序确定为:先获取位于所述第一边界方向的待候选运动信息,后获取位于所述相邻两条边界中的第二边界方向的待候选运动信息。
5.根据权利要求3或4所述的方法,其特征在于,所述获取图像中的待编码块的预设特征情况,包括:
获取图像中的待编码块的尺寸特征情况;其中,所述尺寸特征情况包括所述相邻两条边界的长度信息;
所述预设条件包括所述相邻两条边界中长度较长的边界。
6.根据权利要求3或4所述的方法,其特征在于,
所述获取图像中的待编码块的预设特征情况,包括:
获取图像中的待编码块的第一纹理特征情况,其中,所述第一纹理特征情况为所述待编码块的纹理方向;
所述预设条件包括与所述待编码块的纹理方向对应的边界。
7.根据权利要求6所述的方法,其特征在于,
所述获取图像中的待编码块的第一纹理特征情况,包括:
采用至少一种第一方向的角度模式和至少一种第二方向的角度模式对所述待编码块进行帧内预测,并计算对应每个角度模式的率失真代价;
将所述率失真代价最小的角度模块对应的方向确定为所述待编码块的纹理方向。
8.根据权利要求1所述的方法,其特征在于,
所述获取图像中的待编码块的预设特征情况,包括:
获取图像中的待编码块的第二纹理特征情况,其中,所述第二纹理特征情况为所述待编码块分别与所述多个已编码块之间的纹理特征相似度;
所述多个待候选运动信息的获取顺序是基于所述预设特征情况确定得到的;所述确定所述多个待候选运动信息的获取顺序,包括:
将所述多个待候选运动信息对应的已编码块分别与所述待编码块之间的纹理特征相似度从高到底排列;
将所述多个待候选运动信息对应的纹理特征相似度的排列顺序作为所述多个待候选运动信息的获取顺序。
9.根据权利要求8所述的方法,其特征在于,
所述获取图像中的待编码块的第二纹理特征情况,包括:
分别计算所述待编码块和所述多个已编码块的梯度;
将所述待编码块与每个所述已编码块之间的梯度差的绝对值作为所述待编码块与对应所述已编码块的纹理特征相似度。
11.根据权利要求1所述的方法,其特征在于,所述运动信息为运动矢量。
12.一种编码方法,其特征在于,包括:
采用预测模式对待编码块进行预测,得到所述待编码块的预测结果;其中,所述预测模式中所使用的所述待编码块的空域候选运动信息由权利要求1至11任一项所述的方法得到;
对所述待编码块的预测结果进行编码。
13.根据权利要求12所述的方法,其特征在于,所述预测模式包括帧间预测模式和帧内块拷贝预测模式中的至少一种;
所述帧间预测模式包括以下至少一种:merge预测模式、AMVP预测模式;
所述帧内块拷贝预测模式包括以下至少一种:IBC预测模式和IBC_merge预测模式。
14.根据权利要求12所述的方法,其特征在于,所述采用预测模式对待编码块进行预测,得到所述待编码块的预测结果,包括:
构建待编码块的运动信息候选列表,其中,所述运动信息候选列表包括所述空域候选运动信息;
基于所述运动信息候选列表进行运动估计和运动补偿;
根据所述运动估计和运动补偿的结果确定所述待编码块的预测结果。
15.一种空域候选运动信息的获取装置,其特征在于,包括:
第一获取模块,用于获取图像中的待编码块的预设特征情况,其中,所述预设特征情况包括尺寸特征情况和纹理特征情况中的至少一者;
确定模块,用于将所述图像中的多个已编码块的运动信息确定为多个待候选运动信息,以及确定所述多个待候选运动信息的获取顺序;其中,所述多个待候选运动信息及其获取顺序中的至少一者是基于所述预设特征情况确定得到的;
第二获取模块,用于按照所述获取顺序,获取所述待候选运动信息作为所述待编码块的空域候选运动信息,其中,所述待编码块的空域候选运动信息用于对所述待编码进行预测,以得到预测结果,所述预测结果包括运动矢量预测。
16.一种编码装置,其特征在于,包括:
预测模块,用于采用预测模式对待编码块进行预测,得到所述待编码块的预测结果;其中,所述预测模式中所使用的所述待编码块的空域候选运动信息由权利要求15所述的装置获得的;
编码模块,用于对所述待编码块的预测结果进行编码。
17.一种编解码器,其特征在于,所述编解码器包括处理器、与所述处理器耦接的存储器,其中,
所述存储器存储有用于实现如权利要求1-11中任一项所述的空域候选运动信息获取方法的程序指令;
所述处理器用于执行所述存储器存储的所述程序指令以获取空域候选运动信息。
18.一种编解码器,其特征在于,所述编解码器包括处理器、与所述处理器耦接的存储器,其中,
所述存储器存储有用于实现如权利要求12所述的编码方法的程序指令;
所述处理器用于执行所述存储器存储的所述程序指令以实现对图像进行编码。
19.一种存储装置,其特征在于,存储有能够实现如权利要求1-11中任一项所述的空域候选运动信息获取方法的程序指令;或存储有能够实现如权利要求12所述的编码方法的程序指令。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910556619.3A CN110213588B (zh) | 2019-06-25 | 2019-06-25 | 空域候选运动信息获取方法、装置、编解码器及存储装置 |
PCT/CN2020/098125 WO2020259589A1 (en) | 2019-06-25 | 2020-06-24 | Systems and methods for inter-frame prediction |
EP20830559.9A EP3973708A4 (en) | 2019-06-25 | 2020-06-24 | INTRA-FRAME PREDICTION SYSTEMS AND METHODS |
US17/645,968 US20220124321A1 (en) | 2019-06-25 | 2021-12-24 | Systems and methods for inter-frame prediction |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910556619.3A CN110213588B (zh) | 2019-06-25 | 2019-06-25 | 空域候选运动信息获取方法、装置、编解码器及存储装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110213588A CN110213588A (zh) | 2019-09-06 |
CN110213588B true CN110213588B (zh) | 2021-07-13 |
Family
ID=67794549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910556619.3A Active CN110213588B (zh) | 2019-06-25 | 2019-06-25 | 空域候选运动信息获取方法、装置、编解码器及存储装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110213588B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020259589A1 (en) * | 2019-06-25 | 2020-12-30 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for inter-frame prediction |
CN113329225B (zh) * | 2020-02-28 | 2024-10-15 | 北京三星通信技术研究有限公司 | 视频编解码方法和装置 |
CN112055209B (zh) * | 2020-08-06 | 2024-08-02 | 浙江大华技术股份有限公司 | 图像编码方法及图像处理装置、计算机可读存储介质 |
CN112291565B (zh) * | 2020-09-10 | 2021-09-14 | 浙江大华技术股份有限公司 | 视频编码方法及其相关装置 |
CN112804525B (zh) * | 2021-04-07 | 2021-07-09 | 浙江华创视讯科技有限公司 | Ibc模式帧内块拷贝预测方法、装置、介质及设备 |
CN115297333B (zh) * | 2022-09-29 | 2023-03-24 | 北京达佳互联信息技术有限公司 | 视频数据的帧间预测方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1688164A (zh) * | 2005-06-09 | 2005-10-26 | 上海交通大学 | 基于对象边缘的形状快速运动估值的方法 |
EP2096871A2 (en) * | 2001-09-14 | 2009-09-02 | NTT DoCoMo, Inc. | Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program |
CN103517069A (zh) * | 2013-09-25 | 2014-01-15 | 北京航空航天大学 | 一种基于纹理分析的hevc帧内预测快速模式选择方法 |
CN109862368A (zh) * | 2018-12-28 | 2019-06-07 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法及其设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6173069B1 (en) * | 1998-01-09 | 2001-01-09 | Sharp Laboratories Of America, Inc. | Method for adapting quantization in video coding using face detection and visual eccentricity weighting |
US9407915B2 (en) * | 2012-10-08 | 2016-08-02 | Google Inc. | Lossless video coding with sub-frame level optimal quantization values |
CN104394409B (zh) * | 2014-11-21 | 2017-09-26 | 西安电子科技大学 | 基于空域相关性的hevc预测模式快速选择方法 |
CN105959699B (zh) * | 2016-05-06 | 2019-02-26 | 西安电子科技大学 | 一种基于运动估计和时空域相关性的快速帧间预测方法 |
-
2019
- 2019-06-25 CN CN201910556619.3A patent/CN110213588B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2096871A2 (en) * | 2001-09-14 | 2009-09-02 | NTT DoCoMo, Inc. | Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program |
CN1688164A (zh) * | 2005-06-09 | 2005-10-26 | 上海交通大学 | 基于对象边缘的形状快速运动估值的方法 |
CN103517069A (zh) * | 2013-09-25 | 2014-01-15 | 北京航空航天大学 | 一种基于纹理分析的hevc帧内预测快速模式选择方法 |
CN109862368A (zh) * | 2018-12-28 | 2019-06-07 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法及其设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110213588A (zh) | 2019-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110213588B (zh) | 空域候选运动信息获取方法、装置、编解码器及存储装置 | |
US11178419B2 (en) | Picture prediction method and related apparatus | |
US10511856B2 (en) | Method and system for predictive coding/decoding with directional scanning | |
US20220210436A1 (en) | Method for acquiring motion vectors, prediction method and device | |
CN111630859B (zh) | 根据图像编码系统中的帧间预测进行图像解码的方法和装置 | |
US8861609B2 (en) | Method and apparatus for encoding and decoding motion vector by obtaining motion vector predictor candidate using co-located block | |
US20220217337A1 (en) | Method, codec device for intra frame and inter frame joint prediction | |
CN104363451B (zh) | 图像预测方法及相关装置 | |
CN102036067B (zh) | 运动图像编码设备及其控制方法 | |
CN107852500B (zh) | 运动矢量场编码方法和解码方法、编码和解码装置 | |
WO2019001024A1 (zh) | 一种确定运动矢量预测值的方法以及相关设备 | |
JP2014524706A (ja) | 動きベクトル処理 | |
CN109076234A (zh) | 图像预测方法和相关设备 | |
CN109862353B (zh) | 色度块预测模式获取方法、装置、编解码器及存储装置 | |
US11197011B2 (en) | Decoding method | |
US20210037251A1 (en) | Video encoding method and apparatus, video decoding method and apparatus, computer device, and storage medium | |
CN111586415B (zh) | 视频编码方法、装置、编码器及存储装置 | |
CN110719467B (zh) | 色度块的预测方法、编码器及存储介质 | |
CN105122792A (zh) | 三维视频编码中降低复杂性的视图间残差预测的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |