CN111698517B - 运动矢量的确定方法、装置、电子设备和可读存储介质 - Google Patents
运动矢量的确定方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN111698517B CN111698517B CN202010602822.2A CN202010602822A CN111698517B CN 111698517 B CN111698517 B CN 111698517B CN 202010602822 A CN202010602822 A CN 202010602822A CN 111698517 B CN111698517 B CN 111698517B
- Authority
- CN
- China
- Prior art keywords
- motion vector
- evaluation coefficient
- determining
- interpolated
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
Abstract
本申请涉及一种运动矢量的确定方法、装置、电子设备和可读存储介质。所述方法包括:获取第一运动矢量,其中,所述第一运动矢量与当前待插值块有位置交叠关系;根据与所述当前待插值块存在时空关联关系的候选插值块,确定所述候选插值块对应的第二运动矢量;根据所述第一运动矢量和所述第二运动矢量,确定目标运动矢量。上述方案,充分考虑到了与当前待插值块存在关联关系的运动矢量,根据这些运动矢量可以有效提高所确定的最优运动矢量的准确率。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种运动矢量的确定方法、装置、电子设备和计算机可读存储介质。
背景技术
在对图像或者视频进行处理的过程中,经常需要进行运动补偿。目前常将插值帧进行分块得到插值块,传统确定运动矢量的拟合方法中,并不能找到最优运动矢量,且会导致鲁棒性较低。
发明内容
本申请实施例提供了一种运动矢量的确定方法、装置、电子设备和计算机可读存储介质,可以有效提高所确定的最优运动矢量的准确率。
一种运动矢量的确定方法,所述方法包括:
获取第一运动矢量,其中,所述第一运动矢量与当前待插值块有位置交叠关系;
根据与所述当前待插值块存在时空关联关系的候选插值块,确定所述候选插值块对应的第二运动矢量;
根据所述第一运动矢量和所述第二运动矢量,确定目标运动矢量。
一种运动矢量的确定装置,所述装置包括:
第一运动矢量确定模块,用于获取第一运动矢量,其中,所述第一运动矢量与当前待插值块有位置交叠关系;
第二运动矢量确定模块,用于根据与所述当前待插值块存在时空关联关系的候选插值块,确定所述候选插值块对应的第二运动矢量;
目标运动矢量确定模块,用于根据所述第一运动矢量和所述第二运动矢量,确定目标运动矢量。
一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取第一运动矢量,其中,所述第一运动矢量与当前待插值块有位置交叠关系;
根据与所述当前待插值块存在时空关联关系的候选插值块,确定所述候选插值块对应的第二运动矢量;
根据所述第一运动矢量和所述第二运动矢量,确定目标运动矢量。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取第一运动矢量,其中,所述第一运动矢量与当前待插值块有位置交叠关系;
根据与所述当前待插值块存在时空关联关系的候选插值块,确定所述候选插值块对应的第二运动矢量;
根据所述第一运动矢量和所述第二运动矢量,确定目标运动矢量。
上述运动矢量的确定方法、装置、电子设备和存储介质,获取与当前待插值块有位置交叠关系的第一运动矢量;根据与当前待插值块存在时空关联关系的候选插值块,确定候选插值块对应的第二运动矢量;根据第一运动矢量和第二运动矢量,确定目标运动矢量。充分考虑到了与当前待插值块存在关联关系的运动矢量,根据这些运动矢量可以有效提高所确定的最优运动矢量的准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中运动矢量的确定方法的应用环境图;
图2为一个实施例中运动矢量的确定方法的流程图;
图3为一个实施例中插值帧图像以及插值块的结构示意图;
图4为一个实施例中第一运动矢量穿过当前待插值块的结构示意图;
图5为另一个实施例中插值帧图像以及插值块的结构示意图;
图6为再一个实施例中插值帧图像以及插值块的结构示意图;
图7为另一个实施例中运动矢量的确定方法的流程图;
图8为再一个实施例中运动矢量的确定方法的流程图;
图9为一个实施例中运动矢量的确定装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一运动矢量称为第二运动矢量,且类似地,可将第二运动矢量称为第一运动矢量。第一运动矢量和第二运动矢量两者都是运动矢量,但其不是同一运动矢量。
本发明实施例提供的运动矢量的确定方法可以应用于如图1所示的电子设备中。如图1所示,该电子设备包括通过系统总线连接的处理器和存储器。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种运动矢量的确定方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑、穿戴式设备等任意终端设备。另外,该电子设备也可以为服务器,可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的服务器的限定,具体的服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,如图2所示,提供了一种运动矢量的确定方法,本实施例以该方法应用于图1中的电子设备进行举例说明,包括以下步骤:
S201,获取第一运动矢量,其中,所述第一运动矢量与当前待插值块有位置交叠关系。
在帧间编码中,用运动矢量(Motion Vector,MV)表示当前编码块与其参考图像中的最佳匹配块之间的相对位移。在确定某一插值块的运动矢量后,可以获知其相对于参考帧图像中匹配块的运动方向和距离,进而可以完成该插值块的插值过程。这里的帧图像可以是视频中的某一帧。
在需要对视频进行运动补偿处理时,需要向视频原始帧图像中插入插值帧图像,可以通过运动矢量确定方法确定插值帧图像中插值块对应的运动矢量,该运动矢量能够表征对应插值块与原始帧图像中匹配块之间的位置对应关系。在确定出插值帧图像中各个插值块的运动矢量后,就能知晓原始帧图像中各个匹配块与插值帧图像中各个插值块之间的位置对应关系,根据该位置对应关系将插值帧图像插入到原始帧图像之间,就能形成流畅完整的新视频,此时可以认为完成了视频的运动补偿。
可以通过人工指定或者自适应方法(例如,根据待插值帧图像的尺寸将其划分为设定数量的插值块)将待插值帧图像划分为图像块,且图像块的大小和形状均相同。在进行运动补偿时,可以按照从上到下从左到右的顺序(当然,也可以按照其他的顺序,例如,从下到上从右到左的顺序,在此不再赘述)逐一将各个图像块确定为当前待插值块,进而确定出各个当前待插值块的目标运动矢量。其中,目标运动矢量可以指当前待插值块的最优运动矢量,通过目标运动矢量对当前待插值块进行插值能够最大程度地保证插值后视频的清晰度,同时尽可能在待插值帧图像中保留有用的图像信息。
在确定出当前待插值块的目标运动矢量后,可以按顺序将下一个插值块确定为当前待插值块,进而确定其目标运动矢量,直到确定出待插值帧图像中所有插值块的目标运动矢量。之后可以根据这些目标运动矢量完成待插值帧图像的插值,进而完成对帧图像所在视频的运动补偿。
进一步的,当前待插值块周围会存在已得到运动矢量的插值块。例如:按照计算顺序,在确定当前待插值块的目标运动矢量之前,某个位于当前待插值块左侧的插值块的运动矢量就已经确定出来了。这些已知运动矢量与当前待插值块存在一定的关联关系,能够在一定程度上决定当前待插值块中目标运动矢量的大小和方向。因此,可以根据当前待插值块周围的已知运动矢量来确定当前待插值块的目标运动矢量。
其中,第一运动矢量是与当前待插值块有位置交叠关系的运动矢量。位置交叠关系可以指第一运动矢量和当前待插值块在特定空间条件下存在相互交叠的情况,可以理解为第一运动矢量的运行路径穿过当前待插值块。具体的,在待插值帧图像中,第一运动矢量对应的投影块与当前待插值块存在重合像素点。
S202,根据与所述当前待插值块存在时空关联关系的候选插值块,确定所述候选插值块对应的第二运动矢量。
其中,时空关联关系指的是在时间上或者空间上存在的关联关系。候选插值块指的是在时间上或者空间上与当前待插值块存在关联关系的插值块。进一步的,对于时间上的关联关系,候选插值块可以与当前待插值块分别处于相临近帧图像的同一位置中(例如:分别处于帧图像的居中位置);对于空间上的关联关系,候选插值块可以与当前待插值块处于同一帧图像的不同位置中。
进一步的,电子设备在获取到候选插值块后,确定候选插值块对应的运动矢量,作为第二运动矢量。
S203,根据所述第一运动矢量和所述第二运动矢量,确定目标运动矢量。
在步骤中,根据第一运动矢量和第二运动矢量来确定目标运动矢量。可以是从第一运动矢量和第二运动矢量中确定出最优的运动矢量,将该最优的运动矢量确定为目标运动矢量。也可以是对第一运动矢量和第二运动矢量进行一定的整合运算(例如,进行加权求和运算),将整合运算得到的运动矢量确定为目标运动矢量。
要根据第一运动矢量和第二运动矢量来确定当前待插值块的目标运动矢量,则分别需要建立第一运动矢量和第二运动矢量与目标运动矢量之间的相关性关系,进而可以根据相关性关系从运动矢量(包括第一运动矢量和第二运动矢量)中确定出目标运动矢量。
进一步的,可以通过一定的算法分别计算第一运动矢量和第二运动矢量作为目标运动矢量的评价系数,该评价系数用于评价各个运动矢量与目标运动矢量之间的相关性关系,进而根据该评价系数可以从各个运动矢量中确定出最优的运动矢量,即目标运动矢量。可以将评价系数最高的第一运动矢量或者第二运动矢量,确定为目标运动矢量。
另外,第一运动矢量和第二运动矢量的个数都可以为一个以上,此时可以分别确定第一运动矢量和第二运动矢量中的最优运动矢量,进而在这两个最优运动矢量中确定出目标运动矢量。
本实施例中的运动矢量的确定方法,充分考虑到了与当前待插值块存在关联关系的运动矢量,具体的,确定与当前待插值块存在位置交叠关系的第一运动矢量,根据与当前待插值块存在时空关联关系的候选插值块确定第二运动矢量,根据第一运动矢量和第二运动矢量确定出目标运动矢量,通过这种方式能有效提高所确定的最优运动矢量的准确率,鲁棒性高。
在一个实施例中,第一运动矢量以及第二运动矢量是与当前待插值块存在一定的时空关联关系的运动矢量。电子设备可以将第一运动矢量和第二运动矢量进行整合,得到参考运动矢量。该参考运动矢量可以作为与当前待插值块存在关联关系的运动矢量,进而可以从参考运动矢量中确定出目标运动矢量。
整合过程可以是将第一运动矢量和第二运动矢量进行合并,并将相同的运动矢量作为一个运动矢量,例如:第一运动矢量包括MV1/MV2/MV3,第二运动矢量包括MV3/MV4/MV5,第一运动矢量和第二运动矢量中存在相同的运动矢量MV3,则对这两个运动矢量进行合并,得到的参考运动矢量为MV1/MV2/MV3/MV4/MV5。
上述实施例通过对运动矢量的整合,能从中去除重合的运动矢量,使得所确定的目标运动矢量具有较高的准确性,也能简化目标运动矢量的执行过程。
在一个实施例中,可以通过评价系数来表征已知运动矢量和目标运动矢量之间的相关性关系。进一步的,评价系数(包括第一评价系数以及第二评价系数)用于表征某一运动矢量为目标运动质量的可能性,具体的,可以是判定某一运动矢量为目标运动矢量的概率值(也可以称为概率系数)。
进一步的,所述第一运动矢量和所述第二运动矢量构成参考运动矢量;所述根据所述第一运动矢量和所述第二运动矢量,确定目标运动矢量,包括:确定所述第一运动矢量对应的第一评价系数;确定所述第二运动矢量对应的第二评价系数;根据所述第一评价系数和所述第二评价系数从所述参考运动矢量中确定所述目标运动矢量。
电子设备在确定第一运动矢量后,确定第一运动矢量对应的第一评价系数,在确定第二运动矢量后,确定第二运动矢量对应的第二评价系数。此时,第一运动矢量的第一评价系数和第二运动矢量的第二评价系数都已获知,可以据此从参考运动矢量中确定目标运动矢量。
进一步的,第一评价系数和第二评价系数分别表征了第一运动矢量和第二运动矢量为目标运动矢量的可能性。基于此,可以根据第一评价系数和第二评价系数来整合得到各个参考运动矢量的目标评价系数,进而将目标评价系数满足条件的参考运动矢量确定为目标运动矢量。
进一步的,参考运动矢量中的个别运动矢量可能既是第一运动矢量又是第二运动矢量。此时可以对同一运动矢量对应的第一评价系数和第二评价系数进行运算(例如:累加、加权求和等),得到该运动矢量的目标评价系数。
更进一步的,可以将目标评价系数大于设定阈值的参考运动矢量确定为目标运动矢量,也可以是将目标评价系数最大的参考运动矢量确定为目标运动矢量。
上述实施例分别确定第一运动矢量和第二运动矢量的评价系数,进而根据这些评价系数从参考运动矢量中确定出目标运动矢量,确定过程简单,同时,根据评价系数数值的比较能准确直观地确定出最优的运动矢量。
在一个实施例中,当所述第一运动矢量穿过所述当前待插值块时,判定所述第一运动矢量与所述当前待插值块有位置交叠关系;所述当前待插值块位于待插值帧图像中;所述确定所述第一运动矢量对应的第一评价系数,包括:获取所述第一运动矢量在所述待插值帧图像中的投影块;根据所述投影块与所述当前待插值块的重合像素点数量,得到重合面积;根据所述重合面积得到所述第一评价系数。
其中,第一运动矢量穿过当前待插值块可以指第一运动矢量的运动路径穿过当前待插值块。
如图3所示,当前待插值块311位于待插值帧图像321中,该待插值帧图像的相邻原始帧图像分别为322和323。相邻原始帧图像322和323上分别有对应的图像块312和图像块313,从图像块312到图像块313的运动矢量为第一运动矢量(可以是如图3中四条虚线构成的路径)。第一运动矢量在待插值帧图像321中的投影块为314,当前待插值块311和投影块314之间存在重合区域331(如图3中填充有虚线的区域)。进一步的,确定重合区域331所包含的重合像素点数量,根据该重合像素点数量就可以得到重合面积,例如:重合像素点数量为100个,则重合面积可以为100,重合像素点数量为200个,则重合面积可以为200。
该重合面积可以反映当前待插值块与第一运动矢量之间的位置管理关系,当重合面积大时可以认为当前待插值块与第一运动矢量关联性高,则该第一运动矢量为当前待插值块最优运动矢量的可能性高,当重合面积小时可以认为当前待插值块与第一运动矢量关联性低,则该第一运动矢量为当前待插值块最优运动矢量的可能性低。因此,可以根据重合面积的大小来确定第一运动矢量为目标运动矢量的第一评价系数。
进一步的,在一个实施例中,可以根据重合面积与当前待插值块总面积的占比来确定第一评价系数。可以直接将重合面积与当前待插值块总面积的占比作为第一评价系数,例如:重合面积与当前待插值块总面积的占比为0.2,则第一评价系数可以为0.2,重合面积与当前待插值块总面积的占比为1(可以指第一运动矢量的路径与当前待插值块完全重合,则该第一运动矢量极有可能是最优运动矢量),则第一评价系数可以为1;也可以对重合面积与当前待插值块总面积的占比进行一定的运算(例如:乘以预设的系数)之后,将运算的结果确定为第一评价系数。
另外,图4从另一个角度示出了第一运动矢量(包括第一运动矢量1/2/3/4)与当前待插值块的位置交叠关系,第一运动矢量所代表的投影块的大小与当前待插值块大小一致从图4可以看出,不同第一运动矢量与当前待插值块之间的重合面积可能不同,此时可以根据重合面积的大小来确定第一评价系数。进一步的,从图4可以明显看出,第一运动矢量1与当前待插值块之间的重合面积最大,此时可以将第一运动矢量1的第一评价系数确定为4个第一运动矢量中的最大值。
上述实施例,根据当前待插值块与投影块的重合面积得到第一评价系数,确定过程简单,能有效提高第一评价系数的确定效率,进而提高目标运动矢量的确定效率。
在一个实施例中,所述根据所述重合面积得到所述第一评价系数,包括:确定所述第一运动矢量的可信度;根据所述重合面积和所述可信度,得到所述第一评价系数。
其中,第一运动矢量的可信度可以指第一运动矢量的准确程度,可以通过与第一运动矢量相关的运动矢量、帧图像的相关性特征来确定。
可以分别对重合面积和可信度进行归一化处理,对归一化处理后的重合面积和可信度进行累加运算,将累加运算的结果确定为第一评价系数。
进一步的,在一个实施例中,所述确定所述第一运动矢量的可信度,包括:在所述待插值帧图像的前后相邻原始帧图像中确定与所述第一运动矢量存在投影关系的前后匹配块;确定所述前后匹配块之间的误差评价信息;根据所述前后相邻原始帧图像与所述待插值帧图像之间的距离,确定距离调整系数;获取所述前后相邻原始帧图像对应的运动矢量的准确度;根据所述误差评价信息、所述距离调整系数、所述准确度中的至少一项,得到所述可信度。
其中,相邻原始帧图像与待插值帧图像中间可以不间隔其他帧图像,也可以间隔一定数量的帧图像(帧图像的数量可以为一个、两个甚至多个)。以图3所示,相邻原始帧图像322和323就可以分别理解为待插值帧图像321的前后相邻原始帧图像,而312和313就可以分别理解为与第一运动矢量存在投影关系的前后匹配块。
其中,误差评价信息可以指前后匹配块之间的SAD(绝对误差和)、STAD(绝对转换误差和)等。
对于与待插值帧图像距离不同的相邻原始帧图像,其中距离近的相邻原始帧图像中的匹配块往往包含更多与当前待插值块相关的信息,因此,它们对应的运动矢量就更有可能是目标运动矢量。基于此,有必要根据相邻原始帧图像的距离来确定距离调整系数,以区分不同距离的相邻原始帧图像对目标运动矢量的影响程度。进一步的,当相邻原始帧图像与待插值帧图像距离近时,距离调整系数可以为一个较大的值,当相邻原始帧图像与待插值帧图像距离远时,距离调整系数可以为一个较小的值,通过这样的设置方式,可以尽可能从近距离原始帧图像对应的运动矢量中确定出目标运动矢量,以提高目标运动矢量的准确。
进一步的,距离调整系数可以通过纹理梯度、位置惩罚等来表征。其中,纹理梯度也可以称为结构级差(texture gradient),是深度知觉的单眼视觉线索,随着距离的增加,任何表面在视网膜上的投射都是近处稀疏、远处密集,因此,当相邻原始帧图像与待插值帧图像距离近时,纹理梯度为一个较大的值,当相邻原始帧图像与待插值帧图像距离远时,纹理梯度为一个较小的值,具体的数值大小可以根据实际情况确定,本发明实施例对此不做限制。位置惩罚可以指根据相邻原始帧图像与待插值帧图像之间的距离确定的系数,其确定方法与纹理梯度类似,在此不再赘述。
如前面实施例所述,在运动补偿过程中,前后相邻原始帧图像被划分为图像块,各个图像块会对应有运动矢量。在计算出这些图像块对应的运动矢量后,可以根据这些运动矢量实际插值的效果来确定其对应的准确度,若插值效果好,则准确度高,若插值效果差,则准确度低。本实施例中,获取相邻原始帧图像中各个图片块的运动矢量,进而确定这些运动矢量的准确度,以用于确定第一运动矢量的可信度。
进一步的,本实施例根据所确定的误差评价信息、距离调整系数和准确度,来得到第一运动矢量的可信度。具体的,可以将误差评价信息、距离调整系数和准确度中的一项作为可信度,例如:将计算得到的距离调整系数确定为第一运动矢量的可信度;也可以对其中的两项或者全部进行运算,例如:归一化后进行求和(或者加权求和)运算,将运算的结果确定为第一运动矢量的可信度。
具体的,第一运动矢量可信度的衡量方式可以为,将以下至少一项来作为第一运动矢量的可信度:第一运动矢量在两个原始帧图像对应匹配块之间的SAD、STAD、纹理梯度、位置惩罚、前后相邻原始帧图像对应运动矢量的准确度。
在一个实施例中,确定所述第一运动矢量对应的第一评价系数,包括:确定第一运动矢量的可信度;根据所述可信度,得到所述第一评价系数。上述实施例根据第一运动矢量的可信度来确定第一评价系数,可以不考虑重合面积,确定过程简单,能有效提高第一评价系数的确定效率,提高目标运动矢量的确定效率。
在一个实施例中,所述候选插值块中包含有空间邻域插值块,所述空间邻域插值块对应的运动矢量为所述第二运动矢量,所述空间邻域插值块和所述当前待插值块位于待插值帧图像中;所述确定所述第二运动矢量对应的第二评价系数,包括:获取所述空间邻域插值块和所述当前待插值块之间的空间距离;根据所述空间距离,得到所述第二运动矢量(此时可以称为空间邻域运动矢量,简称为空间邻域MV)对应的第二评价系数。
其中,空间邻域插值块和当前待插值块均位于待插值帧图像中。两者的空间距离可以是中心像素点之间距离,即可以将两个中心像素点之间间隔的像素点数量作为空间距离。
本实施例根据该空间距离的远近确定空间邻域插值块对应运动矢量的第二评价系数。进一步的,当空间距离较大时,该空间邻域插值块与当前待插值块相关的信息可能会更少,此时第二评价系数可以设置为一个较小的值,以减小对应运动矢量成为目标运动矢量的可能性;而当空间距离较小时,该空间邻域插值块与当前待插值块相关的信息可能会更多,此时第二评价系数可以设置为一个较大的值,以增大对应运动矢量成为目标运动矢量的可能性。
更进一步的,可以确定待插值帧图像中各个像素点与当前待插值块中心像素点之间的空间距离,找出其中的最大空间距离,在根据空间距离确定第二评价系数时,可以将所确定的空间距离与最大空间距离进行比值运算,将比值运算的结果确定为第二评价系数。
如图5所示,当前待插值块511和空间邻域插值块(512和513)位于待插值帧图像521中,当前待插值块511的中心像素点和空间邻域插值块512的中心像素点之间的空间距离为D1,当前待插值块的中心像素点511和空间邻域插值块513的中心像素点之间的空间距离为D2。假设待插值帧图像中像素点与当前待插值块中心像素点之间的最大空间距离为100像素点,D1为20像素点,D2为40像素点,则可以确定空间邻域插值块512对应运动矢量的第二评价系数为0.2,空间邻域插值块513对应运动矢量的第二评价系数为0.4。从第二评价系数来,空间邻域插值块513为目标运动矢量的可能性高于空间邻域插值块512。
上述实施例提供的运动矢量的确定方法,在空间邻域中确定空间邻域插值块对应运动矢量的第二评价系数。在确定目标运动矢量时,既考虑到了与当前待插值块存在位置交叠关系的运动矢量,又考虑到了空间邻域的运动矢量,能在尽可能多的运动矢量中确定出目标运动矢量,所确定的目标运动矢量具有较高的准确性。
在一个实施例中,所述候选插值块中还包含有时间邻域插值块,所述时间邻域插值块对应的运动矢量为所述第二运动矢量,所述时间邻域插值块和所述当前待插值块位于相邻的插值帧图像中;所述确定所述第二运动矢量对应的第二评价系数,包括:获取所述时间邻域插值块和所述当前待插值块所在的插值帧图像的间隔时间;根据所述间隔时间,得到所述第二运动矢量(此时可以称为时间邻域运动矢量,简称为时间邻域MV)对应的第二评价系数。
其中,当前待插值块位于待插值帧图像中,时间邻域插值块可以位于待插值帧图像的相邻帧图像中(两者可以直接相邻,也可以间隔一定数量的帧图像)。在某些情况下,时间邻域插值块和当前待插值块在帧图像中的位置可以相同(例如:都处于帧图像的居中位置),也可以不同。
插值帧图像的间隔时间可以根据视频的帧率(Frame rate)来确定。其中,帧率是以帧为单位的位图图像连续出现在显示器上的频率(速率),例如:每秒16帧。获取帧率以及待插值帧图像与其相邻帧图像之间间隔的帧数,按照FRC(帧率转化,Frame RateConversion)技术就可以确定出间隔时间。
进一步的,间隔时间和第二评价系数之间可以预设有映射关系表。在确定间隔时间后,通过查询该映射关系表就可以得到其对应的第二评价系数。
以图6所示,当前待插值块611位于待插值帧图像621中,时间邻域插值块612位于相邻插值帧图像622中,时间邻域插值块613位于相邻插值帧图像623中。当前待插值块611的中心像素点和时间邻域插值块612的中心像素点之间的时间距离为T1,当前待插值块611的中心像素点和时间邻域插值块613的中心像素点之间的时间距离为T2。通过T1和T2来查询映射关系,可以分别确定时间邻域插值块612和时间邻域插值块613对应运动矢量的第二评价系数。
上述实施例提供的运动矢量的确定方法,在时间邻域中确定时间邻域插值块对应运动矢量的第二评价系数。在确定目标运动矢量时,既考虑到了与当前待插值块存在位置交叠关系的运动矢量,又考虑到了时间邻域的运动矢量,能在尽可能多的运动矢量中确定出目标运动矢量,所确定的目标运动矢量具有较高的准确性。
在一个实施例中,确定第二运动矢量的第二评价系数的过程可以是:确定空间邻域运动矢量对应的评价系数,确定时间邻域运动矢量对应的评价系数,将这两部分评价系数进行整合,得到第二评价系数。
其中,空间邻域运动矢量指的是空间邻域插值块对应的运动矢量,时间邻域运动矢量指的是时间邻域插值块对应的运动矢量。
上述实施例提供的运动矢量的确定方法,将空间邻域和时间邻域结合起来确定第二评价系数,尽可能地考虑到了各种可能的运动矢量,进而可以从中确定出更为准确的目标运动矢量,保证运动矢量的准确性。
在一个实施例中,所述根据所述第一评价系数和所述第二评价系数从所述参考运动矢量中确定所述目标运动矢量,包括:对所述第一评价系数和所述第二评价系数进行归一化处理;根据归一化处理后的所述第一评价系数和所述第二评价系数,从所述参考运动矢量中确定所述目标运动矢量。
其中,归一化处理指的是将第一评价系数和第二评价系数的度量单位统一化的处理过程。
可以根据归一化后的第一评价系数和第二评价系数的数值大小来确定目标运动矢量。例如:从归一化后的第一评价系数和第二评价系数中确定最大评价系数,将该最大评价系数对应的参考运动矢量确定为目标运动矢量。
本实施例中,终端分别对第一评价系数和第二评价系数进行归一化处理,得到归一化处理后的第一评价系数和归一化处理后的第二评价系数,归一化处理后的评价系数能够进行有效的大小比较,便于根据评价系数的大小从参考运动矢量中确定目标运动矢量,提高目标运动矢量的确定效率。
在一个实施例中,所述第二评价系数包括空间邻域评价系数和时间邻域评价系数;所述空间邻域评价系数对应的运动矢量为空间邻域运动矢量,所述时间邻域评价系数对应的运动矢量为时间邻域运动矢量;所述根据归一化处理后的所述第一评价系数和所述第二评价系数,从所述参考运动矢量中确定所述目标运动矢量,包括:根据所述第一运动矢量、所述空间邻域运动矢量和所述时间邻域运动矢量的数量大小,分别确定归一化处理后的所述第一评价系数、所述空间邻域评价系数、所述时间邻域评价系数对应的加权值;根据所述加权值,对归一化处理后的所述第一评价系数、所述空间邻域评价系数、所述时间邻域评价系数执行加权求和运算;根据加权求和运算的结果从所述参考运动矢量中确定所述目标运动矢量。
其中,加权值的确定可以是:第一运动矢量、空间邻域运动矢量和时间邻域运动矢量的数量越大,对应的加权值越大,反之越小。某一种类的运动矢量数量越大,当前待插值块的运动矢量受对应该类运动矢量的影响就会越大,这个影响就通过加权值来表征。
根据加权值来分别对第一运动矢量、空间邻域运动矢量和时间邻域运动矢量进行加权求和运算,充分考虑到了运动矢量的数量的影响,使得最终确定的目标运动矢量具有较高的准确性。
在一个实施例中,所述根据所述第一评价系数和所述第二评价系数从所述参考运动矢量中确定所述目标运动矢量,包括:对所述第一评价系数和所述第二评价系数进行整合,以对所述第一运动矢量和所述第二运动矢量中相同运动矢量的评价系数进行累加,得到目标评价系数;将目标评价系数最大的参考运动矢量确定为所述目标运动矢量。
具体举例如下:第一运动矢量包括MV1/MV2/MV3,对应的第一评价系数分别为1/2,1/3,1/4,第二运动矢量包括MV3/MV4/MV5,对应的第二评价系数分别为1/2,1/3,1/4。第一运动矢量和第二运动矢量中存在相同的运动矢量MV3,则对这两个运动矢量进行合并,得到的参考运动矢量为MV1/MV2/MV3/MV4/MV5。对于MV3的运动矢量,可以是将其对应的第一评价系数1/4和第二评价系数1/2进行累加,得到3/4。综上,参考运动矢量对应的目标评价系数为1/2,1/3,3/4,1/3,1/4。
进一步的,在一个实施例中,所述第二评价系数包括空间邻域评价系数和时间邻域评价系数,所述空间邻域评价系数对应的运动矢量为空间邻域运动矢量,所述时间邻域评价系数对应的运动矢量为时间邻域运动矢量,所述根据所述第一评价系数和所述第二评价系数从所述参考运动矢量中确定所述目标运动矢量,包括:对所述第一评价系数、所述空间邻域评价系数和所述时间邻域评价系数进行整合,以对所述第一评价系数、所述空间邻域评价系数和所述时间邻域评价系数中相同运动矢量的评价系数进行累加,得到目标评价系数;将目标评价系数最大的参考运动矢量确定为所述目标运动矢量。
具体举例如下:第一运动矢量包括MV1/MV2/MV3,对应的第一评价系数分别为1/2,1/3,1/4,空间邻域运动矢量包括MV3/MV4/MV5,对应的空间邻域评价系数分别为1/2,1/3,1/4,时间邻域运动矢量包括MV5/MV6/MV7,对应的时间邻域评价系数分别为1/2,1/3,1/4。第一运动矢量和空间邻域运动矢量中存在相同的运动矢量MV3,空间邻域运动矢量和时间邻域运动矢量中存在相同的运动矢量MV5,对其中相同的运动矢量进行合并得到的参考运动矢量为MV1/MV2/MV3/MV4/MV5/MV6/MV7。对于MV3的运动矢量,可以是将其对应的第一评价系数1/4和第二评价系数1/2进行累加,得到评价系数为3/4;对于MV5的运动矢量,可以是将其对应的第一评价系数1/4和第二评价系数1/2进行累加,得到评价系数为3/4。综上,参考运动矢量对应的目标评价系数为1/2,1/3,3/4,1/3,3/4,1/3,1/4。
上述实施例,按概率累计所有的运动矢量,相同运动矢量进行评价系数的累加,对于在第一运动矢量、空间邻域运动矢量和时间邻域运动矢量中重合的运动矢量进行叠加运算,做得到的目标评价系数充分整合了各种可能的影响因素,使所得的目标评价系数具有较高的准确性。进一步的,最终选取目标评价系数最大的运动矢量,作为当前待插值块的目标运动矢量,所确定的目标运动矢量具有较高的准确性。
在一个实施例中,如图7所示,提供一种运动矢量的确定方法,以该方法应用于图1中的电子设备为例进行说明,包括以下步骤:
S701、当存在与当前待插值块有位置交叠关系的第一运动矢量时,获取第一运动矢量在待插值帧图像中的投影块。
S702、根据投影块与当前待插值块的重合像素点数量,得到重合面积。
S703、在待插值帧图像的前后相邻原始帧图像中确定与第一运动矢量存在投影关系的前后匹配块。
S704、确定前后匹配块之间的误差评价信息。
S705、根据前后相邻原始帧图像与待插值帧图像之间的距离,确定距离调整系数。
S706、获取前后相邻原始帧图像对应的运动矢量的准确度。
S707、根据误差评价信息、距离调整系数、准确度中的至少一项,得到第一运动矢量的可信度。
S708、根据重合面积和可信度,得到第一运动矢量的第一评价系数。
S709、获取空间邻域插值块和当前待插值块之间的空间距离。
S710、根据空间距离,得到空间邻域插值块对应运动矢量的评价系数,作为空间邻域评价系数。
S711、获取时间邻域插值块和当前待插值块所在的插值帧图像的间隔时间。
S712、根据间隔时间,得到时间邻域插值块对应运动矢量的评价系数,作为时间邻域评价系数。
S713、对第一评价系数、空间邻域评价系数和时间邻域评价系数进行整合,以对第一运动矢量、空间邻域评价系数和时间邻域评价系数中相同运动矢量的评价系数进行累加。
S714、对整合处理后的第一评价系数、空间邻域评价系数和时间邻域评价系数进行归一化处理。
S715、根据第一运动矢量、空间邻域运动矢量和时间邻域运动矢量的数量大小,分别确定归一化处理后的第一评价系数、空间邻域评价系数、时间邻域评价系数对应的加权值。
S716、根据加权值,对归一化处理后的第一评价系数、空间邻域评价系数、时间邻域评价系数执行加权求和运算。
S717、根据加权求和运算的结果,从第一运动矢量、空间邻域运动矢量和时间邻域运动矢量中确定目标运动矢量。
本实施例中的运动矢量的确定方法,充分考虑到了与当前待插值块存在关联关系的运动矢量,根据这些运动矢量可以有效提高所确定的最优运动矢量的准确率。
本申请还另外提供一种应用场景,该应用场景应用上述的运动矢量的确定方法,该方法可以应用于图1所示的电子设备中。具体地,如图8所示,该运动矢量的确定方法在该应用场景的应用如下:
该电子设备中配置有MC模块和ME模块。其中,MC模块将待插值帧图像进行分块,ME模块执行运动矢量的确定方法中的各个步骤并通过所确定的运动矢量进行各个插值块的插值。进一步的,ME模块执行以下步骤:
1、穿过MV的统计和对应的穿过概率系数的记录。
当存在已有的多个MV穿过当前待插值块时,记录该MV,作为穿过MV。根据穿过MV穿过当前待插值块的面积、穿过MV的可信度等特征设置该穿过MV的穿过概率系数。
其中,穿过MV对应的投影块与当前待插值块重合的面积记为重合面积S。
确定穿过MV在两个原始帧图像对应匹配块之间的SAD、STAD、纹理梯度、位置惩罚或者原始帧图像对应MV的准确度,作为穿过MV的可信度,记为k。
对各个穿过MV的重合面积S和可信度k分别进行归一化后进行叠加处理,得到各个穿过MV的穿过概率系数。
2、时空邻域MV的统计,空间概率系数和时间概率系数的记录。
若在时空邻域中,存在已得到MV的插值块时,记录该插值块的MV,作为时空邻域MV,根据当前待插值块与该时空邻域已插值块的空间和时间距离等特征,设置时空邻域MV的概率系数。
具体的,对于空间邻域,确定对应空间邻域MV对应插值块与当前待插值块之间的空间距离,根据该空间距离确定空间概率系数。对于时间邻域,确定和当前待插值块时间线相邻帧中同位置已获得MV的时间临近插值块,确定该时间临近插值块和当前待插值块的时间距离,根据该时间距离确定时间概率系数。
3、概率系数累积。
按概率累计所有的MV,相同MV进行概率系数的累加,得到目标概率系数,最终选取目标概率系数最大的MV,作为该当前待插值块的目标MV。
具体的,确定目标概率系数的过程可以为:
首先,进行统一度量单位。穿过概率系数以面积为基础,空间概率系数以位置距离的像素数为基础,时间概率系数以距离帧数为基础,将三种不同维度的概率系数采用一定的方式进行归一化,使之度量单位相同。
其次,设置度量加权值。根据穿过MV、时间邻域MV和空间邻域MV的数量进行设定,数量越大的MV对应的度量加权值越大,反之越小;
最后,每个MV的目标概率系数为,归一化后的概率系数乘以度量加权值,以穿过概率系数为例,将归一化后的穿过概率系数乘以其度量加权值,得到该穿过MV对应的目标穿过概率系数。
4、完成当前待插值块的MV拟合,根据拟合得到的目标MV完成当前待插值块的差值。
本技术方案,采用基于最大概率的插值块MV选择策略,通过选取时空邻域MV和穿过MV中的出现概率最大的MV,作为当前待插值块的最优MV,能有效提高插值块MV的选取准确度,鲁棒性高,提高了MEMC算法的性能。
应该理解的是,虽然前述的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,前述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图9所示,提供一种运动矢量的确定装置900,包括:
第一运动矢量确定模块901,用于获取第一运动矢量,其中,所述第一运动矢量与当前待插值块有位置交叠关系。
第二运动矢量确定模块902,用于根据与所述当前待插值块存在时空关联关系的候选插值块,确定所述候选插值块对应的第二运动矢量。
目标运动矢量确定模块903,用于根据所述第一运动矢量和所述第二运动矢量,确定目标运动矢量。
本申请实施例的运动矢量的确定装置,充分考虑到了与当前待插值块存在关联关系的运动矢量,根据这些运动矢量可以有效提高所确定的最优运动矢量的准确率。
在一个实施例中,所述第一运动矢量和所述第二运动矢量构成参考运动矢量;目标运动矢量确定模块,包括:第一系数确定子模块,用于确定所述第一运动矢量对应的第一评价系数;第二系数确定子模块,用于确定所述第二运动矢量对应的第二评价系数;目标运动矢量确定子模块,用于根据所述第一评价系数和所述第二评价系数从所述参考运动矢量中确定所述目标运动矢量。
在一个实施例中,当所述第一运动矢量穿过所述当前待插值块时,判定所述第一运动矢量与所述当前待插值块有位置交叠关系;所述当前待插值块位于待插值帧图像中;第一系数确定子模块,包括:投影块获取子模块,用于获取所述第一运动矢量在所述待插值帧图像中的投影块;重合面积确定子模块,用于根据所述投影块与所述当前待插值块的重合像素点数量,得到重合面积;第一系数确定子模块,用于根据所述重合面积得到所述第一评价系数。
在一个实施例中,第一系数确定子模块,包括:可信度确定单元,用于确定所述第一运动矢量的可信度;第一系数确定单元,用于根据所述重合面积和所述可信度,得到所述第一评价系数。
在一个实施例中,可信度确定单元,包括:匹配块确定子单元,用于在所述待插值帧图像的前后相邻原始帧图像中确定与所述第一运动矢量存在投影关系的前后匹配块;误差信息确定子单元,用于确定所述前后匹配块之间的误差评价信息;调整系数确定子单元,用于根据所述前后相邻原始帧图像与所述待插值帧图像之间的距离,确定距离调整系数;准确度获取子单元,用于获取所述前后相邻原始帧图像对应的运动矢量的准确度;可信度确定子单元,用于根据所述误差评价信息、所述距离调整系数、所述准确度中的至少一项,得到所述可信度。
在一个实施例中,所述候选插值块中包含有空间邻域插值块,所述空间邻域插值块对应的运动矢量为所述第二运动矢量,所述空间邻域插值块和所述当前待插值块位于待插值帧图像中;第二系数确定子模块,包括:空间距离确定单元,用于获取所述空间邻域插值块和所述当前待插值块之间的空间距离;系数确定单元,用于根据所述空间距离,得到所述第二运动矢量对应的第二评价系数。
在一个实施例中,所述候选插值块中还包含有时间邻域插值块,所述时间邻域插值块对应的运动矢量为所述第二运动矢量,所述时间邻域插值块和所述当前待插值块位于相邻的插值帧图像中;第二系数确定子模块,包括:间隔时间确定单元,用于获取所述时间邻域插值块和所述当前待插值块所在的插值帧图像的间隔时间;第二系数确定单元,用于根据所述间隔时间,得到所述第二运动矢量对应的第二评价系数。
在一个实施例中,运动矢量确定模块,包括:归一化子模块,用于对所述第一评价系数和所述第二评价系数进行归一化处理;运动矢量确定子模块,用于根据归一化处理后的所述第一评价系数和所述第二评价系数,从所述参考运动矢量中确定所述目标运动矢量。
在一个实施例中,所述第二评价系数包括空间邻域评价系数和时间邻域评价系数;所述空间邻域评价系数对应的运动矢量为空间邻域运动矢量,所述时间邻域评价系数对应的运动矢量为时间邻域运动矢量;运动矢量确定子模块,包括:加权值确定单元,用于根据所述第一运动矢量、所述空间邻域运动矢量和所述时间邻域运动矢量的数量大小,分别确定归一化处理后的所述第一评价系数、所述空间邻域评价系数、所述时间邻域评价系数对应的加权值;加权求和单元,用于根据所述加权值,对归一化处理后的所述第一评价系数、所述空间邻域评价系数、所述时间邻域评价系数执行加权求和运算;运动矢量确定单元,用于根据加权求和运算的结果从所述参考运动矢量中确定所述目标运动矢量。
在一个实施例中,运动矢量确定模块,包括:评价系数确定子模块,用于对所述第一评价系数和所述第二评价系数进行整合,以对所述第一运动矢量和所述第二运动矢量中相同运动矢量的评价系数进行累加,得到目标评价系数;目标运动矢量确定单元,用于将目标评价系数最大的参考运动矢量确定为所述目标运动矢量。
上述运动矢量的确定装置中各个模块的划分仅仅用于举例说明,在其他实施例中,可将运动矢量的确定装置按照需要划分为不同的模块,以完成上述运动矢量的确定装置的全部或部分功能。
关于运动矢量的确定装置的具体限定可以参见上文中对于运动矢量的确定方法的限定,在此不再赘述。上述运动矢量的确定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中,也可以以软件形式存储于电子设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
本申请实施例中提供的运动矢量的确定装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
在一个实施例中,还提供了一种电子设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行运动矢量的确定方法的步骤。
在一个实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行运动矢量的确定方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种运动矢量的确定方法,其特征在于,包括:
获取第一运动矢量,其中,所述第一运动矢量与当前待插值块有位置交叠关系;
根据与所述当前待插值块存在时空关联关系的候选插值块,确定所述候选插值块对应的第二运动矢量;所述第一运动矢量和所述第二运动矢量构成参考运动矢量;
确定所述第一运动矢量对应的第一评价系数;
确定所述第二运动矢量对应的第二评价系数;
根据所述第一评价系数和所述第二评价系数从所述参考运动矢量中确定目标运动矢量。
2.根据权利要求1所述的方法,其特征在于,当所述第一运动矢量穿过所述当前待插值块时,判定所述第一运动矢量与所述当前待插值块有位置交叠关系;所述当前待插值块位于待插值帧图像中;
所述确定所述第一运动矢量对应的第一评价系数,包括:
获取所述第一运动矢量在所述待插值帧图像中的投影块;
根据所述投影块与所述当前待插值块的重合像素点数量,得到重合面积;
根据所述重合面积得到所述第一评价系数。
3.根据权利要求2所述的方法,其特征在于,所述根据所述重合面积得到所述第一评价系数,包括:
确定所述第一运动矢量的可信度;
根据所述重合面积和所述可信度,得到所述第一评价系数。
4.根据权利要求3所述的方法,其特征在于,所述确定所述第一运动矢量的可信度,包括:
在所述待插值帧图像的前后相邻原始帧图像中确定与所述第一运动矢量存在投影关系的前后匹配块;
确定所述前后匹配块之间的误差评价信息;
根据所述前后相邻原始帧图像与所述待插值帧图像之间的距离,确定距离调整系数;
获取所述前后相邻原始帧图像对应的运动矢量的准确度;
根据所述误差评价信息、所述距离调整系数、所述准确度中的至少一项,得到所述可信度。
5.根据权利要求1所述的方法,其特征在于,所述候选插值块中包含有空间邻域插值块,所述空间邻域插值块对应的运动矢量为所述第二运动矢量,所述空间邻域插值块和所述当前待插值块位于待插值帧图像中;
所述确定所述第二运动矢量对应的第二评价系数,包括:
获取所述空间邻域插值块和所述当前待插值块之间的空间距离;
根据所述空间距离,得到所述第二运动矢量对应的第二评价系数。
6.根据权利要求1所述的方法,其特征在于,所述候选插值块中还包含有时间邻域插值块,所述时间邻域插值块对应的运动矢量为所述第二运动矢量,所述时间邻域插值块和所述当前待插值块位于相邻的插值帧图像中;
所述确定所述第二运动矢量对应的第二评价系数,包括:
获取所述时间邻域插值块和所述当前待插值块所在的插值帧图像的间隔时间;
根据所述间隔时间,得到所述第二运动矢量对应的第二评价系数。
7.根据权利要求1所述的方法,其特征在于,所述根据所述第一评价系数和所述第二评价系数从所述参考运动矢量中确定所述目标运动矢量,包括:
对所述第一评价系数和所述第二评价系数进行归一化处理;
根据归一化处理后的所述第一评价系数和所述第二评价系数,从所述参考运动矢量中确定所述目标运动矢量。
8.根据权利要求7所述的方法,其特征在于,所述第二评价系数包括空间邻域评价系数和时间邻域评价系数;所述空间邻域评价系数对应的运动矢量为空间邻域运动矢量,所述时间邻域评价系数对应的运动矢量为时间邻域运动矢量;
所述根据归一化处理后的所述第一评价系数和所述第二评价系数,从所述参考运动矢量中确定所述目标运动矢量,包括:
根据所述第一运动矢量、所述空间邻域运动矢量和所述时间邻域运动矢量的数量大小,分别确定归一化处理后的所述第一评价系数、所述空间邻域评价系数、所述时间邻域评价系数对应的加权值;
根据所述加权值,对归一化处理后的所述第一评价系数、所述空间邻域评价系数、所述时间邻域评价系数执行加权求和运算;
根据加权求和运算的结果从所述参考运动矢量中确定所述目标运动矢量。
9.根据权利要求1至8任一项所述的方法,其特征在于,所述根据所述第一评价系数和所述第二评价系数从所述参考运动矢量中确定所述目标运动矢量,包括:
对所述第一评价系数和所述第二评价系数进行整合,以对所述第一运动矢量和所述第二运动矢量中相同运动矢量的评价系数进行累加,得到目标评价系数;
将目标评价系数最大的参考运动矢量确定为所述目标运动矢量。
10.一种运动矢量的确定装置,其特征在于,包括:
第一运动矢量确定模块,用于获取第一运动矢量,其中,所述第一运动矢量与当前待插值块有位置交叠关系;
第二运动矢量确定模块,用于根据与所述当前待插值块存在时空关联关系的候选插值块,确定所述候选插值块对应的第二运动矢量;所述第一运动矢量和所述第二运动矢量构成参考运动矢量;
第一系数确定子模块,确定所述第一运动矢量对应的第一评价系数;
第二系数确定子模块,确定所述第二运动矢量对应的第二评价系数;
目标运动矢量确定子模块,根据所述第一评价系数和所述第二评价系数从所述参考运动矢量中确定目标运动矢量。
11.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至9中任一项所述的方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010602822.2A CN111698517B (zh) | 2020-06-29 | 2020-06-29 | 运动矢量的确定方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010602822.2A CN111698517B (zh) | 2020-06-29 | 2020-06-29 | 运动矢量的确定方法、装置、电子设备和可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111698517A CN111698517A (zh) | 2020-09-22 |
CN111698517B true CN111698517B (zh) | 2022-07-12 |
Family
ID=72484268
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010602822.2A Active CN111698517B (zh) | 2020-06-29 | 2020-06-29 | 运动矢量的确定方法、装置、电子设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111698517B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1568009A (zh) * | 2003-06-27 | 2005-01-19 | 中国科学院计算技术研究所 | 用于视频编码的运动矢量预测方法 |
CN105939475A (zh) * | 2016-06-06 | 2016-09-14 | 中国矿业大学 | 一种高质量边信息生成方法 |
CN110859057A (zh) * | 2018-06-29 | 2020-03-03 | 深圳市大疆创新科技有限公司 | 运动矢量确定方法、设备及机器可读存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4617883B2 (ja) * | 2004-01-06 | 2011-01-26 | ソニー株式会社 | 画像処理装置および方法、プログラム並びに記録媒体 |
JP5887764B2 (ja) * | 2011-08-29 | 2016-03-16 | 株式会社Jvcケンウッド | 動き補償フレーム生成装置及び方法 |
EP3179723B1 (en) * | 2011-09-09 | 2023-01-25 | KT Corporation | Method for deriving a temporal predictive motion vector, and apparatus using the method |
WO2015107887A1 (ja) * | 2014-01-15 | 2015-07-23 | 日本電気株式会社 | 動きベクトル探索装置、動きベクトル探索方法、及び動きベクトル探索プログラムを記憶する記録媒体 |
-
2020
- 2020-06-29 CN CN202010602822.2A patent/CN111698517B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1568009A (zh) * | 2003-06-27 | 2005-01-19 | 中国科学院计算技术研究所 | 用于视频编码的运动矢量预测方法 |
CN105939475A (zh) * | 2016-06-06 | 2016-09-14 | 中国矿业大学 | 一种高质量边信息生成方法 |
CN110859057A (zh) * | 2018-06-29 | 2020-03-03 | 深圳市大疆创新科技有限公司 | 运动矢量确定方法、设备及机器可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111698517A (zh) | 2020-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11019356B2 (en) | Motion estimation method and device | |
KR100492127B1 (ko) | 적응형 움직임 추정장치 및 추정 방법 | |
US9641861B2 (en) | Method and integrated circuit for video processing | |
CN111491204B (zh) | 视频修复方法、装置、电子设备和计算机可读存储介质 | |
US20120314776A1 (en) | Multiview video encoding method, multiview video decoding method, multiview video encoding apparatus, multiview video decoding apparatus, and program | |
JP2007502053A (ja) | 動き推定方法及び装置 | |
US9036695B2 (en) | Motion-compensated temporal filtering based on variable filter parameters | |
US10410358B2 (en) | Image processing with occlusion and error handling in motion fields | |
KR100692600B1 (ko) | 움직임 추정 장치 및 방법 | |
US8630338B2 (en) | Method and device for image interpolation systems based on motion estimation and compensation | |
US20170270675A1 (en) | Device and method for motion estimation and compensation | |
CN111754429A (zh) | 运动矢量后处理方法和装置、电子设备及存储介质 | |
CN111526369A (zh) | 视频的运动估计方法、装置、电子设备和存储介质 | |
CN111586321A (zh) | 视频生成方法、装置、电子设备和计算机可读存储介质 | |
CN111698517B (zh) | 运动矢量的确定方法、装置、电子设备和可读存储介质 | |
KR100942887B1 (ko) | 추정된 움직임 벡터 결정 방법 및 컴퓨터 판독가능한 기록매체 | |
US9167132B2 (en) | System and method of estimating motion of image using block sampling | |
US20080144716A1 (en) | Method For Motion Vector Determination | |
CN111711823B (zh) | 运动矢量处理方法和装置、电子设备及存储介质 | |
CN113870302A (zh) | 运动估计方法、芯片、电子设备以及存储介质 | |
US8305500B2 (en) | Method of block-based motion estimation | |
US8208552B2 (en) | Method, video encoder, and integrated circuit for detecting non-rigid body motion | |
EP1955548B1 (en) | Motion estimation using motion blur information | |
US20110149150A1 (en) | System, method, and apparatus for providing improved high definition video from upsampled standard definition video | |
US9369707B2 (en) | Global motion vector estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |