CN113301348B - 运动矢量选择方法、装置、电子设备及存储介质 - Google Patents
运动矢量选择方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113301348B CN113301348B CN202110848223.3A CN202110848223A CN113301348B CN 113301348 B CN113301348 B CN 113301348B CN 202110848223 A CN202110848223 A CN 202110848223A CN 113301348 B CN113301348 B CN 113301348B
- Authority
- CN
- China
- Prior art keywords
- motion vector
- motion vectors
- reference window
- central
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请提出一种运动矢量选择方法、装置、电子设备及存储介质,该运动矢量选择方法包括:获取所有已编码块skip模式下的所有运动矢量信息,形成待编码块skip模式的候选运动矢量集;从候选运动矢量集中选取多个中心运动矢量;以每个中心运动矢量为中心创建预设尺寸的参考窗,将位于参考窗内的候选运动矢量均确定为初选运动矢量;计算每个初选运动矢量的率失真优化代价,并将率失真优化代价最小的预设数目个初选运动矢量确定为目标运动矢量。应用本申请,极大地降低了Skip模式进行MV选择所消耗的时间及帧间预测的时间。
Description
技术领域
本申请属于音视频编码技术领域,具体涉及一种运动矢量选择方法、装置、电子设备及存储介质。
背景技术
AVS(Audio Video coding Standard,音视频编码标准)是《信息技术先进音视频编码》系列标准的简称,是数字音视频产业的共性基础标准,AVS3视频编码标准属于第三代AVS标准,其主要在编解码复杂度控制上做出显著优化和大幅度性能提升。
在现有的视频标准中,(如MPEG系列和H.26x系列),都存在一种跳过宏块模式(Skipped Macroblock,skip模式),所谓跳过宏块是指对此类型宏块编码时不需要编码附加信息(如运动矢量或残差),skip模式只在P帧图像和B帧图像中存在,即只在帧间编码视频图像中存在,帧内编码图像如I帧中并不存在。skip模式的运动矢量是通过先前处理的相邻宏块(时间域或空间域)的运动矢量所导出的,并且没有残差数据(量化后残差为0)。在基于AVS3的编解码过程中,Skip模式也是十分重要的帧间预测模式,在每一次对当前编码块的RDO(Rate–distortion optimization,率失真优化)代价计算中,都会进行一次Skip模式预测。
采用Skip模式进行帧间预测时,通常需要获取当前宏块所有种类的MV(通常共有52个),并对每一个MV都做一次运动补偿以及RDO代价计算,最终根据RDO代价进行选择(选择代价小的),输出指定数量的MV进行最终RDO代价计算。该帧间预测流程串行处理,如此,无论是多达52个MV的获取,还是整个串行处理的流程,都会消耗很多的时间,难以达到编解码的实时性需求。
发明内容
本申请提出一种运动矢量选择方法、装置、电子设备及存储介质,极大地降低了Skip模式进行MV选择所消耗的时间及帧间预测的时间。
本申请第一方面实施例提出了一种运动矢量选择方法,所述方法包括:
获取所有已编码块skip模式下的所有运动矢量信息,形成待编码块skip模式的候选运动矢量集;
从所述候选运动矢量集中选取多个中心运动矢量;
以每个所述中心运动矢量为中心创建预设尺寸的参考窗,将位于所述参考窗内的候选运动矢量均确定为初选运动矢量;
计算每个所述初选运动矢量的率失真优化代价,并将率失真优化代价最小的预设数目个初选运动矢量确定为目标运动矢量。
可选地,所述从所述候选运动矢量集中选取多个中心运动矢量,包括:
依次选取所述候选运动矢量集中的空域运动矢量,并确定选取的所述空域运动矢量对应的参考像素是否与待编码块的参考像素相同,且所述空域运动矢量不为零;
若是,则将所述空域运动矢量选取为中心运动矢量;若否,则直接将所述候选运动矢量集中的运动矢量精细调整UMVE选取为中心运动矢量。
可选地,所述从所述候选运动矢量集中选取多个中心运动矢量,还包括:
若否,则判断所述候选运动矢量集中的时域运动矢量对应的参考像素是否与待编码块的参考像素相同,且所述时域运动矢量不为零;
若是,则将所述时域运动矢量选取为中心运动矢量。
可选地,所述以每个所述中心运动矢量为中心创建预设尺寸的参考窗,将位于所述参考窗内的候选运动矢量均确定为初选运动矢量,包括:
以每个所述中心运动矢量为中心创建第一预设尺寸的参考窗,并确定所述第一预设尺寸的参考窗外,且位于第二预设尺寸的范围内是否有候选运动矢量;所述第二预设尺寸大于所述第一预设尺寸;
若是,则以所述第二预设尺寸为参考窗尺寸,并将参考窗内所有候选运动矢量均确定为初选运动矢量;
若否,则将所述第一预设尺寸的参考窗内的所有候选运动矢量确定为初选运动矢量。
可选地,所述计算每个所述初选运动矢量的率失真优化代价,包括:
计算每个所述中心运动矢量的参考窗的插值,并将所述参考窗的插值分配给参考窗内的每个所述初选运动矢量;
依据插值结果计算每个所述初选运动矢量的率失真优化代价。
可选地,所述计算每个所述中心运动矢量的参考窗插值,包括:
确定当前计算的中心运动矢量的参考窗是否与其它中心运动矢量的参考窗部分重叠;
若是,则分别计算两个参考窗未重叠部分的第一插值和第二插值,以及两个参考窗重叠部分的第三插值;
分别将第三插值与第一插值和第二插值叠加,以确定两个参考窗的插值。
可选地,所述从所述候选运动矢量集中选取多个中心运动矢量,包括:
通过训练好的聚类模型对待编码块的所有候选运动矢量进行分类;
根据分类结果将对应参考像素与待编码块的参考像素相同且不为零的候选运动矢量确定为中心运动矢量。
本申请第二方面的实施例提供了一种运动矢量选择装置,所述装置包括:
获取模块,用于获取所有已编码块skip模式下的所有运动矢量信息,形成待编码块skip模式的候选运动矢量集;
第一选择模块,用于从所述候选运动矢量集中选取多个中心运动矢量;
第二选择模块,用于以每个所述中心运动矢量为中心创建预设尺寸的参考窗,将位于所述参考窗内的候选运动矢量均确定为初选运动矢量;
第三选择模块,用于计算每个所述初选运动矢量的率失真优化代价,并将率失真优化代价最小的预设数目个初选运动矢量确定为目标运动矢量。
本申请第三方面的实施例提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序以实现如第一方面所述的方法。
本申请第四方面的实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行实现如第一方面所述的方法。
本申请实施例中提供的技术方案,至少具有如下技术效果或优点:
本申请实施例提供的运动矢量选择方法,在获取待编码块skip模式的候选运动矢量集后,先选取多个中心运动矢量,再根据中心运动矢量确定初选运动矢量,然后从初选运动矢量中选取率失真优化代价最小的预设数目个初选运动矢量确定为目标运动矢量,如此,仅需计算预设数目个初选运动矢量对应的率失真优化代价,可节省大量的率失真优化代价计算的耗时,极大地降低了Skip模式下进行MV选择所消耗的时间及帧间预测的时间,从而提高了MV选择及帧间预测的效率,继而提高了整体编码效率。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目标,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本申请实施例提出的运动矢量选择方法的流程示意图;
图2示出了选取中心运动矢量的流程示意图;
图3示出了选择初选运动矢量的原理示意图;
图4示出了基于本申请实施例提出的运动矢量选择方法计算插值的原理示意图;
图5示出了本申请实施例提出的运动矢量选择装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式,然而应当理解,可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本申请,并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
下面结合附图来描述根据本申请实施例提出的一种运动矢量选择方法、装置、电子设备及存储介质。
本申请实施例提供了一种运动矢量选择方法,适用于基于AVS3的编码过程中帧间预测阶段的skip模式,目标在于选取采用skip模式进行帧间预测时所需的MV(MotionVector,运动矢量)。该方法可应用于运动矢量选择装置,该装置可以是一电子设备,也可以是一电子设备的某功能模块,其至少包括获取模块和选择模块,其中,获取模块用于获取所有已编码块skip模式下的所有运动矢量;选择模块用于从所有运动矢量中先确定中心运动矢量,再根据中心运动矢量确定预设数目个目标运动矢量,以进行后续的率失真优化。应用本方法,极大地降低了Skip模式下进行MV选择所消耗的时间及帧间预测的时间。如图1所示,该方法包括以下步骤:
步骤S1,获取所有已编码块skip模式下的所有运动矢量信息,形成待编码块skip模式的候选运动矢量集。
通常情况下,Skip模式下的MV总共有4种类型,分别是TMVP(时域运动矢量预测值)、Spatial MV(空域MV)、HMVP(基于历史信息的MV)以及UMVE(运动矢量精细调整),其中,TMVP往往只有1个,Spatial MV往往有3个,HMVP往往有8个,而UMVE则多达40个,总计52个。可以理解的是的是,本实施例针对Skip模式,其进行帧间预测时当前待编码块的MV直接从相邻已编码块的MV导出,所以本实施例仅获取已编码块的MV,故而获取的MV个数可以小于或等于52。
在本实施例中,数据获取所占的资源较少,可以采用多个并行度并行获取已编码块的运动矢量相关信息,如,最多可对应52个MV设置52个并行度,一一对应地获取52个MV的信息(已编码块没有MV则获取的信息为空),以最大程度地提高数据获取的速度,便于硬件化的实现。且在获取所有MV后,可以按照AVS3的规定形成已编码运动矢量列表,以供后续调取使用。可以理解的是,在该列表中,对应某(些)MV的时候,其表格内MV具体信息处可能为空,即没有获取到该MV信息。
需要说明的是,上述设置52个并行度只是本实施例的较佳实施方式,本实施例并不以此为限,即本实施例对上述预设数目不做具体限定,例如,也可以对应四个类别,设置4个并行度。
步骤S2,从候选运动矢量集中选取多个中心运动矢量。
步骤S3,以每个中心运动矢量为中心创建预设尺寸的参考窗,将位于参考窗内的候选运动矢量均确定为初选运动矢量。
其中,中心运动矢量可以理解为基准运动矢量,用于以其为基准创建上述用于选择初选运动矢量的参考窗。
于本实施例一具体实施方式中,步骤S2可以包括以下处理:依次选取候选运动矢量集中的空域运动矢量,并确定选取的空域运动矢量是否可用且不为零;若是,则将空域运动矢量选取为中心运动矢量;若否,则直接将候选运动矢量集中的运动矢量精细调整UMVE选取为中心运动矢量。
其中,空域运动矢量可用可理解为空域运动矢量对应的参考像素与当前待编码块的参考像素相同。上述的若是,则将空域运动矢量选取为中心运动矢量,可以理解为空域运动矢量对应的参考像素与当前待编码块的参考像素相同,且空域运动矢量的值不为零;而否则包括空域运动矢量可用但为零,以及空域运动矢量不可用(无论是否为零,且下述涉及不可用时均包括不可用不为零和不可用为零的两种情况)。
由于空域MV与运动矢量精细调整UMVE在空域上具有相关性,通常情况下,若有空域MV,就有运动矢量精细调整UMVE,故当空域MV为零时,则可直接将对应的运动矢量精细调整UMVE。因此,如图2所示,在选取中心运动矢量时可优先选取空域MV作为参考窗的中心点。上述若否,则直接将运动矢量精细调整UMVE选取为中心运动矢量,这里的否可以理解为空域运动矢量可用但为零的情况。
鉴于存在上述两种否的情况(空域运动矢量可用但为零,以及空域运动矢量不可用),当空域运动矢量不可用时,如图2所示,也可以具有相应的处理,即,从候选运动矢量集中选取多个中心运动矢量,还可以包括:若否,则判断候选运动矢量集中的时域运动矢量是否可用且不为零且时域运动矢量不为零;若是,则将时域运动矢量选取为中心运动矢量。
其中,与空域运动矢量的选取原理类似,这里时域运动矢量可用也可以理解为时域运动矢量对应的参考像素与当前待编码块的参考像素相同,这里的若是,即,时域运动矢量对应的参考像素与当前待编码块的参考像素相同,且不为零。需要说明的是,若时域运动矢量不可用则继续选取下一个中心运动矢量。由于空域MV通常只有一个,这里通常是继续判断下一个时域MV或者基于历史信息的运动矢量HMVP,基于历史信息的运动矢量HMVP的选取可参考时域MV的选取。
具体地,如图3所示(图中阴影部分代表参考窗的范围,参考窗中心的较深色方块(带有数字)代表中心MV,参考窗内靠近边缘的空白方块代表被选中的初候选MV(初候选MV包括中心MV),参考窗外的黑色方块代表未被选中的MV。其中,参考窗的预设尺寸可根据实际需要确定,例如,若欲选取的初选运动矢量数目较大,则可以设置参考窗的尺寸相对较大,以便于一次获取更多的MV;若欲选取的初选运动矢量数目较小,则可以设置参考窗的大小相对较小,以尽可能提高MV选择的准确性。
另外,本实施例对中心MV的具体数量不做具体限定,可以根据实际情况,按照上述选取规则能够选取几个则选取几个,也可以设置预设数目,当选取的初选运动矢量的总数目达到该预设数目时则停止该步骤S2。在中心MV的选取过程结束后还可以形成初选运动矢量列表,并将该表传输至下一步骤。
需要说明的是,上述选取中心MV的方式只是本实施例的一种实施方式,本实施例并不以此为限,例如也可以通过聚类的方法选取中心MV,相应地,步骤S2也可以包括以下处理:通过训练好的聚类模型对待编码块的所有候选运动矢量进行分类;根据分类结果将对应参考像素与待编码块的参考像素相同且不为零的候选运动矢量确定为中心运动矢量。
其中,该训练好的聚类模型可以采用历史候选运动矢量集作为训练样本,并采用相应的历史初选运动矢量列表作为验证样本,以得到能够通过候选运动矢量集聚类出初选运动矢量的聚类模型。上述分类结果可以是按照上述四种类型对MV进行分类,分类结果包括是否为零和是否可用(确定中心运动矢量时则可以按照上述规则直接选取);也可以是按照MV的分布情况进行分类,分类结果则可以包括处于不同密集程度的MV(确定中心运动矢量时则可以按照密集程度,例如,可以将处于密集程度最大几个区域中心位置的MV确定为中心MV)。
于本实施例另一具体实施方式中,步骤S3可以包括以下处理:以每个中心运动矢量为中心创建第一预设尺寸的参考窗,并确定第一预设尺寸的参考窗外,且位于第二预设尺寸的范围内是否有候选运动矢量;第二预设尺寸大于第一预设尺寸;若是,则以第二预设尺寸为参考窗尺寸,并将参考窗内所有候选运动矢量均确定为初选运动矢量;若否,则将第一预设尺寸的参考窗内的所有候选运动矢量确定为初选运动矢量。
在本实施例中,为保证一个参考窗可以囊括更多的候选MV,以保证MV选择的准确性,可以适当增大参考窗的尺寸,以增加部分冗余。如图4所示,对于16×16(高为16,宽为16)的CU块(图中两个颜色深浅不同的实心方块,MV1和MV2分别表示两个CU块对应的中心MV),其第一预设尺寸的参考窗(图4中每个实心方块外的小的虚线框)可以为边长23的正方形,为使得参考窗可以囊括更多的候选MV,可以将第一预设尺寸的参考窗向外扩展,如图4所示,可在第一预设尺寸的参考窗左右方向各增加8,上下方向各增加2,扩展至第二预设尺寸(图4中最外侧的虚线框),参考窗变为39x27,如此,当选择初选MV时,可以包含上述第二预设尺寸的参考窗内所有候选运动矢量,即,不仅包含第一预设尺寸的参考窗内的候选运动矢量,还包括第一预设尺寸的参考窗外16x4范围内的候选运动矢量。本实施例在创建第二预设尺寸的参考窗之前可先判断第一预设尺寸外且第二预设尺寸内是否有候选运动矢量,若是才创建第二预设尺寸的参考窗,如此,可减少参考窗的建立所占用时间,进一步提高运动矢量选择的速度和整体帧间预测效率。
步骤S4,计算每个初选运动矢量的率失真优化代价,并将率失真优化代价最小的预设数目个初选运动矢量确定为目标运动矢量。
在音视频编码过程中,计算率失真优化代价是比较耗时的过程,所以本实施例选取率失真优化代价最小的预设数目个MV,以在后续进行率失真优化代价时,耗时最短。具体可以按照率失真优化代价的大小将所有初选MV进行排序(可以由小到大的顺序,也可以是由大到小的顺序),并形成列表,如此,若按由小到大的顺序排序,则可直接输出列表的前预设数目个MV;若按由大到小的顺序排序,则可直接输出列表的后预设数目个MV。也可基于该预设数目个目标运动矢量,形成目标运动矢量列表,可直接将该列表传输至下一流程。
可以理解的是,该预设数目通常小于候选运动矢量集的元素总数,其具体数值可以根据待编码块的信息(如待编码块的尺寸和像素位置等)以及获取的运动矢量信息进行设定,在本实施例对此不做具体限定。通常情况下,预设数目可以大于或等于1,并小于或等于4。
于本实施例另一具体实施方式中,上述计算每个初选运动矢量的率失真优化代价的步骤,可以包括以下处理:计算每个中心运动矢量的参考窗的插值,并将参考窗的插值分配给参考窗内的每个初选运动矢量;依据插值结果计算每个初选运动矢量的率失真优化代价。
其中,参考窗的插值可以理解为参考窗内所有像素的插值之和。在本实施例中,以参考窗确定运动矢量的插值范围,对于同一参考窗内的所有初选运动矢量,参考窗的插值即为参考窗内的每个初选运动矢量的插值,如此,依据插值结果计算每个初选运动矢量的率失真优化代价时,可以降低计算复杂度,进一步提高帧间预测速度。
进一步地,上述计算每个中心运动矢量的参考窗插值,可以包括以下步骤:确定当前计算的中心运动矢量的参考窗是否与其它中心运动矢量的参考窗部分重叠;若是,则分别计算两个参考窗未重叠部分的第一插值和第二插值,以及两个参考窗重叠部分的第三插值;分别将第三插值与第一插值和第二插值叠加,以确定两个参考窗的插值。
在本实施例中,对于部分重叠的两个参考窗(如图4中所示),分别将两个参考窗重叠部分的插值与两个参考窗未重叠部分的第一插值和第二插值叠加,以确定两个参考窗的插值,即,当时,对于重叠部分的插值,只需要计算一次,然后,将插值结果分配给各个对应的MV即可。如此,当SKIP模式的多个MV相距比较近,多个MV的参考窗可能重叠时,可以先分析每个MV的插值范围(即参考窗范围),然后通过一次扫描(一次扫描可以理解为分别计算重叠部分的插值和未重叠部分的插值),即重叠部分的插值仅需计算一次,以减少插值计算的时间复杂度,提高帧间预测速度。
本实施例提供的运动矢量选择方法,在获取待编码块skip模式的候选运动矢量集后,先选取多个中心运动矢量,再根据中心运动矢量确定初选运动矢量,然后从初选运动矢量中选取率失真优化代价最小的预设数目个初选运动矢量确定为目标运动矢量,如此,仅需计算预设数目个初选运动矢量对应的率失真优化代价,可节省大量的率失真优化代价计算的耗时,极大地降低了Skip模式下进行MV选择所消耗的时间及帧间预测的时间,从而提高了MV选择及帧间预测的效率,继而提高了整体编码效率。
基于上述运动矢量选择方法相同的思想,本实施例还提供一种运动矢量选择装置,如图5所示,该装置包括:
获取模块,用于获取所有已编码块skip模式下的所有运动矢量信息,形成待编码块skip模式的候选运动矢量集;
第一选择模块,用于从候选运动矢量集中选取多个中心运动矢量;
第二选择模块,用于以每个中心运动矢量为中心创建预设尺寸的参考窗,将位于参考窗内的候选运动矢量均确定为初选运动矢量;
第三选择模块,用于计算每个初选运动矢量的率失真优化代价,并将率失真优化代价最小的预设数目个初选运动矢量确定为目标运动矢量。
本实施例提供的运动矢量选择装置,基于上述运动矢量选择方法相同的思想,故至少能够实现运动矢量选择方法所能实现的有益效果,在此不再赘述。
于本实施例一具体实施方式中,第一选择模块具体用于:
依次选取候选运动矢量集中的空域运动矢量,并确定选取的空域运动矢量对应的参考像素是否与待编码块的参考像素相同,且空域运动矢量不为零;
若是,则将空域运动矢量选取为中心运动矢量;若否,则直接将候选运动矢量集中的运动矢量精细调整UMVE选取为中心运动矢量。
于本实施例另一具体实施方式中,第一选择模块还具体用于:
若否,则判断候选运动矢量集中的时域运动矢量对应的参考像素是否与待编码块的参考像素相同,且时域运动矢量不为零;
若是,则将时域运动矢量选取为中心运动矢量。
于本实施例另一具体实施方式中,第二选择模块具体用于:
以每个中心运动矢量为中心创建第一预设尺寸的参考窗,并确定第一预设尺寸的参考窗外,且位于第二预设尺寸的范围内是否有候选运动矢量;第二预设尺寸大于第一预设尺寸;
若是,则以第二预设尺寸为参考窗尺寸,并将参考窗内所有候选运动矢量均确定为初选运动矢量;
若否,则将第一预设尺寸的参考窗内的所有候选运动矢量确定为初选运动矢量。
于本实施例另一具体实施方式中,第三选择模块具体用于:
计算每个中心运动矢量的参考窗的插值,并将参考窗的插值分配给参考窗内的每个初选运动矢量;
依据插值结果计算每个初选运动矢量的率失真优化代价。
于本实施例另一具体实施方式中,第三选择模块进一步具体用于:
确定当前计算的中心运动矢量的参考窗是否与其它中心运动矢量的参考窗部分重叠;
若是,则分别计算两个参考窗未重叠部分的第一插值和第二插值,以及两个参考窗重叠部分的第三插值;
分别将第三插值与第一插值和第二插值叠加,以确定两个参考窗的插值。
于本实施例另一具体实施方式中,第一选择模块还具体用于:
通过训练好的聚类模型对待编码块的所有候选运动矢量进行分类;
根据分类结果将对应参考像素与待编码块的参考像素相同且不为零的候选运动矢量确定为中心运动矢量。
基于上述运动矢量选择方法相同的思想,本实施例还提供电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器运行计算机程序以实现上述任一实施方式的方法。
其中,该电子设备可以但不限于音视频编码器、机顶盒、电视机等。
本实施例提供的电子设备,基于上述运动矢量选择方法相同的思想,故至少能够实现运动矢量选择方法所能实现的有益效果,在此不再赘述。
基于上述运动矢量选择方法相同的思想,本实施例还提供一种计算机可读存储介质,其上存储有计算机程序,程序被处理器执行实现上述任一实施方式的方法。
本实施例提供的计算机可读存储介质,基于上述运动矢量选择方法相同的思想,故至少能够实现运动矢量选择方法所能实现的有益效果,在此不再赘述。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种运动矢量选择方法,其特征在于,所述方法包括:
获取所有已编码块skip模式下的所有运动矢量信息,形成待编码块skip模式的候选运动矢量集;
从所述候选运动矢量集中选取多个中心运动矢量;
以每个所述中心运动矢量为中心创建预设尺寸的参考窗,将位于所述参考窗内的候选运动矢量均确定为初选运动矢量;
计算每个所述初选运动矢量的率失真优化代价,并将率失真优化代价最小的预设数目个初选运动矢量确定为目标运动矢量;
其中,所述计算每个所述初选运动矢量的率失真优化代价,包括:
计算每个所述中心运动矢量的参考窗的插值,并将所述参考窗的插值分配给参考窗内的每个所述初选运动矢量;
依据插值结果计算每个所述初选运动矢量的率失真优化代价。
2.根据权利要求1所述的方法,其特征在于,所述从所述候选运动矢量集中选取多个中心运动矢量,包括:
依次选取所述候选运动矢量集中的空域运动矢量,并确定选取的所述空域运动矢量对应的参考像素是否与待编码块的参考像素相同,且所述空域运动矢量不为零;
若是,则将所述空域运动矢量选取为中心运动矢量;若否,则直接将所述候选运动矢量集中的运动矢量精细调整UMVE选取为中心运动矢量。
3.根据权利要求2所述的方法,其特征在于,所述从所述候选运动矢量集中选取多个中心运动矢量,还包括:
若否,则判断所述候选运动矢量集中的时域运动矢量对应的参考像素是否与待编码块的参考像素相同,且所述时域运动矢量不为零;
若是,则将所述时域运动矢量选取为中心运动矢量。
4.根据权利要求1所述的方法,其特征在于,所述以每个所述中心运动矢量为中心创建预设尺寸的参考窗,将位于所述参考窗内的候选运动矢量均确定为初选运动矢量,包括:
以每个所述中心运动矢量为中心创建第一预设尺寸的参考窗,并确定所述第一预设尺寸的参考窗外,且位于第二预设尺寸的范围内是否有候选运动矢量;所述第二预设尺寸大于所述第一预设尺寸;
若是,则以所述第二预设尺寸为参考窗尺寸,并将参考窗内所有候选运动矢量均确定为初选运动矢量;
若否,则将所述第一预设尺寸的参考窗内的所有候选运动矢量确定为初选运动矢量。
5.根据权利要求1所述的方法,其特征在于,所述计算每个所述中心运动矢量的参考窗插值,包括:
确定当前计算的中心运动矢量的参考窗是否与其它中心运动矢量的参考窗部分重叠;
若是,则分别计算两个参考窗未重叠部分的第一插值和第二插值,以及两个参考窗重叠部分的第三插值;
分别将第三插值与第一插值和第二插值叠加,以确定两个参考窗的插值。
6.根据权利要求1所述的方法,其特征在于,所述从所述候选运动矢量集中选取多个中心运动矢量,包括:
通过训练好的聚类模型对待编码块的所有候选运动矢量进行分类;
根据分类结果将对应参考像素与待编码块的参考像素相同且不为零的候选运动矢量确定为中心运动矢量。
7.一种运动矢量选择装置,其特征在于,所述装置包括:
获取模块,用于获取所有已编码块skip模式下的所有运动矢量信息,形成待编码块skip模式的候选运动矢量集;
第一选择模块,用于从所述候选运动矢量集中选取多个中心运动矢量;
第二选择模块,用于以每个所述中心运动矢量为中心创建预设尺寸的参考窗,将位于所述参考窗内的候选运动矢量均确定为初选运动矢量;
第三选择模块,用于计算每个所述初选运动矢量的率失真优化代价,并将率失真优化代价最小的预设数目个初选运动矢量确定为目标运动矢量;
其中,第三选择模块还用于:
计算每个所述中心运动矢量的参考窗的插值,并将所述参考窗的插值分配给参考窗内的每个所述初选运动矢量;
依据插值结果计算每个所述初选运动矢量的率失真优化代价。
8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序以实现如权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行实现如权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110848223.3A CN113301348B (zh) | 2021-07-27 | 2021-07-27 | 运动矢量选择方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110848223.3A CN113301348B (zh) | 2021-07-27 | 2021-07-27 | 运动矢量选择方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113301348A CN113301348A (zh) | 2021-08-24 |
CN113301348B true CN113301348B (zh) | 2022-01-04 |
Family
ID=77331164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110848223.3A Active CN113301348B (zh) | 2021-07-27 | 2021-07-27 | 运动矢量选择方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113301348B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108134939A (zh) * | 2016-12-01 | 2018-06-08 | 北京金山云网络技术有限公司 | 一种运动估计方法及装置 |
CN108781295A (zh) * | 2016-03-16 | 2018-11-09 | 联发科技股份有限公司 | 视频编码的样式基础的运动向量推导之方法及装置 |
WO2020129681A1 (ja) * | 2018-12-19 | 2020-06-25 | 日本電信電話株式会社 | 符号化装置及びプログラム |
-
2021
- 2021-07-27 CN CN202110848223.3A patent/CN113301348B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108781295A (zh) * | 2016-03-16 | 2018-11-09 | 联发科技股份有限公司 | 视频编码的样式基础的运动向量推导之方法及装置 |
CN108134939A (zh) * | 2016-12-01 | 2018-06-08 | 北京金山云网络技术有限公司 | 一种运动估计方法及装置 |
WO2020129681A1 (ja) * | 2018-12-19 | 2020-06-25 | 日本電信電話株式会社 | 符号化装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN113301348A (zh) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10142652B2 (en) | Entropy coding motion vector residuals obtained using reference motion vectors | |
US20170237978A1 (en) | Method and apparatus for setting reference picture index of temporal merging candidate | |
US9066099B2 (en) | Methods for efficient implementation of skip/direct modes in digital video compression algorithms | |
US20100166073A1 (en) | Multiple-Candidate Motion Estimation With Advanced Spatial Filtering of Differential Motion Vectors | |
TWI692246B (zh) | 影像預測解碼方法 | |
US20120076207A1 (en) | Multiple-candidate motion estimation with advanced spatial filtering of differential motion vectors | |
US20060029136A1 (en) | Intra-frame prediction for high-pass temporal-filtered frames in a wavelet video coding | |
CN103327319B (zh) | 利用缩放后的运动搜索识别运动矢量候选的方法与设备 | |
CN109089121B (zh) | 一种基于视频编码的运动估计方法、装置及电子设备 | |
CN106993187A (zh) | 一种可变帧率的编码方法及装置 | |
US20240031576A1 (en) | Method and apparatus for video predictive coding | |
CN102572424A (zh) | 图像处理设备、方法和程序 | |
CN113301349B (zh) | 运动矢量选择方法、装置、电子设备及存储介质 | |
CN117156133B (zh) | 一种视频编码的帧间预测模式选择方法及装置 | |
WO2022104678A1 (zh) | 视频编解码方法、装置、可移动平台和存储介质 | |
WO2021247906A1 (en) | Geometric partition mode with motion vector refinement | |
CN113301348B (zh) | 运动矢量选择方法、装置、电子设备及存储介质 | |
CN116472707A (zh) | 图像预测方法、编码器、解码器以及计算机存储介质 | |
CN113709498A (zh) | 帧间预测方法、编码器、解码器以及计算机存储介质 | |
JP2014514808A (ja) | 画像ブロックを再構成および符号化する方法 | |
US20240098248A1 (en) | Video predictive coding method and apparatus | |
CN116762339A (zh) | 一种光照补偿方法、编码器、解码器及存储介质 | |
KR20110134404A (ko) | 화상 데이터의 블록을 예측하는 방법, 이 방법을 실행하는 복호 장치 및 부호화 장치 | |
CN112714312B (zh) | 编码模式选择方法、装置以及可读存储介质 | |
CN114422803B (zh) | 一种视频处理方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |