CN106454378A - 一种基于变形运动模型的帧率上转换视频编码方法及系统 - Google Patents

Abstract

本发明公开了一种基于变形运动模型的帧率上转换视频编码方法及系统，方法包括：根据当前块的左上角、右上角、左下角和右下角这4个角处的信息判断是否能构建变形运动模型；根据判断的结果采用变形运动模型预测方式、双向匹配模式或者模板匹配模式对当前块进行帧率上转换，得到当前块的运动信息并根据得到的运动信息进行运动补偿，其中，运动信息包括但不限于参考方向、参考索引和运动矢量。本发明能通过变形运动模型事前对当前块的运动模型进行预测并计算出最小块的运动信息，节省了运动矢量的搜索时间，大大减少了编解码的时间和码率，提高了编解码速度和编解码效率。本发明可广泛应用于视频编码领域。

Description

一种基于变形运动模型的帧率上转换视频编码方法及系统

技术领域

本发明涉及视频编码领域，尤其是一种基于变形运动模型的帧率上转换视频编码方法及系统。

背景技术

高性能视频编码(High Efficiency Video Coding，HEVC)标准是最新一代国际视频编码标准。自2010年1月起，VCEG(Video Coding Experts Group，视频编码专家组)和MPEG(Moving Picture Experts Group，活动图像编码专家组)共同组建了视频编码国际标准组织JCT-VC(Joint Collaborative Team on Video Coding)来制定新的国际视频编码标准HEVC。HEVC编码标准于2013年1月正式颁布，并已经申请成为国际视频编码标准。HEVC综合采纳了全球众多技术提案方的编码技术，与之前的视频编码标准相比，HEVC具有压缩效率更高、视频质量更好、健壮性更好、错误恢复能力更强、更适合在IP网络中传输等优点。

2015年6月，VCEG在其最新发布的视频编码技术平台HMKTA-1.0中，对HEVC现有的工具进行了改进，并添加了许多新的工具。该新的视频编码软件支持更大的编码树块和更大的变换块；加入了自适应滤波器，能对重叠块进行运动补偿；通过加入局部亮度补偿、帧率上采样模式等工具对帧间预测方式进行了改进；帧内预测也通过增加到63种预测方向并提供了4抽头的插值滤波器来提高预测的精度。通过增加这些工具，HMKTA-1.0软件分别在全帧内预测、随机存取和低延迟的编码方式中降低了2.9％，6.7％和4.9％的亮度BD-Rate。与上一代视频编码平台HM14.0相比，HMKTA1.0在随机存取方式中能达到16.5％的码率增益。

HMKTA-1.0平台的帧率上采样模式在进行帧率上转换时，通过添加的新工具FRUC来求取运动矢量。然而，新工具FRUC采用了分级计算的方式来求得每个最小块的运动矢量，其在每次搜索运动矢量时需耗费大量的时间，增加了编解码的时间和码率，降低了编解码速度和编解码效率，难以满足人们对视频应用日益增长的实时性高要求。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种编解码时间短、编解码速度快和编解码效率高的，基于变形运动模型的帧率上转换视频编码方法。

本发明的另一目的在于：提供一种编解码时间短、编解码速度快和编解码效率高的，基于变形运动模型的帧率上转换视频编码系统。

本发明所采取的技术方案是：

一种基于变形运动模型的帧率上转换视频编码方法，包括以下步骤：

S1、根据当前块的左上角、右上角、左下角和右下角这4个角处的信息判断是否能构建变形运动模型；

S2、根据判断的结果采用变形运动模型预测方式、双向匹配模式或者模板匹配模式对当前块进行帧率上转换，得到当前块的运动信息并根据得到的运动信息进行运动补偿，其中，运动信息包括但不限于参考方向、参考索引和运动矢量。

进一步，所述步骤S1包括：

根据设定的优先级顺序分别确定当前块4个角的参考位置，所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置；

根据当前块4个角的参考位置存在情况判断是否能构建变形运动模型：若当前块的4个角均至少存在一个候选位置，则判定当前块能构建变形运动模型；反之，则判定当前块不能构建变形运动模型。

进一步，所述步骤S2具体为：

若当前块能构建变形运动模型，则采用变形运动模型预测方式对当前块进行帧率上转换，得到当前块的运动信息并根据得到的运动信息进行运动补偿；

若当前块不能构建变形运动模型，则采用HEVC编码的双向匹配模式或者HEVC编码的模板匹配模式对当前块进行帧率上转换，得到当前块的运动信息并根据得到的运动信息进行运动补偿。

进一步，所述根据判断的结果采用变形运动模型预测方式对当前块进行帧率上转换，得到当前块的运动信息并根据得到的运动信息进行运动补偿这一步骤，其包括：

将当前块的4个角的运动信息按照设定的优先级顺序组合成控制MP四元运动矢量列表{A、B、C、D}，所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置，其中，A、B、C和D分别为当前块左上角、右上角、左下角和右下角这4个角处的控制MP，MP为最小划分单元；

从控制MP四元运动矢量列表的12种参考方向中选取一种方向作为目标MP的参考方向，其中，目标MP为预测块的MP，A包括左上、右上和左下这3种方向；B包括左上和右上这2种方向，C包括左上和左下这2种方向，D包括右下这1种方向，A、B、C和D通过组合共形成控制MP四元运动矢量列表的12种参考方向；

根据4个控制MP的参考索引确定目标MP的参考索引；

根据目标MP的参考索引缩放控制MP四元运动矢量列表的运动矢量，并将4个控制MP的参考索引全部修改为目标MP的参考索引；

根据控制MP四元运动矢量列表缩放后的运动矢量计算目标MP的运动矢量，以得到目标MP的运动信息；

当前块根据目标MP的运动信息进行运动补偿。

进一步，所述根据控制MP的参考索引确定目标MP的参考索引这一步骤，其包括：

判断4个控制MP的参考索引是否全部相同，若是，则以这4个控制MP的参考索引作为目标MP的参考索引；反之，则执行下一步的操作；

判断4个控制MP的参考索引中出现次数最多的参考索引是否只有一个，若是，则以该出现次数最多的参考索引作为目标MP的参考索引，反之，则从出现次数最多的所有参考索出中选取索引值最小的一个索引作为目标MP的参考索引。

进一步，所述根据控制MP四元运动矢量列表缩放后的运动矢量计算目标MP的运动矢量这一步骤，其具体为：

根据4个控制MP缩放后的运动矢量计算目标MP的运动矢量，所述目标MP的运动矢量计算公式为：

其中，v₀(MP_m)为预测块中第m个目标MP的运动矢量，MP_m为预测块中第m个目标MP的位置，k_m,i为4个控制MP中第i个控制MP对MP_m的贡献度因子；i的取值范围为1、2、3和4，分别对应当前块左上角、右上角、左下角和右下角处的控制MP；v_i为4个控制MP中第i个控制MP缩放后的运动矢量，S为预测块当前预测的取值范围。

进一步，若目标MP的参考方向为A取左上方向、B取右上方向、C取左下方向和D取右下方向，则贡献度因子k_m,i的计算公式为：

其中，d_x和d_y分别为目标MP距离A中心的水平方向和竖直方向的距离，W和H分别为预测块的宽与高。

本发明所采取的另一技术方案是：

一种基于变形运动模型的帧率上转换视频编码系统，包括：

判断模块，用于根据当前块的左上角、右上角、左下角和右下角这4个角处的信息判断是否能构建变形运动模型；

帧率上转换模块，用于根据判断的结果采用变形运动模型预测方式、双向匹配模式或者模板匹配模式对当前块进行帧率上转换，得到当前块的运动信息并根据得到的运动信息进行运动补偿，其中，运动信息包括但不限于参考方向、参考索引和运动矢量。

进一步，所述判断模块包括：

角位置信息确定单元，用于根据设定的优先级顺序分别确定当前块4个角的参考位置，所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置；

变形运动模型构建判断单元，用于根据当前块4个角的参考位置存在情况判断是否能构建变形运动模型：若当前块的4个角均至少存在一个候选位置，则判定当前块能构建变形运动模型；反之，则判定当前块不能构建变形运动模型。

进一步，所述帧率上转换模块包括：

参考列表获取单元，用于将当前块的4个角的运动信息按照设定的优先级顺序组合成控制MP四元运动矢量列表{A、B、C、D}，所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置，其中，A、B、C和D分别为当前块左上角、右上角、左下角和右下角这4个角处的控制MP；

参考方向选取单元，用于从控制MP四元运动矢量列表的12种参考方向中选取一种方向作为目标MP的参考方向，其中，目标MP为预测块的MP，A包括左上、右上和左下这3种方向；B包括左上和右上这2种方向，C包括左上和左下这2种方向，D包括右下这1种方向，A、B、C和D通过组合共形成控制MP四元运动矢量列表的12种参考方向；

参考索引确定单元，用于根据4个控制MP的参考索引确定目标MP的参考索引；

参考列表运动矢量缩放单元，用于根据目标MP的参考索引缩放控制MP四元运动矢量列表的运动矢量，并将4个控制MP的参考索引全部修改为目标MP的参考索引；

目标MP运动矢量计算单元，用于根据控制MP四元运动矢量列表缩放后的运动矢量计算目标MP的运动矢量，以得到目标MP的运动信息；

运动补偿单元，用于当前块根据目标MP的运动信息进行运动补偿。

本发明的方法的有益效果是：先根据当前块的左上角、右上角、左下角和右下角这4个角处的信息判断是否能构建变形运动模型，然后根据判断的结果采用变形运动模型预测方式、双向匹配模式或者模板匹配模式对当前块进行帧率上转换，在传统的双向匹配模式和模板匹配模式这两种帧率上转换模式的基础上增加了变形运动模型预测方式，能通过变形运动模型事前对当前块的运动模型进行预测并计算出最小块的运动信息，不再需要通过分级计算的方式来求得每个最小块的运动矢量，节省了运动矢量的搜索时间，大大减少了编解码的时间和码率，提高了编解码速度和编解码效率，能满足人们对视频应用日益增长的实时性高要求。

本发明的系统的有益效果是：先在判断模块中根据当前块的左上角、右上角、左下角和右下角这4个角处的信息判断是否能构建变形运动模型，然后在帧率上转换模块中根据判断的结果采用变形运动模型预测方式、双向匹配模式或者模板匹配模式对当前块进行帧率上转换，在传统的双向匹配模式和模板匹配模式这两种帧率上转换模式的基础上增设了变形运动模型预测方式，能通过变形运动模型事前对当前块的运动模型进行预测并计算出最小块的运动信息，不再需要通过分级计算的方式来求得每个最小块的运动矢量，节省了运动矢量的搜索时间，大大减少了编解码的时间和码率，提高了编解码速度和编解码效率，能满足人们对视频应用日益增长的实时性高要求。

附图说明

图1为本发明一种基于变形运动模型的帧率上转换视频编码方法的整体流程图；

图2为本发明变形运动模型运动信息的参考位置示意图；

图3为本发明变形运动模型的12种参考运动信息组成情况示意图；

图4为本发明变形运动模型中目标MP与控制MP的一种位置关系示意图；

图5为本发明双向匹配模式的示意图；

图6为本发明模板匹配模式的示意图。

具体实施方式

参照图1，一种基于变形运动模型的帧率上转换视频编码方法，包括以下步骤：

S1、根据当前块的左上角、右上角、左下角和右下角这4个角处的信息判断是否能构建变形运动模型；

S2、根据判断的结果采用变形运动模型预测方式、双向匹配模式或者模板匹配模式对当前块进行帧率上转换，得到当前块的运动信息并根据得到的运动信息进行运动补偿，其中，运动信息包括但不限于参考方向、参考索引和运动矢量。

进一步作为优选的实施方式，所述步骤S1包括：

根据设定的优先级顺序分别确定当前块4个角的参考位置，所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置；

根据当前块4个角的参考位置存在情况判断是否能构建变形运动模型：若当前块的4个角均至少存在一个候选位置，则判定当前块能构建变形运动模型；反之，则判定当前块不能构建变形运动模型。

进一步作为优选的实施方式，所述步骤S2具体为：

若当前块能构建变形运动模型，则采用变形运动模型预测方式对当前块进行帧率上转换，得到当前块的运动信息并根据得到的运动信息进行运动补偿；

若当前块不能构建变形运动模型，则采用HEVC编码的双向匹配模式或者HEVC编码的模板匹配模式对当前块进行帧率上转换，得到当前块的运动信息并根据得到的运动信息进行运动补偿。

进一步作为优选的实施方式，所述根据判断的结果采用变形运动模型预测方式对当前块进行帧率上转换，得到当前块的运动信息并根据得到的运动信息进行运动补偿这一步骤，其包括：

将当前块的4个角的运动信息按照设定的优先级顺序组合成控制MP四元运动矢量列表{A、B、C、D}，所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置，其中，A、B、C和D分别为当前块左上角、右上角、左下角和右下角这4个角处的控制MP；

从控制MP四元运动矢量列表的12种参考方向中选取一种方向作为目标MP的参考方向，其中，目标MP为预测块的MP，A包括左上、右上和左下这3种方向；B包括左上和右上这2种方向，C包括左上和左下这2种方向，D包括右下这1种方向，A、B、C和D通过组合共形成控制MP四元运动矢量列表的12种参考方向；

根据4个控制MP的参考索引确定目标MP的参考索引；

根据目标MP的参考索引缩放控制MP四元运动矢量列表的运动矢量，并将4个控制MP的参考索引全部修改为目标MP的参考索引；

根据控制MP四元运动矢量列表缩放后的运动矢量计算目标MP的运动矢量，以得到目标MP的运动信息；

当前块根据目标MP的运动信息进行运动补偿。

其中，MP，Minimun Partition，是指最小划分单元。

进一步作为优选的实施方式，所述根据控制MP的参考索引确定目标MP的参考索引这一步骤，其包括：

判断4个控制MP的参考索引是否全部相同，若是，则以这4个控制MP的参考索引作为目标MP的参考索引；反之，则执行下一步的操作；

判断4个控制MP的参考索引中出现次数最多的参考索引是否只有一个，若是，则以该出现次数最多的参考索引作为目标MP的参考索引，反之，则从出现次数最多的所有参考索出中选取索引值最小的一个索引作为目标MP的参考索引。

进一步作为优选的实施方式，所述根据控制MP四元运动矢量列表缩放后的运动矢量计算目标MP的运动矢量这一步骤，其具体为：

根据4个控制MP缩放后的运动矢量计算目标MP的运动矢量，所述目标MP的运动矢量计算公式为：

其中，v₀(MP_m)为预测块中第m个目标MP的运动矢量，MP_m为预测块中第m个目标MP的位置，k_m,i为4个控制MP中第i个控制MP对MP_m的贡献度因子；i的取值范围为1、2、3和4，分别对应当前块左上角、右上角、左下角和右下角处的控制MP；v_i为4个控制MP中第i个控制MP缩放后的运动矢量，S为预测块当前预测的取值范围。

进一步作为优选的实施方式，若目标MP的参考方向为A取左上方向、B取右上方向、C取左下方向和D取右下方向，则贡献度因子k_m,i的计算公式为：

其中，d_x和d_y分别为目标MP距离A中心的水平方向和竖直方向的距离，W和H分别为预测块的宽与高。

参照图1，一种基于变形运动模型的帧率上转换视频编码系统，包括：

判断模块，用于根据当前块的左上角、右上角、左下角和右下角这4个角处的信息判断是否能构建变形运动模型；

帧率上转换模块，用于根据判断的结果采用变形运动模型预测方式、双向匹配模式或者模板匹配模式对当前块进行帧率上转换，得到当前块的运动信息并根据得到的运动信息进行运动补偿，其中，运动信息包括但不限于参考方向、参考索引和运动矢量。

进一步作为优选的实施方式，所述判断模块包括：

角位置信息确定单元，用于根据设定的优先级顺序分别确定当前块4个角的参考位置，所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置；

变形运动模型构建判断单元，用于根据当前块4个角的参考位置存在情况判断是否能构建变形运动模型：若当前块的4个角均至少存在一个候选位置，则判定当前块能构建变形运动模型；反之，则判定当前块不能构建变形运动模型。

进一步作为优选的实施方式，所述帧率上转换模块包括：

参考列表获取单元，用于将当前块的4个角的运动信息按照设定的优先级顺序组合成控制MP四元运动矢量列表{A、B、C、D}，所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置，其中，A、B、C和D分别为当前块左上角、右上角、左下角和右下角这4个角处的控制MP；

参考方向选取单元，用于从控制MP四元运动矢量列表的12种参考方向中选取一种方向作为目标MP的参考方向，其中，目标MP为预测块的MP，A包括左上、右上和左下这3种方向；B包括左上和右上这2种方向，C包括左上和左下这2种方向，D包括右下这1种方向，A、B、C和D通过组合共形成控制MP四元运动矢量列表的12种参考方向；

参考索引确定单元，用于根据4个控制MP的参考索引确定目标MP的参考索引；

参考列表运动矢量缩放单元，用于根据目标MP的参考索引缩放控制MP四元运动矢量列表的运动矢量，并将4个控制MP的参考索引全部修改为目标MP的参考索引；

目标MP运动矢量计算单元，用于根据控制MP四元运动矢量列表缩放后的运动矢量计算目标MP的运动矢量，以得到目标MP的运动信息；

运动补偿单元，用于当前块根据目标MP的运动信息进行运动补偿。

下面结合说明书附图和具体实施例对本发明作进一步解释和说明。

实施例一

针对现有技术采用分级计算所带来的编解码时间长、编解码速度慢和编解码效率低的问题，本发明提出了一种全新的帧率上转换视频编码方法。如图1所示，本发明将变形运动模型预测方式作为帧率上转换算法中的第三种模式，改进后的帧率上转换算法先测试变形运动模型是否能够构建，若是，则采用变形运动模型预测方式，反之，仍沿用HEVC编码预测算法的双向匹配模式或者模板匹配模式。

其中，变形运动模型预测方式的运动信息主要包括三个重要参数：参考方向、参考索引和运动矢量。如图2所示，本发明变形运动模型中当前块的运动信息由当前块的四个角处的运动信息预测求得。其中，a块到g块为当前块已编码的空域临近块，u块为位于当前块的右下角处的同位时域块。与传统的HEVC预测模式不同，本发明的变形运动模型预测方式是将参考列表分开4个角来分别获取，编码时会先构建前向参考列表，然后根据当前帧是否为B帧来决定是否构建后向参考列表。本发明的变形运动模型预测方式会根据不同的参考列表组合选取不同的预测方式，然后由参考块的运动信息求出当前块的运动信息，最后进行运动补偿。当且仅当图2当前块的4个角都至少存在一个候选位置时才能使用本发明变形运动模型预测算法。而当当前块有一个角处的运动信息存在多个候选块时，需要按照一定的优先级顺序选取运动信息，具体的优先等级是：左上角c＞b＞a、右上角d＞e、左下角为f＞g。通过上述的优先等级最终将组合成{U₀、U₁、U₂、I}的四元组的运动信息集合，U₀、U₁、U₂、I分别为左上角、右上角、左下角和右下角的候选块运动信息。构建以上四元组时，不仅要判断参考块的运动信息是否可用，还需在参考块构建完成后检查其运动信息是否具有唯一性，即排除所有参考块的运动信息完全一致的情况。由于可以选择不同的参考块，所以四元组的运动信息集合{U0、U1、U2、I}共有3×2×2＝12种模式存在，如图3所示。

当确定好变形运动模型的模式为图3中的其中一种情况后，可以根据参考块的运动信息求当前块的运动信息，具体步骤如下：

步骤1：将当前块的4个角的运动信息按照前述的优先级顺序组合成控制MP四元运动矢量列表(即参考候选列表){A、B、C、D}，其中，A、B、C、D为控制MP。

步骤2：确定预测块的每个MP(即目标MP)的参考方向为步骤1中控制MP四元运动矢量列表的参考方向。如图3所示，控制MP四元运动矢量列表的参考方向一共有12种。

步骤3：确定目标MP的参考索引。

4个控制MP的参考索引可能存在较大的区别，所以需要统一4个控制MP的参考索引，以为目标MP提供运动补偿，具体做法为：

首先检查4个控制MP的参考索引是否相同，如果参考索引全部一样，就把这4个控制MP的参考索引作为目标MP的参考索引；

若这4个控制MP的参考索引不相同，则将出现次数最多的MP的参考索引赋值给目标MP。若出现次数最多的控制MP参考索引有多个，则把这些参考索引中索引值最小的赋值给目标MP的参考索引。

步骤4：缩放参考候选列表的运动矢量MV。

步骤3得到最佳的目标MP参考索引后，需要将四个控制MP的参考索引全部修改为该目标MP参考索引；而参考索引发生了改变，故此时又需要对原有的运动矢量MV进行缩放，其所采用缩放的方式与HEVC编码标准的缩放方式相同。

步骤5：计算目标MP的运动矢量MV。在当前块四个角的控制MP的参考帧和MV都求得后，计算目标MP的运动信息。其中，四个控制MP的运动矢量为v_i，i＝1、2、3、4，目标MP的运动矢量为v_o，v_o的计算公式如下：

上式中，MP_m代表预测块中第m个目标MP的位置，每个MP都必须在当前预测的范围S内，k_m,i取决于不同的控制MP对目标MP_m的贡献度。本发明可采用双线性插值函数进行插值，不同位置的控制MP将会有不同的插值核。

下面以图3的(2)为例子介绍采用双线性插值函数确定k_m,i的过程。假设图4中块E为预测块中的一个目标MP，A、B、C和D为构建的控制MP，d_x和d_y分别为E这一当前目标MP距离A中心的水平和竖直方向的距离，W、H分别为预测块的宽与高。实际上，本发明所有的距离均是实际值除以4得到，例如，一个大小为64×64的预测块，它的W和H值都为16。此外，A和B(或C和D)间的距离与选取的具体候选位置有关：若A选左上角即图2的a，B选右上角即图2的e，则A和B间的距离为(W+1)；若A选左上角即图2的a，B选左上角即图2的d，则A和B间的距离为W。同理，A和C(或B和D)间的距离根据实际情况，可为(H+1)或H。图4中，A和B(或C和D)间的宽度为(W+1)；A和C(或B和D)间的距离为(H+1)，此时，k_m,i的计算公式为：

而当变形运动模型的构建条件不成立时，本发明仍将沿用HEVC编码预测算法的双向匹配模式或者模板匹配模式。

而HEVC编码预测算法的帧率上转换模式包括两种模式：双向匹配模式和模板匹配模式。双向匹配模式只会在帧间的预测方式为双向预测时使用。在图5所示的双向匹配模式中，mv0与mv1分别为当前块相对于参考帧1和2的运动矢量，TD0与TD1为这两个参考帧距离当前块当前帧的距离。假设物体的运动是连续的，则物体的运动距离与它经过的时间成正比。当当前帧恰好位于两个参考帧的中间时，mv0与mv1的大小相等且方向相反。双向匹配模式通过mv0、mv1与参考帧0和参考帧1来求出当前块的两个预测块，这两个预测块对应的残差块之差即为双向匹配误差。此时，可通过构建运动矢量候选表并寻找出使双向匹配误差最小的运动矢量mv，再经运动搜索后即可得到当前块的mv。接着，以当前块的运动矢量mv作为搜索起点，将当前块进行划分后，再按照相同的方式求出每个小块的运动矢量mv。

模板匹配模式的具体计算步骤与双向匹配模式相同，但它可以在单向预测时采用。如图6所示，模板匹配模式的匹配误差由当前块的右上块与左下块和预测块(即参考帧)的右上块与左下块的残差值之和求得。

为了减少HMKTA-1.0编码算法的耗费时间，本发明提出了一种基于变形运动模型的帧率上转换视频编码方法。该方法通过对现实生活中的运动模型进行模拟，采用了变形运动模型来对物体进行模拟，通过变形运动模型事前对物体的运动模型进行预测，按变形运动模型的公式求得每个最小块的运动矢量，这样便可以大大减少编码与解码的时间。对符合变形运动模型构建条件的视频序列，本发明能够显著降低视频编解码的码率，提高了编解码速度和编解码效率，能满足人们对视频应用日益增长的实时性高要求。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于变形运动模型的帧率上转换视频编码方法，其特征在于：包括以下步骤：

S1、根据当前块的左上角、右上角、左下角和右下角这4个角处的信息判断是否能构建变形运动模型；

S2、根据判断的结果采用变形运动模型预测方式、双向匹配模式或者模板匹配模式对当前块进行帧率上转换，得到当前块的运动信息并根据得到的运动信息进行运动补偿，其中，运动信息包括但不限于参考方向、参考索引和运动矢量。

2.根据权利要求1所述的一种基于变形运动模型的帧率上转换视频编码方法，其特征在于：所述步骤S1包括：

根据设定的优先级顺序分别确定当前块4个角的参考位置，所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置；

根据当前块4个角的参考位置存在情况判断是否能构建变形运动模型：若当前块的4个角均至少存在一个候选位置，则判定当前块能构建变形运动模型；反之，则判定当前块不能构建变形运动模型。

3.根据权利要求1或2所述的一种基于变形运动模型的帧率上转换视频编码方法，其特征在于：所述步骤S2具体为：

若当前块能构建变形运动模型，则采用变形运动模型预测方式对当前块进行帧率上转换，得到当前块的运动信息并根据得到的运动信息进行运动补偿；

若当前块不能构建变形运动模型，则采用HEVC编码的双向匹配模式或者HEVC编码的模板匹配模式对当前块进行帧率上转换，得到当前块的运动信息并根据得到的运动信息进行运动补偿。

4.根据权利要求1所述的一种基于变形运动模型的帧率上转换视频编码方法，其特征在于：所述根据判断的结果采用变形运动模型预测方式对当前块进行帧率上转换，得到当前块的运动信息并根据得到的运动信息进行运动补偿这一步骤，其包括：

将当前块的4个角的运动信息按照设定的优先级顺序组合成控制MP四元运动矢量列表{A、B、C、D}，所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置，其中，A、B、C和D分别为当前块左上角、右上角、左下角和右下角这4个角处的控制MP，MP为最小划分单元；

从控制MP四元运动矢量列表的12种参考方向中选取一种方向作为目标MP的参考方向，其中，目标MP为预测块的MP，A包括左上、右上和左下这3种方向；B包括左上和右上这2种方向，C包括左上和左下这2种方向，D包括右下这1种方向，A、B、C和D通过组合共形成控制MP四元运动矢量列表的12种参考方向；

根据4个控制MP的参考索引确定目标MP的参考索引；

根据目标MP的参考索引缩放控制MP四元运动矢量列表的运动矢量，并将4个控制MP的参考索引全部修改为目标MP的参考索引；

根据控制MP四元运动矢量列表缩放后的运动矢量计算目标MP的运动矢量，以得到目标MP的运动信息；

当前块根据目标MP的运动信息进行运动补偿。

5.根据权利要求4所述的一种基于变形运动模型的帧率上转换视频编码方法，其特征在于：所述根据控制MP的参考索引确定目标MP的参考索引这一步骤，其包括：

判断4个控制MP的参考索引是否全部相同，若是，则以这4个控制MP的参考索引作为目标MP的参考索引；反之，则执行下一步的操作；

判断4个控制MP的参考索引中出现次数最多的参考索引是否只有一个，若是，则以该出现次数最多的参考索引作为目标MP的参考索引，反之，则从出现次数最多的所有参考索出中选取索引值最小的一个索引作为目标MP的参考索引。

6.根据权利要求4或5所述的一种基于变形运动模型的帧率上转换视频编码方法，其特征在于：所述根据控制MP四元运动矢量列表缩放后的运动矢量计算目标MP的运动矢量这一步骤，其具体为：

根据4个控制MP缩放后的运动矢量计算目标MP的运动矢量，所述目标MP的运动矢量计算公式为：

$v_0\left({\mathrm{MP}}_m\right)=\underset{i=1}{\overset{4}{\Σ}}{k}_{m,i}*v_i,{\mathrm{MP}}_m\∈S,$

其中，v₀(MP_m)为预测块中第m个目标MP的运动矢量，MP_m为预测块中第m个目标MP的位置，k_m,i为4个控制MP中第i个控制MP对MP_m的贡献度因子；i的取值范围为1、2、3和4，分别对应当前块左上角、右上角、左下角和右下角处的控制MP；v_i为4个控制MP中第i个控制MP缩放后的运动矢量，S为预测块当前预测的取值范围。

7.根据权利要求6所述的一种基于变形运动模型的帧率上转换视频编码方法，其特征在于：若目标MP的参考方向为A取左上方向、B取右上方向、C取左下方向和D取右下方向，则贡献度因子k_m,i的计算公式为：

$\left\{\begin{array}{c}{k}_{m,1}=\frac{(W+1-d_x)*(H+1-d_y)}{(W+1)*(H+1)}\\ k_{m,2}=\frac{d_x*(H+1-d_y)}{(W+1)*(H+1)}\\ k_{m,3}=\frac{(W+1-d_x)*d_y}{(W+1)*(H+1)}\\ k_{m,4}=\frac{d_x*H+1-d_y}{(W+1)*(H+1)}\end{array}\right.,$

其中，d_x和d_y分别为目标MP距离A中心的水平方向和竖直方向的距离，W和H分别为预测块的宽与高。

8.一种基于变形运动模型的帧率上转换视频编码系统，其特征在于：包括：

判断模块，用于根据当前块的左上角、右上角、左下角和右下角这4个角处的信息判断是否能构建变形运动模型；

帧率上转换模块，用于根据判断的结果采用变形运动模型预测方式、双向匹配模式或者模板匹配模式对当前块进行帧率上转换，得到当前块的运动信息并根据得到的运动信息进行运动补偿，其中，运动信息包括但不限于参考方向、参考索引和运动矢量。

9.根据权利要求8所述的一种基于变形运动模型的帧率上转换视频编码系统，其特征在于：所述判断模块包括：

角位置信息确定单元，用于根据设定的优先级顺序分别确定当前块4个角的参考位置，所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置；

变形运动模型构建判断单元，用于根据当前块4个角的参考位置存在情况判断是否能构建变形运动模型：若当前块的4个角均至少存在一个候选位置，则判定当前块能构建变形运动模型；反之，则判定当前块不能构建变形运动模型。

10.根据权利要求8或9所述的一种基于变形运动模型的帧率上转换视频编码系统，其特征在于：所述帧率上转换模块包括：

参考列表获取单元，用于将当前块的4个角的运动信息按照设定的优先级顺序组合成控制MP四元运动矢量列表{A、B、C、D}，所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置，其中，A、B、C和D分别为当前块左上角、右上角、左下角和右下角这4个角处的控制MP；

参考方向选取单元，用于从控制MP四元运动矢量列表的12种参考方向中选取一种方向作为目标MP的参考方向，其中，目标MP为预测块的MP，A包括左上、右上和左下这3种方向；B包括左上和右上这2种方向，C包括左上和左下这2种方向，D包括右下这1种方向，A、B、C和D通过组合共形成控制MP四元运动矢量列表的12种参考方向；

参考索引确定单元，用于根据4个控制MP的参考索引确定目标MP的参考索引；

参考列表运动矢量缩放单元，用于根据目标MP的参考索引缩放控制MP四元运动矢量列表的运动矢量，并将4个控制MP的参考索引全部修改为目标MP的参考索引；

目标MP运动矢量计算单元，用于根据控制MP四元运动矢量列表缩放后的运动矢量计算目标MP的运动矢量，以得到目标MP的运动信息；

运动补偿单元，用于当前块根据目标MP的运动信息进行运动补偿。