CN106454378A - 一种基于变形运动模型的帧率上转换视频编码方法及系统 - Google Patents
一种基于变形运动模型的帧率上转换视频编码方法及系统 Download PDFInfo
- Publication number
- CN106454378A CN106454378A CN201610808219.3A CN201610808219A CN106454378A CN 106454378 A CN106454378 A CN 106454378A CN 201610808219 A CN201610808219 A CN 201610808219A CN 106454378 A CN106454378 A CN 106454378A
- Authority
- CN
- China
- Prior art keywords
- current block
- target
- motion vector
- movement model
- amoeboid movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 163
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 17
- 239000013598 vector Substances 0.000 claims abstract description 102
- 230000005167 amoeboid movement Effects 0.000 claims description 85
- 238000010276 construction Methods 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/583—Motion compensation with overlapping blocks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于变形运动模型的帧率上转换视频编码方法及系统,方法包括:根据当前块的左上角、右上角、左下角和右下角这4个角处的信息判断是否能构建变形运动模型;根据判断的结果采用变形运动模型预测方式、双向匹配模式或者模板匹配模式对当前块进行帧率上转换,得到当前块的运动信息并根据得到的运动信息进行运动补偿,其中,运动信息包括但不限于参考方向、参考索引和运动矢量。本发明能通过变形运动模型事前对当前块的运动模型进行预测并计算出最小块的运动信息,节省了运动矢量的搜索时间,大大减少了编解码的时间和码率,提高了编解码速度和编解码效率。本发明可广泛应用于视频编码领域。
Description
技术领域
本发明涉及视频编码领域,尤其是一种基于变形运动模型的帧率上转换视频编码方法及系统。
背景技术
高性能视频编码(High Efficiency Video Coding,HEVC)标准是最新一代国际视频编码标准。自2010年1月起,VCEG(Video Coding Experts Group,视频编码专家组)和MPEG(Moving Picture Experts Group,活动图像编码专家组)共同组建了视频编码国际标准组织JCT-VC(Joint Collaborative Team on Video Coding)来制定新的国际视频编码标准HEVC。HEVC编码标准于2013年1月正式颁布,并已经申请成为国际视频编码标准。HEVC综合采纳了全球众多技术提案方的编码技术,与之前的视频编码标准相比,HEVC具有压缩效率更高、视频质量更好、健壮性更好、错误恢复能力更强、更适合在IP网络中传输等优点。
2015年6月,VCEG在其最新发布的视频编码技术平台HMKTA-1.0中,对HEVC现有的工具进行了改进,并添加了许多新的工具。该新的视频编码软件支持更大的编码树块和更大的变换块;加入了自适应滤波器,能对重叠块进行运动补偿;通过加入局部亮度补偿、帧率上采样模式等工具对帧间预测方式进行了改进;帧内预测也通过增加到63种预测方向并提供了4抽头的插值滤波器来提高预测的精度。通过增加这些工具,HMKTA-1.0软件分别在全帧内预测、随机存取和低延迟的编码方式中降低了2.9%,6.7%和4.9%的亮度BD-Rate。与上一代视频编码平台HM14.0相比,HMKTA1.0在随机存取方式中能达到16.5%的码率增益。
HMKTA-1.0平台的帧率上采样模式在进行帧率上转换时,通过添加的新工具FRUC来求取运动矢量。然而,新工具FRUC采用了分级计算的方式来求得每个最小块的运动矢量,其在每次搜索运动矢量时需耗费大量的时间,增加了编解码的时间和码率,降低了编解码速度和编解码效率,难以满足人们对视频应用日益增长的实时性高要求。
发明内容
为解决上述技术问题,本发明的目的在于:提供一种编解码时间短、编解码速度快和编解码效率高的,基于变形运动模型的帧率上转换视频编码方法。
本发明的另一目的在于:提供一种编解码时间短、编解码速度快和编解码效率高的,基于变形运动模型的帧率上转换视频编码系统。
本发明所采取的技术方案是:
一种基于变形运动模型的帧率上转换视频编码方法,包括以下步骤:
S1、根据当前块的左上角、右上角、左下角和右下角这4个角处的信息判断是否能构建变形运动模型;
S2、根据判断的结果采用变形运动模型预测方式、双向匹配模式或者模板匹配模式对当前块进行帧率上转换,得到当前块的运动信息并根据得到的运动信息进行运动补偿,其中,运动信息包括但不限于参考方向、参考索引和运动矢量。
进一步,所述步骤S1包括:
根据设定的优先级顺序分别确定当前块4个角的参考位置,所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置;
根据当前块4个角的参考位置存在情况判断是否能构建变形运动模型:若当前块的4个角均至少存在一个候选位置,则判定当前块能构建变形运动模型;反之,则判定当前块不能构建变形运动模型。
进一步,所述步骤S2具体为:
若当前块能构建变形运动模型,则采用变形运动模型预测方式对当前块进行帧率上转换,得到当前块的运动信息并根据得到的运动信息进行运动补偿;
若当前块不能构建变形运动模型,则采用HEVC编码的双向匹配模式或者HEVC编码的模板匹配模式对当前块进行帧率上转换,得到当前块的运动信息并根据得到的运动信息进行运动补偿。
进一步,所述根据判断的结果采用变形运动模型预测方式对当前块进行帧率上转换,得到当前块的运动信息并根据得到的运动信息进行运动补偿这一步骤,其包括:
将当前块的4个角的运动信息按照设定的优先级顺序组合成控制MP四元运动矢量列表{A、B、C、D},所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置,其中,A、B、C和D分别为当前块左上角、右上角、左下角和右下角这4个角处的控制MP,MP为最小划分单元;
从控制MP四元运动矢量列表的12种参考方向中选取一种方向作为目标MP的参考方向,其中,目标MP为预测块的MP,A包括左上、右上和左下这3种方向;B包括左上和右上这2种方向,C包括左上和左下这2种方向,D包括右下这1种方向,A、B、C和D通过组合共形成控制MP四元运动矢量列表的12种参考方向;
根据4个控制MP的参考索引确定目标MP的参考索引;
根据目标MP的参考索引缩放控制MP四元运动矢量列表的运动矢量,并将4个控制MP的参考索引全部修改为目标MP的参考索引;
根据控制MP四元运动矢量列表缩放后的运动矢量计算目标MP的运动矢量,以得到目标MP的运动信息;
当前块根据目标MP的运动信息进行运动补偿。
进一步,所述根据控制MP的参考索引确定目标MP的参考索引这一步骤,其包括:
判断4个控制MP的参考索引是否全部相同,若是,则以这4个控制MP的参考索引作为目标MP的参考索引;反之,则执行下一步的操作;
判断4个控制MP的参考索引中出现次数最多的参考索引是否只有一个,若是,则以该出现次数最多的参考索引作为目标MP的参考索引,反之,则从出现次数最多的所有参考索出中选取索引值最小的一个索引作为目标MP的参考索引。
进一步,所述根据控制MP四元运动矢量列表缩放后的运动矢量计算目标MP的运动矢量这一步骤,其具体为:
根据4个控制MP缩放后的运动矢量计算目标MP的运动矢量,所述目标MP的运动矢量计算公式为:
其中,v0(MPm)为预测块中第m个目标MP的运动矢量,MPm为预测块中第m个目标MP的位置,km,i为4个控制MP中第i个控制MP对MPm的贡献度因子;i的取值范围为1、2、3和4,分别对应当前块左上角、右上角、左下角和右下角处的控制MP;vi为4个控制MP中第i个控制MP缩放后的运动矢量,S为预测块当前预测的取值范围。
进一步,若目标MP的参考方向为A取左上方向、B取右上方向、C取左下方向和D取右下方向,则贡献度因子km,i的计算公式为:
其中,dx和dy分别为目标MP距离A中心的水平方向和竖直方向的距离,W和H分别为预测块的宽与高。
本发明所采取的另一技术方案是:
一种基于变形运动模型的帧率上转换视频编码系统,包括:
判断模块,用于根据当前块的左上角、右上角、左下角和右下角这4个角处的信息判断是否能构建变形运动模型;
帧率上转换模块,用于根据判断的结果采用变形运动模型预测方式、双向匹配模式或者模板匹配模式对当前块进行帧率上转换,得到当前块的运动信息并根据得到的运动信息进行运动补偿,其中,运动信息包括但不限于参考方向、参考索引和运动矢量。
进一步,所述判断模块包括:
角位置信息确定单元,用于根据设定的优先级顺序分别确定当前块4个角的参考位置,所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置;
变形运动模型构建判断单元,用于根据当前块4个角的参考位置存在情况判断是否能构建变形运动模型:若当前块的4个角均至少存在一个候选位置,则判定当前块能构建变形运动模型;反之,则判定当前块不能构建变形运动模型。
进一步,所述帧率上转换模块包括:
参考列表获取单元,用于将当前块的4个角的运动信息按照设定的优先级顺序组合成控制MP四元运动矢量列表{A、B、C、D},所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置,其中,A、B、C和D分别为当前块左上角、右上角、左下角和右下角这4个角处的控制MP;
参考方向选取单元,用于从控制MP四元运动矢量列表的12种参考方向中选取一种方向作为目标MP的参考方向,其中,目标MP为预测块的MP,A包括左上、右上和左下这3种方向;B包括左上和右上这2种方向,C包括左上和左下这2种方向,D包括右下这1种方向,A、B、C和D通过组合共形成控制MP四元运动矢量列表的12种参考方向;
参考索引确定单元,用于根据4个控制MP的参考索引确定目标MP的参考索引;
参考列表运动矢量缩放单元,用于根据目标MP的参考索引缩放控制MP四元运动矢量列表的运动矢量,并将4个控制MP的参考索引全部修改为目标MP的参考索引;
目标MP运动矢量计算单元,用于根据控制MP四元运动矢量列表缩放后的运动矢量计算目标MP的运动矢量,以得到目标MP的运动信息;
运动补偿单元,用于当前块根据目标MP的运动信息进行运动补偿。
本发明的方法的有益效果是:先根据当前块的左上角、右上角、左下角和右下角这4个角处的信息判断是否能构建变形运动模型,然后根据判断的结果采用变形运动模型预测方式、双向匹配模式或者模板匹配模式对当前块进行帧率上转换,在传统的双向匹配模式和模板匹配模式这两种帧率上转换模式的基础上增加了变形运动模型预测方式,能通过变形运动模型事前对当前块的运动模型进行预测并计算出最小块的运动信息,不再需要通过分级计算的方式来求得每个最小块的运动矢量,节省了运动矢量的搜索时间,大大减少了编解码的时间和码率,提高了编解码速度和编解码效率,能满足人们对视频应用日益增长的实时性高要求。
本发明的系统的有益效果是:先在判断模块中根据当前块的左上角、右上角、左下角和右下角这4个角处的信息判断是否能构建变形运动模型,然后在帧率上转换模块中根据判断的结果采用变形运动模型预测方式、双向匹配模式或者模板匹配模式对当前块进行帧率上转换,在传统的双向匹配模式和模板匹配模式这两种帧率上转换模式的基础上增设了变形运动模型预测方式,能通过变形运动模型事前对当前块的运动模型进行预测并计算出最小块的运动信息,不再需要通过分级计算的方式来求得每个最小块的运动矢量,节省了运动矢量的搜索时间,大大减少了编解码的时间和码率,提高了编解码速度和编解码效率,能满足人们对视频应用日益增长的实时性高要求。
附图说明
图1为本发明一种基于变形运动模型的帧率上转换视频编码方法的整体流程图;
图2为本发明变形运动模型运动信息的参考位置示意图;
图3为本发明变形运动模型的12种参考运动信息组成情况示意图;
图4为本发明变形运动模型中目标MP与控制MP的一种位置关系示意图;
图5为本发明双向匹配模式的示意图;
图6为本发明模板匹配模式的示意图。
具体实施方式
参照图1,一种基于变形运动模型的帧率上转换视频编码方法,包括以下步骤:
S1、根据当前块的左上角、右上角、左下角和右下角这4个角处的信息判断是否能构建变形运动模型;
S2、根据判断的结果采用变形运动模型预测方式、双向匹配模式或者模板匹配模式对当前块进行帧率上转换,得到当前块的运动信息并根据得到的运动信息进行运动补偿,其中,运动信息包括但不限于参考方向、参考索引和运动矢量。
进一步作为优选的实施方式,所述步骤S1包括:
根据设定的优先级顺序分别确定当前块4个角的参考位置,所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置;
根据当前块4个角的参考位置存在情况判断是否能构建变形运动模型:若当前块的4个角均至少存在一个候选位置,则判定当前块能构建变形运动模型;反之,则判定当前块不能构建变形运动模型。
进一步作为优选的实施方式,所述步骤S2具体为:
若当前块能构建变形运动模型,则采用变形运动模型预测方式对当前块进行帧率上转换,得到当前块的运动信息并根据得到的运动信息进行运动补偿;
若当前块不能构建变形运动模型,则采用HEVC编码的双向匹配模式或者HEVC编码的模板匹配模式对当前块进行帧率上转换,得到当前块的运动信息并根据得到的运动信息进行运动补偿。
进一步作为优选的实施方式,所述根据判断的结果采用变形运动模型预测方式对当前块进行帧率上转换,得到当前块的运动信息并根据得到的运动信息进行运动补偿这一步骤,其包括:
将当前块的4个角的运动信息按照设定的优先级顺序组合成控制MP四元运动矢量列表{A、B、C、D},所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置,其中,A、B、C和D分别为当前块左上角、右上角、左下角和右下角这4个角处的控制MP;
从控制MP四元运动矢量列表的12种参考方向中选取一种方向作为目标MP的参考方向,其中,目标MP为预测块的MP,A包括左上、右上和左下这3种方向;B包括左上和右上这2种方向,C包括左上和左下这2种方向,D包括右下这1种方向,A、B、C和D通过组合共形成控制MP四元运动矢量列表的12种参考方向;
根据4个控制MP的参考索引确定目标MP的参考索引;
根据目标MP的参考索引缩放控制MP四元运动矢量列表的运动矢量,并将4个控制MP的参考索引全部修改为目标MP的参考索引;
根据控制MP四元运动矢量列表缩放后的运动矢量计算目标MP的运动矢量,以得到目标MP的运动信息;
当前块根据目标MP的运动信息进行运动补偿。
其中,MP,Minimun Partition,是指最小划分单元。
进一步作为优选的实施方式,所述根据控制MP的参考索引确定目标MP的参考索引这一步骤,其包括:
判断4个控制MP的参考索引是否全部相同,若是,则以这4个控制MP的参考索引作为目标MP的参考索引;反之,则执行下一步的操作;
判断4个控制MP的参考索引中出现次数最多的参考索引是否只有一个,若是,则以该出现次数最多的参考索引作为目标MP的参考索引,反之,则从出现次数最多的所有参考索出中选取索引值最小的一个索引作为目标MP的参考索引。
进一步作为优选的实施方式,所述根据控制MP四元运动矢量列表缩放后的运动矢量计算目标MP的运动矢量这一步骤,其具体为:
根据4个控制MP缩放后的运动矢量计算目标MP的运动矢量,所述目标MP的运动矢量计算公式为:
其中,v0(MPm)为预测块中第m个目标MP的运动矢量,MPm为预测块中第m个目标MP的位置,km,i为4个控制MP中第i个控制MP对MPm的贡献度因子;i的取值范围为1、2、3和4,分别对应当前块左上角、右上角、左下角和右下角处的控制MP;vi为4个控制MP中第i个控制MP缩放后的运动矢量,S为预测块当前预测的取值范围。
进一步作为优选的实施方式,若目标MP的参考方向为A取左上方向、B取右上方向、C取左下方向和D取右下方向,则贡献度因子km,i的计算公式为:
其中,dx和dy分别为目标MP距离A中心的水平方向和竖直方向的距离,W和H分别为预测块的宽与高。
参照图1,一种基于变形运动模型的帧率上转换视频编码系统,包括:
判断模块,用于根据当前块的左上角、右上角、左下角和右下角这4个角处的信息判断是否能构建变形运动模型;
帧率上转换模块,用于根据判断的结果采用变形运动模型预测方式、双向匹配模式或者模板匹配模式对当前块进行帧率上转换,得到当前块的运动信息并根据得到的运动信息进行运动补偿,其中,运动信息包括但不限于参考方向、参考索引和运动矢量。
进一步作为优选的实施方式,所述判断模块包括:
角位置信息确定单元,用于根据设定的优先级顺序分别确定当前块4个角的参考位置,所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置;
变形运动模型构建判断单元,用于根据当前块4个角的参考位置存在情况判断是否能构建变形运动模型:若当前块的4个角均至少存在一个候选位置,则判定当前块能构建变形运动模型;反之,则判定当前块不能构建变形运动模型。
进一步作为优选的实施方式,所述帧率上转换模块包括:
参考列表获取单元,用于将当前块的4个角的运动信息按照设定的优先级顺序组合成控制MP四元运动矢量列表{A、B、C、D},所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置,其中,A、B、C和D分别为当前块左上角、右上角、左下角和右下角这4个角处的控制MP;
参考方向选取单元,用于从控制MP四元运动矢量列表的12种参考方向中选取一种方向作为目标MP的参考方向,其中,目标MP为预测块的MP,A包括左上、右上和左下这3种方向;B包括左上和右上这2种方向,C包括左上和左下这2种方向,D包括右下这1种方向,A、B、C和D通过组合共形成控制MP四元运动矢量列表的12种参考方向;
参考索引确定单元,用于根据4个控制MP的参考索引确定目标MP的参考索引;
参考列表运动矢量缩放单元,用于根据目标MP的参考索引缩放控制MP四元运动矢量列表的运动矢量,并将4个控制MP的参考索引全部修改为目标MP的参考索引;
目标MP运动矢量计算单元,用于根据控制MP四元运动矢量列表缩放后的运动矢量计算目标MP的运动矢量,以得到目标MP的运动信息;
运动补偿单元,用于当前块根据目标MP的运动信息进行运动补偿。
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。
实施例一
针对现有技术采用分级计算所带来的编解码时间长、编解码速度慢和编解码效率低的问题,本发明提出了一种全新的帧率上转换视频编码方法。如图1所示,本发明将变形运动模型预测方式作为帧率上转换算法中的第三种模式,改进后的帧率上转换算法先测试变形运动模型是否能够构建,若是,则采用变形运动模型预测方式,反之,仍沿用HEVC编码预测算法的双向匹配模式或者模板匹配模式。
其中,变形运动模型预测方式的运动信息主要包括三个重要参数:参考方向、参考索引和运动矢量。如图2所示,本发明变形运动模型中当前块的运动信息由当前块的四个角处的运动信息预测求得。其中,a块到g块为当前块已编码的空域临近块,u块为位于当前块的右下角处的同位时域块。与传统的HEVC预测模式不同,本发明的变形运动模型预测方式是将参考列表分开4个角来分别获取,编码时会先构建前向参考列表,然后根据当前帧是否为B帧来决定是否构建后向参考列表。本发明的变形运动模型预测方式会根据不同的参考列表组合选取不同的预测方式,然后由参考块的运动信息求出当前块的运动信息,最后进行运动补偿。当且仅当图2当前块的4个角都至少存在一个候选位置时才能使用本发明变形运动模型预测算法。而当当前块有一个角处的运动信息存在多个候选块时,需要按照一定的优先级顺序选取运动信息,具体的优先等级是:左上角c>b>a、右上角d>e、左下角为f>g。通过上述的优先等级最终将组合成{U0、U1、U2、I}的四元组的运动信息集合,U0、U1、U2、I分别为左上角、右上角、左下角和右下角的候选块运动信息。构建以上四元组时,不仅要判断参考块的运动信息是否可用,还需在参考块构建完成后检查其运动信息是否具有唯一性,即排除所有参考块的运动信息完全一致的情况。由于可以选择不同的参考块,所以四元组的运动信息集合{U0、U1、U2、I}共有3×2×2=12种模式存在,如图3所示。
当确定好变形运动模型的模式为图3中的其中一种情况后,可以根据参考块的运动信息求当前块的运动信息,具体步骤如下:
步骤1:将当前块的4个角的运动信息按照前述的优先级顺序组合成控制MP四元运动矢量列表(即参考候选列表){A、B、C、D},其中,A、B、C、D为控制MP。
步骤2:确定预测块的每个MP(即目标MP)的参考方向为步骤1中控制MP四元运动矢量列表的参考方向。如图3所示,控制MP四元运动矢量列表的参考方向一共有12种。
步骤3:确定目标MP的参考索引。
4个控制MP的参考索引可能存在较大的区别,所以需要统一4个控制MP的参考索引,以为目标MP提供运动补偿,具体做法为:
首先检查4个控制MP的参考索引是否相同,如果参考索引全部一样,就把这4个控制MP的参考索引作为目标MP的参考索引;
若这4个控制MP的参考索引不相同,则将出现次数最多的MP的参考索引赋值给目标MP。若出现次数最多的控制MP参考索引有多个,则把这些参考索引中索引值最小的赋值给目标MP的参考索引。
步骤4:缩放参考候选列表的运动矢量MV。
步骤3得到最佳的目标MP参考索引后,需要将四个控制MP的参考索引全部修改为该目标MP参考索引;而参考索引发生了改变,故此时又需要对原有的运动矢量MV进行缩放,其所采用缩放的方式与HEVC编码标准的缩放方式相同。
步骤5:计算目标MP的运动矢量MV。在当前块四个角的控制MP的参考帧和MV都求得后,计算目标MP的运动信息。其中,四个控制MP的运动矢量为vi,i=1、2、3、4,目标MP的运动矢量为vo,vo的计算公式如下:
上式中,MPm代表预测块中第m个目标MP的位置,每个MP都必须在当前预测的范围S内,km,i取决于不同的控制MP对目标MPm的贡献度。本发明可采用双线性插值函数进行插值,不同位置的控制MP将会有不同的插值核。
下面以图3的(2)为例子介绍采用双线性插值函数确定km,i的过程。假设图4中块E为预测块中的一个目标MP,A、B、C和D为构建的控制MP,dx和dy分别为E这一当前目标MP距离A中心的水平和竖直方向的距离,W、H分别为预测块的宽与高。实际上,本发明所有的距离均是实际值除以4得到,例如,一个大小为64×64的预测块,它的W和H值都为16。此外,A和B(或C和D)间的距离与选取的具体候选位置有关:若A选左上角即图2的a,B选右上角即图2的e,则A和B间的距离为(W+1);若A选左上角即图2的a,B选左上角即图2的d,则A和B间的距离为W。同理,A和C(或B和D)间的距离根据实际情况,可为(H+1)或H。图4中,A和B(或C和D)间的宽度为(W+1);A和C(或B和D)间的距离为(H+1),此时,km,i的计算公式为:
而当变形运动模型的构建条件不成立时,本发明仍将沿用HEVC编码预测算法的双向匹配模式或者模板匹配模式。
而HEVC编码预测算法的帧率上转换模式包括两种模式:双向匹配模式和模板匹配模式。双向匹配模式只会在帧间的预测方式为双向预测时使用。在图5所示的双向匹配模式中,mv0与mv1分别为当前块相对于参考帧1和2的运动矢量,TD0与TD1为这两个参考帧距离当前块当前帧的距离。假设物体的运动是连续的,则物体的运动距离与它经过的时间成正比。当当前帧恰好位于两个参考帧的中间时,mv0与mv1的大小相等且方向相反。双向匹配模式通过mv0、mv1与参考帧0和参考帧1来求出当前块的两个预测块,这两个预测块对应的残差块之差即为双向匹配误差。此时,可通过构建运动矢量候选表并寻找出使双向匹配误差最小的运动矢量mv,再经运动搜索后即可得到当前块的mv。接着,以当前块的运动矢量mv作为搜索起点,将当前块进行划分后,再按照相同的方式求出每个小块的运动矢量mv。
模板匹配模式的具体计算步骤与双向匹配模式相同,但它可以在单向预测时采用。如图6所示,模板匹配模式的匹配误差由当前块的右上块与左下块和预测块(即参考帧)的右上块与左下块的残差值之和求得。
为了减少HMKTA-1.0编码算法的耗费时间,本发明提出了一种基于变形运动模型的帧率上转换视频编码方法。该方法通过对现实生活中的运动模型进行模拟,采用了变形运动模型来对物体进行模拟,通过变形运动模型事前对物体的运动模型进行预测,按变形运动模型的公式求得每个最小块的运动矢量,这样便可以大大减少编码与解码的时间。对符合变形运动模型构建条件的视频序列,本发明能够显著降低视频编解码的码率,提高了编解码速度和编解码效率,能满足人们对视频应用日益增长的实时性高要求。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种基于变形运动模型的帧率上转换视频编码方法,其特征在于:包括以下步骤:
S1、根据当前块的左上角、右上角、左下角和右下角这4个角处的信息判断是否能构建变形运动模型;
S2、根据判断的结果采用变形运动模型预测方式、双向匹配模式或者模板匹配模式对当前块进行帧率上转换,得到当前块的运动信息并根据得到的运动信息进行运动补偿,其中,运动信息包括但不限于参考方向、参考索引和运动矢量。
2.根据权利要求1所述的一种基于变形运动模型的帧率上转换视频编码方法,其特征在于:所述步骤S1包括:
根据设定的优先级顺序分别确定当前块4个角的参考位置,所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置;
根据当前块4个角的参考位置存在情况判断是否能构建变形运动模型:若当前块的4个角均至少存在一个候选位置,则判定当前块能构建变形运动模型;反之,则判定当前块不能构建变形运动模型。
3.根据权利要求1或2所述的一种基于变形运动模型的帧率上转换视频编码方法,其特征在于:所述步骤S2具体为:
若当前块能构建变形运动模型,则采用变形运动模型预测方式对当前块进行帧率上转换,得到当前块的运动信息并根据得到的运动信息进行运动补偿;
若当前块不能构建变形运动模型,则采用HEVC编码的双向匹配模式或者HEVC编码的模板匹配模式对当前块进行帧率上转换,得到当前块的运动信息并根据得到的运动信息进行运动补偿。
4.根据权利要求1所述的一种基于变形运动模型的帧率上转换视频编码方法,其特征在于:所述根据判断的结果采用变形运动模型预测方式对当前块进行帧率上转换,得到当前块的运动信息并根据得到的运动信息进行运动补偿这一步骤,其包括:
将当前块的4个角的运动信息按照设定的优先级顺序组合成控制MP四元运动矢量列表{A、B、C、D},所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置,其中,A、B、C和D分别为当前块左上角、右上角、左下角和右下角这4个角处的控制MP,MP为最小划分单元;
从控制MP四元运动矢量列表的12种参考方向中选取一种方向作为目标MP的参考方向,其中,目标MP为预测块的MP,A包括左上、右上和左下这3种方向;B包括左上和右上这2种方向,C包括左上和左下这2种方向,D包括右下这1种方向,A、B、C和D通过组合共形成控制MP四元运动矢量列表的12种参考方向;
根据4个控制MP的参考索引确定目标MP的参考索引;
根据目标MP的参考索引缩放控制MP四元运动矢量列表的运动矢量,并将4个控制MP的参考索引全部修改为目标MP的参考索引;
根据控制MP四元运动矢量列表缩放后的运动矢量计算目标MP的运动矢量,以得到目标MP的运动信息;
当前块根据目标MP的运动信息进行运动补偿。
5.根据权利要求4所述的一种基于变形运动模型的帧率上转换视频编码方法,其特征在于:所述根据控制MP的参考索引确定目标MP的参考索引这一步骤,其包括:
判断4个控制MP的参考索引是否全部相同,若是,则以这4个控制MP的参考索引作为目标MP的参考索引;反之,则执行下一步的操作;
判断4个控制MP的参考索引中出现次数最多的参考索引是否只有一个,若是,则以该出现次数最多的参考索引作为目标MP的参考索引,反之,则从出现次数最多的所有参考索出中选取索引值最小的一个索引作为目标MP的参考索引。
6.根据权利要求4或5所述的一种基于变形运动模型的帧率上转换视频编码方法,其特征在于:所述根据控制MP四元运动矢量列表缩放后的运动矢量计算目标MP的运动矢量这一步骤,其具体为:
根据4个控制MP缩放后的运动矢量计算目标MP的运动矢量,所述目标MP的运动矢量计算公式为:
其中,v0(MPm)为预测块中第m个目标MP的运动矢量,MPm为预测块中第m个目标MP的位置,km,i为4个控制MP中第i个控制MP对MPm的贡献度因子;i的取值范围为1、2、3和4,分别对应当前块左上角、右上角、左下角和右下角处的控制MP;vi为4个控制MP中第i个控制MP缩放后的运动矢量,S为预测块当前预测的取值范围。
7.根据权利要求6所述的一种基于变形运动模型的帧率上转换视频编码方法,其特征在于:若目标MP的参考方向为A取左上方向、B取右上方向、C取左下方向和D取右下方向,则贡献度因子km,i的计算公式为:
其中,dx和dy分别为目标MP距离A中心的水平方向和竖直方向的距离,W和H分别为预测块的宽与高。
8.一种基于变形运动模型的帧率上转换视频编码系统,其特征在于:包括:
判断模块,用于根据当前块的左上角、右上角、左下角和右下角这4个角处的信息判断是否能构建变形运动模型;
帧率上转换模块,用于根据判断的结果采用变形运动模型预测方式、双向匹配模式或者模板匹配模式对当前块进行帧率上转换,得到当前块的运动信息并根据得到的运动信息进行运动补偿,其中,运动信息包括但不限于参考方向、参考索引和运动矢量。
9.根据权利要求8所述的一种基于变形运动模型的帧率上转换视频编码系统,其特征在于:所述判断模块包括:
角位置信息确定单元,用于根据设定的优先级顺序分别确定当前块4个角的参考位置,所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置;
变形运动模型构建判断单元,用于根据当前块4个角的参考位置存在情况判断是否能构建变形运动模型:若当前块的4个角均至少存在一个候选位置,则判定当前块能构建变形运动模型;反之,则判定当前块不能构建变形运动模型。
10.根据权利要求8或9所述的一种基于变形运动模型的帧率上转换视频编码系统,其特征在于:所述帧率上转换模块包括:
参考列表获取单元,用于将当前块的4个角的运动信息按照设定的优先级顺序组合成控制MP四元运动矢量列表{A、B、C、D},所述设定的优先级顺序用于在当前块4个角存在多个候选位置时选取一个候选位置作为相应角的参考位置,其中,A、B、C和D分别为当前块左上角、右上角、左下角和右下角这4个角处的控制MP;
参考方向选取单元,用于从控制MP四元运动矢量列表的12种参考方向中选取一种方向作为目标MP的参考方向,其中,目标MP为预测块的MP,A包括左上、右上和左下这3种方向;B包括左上和右上这2种方向,C包括左上和左下这2种方向,D包括右下这1种方向,A、B、C和D通过组合共形成控制MP四元运动矢量列表的12种参考方向;
参考索引确定单元,用于根据4个控制MP的参考索引确定目标MP的参考索引;
参考列表运动矢量缩放单元,用于根据目标MP的参考索引缩放控制MP四元运动矢量列表的运动矢量,并将4个控制MP的参考索引全部修改为目标MP的参考索引;
目标MP运动矢量计算单元,用于根据控制MP四元运动矢量列表缩放后的运动矢量计算目标MP的运动矢量,以得到目标MP的运动信息;
运动补偿单元,用于当前块根据目标MP的运动信息进行运动补偿。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610808219.3A CN106454378B (zh) | 2016-09-07 | 2016-09-07 | 一种基于变形运动模型的帧率上转换视频编码方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610808219.3A CN106454378B (zh) | 2016-09-07 | 2016-09-07 | 一种基于变形运动模型的帧率上转换视频编码方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106454378A true CN106454378A (zh) | 2017-02-22 |
CN106454378B CN106454378B (zh) | 2019-01-29 |
Family
ID=58165453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610808219.3A Expired - Fee Related CN106454378B (zh) | 2016-09-07 | 2016-09-07 | 一种基于变形运动模型的帧率上转换视频编码方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106454378B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107027029A (zh) * | 2017-03-01 | 2017-08-08 | 四川大学 | 基于帧率变换的高性能视频编码改进方法 |
WO2020006969A1 (zh) * | 2018-07-02 | 2020-01-09 | 华为技术有限公司 | 运动矢量预测方法以及相关装置 |
WO2020057559A1 (zh) * | 2018-09-20 | 2020-03-26 | 杭州海康威视数字技术股份有限公司 | 一种解码、编码方法及其设备 |
WO2020114356A1 (zh) * | 2018-12-03 | 2020-06-11 | 华为技术有限公司 | 帧间预测方法和相关装置 |
CN111316639A (zh) * | 2018-04-09 | 2020-06-19 | 腾讯美国有限责任公司 | 用于子块运动矢量预测的方法和装置 |
WO2020125755A1 (en) * | 2018-12-21 | 2020-06-25 | Beijing Bytedance Network Technology Co., Ltd. | Motion vector range based on motion vector precision |
CN111386706A (zh) * | 2017-10-05 | 2020-07-07 | 交互数字Vc控股公司 | 解耦模式推断和预测 |
CN111669592A (zh) * | 2019-03-05 | 2020-09-15 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
WO2020182194A1 (zh) * | 2019-03-14 | 2020-09-17 | 华为技术有限公司 | 帧间预测的方法及相关装置 |
CN111741304A (zh) * | 2019-03-25 | 2020-10-02 | 四川大学 | 一种基于运动矢量细化的帧率上变换与hevc相结合的方法 |
CN112055220A (zh) * | 2019-06-05 | 2020-12-08 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
CN113411602A (zh) * | 2019-06-21 | 2021-09-17 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050232357A1 (en) * | 2004-03-30 | 2005-10-20 | Ralf Hubrich | Motion vector estimation at image borders |
CN1926868A (zh) * | 2003-10-17 | 2007-03-07 | 伦斯莱尔工艺研究院 | 在运动补偿时间滤波可伸缩视频编码器的环境中用于可变尺寸块的重叠块运动补偿 |
EP2461565A2 (en) * | 2010-12-03 | 2012-06-06 | Vestel Elektronik Sanayi ve Ticaret A.S. | Motion estimation method for frame rate up conversion applications |
CN102665061A (zh) * | 2012-04-27 | 2012-09-12 | 中山大学 | 一种基于运动矢量处理的帧率上转换方法及其装置 |
CN104219533A (zh) * | 2014-09-24 | 2014-12-17 | 苏州科达科技股份有限公司 | 一种双向运动估计方法和视频帧率上转换方法及系统 |
-
2016
- 2016-09-07 CN CN201610808219.3A patent/CN106454378B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1926868A (zh) * | 2003-10-17 | 2007-03-07 | 伦斯莱尔工艺研究院 | 在运动补偿时间滤波可伸缩视频编码器的环境中用于可变尺寸块的重叠块运动补偿 |
US20050232357A1 (en) * | 2004-03-30 | 2005-10-20 | Ralf Hubrich | Motion vector estimation at image borders |
EP2461565A2 (en) * | 2010-12-03 | 2012-06-06 | Vestel Elektronik Sanayi ve Ticaret A.S. | Motion estimation method for frame rate up conversion applications |
CN102665061A (zh) * | 2012-04-27 | 2012-09-12 | 中山大学 | 一种基于运动矢量处理的帧率上转换方法及其装置 |
CN104219533A (zh) * | 2014-09-24 | 2014-12-17 | 苏州科达科技股份有限公司 | 一种双向运动估计方法和视频帧率上转换方法及系统 |
Non-Patent Citations (2)
Title |
---|
李莉,侯正信: "一种自适应帧频提升算法研究", 《计算机应用研究》 * |
贾茜,肖进胜等: "基于三维递归搜索的多级运动估计视频帧率上转换算法", 《电子与信息学报》 * |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107027029A (zh) * | 2017-03-01 | 2017-08-08 | 四川大学 | 基于帧率变换的高性能视频编码改进方法 |
CN107027029B (zh) * | 2017-03-01 | 2020-01-10 | 四川大学 | 基于帧率变换的高性能视频编码改进方法 |
US11805271B2 (en) | 2017-10-05 | 2023-10-31 | Interdigital Vc Holdings, Inc. | Decoupled mode inference and prediction |
CN111386706B (zh) * | 2017-10-05 | 2024-04-19 | 交互数字Vc控股公司 | 解耦模式推断和预测 |
CN111386706A (zh) * | 2017-10-05 | 2020-07-07 | 交互数字Vc控股公司 | 解耦模式推断和预测 |
EP3753243A4 (en) * | 2018-04-09 | 2021-03-31 | Tencent America LLC | METHODS AND DEVICES FOR SUBBLOCK MOTION VECTOR PREDICTION |
CN111316639A (zh) * | 2018-04-09 | 2020-06-19 | 腾讯美国有限责任公司 | 用于子块运动矢量预测的方法和装置 |
CN111316639B (zh) * | 2018-04-09 | 2023-12-15 | 腾讯美国有限责任公司 | 视频解码方法和装置、及存储介质 |
JP2021518093A (ja) * | 2018-04-09 | 2021-07-29 | テンセント・アメリカ・エルエルシー | サブブロックの動きベクトル予測の方法、並びにその装置及びコンピュータプログラム |
JP7080434B2 (ja) | 2018-04-09 | 2022-06-06 | テンセント・アメリカ・エルエルシー | サブブロックの動きベクトル予測の方法、並びにその装置及びコンピュータプログラム |
WO2020006969A1 (zh) * | 2018-07-02 | 2020-01-09 | 华为技术有限公司 | 运动矢量预测方法以及相关装置 |
US11683496B2 (en) | 2018-07-02 | 2023-06-20 | Huawei Technologies Co., Ltd. | Motion vector prediction method and related apparatus |
US11206408B2 (en) | 2018-07-02 | 2021-12-21 | Huawei Technologies Co., Ltd. | Motion vector prediction method and related apparatus |
WO2020057559A1 (zh) * | 2018-09-20 | 2020-03-26 | 杭州海康威视数字技术股份有限公司 | 一种解码、编码方法及其设备 |
WO2020114356A1 (zh) * | 2018-12-03 | 2020-06-11 | 华为技术有限公司 | 帧间预测方法和相关装置 |
US11601667B2 (en) | 2018-12-03 | 2023-03-07 | Huawei Technologies Co., Ltd. | Inter prediction method and related apparatus |
WO2020125755A1 (en) * | 2018-12-21 | 2020-06-25 | Beijing Bytedance Network Technology Co., Ltd. | Motion vector range based on motion vector precision |
US11197016B2 (en) | 2018-12-21 | 2021-12-07 | Beijing Bytedance Network Technology Co., Ltd. | Motion vector range based on motion vector precision |
US11843798B2 (en) | 2018-12-21 | 2023-12-12 | Beijing Bytedance Network Technology Co., Ltd | Motion vector range based on motion vector precision |
CN111669592B (zh) * | 2019-03-05 | 2022-11-25 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
CN111669592A (zh) * | 2019-03-05 | 2020-09-15 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
WO2020182194A1 (zh) * | 2019-03-14 | 2020-09-17 | 华为技术有限公司 | 帧间预测的方法及相关装置 |
CN111741304A (zh) * | 2019-03-25 | 2020-10-02 | 四川大学 | 一种基于运动矢量细化的帧率上变换与hevc相结合的方法 |
CN112055220A (zh) * | 2019-06-05 | 2020-12-08 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
CN113411602A (zh) * | 2019-06-21 | 2021-09-17 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
Also Published As
Publication number | Publication date |
---|---|
CN106454378B (zh) | 2019-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106454378A (zh) | 一种基于变形运动模型的帧率上转换视频编码方法及系统 | |
CN102939760B (zh) | 用于基于变换和反变换执行内插的方法和设备 | |
CN104539952B (zh) | 对图像进行解码的方法 | |
CN104811724B (zh) | 用于对运动矢量进行编码和解码的方法和设备 | |
CN104486620B (zh) | 对图像编码的方法和设备及对图像解码的方法和设备 | |
CN106131547A (zh) | 视频编码中帧内预测模式的快速决策方法 | |
CN108781284A (zh) | 具有仿射运动补偿的视频编解码的方法及装置 | |
CN106851292A (zh) | 用于帧内预测的解码图像的方法 | |
CN107809642A (zh) | 用于视频图像编码和解码的方法、编码设备和解码设备 | |
CN102291581B (zh) | 支持帧场自适应运动估计的实现方法 | |
CN103119935A (zh) | 图像插值方法和设备 | |
CN108134939A (zh) | 一种运动估计方法及装置 | |
CN105898332B (zh) | 针对3d-hevc编码标准的快速深度图帧内模式判决方法 | |
WO2012142934A1 (zh) | 使用空间缩放预测的视频编解码方法 | |
CN100385957C (zh) | 一种运动矢量预测的方法 | |
JP2011010297A (ja) | 誤差絶対値和の推定システム及び推定方法 | |
CN104967858B (zh) | 一种子像素运动向量估计方法和装置 | |
WO2021031225A1 (zh) | 一种运动矢量导出方法、装置及电子设备 | |
CN106658024A (zh) | 一种快速的视频编码方法 | |
KR100490730B1 (ko) | 비디오 영상 압축 시스템에서의 적응적 패턴을 이용한움직임 예측 장치 및 방법 | |
CN104702954B (zh) | 视频编码方法及装置 | |
CN103096093A (zh) | 一种h.264视频p帧的差错掩盖方法 | |
CN104601991A (zh) | 一种时域预测参数的搜索方法和装置 | |
CN100396100C (zh) | 视频压缩的运动估计方法 | |
CN103997635B (zh) | 自由视点视频的合成视点失真预测方法及编码方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190129 |