CN103747251B

CN103747251B - 一种视频图像的插值优化方法及滤波器

Info

Publication number: CN103747251B
Application number: CN201310465581.1A
Authority: CN
Inventors: 王荣刚; 吕浩; 解晓东; 王振宇; 董胜富; 高文
Original assignee: Peking University Shenzhen Graduate School
Current assignee: Peking University Shenzhen Graduate School
Priority date: 2013-09-30
Filing date: 2013-09-30
Publication date: 2017-08-08
Anticipated expiration: 2033-09-30
Also published as: CN103747251A

Abstract

本申请公开了一种视频图像的插值优化方法，包括：获取视频数据序列的序列信息；根据所述序列信息确定所使用的插值滤波器；确定像素精度，并根据所述像素精度确定插入的分像素点的数量；使用所述插值滤波器根据预定规则计算所述分像素点。本申请还公开了一种滤波器。在本申请的具体实施方式中，由于先根据序列信息确定所使用的插值滤波器；再确定像素精度，并根据像素精度确定插入的分像素点的数量，使用所选择的插值滤波器根据预定规则计算所述分像素点。本申请可根据序列信息，选择插值滤波器的抽头数，并插入分像素点，提高了编码、解码性能，降低了其插值计算的复杂度。

Description

一种视频图像的插值优化方法及滤波器

技术领域

本申请涉及视频图像处理领域，尤其涉及一种视频图像的插值优化方法及滤波器。

背景技术

随着众多如数字电视、互联网高清视频、数码相机、数码摄像机等高清数码产品的逐渐普及，现有的视频编解码标准已经不能满足要求，尤其对于高分辨力视频，如4K×2K的甚高分辨率。因此，人们期待能适应超高清视频的新一代高性能视频编码标准的开发。

在视频编解码技术中，分像素插值技术能提高运动预测的准确度，从而对整个编解码性能的提高有非常大的积极作用。分像素插值最早在MPEG-1中就已经使用，但仅限于半像素运动估计，尽管比整像素运动估计要好但是精度和性能还不高；从MPEG-4ASP开始提高了插值精度，使用1/4像素精度的插值；H.264/AVC采用了一个6抽头滤波器来获得1/2像素，然后用平均滤波器来得到1/4像素，性能有了很大提高；在AVS Jizhun Profile中也是采用了一个4抽头滤波器来获得1/2像素，然后再得出1/4像素；在最近JCT-VC(the JointCollaborative Team on Video Coding)正在制订的下一代高性能视频编解码标准HEVC(High Efficiency Video Coding)中，为进一步提高插值性能，采用了高性能可分离式的基于DCT的插值滤波器，相比于H.264/AVC降低了很多码率，能明显提高编码性能，但是其插值计算的复杂度较高。

发明内容

本申请要解决的技术问题是针对现有技术的不足，提供一种视频图像的插值优化方法及滤波器。

根据本申请的第一方面，本申请提供一种视频图像的插值优化方法，包括：

获取视频数据序列的序列信息；

根据所述序列信息确定所使用的插值滤波器；

确定像素精度，并根据所述像素精度确定插入的分像素点的数量；

使用所述插值滤波器根据预定规则计算所述分像素点。

上述方法中，所述序列信息包括分辨率、频率域或纹理。

上述方法中，所述根据所述序列信息确定所使用的插值滤波器，具体包括：

当所述视频数据序列的分辨率大于1920×1080时，采用4抽头插值滤波器。

上述方法中，所述像素精度为1/4像素精度，所述分像素点有15个。

上述方法中，所述4抽头插值滤波器的插值系数包括：1/4像素对应的系数为{-6,56,15,-1}；2/4像素对应的系数为{-4,36,36,-4}；3/4像素对应的系数为{-1,15,56,-6}。

上述方法中，所述使用所述插值滤波器根据预定规则计算所述分像素点，具体包括：

对横向最近邻的整像素点，使用1/4、2/4和3/4位置对应的所述4抽头插值滤波器的系数，计算得到横向分像素点。

上述方法中，所述使用所述插值滤波器根据预定规则计算所述分像素点，还包括：

对纵向最近邻的整像素点，使用1/4、2/4和3/4位置对应的所述的抽头插值滤波器的系数，计算得到纵向分像素点。

上述方法中，，所述使用所述插值滤波器根据预定规则计算所述分像素点，还包括：

对于剩下的分像素点，先对横向最近邻的整像素点，分别使用1/4、2/4和3/4位置对应的所述的抽头插值滤波器的系数，计算得到中间值，再对每个所述中间值，分别使用1/4、2/4和3/4位置对应的所述的抽头插值滤波器的系数，计算得到所述剩下的分像素点。

上述方法中，所述获取视频数据序列的序列信息前，还可以包括步骤：在所述视频数据序列的数据头中，增加用于标记所述序列信息的语法元素。

根据本申请的第二方面，本申请提供一种滤波器，使用上述的视频图像的插值优化方法，对视频图像进行处理。

由于采用了以上技术方案，使本申请具备的有益效果在于：

⑴在本申请的具体实施方式中，由于先根据序列信息确定所使用的插值滤波器；再确定像素精度，并根据像素精度确定插入的分像素点的数量，使用所选择的插值滤波器根据预定规则计算所述分像素点。本申请可根据序列信息，选择插值滤波器的抽头数，并插入分像素点，提高了编码、解码性能，降低了其插值计算的复杂度。

⑵在本申请的具体实施方式中，由于序列信息包括分辨率，当视频数据序列的分辨率大于1920×1080时，采用4抽头插值滤波器,由于低抽头滤波器在高分辨率下性能较好，能达到最佳的编码性能。

附图说明

图1为本申请的视频图像的插值优化方法在一种实施方式中的流程图；

图2为本申请的视频图像的插值优化方法在一种实施方式中的插值示意图；

图3为本申请的实际插值过程示意图。

具体实施方式

下面通过具体实施方式结合附图对本申请作进一步详细说明。

实施例一：

如图1所示，本申请的视频图像的插值优化方法，其一种实施方式，包括以下步骤：

步骤102：获取视频数据序列的序列信息；

步骤104：根据所述序列信息确定所使用的插值滤波器；

步骤106：确定像素精度，并根据所述像素精度确定插入的分像素点的数量；

步骤108：使用所述插值滤波器根据预定规则计算所述分像素点。

本申请的滤波器插值方法，其另一种实施方式，包括以下步骤：

步骤202：在视频数据序列的数据头中，增加用于标记序列信息的语法元素。

步骤204：获取视频数据序列的分辨率。

步骤206：根据分辨率确定所使用的插值滤波器。在本实施方式中，当视频数据序列的分辨率大于1920×1080时，采用4抽头插值滤波器。

步骤208：确定像素精度，并根据像素精度确定插入的分像素点的数量。在本实施方式中，像素精度为1/4像素精度，所述分像素点有15个。

步骤210：使用步骤206所确定的插值滤波器，根据预定规则计算分像素点。

本申请的视频图像的插值优化方法，4抽头插值滤波器的插值系数包括：1/4像素对应的系数为{-6,56,15,-1}；2/4像素对应的系数为{-4,36,36,-4}；3/4像素对应的系数为{-1,15,56,-6}。

4抽头插值滤波器的系数如表1所示：

分像素位置	滤波器系数	乘法数	加法数
				1/4	{-6,56,15,-1}	3	3
2/4	{-4,36,36,-4}	4	3
				3/4	{-1,15,56,-6}	3	3

表1

使用插值滤波器根据预定规则计算分像素点，具体可以包括：

本申请的视频图像的插值优化方法，其插值点的计算，如下所示：

第一步：根据表2所示，通过x和y的坐标来判断所要插值的分像素点。

其中，表4为分像素点与坐标位置对应关系表。

X坐标	0	0	0	0	1	1	1	1	2	2	2	2	3	3	3	3
																	Y坐标	0	1	2	3	0	1	2	3	0	1	2	3	0	1	2	3
分像素	A	d	h	n	a	e	i	p	b	f	j	q	c	g	k	r

表2

插入的分像素点如图2所示，大写字母代表的位置A_0,0、A_0,1、A_1,0和A_1,1为已知的整像素点，小写字母代表的位置为需要插值得到的分像素点。

第二步：由上一步的判断，分别进入相应的分像素插值处理过程：如，对于分像素a，只需要进行横向的4抽头插值滤波，使用1/4位置对应的滤波器系数；对于分像素e，先进行横向的4抽头插值滤波，使用1/4位置对应的滤波器系数，然后再进行纵向的4抽头插值滤波，使用1/4位置对应的滤波器系数。具体各个点的插值过程如下：

如图3所示，各个点的插值过程如下：

(1)分像素a₀₀、b₀₀、c₀₀的插值：对横向最近邻的整像素点使用4抽头插值滤波，分别使用1/4，2/4，3/4位置对应的滤波器系数，计算得到对应的分像素a₀₀、b₀₀、c₀₀，计算公式如下：

a_0,0＝(-6×A_-1,0+56×A_0,0+15×A_1,0-A_2,0)＞＞shift1

b_0,0＝(-4×A_-1,0+36×A_0,0+36×A_1,0-4×A_2,0)＞＞shift1

c_0,0＝(-A_-1,0+15×A_0,0+56×A_1,0-6×A_2,0)＞＞shift1

(2)分像素d₀₀、h₀₀、n₀₀的插值：对纵向最近邻的整像素点使用4抽头插值滤波，分别使用1/4，2/4，3/4位置对应的滤波器系数，计算得到对应的分像素d00、h00、n00，计算公式如下：

d_0,0＝(-6×A_0,-1+56×A_0,0+15×A_0,1-A_0,2)＞＞shift1

h_0,0＝(-4×A_0,-1+36×A_0,0+36×A_0,1-4×A_0,2)＞＞shift1

n_0,0＝(-A_0,-1+15×A_0,0+56×A_0,1-6×A_0,2)＞＞shift1

(3)分像素e_0,0、i_0,0、p_0,0的插值：先对横向最近邻的整像素点使用4抽头插值滤波，使用1/4位置对应的滤波器系数，从而得到中间值a′_0,i（其中i=-3-4），a′_0,i与a_0,i区别在于a′_0,i没有最后的shift1移位操作；然后再对中间值a′_0,i使用纵向4抽头插值滤波，分别使用1/4，2/4，3/4位置对应的滤波器系数，计算得到对应的分像素e_0,0、i_0,0、p_0,0，计算公式如下：

e_0,0＝(-6×a'_0,-1+56×a'_0,0+15×a'_0,1-a'_0,2)＞＞shift2

i_0,0＝(-4×a'_0,-1+36×a'_0,0+36×a'_0,1-4×a'_0,2)＞＞shift2

p_0,0＝(-a'_0,-1+15×a'_0,0+56×a'_0,1-6×a'_0,2)＞＞shift2

(4)分像素f_0,0、j_0,0、q_0,0的插值：先对横向最近邻的整像素点使用6抽头插值滤波，使用2/4位置对应的滤波器系数，从而得到中间值b′_0,i（其中i=-3～4）；然后再对中间值b′_0,i使用纵向6抽头插值滤波，分别使用1/4，2/4，3/4位置对应的滤波器系数，计算得到对应的分像素f_0,0、j_0,0、q_0,0，计算公式如下：

f_0,0＝(2×b'_0,-2-9×b'_0,-1+57×b'_0,0+17×b'_0,1-4×b'_0,2+b'_0,3)＞＞shift2

j_0,0＝(2×b'_0,-2-9×b'_0,-1+39×b'_0,0+39×b'_0,1-9×b'_0,2+2×b'_0,3)＞＞shift2

q_0,0＝(b'_0,-2-4×b'_0,-1+17×b'_0,0+57×b'_0,1-9×b'_0,2+2×b'_0,3)＞＞shift2

(5)分像素g_0,0、k_0,0、r_0,0的插值：先对横向最近邻的整像素点使用4抽头插值滤波，使用3/4位置对应的滤波器系数，从而得到中间值c′_0,i（其中i=-3-4）；然后再对中间值c′_0,i使用纵向4抽头插值滤波，分别使用1/4，2/4，3/4位置对应的滤波器系数，计算得到对应的分像素g_0,0、k_0,0、r_0,0，计算公式如下：

g_0,0＝(-6×c'_0,-1+56×c'_0,0+15×c'_0,1-c'_0,2)＞＞shift2

k_0,0＝(-4×c'_0,-1+36×c'_0,0+36×c'_0,1-4×c'_0,2)＞＞shift2

r_0,0＝(-c'_0,-1+15×c'_0,0+56×c'_0,1-6×c'_0,2)＞＞shift2

上述公式中，“>>”表示右移，shift1=6，shift2=12。这样，所有的15个分像素点都被插值出来。

本申请与HEVC的亮度插值对比，对于甚高清视频其Y、U、V码率分别减小了-3.4%、-0.3%、-1.1%，表3是本申请的方法与HEVC亮度插值方法的码率对比结果表。

表3

表4是本发明的方法与HEVC亮度插值方法的最大访存像素对比结果。

表4

表5是本发明的方法与HEVC亮度插值方法的乘法数目对比结果。

表5

表6是本发明的方法与HEVC亮度插值方法的加法数目对比结果。

表6

在高分辨率下采用低抽头滤波器，能明显降低访存和计算复杂度。对比本发明与HEVC的计算复杂度，如表4～6所示（注：表中W和L表示一个图像块的宽和长），可知：4抽头滤波器相对HEVC的滤波器的访存、乘法数和加法数都有大幅降低，尤其是4抽头的乘法数和加法数分别只占HEVC的三分之一左右。因此采用本发明的方法可以大幅降低甚高分辨率图像的编码解码复杂度，从而加快编码的速度。

实施例二：

本申请的滤波器，采用实施例一中的视频图像的插值优化方法，对视频图像进行处理。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干简单推演或替换。

Claims

1.一种视频图像的插值优化方法，其特征在于，包括：

获取视频数据序列的序列信息；

根据所述序列信息确定所使用的插值滤波器；

使用所述插值滤波器根据预定规则计算所述分像素点；

所述根据所述序列信息确定所使用的插值滤波器，具体包括：

当所述视频数据序列的分辨率大于1920×1080时，采用4抽头插值滤波器；

所述4抽头插值滤波器的插值系数包括：1/4像素对应的系数为{-6,56,15,-1}；2/4像素对应的系数为{-4,36,36,-4}；3/4像素对应的系数为{-1,15,56,-6}；

所述像素精度为1/4像素精度，所述分像素点有15个；

所述使用所述插值滤波器根据预定规则计算所述分像素点，具体包括：

对横向最近邻的整像素点，使用1/4、2/4和3/4位置对应的所述4抽头插值滤波器的系数，计算得到横向分像素点；

所述使用所述插值滤波器根据预定规则计算所述分像素点，还包括：

对纵向最近邻的整像素点，使用1/4、2/4和3/4位置对应的所述的抽头插值滤波器的系数，计算得到纵向分像素点；

2.如权利要求1所述的视频图像的插值优化方法，其特征在于，所述序列信息包括分辨率、频率域或纹理。

3.如权利要求1所述的视频图像的插值优化方法，其特征在于，所述获取视频数据序列的序列信息前，还可以包括步骤：

在所述视频数据序列的数据头中，增加用于标记所述序列信息的语法元素。

4.一种滤波器，采用如权利要求1至3中任一项所述的视频图像的插值优化方法，对视频图像进行处理。