CN1454003A - 用二维多相插值滤波器实现视频图象格式转换的方法 - Google Patents

Abstract

一种用二维多相插值滤波器实现视频图象格式转换的方法，属于电子信息领域。本发明采用加窗的抽样函数作为多相位插值滤波器的传递函数，根据输入与输出图象的扫描格式、顶底场情况和尺寸变换比例参数确定二维初始插值相位，然后根据输入输出图象的尺寸变换比例确定二维插值相位的变化步长，进而采用迭代的方法进行相位计算和插值计算，得到输出点的二维插值相位，再根据该二维相位对应的插值滤波器系数计算输出点的灰度值，重复以上步骤，直至得到全部的输出点。本发明采用简单的帧内算法，不需进行运动检测和运动估计；图象细节稳定；插值滤波器采用了多抽头和多相位设计，输出图象更细腻，可完成多种视频格式变换，应用范围更广。

Description

用二维多相插值滤波器实现视频图象格式转换的方法

技术领域

本发明涉及的是一种视频图象格式转换的方法，特别是一种用二维多相插值滤波器实现视频图象格式转换的方法，属于电子信息领域。

背景技术

电视信号依据其扫描参数、幅型比及分辨率，存在多种视频图象格式。另一方面，显示器件的类型也多种多样。除了传统的CRT扫描电视显示器外，出现了大量的诸如PDP，LCD，DLP及LCOS等数字平板或投影显示器。它们都有各自特有的最佳显示格式。研究视频图象格式转换的理论和方法早在60～70年代就开始了。进入二十世纪九十年代，由于数字电视，特别是数字高清晰度电视的出现，需要大量采用视频图象格式转换处理器，因而也出现许多实用的视频图象格式转换处理技术和方法，主要的技术包括隔行转逐行(I to P)；空间尺度变换(4∶3 to 16∶9，或SDTV to HDTV)；及帧/场频率的变换(50Hz to 60Hz，或50Hz to 75/100Hz)等，并有专用IC。

经文献检索发现，中国专利名称为：“视频格式转换装置和方法”，申请号为：(94105360)。该专利提出了一种根据象素的运动状态，将隔行扫描视频格式转换为逐行扫描视频格式的视频转换装置和方法，以便可以在监视器上以逐行扫描格式播放被压缩的隔行扫描格式的视频信号。根据该专利提供的方法，由超前于当前场的前一场、当前场和滞后于当前场的下一场联合判断当前场中的输入象素的运动状态，判定它是静止象素或运动象素，然后分别采用帧平均方法和运动补偿内插方法得到未知象素，从而完成隔行扫描到逐行扫描的转换。如上所述，该专利提出的视频格式转换仅仅完成隔行转逐行，不能完成其他比例的图象尺寸变换。这一特点使其应用受到了限制。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种用二维多相插值滤波器实现视频图象格式转换的方法，使其实现多种视频图象格式转换，可以广泛应用在PDP，LCD，DLP及LCOS等数字平板或投影显示控制器上。

本发明是通过以下技术方案实现的，本发明采用加窗的抽样函数作为多相位插值滤波器的传递函数；根据输入与输出图象的扫描格式、顶底场情况和尺寸变换比例等参数确定二维初始插值相位，然后根据输入输出图象的尺寸变换比例确定二维插值相位的变化步长，进而采用迭代的方法进行相位计算和二维插值计算得到输出点的二维插值相位；再根据该二维相位对应的插值滤波器系数计算输出点的灰度值；重复以上步骤，直至得到全部的输出采样点的插值结果，最后对插值结果图象做水平方向的图象增强滤波，输出图象。

以下对本发明方法作进一步的说明，具体内容如下：

所谓视频格式转换就是改变视频序列的时间一空间采样栅格位置。新栅格点下的数据是原采样栅格点的已知数据通过内插算法重构而来的。内插过程可以看成是原数据采样点与插值核的卷积。

1.采用加窗的抽样函数作为多相位插值滤波器的传递函数

根据采样定理，抽样函数是最理想的插值核。因为抽样函数在整个实数集上都有定义，所以它是物理不可实现的。但是由于抽样函数在其定义域内有衰减特性，在实际应用中可以对其进行截断，即加窗。加窗的抽样函数如下： $h\left(x\right)=k\left(x\right)\frac{\sin \mathrm{\πx}}{\mathrm{\πx}}---\left(1\right)$

其中k(x)是窗函数。

由于在加窗过程中直接对抽样函数进行了截断，所以在插值结果中可能会引入振铃。为保证插值结果的视觉效果，窗函数应同时具备以下两个条件：

(1)窗函数应有宽而平坦的通带和窄的过渡带，使插值后的图象清晰；

(2)窗函数的过渡带不可过窄，以免在图象中锐利的边缘处引起振铃。

以上两个条件是互相矛盾的，只能在图象清晰度和振铃效应之间做出妥协，确定插值滤波器的参数，并采用图象增强滤波等后处理方法提高图象质量。

2.多抽头多相位的插值滤波器

本发明设计的插值滤波器是多抽头多相位的滤波器。“抽头数”指的是参与插值运算的已知点个数。各个抽头的输入值即为参与插值运算的已知点。所谓“相位”是指待插值点与相邻已知点的距离与最小插值间隔的比值。将两相邻已知点之间的距离平分为N_p份，则最小插值间隔为

插值相位数为N_p。插值滤波器的多抽头设计是基于图象邻域相关性的考虑，对以加窗的抽样函数为插值核的滤波器而言，多抽头设计可以使输出图象更细腻；而多相位的设计则是插值算法完成多种比例尺寸变换的基础。

综上所述，一维多抽头多相位插值滤波器系数生成公式为 $h\left(\right|i-\mathrm{\Δx}\left|\right)\≈h\left(\right|i-\frac{p_n}{N_p}\left|\right)=k\left(\right|i-\frac{p_n}{N_p}\left|\right)\frac{\sin \mathrm{\π}\left(\right|i-\frac{p_n}{N_p}\left|\right)}{\mathrm{\π}\left(\right|i-\frac{p_n}{N_p}\left|\right)}---\left(2\right)$ 其中i＝{-N，-N+1，...，N-2，N-1}，即插值滤波器有2N个抽头；Δx为输出点距与其前一相邻已知点的距离；N_p为相位总数，即最小插值间隔为

p_n为当前相位， $\mathrm{\Δx}\≈\frac{p_n}{N_p}.$

3.采用迭代的方法进行相位计算

在对输入图象进行尺寸变换前，先要生成指定相位数和抽头数的插值滤波系数矩阵；在尺寸变换的过程中，根据当前的插值相位从系数矩阵中提取对应的系数，与各抽头的输入加权求和，完成插值运算。为了使算法易于实现，本发明采用迭代的方法计算相位。相位计算由以下两步完成：

(1)初始相位的确定

初始相位是根据输入输出图象的扫描格式(即隔行扫描还是逐行扫描)、输入输出图象的顶底场情况及尺寸变换比例确定的。确定初始相位的规则如下(其中N_p为相位数，

为输入/输出图象垂直方向尺寸的比值，p_0h表示水平初始相位，p_0v表示垂直初始相位)：

①一般设水平初始相位p_0h＝0。

②如果格式变换为隔行到逐行变换，当输入图象为顶场时，p_0v＝0；当输入图象为底场时，p_0v＝N_p/2。

③如果格式变换为隔行到隔行变换，当输入图象为顶场时，p_0v＝0；当输入图象为底场时， $p_{0v}=(\frac{N_p}{2}\×\frac{A_v}{B_v}+\frac{N_p}{2})\mathrm{mod}\left(N_p\right).$

④如果格式变换为逐行到逐行变换，则p_0v＝0。

⑤如果格式变换为逐行到隔行变换，当输出图象为顶场时，p_0v＝0；当输出图象为底场时， $p_{0v}=(\frac{N_p}{2}\×\frac{A_v}{B_v})\mathrm{mod}\left(N_p\right).$

(2)后续相位的计算

在已知初始相位的情况下，可以根据以下公式依次得到后续相位 $p_n=(p_{n-1}+\frac{A}{B}{N}_p)\mathrm{mod}\left(N_p\right)---\left(3\right)$

其中p_n-1＝(p_(n-1)h，p_(n-1)v)为第n-1个输出点的水平和垂直(二维)相位，p_n＝(p_nh，p_nv)为第n个输出点的二维相位，N_p为相位数， $\frac{A}{B}=(\frac{A_h}{B_h},\frac{A_v}{B_v})$ 为图象的二维尺寸变换比倒数(输入/输出)。

4.采用迭代的方法进行二维插值计算，得到输出点的灰度值

综上，本发明中采用的插值公式为： $I^{*}(x^{*},y^{*})=I(x+\mathrm{\Δx},y+\mathrm{\Δy})=\underset{j=-N+1N}{\mathrm{\Σ}}\left[\underset{i=-N+1N}{\mathrm{\Σ}}I(x+i,y+j)u_i\left(p_{\mathrm{mv}}\right)\right]u_j\left(p_{\mathrm{nh}}\right)---\left(4\right)$

其中I^*(x^*，y^*)是插值后的图象中(x^*，y^*)处的灰度值，I(x+i，y+j)是原图象中的已知点(x+i，y+j)处的灰度值，即插值滤波器各个抽头的输入，其中i，j＝-N+1，-N+2，...N-1，N，滤波器抽头数为2N；p_nh，p_mv分别为水平插值相位和垂直插值相位，n，m＝0，1，...，N_p，h，v分别表示水平和垂直方向；u_i(p_mv)，u_j(p_nh)为根据公式(2)计算的插值系数；Δx≌p_mv/N_p，Δy≌p_nh/N_p。

5.对插值结果图象做水平方向的图象增强滤波

为了提高插值图象的视觉效果，根据该二维相位对应的插值滤波器系数计算输出点的二维插值结果，本发明对亮度信号采用了水平方向的图象增强滤波。公式如下： $\hat{I}(x^{*},y^{*})=\underset{i=-1}{\overset{i}{\mathrm{\Σ}}}{I}^{*}(x^{*},y^{*}+i)w_i---\left(5\right)$

其中I^*(x^*，y^*)是插值后的图象中(x^*，y^*)处的灰度值；w_i是水平滤波器系数；(x^*，y^*)是图象I^*经水平滤波后(x^*，y^*)处的灰度值。

本发明具有实质性特点和显著进步，本发明用于完成视频图象的格式转换，采用简单的帧内算法，不需进行运动检测和运动估计；采用加窗的抽样函数作为插值滤波器的传递函数，图象细节稳定；插值滤波器采用了多抽头设计，即在插值过程中考虑了图象邻域相关的特征，所以输出图象更细腻；插值滤波器采用了多相位设计，可以完成多种不同的视频格式变换，所以其应用范围更广，可以用在LCOS、LCD、DLP等多种数字显示器的控制器件中。

附图说明

图1本发明二维多抽头多相位插值算法原理图

图2本发明相位示意图

图3本发明一维插值滤波框图

图4本发明图象增强滤波框图

图5升余弦窗抽样函数曲线图

具体实施方式

结合本发明的内容提供以下实施例：

如图所示，图1为本发明涉及的二维多抽头多相位插值算法原理图，二维插值过程如下：

(1)图象扩展单元11：为了计算图象边界象素的插值，在对图象进行插值变换前要先进行图象边界扩展，扩展方法为图象左右边界各向外扩展N_p/2-1列和N_p/2列，上下边界向外扩展N_p/2-1行和N_p/2行，扩展后的图象30记作I(x，y)；

(2)根据输入/输出图象的尺寸、扫描格式和顶/底场等参数，由初始相位产生单元21计算水平和垂直方向的初始相位p_0h，p_0v；

(3)根据公式(3)，由相位产生单元22计算下一输出点的相位p_nh，p_mv，n，m＝{0，1，2，...}；

(4)从插值系数存贮单元23中提取该相位处的插值系数u_j(p_nh)，u_i(p_mv)；

(5)扩展后的信号30(包括亮度信号Y和色度信号Cr/Cb)和垂直插值系数u_i(p_mv)送入一维插值器(I)12中，做垂直方向的一维插值，得到一维插值结果31；

(6)一维插值结果31和水平插值系数u_j(p_nh)送入一维插值器(II)13中，完成水平方向的一维插值，得到二维插值结果32；

(7)二维插值结果32中的亮度信号321经过水平方向的图象增强滤波器14，进行图象增强滤波，得到最后的亮度信号331；

(8)亮度(Y)信号331和色度(Cr/Cb)信号322一起构成输出图象34。

如图2所示，将已知图象中的点(x，y)和点(x，y+1)之间的距离分为N_p份，将(x，y)和点(x+1，y)之间的距离分为N_p份，待插值点的位置距(x，y)为(Δx，Δy)，1≥Δx≥0，1≥Δy≥0，则待插值点的水平插值相位和垂直插值相位分别为：

        p_h＝|N_p·Δy|，p_v＝|N_p·Δx|                  (6)其中「 为向下取整，N_p为相位数。

图3是一维插值滤波框图，以垂直插值为例。先做垂直方向的插值，设插值器的抽头数为2N，则在垂直方向上的待插值点灰度计算公式为 ${I_v}^{*}(x^{*},y)=\underset{i=-N+1}{\overset{N}{\mathrm{\Σ}}}I(x+i,y)u_i\left(p_{\mathrm{nv}}\right)---\left(7\right)$

图4是图象增强滤波框图。根据公式(5)，对完成二维插值的亮度信号进行水平方向的图象增强滤波。

以下对本发明的优选实施例进行说明，具体实施内容如下：

首先确定插值核，计算插值滤波器的系数矩阵。在特例中以升余弦窗抽样函数作为插值滤波器的传递函数，如公式(8)所示。 $h\left(x\right)=\sin c\left(x\right)\frac{\cos \mathrm{\π\γx}}{1-{\left(2\mathrm{\γx}\right)}^2}---\left(8\right)$

其中 $\sin c\left(x\right)=\frac{\sin \mathrm{\πx}}{\mathrm{\πx}}.$ h(x)的函数图象如图5所示。需要说明的是，升余弦函数也是定义在整个实数集上的函数，但是由于其衰减速度远大于抽样函数，所以对升余弦函数可以直接采用截断的方法进行近似。

在实施例中，插值滤波器抽头数为16，相位数为128。

根据插值滤波器的抽头数和相位数，并将公式(8)代入公式(2)中，即可得到各相位情况下插值滤波器各抽头的系数。以上计算的插值滤波器的系数矩阵(128×16)保存在一个数组中。

然后确定水平图象增强滤波器的系数。实施例中采用的系数为

    {w_i|i＝-1，0，1}＝{-0.25，1.5，-0.25}                        (9)

最后按照附图1所示各步依次进行，得到输出图象。

采用以上方法对一组视频序列(10帧)做了尺寸变换实验，当尺寸变换比为水平方向放大4倍，垂直方向放大3倍时，输出图象的信噪比为19.5124；当尺寸变换比为水平方向保持不变，垂直方向放大2倍时，输出图象的信噪比为20.6859。两种情况下的输出图象均可达到令人满意的视觉效果。

Claims (8)

1、一种用二维多相插值滤波器实现视频图象格式转换的方法，其特征在于，采用加窗的抽样函数作为多相位插值滤波器的传递函数，根据输入与输出图象的扫描格式、顶底场情况和尺寸变换比例参数确定二维初始插值相位，然后根据输入输出图象的尺寸变换比例确定二维插值相位的变化步长，进而采用迭代的方法进行相位计算和二维插值计算得到输出点的二维插值相位，再根据该二维相位对应的插值滤波器系数计算输出点的灰度值，重复以上步骤，直至得到全部的输出采样点的插值结果，最后对插值结果图象做水平方向的图象增强滤波，输出图象。

2、根据权利要求1所述的用二维多相插值滤波器实现视频图象格式转换的方法，其特征是，采用加窗的抽样函数作为多相位插值滤波器的传递函数，加窗的抽样函数如下： $h\left(x\right)=k\left(x\right)\frac{\sin \mathrm{\πx}}{\mathrm{\πx}}---\left(1\right)$

其中k(x)是窗函数，窗函数同时具备以下两个条件：(1)窗函数有宽而平坦的通带和窄的过渡带，使插值后的图象清晰，(2)窗函数的过渡带有足够的宽度，避免在图象中锐利的边缘处引起振铃。

3、根据权利要求1所述的用二维多相插值滤波器实现视频图象格式转换的方法，其特征是，所述的插值滤波器采用多抽头多相位的滤波器，抽头数指的是参与插值运算的已知点个数，各个抽头的输入值即为参与插值运算的已知点，所谓相位是指待插值点与相邻已知点的距离与最小插值间隔的比值，将两相邻已知点之间的距离平分为N_p份，则最小插值间隔为 插值相位数为N_p，一维多抽头多相位插值滤波器系数生成公式为： $h\left(\right|i-\mathrm{\Δx}\left|\right)\≈h\left(\right|i-\frac{p_n}{N_p}\left|\right)=k\left(\right|i-\frac{p_n}{N_p}\left|\right)\frac{\sin \mathrm{\π}\left(\right|i-\frac{p_n}{N_p}\left|\right)}{\mathrm{\π}\left(\right|i-\frac{p_n}{N_p}\left|\right)}---\left(2\right)$ 其中i＝{-N，-N+1，...，N-2，N-1}，即插值滤波器有2N个抽头，Δx为输出点距与其前一相邻已知点的距离，N_p为相位总数，即最小插值间隔为

p_n为当前相位， $\mathrm{\Δx}\≈\frac{p_n}{N_p}.$

4、根据权利要求1所述的用二维多相插值滤波器实现视频图象格式转换的方法，其特征是，所述的采用迭代的方法进行相位和插值计算得到输出点的二维插值相位，具体如下：

在对输入图象进行尺寸变换前，先要生成指定相位数和抽头数的插值滤波系数矩阵，在尺寸变换的过程中，根据当前的插值相位从系数矩阵中提取对应的系数，与各抽头的输入加权求和，完成插值运算。

5、根据权利要求1或4所述的用二维多相插值滤波器实现视频图象格式转换的方法，其特征是，所述的采用迭代的方法进行相位计算，相位计算由以下两步完成：

(1)初始相位的确定

初始相位是根据输入输出图象的扫描格式、输入输出图象的顶底场情况及尺寸变换比例确定的，确定初始相位的规则如下：

①水平初始相位p_0h＝0，

②如果格式变换为隔行到逐行变换，当输入图象为顶场时，p_0v＝0，当输入图象为底场时，p_0v＝N_p/2，

③如果格式变换为隔行到隔行变换，当输入图象为顶场时，p_0v＝0，当输入图象为底场时， $p_{0v}=(\frac{N_p}{2}\×\frac{A_v}{B_v}+\frac{N_p}{2})\mathrm{mod}\left(N_p\right),$

④如果格式变换为逐行到逐行变换，则p_0v＝0，

⑤如果格式变换为逐行到隔行变换，当输出图象为顶场时，p_0v＝0，当输出图象为底场时， $p_{0v}=(\frac{N_p}{2}\×\frac{A_v}{B_v})\mathrm{mod}\left(N_p\right),$

其中N_p为相位数，

为输入/输出图象垂直方向尺寸的比值，p_0h表示水平初始相位，p_0v表示垂直初始相位；

(2)后续相位的计算

在已知初始相位的情况下，根据以下公式依次得到后续相位 $p_n=(p_{n-1}+\frac{A}{B}{N}_p)\mathrm{mod}\left(N_p\right)---\left(3\right)$

其中p_n-1＝(p_(n-1)h，p_(n-1)v)为第n-1个输出点的水平和垂直相位，p_n＝(p_nh，p_nv)为第n个输出点的二维相位，N_p为相位数， $\frac{A}{B}=(\frac{A_h}{B_h},\frac{A_v}{B_v})$ 为图象的二维尺寸变换比倒数即输入/输出。

6、根据权利要求1或4所述的用二维多相插值滤波器实现视频图象格式转换的方法，其特征是，所述的采用迭代的方法进行二维插值计算，采用的插值公式为： $I^{*}(x^{*},y^{*})=I(x+\mathrm{\Δx},y+\mathrm{\Δy})=\underset{j=-N+1:N}{\mathrm{\Σ}}\left[\underset{i=-N+1:N}{\mathrm{\Σ}}I(x+i,y+j)u_i\left(p_{\mathrm{mv}}\right)\right]u_j\left(p_{\mathrm{nh}}\right)---\left(4\right)$

其中I^*(x^*，y^*)是插值后的图象中(x^*，y^*)处的灰度值，I(x+i，y+j)是原图象中的已知点(x+i，y+j)处的灰度值，即插值滤波器各个抽头的输入，其中i，j＝-N+1，-N+2，...N-1，N，滤波器抽头数为2N，p_nh，p_mv分别为水平插值相位和垂直插值相位，n，m＝0，1，...，N_p，h，v分别表示水平和垂直方向；u_i(p_mv)，u_j(p_nh)为根据公式(2)计算的插值系数，Δx≌p_mv/N_p，Δy≌p_nh/N_p。

7、根据权利要求1所述的用二维多相插值滤波器实现视频图象格式转换的方法，其特征是，所述的对插值结果图象做水平方向的图象增强滤波，是根据该二维相位对应的插值滤波器系数计算输出点的二维插值结果，再进行水平方向的增强滤波，具体如下：

对亮度信号采用水平方向的图象增强滤波，公式如下： $\hat{I}(x^{*},y^{*})=\underset{i=-1}{\overset{i}{\mathrm{\Σ}}}{I}^{*}(x^{*},y^{*}+i)w_i---\left(5\right)$

其中I^*(x^*，y^*)是插值后的图象中(x^*，y^*)处的灰度值，w_i是水平滤波器系数，(x^*，y^*)是图象I^*经水平滤波后(x^*，y^*)处的灰度值。

8、根据权利要求1所述的用二维多相插值滤波器实现视频图象格式转换的方法，其特征是，优选的插值滤波器的传递函数、插值滤波器的抽头数、相位数和水平方向图象增强滤波器系数具体如下：插值滤波器的传递函数为以升余弦函数加窗的抽样函数，插值滤波器的抽头数为16至24，相位数为128，水平方向的图象增强滤波器的抽头数为3，系数依次为-0.25，1.5，-0.25。

Images