CN1444402A - 数字图像边沿插值的方法 - Google Patents

Abstract

本发明涉及一种利用图像边沿的信息来进行插值的方法。本发明方法包括以下步骤：对输入的隔行图像进行水平低通滤波和垂直高通滤波，利用滤波结果初步预测出需要进行边沿内插的像素；对初步预测出的需要进行边沿内插的像素进行边沿方向检测，进一步确定需要进行边沿插值的像素和其边沿方向；对检测出的需要进行边沿插值的像素进行修正，保留最终需要进行边沿插值的像素；对最终需要进行边沿插值的像素进行沿边沿方向低通滤波来产生边沿插值输出。该发明可以准确定位出图像中的边沿，提高边沿内插的准确性并对检测出的假边沿有抑制处理，可以很好地改进图像质量。

Description

数字图像边沿插值的方法

                       技术领域

本发明属于数字电视扫描格式转换技术领域，特别涉及一种利用图像边沿的信息进行插值的方法。

                       背景技术

许多电视信号和视频信号是隔行扫描的，如PAL制电视信号和NTSC制电视信号；而一些显示设备是逐行扫描的，如计算机的监视器。要在逐行扫描的显示设备上显示隔行扫描的视频信号，必须进行扫描格式的转换，也就是解交织。解交织的主要任务就是通过内插恢复出隔行扫描省略的行。

已有的解交织方法主要分为两类：空间解交织的方法和时空解交织的方法。时空解交织的方法利用两场或多场时间上和空间上的相关性进行插值，一些主要的方法有：场间行中值内插、垂直时间中值滤波、运动补偿内插等。因为时空解交织技术至少需要用到一个场存储器，这种方法在提高解交织质量的同时也大大提高了实现成本。空间解交织的方法是解交织方法中最简单的一类，它主要应用一场内相邻行的高相关性来进行内插。空间解交织的一些常用的方法有：行复制、垂直滤波、基于边沿方向的内插等。基于边沿方向的内插利用图像中边沿的信息，通过对待插值像素不同方向的空间邻近像素相关性的检测，选择最优的方向进行插值，可以改善图像边沿的效果。图像中具有平缓斜度的各种方向的边沿，内插很不容易做准确，在这些地方，图像质量下降得比较明显，主观效果比较差。一些传统的基于边沿内插的方法检测边沿的计算量比较大，而且会产生很多假边沿，影响插值的效果。

申请号为96121140.7的发明专利公开了一种利用边沿信息内插像素的方法，该方法首先判断待插值像素垂直方向上下两个原始像素的差值，如果这个值小于一个阈值，就直接取待插值像素垂直方向上下两个原始像素的平均值作为插值输出；然后对输入像素进行低通滤波，以三个水平相连像素为一组先在一个比较小的角度范围对边沿进行检测，如果检测误差小于阈值，就进行边沿插值；如果检测误差过大，就在一个更大的角度范围内进行检测和内插。该方法用垂直方向上下两个原始像素的绝对差的大小作为进入边沿检测的条件在许多场景是不准确的，同时该方法没有进一步对需要进行边沿插值的像素做处理以抑制检测出的假边沿，这样对图像边沿的内插不是很准确。

                       发明内容

本发明的目的在于针对现有技术存在的缺陷或不足，提供一种数字图像边沿内插的方法，该方法可准确地定位出需要进行边沿插值的像素，从而进一步提高平缓斜度边沿的插值效果，并加强了对检测出的假边沿的抑制。

该方法包括以下步骤：(a)对输入的隔行图像进行水平低通滤波和垂直高通滤波，利用滤波结果初步预测出需要进行边沿内插的像素；(b)对初步预测出的需要进行边沿内插的像素进行边沿方向检测，进一步确定需要进行边沿插值的像素和其边沿方向；(c)对检测出的需要进行边沿插值的像素进行修正，保留最终需要进行边沿插值的像素；(d)对步骤(c)确定的需要进行边沿插值的像素进行沿边沿方向的低通滤波来产生边沿插值输出。

步骤(a)中利用滤波结果初步预测出需要进行边沿内插的像素包含如下步骤：(1)根据待插值像素垂直方向上下两个相邻的原始像素的滤波输出，如果这两个滤波输出值中的任何一个大于预定值，待插值像素就被预测为需要进行边沿内插的像素；(2)如果这两个滤波输出值都小于预定值，进行垂直方向低通滤波来产生插值输出。

步骤(2)中的垂直方向低通滤波，是对待插值像素空间邻近的原始像素进行低通滤波。距离待插值像素垂直方向上下两相邻行的两个原始像素越近，原始像素对应的系数越大。一个简单的实现方式就是取待插值像素上下两相邻行两个原始像素的平均值作为插值输出。

步骤(a)进行水平低通滤波和垂直高通滤波的滤波方程表示为：

其中， $\stackrel{\→}{x}=\left[\begin{array}{c}x\\ y\end{array}\right],{\stackrel{\→}{u}}_x=\left[\begin{array}{c}1\\ 0\end{array}\right],{\stackrel{\→}{u}}_y=\left[\begin{array}{c}0\\ 1\end{array}\right],$

表示输入的隔行信号，

表示滤波输出的信号。

步骤(b)进行边沿方向检测包含如下步骤：(1)在待插值像素上、下两个相邻原始像素行，以3个或5个水平相连像素为一组，计算和水平方向成45°、27°、18°、135°、153°、162°方向边沿的相似性；(2)在和水平方向成45°、27°、18°三个方向上选择一个具有最大相似性的方向作为候选的边沿方向；在和水平方向成135°、153°、162°三个方向上选择一个具有最大相似性的方向作为另一个候选的边沿方向；(3)比较两个候选方向的相似性，相似性大的一个作为边沿插值的方向，否则进行垂直方向低通滤波来产生插值输出。

步骤(3)中的垂直方向低通滤波，是对待插值像素空间邻近的原始像素进行低通滤波。距离待插值像素垂直方向上下两相邻行的两个原始像素越近，原始像素对应的系数越大。一个简单的实现方式就是取待插值像素上下两相邻行两个原始像素的平均值作为插值输出。

步骤(1)中如以5个水平相连像素为一组，则使用如下方程计算边沿的相似性： $D=\underset{h=0}{\overset{4}{\mathrm{\Σ}}}\left(\right|F(n-1,m+1-k-h)-F(n+1,m+k+3-h)|*C\left(k\right))k=\[\mathrm{0,1,2}\]---(2-1)$ $D=\underset{h=0}{\overset{4}{\mathrm{\Σ}}}\left(\right|F(n-1,m+k-1+h)-F(n+1,m-k-3+h)|*C\left(k\right))k=\[\mathrm{0,1,2}\]---(3-1)$

如以3个水平相连像素为一组，则使用如下方程计算边沿的相似性： $D=\underset{h=0}{\overset{2}{\mathrm{\Σ}}}\left(\right|F(n-1,m-k-h)-F(n+1,m+k+2-h)|*C\left(k\right))k=\[\mathrm{0,1,2}\]---(2-2)$ $D=\underset{h=0}{\overset{2}{\mathrm{\Σ}}}\left(\right|F(n-1,m+k+h)-F(n+1,m-k-2+h)|*C\left(k\right))k=\[\mathrm{0,1,2}\]---(3-2)$ 其中，D表示相似度，F(n，m)表示需要进行边沿方向检测的待插值像素，F(n-1，m)表示需要进行边沿方向检测的待插像素上一相邻行的原始像素，F(n+1，m)表示需要进行边沿方向检测的待插像素下一相邻行的原始像素，C(k)是计算相似性时对边沿方向加权的一个系数，它取决于参数k。方程(2-1)和(2-2)用来计算和水平方向成135°、153°、162°三个方向的相似性。其中k＝0对应于计算和水平方向成135°方向的相似性；k＝1对应于计算和水平方向成153°方向的相似性；k＝2对应于计算和水平方向成162°方向的相似性。方程(3-1)和(3-2)用来计算和水平方向成45°、27°、18°三个方向的相似性。其中k＝0对应于计算和水平方向成45°方向的相似性；k＝1对应于计算和水平方向成27°方向的相似性；k＝2对应于计算和水平方向成18°方向的相似性。D的值越小，则对应该方向的相似性越大。

步骤(b)根据方程(2-1)或(2-2)确定一个最相似的方向，它对应的相似系数为D1；根据中根据方程(3-1)或(3-2)确定另一个最相似的方向，它对应的相似系数为D2。通过以下方程来判断边沿方向：

C*D1＜D2                                           (4)

C*D2＜D1                                           (5)

其中，C是一个预定常数。当方程(4)成立时，D1所对应的方向被确定为插值方向；当方程(5)成立时，D2所对应的方向被确定为插值方向。如果(4)和(5)两个方程都不满足，进行垂直方向低通滤波来产生插值输出。

步骤(c)对需要进行边沿插值的像素进行修正，就是对步骤(b)检测出的需要进行边沿插值的像素做水平检测，如果水平相连的一段需要进行边沿内插的像素超过一个预定值，则这一段像素被保留作为最终需要进行边沿内插的像素，否则对这一段待插值像素中的每个像素都要进行垂直方向低通滤波来产生插值输出。

步骤(c)中的垂直方向低通滤波，是对待插值像素空间邻近的原始像素进行低通滤波。距离待插值像素垂直方向上下两相邻行的两个原始像素越近，原始像素对应的系数越大。一个简单的实现方式就是取待插值像素上下两相邻行两个原始像素的平均值作为插值输出。

步骤(d)沿边沿方向的低通滤波，就是对步骤(c)确定的需要进行边沿插值像素的空间邻近原始像素进行低通滤波。低通滤波中空间邻近原始像素对应的系数根据边沿方向来确定，即根据边沿方向找到需要进行边沿插值像素上下两相邻行的两个原始像素，距离这两个像素越近，原始像素对应的系数越大。

该发明可以对各种制式的隔行扫描电视信号进行插值。特别地，该发明适用于对数字高清晰度电视信号的插值。

对大多数图像而言，平缓斜度的各种方向的边沿内插不容易做准确，在这些地方，图像质量下降得比较明显，主观效果比较差。该发明的基于水平低通、垂直高通滤波的方法可以比较准确地预测出需要进行边沿插值的像素；尤其是对于平缓斜度的各种方向的边沿，在这些边沿算法最关注和对性能提高最关键的地方，该发明的水平低通滤波、垂直高通滤波的方法可以精确定位出这些边沿。由于噪声或复杂的纹理，经常会检测出一些很小的边沿，这些边沿是假边沿，在这些地方进行边沿插值有可能会降低图像质量。该发明可以滤除检测出的这些假边沿，在这些地方采用低通滤波的结果作为插值输出，可以很好地改进图像质量。

                       附图说明

图1为本发明框图；

图2为在和水平方向成135°方向方向进行边沿检测的示意图；

图3为在和水平方向成153°方向进行边沿检测的示意图；

图4为在和水平方向成162°方向进行边沿检测的示意图；

图5为在和水平方向成45°方向进行边沿检测的示意图；

图6为在和水平方向成27°方向进行边沿检测的示意图；

图7为在和水平方向成18°方向进行边沿检测的示意图；

图8为修正前需要进行边沿插值像素的示意图；

图9为修正后需要进行边沿插值像素的示意图。

                   具体实施方式

图1说明了本发明方法。待插值的隔行扫描信号I首先经过边沿预测。边沿预测采用方程(1)所述的滤波方程对隔行信号进行滤波。利用待插值像素垂直方向上下两个相邻的原始像素的滤波输出。如果这两个滤波输出值中的任何一个大于优选预定值100，待插值像素就被预测为需要进行边沿内插的像素，否则就直接取上下两个相邻原始像素的平均值作为插值输出。对预测出的需要进行边沿内插的像素进行边沿方向检测。边沿方向检测首先在待插值像素上、下两个相邻原始像素行，以5个水平相连像素为一组，按照方程(3-1)计算和水平方向成45°、27°、18°方向边沿的相似性；按照方程(2-1)计算和水平方向成135°、153°、162°方向边沿的相似性，上述对六个方向边沿相似性的检测可以参考图2至图7。方程(2-1)和(3-1)中的参数C(k)可以优选的取成C(k)＝k+1。然后在和水平方向成45°、27°、18°三个方向上选择一个具有最大相似性的方向作为候选的边沿方向D2；在和水平方向成135°、153°、162°三个方向上选择一个具有最大相似性的方向作为另一个候选的边沿方向D1，按照方程(4)和方程(5)来比较两个候选方向的相似性。当方程(4)成立时，D1所对应的方向被确定为插值方向；当方程(5)成立时，D2所对应的方向被确定为插值方向，若两个方程都不成立，直接取上下两个相邻原始像素的平均值作为插值输出。优选地，方程(4)和方程(5)中的参数C＝2。接下来，对边沿检测出的需要进行边沿插值的像素进行修正。修正就是对检测出的需要进行边沿插值的像素做水平检测，如果水平相连的一段需要进行边沿内插的像素超过一个预定值，优选地，该值为5，则这一段像素被保留作为最终需要进行边沿内插的像素。否则这一段像素中每个像素直接取其上下两个相邻原始像素的平均值作为插值输出。最后对修正后的需要进行边沿插值的像素，根据边沿方向找到其上下两相邻行的两个原始像，取其平均值作为边沿插值的输出并形成最后插值输出的逐行扫描信号P。对修正后的需要进行边沿插值的像素在检测出的六个方向进行边沿插值可以参考图2至图7。

图2说明了采用方程(2-1)在和水平方向成135°方向进行边沿检测。○是待插值像素，●是待插值像素上下两个相邻原始像素行的像素。根据方程(2-1)来计算和水平方向成135°方向的相似性。计算中用到待插值像素上面一相邻行原始像素中A3-A7五个相连像素、待插值像素下面一相邻行原始像素中B5-B9五个相连像素；根据方程(2-1)通过对A3与B5、A4与B6、A5与B7、A6与B8、A7与B9绝对差的计算来确定该方向的相似性。如果和水平方向成135°方向被判断成为最后的边沿插值方向，取A5与B7的平均值作为边沿插值的输出。

图3说明了采用方程(2-1)在和水平方向成153°方向进行边沿检测。○是待插值像素，●是待插值像素上下两个相邻原始像素行的像素。根据方程(2-1)来计算和水平方向成153°方向的相似性。计算中用到待插值像素上面一相邻行原始像素中A2-A6五个相连像素、待插值像素下面一相邻行原始像素中B6-B10五个相连像素；根据方程(2-1)通过对A2与B6、A3与B7、A4与B8、A5与B9、A6与B10绝对差的计算来确定该方向的相似性。如果和水平方向成153°方向被判断成为最后的边沿插值方向，取A4与B8的平均值作为边沿插值的输出。

图4说明了采用方程(2-1)在和水平方向成162°方向进行边沿检测。○是待插值像素，●是待插值像素上下两个相邻原始像素行的像素。根据方程(2-1)来计算和水平方向成162°方向的相似性。计算中用到待插值像素上面一相邻行原始像素中A1-A5五个相连像素、待插值像素下面一相邻行原始像素中B7-B11五个相连像素；根据方程(2-1)通过对A1与B7、A2与B8、A3与B9、A4与B10、A5与B11绝对差的计算来确定该方向的相似性。如果和水平方向成162°方向被判断成为最后的边沿插值方向，取A3与B9的平均值作为边沿插值的输出。

图5说明了采用方程(3-1)在和水平方向成45°方向进行边沿检测。○是待插值像素，●是待插值像素上下两个相邻原始像素行的像素。根据方程(3-1)来计算和水平方向成45°方向的相似性。计算中用到待插值像素上面一相邻行原始像素中A5-A9五个相连像素、待插值像素下面一相邻行原始像素中B3-B7五个相连像素；根据方程(3-1)通过对A5与B3、A6与B4、A7与B5、A8与B6、A9与B7绝对差的计算来确定该方向的相似性。如果和水平方向成45°方向被判断为最后的边沿插值方向，取A7与B5的平均值作为边沿插值的输出。

图6说明了采用方程(3-1)在和水平方向成27°方向进行边沿检测。○是待插值像素，●是待插值像素上下两个相邻原始像素行的像素。根据方程(3-1)来计算和水平方向成27°方向的相似性。计算中用到待插值像素上面一相邻行原始像素中A6-A10五个相连像素、待插值像素下面一相邻行原始像素中B2-B6五个相连像素；根据方程(3-1)通过对A6与B2、A7与B3、A8与B4、A9与B5、A10与B6绝对差的计算来确定该方向的相似性。如果和水平方向成27°方向被判断成为最后的边沿插值方向，取A8与B4的平均值作为边沿插值的输出。

图7说明了采用方程(3-1)在和水平方向成18°方向进行边沿检测。○是待插值像素，●是待插值像素上下两个相邻原始像素行的像素。根据方程(3-1)来计算和水平方向成18°方向的相似性。计算中用到待插值像素上面一相邻行原始像素中A7-A11五个相连像素、待插值像素下面一相邻行原始像素中B1-B5五个相连像素；根据方程(3-1)通过对A7与B1、A8与B2、A9与B3、A10与B4、A11与B5绝对差的计算来确定该方向的相似性。如果和水平方向成18°方向被判断成为最后的边沿插值方向，取A9与B3的平均值作为边沿插值的输出。

图8说明了修正前的需要进行边沿插值像素。从图中可以看出，因为噪声等原因，存在许多小而杂乱的边沿，在这些地方采用边沿插值的方法并不能提高图像质量。

图9说明了修正后的需要进行边沿插值像素。从图中可以看出，许多小而杂乱的边沿被滤除了，对于这些待插值像素采用低通滤波的方法来产生插值输出，可以提高图像的质量。

Claims (10)

1、数字图像边沿插值的方法，其特征在于该方法包括以下步骤：

(a)对输入的隔行图像进行水平低通滤波和垂直高通滤波，利用滤波结果初步预测出需要进行边沿内插的像素；

(b)对初步预测出的需要进行边沿内插的像素进行边沿方向检测，进一步确定需要进行边沿插值的像素和其边沿方向；

(c)对检测出的需要进行边沿插值的像素进行修正，保留最终需要进行边沿插值的像素；

(d)对步骤(c)确定的需要进行边沿插值的像素进行沿边沿方向的低通滤波来产生边沿插值输出。

2、如权利要求1所述的数字图像边沿插值的方法，其特征在于步骤(a)中利用滤波结果初步预测出需要进行边沿内插的像素就是利用待插值像素垂直方向上下两个相邻的原始像素的滤波输出，如果这两个滤波输出值中的任何一个大于预定值，待插值像素就被预测为需要进行边沿内插的像素，否则进行垂直方向低通滤波来产生插值输出。

3、如权利要求1所述的数字图像边沿插值的方法，其特征在于步骤(a)进行水平低通滤波和垂直高通滤波的滤波方程表示为：其中 $\stackrel{\→}{x}=\left[\begin{array}{c}x\\ y\end{array}\right],{\stackrel{\→}{u}}_x=\left[\begin{array}{c}1\\ 0\end{array}\right],{\stackrel{\→}{u}}_y=\left[\begin{array}{c}0\\ 1\end{array}\right],$

表示输入的隔行信号，

表示滤波输出的信号。

4、如权利要求1所述的数字图像边沿插值的方法，其特征在于步骤(b)进行边沿方向检测包含如下步骤：

(1)在待插值像素上、下两个相邻原始像素行，以5个水平相连像素为一组，使用如下方程计算和水平方向成45°、27°、18°、135°、153°、162°方向边沿的相似性， $D=\underset{h=0}{\overset{4}{\mathrm{\Σ}}}\left(\right|F(n-1,m+1-k-h)-F(n+1,m+k+3-h)|*C\left(k\right))k=\[\mathrm{0,1,2}\]---(2-1)$ $D=\underset{h=0}{\overset{4}{\mathrm{\Σ}}}\left(\right|F(n-1,m+k-1+h)-F(n+1,m-k-3+h)|*C\left(k\right))k=\[\mathrm{0,1,2}\]---(3-1)$ 其中，D表示相似度，F(n，m)表示需要进行边沿方向检测的待插值像素，F(n-1，m)表示需要进行边沿方向检测的待插像素上一相邻行的原始像素，F(n+1，m)表示需要进行边沿方向检测的待插像素下一相邻行的原始像素，C(k)是计算相似性时对边沿方向加权的一个系数；

(2)在和水平方向成45°、27°、18°三个方向上选择一个具有最大相似性的方向作为候选的边沿方向；在和水平方向成135°、153°、162°三个方向上选择一个具有最大相似性的方向作为另一个候选的边沿方向；

(3)比较两个候选方向的相似性，相似性大的一个作为边沿插值的方向，否则进行垂直方向低通滤波来产生插值输出。

5、如权利要求1所述的数字图像边沿插值的方法，其特征在于步骤(b)进行边沿方向检测包含如下步骤：

(1)在待插值像素上、下两个相邻原始像素行，以3个水平相连像素为一组，使用如下方程计算和水平方向成45°、27°、18°、135°、153°、162°方向边沿的相似性， $D=\underset{h=0}{\overset{2}{\mathrm{\Σ}}}\left(\right|F(n-1,m-k-h)-F(n+1,m+k+2-h)|*C\left(k\right))k=\[\mathrm{0,1,2}\]---(2-2)$ $D=\underset{h=0}{\overset{2}{\mathrm{\Σ}}}\left(\right|F(n-1,m+k+h)-F(n+1,m-k-2+h)|*C\left(k\right))k=\[\mathrm{0,1,2}\]---(3-2)$

(2)在和水平方向成45°、27°、18°三个方向上选择一个具有最大相似性的方向作为候选的边沿方向；在和水平方向成135°、153°、162°三个方向上选择一个具有最大相似性的方向作为另一个候选的边沿方向；

(3)比较两个候选方向的相似性，相似性大的一个作为边沿插值的方向，否则进行垂直方向低通滤波来产生插值输出。

6、如权利要求1所述的数字图像边沿插值的方法，其特征在于步骤(c)是对步骤(b)检测出的需要进行边沿插值的像素做水平检测，如果水平相连的一段需要进行边沿内插的像素超过一个预定值，则这一段像素被保留作为最终需要进行边沿内插的像素，否则这一段像素中每个像素通过垂直方向低通滤波来产生插值输出。

7、如权利要求1所述的数字图像边沿插值的方法，其特征在于步骤(d)沿边沿方向的低通滤波，就是对步骤(c)确定的需要进行边沿插值的像素的空间邻近原始像素进行低通滤波，空间邻近原始像素对应的系数根据边沿方向来确定，即根据边沿方向找到需要进行边沿插值像素上下两相邻行的两个原始像素，距离这两个像素越近，原始像素对应的系数越大。

8、如权利要求1所述的数字图像边沿插值的方法，其特征在于步骤(a)、(b)、(c)中的垂直方向低通滤波，是对待插值像素空间邻近的原始像素进行低通滤波，距离待插值像素垂直方向上下两相邻行的两个原始像素越近，原始像素对应的系数越大。

9、如权利要求4或5所述的数字图像边沿插值的方法，其特征在于步骤(3)通过方程(4)和方程(5)比较由方程(2-1)或(2-2)确定的候选方向D1和由方程(3-1)或(3-2)确定的候选方向D2的相似性，

C*D1＜D2                                            (4)

C*D2＜D1                                            (5)其中，C是一个预定常数，当方程(4)成立时，D1所对应的方向被确定为插值方向；当方程(5)成立时，D2所对应的方向被确定为插值方向；如果(4)和(5)两个方程都不满足，则进行垂直方向低通滤波来产生插值输出。

10、如权利要求1所述的数字图像边沿插值的方法，其特征在于该方法适用于对数字高清晰度电视信号进行插值。

Images