CN102497524B

CN102497524B - 边缘自适应去隔行的插值方法

Info

Publication number: CN102497524B
Application number: CN201110398206.0A
Authority: CN
Inventors: 刘成强; 刘强; 鲁国宁
Original assignee: Sichuan Hongwei Technology Co Ltd
Current assignee: Sichuan Hongwei Technology Co Ltd
Priority date: 2011-12-05
Filing date: 2011-12-05
Publication date: 2014-02-12
Anticipated expiration: 2031-12-05
Also published as: CN102497524A

Abstract

本发明涉及边缘自适应去隔行的插值方法。包括步骤：a.计算各个方向像素对的差值的和，得到初始的相关性值；b.相关性值修正补偿；c.中心方向优先选择；d.根据当前像素点所在区域的纹理类型，对当前像素点的边缘强度和设定的阈值进行比较得到最终的插值方向；e.根据插值方向得到当前插值点的候选像素值；f.对当前插值点像素的上下两个点和步骤e得到的候选像素值进行中值滤波，得到最终的插值像素。本发明的边缘自适应去隔行的插值方法，能够对图像像素有良好的边缘保护能力，并且能够得到光滑边缘、细节无闪烁的去隔行图像。

Description

边缘自适应去隔行的插值方法

技术领域

本发明涉及图像去隔行的方法，具体的讲是基于边缘自适应去隔行的插值方法。

背景技术

由于受到传输带宽的限制，电视台发送的电视信号都不是完整的图像，而是按照先传奇数行再传偶数行的规律发送，这样的信号就是隔行视频信号。但是随着数字信号处理技术的不断发展和宽屏幕平板电视的出现，人们对电视显示质量的要求越来越高，电视台发送的隔行信号存在的屏闪、锯齿等严重问题已经不能让观众满意。因此去隔行技术正是为了解决落后的隔行视频信号和消费者日益提高的视觉要求而产生的。

去隔行放法根据所用滤波器的种类不同分为线性算法、非线性算法、运动补偿算法和运动自适应算法。线性算法包括行复制、行平均等，线性算法去隔行后视频图像模糊并产生严重锯齿；非线性算法包括中值滤波和一些拟和算法；运动补偿算法理论上是效果最好的，但是由于其算法复杂度高，硬件实现成本高结构复杂等原因还没有成为目前产品的主流方案；运动自适应算法是根据运动检测得到的运动参数来选择场内插值或场间复制，是目前大多数产品选择的去隔行方案。

传统的场内插值大体可以分为行复制、行平均、基于方向插值等方法。行复制和行平均由于效果差已被淘汰，传统的基于边缘自适应插值的方法为：首先判断待插值点所在的方向，然后用该方向上相临近的几个像素点加权插值。但是目前的方向相关插值存在以下三个缺陷：

1、方向选取不够，容易产生锯齿；

2、小角度插值由于选取的像素点相距远容易引入孤立点噪声；

3、细节丰富的图像区域去经过边缘插值后闪烁厉害。

发明内容

针对上述的问题，本发明为运动自适应去隔行的场内插值部分提供了一种边缘自适应去隔行的插值方法，对图像像素有良好的边缘保护能力，得到光滑边缘、细节无闪烁的去隔行图像。

本发明的边缘自适应去隔行的插值方法，包括步骤：

a.通过计算待插值像素点的邻域像素在各个方向上相关性的大小，判断待插值像素点所在区域的方向特性，再由各个方向像素对的差值的和，得到初始相关性值；

b.根据所述的初始相关性值离中心方向的距离对初始相关性值进行补偿，得到各方向最终的相关性值，再分别比较中心方向左右两边的所述相关性值，得到左边和右边的相关性的最小值和它们对应的方向；

c.判断中心处的相关性值是否同时小于步骤b得到的左右两边最小的相关性值，如果是则选择中心方向为最终的插值方向，如果不是则进入步骤d；

d.根据当前像素点所在区域的纹理类型，对当前像素点的边缘强度和设定的阈值进行比较得到最终的插值方向；

e.根据得到的最终插值方向对该方向的两个像素点进行求平均，得到当前插值点的候选像素值；

f.对当前插值点像素的上下两个点和步骤e得到的候选像素值进行中值滤波，得到最终的插值像素。

本发明的方法首先根据各个方向与中心像素的距离施加不同的权重进行修正，因为距离中心方向越远的方向它发生错误的可能性就越大，并且产生的噪声也越明显。所以对不同方向的相关性值施加不同的权重，其目的是为了在相关性值相同的情况下优先选择距离中心距离近的方向，这样就不容易产生方向判断的错误。然后再根据一种基于两行的边缘检测和边缘方向检测的结果以及经过修正后的相关性值选择出最终的方向为插值方向。

具体的，步骤d包括：

d1.判断当前像素点所在区域的纹理类型是否是线型边缘，如果是则选择中心方向为最终的插值方向，如果不是则进入步骤d2；

d2.判断当前像素点所在区域的纹理类型是否是阶梯型边缘，如果是则先判断边缘强度是否大于设定的阶梯阈值，如果大于则根据预先判断的边缘方向选择步骤b得到的最小值所对应的方向为最终方向；否则选择中心方向为最终的插值方向；

d3.如果当前像素点所在区域的纹理类型既不是线型也不是阶梯型，则首先判断边缘强度是否大于设定的面型阈值，如果大于则根据预先判断的边缘方向选择步骤b得到的最小值所对应的方向为最终方向；否则选择中心方向为最终的插值方向。

将当前像素点所在区域的纹理分为阶梯型边缘、线型边缘和面型纹理。阶梯型边缘如图1a所示，它的特点是有明显的边缘，在边缘两边都是平坦的区域，并且两边的区域的亮度值对比明显。线型边缘如图1b所示它的特点是虽然边缘明显，但是在一条边缘附件紧接着可能又是另外的边缘，也可能边缘两边的区域的亮度值一样。除了上述两种类型以外的其它纹理类型，其主要是面型纹理，就是整个区域平坦或者是边缘强度极小的区域。

进一步的，步骤d2所述的阶梯阈值范围为40～100。步骤d3所述的面型阈值范围为120～180。

由于对线型边缘通常容易把方向判断错误，因此一种可选的方案是步骤d1中的插值方向为当前插值点的上下两点的相关值的平均值。

优选的，步骤f所述的中值滤波为3点中值滤波。中值滤波就是取几个值的中间那个值。比如输入的3个值分别是P(i，j)＝20，P(i-1，j)＝15，P(i+1，j)＝30，经过中值滤波后得到的值就是20。

本发明的边缘自适应去隔行的插值方法，能够对图像像素有良好的边缘保护能力，并且能够得到光滑边缘、细节无闪烁的去隔行图像。

以下结合由附图所示实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。

附图说明

图1是阶梯型边缘和线型边缘的示意图。

图2是本发明边缘自适应去隔行的插值方法的流程图。

具体实施方式

如图2所示本发明边缘自适应去隔行的插值方法，包括步骤：

a.通过计算待插值像素点P(i，j)的邻域像素在各个方向上相关性的大小，它的上下行就是输入的原始的15×2的像素点。判断待插值像素点P(i，j)所在区域的方向特性，再由各个方向像素对的差值的和，得到初始相关性值：

diff (k) = Σ_{- a}^{a} | P (i - 1, j + k + a) - P (i + 1, j - k + a) | * W 1 (a), (- 6 < k < 6);

其中a是计算相关性的窗口，它的典型取值为1，也可以取其他大于0的值，其目的是减少噪声的干扰。W1为权重，在a为1的情况下典型值为{1，2，1}，也可以取其他值。

b.步骤a中的diff(k)就是计算得到初始的k方向的相关性。其中k＝0的方向为中心方向。距离中心方向越远的方向发生错误的可能性越大，并且产生的噪声也越明显。所以这时就要根据该方向与中心的距离k给予一定的补偿，得到新的经过校正后的各个方向的相关性值为：

R(k)＝diff(k)*gain(k)

其中gain(k)为不同方向的补偿系数，它的取值范围为1～5，在实际实现中通过查找表来得到，它的值是距离中心方向越近则值越小。

分别比较中心方向左右两边的相关性值，则得到左边和右边相关性的最小值(Rmin)以及它们所对应的方向(dir)，分别被标记为left_dir，left_Rmin，right_dir，right_Rmin。

c.虽然在步骤b中对不同的方向给予了一定的补偿，但还是可能会把当前点所在的边缘方向判断错误，从而产生插值噪声。所以还要根据当前点周围的像素对当前插值点的边缘方向进行再次修正。

阶梯型边缘的判断：

left_up_min＝min(P(i-1，j-1)，P(i-1，j-2)，P(i-1，j-3)，P(i-1，j-4))

left_up_max＝max(P(i-1，j-1)，P(i-1，j-2)，P(i-1，j-3)，P(i-1，j-4))

right_up_min＝min(P(i-1，j-1)，P(i-1，j-2)，P(i-1，j-3)，P(i-1，j-4))

right_up_max＝max(P(i-1，j-1)，P(i-1，j-2)，P(i-1，j-3)，P(i-1，j-4))

left_dn_min＝min(P(i+1，j-1)，P(i+1，j-2)，P(i+1，j-3)，P(i+1，j-4))

left_dn_max＝max(P(i+1，j-1)，P(i+1，j-2)，P(i+1，j-3)，P(i+1，j-4))

right_dn_min＝min(P(i+1，j-1)，P(i+1，j-2)，P(i+1，j-3)，P(i+1，j-4))

right_dn_max＝max(P(i+1，j-1)，P(i+1，j-2)，P(i+1，j-3)，P(i+1，j-4))

e1＝|left_up_min-right_up_max|

e2＝|left_up_max-right_up_min|

e3＝|left_dn_min-right_dn_max|

e4＝|left_dn_max-right_dn_min|

当e1、e2、e3、e4中有一个值大于阈值1，就表示是属于阶梯型边缘。阈值1是经过大量仿真实验得到的值，其范围为120～200。上式中e1和e2分别表示输入的原始上一行像素的左边部分像素与右边部分像素的差异；e3和e4分别表示输入的原始下一行像素的左边部分像素与右边部分像素的差异。它们之一大于阈值1就是说明所述的差异较大，所以可以判断为阶梯边缘。left_up_min表示以P(i-1，j)为中心，输入的原始上一行像素的左边部分像素的最小值；left_up_max表示以P(i-1，j)为中心，输入的原始上一行像素的左边部分像素的最大值；right_up_min表示以P(i-1，j)为中心，输入的原始上一行像素的右边部分像素的最小值；right_up_max表示以P(i-1，j)为中心，输入的原始上一行像素的右边部分像素的最大值；left_dn_min表示以P(i+1，j)为中心，输入的原始下一行像素的左边部分像素的最小值；left_dn_max表示以P(i+1，j)为中心，输入的原始下一行像素的左边部分像素的最大值；right_dn_min表示以P(i+1，j)为中心，输入的原始下一行像素的右边部分像素的最小值；right_dn_max表示以P(i+1，j)为中心，输入的原始下一行像素的右边部分像素的最大值。

线型边缘的判断：

HF_hor＝|P(i-1，j-1)-P(i-1，j)|+|P(i-1，j)-P(i-1，j+1)|

+|P(i+1，j-1)-P(i+1，j)|+|P(i+1，j)-P(i-1，j+1)|

+|P(i-1，j-1)-P(i-1，j+1)|+|P(i+1，j-1)-P(i+1，j+1)|

当HF_hor值大于阈值2，并且HF_ver的值大于阈值3时表示属于线型边缘。阈值2和阈值3都是经过大量仿真实验得到的值，其范围为：阈值2：50～100，阈值3：120～200。其中HF_ho为水平方向的高频分量值，HF_ver为垂直方向的高频分量值。

用上面的公式虽然可以判断出不同的纹理类型，但是它们的边缘的强度可以很强也可以很弱，而且它的边缘方向也无法确定。为了进一步加强边缘判断的正确性，使用如下公式计算边缘强度和方向：

edge_int＝|left_air_pre-right_dir_pre|

left_air_pre＝|P(i-1，j)-P(i+1，j+1)|+

|P(i-1，j-1)-P(i+1，j)|+|P(i-1，j-2)-P(i+1，j-1)|

right_air_pre＝|P(i-1，j)-P(i+1，j-1)|+

|P(i-1，j+1)-P(i+1，j)|+|P(i-1，j+2)-P(i+1，j+1)|

right_dir_pre表示在该插值点处偏向于右边的边缘强度；left_dir_pre表示在该插值点处偏向于左边的边缘强度。上式中edge_int的值就表示当前像素点的边缘强度，right_dir_pre和left_dir_pre之间的大小关系就表示了边缘的方向。

根据所述的纹理类型对边缘方向进行修正，判断中心处的相关性值R(0)是否同时小于步骤b得到的左边相关性的最小值left_Rmin和右边相关性的最小值right_Rmin，如果是则选择中心方向为最终的插值方向，即dir_final＝0，如果不是则进入步骤d；

d.根据当前像素点所在区域的纹理类型，对当前像素点的边缘强度和设定的阈值进行比较得到最终的插值方向，包括：

d1.通过步骤c的方法判断当前像素点所在区域的纹理类型是否是线型边缘，如果是则选择中心方向为最终的插值方向，即dir_final＝0，如果不是则进入步骤d2；由于对于线型边缘通常容易把方向判断错误，因此插值方向也可以为当前插值点的上下两点的相关值的平均值。

d2.通过步骤c的方法判断当前像素点所在区域的纹理类型是否是阶梯型边缘，如果是则先判断边缘强度是否大于设定的阶梯阈值，阶梯阈值的范围为40～100。如果大于阶梯阈值则根据预先判断的边缘方向选择步骤b得到的最小值所对应的方向为最终方向；如果小于阶梯阈值则选择中心方向为最终的插值方向，判断方法为：

如果边缘强度＞阶梯阈值：

如果right_dir_pre＞left_dir_pre则

dir_final＝left_dir；

如果right_dir_pre＜left_dir_pre则

dir_final＝right_dir；

如果边缘强度≤阶梯阈值：

dir_final＝0。

d3.如果当前像素点所在区域的纹理类型既不是线型也不是阶梯型，则首先判断边缘强度是否大于设定的面型阈值，面型阈值的范围为120～180。如果大于则根据预先判断的边缘方向选择步骤b得到的最小值所对应的方向为最终方向；否则选择中心方向为最终的插值方向。判断方法为：

如果边缘强度＞面型阈值：

如果right_dir_pre＞left_dir_pre则

dir_final＝left_dir

如果right_dir_pre＜left_dir_pre则

dir_final＝right_dir

如果边缘强度≤面型阈值：

dir_final＝0。

e.根据得到的最终插值方向对该方向的两个像素点进行求平均，得到当前插值点的候选像素值：

P_{int} = \frac{P (i - 1, j + dir_final) + P (i + 1, j - dir_final)}{2};

f.如果候选像素值P_int与上下两点的亮度值有差距，那么候选像素值P_int的点也可能是噪声，因此最后用3点中值滤波进行处理：

P(i，j)＝median(P_int，P(i-1，j)，P(i+1，j))

median()即为中值滤波计算，由此得到该点的插值像素P(i，j)。

Claims

1.边缘自适应去隔行的插值方法，其特征为包括步骤：

d3.如果当前像素点所在区域的纹理类型既不是线型也不是阶梯型，则首先判断边缘强度是否大于设定的面型阈值，如果大于则根据预先判断的边缘方向选择步骤b得到的最小值所对应的方向为最终方向；否则选择中心方向为最终的插值方向；

2.如权利要求1所述的边缘自适应去隔行的插值方法，其特征为步骤d2所述的阶梯阈值范围为40～100。

3.如权利要求1所述的边缘自适应去隔行的插值方法，其特征为步骤d3所述的面型阈值范围为120～180。

4.如权利要求1所述的边缘自适应去隔行的插值方法，其特征为步骤d1中的插值方向为当前插值点的上下两点的相关值的平均值。

5.如权利要求1至4之一所述的边缘自适应去隔行的插值方法，其特征为步骤f所述的中值滤波为3点中值滤波。