CN101640783A - 去隔行的像素点插值方法及其装置 - Google Patents

Abstract

本发明涉及视频处理领域，公开了一种去隔行的像素点插值方法及其装置。本发明中，进行边缘检测，并在检测到的边缘方向上取点参与中值滤波，可以在保证良好的消锯齿能力的前提下使斜边的边缘更为清晰，同时具有抑制噪声的能力和较高的稳定性。通过运动检测，对静止的待插点直接以相邻场在该待插点位置的像素值进行预测，既准确又简单。

Description

去隔行的像素点插值方法及其装置

技术领域

本发明涉及视频处理领域，特别涉及计算机视频、数字电视、移动多媒体视频解码后处理中的去隔行技术。

背景技术

扫描图像显示装置的两种扫描方式包括隔行扫描和逐行扫描。隔行扫描用于普通电视，其方法是，一幅图像分为两个场，在显示一幅图像时这些场在屏幕上依次显示。这两个场可称为顶场和底场，或者奇场和偶场。逐行扫描用于计算机显示器或者数字电视，其方法是，通过一个图像帧的单元，以类似于运动图形幻灯片的帧投影到屏幕上的方法，一次显示整个帧。

去隔行技术(De-interlacing)是将隔行扫描的图像信号转换为逐行扫描的图像信号的方法。目前有很多研究提出了各种去隔行方法。这些方法基本上可以归结为两类：线性滤波去隔行和非线性滤波去隔行。

线性滤波去隔行方法包括行复制，行平均以及场合并。行复制和行平均简单且易于硬件实现，但不能保留图像垂直方向的清晰度。场合并虽然能保持垂直方向上的清晰度，但它会产生运动假象。

非线性滤波去隔行包括中值滤波去隔行、运动自适应和运动补偿去隔行。

运动自适应和运动补偿去隔行较为复杂，不利于硬件实现。

传统的中值滤波去隔行方法在当前场中取待插点上下行各一个点，再在前一场取与待插点相对应的一个点，对这三个点进行中值滤波，得到待插点的像素值。所谓中值滤波是指对参与滤波的多个值进行排序，取排在最中间的值作为滤波值输出。

传统的中值滤波去隔行方法在垂直边界上有很好的特性，同时它具有很小的硬件实现代价，但对于包含斜向边缘的图像会导致图像模糊和视觉上的不真实。

还可对传统的中值滤波去隔行方法进行一些改进，例如结合运动补偿等，专利号为6414719的美国专利就提出了一种改进的中值滤波去隔行方案，不过也比较复杂，不利于硬件的实现。

发明内容

本发明的目的在于提供一种去隔行的像素点插值方法及其装置，使所得的图像更为清晰。

为解决上述技术问题，本发明的实施方式提供了一种去隔行的像素点插值方法，包括以下步骤：

检测当前场的图像中穿过当前待插点的边缘方向；

根据检测到的边缘方向，从当前场获取当前待插点在该边缘方向上的两个相邻像素点作为候选点；

将两个候选点和相邻场中对应当前待插点位置的像素点一起进行中值滤波，得到当前待插点的像素值。

本发明的实施方式还提供了一种去隔行的像素点插值装置，包括：

边缘检测单元，用于检测当前场的图像中穿过当前待插点的边缘方向；

边缘选点单元，用于根据边缘检测单元检测到的边缘方向，从当前场获取当前待插点在该边缘方向上的两个相邻像素点作为候选点；

中值滤波单元，用于将边缘选点单元所输出的两个候选点和相邻场中对应当前待插点位置的像素点一起进行中值滤波，得到当前待插点的像素值。

本发明实施方式与现有技术相比，主要区别及其效果在于：

进行边缘检测，并在检测到的边缘方向上取点参与中值滤波，可以在保证良好的消锯齿能力的前提下使斜边的边缘更为清晰，同时具有抑制噪声的能力和较高的稳定性。

进一步地，通过运动检测，对静止的待插点直接以相邻场在该待插点位置的像素值进行预测，既准确又简单。

进一步地，通过以当前待插点为中心，求不同方向的空间相关性，可以方便地确定穿过当前待插点的边缘方向，计算较为简单。

进一步地，通过将每一行的第一个和最后一个像素点的边缘方向设为定值，既简化了运算，又不会对图像造成大的影响。

附图说明

图1是本发明第一实施方式中隔行的像素点插值方法流程示意图；

图2是本发明第一实施方式中隔行的边缘检测的示意图；

图3是本发明第一实施方式中中值滤波的示意图；

图4是本发明第二实施方式中隔行的像素点插值装置结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种去隔行的像素点插值方法，其流程如图1所示。

在步骤101中，读取相邻的的三场图像F(n-1)、F(n)、F(n+1)。

此后进入步骤102，对当前场图像F(n)内的待插点做运动检测，获得当前待插点的运动信息。求图像中某一个点的运动信息属于现有技术，可参见与计算机图像处理相关的资料，这里不详细说明了。

此后进入步骤103，判断当前待插点是否为静止，如果是则进入步骤106，否则进入步骤104。通常一个点的运动幅度小于预定的门限，就可以认为该点是静止的，并不一定要“纹丝不动”。

在步骤104中，检测当前场的图像中穿过当前待插点的边缘方向。具体地说，可以通过以下方式进行边缘检测：

如果当前待插点是一行的第一个和最后一个像素点，则边缘方向角度为预先设定值(例如90度，也可以是其它角度)，否则按下面步骤通过计算空间相关性确定边缘方向。

以当前待插点为中心点，求得通过该中心点的不同方向的空间相关性C(i)：

C(i)＝|F_n(y-1，x-i)-F_n(y+1，x+i)|，

其中-N/2＜i＜N/2，N为边缘方向的个数，F_n(y，x)表示当前场中纵坐标为y横坐标为x的点；

根据最小的空间相关性确定边缘方向。

通过以当前待插点为中心，求不同方向的空间相关性，可以方便地确定穿过当前待插点的边缘方向，计算较为简单。

通过将每一行的第一个和最后一个像素点的边缘方向设为定值，既简化了运算，又不会对图像造成大的影响。

图2中示出了边缘检测的一个例子。在图2的例子中，当前待插点(坐标为x，y)的上面相邻行的三个点A，B，C和下面相邻行的三个点D，E，F作为边缘检测计算的像素点。边缘方向角度可以由下面的公式计算：

其中，

t1＝(|A-C|+|D-F|)/2；

t2＝|C-D|；

t3＝|A-F|；

t4＝|B-E|；

prev_θ表示待插像素点之前已经预测好的像素点的边缘方向角度。对于每行的第一个和最后一个像素点，边缘方向角度定为90°。

此外，可以理解，边缘检测的方法有多种，在本发明的一些例子中，也可以使用一些现有的边缘检测的算法，例如根据当前待插点位置亮度的梯度变化情况进行边缘检测。

步骤104之后进入步骤105，进行中值滤波，此后进入步骤107。

具体地说，根据检测到的边缘方向，从当前场获取当前待插点在该边缘方向上的两个相邻像素点作为候选点。将两个候选点和相邻场(可以是前一场F(n-1)或后一场F(n+1))中对应当前待插点位置的像素点一起进行三点中值滤波，得到当前待插点的像素值。

在图2的例子中，根据边缘方向角度，由下面的判断准则得到上下两行各一个像素作为当前待插点的预测候选点。

如果θ＝0°，取已经插好的前一个像素点以及像素点A，B，C，D，E，F的平均值；

否则，如果θ＝45°，取像素点C和D；

否则，如果θ＝-45°，取像素点A和F；

否则，如果θ＝90°，取像素点B和E；

否则，取待插像素点之前已经预测好的像素点的边缘方向角度所对应的两个像素点。

图3示出了中值滤波的一个例子。由前面附图2的例子得到的两个预测候选点和前一场图像F(n-1)对应位置的像素点，按计算机编程常用的C语言，可由下面的中值滤波表达式计算得到当前待插点的像素值。

med(a，b，c)＝(a＞b)？((a＜c)？a：(b＜c)？c：b)：((b＜c)？b：(a＞c)？a：c)

进行边缘检测，并在检测到的边缘方向上取点参与中值滤波，可以在保证良好的消锯齿能力的前提下使斜边的边缘更为清晰，同时具有抑制噪声的能力和较高的稳定性。

在步骤106中，因为当前待插点为静止，因此以前后相邻场中对应当前待插点位置的两个像素点预测该当前待插点的像素值。此后进入步骤107。

通过运动检测，对静止的待插点直接以相邻场在该待插点位置的像素值进行预测，既准确又简单。

此外，可以理解，在本发明的一些例子中，也可以没有运动检测的步骤，也就是说明没有步骤102、103和106，所有待插点都当作运动点进行处理。

在预测该当前待插点的像素值时有多种方法，可以以前后相邻场中对应当前待插点位置的两个像素点的像素值的平均值作为当前待插点的像素值；也可以用其它的预测方法，例如对前后相邻场中对应当前待插点位置的两个像素点的像素值进行加权平均，或者根据其它的辅助信息在这两个像素值中选取一个作为当前待插点的像素值等等。

此后进入步骤107，判断是否当前场F(n)内所有待插点都已处理完毕，如果是则进入步骤108，否则回到步骤102处理下一个待插点。

在步骤108中，输出当前帧图像。

总结上述各步骤，最终可定义去隔行输出为：

其中，

为前一场图像F(n-1)对应位置的像素点。

为上一行的当前场F(n)边缘方向上的像素点，

为下一行的当前场F(n)边缘方向上的像素点。med()为中值滤波运算。

本发明的方法实施方式可以以软件、硬件、固件等等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可是换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable Array Logic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。

本发明第二实施方式涉及一种去隔行的像素点插值装置，该装置包括：

运动检测单元，用于获得当前待插点的运动信息。

判断单元，用于根据运动检测单元输出的当前待插点的运动信息，判断当前待插点是否为静止，如果是则调用静止点预测单元预测该当前待插点的像素值，否则调用边缘检测单元进行处理。

静止点预测单元，用于以前后相邻场中对应当前待插点位置的两个像素点预测该当前待插点的像素值。本实施方式中静止点预测单元以前后相邻场中对应当前待插点位置的两个像素点的像素值的平均值作为当前待插点的像素值。

边缘检测单元，用于检测当前场的图像中穿过当前待插点的边缘方向。该边缘检测单元进一步包括：

空间相关性计算子单元，用于以所述当前待插点为中心点，求得通过该中心点的不同方向的空间相关性C(i)：

C(i)＝|F_n(y-1，x-i)-F_n(y+1，x+i)|，

其中-N/2＜i＜N/2，N为边缘方向的个数，F_n(y，x)表示当前场中纵坐标为y横坐标为x的点；

方向确定子单元，用于根据空间相关性计算子单元所得到的最小的空间相关性确定边缘方向。

边缘选点单元，用于根据边缘检测单元检测到的边缘方向，从当前场获取当前待插点在该边缘方向上的两个相邻像素点作为候选点。

中值滤波单元，用于将边缘选点单元所输出的两个候选点和相邻场(当前场的前一场或后一场)中对应当前待插点位置的像素点一起进行中值滤波，得到当前待插点的像素值。

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

需要说明的是，本发明装置实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合是才解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述装置实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (14)

1.一种去隔行的像素点插值方法，其特征在于，包括以下步骤：

检测当前场的图像中穿过当前待插点的边缘方向；

根据检测到的边缘方向，从当前场获取所述当前待插点在该边缘方向上的两个相邻像素点作为候选点；

将所述两个候选点和相邻场中对应所述当前待插点位置的像素点一起进行中值滤波，得到当前待插点的像素值。

2.根据权利要求1所述的去隔行的像素点插值方法，其特征在于，在所述检测边缘方向的步骤之前，还包括以下步骤：

获得当前待插点的运动信息；

如果该当前待插点为静止，则以前后相邻场中对应所述当前待插点位置的两个像素点预测该当前待插点的像素值，否则执行所述检测边缘方向的步骤。

3.根据权利要求2所述的去隔行的像素点插值方法，其特征在于，所述预测该当前待插点的像素值的步骤中，以前后相邻场中对应所述当前待插点位置的两个像素点的像素值的平均值作为当前待插点的像素值。

4.根据权利要求2所述的去隔行的像素点插值方法，其特征在于，所述检测当前场的图像中穿过当前待插点的边缘方向的步骤包括以下子步骤：

以所述当前待插点为中心点，求得通过该中心点的不同方向的空间相关性C(i)：

C(i)＝|F_n(y-1，x-i)-F_n(y+1，x+i)|，

其中-N/2＜i＜N/2，N为边缘方向的个数，F_n(y，x)表示当前场中纵坐标为y横坐标为x的点；

根据最小的空间相关性确定边缘方向。

5.根据权利要求4所述的去隔行的像素点插值方法，其特征在于，在所述求空间相关性的子步骤之前，还包括以下子步骤：

如果所述当前待插点是一行的第一个和最后一个像素点，则边缘方向角度为预先设定值，否则执行所述求空间相关性的子步骤。

6.根据权利要求5所述的去隔行的像素点插值方法，其特征在于，所述预先设定值为90度。

7.根据权利要求1所述的去隔行的像素点插值方法，其特征在于，所述相邻场是当前场的前一场。

8.根据权利要求1所述的去隔行的像素点插值方法，其特征在于，所述相邻场是当前场的后一场。

9.一种去隔行的像素点插值装置，其特征在于，包括：

边缘检测单元，用于检测当前场的图像中穿过当前待插点的边缘方向；

边缘选点单元，用于根据所述边缘检测单元检测到的边缘方向，从当前场获取所述当前待插点在该边缘方向上的两个相邻像素点作为候选点；

中值滤波单元，用于将所述边缘选点单元所输出的两个候选点和相邻场中对应所述当前待插点位置的像素点一起进行中值滤波，得到当前待插点的像素值。

10.根据权利要求9所述的去隔行的像素点插值装置，其特征在于，还包括：

运动检测单元，用于获得当前待插点的运动信息；

静止点预测单元，用于以前后相邻场中对应所述当前待插点位置的两个像素点预测该当前待插点的像素值；

判断单元，用于根据所述运动检测单元输出的当前待插点的运动信息，判断当前待插点是否为静止，如果是则调用所述静止点预测单元预测该当前待插点的像素值，否则调用所述边缘检测单元进行处理。

11.根据权利要求10所述的去隔行的像素点插值装置，其特征在于，所述静止点预测单元以前后相邻场中对应所述当前待插点位置的两个像素点的像素值的平均值作为当前待插点的像素值。

12.根据权利要求9所述的去隔行的像素点插值装置，其特征在于，所述边缘检测单元进一步包括：

空间相关性计算子单元，用于以所述当前待插点为中心点，求得通过该中心点的不同方向的空间相关性C(i)：

C(i)＝|f_n(y-1，x-i)-f_n(y+1，x+i)|，

其中-N/2＜i＜N/2，N为边缘方向的个数，f_n(y，x)表示当前场中纵坐标为y横坐标为x的点；

方向确定子单元，用于根据所述空间相关性计算子单元所得到的最小的空间相关性确定边缘方向。

13.根据权利要求12所述的去隔行的像素点插值装置，其特征在于，所述中值滤波单元在中值滤波时所用的相邻场中对应的像素点来自当前场的前一场。

14.根据权利要求12所述的去隔行的像素点插值装置，其特征在于，所述中值滤波单元在中值滤波时所用的相邻场中对应的像素点来自当前场的后一场。

Images