CN101577805B - 用于转换图像的方法和图像转换单元 - Google Patents

Abstract

本发明提供一种用于转换图像的方法和一种图像转换单元，所述方法包括：确定所述图像的像素中的目标像素；基于第一像素集合的像素值计算第一值，其中所述第一像素集合不包括具有所述目标像素的列中的像素；基于第二像素集合的像素值确定第二值，其中所述第二像素集合位于具有所述目标像素的列中；以及基于把所述第一值与第二值相加来确定所述目标像素的像素值。所述方法和所述图像转换单元例如被用于把隔行格式的图像转换成逐行扫描格式。

Description

用于转换图像的方法和图像转换单元

技术领域

本发明的一个实施例涉及一种用于把隔行格式的图像转换成逐行扫描格式的方法。本发明的另一个实施例涉及一种图像转换单元。另一个实施例涉及一种计算机程序产品和一种计算机可读存储介质。

背景技术

电视屏幕上的图像由像素构成，所述像素被水平设置成行并且通常彼此垂直偏移一个像素位置。每一个像素被分配3个值，其表示该像素的红色、绿色和蓝色分量的相应强度。通过把像素行顺序地显示为所述图像的水平线而生成视频图像。

现有的模拟广播标准(比如NTSC、PAL和SECAM)使用两个视频场来生成单个视频帧。每一个场包括构成图像帧的一半水平线。一个场包括所述帧的所有奇数线，另一个场包括所有偶数线。消除诸如图像闪烁之类的伪影的一种方式是把隔行扫描场转换成逐行扫描帧。在逐行扫描帧中，奇数图像线和偶数图像线都被显示。

从隔行扫描场生成逐行扫描帧的一种方式是在每一个场中内插填隙(interstitial)线。因此，奇数场的线被用来内插偶数线，并且偶数场的线被用来内插奇数线。

美国专利7,362,378 B2公开了一种用于把具有被设置在由行和列构成的矩阵中的多个像素的隔行扫描图像转换成逐行扫描图像的方法，其处理所述隔行扫描图像的两个相继行之间的目标像素位置处的内插像元。所述方法确定当前行上的一个像素是否为边缘像素，并且如果该像素是边缘像素，则所述方法基于至少包括当前行上的边缘像素的列子集与包括前一行上的至少一个边缘像素的列子集之间的差异来确定边缘的近似角度。所述方法使用所述角度来确定当前行和前一行上的哪一个像素对应于目标像素，并且根据相应的像素内插所述目标像素的值。

因此，当今的“隔行到逐行”信号处理方法使用首先识别边缘和/或斜线并且其次沿着那些边缘和/或斜线内插缺失信息的技术。这两个基本步骤通常需要许多逻辑来明确地检测和/或识别边缘和/或斜线。由于将要做出的判定的非线性，该附加逻辑大多不适于用软件和/或硬件来实现。

现有技术的隔行到逐行算法的缺点在于，其在朝向水平轴倾斜的线和边缘上所得到的质量很差。这通常被称作“阶梯效应”。这种伪影大大干扰画面的视觉印象。

发明内容

本发明的一个目的是提供具有低计算复杂度的用于转换图像的方法和图像转换单元，其例如用于把隔行格式的图像转换成逐行扫描格式。

该目的是通过根据权利要求1的方法、根据权利要求10的像素值生成单元、根据权利要求14的计算机程序产品以及根据权利要求15的计算机可读存储介质来解决的。

通过考虑附图和后面的描述，本发明的其他细节将变得显而易见。

附图说明

附图被包括来提供对各实施例的进一步理解，其被合并在说明书中并且构成说明书的一部分。附图说明各实施例，并且与描述一起用来解释各实施例的原理。通过参照后面的详细描述，其他实施例以及各实施例的许多预期的优点将随着它们变得更好理解而容易被意识到。附图中的各元素不一定相对于彼此按比例。相同的附图标记指代相应的类似部分。此外还应当理解，在本说明书中比如“上”、“下”、“左”、“右”之类的方向性术语并非被限制性地使用，而是简单地出于更容易描述的目的而被选择。在这方面，比如“上”、“下”等的方向性术语是关于在图中所描述的组件的方位来使用的。由于本发明的各实施例的组件可以被定位在多种不同的方位中，因此所述方向性术语被用于说明的目的而决不是进行限制。

图1示出本发明的一个实施例的步骤；

图2示出一个图像帧的一部分，以便进一步阐述本发明的一个实施例；

图3示出一个图像帧的一部分，以便说明本发明的另一个实施例；

图4示出根据本发明的另一个实施例的图像帧的一部分；

图5示出被用来示意性地解释本发明的另一个实施例的图像帧的一部分；以及

图6示出本发明的另一个实施例的示意性设置。

具体实施方式

下面描述本发明的实施例。重要的是应当注意，在下面所描述的所有实施例可以以任何方式相组合，也就是说没有关于所描述的特定实施例不能与其他实施例相组合的限制。此外还应当注意，图中的相同附图标记指代相同或类似的元素。

应当理解的是，在不偏离本发明的范围的情况下可以利用及构造其他实施例，或者可以做出逻辑改变。因此下面的详细描述不应当在限制意义上被采用，并且本发明的范围由所附权利要求限定。

应当理解的是，除非另行特别指出，否则在这里描述的各种不同实施例的特征可以彼此相组合。

在图1中示出了在步骤S100中确定图像的目标像素。所述图像可以包括被设置在由行和列构成的矩阵中的多个像素。

在步骤S102中，基于不包括具有所述目标像素的列中的像素的第一像素集合的像素值来计算第一值。所述第一像素集合还可以被称作围绕所述目标像素的区域，所述区域被使用以便确定所述目标像素的像素值。所述区域具有围绕所述目标像素的预定尺寸，并且包括在所述目标像素上方的行中的第一像素子集和第二像素子集以及在所述目标像素下方的行中的第三像素子集和第四像素子集，其中所述第一和第三像素子集位于所述目标像素左边的列中，而所述第二和第四像素子集位于所述目标像素右边的列中。

所述像素值可以是亮度或灰度值，或者是例如YCbCr颜色空间、RGB颜色空间、HSV颜色空间、YUV颜色空间或任何其他颜色空间的色度值。

在步骤S104中，根据位于具有所述目标像素的列中的第二像素集合的像素值确定第二值。可以通过建立在所述目标像素上方的行中的像素的像素值与在所述目标像素下方的像素的像素值的平均值来确定所述第二值。

在步骤S106中，把所述第一值与第二值相加，以便生成所述目标像素的像素值。

在图2中描绘了图像200的一部分。所述图像200包括3个像素行202、204、206，其中必须确定填隙行202的像素值以便获得所述图像200的所有像素的像素值。没有所述填隙行202的像素值的图像可能是隔行图像，其中仅有奇数或偶数行的像素包括像素值。

所述填隙行202上方的第一行204和所述填隙行202下方的第二行206包括具有黑色值的像素(例如像素210)以及具有白色值的像素(例如像素212)。根据一种用以对像素的不同灰度值或亮度值进行编码的8位方案，所述黑色像素210可以具有等于零的像素值，并且所述白色像素212可以具有等于255的灰度值。本领域普通技术人员可以容易地理解，可以使用相应的其他像素量化方案，并且取代亮度或灰度值，还可以把(例如YCbCr颜色空间的)色度值用作像素值。

如对于本领域普通技术人员来说容易显而易见的，如果所述图像被旋转90°，也就是说如果缺失垂直“行”，则同样可以使用所提出的方法。在这方面，在权利要求书和说明书中使用的措辞“行”和“列”可以被解释为包括“垂直定向的行”和“水平定向的列”。

如图3中所描绘的，为了确定目标像素300的像素值，必须考虑到边缘302可能被表示在所述视频图像中这一事实。因此，所述目标像素300的像素值不应当简单地是所述目标像素300上方的行204和所述目标像素300下方的行206中的与所述目标像素300位于相同的列308中的像素304和306的平均值。

因此，根据本发明的一个实施例，利用第一像素子集322、第二像素子集324、第三像素子集326和第四像素子集328来定义围绕所述目标像素300的一个区域320。所述第一和第二像素子集322、324属于所述目标像素300上方的行，并且所述第三和第四像素子集326、328属于所述目标像素300下方的行206。所述第一像素子集322和第三像素子集326属于所述目标像素300左边的列，并且所述第二像素子集324和第三像素子集328属于所述目标像素300右边的列。

根据本发明的一个实施例，在计算所述第一值时考虑所述第一像素子集、第二像素子集、第三像素子集和第四像素子集322、324、326、328的像素值，其中所述第一值被加到根据所述目标像素300下方和上方的像素304和306建立的所述第二值上。所提出的方法不需要关于所述边缘302的角度的任何特定信息。

为了更加详细地解释所述算法，在图4中更加详细地描绘了所述区域320，其中在所述目标像素300上方的行中的像素以T(“上”)来命名，并且所述目标像素300上方的行204中的像素的列位置由索引“-尺寸”、“-1”、“+1”、“+尺寸”来描述。相应地，在所述目标像素300下方的行中的像素被描述为具有索引“-尺寸”、“-1”、“1”、“尺寸”的“B”(“下”)。与所述目标像素300位于相同的列308中的像素用“T”(“上”：在所述目标像素300上方的像素)和“B”(“下”：在所述目标像素300下方的像素)来引用。应当理解的是，可以通过使用相应的第一像素子集322、第二像素子集324、第三像素子集326和第四像素子集328中的相应数目的像素来调节所述区域320的尺寸。利用等于2的尺寸已经获得良好的结果，但是当然也可以使用更大或更小的尺寸。

在图5中描绘了针对相应的像素对计算平均值和差，其中所述像素属于相同列。由于例如在图4或图5的例子中，所述第一像素子集322和第三像素子集326的所有像素值都是黑色像素，因此所述像素值的差为零，并且平均值是亮度值等于零的黑色像素。

在所述目标像素300的右侧，在顶行204中第二像素子集324是黑色的，而底行206中的第四像素子集328是白色的。因此，顶部像素减去底部像素的差等于-255，而平均值则是作为像素值127的对应于亮度值的灰度值。

对于每一侧(所述目标像素300的左侧或右侧)，都对顶部和底部像素之间的差进行总计。对于两侧把所述差相加并且进行相互比较。较小的值定义所述目标像素的方位。在图6的例子中，左侧的总计的差较小。这导致左侧区域的较低值。被称作orientation(方位)的第一辅助值可以如下被计算：

$\mathrm{difLeft}=\mathrm{abs}(\frac{1}{\mathrm{size}}\·\underset{n=-1}{\overset{-\mathrm{size}}{\mathrm{\Σ}}}(\mathrm{Tn}-\mathrm{Bn}))---\left(1\right)$

$\mathrm{difRight}=\mathrm{abs}(\frac{1}{\mathrm{size}}\·\underset{n=1}{\overset{\mathrm{size}}{\mathrm{\Σ}}}(\mathrm{Tn}-\mathrm{Bn}))---\left(2\right)$

$\mathrm{orientation}=\frac{(\mathrm{sign}(\mathrm{difLeft}-\mathrm{difRight})+1)\·\mathrm{sign}(\mathrm{difLeft}-\mathrm{difRight})}{2}---\left(3\right),$

其中，difLeft是左侧的差之和，difRight是右侧的差之和，abs()是()的绝对值，size是所述区域320的一侧的尺寸，n是用于把相应侧的列相加的索引，Tn是索引为n的顶行的像素的像素值，Bn是索引为n的底行的像素值，sign()是提供()中的自变量的符号的函数，orientation是第一辅助值。

为了进一步导出所述目标像素的像素值，如下计算左侧的平均值：

$\mathrm{avgLeft}=\frac{1}{2\·\mathrm{size}}\·\underset{n=-1}{\overset{-\mathrm{size}}{\mathrm{\Σ}}}(\mathrm{Tn}+\mathrm{Bn})---\left(4\right)$

其中，avgLeft是左侧的平均值，size是区域320的一侧的尺寸，n是用于把相应侧的列相加的索引，Tn是索引为n的顶行的像素的像素值，Bn是索引为n的底行的像素值；

并且还如下计算右侧的平均值：

$\mathrm{avgRight}=\frac{1}{2\·\mathrm{size}}\·\underset{n=1}{\overset{\mathrm{size}}{\mathrm{\Σ}}}(\mathrm{Tn}+\mathrm{Bn})---\left(5\right)$

其中，avgRight是右侧的平均值，size是区域320的一侧的尺寸，n是用于把相应侧的列相加的索引，Tn是索引为n的顶行的像素的像素值，Bn是索引为n的底行的像素的像素值。

在所述目标像素的具有所述差之和的较低绝对值的一侧的列中的像素的相应的平均值(avgRight或avgLeft)被用来确定是把负的第一值还是正的第一值加到所述第二值(例如在所述目标像素下方和上方的像素的平均值)上。如果相应的平均值低于所述第二值，则使用负的第一值，而如果相应的平均值高于所述第二值，则使用正的第一值。这可以通过如下确定的第二辅助值“direction(方向)”来确定：

$\mathrm{direction}=\mathrm{sign}((1-\mathrm{orientation})\·\mathrm{avgLeft}+\mathrm{orientation}\·\mathrm{avgRight}-\frac{T+B}{2})---\left(6\right)$

其中，direction是第二辅助值，sign()是提供()中的自变量的符号的函数，orientation是从等式(3)导出的第一辅助值，avgLeft是从等式(4)导出的左侧的平均值，avgRight是从等式(5)导出的右侧的平均值，T是在目标像素上方的行中的与目标像素在相同列内的像素的像素值，B是在目标像素下方的行中的与目标像素在相同列内的像素的像素值。

与所述“direction(方向)”一起，可以如下确定所述目标像素的像素值：

$\mathrm{pixel}=\frac{T+B}{2}+\mathrm{direction}\·(\mathrm{abs}\left(\frac{T-B}{2}\right)-\left(\frac{(1-\mathrm{orientation})\·\mathrm{difLeft}+\mathrm{orientation}\·\mathrm{difRight}}{2}\right))---\left(7\right)$

其中，pixel是目标像素的像素值，T是在目标像素上方的行中的与目标像素在相同列内的像素的像素值，B是在目标像素下方的行中的与目标像素在相同列内的像素的像素值，direction是从等式(6)导出的第二辅助值，abs()是提供()内的项的绝对值的函数，orientation是从等式(3)导出的第一辅助值，difLeft是从等式(1)导出的左侧的差之和，difRight是从等式(2)导出的右侧的差之和。

所述括号中的最后一项描述一个差值。如果有大的差，则所述目标像素的像素值接近所呈现的边缘或者处在顶部与底部之间。小的差反映与顶部像素T或底部像素B的强相关性。

在图6中描绘了相应的图像转换单元600。所述图像转换单元600包括：确定单元602，其被配置成确定所述图像的像素中的目标像素；第一处理器604，其被配置成基于第一像素集合的像素值计算第一值，其中所述第一像素集合不包括具有所述目标像素的列中的像素；第二处理器606，其被配置成基于第二像素集合的像素值确定第二值，其中所述第二像素集合位于具有所述目标像素的列中；以及加法器608，其被配置成把所述第一值与第二值相加。

此外，所述第一处理器可以被配置成执行如下操作：确定位于所述第一到第四像素子集的公共列中的各像素对的像素值的差；确定所述目标像素左侧的列的差的第一和以及所述目标像素右侧的列的差的第二和；确定在所述目标像素的具有所述第一和与第二和的较低绝对值的一侧的列中的像素的另一个平均值；以及如果所述另一个平均值低于所述第二值则生成负的第一值，并且/或者如果所述另一个平均值高于所述第二值则生成正的第一值。

可以在现代的中央处理单元CPU和/或图形处理单元(GPU)中以低计算复杂度实现所提出的方法。所述方法和所述图像转换单元非常简单，并且可以在单个数学等式内表达完整的处理。所提出的算法的简易性和线性使其极适于用软件和/或硬件来实现。

所述方法和相应的单元可以被使用在图形PC板、计算机、电视机以及涉及视频图像显示的其他设备中。

此外，所提出的算法就在所述目标像素下方和上方的行的像素值中的噪声而论非常鲁棒。

至此已描述了一种用于把隔行格式的图像转换成逐行扫描格式的方法，对于本领域普通技术人员而言容易显而易见的是，在不需要进行隔行到逐行扫描格式转换的情况下，但是例如为了图像纠错或为了缩放应用(即为了增大图像的像素数)，所述方法可以例如被用于根据周围像素的像素值生成像素值。在缩放一幅图像时，可以通过为水平线中的像素生成附加的像素值来执行所述缩放(如图2到5中所示)，但是也可以通过为垂直线或者任何不同地定向的线中的像素生成附加的像素值来执行所述缩放。

一种相应的方法还可以被用于生成图像的目标像素的像素值，所述方法包括：基于第一像素集合的像素值计算第一值，其中所述第一像素集合不包括具有所述目标像素的列中的像素；基于第二像素集合的像素值确定第二值，其中所述第二像素集合位于具有所述目标像素的列中；以及基于把所述第一值与第二值相加来确定所述目标像素的像素值。

在该方法的另一个实施例中，所述第一像素包括在所述目标像素上方的行中的第一像素子集和第二像素子集以及在所述目标像素下方的行中的第三像素子集和第四像素子集，其中所述第一和第三像素子集位于所述目标像素左侧的列中，所述第二和第四像素子集位于所述目标像素右侧的列中，并且其中计算所述第一值的所述步骤包括：确定位于所述第一到第四像素子集的公共列中的各像素对的像素值的差；确定所述目标像素左侧的列的差的第一和以及所述目标像素右侧的列的差的第二和；确定在所述目标像素的具有所述第一和与第二和的较低绝对值的一侧的列中的像素的另一个平均值；以及如果所述另一个平均值低于所述第二值，则使用负的第一值，并且/或者如果所述另一个平均值高于所述第二值，则使用正的第一值。

虽然在这里示出并描述了具体实施例，但是本领域普通技术人员将认识到，在不偏离所描述的实施例的范围的情况下，可以用多种替换的和/或等效的实现方式来代替所示出及描述的具体实施例。本申请意图包含这里所讨论的具体实施例的任何适配或改变。因此，意图是本发明应当仅由权利要求及其等效表述来限制。

Claims (11)

1.一种用于把隔行格式的图像转换成逐行扫描格式的方法，包括：

确定所述图像的像素中的目标像素；

基于第一像素集合的像素值计算第一值，其中所述第一像素集合不包括具有所述目标像素的列中的像素；

基于第二像素集合的像素值确定第二值，其中所述第二像素集合位于具有所述目标像素的列中；

基于把所述第一值与第二值相加来确定所述目标像素的像素值，其中所述第一像素包括在所述目标像素上方的行中的第一像素子集和第二像素子集以及在所述目标像素下方的行中的第三像素子集和第四像素子集，其中所述第一和第三像素子集位于所述目标像素左侧的列中，而所述第二和第四像素子集位于所述目标像素右侧的列中，并且其中计算所述第一值的步骤包括：

确定位于所述第一到第四像素子集的公共列中的各像素对的像素值的差；

确定所述目标像素左侧的列的差的第一和以及所述目标像素右侧的列的差的第二和；

确定在所述目标像素的具有所述第一和与第二和的较低绝对值的一侧的列中的像素的平均值；以及

如果所述平均值低于所述第二值，则使用负的第一值。

2.根据权利要求1的方法，其中确定所述像素值的所述步骤包括：

如果所述平均值高于所述第二值，则使用正的第一值。

3.根据权利要求1的方法，其中通过用所述第一和与所述第二和的所述较低绝对值对所述目标像素下方和上方的像素的像素值的绝对差进行加权来计算所述第一值。

4.根据权利要求3的方法，其中通过从所述目标像素下方和上方的像素的像素值之间的差的一半的绝对值中减去所述第一和与所述第二和的所述较低绝对值的一半来计算所述第一值。

5.根据权利要求1的方法，其中所述第一、第二、第三和第四子集中的像素的个数等于2。

6.根据权利要求1的方法，其中所述第一像素仅仅包括与所述目标像素相邻的行的像素。

7.根据权利要求1的方法，其中所述像素值包括亮度值。

8.根据权利要求1的方法，其中所述像素值包括色度值。

9.一种图像转换单元，其被配置成把隔行格式的图像转换成逐行扫描格式，所述单元包括：

确定单元，其被配置成确定所述图像的像素中的目标像素；

第一处理器，其被配置成基于第一像素集合的像素值计算第一值，其中所述第一像素集合不包括具有所述目标像素的列中的像素；

第二处理器，其被配置成基于第二像素集合的像素值确定第二值，其中所述第二像素集合位于具有所述目标像素的列中；以及

加法器，其被配置成把所述第一值与第二值相加，

其中所述第一像素包括在所述目标像素上方的行中的第一像素子集和第二像素子集以及在所述目标像素下方的行中的第三像素子集和第四像素子集，其中所述第一和第三像素子集位于所述目标像素左侧的列中，而所述第二和第四像素子集位于所述目标像素右侧的列中，并且其中所述第一处理器还被配置成：

确定位于所述第一到第四像素子集的公共列中的各像素对的像素值的差；

确定所述目标像素左侧的列的差的第一和以及所述目标像素右侧的列的差的第二和；

确定在所述目标像素的具有所述第一和与第二和的较低绝对值的一侧的列中的像素的平均值；以及

如果所述平均值低于所述第二值，则生成负的第一值，并且/或者如果所述平均值高于所述第二值，则生成正的第一值。

10.根据权利要求9的图像转换单元，其中通过从所述目标像素下方和上方的像素的像素值之间的差的一半的绝对值中减去所述第一和与所述第二和的所述较低绝对值的一半来计算所述第一值。

11.根据权利要求9的图像转换单元，其中所述第一像素仅仅包括与所述目标像素相邻的行的像素。

Images