CN101027680A - 边缘自适应图像扩展和增强系统和方法 - Google Patents

Abstract

本发明涉及一种用于图像滤波的边缘自适应系统和方法。所述方法将每个输出象素映射到输入图像坐标(110)上并随后对该点周围的输入图像象素进行预滤波和重采样以降低噪音，并调整对应特定操作的比例。随后输入图像的边缘基于输入象素的局部(125)和平均(127)信号方差被检测到。根据边缘检测参数，包括方位、各向异性和方差强度，所述方法确定用于输出象素的插补的轨迹和频率响应。在特定的实施例中，所述方法将输入象素空间划分为有限数量的方向，称作斜率，并使用最近的斜率方向估测象素包含边缘方位。这进一步促进输出象素插补内的象素包含计算。

Description

边缘自适应图像扩展和增强系统和方法

技术领域

本发明涉及数字图像数据处理的滤波方法，更具体地说，涉及一种用于数字图像数据扩展和增强的边缘自适应滤波。

背景技术

数字图像是每个项代表一个数字图像象素的2维数字数据阵列。每个象素数据具有几个组成如颜色，例如，红、绿和蓝。最主要的图像处理操作通过任意因子扩展图像，并以此建立一个扩大的图像。反交错是所述操作的一个例子，视频域在垂直方向使用1∶2的缩放因子被放大。众所周知的是，从原始图像建立放大的图像时，需要在原始数字数据阵列之间进行插补以获得高质量输出图像。图像扩展的现有技术的方法对数字图像的水平和垂直维度分别进行插补。这些方法在扩展后的图像中产生了很明显的副作用。最严重的两个类型的副作用是毛边(又称作锯齿)和模糊效果。多数毛边和模糊效果发生在边缘，严重的影响了扩展后边缘的质量。

本领域技术人员熟知的是，边缘自适应插补(Edge Adaptive Interpo1ation)，即沿着数字图像的边缘进行插补，具有较好的质量。

Hsu等人的美国专利5,991,664公开了一种使用分类和自适应插补模块增强视频图像的解析度的系统。该分类模块为每个原始图像象素产生一个主定位参数，以及，该自适应插补模块读取该主定位参数并选择预定义的一个参数系数集以产生每个目标图像象素。

Greggain等人的美国专利5,991,463公开了一种产生位于两行输入源数据之间的向上采样目标象素的方法。首先，计算和检查将在多个方向产生的向上采样的目标象素周围区域内的数字源数据的象素值之差以检测插补的方向。随后，基于确定的插补方向产生输入图像的行片段上象素之间的中间象素。然后，执行中间象素之间的插补以产生该向上采样的目标象素。

Campbell的美国专利6,133,957公开了一种用于图像解析度增强的自适应对角线插补方法，包括通过分析垂直方向和最佳选择对角线方向的加权组合检定插补方向。然后插补电路通过对沿着插补方向信号表示的方向的相邻象素进行插补来产生目标象素。

Pereira等人的美国专利5,929,918公开了一种用于改善视频质量的边缘定位的域内/域间插补滤波器，包括4个电路。第一电路检测图像边缘。第二电路使用来自第一电路的输出产生第一信号，该第一信号对应沿着图像边缘方向的离散图像元素的平均量。第三电路使用来自第一电路的输出检测纹理图像区域并根据图像边缘的存在度产生第二信号。第四电路通过取决于第二信号的一个比例将第一信号和第三信号组合，产生输出信号。

然而，所述现有技术的系统不能够提供高度的自适应。现有技术的边缘检测模块通常产生边缘的方向，但不提供描述边缘的确定性的参数，所述参数可控制自适应滤波器以获得更好的图像质量。现有技术的这些系统不对特定边缘的比例进行适应，通常使用简单的双线性或双三次插值，从而限制了产生的图像的质量。因此，需要一种改进的插补系统和方法，以支持更灵活的边缘定位和缩放自适应图像放大和增强。

发明内容

本发明的一个方面提供一种扩展和增强具有输入坐标空间的输入数字图像数据的方法，通过对输出象素应用自适应边缘插补，生成具有特定的解析度和形状并具有输出坐标空间的输出数字图像数据，所述方法包括：

(a)获得输入数字图像数据；

(b)将输出象素的坐标映射到步骤(a)中获得的输入坐标空间上；

(c)在步骤(b)的映射点周围选择M×N的输入象素块，其中所述象素块的形状和大小基于要求的边缘解析度确定；

(d)对所述象素块的输入象素应用水平和垂直低通滤波器以降低噪音，并向下采样以改变比例从而调整纵横比，以及适于低角度边缘检测；

(e)对所述象素块中每个在步骤(d)中进行向下采样的象素计算局部信号方差(local signal variance)以确定信号行为(signal behavior)；

(f)基于步骤(e)中确定的所述象素块内的局部信号方差计算平均信号方差，以确定所述象素块中的平均信号行为；

(g)基于步骤(f)中确定的平均信号方差，决定边缘的方位、各向异性(anisotropy)和强度；

(h)基于步骤(g)中确定的边缘的方向、各向异性和强度，确定重新采样滤波器的频率响应及其在步骤(b)中确定的输入图像内的映射位置处的轨迹(footprint)；以及

(i)通过在步骤(h)中确定的轨迹内根据步骤(h)中确定的频率响应进行重新采样，来确定输出象素的值。

本发明的另一方面提供一种扩展并增强具有输入坐标空间的输入图像数据的系统，通过对输出象素应用自适应边缘插补，产生具有特定解析度和形状并具有输出坐标空间的输出数字图像数据，所述系统包括：

(a)用以获得输入数字图像数据的接口；

(b)将输出象素坐标映射在输入坐标空间上的坐标产生器；

(c)第一轨迹产生器，连接至所述接口和所述坐标产生器，用以在所述映射点周围选择M×N的输入象素块，其中所述象素块的形状和大小基于要求的边缘解析度确定；

(d)预处理器，连接至所述第一轨迹产生器，用以对所述象素块的输入象素应用水平和垂直低通滤波器以降低噪音，并向下采样以改变比例从而调整纵横比，以及适于低角度边缘检测；

(e)方差计算器，连接至所述预处理器，用以计算所述象素块中每个输入象素的局部信号方差以确定信号行为；

(f)积分器，连接至所述方差计算器，用以基于所述象素块中的局部信号方差，计算平均信号方差以确定所述象素块中的平均信号行为；

(g)边缘估测器，连接至所述积分器，用以基于所述积分器计算出的平均信号方差确定边缘的方位、各向异性和强度；

(h)第二轨迹产生器，连接至所述接口、所述坐标产生器和所述边缘估测器，用以基于所述边缘估测器确定的边缘的方位、各向异性和强度，确定重新采样滤波器的频率响应及其在输入图像内所述映射位置处的轨迹；以及

(i)滤波器，连接至所述第二轨迹产生器和所述边缘估测器，用以通过在所述轨迹中重新采样以及根据所述第二轨迹产生器得出的频率响应确定输出象素的值。

在本发明的一个实施例中，所述AF轨迹呈椭圆形，滤波器系数产生自一维圆形对称轮廓。

在本发明的另一个实施例中，所述AF轨迹呈平行四边形，具有可分开的二维滤波器实现，即沿着边缘方向的第一中间象素从属于所述轨迹的同一行的象素计算得出，并随后对所述中间象素进行积分以构成最终被插补的输出象素值。

在以上两个实施例中，滤波器系数由边缘参数定义，从而最终产生的图像的柔和度和锐度由这些参数控制。

本发明的实施例的优点和不同方面的细节将结合附图进一步描述。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是依据本发明构建的图像处理系统的示意图；

图2是本发明一个采样模型示例的示意图；

图3A是本发明针对椭圆形轨迹的自适应滤波器的频率响应示意图；

图3B是本发明针对倾斜的矩形轨迹的自适应滤波器的频率响应示意图；

图4是本发明倾斜度计算的一个例子的示意图；

图5是本发明斜度＝0的行采样示意图；

图6是本发明斜度＝-2的行采样示意图；

图7A是本发明移位线性插值算法的一个示例的示意图；

图7B是本发明三次插值算法的一个示例的示意图；

图8A是依据本发明构建的一个图像处理系统的流程逻辑图；

图8B是依据本发明使用倾斜平方张量进行边缘检测的系统的流程逻辑图；

图9是依据本发明构建的反交错系统的流程逻辑图。

具体实施方式

图1是依据本发明构建的图像处理系统100的示意图，所述系统使用边缘自适应滤波来实现图像扩展和增强。图像处理系统100包括用以将象素坐标从输出图像空间转换到输入图像空间上的坐标产生器100、用于将输入象素引入边缘检测计算的边缘检测(ED)轨迹产生器、用于对输入图像进行预滤波和向下采样的预处理器123、用于计算输入象素信号方差的局部信号方差计算器125、用于在处理的输出象素附近产生信号行为表示的平均信号方差计算器127、用于计算边缘参数的边缘参数估测器129、用于将输入象素引入最终滤波的自适应滤波器(AF)轨迹产生器131以及用于计算输出象素的滤波器133。

在本发明的实施例中，滤波通过以下方式执行：首先检测局部边缘和相关的参数例如方位、各向异性和倾斜度，随后，基于这些参数对轨迹上的输入象素进行自适应滤波。因此，滤波器的频率响应是通过信号控制的。因而，本发明的方法产生一个较平滑和较自然且没有锯齿的输出图像，同时又能保持原始边缘的锐度。

图像处理系统100开始于在坐标产生器110接收输入数字图像数据。例如，这一数据可以是顺序视频信号内的输入帧或者交错视频信号中的域。

随后，坐标产生器110将输出象素的坐标映射到输入图像坐标空间上。这一转换的范围包括直接缩放至复杂的扭曲。本领域技术人员熟知的是，将输出坐标映射到输入坐标，或称作逆转换，有很多优点，包括覆盖整个输出象素空间，并且在输出图像中不留下任何“洞”。

通常，输出象素在输入图像坐标空间中的映射位置大概位于输入象素之间。在本发明一个实施例的解交错应用中，映射的坐标通过等式x’＝O_x+xS_x和y’＝O_y+yS_y来计算，其中，x’、y’是输入图像坐标空间中的输出象素的映射坐标，O_x、O_y是相对于最左边输入列和最顶端输入行的偏移量，S_x、S_y是对应每个输出列和行的输入列和行的数量。对于缩放应用，输入列和行的数量小于1。输入图像被认为由彩色采样阵列组成，按照均匀的网格间隔开，如图2所示。每个输出象素映射到输入图像坐标空间内的采样点210上。

通常，输出象素映射位置点210在两个输入象素行220和230之间，并且在两个输入象素列240和250之间。如果该映射位置点恰好落在某行或列上，则被认为是位于下面或右边无穷远处。映射点垂直坐标的整数部分因此是该采样点上方的输入行220的索引。映射点水平坐标的整数部分是列240左边的索引。所述坐标的小数部分260和270确定了采样点在一个象素的正方形区域内的位置。输出象素映射点的位置用于确定重新采样操作的相位信息。它还用于确定哪一组输入象素将被分析以用于特定输出象素的边缘估测。

一旦知道了输入图像空间内的映射坐标，ED轨迹产生器121在该映射坐标周围确定M×N的输入象素块。然后使用该象素块来进行边缘检测。通常，该输入象素块的大小和形状需要在较高图像质量和计算限制之间进行折中。同时，操作的特性，例如水平或垂直方向的缩放，是确定该象素块形状的重要因素。另一个起决定性作用的因素是应用的类型。例如，在视频应用例如解交错中，一定数量的象素行通常被读入缓存用于处理操作。因为这些象素行按顺序被读出，对该象素块的自然选择是简单的多个行。在本发明用于解交错应用的一个实施例中，系统使用4行视频图像。

预处理器123随后对该M×N象素块中的数据进行预滤波和向下采样，产生解析度经过调整且降低噪音后的图像数据中间块，以便于随后的边缘检测。例如，因为交错的视频信号的每个帧包括解析度垂直降低的两个域(例如，通过因子2)，低通预滤波器处理亮度信号以限制其在水平方向上的带宽。

在解释本发明的边缘检测形式之前，需要区别边缘方位(edge orientation)和边缘方向(edge direction)的概念。方向是在2π(360度)的全角度范围，但方位是在π(180度)的半角范围内定义的。这意味着方向相反(角度差180度)的两个向量具有同样的方位。

边缘检测通常包括3个主要的操作：微分、平滑处理和标记(labeling)。微分包括计算图像的导数。平滑处理包括降低图像的噪音并规则化数字微分。标记涉及定位边缘和通过抑制错误的边缘来增加边缘的信噪比。

局部信号方差计算器125从预处理器123接收图像数据中间块。为了检测边缘，局部信号方差计算器125计算图像数据中间块中每个象素的方差。平均信号方差计算器127随后基于局部信号方差计算每个映射的坐标点的平均方差。最后，边缘参数估测器129基于该平均方差确定边缘方位、强度和各向异性。局部信号方差计算器125、平均信号方差计算器127和边缘参数估测器129的具体操作将后续进行详细描述。

在本发明的一个实施例中，边缘检测通过现有的倾斜平方张量(GST)计算方法实现。首先，局部信号方差计算器125为图像数据中间块中经过预处理的象素计算水平和垂直斜度(从该象素到临近象素的亮度方差)。随后，局部信号方差计算器125基于计算出的倾斜度计算该块中每个象素的局部GST值。平均信号方差计算器127随后对这些GST求平均，以将平均GST(AGST)归加给输入图像空间坐标内的该映射点。边缘参数估测器129随后使用这些信息在输出象素映射坐标的位置找出局部边缘。

局部方位的向量表示可以表示为张量 $T=\frac{1}{\left|\right|v\left|\right|}{\mathrm{vv}}^T=\frac{1}{\left|\right|v\left|\right|}\left(\begin{array}{cc}{x}^2& \mathrm{xy}\\ \mathrm{xy}& y^2\end{array}\right),$ 其中v＝(x，y)^T是沿着主方位的向量， $\left|\right|v\left|\right|=\sqrt{x^2+y^2}$ 是向量v的范数(norm)。用张量表示的主要优点是可连续地描述方位。这样使得用户可以使用较大的区域更新估测的准确性，与通过在特定区域进行局部平均化一样简单。

在这个例子中，对于具有红、绿和蓝(RGB)成分的彩色图像的情况下，局部信号方差计算器125通过对3色成分中每一成分计算倾斜度和对应的张量，并随后对这些张量取平均值以获得GST，如下：

$\mathrm{GST}=\left(\begin{array}{cc}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{\left(g_x^i\right)}^2& \underset{i=1}{\overset{3}{\mathrm{\Σ}}}{g}_x^i{g}_y^i\\ \underset{i=1}{\overset{3}{\mathrm{\Σ}}}{g}_x^i{g}_y^i& \underset{i=1}{\overset{3}{\mathrm{\Σ}}}{\left(g_y^i\right)}^2\end{array}\right).$

或者，局部信号方差计算器125转换RGB成分为传统的已知YUV成分(亮度和两个色度信号)，即视频系统中的颜色空间(color space)。或者，局部信号方差计算器125直接获得这些成分并仅计算亮度成分上的倾斜度：

$\mathrm{GST}=\left(\begin{array}{cc}{\left(g_x^Y\right)}^2& g_x^Y{g}_y^Y\\ g_x^Y{g}_y^Y& {\left(g_y^Y\right)}^2\end{array}\right).$

后一种方法更适合于由YUV成分表示的视频信号处理。

在本发明的一个实施例中，局部信号方差计算器125按下式计算GST： $\mathrm{GST}=\left(\begin{array}{cc}{g}_x{g}_x& g_x{g}_y\\ g_x{g}_y& g_y{g}_y\end{array}\right),$ 其中， $g_x(x,y)=\frac{\∂I(x,y)}{\∂x}$ 和 $g_y(x,y)=\frac{\∂I(x,y)}{\∂y}$ 是水平和垂直导数，I(x，y)表示图像的亮度。

为了降低错误检测图像边缘的可能性，平均信号方差计算器127使用一般非一致的加权系数w_i累加象素块中的局部GST：

$\mathrm{AGST}=\left(\begin{array}{cc}{G}_{\mathrm{xx}}& G_{\mathrm{xy}}\\ G_{\mathrm{xy}}& G_{\mathrm{yy}}\end{array}\right)=\left(\begin{array}{cc}\underset{j\∈W}{\mathrm{\Σ}}{w}_j{\left(g_x^j\right)}^2& \underset{j\∈W}{\mathrm{\Σ}}{w}_j{g}_x^j{g}_y^j\\ \underset{j\∈W}{\mathrm{\Σ}}{w}_j{g}_x^j{g}_y^j& \underset{j\∈W}{\mathrm{\Σ}}{w}_j{\left(g_y^j\right)}^2\end{array}\right)$

因为该张量是二次方程式，张量元素在不取消相对向量的情况下可在该象素块上进行平均。

边缘参数估测器129计算边缘参数，该边缘参数用作自适应滤波器130的控制参数。在图像处理系统100的一个实施例中，可计算的边缘参数包括方位、各向异性和倾斜度。

在本发明一个特定实施例中，使用主要成分分析(principal componentanalysis)基于AGST来估算方位。AGST的主要特征向量对应斜度最大的方位。倾斜度最小的峰-谷方位垂直于所述轴，并因此被定义为最短的特征向量。对应的主λ₁和次λ₂特征值和作为最短特征向量的角度的边缘方位角度α，从下面的等式中计算得出：

${\mathrm{\λ}}_1=\frac{(G_{\mathrm{xx}}+G_{\mathrm{yy}})+\sqrt{{(G_{\mathrm{xx}}-G_{\mathrm{yy}})}^2+{4G}_{\mathrm{xy}}^2}}{2},$

${\mathrm{\λ}}_2=\frac{(G_{\mathrm{xx}}+G_{\mathrm{yy}})-\sqrt{{(G_{\mathrm{xx}}-G_{\mathrm{yy}})}^2+{4G}_{\mathrm{xy}}^2}}{2},$

$\mathrm{\α}=\frac{\∠(G_{\mathrm{xx}}-G_{\mathrm{yy}},{2G}_{\mathrm{xy}})+\mathrm{\π}}{2},$

其中，

各向异性定义边缘方位估测值的确定性或可信度。在本发明的一个实施例中，各向异性从两个特征值的差与和的比值中测得，定义为 $A=\frac{{\mathrm{\λ}}_1-{\mathrm{\λ}}_2}{{\mathrm{\λ}}_1+{\mathrm{\λ}}_2}=\frac{\sqrt{{(G_{\mathrm{xx}}-G_{\mathrm{yy}})}^2+{4G}_{\mathrm{xy}}^2}}{G_{\mathrm{xx}}+G_{\mathrm{yy}}}.$ 通过这一定义，各向异性的值在0和1之间，分别表示从完全等方性(所有方位相等)至完全各向异性的范围。基于各向异性的值，在本发明的实施例中，一个对应的阈值用于将滤波操作在正常和方位自适应路径之间进行转换。

自适应滤波器130区别对待倾斜度小的边缘和倾斜度大的边缘。对比倾斜度预设阈值，如果倾斜度小于该预设阈值，自适应滤波器130将拒绝该边缘。

边缘检测器120产生的边缘参数控制自适应滤波器130的频率响应。首先，AF轨迹产生器131在坐标产生器110计算的映射坐标周围确定P×Q的输入象素块。通常，这些输入象素与ED轨迹产生器121产生的不同。滤波器133使用边缘参数控制的权值累加AF轨迹内的这些象素。换句话说，滤波器133的频率响应由局部边缘控制，并且因此，它局部地适用于特定的输入图像邻域。

在自适应滤波器130的一个实施例中，使用椭圆滤波器进行信号放大和增强。椭圆滤波器具有椭圆频率响应，有两个主截止频率：一个沿着边缘，另一个沿着与该边缘垂直的方向，如图3A中所示。椭圆的轴的长度由各向异性参数定义，因此最终图像的锐度通过检测的边缘的确定性控制。该滤波器不能设为笛卡儿分离式的，但可以实现为在主轴和次轴之间具有可变截止频率的圆形对称一维滤波器。该实施例中使用没有分开的方差的单通重新采样滤波器。该实施例的优点在于准确性和较好的输出图像质量。由于存储器要求包括所有象素数据的副本，从硬件实施角度来说，该实施例很难实现。

在自适应滤波器130的另一个实施例中，使用平行四边形滤波器轨迹进行信号放大和增强。在本实施例中，滤波器133分两个阶段执行插补：水平重新采样，随后沿着边缘方位执行插补，等于一个平行四边形轨迹。同样，最终图像的锐度由检测到的边缘的确定性控制。如图3B所示，该实施例的滤波器133具有基于平行四边形的二维频率响应。从硬件实施角度来说，尽管不能够得出椭圆、单通滤波的质量，双通采样的优点在于更容易实现。

在本发明再一个实施例中，设计为对椭圆滤波和平行四边形滤波两者的优化，输入象素空间被分为有限数量的偏斜方向，由斜度dx/dy定义。边缘方位一旦确定后，便可通过最近的偏斜方向估算得到。这一优化的优点在于计算的执行，它使得将象素纳入轨迹中变得更简单。例如，通过使用平行四边形滤波器，倾斜线与每个输入象素行的交叉点离最近的输入象素的距离为一常量。这显著地降低了计算复杂性。

在平行四边形滤波器的这一特定情况中，对于每个输出象素位置，如图4所示，预处理的中间图像的4个象素用于计算下面的量：

$g_{i,j}^f=p_{i+1,j+1}-p_{i,j}$

$g_{i,j}^r=p_{i,j+1}-p_{i+1,j}$

$g_{i,j}^{\mathrm{ff}}={\left(g_{i,j}^f\right)}^2,$

$g_{i,j}^{\mathrm{\Δ}}=\frac{1}{2}{(g_{i,j}^f+g_{i,j}^r)}^2$

$g_{i,j}^{\mathrm{rr}}={\left(g_{i,j}^r\right)}^2$

其中p_i，j是预处理器123产生的中间图像的亮度成分。它可在水平和垂直方向上进行子采样。来自周围区域的局部值g^ff、g^Δ、g^rr随后通过下面的等式在区域W内进行平均：

$G_{i,j}^{\mathrm{ff}}=\underset{a\∈W}{\mathrm{\Σ}}\underset{b\∈W}{\mathrm{\Σ}}{g}_{i+a,j+b}^{\mathrm{ff}},$ $G_{i,j}^{\mathrm{\Δ}}=\underset{a\∈W}{\mathrm{\Σ}}\underset{b\∈W}{\mathrm{\Σ}}{g}_{i+a,j+b}^{\mathrm{\Δ}},$ $G_{i,j}^{\mathrm{rr}}=\underset{a\∈W}{\mathrm{\Σ}}\underset{b\∈W}{\mathrm{\Σ}}{g}_{i+a,j+b}^{\mathrm{rr}}..$

这些平均后的倾斜度值用于计算总的倾斜度 $G=\frac{1}{2}(G^{\mathrm{ff}}+G^{\mathrm{rr}}),$ 各向异性 $A=\frac{\sqrt{{V_x}^2+{V_y}^2}}{G}$ 和两个量V_x＝G^Δ-G和 $V_y=\frac{1}{2}(G^{\mathrm{ff}}-G^{\mathrm{rr}}).$ 他们一起定义了偏斜值(skew，为整数)和低通滤波器控制值(启用(on)或禁用(off))。

为了能够检测到边缘，G和A必须大于可调整的阈值G_min和A_min。否则，倾斜度设为0，并且低通滤波操作被禁用。

对应边缘方位的倾斜度(每行的象素中)的值被定位为：

$\mathrm{skew}=-R_a\tan \left(\frac{\arg (V_x+{\mathrm{jV}}_y)}{2}\right)$

其中，R_a是预处理器123的输出处的中间图像的水平和垂直解析度的比值(纵横比)。

如果倾斜度值量化(四舍五入)为多个预定值之一，随后的处理可被简化。较简单的是列举每个量化阈值并确定产生它的V_x/V_y比值，而不是执行上述计算并随后量化计算结果。随后，找出量化的倾斜度是计算a_kV_x+b_kV_y形式的线性方程的符号中一个较简单的处理。每个函数通过对应特定量化阈值的常量a_k、b_k定义。

假设满足阈值G_min和A_min，则可确定倾斜度值和低通滤波器控制信号。除了当(V_x，V_y)产生倾斜度＝0，低通滤波器总是处于启用状态。在这个区域内，边缘接近垂直并且不应用任何处理。在这个阶段的输出是：倾斜度＝0、低通滤波器＝启用。

在最终的边缘参数估测形式中，为了避免从一个象素到下一个象素出现倾斜度的突变，当前象素的初始边缘估测值连同向左和向右的两个象素的初始边缘故测值一起被检查。这称作“调整步骤(conditioning step)”。如果产生斜度值为0，低通控制可以是启用或禁用。在两种情况中，这个决定都不受调整步骤影响。否则，将计算出一个最大的斜度值，即为前一阶段中找到的水平方向上相邻象素的斜度值的平均值的绝对值。

如果当前象素斜度值的幅度大于最大斜度值，将不受调整步骤的影响。如果超过最大斜度，超过部分的值被省略。当前象素斜度值保留原始符号。在当前象素斜度在调整步骤之前是非0的且最大斜度是0的情况中，调整后的斜度将为0并且低通控制将被禁用。这种情况是低通控制由调整阶段修改的唯一情况。

图5是本发明斜度＝0的行采样图。在这种情况中，每行的采样点具有与输出采样点相同的水平坐标。假设2输入(线性的)插值用于水平方向，4输入(三次的)插值用于垂直方向，列510和520中8个带阴影的象素用于产生沿着倾斜线530的4行采样样本，最终，产生一个输出采样样本540。

图6是本发明斜度＝-2的行采样图。在这种情况中，本发明的平行四边形滤波的实施例是极为重要的。行采样点从这种简单的几何结构中导出。同样，带阴影的象素用于计算倾斜线630周围的输出象素620。每个行采样的位置通过整数部分Δ_xi描述，即从基本列610的偏置量，并且对于4行中的每行都不同，而小数部分Δ_x对于4行都是相同的，因为斜度被四舍五入为整数。通常，

${\mathrm{\Δ}}_x^{\′}=\mathrm{frac}({\mathrm{\Δ}}_x-\mathrm{\τ}-\frac{1}{2}f-\mathrm{skew}\·{\mathrm{\Δ}}_y)$

其中f是0或1。当低通模式被激活时，使用f＝1；这将向左边产生额外的半个象素的位移。常量τ是小的调整量，将在下面描述。

这个实施例中的滤波器133由水平方向和垂直方向上的重新采样两个阶段组成。

在一个特定的实施例中，水平重新采样阶段基于现有技术的Blu-Thévenaz-Unser(BTU)‘平移线性’插值方法。这个技术通过使用有限脉冲响应(IIR)滤波器减轻线性插值的高频损耗。预滤波器在低频下具有相移，这通过移动采样点进行补偿。

图7A所示为BTU技术如何工作的示意图。一组新的采样c_n，例如新采样720，从输入y_n中建立，随后在这些新采样之间执行线性插值。该新采样建立为y_n＝τc_n-1+(1-τ)c_n，其中τ是固定的设计参数，并且730是插值后的波形。

下一步是通过对c_n线性插值建立输出采样，但在一个向左调整τ的位置。如果采样点与y_n之一一致，原始y_n将根据上述等式重新建立。中间值可出现“过冲”等，大约与较高阶滤波器方法一致。所述方法可在获得高质量的同时显著的降低计算复杂性。预滤波器由以下递归式定义：

c_-1＝0

$c_n=\frac{1}{1-\mathrm{\τ}}{y}_n-\frac{\mathrm{\τ}}{1-\mathrm{\τ}}{c}_{n-1},n\≥0$

输入图像采样在他们到达时被预滤波，并存储为c_n。因此，水平滤波器操作的值实际上是c_n，而不是y_n。在线性插值之前，水平采样点向左移τ。

插值操作以2个模式进行：正常模式，即为两个相邻c_n采样的简单线性插值；低通模式，产生低通滤波器效果。

正常模式通过下面的等式完成：

$r_i=c_{i,k+{\mathrm{\Δ}}_{\mathrm{Xi}}}+{\mathrm{\Δ}}_x^{\′}(c_{i,k+{\mathrm{\Δ}}_{\mathrm{Xi}}+1}-c_{i,k+{\mathrm{\Δ}}_{\mathrm{Xi}}})$

其中i是行索引0...3，r_i是行采样，k是列索引，其它符号的含义与之前的描述一致(c现在具有行下标)。

低通模式在每行使用3个临近的c值。为了选择这3个象素，在计算Δ_Xi和Δ′_X时向左偏移1/2象素。那么，使用的等式如下：

$r_i=\frac{1}{2}[c_{i,k+{\mathrm{\Δ}}_{\mathrm{Xi}}}+c_{i,k+{\mathrm{\Δ}}_{\mathrm{Xi}}+1}+{\mathrm{\Δ}}_x^{\′}(c_{i,k+{\mathrm{\Δ}}_{\mathrm{Xi}}+2}-c_{i,k+{\mathrm{\Δ}}_{\mathrm{Xi}}})]$

滤波器133的垂直重新采样阶段按照下式简单的完成：

$p=\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{a}_i\left({\mathrm{\Δ}}_y\right)r_i$

其中p是输出象素，a_i(Δ_y)是重新采样滤波器。在特定的实施例中，Δ_y被量化，并且通过查找表或其近似方法选择出预先计算出的值。根据图7-B，滤波器可以是基于N＝4的Keys插补器：

$a_0\left(\mathrm{\Δ}\right)=-\frac{1}{2}{(1-\mathrm{\Δ})}^2\mathrm{\Δ}$

$a_1\left(\mathrm{\Δ}\right)=\frac{3}{2}{\mathrm{\Δ}}^3-\frac{5}{2}{\mathrm{\Δ}}^2+1$

$a_2\left(\mathrm{\Δ}\right)=a_1(1-\mathrm{\Δ})=-\frac{3}{2}{\mathrm{\Δ}}^3+{2\mathrm{\Δ}}^2+\frac{1}{2}\mathrm{\Δ}$

$a_3\left(\mathrm{\Δ}\right)=a_0(1-\mathrm{\Δ})=-\frac{1}{2}(1-\mathrm{\Δ}){\mathrm{\Δ}}^2$

图8A是本发明图像处理系统10执行的流程图。步骤801，图像处理系统100接收对应输入图像的数字数据。该数据可以是帧或域。步骤810，输出象素的坐标映射在输入图像坐标上。随后，步骤820，选择步骤810中被映射的坐标周围的M×N输入象素块。步骤830，对该象素数据预处理以降低噪音，并且同时根据需要的将被检测的边缘比例改变输入图像的解析度。步骤840，针对该象素块内每个经过预滤波和向下采样的象素，计算局部信号方差。步骤842，使用这些局部信号方差来计算平均信号方差。步骤850，基于平均信号方差并根据所述参数确定边缘参数。步骤860，从步骤8 10中映射的坐标周围的原始输入图像中选择出P×Q的输入图像象素块。该像素块内的像素数量和滤波器的轨迹形状取决于选择的滤波器布局，并且，如前所述，是输出质量和计算能力之间的平衡。步骤870，通过在前述P×Q象素块中对输入象素插补生成输出像素。插补的权值取决于边缘参数。步骤880，将输出象素保存在输出帧缓存中。

图8B展示了与图8A相同的流程逻辑图以及边缘检测器120的具体实现。在这个图中，信号方差计算为斜度平方张量，并且，如前所述，滤波器以双通方式实现。

在描述了本发明的细节之后，现在我们现在描述图像处理系统100的一些特定的应用。本发明的应用之一是解交错。解交错基本上有两种方法。在第一种方法中，奇和偶域中的行可以加在一起，称作“域交织(field weaving)”。第二种方法中，在每个域中丢失的行可通过插补生成而不需参考其它的域，称作“线增倍(bobbing)”。然而，由于从交错的到顺序的视频扫描所伴随的转换，通常需要同时垂直地扩展图像。例如，如果输入是NTSC 480i交错的视频，两个域中每个域的解析度为720×240，输出则是720p的顺序视频，帧解析度为1280×720。因此，图像必须从垂直方向上的每个域240行缩放至每帧720行。因为交错的域本身是在垂直方向采样的，普通缩放会在接近水平轴的边缘产生锯齿，该锯齿在缩放时会被放大。

图9是本发明用于线增倍操作的同时进行缩放的图像处理系统100的一个实施例的流程逻辑。在本发明的这个实施例中，图像处理系统100用于在水平和垂直方向上对视频域同时使用放大和线增倍解交错。如上所述，“线增倍”是指每个域内丢失的行在不参照其它域情况下通过插补生成。这表示，与传统的解交错不同，垂直方向上的比例因子可以不是2，而是任何大于等于1的值。在提供边缘方位滤波的同时，图像处理系统100适用于任何特定的缩放比例。

步骤901，获得解交错域数字数据，其包含亮度和色度成分。步骤910，将输出象素坐标映射到输入图像坐标空间上。步骤930，水平低通滤波器应用于输入象素的亮度值以降低噪音并重置用于解交错操作的缩放比例。步骤940，计算局部象素亮度差。步骤942，基于局部亮度差，计算每个输入象素的局部GST。步骤944，基于映射的输出象素位置周围的象素块中的局部GST值，得出平均GST。步骤950，根据平均GST，确定输出象素位置的初始方位和低通滤波器控制信号。步骤952，从对当前输出象素和水平方向上临近象素的初始估测值中确定最终的方位和低通滤波器控制信号。步骤960，计算象素块中的水平采样点。这通过水平位置和小数的垂直位置以及倾斜度来确定。步骤970，基于水平采样点周围的输入象素计算中间采样。生成的结果是行采样。步骤980，使用4输入多相插补滤波器将该行采样合并(垂直方向上重新采样)。相位使用当前采样点的垂直坐标的小数部分选择得到。最后，步骤990，在计算出所有输出象素成分后，产生输出的顺序扫描帧。

在解交错应用的一个特定实施例中，根据检测的运动强度使用域交织和线增倍。首先，在临近域的象素之间检测运动。如果检测到的运动强度低于预定义的下限，则使用域交织来产生丢失的象素，其中来自临近域的象素用于产生顺序扫描帧。如果检测到的运动强度高于预定义的上限，则使用域的线增倍，其中丢失的象素通过重新缩放和对当前域插补来生成。在运动强度位于两个限度之间时，丢失的象素根据运动强度在线增倍和交织两种方法之间通过插补确定。

本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换，本发明的保护范围由权利要求定义。

Claims (26)

1、一种扩展和增强具有输入坐标空间的输入数字图像数据的方法，通过对输出象素应用自适应边缘插补，生成具有特定的解析度和形状并具有输出坐标空间的输出数字图像数据，其特征在于，所述方法包括：

(a)获得输入数字图像数据；

(b)将输出象素坐标映射到步骤(a)中获得的输入坐标空间上；

(c)在步骤(b)的映射点周围选择M×N输入象素块，其中所述像素块的形状和大小基于要求的边缘解析度确定；

(d)对所述像素块的输入象素应用水平和垂直低通滤波器以降低噪音，并向下采样以改变比例从而调整纵横比，以及适于低角度边缘检测；

(e)对所述象素块中每个在步骤(d)中进行向下采样的象素计算局部信号方差以确定信号行为；

(f)基于步骤(e)中确定的所述象素块内的局部信号方差计算平均信号方差，以确定所述象素块中的平均信号行为；

(g)基于步骤(f)中确定的平均信号方差，决定边缘的方位、各向异性和强度；

(h)基于步骤(g)中确定的边缘的方向、各向异性和强度，确定重新采样滤波器的频率响应及其在步骤(b)中确定的输入图像内的映射位置处的轨迹；以及

(i)通过在步骤(h)中确定的轨迹内根据步骤(h)中确定的频率响应进行重新采样，来确定输出象素的值。

2、如权利要求1所述的方法，其特征在于，步骤(f)的平均信号方差通过下述步骤确定：

I.计算所述M×N像素块的每个输入象素内的水平和垂直斜度；

II.基于步骤“I”中的局部斜度，计算所述像素块中每个输入象素的局部斜度平方张量；以及

III.基于步骤“II”中的局部斜度张量，计算所述像素块的平均斜度平方张量。

3、如权利要求1所述的方法，其特征在于，所述边缘方位通过下述步骤估算得到：

(A)在x-y平面内预定义一组斜率，其与每个输入象素行中的最接近象素之间具有相同的截距；

(B)使用不同的倾斜线特征化所述斜率，其中倾斜线定义为具有预定义的斜率dx/dy；以及

(C)使用所述最近的倾斜线逼近实际边缘方位，以便通过估算出计算所述边缘方位线与输出象素行的交点的需求，来实现输出象素的插补计算。

4、如权利要求1所述的方法，其特征在于，在步骤(h)基于所述边缘方位确定椭圆形轨迹，所述轨迹的主轴和次轴之一处于所述边缘方位上，并且所述方法使用基于椭圆形频率响应的单通二维重新采样滤波器。

5、如权利要求3所述的方法，其特征在于，椭圆轨迹确定为其主轴和次轴之一位于所述倾斜线上，以利于滤波操作中的象素包含计算，并且所述方法使用基于椭圆形频率响应的单通二维重新采样滤波器。

6、如权利要求1所述的方法，其特征在于，平行四边形轨迹确定为沿着所述边缘方位，并且所述方法使用基于平行四边形频率响应的双通水平和垂直重新采样。

7、如权利要求3所述的方法，其特征在于，平行四边形轨迹确定为沿着所述倾斜方向，且所述倾斜线将平行四边形分开两半，以利于滤波时象素包含的计算，并且所述方法使用基于平行四边形频率响应的双通水平和垂直重新采样。

8、如权利要求1所述的方法，其特征在于，所述方法适用于转换交错视频输入值为顺序扫描视频输出，其中所述方法增加垂直方向上的缩放比例并在域中插补丢失的行以产生顺序扫描视频帧。

9、如权利要求1所述的方法，其特征在于，所述方法通过如下步骤适用于转换交错的视频输入为顺序扫描视频输出：

(I)检测交错视频域的象素内的运动强度；

(II)如果检测到的运动强度低于预定义的下限，通过合并来自两个临近交错域的象素产生顺序扫描帧；

(III)如果检测到的运动强度大于预定义的上限，使用权利要求8的方法，通过重新缩放和插补一个交错域来生成顺序扫描帧；以及

(IV)如果运动强度在上限和下限之间，根据运动强度在(II)和(III)之间进行插补。

10、如权利要求1所述的方法，其特征在于，所述方法基于移位线性插补使用输入象素周围的输出象素的中间水平重新采样，所述移位线性插补通过对每个象素的值沿着连接两个临近象素的值的线方向移动某一量来确定，并对所述新值采样而不是对原始象素采样以减轻高频损失。

11、如权利要求1所述的方法，其特征在于，步骤(b)中的所述坐标映射是线性缩放。

12、如权利要求1所述的方法，其特征在于，步骤(b)中的所述坐标映射是扭曲。

13、如权利要求1所述的方法，其特征在于，如果所述边缘各向异性和强度高于预定义的限度，步骤(i)中的滤波器频率响自适应于步骤(g)中确定的边缘强度和各向异性以增强边缘细节，并且，若所述边缘各向异性和强度低于预定义限度，则平滑所述边缘细节。

14、一种扩展并增强具有输入坐标空间的输入图像数据的系统，通过对输出象素应用自适应边缘插补，产生具有特定解析度和形状并具有输出坐标空间的输出数字图像数据，其特征在于，所述系统包括：

(a)用以获得输入数字图像数据的接口；

(b)将输出象素坐标映射在输入坐标空间上的坐标产生器；

(c)第一轨迹产生器，连接至所述接口和所述坐标产生器，用以在所述映

射点周围选择M×N的输入象素块，其中所述象素块的形状和大小基于要求的边缘解析度确定；

(d)预处理器，连接至所述第一轨迹产生器，用以对所述象素块的输入象

素应用水平和垂直低通滤波器以降低噪音，并向下采样以改变比例从而调整纵横比，以及适于低角度边缘检测；

(e)方差计算器，连接至所述预处理器，用以计算所述象素块中每个输入象素的局部信号方差以确定信号行为；

(f)积分器，连接至所述方差计算器，用以基于所述象素块中的局部信号方差，计算平均信号方差以确定所述象素块中的平均信号行为；

(g)边缘估测器，连接至所述积分器，用以基于所述积分器计算出的平均信号方差确定边缘的方位、各向异性和强度；

(h)第二轨迹产生器，连接至所述接口、所述坐标产生器和所述边缘估测器，用以基于所述边缘估测器确定的边缘的方位、各向异性和强度，确定重新采样滤波器的频率响应及其在输入图像内所述映射位置处的轨迹；以及

(i)滤波器，连接至所述第二轨迹产生器和所述边缘估测器，用以通过在所述轨迹中重新采样以及根据所述第二轨迹产生器得出的频率响应确定输出象素的值。

15、如权利要求14所述的系统，其特征在于，所述方差计算器和所述积分器通过如下步骤计算平均信号方差：

I.计算所述M×N像素块的每个输入象素内的水平和垂直斜度；

II.基于步骤“I”中的局部斜度，计算所述像素块中每个输入象素的局部斜度平方张量；以及

III.基于步骤“II”中的局部斜度张量，计算所述像素块的平均斜度平方张量。

16、如权利要求14所述的系统，其特征在于，所述边缘估测器通过如下步骤执行边缘方位估测：

(A)在x-y平面内预定义一组斜率，其与每个输入象素行中的最接近象素之间具有相同的截距；

(B)使用不同的倾斜线特征化所述斜率，其中倾斜线定义为具有预定义的斜率dx/dy；以及

(C)使用所述最近的倾斜线逼近实际边缘方位，以便通过估算出计算所述边缘方位线与输出象素行的交点的需求，来实现输出象素的插补计算。

17、如权利要求14所述的系统，其特征在于，所述第二轨迹产生器基于所述边缘方位确定椭圆形轨迹，所述轨迹的主轴和次轴之一处于所述边缘方位上，并且所述方法使用基于椭圆形频率响应的单通二维重新采样滤波器。

18、如权利要求16所述的系统，其特征在于，所述第二轨迹产生器确定椭圆轨迹为其主轴和次轴之一位于所述倾斜线上，以利于滤波操作中的象素包含计算，并且所述滤波器使用基于椭圆形频率响应的单通二维重新采样滤波器。

19、如权利要求14所述的系统，其特征在于，所述第二轨迹产生器沿着所述边缘方位确定平行四边形轨迹，并且所述滤波器使用基于平行四边形频率响应的双通水平和垂直重新采样。

20、如权利要求16所述的系统，其特征在于，所述第二轨迹产生器沿着所述倾斜方向确定平行四边形轨迹，且所述倾斜线将平行四边形分开两半，以利于滤波时象素包含的计算，并且所述滤波器使用基于平行四边形频率响应的双通水平和垂直重新采样。

21、如权利要求14所述的系统，其特征在于，所述系统适用于转换交错视频输入值为顺序扫描视频输出，其中所述系统增加垂直方向上的缩放比例并在域中插补丢失的行以产生顺序扫描视频帧。

22、如权利要求14所述的系统，其特征在于，所述系统通过如下步骤适用于转换交错的视频输入为顺序扫描视频输出：

(I)检测交错视频域的象素内的运动强度；

(II)如果检测到的运动强度低于预定义的下限，通过合并来自两个临近交错域的象素产生顺序扫描帧；

(III)如果检测到的运动强度大于预定义的上限，使用权利要求8的方法，通过重新缩放和插补一个交错域来生成顺序扫描帧；以及

(IV)如果运动强度在上限和下限之间，根据运动强度在步骤(II)和(III)之间进行插补。

23、如权利要求14所述的系统，其特征在于，所述系统基于移位线性插补使用输入象素周围的输出象素的中间水平重新采样，所述移位线性插补通过对每个象素的值沿着连接两个临近象素的值的线方向移动某一量来确定，并对所述新值采样而不是对原始象素采样以减轻高频损失。

24、如权利要求14所述的系统，其特征在于，所述坐标产生器执行的坐标映射是线性缩放。

25、如权利要求14所述的系统，其特征在于，所述坐标产生器执行的坐标映射是扭曲。

26、如权利要求14所述的系统，其特征在于，如果所述边缘各向异性和强度高于预定义的限度，所述滤波器自适应于所述边缘强度和各向异性以增强边缘细节，并且，若所述边缘各向异性和强度低于预定义限度，则平滑所述边缘细节。

Images