CN101142614A - 使用各向异性滤波的单通道图像变形系统和方法 - Google Patents

Abstract

本发明公开了一种在单通道数字图像变形中在扩展椭圆或矩形轨迹上进行圆形对称各向异性滤波的方法和系统。执行滤波时，首先找到并调整椭圆，该椭圆近似于输入图像空间中输出像素的映射位置处非均匀图像缩放函数。确定从该椭圆到输入图像空间中的单位圆的线性变换以计算轨迹内输入像素半径及作为该半径的函数的对应滤波器系数。在图像质量和处理速率之间进行折衷以确定轨迹形状。在一个实施例中，平滑及变形部分的轮廓被组合在一起以生成更清晰或细节增强型的输出图像。本发明的方法及系统可生成不带锯齿失真的逼真输出图像，同时可保持或增强输入图像的清晰度。

Description

使用各向异性滤波的单通道图像变形系统和方法

技术领域

本发明涉及数字图像变换中的滤波方法，更具体地说，涉及一种单通道数字图像变形系统的信号重采样中的各向异性滤波。

背景技术

数字图像基本上是数字数据的二维阵列，其中各元素表示数字化图像的像素。像素数据包括如红、绿和蓝(RGB)的各种亮度成分。显示系统根据输入的数字数据给这些不同的成分电子地分配亮度数值。然而，所显示的图像可能存在各种光学畸变和几何畸变，例如诸如枕形畸变和桶形畸变等镜头畸变、投影梯形畸变等等。补偿这些畸变的一种方法是数字图像变形，或“非均匀缩放”。图像变形可定义为一种对均匀间隔的输入图像进行动态重采样的过程，进而生成具有与输入图像不一样间距的输出图像。图像变形广泛地应用于线性缩放操作中，如放大和缩小等这些特定且简单的情况。

在图像变形系统中有两个基本步骤：空间变换和重采样。

空间变换定义为输入和输出图像的像素坐标间的映射函数。逆映射将输入图像中的坐标规定为输出图像中的坐标的函数，逆映射通常用于覆盖整个输出图像坐标空间并避免留下“空洞”。

另一方面，重采样是将一个输入像素周围的几个输入像素插入到输出图像像素中的过程。其中包括这些参与到内插过程的输入像素的邻近区域称为滤波器轨迹(footprint)。众所周知，滤波器轨迹越大，则输出图像质量越高。此外，各向异性的轨迹也可得到更高质量的输出图像。轨迹的尺寸和各向异性以及硬件执行效率之间需要一定的折衷。通过将已变形图像的空间频率在处理的输出像素周围各方向上动态地限制为奈奎斯特极限(Nyquist limit)，即完成了重采样过程。

为了降低滤波所需的硬件资源，图像变形可在水平和垂直两个独立通道中进行。在这种情况下，变换必须分割(即，可分解)为具有两个正交的一维变换的序列。美国专利No.5175808、5594676和6061477均有双通道变形的实例。不过，双通道解决方案也有许多缺点。首先，并不是所有几何变换都是可分割的(瓶颈和折叠(fold over)问题)。第二，分割本身会引入几何畸变。第三，双通道滤波容易产生锯齿失真(jagging artifact)，尤其在几何变换带有旋转成分的情况下。因此，有必要为2D图像变换(变形)设计一种单通道方法，从而克服双通道算法的缺点。

在多速率信号处理中，为了避免不必要的失真，数字图像的重采样过程包括下列步骤：根据其离散样本重新生成连续信号，变换该连续信号，对该连续信号进行低通滤波以消除目标图像中高于标准的奈奎斯特频率的混叠频率，以及在输出像素网格采样位置处对该经过变形的连续信号进行采样。

根据现有技术可知，理想重采样过程的这些步骤可连接为单个统一的椭圆高斯滤波器，称为椭圆加权平均[Paul S.Heckbert，”Fundamentals ofTexture Mapping and Image Warping”，master Thesis，UCB，1989]。此后，通过采用该椭圆半径的近似值，人们在降低所需存储器和时钟等的硬件资源方面做了诸多努力。

发明人为Dickie的美国专利No.6,016,152揭示了通过仿射变换逼近非均匀图像缩放的装置和方法，用于在源图像中定义椭圆。从源图像中的单位圆到源图像中的椭圆的线性变换被计算出。为了降低非一致性缩放应用中的失真，通过识别源图像中所包含的像素来确定目标图像中的像素值。

发明人为Gabriel等的美国专利No.6,005,582揭示了使用各向异性滤波的纹理映射图像的方法和系统，其中包括沿着纹理图(texture map)中的各向异性线(line of anisotropy)通过内插滤波器，并计算内插滤波器输出的加权和以计算像素的亮度值。这些输出值的加权可使用一维数字滤波器来计算。各向异性线来自于逆变换，该逆变化将几何基元表面上的点映射至纹理映射中的点。

发明人为Perry等的美国专利No.6,292,193揭示了对每像素采用多个空不变(space-invariant)滤波操作的各向异性纹理映射技术。圆形像素滤波器投影到纹理图上以定义该纹理图中的椭圆轨迹。采样点确定为位于该轨迹中的线条上，该线条近似于该椭圆的长轴。这些采样点被映射为mip-map中的细节水平和位置。通过空不变滤波器，采用mip-map内的一个或多个纹理图中的数据计算出各采样点的纹理值。采样点的这些纹理值通过高斯滤波器函数进行后滤波并进行相加以生成最终纹理值。

发明人为Lohmeyer等的欧洲专利No.EP0920671B1揭示了计算上高效的单通道数字图像变形方法，其中包括下列步骤：将输入图像的采样速率提高到奈奎斯特速率之上，利用双线性内插器等低质量内插器对上采样图像进行变形，将变形后的图像下采样为与输入图像相同的分辨率。其中，对上采样图像进行变形时，可通过修改几何变换函数将下采样和变形步骤合并为一个步骤。

然而，这些及其它现有系统由于其脉冲响应会产生单一频率响应，所以难以在混叠和锐度之间得到折衷。因此，需要一种改进的内插方法和装置，进而在数字图像变形系统中提供更灵活的滤波。

发明内容

本发明一方面提供了一种使用各向异性滤波器的单通道数字图像变形方法，用于将具有输入像素坐标空间和输入数字像素数据的输入图像变换为具有输出像素坐标空间和输出数字像素数据的输出图像，所述方法包括：

(a)为输出像素获取输入数字图像数据；

(b)将输出像素坐标映射到输入图像坐标空间，以确定映射坐标位置；

(c)确定与步骤(b)确定的映射坐标位置处的输入坐标相关的输出像素坐标的雅可比矩阵；

(d)根据步骤(c)中确定的雅可比矩阵的两个行向量确定长轴半径、短轴半径以及长轴的取向，进而唯一地确定位于步骤(b)中确定的映射坐标位置周围的椭圆；

(e)根据所需的图像质量和所需的处理速率扩展和调整所述椭圆的半径；

(f)根据步骤(e)的结果在输入图像坐标空间中确定围绕步骤(b)中所确定的所述映射坐标位置周围的轨迹，以将参与滤波的输入像素包括在所述轨迹内；

(g)将步骤(d)的椭圆变换为半径为1个单位的圆形，以便计算圆心与所包含输入像素之间的距离；

(h)从作为步骤(g)中距离的函数的圆形对称轮廓中确定轨迹中的所有输入象素的各向异性滤波器系数；

(i)通过将轨迹内的输入像素值与步骤(h)中确定的系数相累加，确定输出像素值；以及

(j)保存所述输出像素值。

本发明另一方面提供了一种使用各向异性滤波器的单通道数字图像变形系统，用于将具有输入像素坐标空间和输入数字像素数据的输入图像变换为具有输出像素坐标空间和输出数字像素数据的输出图像，所述系统包括：

(a)用于为输出像素获取输入数字图像数据的输入接口；

(b)用于将输出像素坐标映射到输入图像坐标空间以确定映射坐标位置的坐标生成器；

(c)与所述输入接口和所述坐标生成器相连的局部缩放估算器，用于确定与步骤(b)确定的映射坐标位置处的输入坐标相关的输出像素坐标的雅可比矩阵；

(d)所述局部缩放估算器进一步根据步骤(c)中确定的雅可比矩阵的两个行向量确定长轴半径、短轴半径以及长轴的取向，进而唯一地确定围绕在步骤(b)确定的映射坐标位置周围的椭圆；

(e)所述局部缩放估算器可进一步根据所需的图像质量和所需的处理速率扩展和调整所述椭圆的半径；

(f)与所述局部缩放估算器和所述坐标生成器相连的轨迹生成器，用于在输入图像坐标空间中确定围绕所述映射坐标位置的轨迹，以将参与滤波的输入像素包括在所述轨迹内；

(g)与所述轨迹生成器和所述局部缩放估算器相连的滤波器系数生成器，用于将步骤(d)的椭圆变换为半径为1个单位的圆形，以便计算圆心与所包含输入像素之间的距离；

(h)所述滤波器系数生成器进一步从作为所述距离的函数的圆形对称轮廓中确定轨迹中的所有输入象素的各向异性滤波器系数；

(i)与所述滤波器系数生成器和所述轨迹生成器相连的滤波器，用于通过将轨迹内的输入像素值进行累加来确定输出像素值；以及

(j)与所述滤波器相连的输出接口，用于保存所述输出像素值。

本发明的一个实施例提供了一种生成各向异性滤波器的圆形对称轮廓的方法，用于在图像中得到锐度和细节增强。

在本发明的一个实例中，滤波器的轨迹为椭圆形状，且由几个因子进行扩展，从而在图象质量和处理速度之间取得折衷。

在本发明的另一个实例中，为了将图像变形系统中的缓存子系统的复杂度和带宽最小化，滤波器的轨迹为固定的矩形形状。

在本发明的又一实例中，可根据局部边缘方向调整所得到的椭圆形状。

本发明的不同方面的进一步细节及其优点，将从下面的描述和附图中得到更充分的理解。

附图说明

附图中：

图1是根据本发明构建的图像变形系统优选实施例的方框图；；

图2是将输出像素从输出图象空间映射入输入图像空间中的椭圆的示意图；

图3是具有椭圆或矩形轨迹、圆形对称轮廓(circularly symmetricprofile)的非椭圆滤波器的示意图；

图4A是具有圆形对称轮廓的各向异性滤波器的二维脉冲响应的示意图；

图4B是具有圆形对称轮廓的各向异性滤波器的二维频率响应的示意图；

图5A是图1所示图像变形系统所执行的逻辑流程图；

图5B是根据本发明构建的系统实例的运行逻辑流程图，其中采用曲面拟合(surface fitting)来生成从椭圆到单位圆的线性变换的三个虚拟参数。

具体实施方式

首先如图1所示，给出了根据本发明优选实施例构建的图像变形系统100。图像变形系统100是使用圆形对称各向异性滤波的单通道数字图像变形系统。图像变形系统100包括坐标生成器112、局部缩放估算器114、轨迹生成器122、滤波器系数生成器124和滤波器126。坐标生成器112将像素坐标从输出图像空间转换到输入图像空间。局部缩放估算器114计算从被映射的输出像素内近似于非均匀图像缩放函数的椭圆到单位圆的线性变换的参数。轨迹生成器122确定要进行滤波的输入像素。滤波器系数生成器124利用圆形对称轮廓计算轨迹中输入像素的权重。最后，滤波器126计算输出像素。

图像变形系统100包括两个主要单元：几何引擎110和滤波器引擎120。几何引擎110的功能与几何变换相关。

几何引擎110包括坐标生成器112和局部缩放估算器114。坐标生成器112将输出像素的坐标映射到输入图像坐标空间上。该变换包括简单缩放到复杂变形。本领域技术人员很清楚，将输出坐标映射到输入坐标，或反向变换，都具有诸多优点，包括覆盖整个输出像素空间而不会在输出图像中留下“空洞”。

几何引擎110的另一部件是局部缩放估算器114，该估算器对于滤波器引擎120计算滤波器系数是至关重要的，将在下文进行详细描述。

局部缩放估算器114计算2×2矩阵的各元素，该矩阵决定了从椭圆到半径为1的圆形的线性变换。该变换近似于映射的输出像素位置处的非均匀图像缩放函数，该变换可基于雅可比(Jacobian)矩阵进行计算，雅可比矩阵在其各行中包括向量函数的一阶偏导数。如图2所示，雅可比矩阵是在影射的输出像素210位置处的局部映射函数的局部仿射逼近值：

$J(x,y)=\left[\begin{array}{cc}{u}_x& v_x\\ u_y& v_y\end{array}\right]\left[\begin{array}{cc}\frac{\∂u}{\∂x}(x,y)& \frac{\∂v}{\∂x}(x,y)\\ \frac{\∂u}{\∂y}(x,y)& \frac{\∂v}{\∂y}(x,y)\end{array}\right]$

雅可比矩阵的各行形成两个向量220和230，这两个向量确定了椭圆240，具有长轴250、短轴260且长轴与水平方向间的夹角为270度。

椭圆240以基于雅可比矩阵的2×2变换矩阵为特征。由于三个参数即足以确定任意椭圆(如，两个正交半径和长轴倾角即可确定椭圆)，该变换矩阵可根据下述方法计算：其中只有三个元素为非零，而第四个元素永远为零。

在本发明的一个实例中，局部缩放估算器114计算矩阵M的各元素来实现下述线性变换：

$\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\end{array}\right]=\left[\begin{array}{cc}{M}_{00}& M_{01}\\ M_{10}& M_{11}\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]$

其中(u，v)是与椭圆中心相关的源像素坐标，而(u’，v’)是“椭圆空间”坐标。在椭圆空间中，椭圆内的像素坐标满足下式：

r²(u′，v′)＝(u′)²+(v′)²≤1

因此，矩阵M将椭圆映射为半径为1的圆形。为了生成该矩阵，首先从雅可比矩阵中得到椭圆长轴λ₁、短轴λ₂以及长轴与水平方向间的夹角α₁。接着，应用所有必要的半径限制条件。最后，从这三个参数中计算得到矩阵M的三个非零元素。

局部缩放估算器114利用雅可比矩阵J的各行求解下式：

Q＝J^-1(J^-1)^T

在正交的限制条件下，为矩阵J求解上式，即：

$J=\left[\begin{array}{cc}{\mathrm{\λ}}_1& 0\\ 0& {\mathrm{\λ}}_2\end{array}\right]\left[\begin{array}{cc}{\cos \mathrm{\α}}_1& {\sin \mathrm{\α}}_1\\ -\sin {\mathrm{\α}}_1& {\cos \mathrm{\α}}_1\end{array}\right],$

可计算得到雅可比矩阵的特征向量。在本发明的一个实例中，这是通过首先从雅可比矩阵的各元素计算下述中间变量来完成的：

$A=v_x^2+v_y^2,$ B＝-2(u_xv_x+u_yv_y)， $C=u_x^2+u_y^2,$ F＝(u_xv_y-u_yv_x)²

P＝A-C，Q＝A+C， $T=\mathrm{sign}\left(P\right)\sqrt{P^2+B^2}$

接着椭圆的正交半径的长度，即为所需的特征向量，可表示为下列值：

${\mathrm{\λ}}_1=\max (\sqrt{\frac{2F}{Q+T}},\sqrt{\frac{2F}{Q-T}}),$ ${\mathrm{\λ}}_2=\min (\sqrt{\frac{2F}{Q+T}},\sqrt{\frac{2F}{Q-T}})$

最后，长轴与水平方向之间的夹角可根据下式进行计算：

或者：

$\sin 2{\mathrm{\α}}_1=-\frac{P}{T}$ 且 $\cos 2{\mathrm{\α}}_1=-\frac{B}{T}$

在本发明的一个特定实例中，所得到的椭圆可根据一些因素进行扩展，从而在图像质量和处理速度方面提供更佳的灵活性。例如，如果输入和输出图像足够小，可通过某些因素增大轨迹(即，在更大区域内进行滤波)。由于二维滤波器的更佳频率响应，可以提高图像质量。另一方面，在大输入和输出图像或者较大局部缩小范围的情况下，可将轨迹降低到最小尺寸。

此外，在通过变形映射(warp map)实现局部缩小的情况下，为了限制处理像素的数目，将为λ₁和λ₂增加两个限制条件。第一个限制条件λ_max限定了椭圆半径的最大长度，而第二个限制条件β_max限定了各向异性比率，即长轴与短轴半径之比。另外，如果λ₁和λ₂两者都小于预先设定的最小值，则引入第三个限制条件λ_min，该限制明显地不应小于1。该最后一个限制条件确保滤波器轨迹永远不会太小以至于无法进行内插。这些限制处理可表示为下式：

λ₁←cut(λ_min，λ₁，λ_max)，λ₂←cut(λ_min，λ₂，λ_max)，λ₁←min(λ₁，λ₂β_max)

在本发明的一个实例中，如果应用了这些限制条件之后，长轴和短轴半径均等于1，则表示在所有方向均存在局部扩展，椭圆的半径将根据局部边缘(local edge)的方向进行调整。短轴半径保持为1，而长轴根据边缘强度成比例扩展。

矩阵M的计算使得M₁₀为0。这通过使椭圆在(u’，v’)空间适当旋转来实现，而不影响其半径大小。通过矩阵M映射到“椭圆空间”(u’，v’)可表示为：

$M=\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{cc}\frac{\cos {\mathrm{\α}}_1}{{\mathrm{\λ}}_1{R}_u}& \frac{\sin {\mathrm{\α}}_1}{{\mathrm{\λ}}_1{R}_u}\\ -\frac{\sin {\mathrm{\α}}_1}{{\mathrm{\λ}}_1{R}_u}& \frac{\cos {\mathrm{\α}}_1}{{\mathrm{\λ}}_2{R}_u}\end{array}\right]$

其中R_u为扩展因子。右边的矩阵将坐标空间旋转一椭圆长轴夹角角度，接着在轴向上进行非均匀缩放，进而将椭圆本身映射为单位圆。左边的矩阵提供了附加的θ度旋转。由于左边的旋转对滤波器系数的计算没有影响，所以可任意选择以使M₁₀为0，即：

$\tan \mathrm{\θ}=\frac{{\mathrm{\λ}}_1\sin \mathrm{\α}}{{\mathrm{\λ}}_2\cos \mathrm{\α}}$

或 $\cos \mathrm{\θ}=\frac{{\mathrm{\λ}}_2\cos {\mathrm{\α}}_1}{R},$ $\mathrm{whereR}=\sqrt{{{\mathrm{\λ}}_2}^2{\cos }^2{\mathrm{\α}}_1+{{\mathrm{\λ}}_1}^2{\sin }^2{\mathrm{\α}}_1}$

代入这些值并用β＝λ₁/λ₂替换，最终可得到

$M=\frac{1}{R_u\sqrt{{\mathrm{\λ}}_1{\mathrm{\λ}}_2}}\frac{1}{\sqrt{\frac{{\mathrm{\β}}^2+1}{2\mathrm{\β}}-\frac{{\mathrm{\β}}^2-1}{2\mathrm{\β}}\cos 2{\mathrm{\α}}_1}}\left[\begin{array}{cc}\frac{{\mathrm{\β}}^2+1}{2\mathrm{\β}}-\frac{{\mathrm{\β}}^2-1}{2\mathrm{\β}}\cos 2{\mathrm{\α}}_1& -\frac{{\mathrm{\β}}^2-1}{2\mathrm{\β}}\sin 2{\mathrm{\α}}_1\\ 0& 1\end{array}\right]$

如图3所示，椭圆轨迹330或矩形轨迹340内部的输入像素320的半径310，可认为是具有圆形对称滤波器的轮廓(脉冲响应)350的查询表中的索引。圆形对称滤波器的轮廓根据输入处理像素方向上从椭圆中心到其边缘的距离进行伸长或缩短。在该图中，λ₁为长轴半径360，λ₂为短轴半径370，而R_u为椭圆扩展因子。如果λ₁＝λ₂＝1，则滤波器在所有方向上进行上采样。如果λ₁＞1，λ₂＞1，则滤波器在所有方向上进行下采样。但是，如果λ₁＞1，λ₂＝1，则同时进行上采样和下采样，且在放大和缩小之间有平滑转换。

在脉冲响应内具有固定扩展因子R_u和固定的系数数量N的情况下，该圆形对称轮廓具有可变长度和可变部分带宽，具体取决于椭圆方向和形状。图4A和图4B分别给出了R_u＝2和N＝256情况下滤波器的二维脉冲响应和频率响应。

在各向异性椭圆滤波的情况下，滤波器引擎120至少需要5个参数来生成变形图像：将输出像素坐标映射到输入图像坐标空间的两个坐标u、v以及表示从椭圆到单位圆的线性变换的三个参数M₀₀、M₀₁、M₁₁。

由于对于某些空间变换而言，前两个映射可能非常复杂甚至可能没有解析形式，在本发明的一个特定实例中，这些映射可通过使用多项式的曲面拟合来逼近：

$u(x,y)=\underset{i=0}{\overset{I}{\mathrm{\Σ}}}\underset{j=0}{\overset{J}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}{x}^i{y}^j,v(x,y)=\underset{i=0}{\overset{I}{\mathrm{\Σ}}}\underset{j=0}{\overset{J}{\mathrm{\Σ}}}{b}_{\mathrm{ij}}{x}^i{y}^j$

其中a_ij、b_ij为多项式系数，而I、J为多项式的次数(degree)。上述表达式从空间变换的物理模型中抽象得到，且是映射函数的简洁表达式。

在本发明的一个实例中，表示从椭圆到单位圆的线性变换的矩阵M中的各元素，直接从坐标多项式中实时计算得到。它们从雅可比矩阵计算得到，该矩阵的四个元素是两个坐标多项式的偏导数。

在本发明的另一实例中，为了节省计算时间，矩阵M的各元素表示为多项式拟合曲面，如下式所示：

$M_{00}(x,y)=\underset{i=0}{\overset{I}{\mathrm{\Σ}}}\underset{j=0}{\overset{J}{\mathrm{\Σ}}}{c}_{\mathrm{ij}}{x}^i{y}^j,$ $M_{01}(x,y)=\underset{i=0}{\overset{I}{\mathrm{\Σ}}}\underset{j=0}{\overset{J}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}{x}^i{y}^j,$ $M_{11}(x,y)=\underset{i=0}{\overset{I}{\mathrm{\Σ}}}\underset{j=0}{\overset{J}{\mathrm{\Σ}}}{e}_{\mathrm{ij}}{x}^i{y}^j$

其中c_ij、d_ij、e_ij为多项式系数，而I、J为多项式的次数。

轨迹生成器122定义了在输入图像坐标空间中围绕着输出像素的映射位置的区域，包括了用于生成输出像素数据的输入像素。在本发明的一个实例中，轨迹为基于矩阵M的所计算出的各元素的椭圆形状。该实例提供了更好的图像质量但需要更多的硬件资源。在本发明的另一实例中，轨迹为矩形形状，这是为了将像素包含的复杂度最小化，同时在输出图像质量中取得折衷。

滤波器系数生成器124可估计轨迹中所包含的输入像素的权重。在本发明的一个实例中，输入像素的权重即为其到映射到半径为1的圆上的椭圆中心的距离的函数。在该实例的特定实现中，这些权重是以硬件资源为代价以更灵活地方式动态计算得到的。在另一实现中，为了节省硬件资源，这些权重从具有预先计算的圆形对称轮廓的查询表中得到。

为了理解生成该轮廓(profile)的方法，需要注意有四种标准方法来设计二维有限脉冲响应(FIR)滤波器：开窗方法、频率采样方法、频率变换方法和最佳滤波器设计。在本发明的一个实例中，在设计圆形对称滤波器轮廓时选择了开窗方法，该方法是一维滤波器设计的直接扩展。

如果已知频率响应H(ω_u，ω_v)，则可利用傅立叶逆变换确定滤波器h(u′，v′)的脉冲响应。可通过截取脉冲响应h(u′，v′)并将其与窗口函数w(u′，v′)相乘得到所需要的有限脉冲响应(FIR)滤波器，即h_d(u′，v′)＝h(u′，v′)w(u′，v′)。

图像变形的期望频率响应是圆形对称理想低通滤波器：

其中π≤ωu，ωv≤π。

截止频率为ω_c的滤波器的脉冲响应为 $h(u^{\′},v^{\′})=\frac{{\mathrm{\ω}}_c}{2\mathrm{\πr}(u^{\′},v^{\′})}{J}_1\left({\mathrm{\ω}}_{c}r(u^{\′},v^{\′})\right),$ 其中 $r(u^{\′},v^{\′})=\frac{R_u\sqrt{{\left(u^{\′}\right)}^2+{\left(v^{\′}\right)}^2}}{N}=\frac{R_{u}n}{N}$ 是标准化半径，n满足0≤n＜N，J₁是第一类一阶贝塞尔函数。二维窗函数w(u′，v′)基于一维凯塞窗函数原型得到。通过旋转公式，设计所用的实际区域为圆形子区R_u。

其中I₀()是第一类零阶修正贝塞尔函数，β为参数。

输出的变形图像的外观可通过强调其高频内容得到很好的改进，从而加强其边缘和细节。在本发明的一个实例中，滤波器系数生成器124采用标准线性反锐化掩膜算法来实现该目的。在该技术中，经过高通滤波的图像的一部分被添加到该图像本身内。在线性反锐化掩膜算法的一个修正版本中，当像素附近的低通滤波(平滑)信号从像素值中提取出来时，可根据下式从输入图像I(x，y)中得到增强型图像O(x，y)：

O(x，y)＝I(x，y)+α(I(x，y)-I_s(x，y))＝(1+α)I(x，y)-αI_s(x，y)

其中I(x，y)和0(x，y)为输入和输出像素值，I_s(x，y)为邻近区域的平滑像素值，而α为增强因子。在此，α＜0表示平滑，α＝0表示旁通，而α＞0表示锐化。

在进行数字图像变形时，该公式变换成下式：

O(x，y)＝(1+α)I_w(x，y)-αI_s(x，y)

其中I_w(x，y)为变形像素值而I_s(x，y)为输出空间的平滑像素值。用于计算变形和平滑像素值的轨迹相同。为了节省硬件资源，这两项操作可结合到一个圆形对称轮廓中，该轮廓假设双方的滤波条件。这些条件的形式为：

$o(x,y)=(1+\mathrm{\α})\frac{\underset{n=0}{\overset{N(x,y)}{\mathrm{\Σ}}}{k}_n^{w}I(u_n,v_n)}{\underset{n=0}{\overset{N(x,y)}{\mathrm{\Σ}}}{k}_n^w}-\mathrm{\α}\frac{\underset{n=0}{\overset{N(x,y)}{\mathrm{\Σ}}}{k}_n^{s}I(u_n,v_n)}{\underset{n=0}{\overset{N(x,y)}{\mathrm{\Σ}}}{k}_n^s}=\frac{\underset{n=0}{\overset{N(x,y)}{\mathrm{\Σ}}}((1+\mathrm{\α})k_n^w-\mathrm{\α}\frac{\underset{n=0}{\overset{N(x,y)}{\mathrm{\Σ}}}{k}_n^w}{\underset{n=0}{\overset{N(x,y)}{\mathrm{\Σ}}}{k}_n^s}{k}_n^s)I(u_n,v_n)}{\underset{n=0}{\overset{N(x,y)}{\mathrm{\Σ}}}{k}_n^w}$

其中k_n ^w为变形滤波器系数，k_n ^s为平滑滤波器系数，而索引n计算属于该轨迹的输入像素(u_n，v_n)。轨迹中输入像素的数目N(x，y)是输出像素坐标的函数。因此，我们可得到一组新的系数：

$k_n=(1+\mathrm{\α})k_n^w-\mathrm{\α}\frac{\underset{n=0}{\overset{N(x,y)}{\mathrm{\Σ}}}{k}_n^w}{\underset{n=0}{\overset{N(x,y)}{\mathrm{\Σ}}}{k}_n^s}{k}_n^s$

该组系数假设滤波器中的平滑和变形部分均用于增强输出图像的细节，其中 $\underset{n=0}{\overset{N(x,y)}{\mathrm{\Σ}}}{k}_n=\underset{n=0}{\overset{N(x,y)}{\mathrm{\Σ}}}{k}_n^w.$

由上式可见，对于变形的所有输出像素而言，如果同一轨迹上的系数和之比为常量，则可应用该方法进行细节增强，即

$T(x,y)=\frac{T^w(x,y)}{T^s(x,y)}=\frac{\underset{n=0}{\overset{N(x,y)}{\mathrm{\Σ}}}{k}_n^w}{\underset{n=0}{\overset{N(x,y)}{\mathrm{\Σ}}}{k}_n^s}=T$

对于椭圆轨迹而言，常量T可由下式估算得到：

$T\≈\frac{\underset{i=0}{\overset{N^w-1}{\mathrm{\Σ}}}{s}_i{k}_i^w}{\underset{i=0}{\overset{N^s-1}{\mathrm{\Σ}}}{s}_i{k}_i^s}$

其中i为滤波器的抽头(tap)数，S_i为第i个系数所占有的椭圆环的面积，N^w为滤波器中变形部分的抽头数，而N^s为滤波器中平滑部分的抽头数。

如果λ₁、λ₂为椭圆轨迹的长轴半径和短轴半径，则

$s_i=\mathrm{\π}\frac{{\mathrm{\λ}}_1(i+1)R_u}{N}\frac{{\mathrm{\λ}}_2(i+1)R_u}{N}-\mathrm{\π}\frac{{\mathrm{\λ}}_{1}i{R}_u}{N}\frac{{\mathrm{\λ}}_2{\mathrm{iR}}_u}{N}=\frac{\mathrm{\π}{\mathrm{\λ}}_1{\mathrm{\λ}}_2{R}_u^2}{N^2}({(i+1)}^2-i^2)=\frac{\mathrm{\π}{\mathrm{\λ}}_1{\mathrm{\λ}}_2{R}_u^2(2i+1)}{N^2}$

且 $R_u=\max (R_u^w,R_u^s),N^w=\frac{{\mathrm{NR}}_u^w}{R_u},N^s=\frac{{\mathrm{NR}}_u^s}{R_u},,$ 其中N为滤波器抽头的最大数目。

代入之后，最终可得到：

$T=\frac{T^w}{T^s}=\frac{\underset{i=0}{\overset{N^w-1}{\mathrm{\Σ}}}\mathrm{\π}\frac{{\mathrm{\λ}}_1{\mathrm{\λ}}_2{R}_u^2}{N^2}(2i+1)k_i^w}{\underset{i=0}{\overset{N^s-1}{\mathrm{\Σ}}}\mathrm{\π}\frac{{\mathrm{\λ}}_1{\mathrm{\λ}}_2{R}_u^2}{N^2}(2i+1)k_i^s}=\frac{\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}(2i+1)k_i^w}{\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}(2i+1)k_i^s}$

如果N^w＞N^s，则对于N^s≤i＜N^w而言 $k_i^s=0$ ；如果N^s＞N^w，则对于N^w≤i＜N^s而言 $k_i^w=0$ 。

由最后一个等式可见，对于椭圆轨迹，比率T只取决于变形及平滑滤波器的相应系数。这就意味着本发明的滤波器设计在特定实施例中适用于图像细节增强。

如果圆形对称轮廓是半径平方的函数而不是半径本身的函数，则常量T的计算公式将简化为下式：

$T=\frac{\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{k}_i^w}{\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{k}_i^s}$

一旦计算出输入像素的权重，滤波器126即可通过累加轨迹中输入像素的亮度值进而生成输出像素。图像变形系统100随之开始处理下一输出像素，直到生成完整输出图像。

图5A给出了根据本发明构建的图像变形系统100实例的逻辑流程图。在步骤501中，系统接收对应于输入图像的数字数据。在步骤510中，将输出像素的坐标映射到输入图像空间。接着，在步骤522中，估算雅可比矩阵，该矩阵近似于映射输出像素位置处的非均匀图像缩放函数。在步骤524中，根据雅可比矩阵的行向量计算椭圆的长轴半径、短轴半径及其长轴倾角。在步骤526中，根据所需输出图像质量和处理速度调整椭圆半径。在步骤528中，使用椭圆的三个参数计算矩阵M的三个非零元素，矩阵M表示从椭圆到半径为1的圆的线性变换。在步骤530中，围绕步骤510中的映射坐标周围确定其中包含输入图像像素的轨迹。该轨迹的大小及形状取决于所选择的滤波拓扑结构，且在期望输出图像质量和计算功耗之间获得折衷。在步骤542中，针对轨迹中的每一个输入像素，计算从椭圆中心到该输入像素位置之间的距离。在步骤544中，从圆形对称轮廓中计算轨迹中输入像素的滤波系数，该圆形对称轮廓是上一步骤中所计算出的距离的函数。最后，在步骤550中，轨迹中的输入像素与步骤544中确定的权重相累加，随后在步骤560中，将所生成的输出像素保存在输出图像中。

图5B给出了图5A所示流程图的一个特定实施例，其中矩阵M的三个非零元素根据多项式拟合曲面计算得到。在本发明的该实例中，针对一组网格点和使用生成的拟合系数的拟合多项式计算矩阵M的三个非零元素。在数字图像变形过程中，在每个处理的输出像素中，根据拟合系数来估算矩阵M的各元素。

本领域技术人员知悉，在不脱离本发明的权利要求所限定范围的情况下，可以对上述结构进行各种改变和等效替换。

Claims (14)

1.一种使用各向异性滤波器的单通道数字图像变形方法，用于将具有输入像素坐标空间和输入数字像素数据的输入图像变换为具有输出像素坐标空间和输出数字像素数据的输入图像，其特征在于，所述方法包括：

(a)为输出像素获取输入数字图像数据；

(b)将输出像素坐标映射到输入图像坐标空间，以确定映射坐标位置；

(c)确定与步骤(b)确定的映射坐标位置处的输入坐标相关的输出像素坐标的雅可比矩阵；

(d)根据步骤(c)中确定的雅可比矩阵的两个行向量确定长轴半径、短轴半径以及长轴的取向，进而唯一地确定围绕在步骤(b)确定的映射坐标位置周围的椭圆；

(e)根据所需的图像质量和所需的处理速率扩展和调整所述椭圆的半径；

(f)根据步骤(e)的结果在输入图像坐标空间中确定围绕步骤(b)中所确定的所述映射坐标位置周围的轨迹，以将参与滤波的输入像素包括在所述轨迹内；

(g)将步骤(d)的椭圆变换为半径为1个单位的圆形，以便计算圆心与所包含输入像素之间的距离；

(h)从作为步骤(g)中距离的函数的圆形对称轮廓中确定轨迹中的所有输入象素的各向异性滤波器系数；

(i)通过将轨迹内输入像素值与步骤(h)中确定的系数相累加，确定输出像素值；以及

(j)保存所述输出像素值。

2.根据权利要求1所述的方法，其特征在于，所述椭圆的半径及取向由2×2矩阵确定，且所述矩阵中的一个元素被强制为零。

3.根据权利要求1所述的方法，其特征在于，输出像素子集中的所述矩阵的非零元素值为预先计算且进行曲面拟合的，且其中输出像素的矩阵元素从拟合参数中计算得到。

4.根据权利要求1所述的方法，其特征在于，所述椭圆的长轴沿着边缘取向对准，且半径长度取决于所述边缘的强度。

5.根据权利要求1所述的方法，其特征在于，所述方法使用椭圆轨迹，且所述方法采用具有由所述矩阵控制的椭圆频率响应的二维重采样滤波器。

6.根据权利要求1所述的方法，其特征在于，所述方法使用矩形轨迹，且所述方法采用具有由所述矩阵控制的椭圆频率响应的二维重采样滤波器。

7.根据权利要求1所述的方法，其特征在于，所述方法进一步将重采样滤波器的平滑和变形部分的轮廓组合，以生成细节被增强的输出图像。

8.一种使用各向异性滤波器的单通道数字图像变形系统，用于将具有输入像素坐标空间和输入数字像素数据的输入图像变换为具有输出像素坐标空间和输出数字像素数据的输出图像，其特征在于，所述系统包括：

(a)用于为输出像素获取输入数字图像数据的输入接口；

(b)用于将输出像素坐标映射到输入图像坐标空间以确定映射坐标位置的坐标生成器；

(c)与所述输入接口和所述坐标生成器相连的局部缩放估算器，用于确定与所述映射坐标位置处的输入坐标相关的输出像素坐标的雅可比矩阵；

(d)所述局部缩放估算器进一步根据步骤(c)中确定的雅可比矩阵的两个行向量确定长轴半径、短轴半径以及长轴的取向，进而唯一地确定围绕在所述映射坐标位置周围的椭圆；

(e)所述局部缩放估算器进一步根据所需的图像质量和所需的处理速率扩展和调整所述椭圆的半径；

(f)与所述局部缩放估算器和所述坐标生成器相连的轨迹生成器，用于在输入图像坐标空间中确定围绕所述映射坐标位置周围的轨迹，以将参与滤波的输入像素包括在所述轨迹内；

(g)与所述轨迹生成器和所述局部缩放估算器相连的滤波器系数生成器，用于将步骤(d)的椭圆变换为半径为1个单位的圆形，以便计算圆心与所包含输入像素之间的距离；

(h)所述滤波器系数生成器进一步从作为所述距离的函数的圆形对称轮廓中确定轨迹中的输入象素的各向异性滤波器系数；

(i)与所述滤波器系数生成器和所述轨迹生成器相连的滤波器，用于将轨迹内输入像素值与步骤(h)中确定的系数相累加，确定输出像素值；以及

(j)与所述滤波器相连的输出接口，用于保存所述输出像素值。

9.根据权利要求8所述的系统，其特征在于，所述局部缩放估算器用于通过2×2矩阵确定所述椭圆的半径及取向，所述矩阵中的一个元素被强制为零。

10.根据权利要求8所述的系统，其特征在于，输出像素子集中的所述矩阵的非零元素值为预先计算且经过曲面拟合的，且所述局部缩放估算器用于从拟合参数中计算得到输出像素的矩阵元素。

11.根据权利要求8所述的系统，其特征在于，所述局部缩放估算器用于将所述椭圆的长轴沿着边缘取向对准，并根据所述边缘的强度设定其半径长度。

12.根据权利要求8所述的系统，其特征在于，所述轨迹生成器使用椭圆轨迹，且所述滤波器系数生成器采用具有由所述矩阵控制的椭圆频率响应的二维重采样滤波器。

13.根据权利要求8所述的系统，其特征在于，所述轨迹生成器使用矩形轨迹，且所述滤波器系数生成器采用具有由所述矩阵控制的椭圆频率响应的二维重采样滤波器。

14.根据权利要求8所述的系统，其特征在于，所述滤波器系数生成器将所述重采样滤波器的平滑和变形部分的轮廓组合，以生成细节被增强的输出图像。

Images