CN103854252A - 一种图像变形的实现方法及其实现装置 - Google Patents

Abstract

本发明实施例公开了一种图像变形的实现方法及其实现装置，其中，该述方法包括：建立源图像像素的映射函数；根据所述映射函数重新采样图像以获得输出图像。实施本发明实施例，能够降低图像变形实现过程中的复杂性，加快实现速度，并提高了精确性。

Description

一种图像变形的实现方法及其实现装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像变形的实现方法及其实现装置。

背景技术

图像变形(Image Warping)是指将图像变形为特定形状的各种算法，近年来，数字图像变形已经取得许多成果，很大程度上源于广泛的应用。有一些应用于“艺术”领域，如计算机动画。Image Warping是二维图像变形的基础，如两个关键帧之间的平滑过渡，其它应用如面部动画和图像的自由变形等；其它则用于科学上的图像处理，在图像数据的获取上，获取方法经常对已获取图像变形，如镜头失真；在卫星拍照中，表面弯曲和倾斜视角导致失真；在超声波医疗拍照中，在不同材料上声波传播速度的不同导致失真。

而这些失真必须通过“定位”恢复到正确的坐标。在定位应用中，在参考图和待变形图之间的控制点要通过手动或自动选取，与定位相关的应用是样本的归一化，以排除尺寸或者轻微变形的干扰来进行比对。

近年来研究者关于重新采样图像以取得输出图像建立了许多算法，分别对横坐标和纵坐标进行位移可以有效地得到重采样图像。Wolberg为这些算法写了详细的介绍，本实现使用了其中一种方法。

关于计算源图像中像素的位移，Smythe建立的方法需要控制点组成四边形面片的顶点；而由Beier和Neely建立的方法需要控制线。但是，无论是基于面片还是线，算法都无法实现自动产生点与点之间的对应的函数。

Goshtasby使用随机控制点将图像三角化，然后对每一个三角面片分别变形。基于三角形的方法有一些缺点：它们没有连续的导数，它们控制点的凸壳外无法定义。此外，为了取得令人满意的结果，往往需要大量的三角片。

因此现有技术中，实现图像变形的过程复杂，速度慢，精确性低。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种图像变形的实现方法及其实现装置，能够降低图像变形实现过程中的复杂性，加快实现速度，并提高了精确性。

为了解决上述问题，本发明提出了一种图像变形的实现方法，所述方法包括：

建立源图像像素的映射函数；

根据所述映射函数重新采样图像以获得输出图像。

优选地，所述建立源图像像素的映射函数的步骤包括：

获取源图像像素的插值参数；

根据所述插值参数建立源图像像素的映射函数。

优选地，所述获取源图像像素的插值参数的步骤包括：

获取径向基函数RBF的参数，或获取空间插值函数IDW的参数。

优选地，所述获取径向基函数RBF的参数的步骤包括：

根据T(x)＝A(x)+R(x)获取RBF的参数，其中，A(x)为仿射变换部分，R(x)为径向变换部分。

优选地，所述仿射变换部分为A(x)＝Mx+b，其中M是2x2矩阵；

$\left(\begin{array}{ccc}{M}_{11}& M_{12}& b_1\\ M_{21}& M_{22}& b_2\\ 0& 0& 1\end{array}\right)*\left(\begin{array}{c}{x}_{i1}\\ x_{i2}\\ 1\end{array}\right)=\left(\begin{array}{c}{y}_{i1}\\ y_{i2}\\ 1\end{array}\right)$

当没有控制点时，获得单位矩阵为 $\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right];$

当一个控制点时，获得转换矩阵为 $\left[\begin{array}{ccc}1& 0& \mathrm{tx}\\ 0& 1& \mathrm{ty}\\ 0& 0& 1\end{array}\right];$

当两个控制点时，获得比例转换矩阵为 $\left[\begin{array}{ccc}\mathrm{sx}& 0& \mathrm{tx}\\ 0& \mathrm{sy}& \mathrm{ty}\\ 0& 0& 1\end{array}\right];$

当三个控制点时，获得一般仿射矩阵为 $\left[\begin{array}{ccc}{M}_{11}& M_{12}& b_1\\ M_{21}& M_{22}& b_2\\ 0& 0& 1\end{array}\right];$

当四个控制点以上时，通过最小二乘法估算获得仿射变换参数。

优选地，根据R(x)＝(R_X(x)，R_Y(x))获得径向变换部分R(x)，其中，R_X、R_Y均为径向函数。

优选地，所述获取空间插值函数IDW的参数的步骤包括：

根据

获取IDW的参数，其中，p是所求点，对于每一个控制点p_i，都被带入一个局部逼近函数f(p)：R²→R，f_i(p_i)＝y_i，i＝1，2，...，n。

优选地，所述根据所述映射函数重新采样图像以获得输出图像的步骤包括：

根据 $f_x(x,y)=x+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_{\mathrm{ix}}g\left(\right||x_i-(x,y)|\left|\right),$ $f_y(x,y)=y+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_{\mathrm{iy}}g\left(\right||x_i-(x,y)|\left|\right)$ 获得目标图像的横坐标f_x(x，y)、纵坐标f_y(x，y)；

其中：g：R⁺→R是单因子函数，定义了径向基函数；||·||是定义在R²上的欧拉距离；x_i是参考图的控制点对的终点；(x，y)是源图像的控制点对的起点；a_i，x是权重；x是源图像的所求点的横坐标；y是源图像的所求点的纵坐标；f_x(x，y)是目标图像中所求点的横坐标；f_y(x，y)是目标图像中所求点的纵坐标；

根据横坐标f_x(x，y)、纵坐标f_y(x，y)输出目标图像。

优选地，所述根据所述映射函数重新采样图像以获得输出图像的步骤包括：

根据

建立源图像像素的映射函数，并获得输出图像，其中，P是所求点，对于每一个控制点p_i，都被带入一个局部逼近函数f(p)：R²→R，f_i(p_i)＝y_i，i＝1，2，...，n。

本发明实施例还提供一种图像变形的实现装置，所述装置包括：

建立模块，用于建立源图像像素的映射函数；

输出模块，用于根据所述建立模块所建立的映射函数重新采样图像以获得输出图像。

实施本发明实施例，能够降低图像变形实现过程中的复杂性，加快实现速度，并提高了精确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例的图像变形的实现方法的流程示意图；

图2是本发明实施例的图像变形的实现装置的结构组成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例的图像变形的实现方法，如图1所示，该方法包括：

S101，建立源图像像素的映射函数；

S102，根据映射函数重新采样图像以获得输出图像。

其中，S101包括：

获取源图像像素的插值参数；

根据插值参数建立源图像像素的映射函数。

具体实施中，获取源图像像素的插值参数的步骤包括：获取径向基函数(Radial Basis Function，RBF)的参数，或获取空间插值函数(Inverse DistanceWeighted，IDW)的参数。

进一步地，获取径向基函数RBF的参数的步骤包括：

根据T(x)＝A(x)+R(x)获取RBF的参数，其中，A(x)为仿射变换部分，R(x)为径向变换部分。

具体实施中，2D的RBF变换(RBFT，radial basis function transformation)可以通过以下公式实现：T(x)＝A(x)+R(x)，即仿射变换部分A(x)和径向变换部分R(x)，RBF变换是二者变换的结合。

其中，仿射变换部分为A(x)＝Mx+b，其中M是2x2矩阵；

$\left(\begin{array}{ccc}{M}_{11}& M_{12}& b_1\\ M_{21}& M_{22}& b_2\\ 0& 0& 1\end{array}\right)*\left(\begin{array}{c}{x}_{i1}\\ x_{i2}\\ 1\end{array}\right)=\left(\begin{array}{c}{y}_{i1}\\ y_{i2}\\ 1\end{array}\right)$

当没有控制点时，获得单位矩阵(Identity Matrix)为 $\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right];$

当一个控制点时，获得转换矩阵(Translation Matrix)为 $\left[\begin{array}{ccc}1& 0& \mathrm{tx}\\ 0& 1& \mathrm{ty}\\ 0& 0& 1\end{array}\right];$

当两个控制点时，获得比例转换矩阵(Translation+Scaling Matrix)为

$\left[\begin{array}{ccc}\mathrm{sx}& 0& \mathrm{tx}\\ 0& \mathrm{sy}& \mathrm{ty}\\ 0& 0& 1\end{array}\right];$

当三个控制点时，获得一般仿射矩阵(General Affine Matrix)为

$\left[\begin{array}{ccc}{M}_{11}& M_{12}& b_1\\ M_{21}& M_{22}& b_2\\ 0& 0& 1\end{array}\right];$

当四个控制点以上时，通过最小二乘法估算获得仿射变换参数。

在实现中，需要实现Matlab求Moore-Penrose Pseudo-inverse来求得仿射部分。

根据R(x)＝(R_X(x)，R_Y(x))获得径向变换部分R(x)，其中，R_X、R_Y均为径向函数，各自都可以表示为以下形式：

其中，g：R⁺→R是单因子函数，定义了径向基函数；||·||是定义在R²上的欧拉距离；又因R(x)＝T(x)-A(x)，所以

这里的k用来遍历维度，如具体实施中所要求的是2DRBF，则k＝1，2；一共有N对控制点(用i来遍历)，得到两组线性方程，获得的是2N个参数。

在RBF算法中，径向基函数采用了Gauss函数，这里涉及到径向基函数的选取问题。径向基函数的选取需要考虑以下四点：1、插值函数总是可解；2、结果是稳定的；3、计算时间要短；4、可以取得控制点对全局和局部变形影响的折衷。

条件1和2，一些函数集是可以满足的，如Hardy multi-quadricsg(t)＝(t²+c²)^±1/2，高斯

条件4则可以调整高斯函数的参数σ来实现。然而，高斯函数有infinite support，意味着每个像素都会被控制点影响；此外，对于值较大的参数，高斯函数逼近0。

因此，需要使用具有良好收敛且形似高斯函数的函数，分别如下：

转换函数(The transition function)：

$g_{\mathrm{\σ}}\left(t\right)=\left\{\begin{array}{cc}1-{\left(\frac{t}{\mathrm{\σ}}\right)}^2(3-\frac{2t}{\mathrm{\σ}})& 0\≤t\≤\mathrm{\σ}\\ 0& t>\mathrm{\σ}\end{array}\right.$

或，the one-sided cubic spline函数：

$g_{\mathrm{\&sigma;}}\left(t\right)=\left\{\begin{array}{cc}1-{\left(\frac{t}{\mathrm{\&sigma;}}\right)}^2(3-\frac{2t}{\mathrm{\&sigma;}})& 0\&le;t\&le;\mathrm{\&sigma;}\\ 2{(1-t/\mathrm{\&sigma;})}^3& \frac{1}{2\mathrm{\&sigma;}}<t\&le;\mathrm{\&sigma;}\\ 0& t>\mathrm{\&sigma;}\end{array}\right.$

进一步地，S102包括：

根据 $f_x(x,y)=x+\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{a}_{\mathrm{ix}}g\left(\right||x_i-(x,y)|\left|\right),$ $f_y(x,y)=y+\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{a}_{\mathrm{iy}}g\left(\right||x_i-(x,y)|\left|\right)$ 获得目标图像的横坐标f_x(x，y)、纵坐标f_y(x，y)；

其中：g：R⁺→R是单因子函数，定义了径向基函数；||·||是定义在R²上的欧拉距离；x_i是参考图(目标图)的控制点对的终点；(x，y)是源图像的控制点对的起点；a_i，x是权重；x是源图像的所求点的横坐标；y是源图像的所求点的纵坐标；f_x(x，y)是目标图像中所求点的横坐标；f_y(x，y)是目标图像中所求点的纵坐标；

根据横坐标f_x(x，y)、纵坐标f_y(x，y)输出目标图像。

具体实施中，RBF算法重点在于径向基函数g的选择。在本发明实施例中，选择了高斯函数，对于高斯径向基函数，仍然需要考虑σ的选择，因为其代表着控制点的影响范围。在实现中，选择了σ＝70，由高斯函数计算可以得到所需要的参数a_i，k(和A(x)＝Mx+b中的M和b)。

具体实施中，获取空间插值函数IDW的参数的步骤包括：

根据

获取IDW的参数，其中，P是所求点，对于每一个控制点p_i，都被带入一个局部逼近函数f(p)：R²→R，f_i(p_i)＝y_i，i＝1，2，...，n。插值函数就是这些局部逼近函数的权重平均值。其中权重完全取决于所求点到各个控制点的距离。

获取权重w_i(p)：

其值取决于所求点到各个控制点的距离，这些值必须符合以下条件：

w_i(p_i)＝1，

w_i(p_i)＞0，i＝1，2，...，n；

因此，可通过

获取权重w_i(p)，其中，σ_i(p)有两种计算方式，

在具体实施中选择了第一种：

x₊＝max(x，0)，R_i是用户自定义范围，u决定了插值的平滑性，具体实施中选择了u＝2。

获取局部逼近函数f_i(p)：

f_i(p)：R²→R，f_i(p_i)＝y_i，i＝1，2，...，n

这个函数一般为线性或二次多项式，通过最小化用σ_i(p_j)权重的f_i映射到其他控制点p_j的平方误差，即

求得。

具体到2D图像，为： $f_i\left(p\right)=q_i+T_i(p-p_i),T_i=\left(\begin{array}{cc}{T}_{11}& T_{12}\\ T_{21}& T_{22}\end{array}\right),$

而求误差最小化则成为求 $E_i\left(T\right)=\underset{j=1,j\&NotEqual;i}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&sigma;}}_i\left(p_j\right)\left|\right|q_i+\left(\begin{array}{cc}{T}_{11}& T_{12}\\ T_{21}& T_{22}\end{array}\right)(p_j-p_i)-q_j{\left|\right|}^2$ 的最小值。

通过逐一对T₁₁，T₁₂，T₂₁，T₂₂求偏导数，并将结果设置为0。则可以得到四个关于T的未知数的方程。求解方程得到T。

因此，求偏导数得到的方程组如下：

T₁₁：

$\underset{j=1,j\&NotEqual;i}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&sigma;}}_i\left(p_j\right)[(p_{j,x}-p_{i,x})(p_{j,x}-p_{i,x})T_{11}+(p_{j,x}-p_{i,x})(p_{j,y}-p_{i,y})T_{12}+(p_{j,x}-p_{i,x})(q_{i,x}-q_{j,x})]=0$

T₁₂：

$\underset{j=1,j\&NotEqual;i}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&sigma;}}_i\left(p_j\right)[(p_{j,x}-p_{i,x})(p_{j,y}-p_{i,y})T_{11}+(p_{j,y}-p_{i,y})(p_{j,y}-p_{i,y})T_{12}+(p_{j,y}-p_{i,y})(q_{i,x}-q_{j,x})]=0$

T₂₁：

$\underset{j=1,j\&NotEqual;i}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&sigma;}}_i\left(p_j\right)[(p_{j,x}-p_{i,x})(p_{j,x}-p_{i,x})T_{21}+(p_{j,x}-p_{i,x})(p_{j,y}-p_{i,y})T_{22}+(p_{j,x}-p_{i,x})(q_{i,y}-q_{j,y})]=0$

T₂₂：

$\underset{j=1,j\&NotEqual;i}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&sigma;}}_i\left(p_j\right)[(p_{j,y}-p_{i,y})(p_{j,x}-p_{i,x})T_{21}+(p_{j,y}-p_{i,y})(p_{j,y}-p_{i,y})T_{22}+(p_{j,y}-p_{i,y})(q_{i,y}-q_{j,y})]=0$

通过求解以上四个方程的方程组可以得到。

S102还可以包括：

根据

建立源图像像素的映射函数，并获得输出图像，其中，P是所求点，对于每一个控制点p_i，都被带入一个局部逼近函数f(p)：R²→R，f_i(p_i)＝y_i，i＝1，2，...，n。具体实施中，已经得到插值函数中的各个参数，根据起点P就可以求得终点。

实施本发明实施例的图像变形的实现方法，能够降低图像变形实现过程中的复杂性，加快实现速度，并提高了精确性。

另外，本发明实施例还提供一种图像变形的实现装置，如图2所示，该实现装置包括：

建立模块20，用于建立源图像像素的映射函数；

输出模块21，用于根据建立模块20所建立的映射函数重新采样图像以获得输出图像。

本发明装置实施例中的图像变形的实现装置的各模块功能的实现过程及原理可参见本发明的图像变形的实现方法的实施例中的相应过程描述，这里不再赘述。

实施本发明实施例的图像变形的实现装置，能够降低图像变形实现过程中的复杂性，加快实现速度，并提高了精确性。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

另外，以上对本发明实施例所提供的图像变形的实现方法及其实现装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像变形的实现方法，其特征在于，所述方法包括：

建立源图像像素的映射函数；

根据所述映射函数重新采样图像以获得输出图像。

2.如权利要求1所述的图像变形的实现方法，其特征在于，所述建立源图像像素的映射函数的步骤包括：

获取源图像像素的插值参数；

根据所述插值参数建立源图像像素的映射函数。

3.如权利要求2所述的图像变形的实现方法，其特征在于，所述获取源图像像素的插值参数的步骤包括：

获取径向基函数RBF的参数，或获取空间插值函数IDW的参数。

4.如权利要求3所述的图像变形的实现方法，其特征在于，所述获取径向基函数RBF的参数的步骤包括：

根据T(x)＝A(x)+R(x)获取RBF的参数，其中，A(x)为仿射变换部分，R(x)为径向变换部分。

5.如权利要求4所述的图像变形的实现方法，其特征在于，所述仿射变换部分为A(x)＝Mx+b，其中M是2x2矩阵；

$\left(\begin{array}{ccc}{M}_{11}& M_{12}& b_1\\ M_{21}& M_{22}& b_2\\ 0& 0& 1\end{array}\right)*\left(\begin{array}{c}{x}_{i1}\\ x_{i2}\\ 1\end{array}\right)=\left(\begin{array}{c}{y}_{i1}\\ y_{i2}\\ 1\end{array}\right)$

当没有控制点时，获得单位矩阵为 $\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right];$

当一个控制点时，获得转换矩阵为 $\left[\begin{array}{ccc}1& 0& \mathrm{tx}\\ 0& 1& \mathrm{ty}\\ 0& 0& 1\end{array}\right];$

当两个控制点时，获得比例转换矩阵为 $\left[\begin{array}{ccc}\mathrm{sx}& 0& \mathrm{tx}\\ 0& \mathrm{sy}& \mathrm{ty}\\ 0& 0& 1\end{array}\right];$

当三个控制点时，获得一般仿射矩阵为 $\left[\begin{array}{ccc}{M}_{11}& M_{12}& b_1\\ M_{21}& M_{22}& b_2\\ 0& 0& 1\end{array}\right];$

当四个控制点以上时，通过最小二乘法估算获得仿射变换参数。

6.如权利要求4所述的图像变形的实现方法，其特征在于，根据R(x)＝(R_X(x)，R_Y(x))获得径向变换部分R(x)，其中，R_X、R_Y均为径向函数。

7.如权利要求2所述的图像变形的实现方法，其特征在于，所述获取空间插值函数IDW的参数的步骤包括：

根据

获取IDW的参数，其中，p是所求点，对于每一个控制点p_i，都被带入一个局部逼近函数f(p)：R²→R，f_i(p_i)＝y_i，i＝1，2，...，n。

8.如权利要求3所述的图像变形的实现方法，其特征在于，所述根据所述映射函数重新采样图像以获得输出图像的步骤包括：

根据 $f_x(x,y)=x+\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{a}_{\mathrm{ix}}g\left(\right||x_i-(x,y)|\left|\right),$ $f_y(x,y)=y+\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{a}_{\mathrm{iy}}g\left(\right||x_i-(x,y)|\left|\right)$ 获得目标图像的横坐标f_x(x，y)、纵坐标f_y(x，y)；

其中：g：R⁺→R是单因子函数，定义了径向基函数；||·||是定义在R²上的欧拉距离；x_i是参考图的控制点对的终点；(x，y)是源图像的控制点对的起点；a_i，x是权重；x是源图像的所求点的横坐标；y是源图像的所求点的纵坐标；f_x(x，y)是目标图像中所求点的横坐标；f_y(x，y)是目标图像中所求点的纵坐标；

根据横坐标f_x(x，y)、纵坐标f_y(x，y)输出目标图像。

9.如权利要求3所述的图像变形的实现方法，其特征在于，所述根据所述映射函数重新采样图像以获得输出图像的步骤包括：

根据

建立源图像像素的映射函数，并获得输出图像，其中，P是所求点，对于每一个控制点p_i，都被带入一个局部逼近函数f(p)：R²→R，f_i(p_i)＝y_i，i＝1，2，...，n。

10.一种图像变形的实现装置，其特征在于，所述装置包括：

建立模块，用于建立源图像像素的映射函数；

输出模块，用于根据所述建立模块所建立的映射函数重新采样图像以获得输出图像。

Images