CN114049281A - 一种基于自适应网格的广角人像照片畸变矫正方法 - Google Patents

Abstract

一种基于自适应网格的广角人像照片畸变矫正方法，涉及图像变形领域。包括以下步骤：1)输入广角透视图像，设定相关参数；2)计算相应的人像显著性密度图；3)根据密度图生成自适应三角网格剖分；4)根据本发明提出的度量畸变的能量函数计算三角网格顶点的新位置，并将各顶点移动到相应的新位置上；5)根据三角网格的移动驱动图像变形，重新渲染图片，得到边缘人物无明显变形的广角图片。利用三角网格的强自适应性，可以最大程度地减少三角网格的顶点和面片数，提高最小化畸变的效率，达到良好的视觉效果。能量函数设计具有较强的扩展性，可以加入特定的几何约束，通过适当交互以满足用户的个人需求。解决广角照片边缘处的人像畸变问题。

Description

一种基于自适应网格的广角人像照片畸变矫正方法

技术领域

本发明涉及图像变形领域，尤其是涉及一种基于自适应网格的广角人像照片畸变矫正方法。

背景技术

广角人像照片畸变是图像变形领域的一个重要方向，一般的解决思路是结合不同投影成像模型产生的成像效果分区域进行图片矫正，以保持自然的人像和背景效果。

透视投影(Perspective Projection)与立体投影(Stereographic Projection)或墨卡托投影(Mercator Projection)的结合是一种主流的结合方式，透视投影具有能够保持相机镜头中直线结构的特点，但缺点是当相机视角较大时图片边缘处会产生明显的拉伸感，导致当有人像在图像边缘时人像会有不自然的拉伸畸变。立体投影和墨卡托投影都是共形变换投影，在成像中可以保持较自然的人像特征，但不能保持背景的直线结构，在立体投影照片中常常将直线被映射成曲线。许多工作将透视投影应用于背景区域，而立体投影应用于人像区域，以保证在矫正畸变人像的同时保持良好的背景效果。

为了使这两种不同的投影能自然地过渡，现有的方法利用均匀的四边形网格设计相应的能量函数分别度量人像区域和背景区域的畸变程度，通过最小化能量函数求解去除畸变后的网格，根据网格的变形驱动图片的变形。利用网格驱动的变形通常需要较密集的网格以保证变形的效果，而为了确保显著区域的变形，必须保证密集的网格分布。但实际上对于非显著区域，无需太过密集的网格来驱动变形，而均匀的网格分布会使非显著区域也有密集的顶点分布，使用过多顶点将导致在求解最小化畸变的优化问题中消耗更多时间。

发明内容

本发明的目的在于针对广角照片边缘处的人像畸变问题，提供将结合透视投影和立体投影对应的成像性质进行广角人像矫正，可根据图像的内容产生自适应的三角剖分结果，在尽可能地减少网格中的顶点数量同时保证在人像区域的高密度网格，以提高求解相应优化问题的运算效率，同时保证较好矫正质量的一种基于自适应网格的广角人像照片畸变矫正方法。

本发明是一种基于内容识别的图像变形方法，包括以下步骤：

1)输入透视投影图片，输入图像对应的相机参数；

2)利用人像分割算法计算图片的初始人像蒙版，然后计算人像区域和背景区域之间的过渡区域生成最终的人像蒙版，根据人像蒙版计算每一个像素点的概率密度值，生成图片的概率密度图；

3)根据人像蒙版生成初始自适应三角网格，再根据步骤2)中的概率密度图利用CVT 方法迭代优化自适应网格；

4)最小化度量图像畸变的能量函数以去除畸变，得到矫正后的网格；

5)根据矫正后的网格重新渲染图片，得到去除畸变后的图像。

在步骤1)中，所述透视投影图片是由透视投影的成像方式得到的广角透视人像图片，要求图片的边缘存在有明显畸变的人像；所述图像对应的相机参数，可以从图片的EXIF信息得到。

在步骤2)中，所述生成图片的概率密度图的具体步骤可为：首先利用人像分割算法计算图片的初始人像蒙版M₀；然后进行蒙版扩展，即计算人像区域和背景区域之间的过渡区域，以防止初始人像蒙版分割得不够准确；蒙版扩展是根据与人像区域之间的最近距离来设定亮度，离初始人像蒙版越近，则亮度越强，最终得到带有过渡区域的人像蒙版M_t；亮度设置公式为：

其中，d_i是在图像I中的像素p_i距离初始人像蒙版M₀的最近距离；

为了自适应三角网格的生成做准备，根据图像蒙版和对应的径向距离(指图像上某一点到图像中心的距离)设计一个离散的概率密度函数，分别计算每一个像素点的概率密度值，可视化后得到密度图；概率密度计算公式为：

其中，r_i是像素点p_i距离图像中心的径向距离，R_m是最大径向距离，D_m是设置的最大概率密度。

在步骤3)中，所述根据人像蒙版生成初始自适应三角网格，即在人体区域按较小间隔采样，在背景区域按较大间隔采样，将人像区域的采样间隔设为w/50个像素，背景区域的采样间隔为w/20个像素，其中w为图像的宽度，单位为像素；尽管初步采样后生成的Delaunay 三角化网格已经足够达到自适应的效果，在人像区域和背景区域的交界处，依然会出现一些狭长的，无法较好拟合人像轮廓的三角形，因此使用CVT方法对初始的自适应网格进行优化；

CVT方法是通过计算重心的方法不断更新顶点的位置，使得三角网格的顶点分布可以根据相应的概率密度函数进行调整；计算公式为：

其中，V为顶点v对应得Voronoi单元区域，ρ为在区域V中定义的概率密度函数，即为步骤 2)中的概率密度计算公式(13)，g为区域V的重心；

为保证三角网格可以覆盖图片的所有区域，对边界点更新后需要重新投影到边界处；通过2～3次的Lloyd迭代，三角网格在人像区域和背景区域之间的过渡会变得更加平滑，同时也可以更好地拟合人物的轮廓，有益于后序步骤中的畸变矫正。

在步骤4)中，所述最小化度量图像畸变的能量函数以去除畸变是根据度量畸变的能量函数计算三角网格顶点的新位置，并将各顶点移动到相应的新位置上，具体步骤为：

分别从人像区域，背景区域和边界区域出发，根据自适应三角网格的特点设计相应的能量函数来度量图像的畸变，将图像矫正问题转化成一个非线性最小二乘问题，要去除畸变只需得到最小二乘的解即可得到矫正后的三角网格：

其中

为最终的矫正的网格顶点位置，E_por为人像项，E_bac为背景项，E_bou为边界项，w_por， w_bac，w_bou分别为对应的权重系数；

各项能量函数的公式如下：

(1)人像项

其中，M_d(v_i)≠0代表顶点v_i不在人像或者过渡区域内，ω_i为顶点v_i对应的人像权重，权重根据步骤2)中的概率密度函数(13)来设置，s_i为顶点v_i对应的立体投影的成像坐标，可由透视投影和立体投影的成像点坐标之间的几何转换得到：

其中，p_i为透视投影的成像坐标，s_i为对应的立体投影的坐标，f为该图片的焦距；S为相似变换矩阵

t为2维平移向量，通过引入变量S和t可以调整顶点的分布；

为人像收缩项，以控制变形后的人像大小，ω_s为人像收缩项的权重；

(2)背景项

E_bac＝E_edg+E_lin， (19)

其中E_edg为控制网格保持原有拓扑结构的项，p_i为原来透视投影的成像坐标，E_lin为直线保持项，u∈L(n)表示点u在第n条直线上，u可以由所在三角面片的三个顶点线性表示；

(3)边界项

其中，B_l、B_r、B_t、B_b分别为左、右、上和下边界的顶点集，W和H分别为图片的宽度和高度。

在步骤5)中，根据步骤4)生成的无畸变的三角网格重新渲染去除畸变后的图像，其中背景几乎与原图1致，而图像边缘的人物被矫正。

以下给出本发明的原理说明：

1)本发明采用利用透视投影和立体投影的成像特性，分别将透视投影应用到背景区域，立体投影应用到人像区域以达到矫正人像畸变的同时保持符合人眼视觉效果的背景。

2)关于如何将两种投影融合在一张图片里，采用网格驱动的方法，对人像区域和背景区域分别设计相应的能量函数，通过最小化能量函数控制顶点的移动，将图像矫正转化为一个非线性优化问题，使得两种不相容的投影可以平稳地过渡。

3)为尽量减少在优化中过多变量对优化问题求解的效率的影响，本发明采用非均匀的自适应网格来驱动图像的矫正，即在人像区域有较为密集的网格顶点分布，而在背景区域有较稀疏的网格顶点分布，通过减少顶点数量提高计算效率，同时保证图像矫正的效果。

4)为使自适应网格可以较好地拟合人物轮廓，且有效减少人像和背景区域的过渡区域处的尖锐三角形(在本发明中，最小角度小于15°的三角形为尖锐三角形)，本发明提出利用CVT的方法(即通过将顶点向对应的Voronoi单元的重心移动)来调整由按距离采样得到的初始自适应三角网格。

5)根据三角网格的特性，提出相应的度量畸变的能量函数，分别为人像项，背景项和边界项。其中人像项是使人像区域的网格顶点分布尽可能拟合相应的立体投影的顶点分布，以矫正人像区域的透视畸变；背景项是使背景区域的顶点尽可能地保持初始网格的拓扑结构，以保持原来透视投影的效果；边界项是使边界上的点可以尽可能地向边界靠近。另外，还提出了一些几何约束项，可以保持相应的几何形状，比如保持在过渡区域的直线结构。

6)将所有能量函数加权相加后得到总的能量函数，使能量函数的值最小化即可以使畸变最小，由此将广角人像矫正问题转化为了一个非线性优化问题。求解该问题即可得到去除畸变后的顶点坐标。得到矫正顶点坐标后，保持原三角网格的结构，重新渲染图片即可以得到矫正后的图片。

与现有技术相比，本发明具有以下突出的优点：

1、现有技术中在广角人像矫正领域多是用均匀的四边形网格来驱动图片变形，本发明使用自适应三角网格，可以尽可能地在减少网格顶点数量的同时保证图片变形的效果。

2、针对三角形网格的度量畸变的能量函数设计可以比在四边形网格更简单，且本发明能量函数设计的框架可以很方便地加入一些特定的几何约束，如直线约束。

3、根据透视广角照片的特性，本发明提出一种结合径向距离和人像蒙版的密度图，并将该密度图应用于自适应网格顶点调整和能量函数的权重设置中。

4、本发明提出利用密度图来调整自适应网格的分布，可以明显地改善网格的质量，同时使得过渡区域网格的分布更加贴合人物的轮廓，并有效去除尖锐的三角形。

5、本发明可以利用较少的网格顶点和较简单的能量函数，在提高求解人像畸变矫正问题效率的同时保证人像矫正的质量。

6、本发明能够产生一个背景非常接近原图像，但图像边缘人像无明显畸变的新图像。

附图说明

图1为不同的投影成像得到的图片。其中，(a)为输入的透视投影图像；(b)为对应立体投影图像。

图2为生成密度图的示意图。其中，(a)为输入的透视投影图像；(b)为初始的蒙版图像；(c)为计算了人物区域和背景区域之间过渡区域的新的蒙版图像；(d)为调整网格密度分布的概率密度图。

图3为生成初始网格顶点分布的示意图。其中，(a)为输入的透视投影图像；(b)为根据较大间距采点得到的稀疏顶点；(c)为根据较小间距采点得到的密集顶点；(d)为根据蒙版图像得到的初始自适应采样，即在人像区域取较小间距的采样点，在背景区域取较大间距的采样点。

图4为自适应网格结构。其中，(a)为根据初始采样点生成的Delaunay三角网格；(b) 为根据概率密度图，利用CVT方法调整后的Delaunay三角网格。

图5为矫正结果图。其中，(a)为图2(a)根据本发明中提出的能量函数求解得到的最小化畸变后的网格；(b)为根据矫正后的网格重新渲染得到的矫正后的结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下实施例将结合附图对本发明作进一步的说明。

1)输入透视投影图片，输入图像对应的相机参数：35mm等效焦距；所述透视投影图片是由透视投影的成像方式得到的广角透视人像图片，要求图片的边缘存在有明显畸变的人像；所述图像对应的相机参数，可以从图片的EXIF信息得到。图1为不同的投影成像得到的图片。其中，(a)为输入的透视投影图像；(b)为对应立体投影图像。

2)利用人像分割算法计算图片的初始人像蒙版，然后计算人像区域和背景区域之间的过渡区域生成最终的人像蒙版。根据人像蒙版计算每一个像素点的概率密度值，生成图片的概率密度图；具体步骤为：

首先利用人像分割算法计算图片的初始人像蒙版M₀；然后进行蒙版扩展，即计算人像区域和背景区域之间的过渡区域，以防止初始人像蒙版分割得不够准确。蒙版扩展是根据与人像区域之间的最近距离来设定亮度，离初始人像蒙版越近，则亮度越强，最终得到带有过渡区域的人像蒙版M_t。亮度设置公式为：

其中，d_i是在图像I中的像素p_i距离初始人像蒙版M₀的最近距离。

为了自适应三角网格的生成做准备，根据图像蒙版和对应的径向距离(指图像上某一点到图像中心的距离)设计了一个离散的概率密度函数，分别计算每一个像素点的概率密度值，可视化后得到密度图。概率密度计算公式为：

其中，r_i是像素点p_i距离图像中心的径向距离，R_m是最大径向距离，D_m是设置的最大概率密度，本实施例中D_m＝1000。

3)根据人像蒙版生成初始自适应三角网格，即在人体区域按较小间隔采样，在背景区域按较大间隔采样，然后根据步骤2)中的概率密度图利用CVT方法迭代2-3次得到优化后的自适应网格；具体步骤为：

将人像区域的采样间隔设为w/50个像素，背景区域的采样间隔为w/20个像素，其中， w为图像的宽度，单位为像素。尽管初步采样后生成的Delaunay三角化网格已经足够达到自适应的效果，在人像区域和背景区域的交界处，依然会出现一些狭长的，无法较好拟合人像轮廓的三角形。因此提出使用CVT方法对初始的自适应网格进行优化。

CVT方法是通过计算重心的方法不断更新顶点的位置，使得三角网格的顶点分布可以根据相应的概率密度函数进行调整。计算公式为：

其中，V为顶点v对应得Voronoi单元区域，ρ为在区域V中定义的概率密度函数，即为步骤 2)中的概率密度计算公式(13)，g为区域V的重心。

为保证三角网格可以覆盖图片的所有区域，对边界点更新后需要重新投影到边界处。通过2～3次的Lloyd迭代，三角网格在人像区域和背景区域之间的过渡会变得更加平滑，同时也可以更好地拟合人物的轮廓，有益于后面步骤中的畸变矫正。

4)最小化度量图像畸变的能量函数以去除畸变，得到矫正后的网格，具体步骤为：

分别从人像区域，背景区域和边界区域出发，根据自适应三角网格的特点设计了相应的能量函数来度量图像的畸变，将图像矫正问题转化成了一个非线性最小二乘问题，要去除畸变只需得到最小二乘的解即可得到矫正后的三角网格。

其中，

为最终的矫正的网格顶点位置，E_por为人像项，E_bac为背景项，E_bou为边界项，w_por， w_bac，w_bou分别为对应的权重系数。

各项能量函数的公式如下：

A.人像项

其中，M_d(v_i)≠0代表顶点v_i不在人像或者过渡区域内，ω_i为顶点v_i对应的人像权重，权重根据步骤2)中的概率密度函数(13)来设置，s_i为顶点v_i对应的立体投影的成像坐标，可由透视投影和立体投影的成像点坐标之间的几何转换得到：

其中，p_i为透视投影的成像坐标，s_i为对应的立体投影的坐标，f为该图片的焦距。S为相似变换矩阵

t为2维平移向量，通过引入变量S和t可以调整顶点的分布。

为人像收缩项，以控制变形后的人像大小，ω_s为人像收缩项的权重，本例中设为ω_s＝2000。

B.背景项

E_bac＝E_edg+E_lin， (30)

其中，E_edg为控制网格保持原有拓扑结构的项，p_i为原来透视投影的成像坐标，E_lin为直线保持项，u∈L(n)表示点u在第n条直线上，u可以由所在三角面片的三个顶点线性表示。

C.边界项

其中，B_l、B_r、B_t、B_b分别为左、右、上和下边界的顶点集，W和H分别为图片的宽度和高度。

5)根据步骤4)生成的无畸变的三角网格重新渲染去除畸变后的图像，得到去除畸变后的图像，其中背景几乎与原图1致，而图像边缘的人物被矫正。

以下给出具体实施例。

本实施例所提供的广角人像矫正方法是一种结合自动人像分割算法且可以根据用户需求加入一定几何交互的方式，用户仅需手动设置少量的算法参数。关于部分参数的设置，为了获取尽量好的结果，建议初始自适应网格顶点采样时人像和背景区域的取样距离比设置为2 ︰5，自适应网格优化的迭代次数为2～3次；另外，由于长焦镜头拍摄的照片一般没有明显畸变，本发明主要是针对手机拍摄的35mm等效焦距小于30mm的边缘处带有明显人像畸变的透视投影照片。

本发明实施例包括以下步骤：

1、输入图像、设定算法参数

输入一副原图像，如图2(a)，设定相机参数如下：图片对应的35mm等效焦距；人像区域的采样距离＝图像宽度/50；背景区域的采样距离＝图像宽度/20；网格优化迭代次数＝2。

2、生成初始人像蒙版以及密度图

根据输入图像，首先需要提取人像蒙版，随后根据畸变程度与径向距离成正比的特点，生成概率密度图以供下一步的网格顶点调整使用。该步骤具体通过以下步骤实现：

1)根据已有的人像分割算法生成初始人像蒙版M₀，如图2(b)。

2)扩大1)中的人像蒙版区域。计算人像区域和背景区域之间的过渡区域，设置初始人像蒙版的选区为亮度100％，蒙版扩展根据与人像区域之间的最近距离来设定亮度，离初始人像蒙版越近，则亮度越强。生成带有过渡区域的人像蒙版M_t，如图2(c)。

3)根据2)中设置的亮度，结合径向距离对畸变的影响，生成概率密度图M_d，如图2(d)。

3、生成初始自适应网格

根据图片的内容，需要产生疏密度不同的初始自适应网格，即在人像区域有较密集的顶点分布，而背景区域有较稀疏的顶点分布。该步骤具体通过以下步骤实现：

1)首先分别按照人像和背景区域的采样距离对图像进行均匀采样。采样要求为：在同一行用相同距离采点；对奇数行和偶数行进行错位采点；行与行之间的距离为

倍的采点距离，保证所采样的顶点Delaunay三角化后大部分为规则的等边三角形，如图3(b)、(c)。

2)根据步骤2中生成的初始人像蒙版M₀分别在人像区域取密集的顶点，而在背景区域取较稀疏的顶点，如图3(d)。

3)根据Delaunay三角化方法生成初始网格。

4、优化初始三角网格

初始网格在人像区域及背景区域的过渡区域可能会产生较尖锐的三角形，或产生人像蒙版边界处的三角网格分布不够密集，无法较好拟合人物轮廓的情况，如图4(a)，因此需要对初始三角网格进行优化。通过步骤2中的概率密度图来调整三角网格的顶点分布，采用 Lloyd迭代的方法进行顶点位置的更新。该步骤具体通过以下步骤实现：

1)对除四个角点以外的每个顶点计算相应的Voronoi单元中的重心。

2)将除四个角点以外的每个顶点移动到它所对应的Voronoi单位的重心位置。

3)将原来网格的边界点重新映射到边界上，重新生成新的Delaunay网格。

4)重复执行步骤1)-3)，直到迭代次数达到2次，得到最终的自适应网格

如图4(b)。

5、最小化畸变，更新网格顶点位置

在这个步骤中，分别用人像、背景和边界三类能量函数来度量图像畸变，将矫正广角人像照片这个问题转化为求解一个非线性最小二乘问题。该优化问题的解就是去除畸变后的网格顶点位置。

1)计算透视投影和立体投影的成像点坐标之间的几何转换，同时计算35mm等效焦距和像素度量的实际焦距之间的转化。

2)根据提出的能量函数求解使得能量函数最小化的最优解，移动网格顶点至求得的新位置，保持初始的拓扑连接，得到矫正后的网格，如图5(a)。

6、重新渲染矫正后的网格，得到矫正后的图像，如图5(b)。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种基于自适应网格的广角人像照片畸变矫正方法，其特征在于包括以下步骤：

1)输入透视投影图片，输入图像对应的相机参数；

2)利用人像分割算法计算图片的初始人像蒙版，然后计算人像区域和背景区域之间的过渡区域生成最终的人像蒙版，根据人像蒙版计算每一个像素点的概率密度值，生成图片的概率密度图；

3)根据人像蒙版生成初始自适应三角网格，再根据步骤2)中的概率密度图利用CVT方法迭代优化自适应网格；

4)最小化度量图像畸变的能量函数以去除畸变，得到矫正后的网格；

5)根据矫正后的网格重新渲染图片，得到去除畸变后的图像。

2.如权利要求1所述一种基于自适应网格的广角人像照片畸变矫正方法，其特征在于在步骤1)中，所述透视投影图片是由透视投影的成像方式得到的广角透视人像图片，要求图片的边缘存在有明显畸变的人像。

3.如权利要求1所述一种基于自适应网格的广角人像照片畸变矫正方法，其特征在于在步骤1)中，所述图像对应的相机参数，从图片的EXIF信息得到。

4.如权利要求1所述一种基于自适应网格的广角人像照片畸变矫正方法，其特征在于在步骤2)中，所述生成图片的概率密度图的具体步骤为：首先利用人像分割算法计算图片的初始人像蒙版M₀；然后进行蒙版扩展，即计算人像区域和背景区域之间的过渡区域，以防止初始人像蒙版分割得不够准确；蒙版扩展是根据与人像区域之间的最近距离来设定亮度，离初始人像蒙版越近，则亮度越强，最终得到带有过渡区域的人像蒙版M_t；

亮度设置公式为：

其中，d_i是在图像I中的像素p_i距离初始人像蒙版M₀的最近距离；

根据图像蒙版和对应的径向距离设计一个离散的概率密度函数，分别计算每一个像素点的概率密度值，可视化后得到密度图；概率密度计算公式为：

其中，r_i是像素点p_i距离图像中心的径向距离，R_m是最大径向距离，D_m是设置的最大概率密度。

5.如权利要求1所述一种基于自适应网格的广角人像照片畸变矫正方法，其特征在于在步骤3)中，所述根据人像蒙版生成初始自适应三角网格，即在人体区域按较小间隔采样，在背景区域按较大间隔采样，将人像区域的采样间隔设为w/50个像素，背景区域的采样间隔为w/20个像素，其中w为图像的宽度，单位为像素。

6.如权利要求1所述一种基于自适应网格的广角人像照片畸变矫正方法，其特征在于在步骤3)中，所述CVT方法是通过计算重心的方法不断更新顶点的位置，使得三角网格的顶点分布根据相应的概率密度函数进行调整；计算公式为：

其中，V为顶点v对应得Voronoi单元区域，ρ为在区域V中定义的概率密度函数，即为步骤2)中的概率密度计算公式(2)，g为区域V的重心；

对边界点更新后重新投影到边界处，以使三角网格覆盖图片的所有区域；通过2～3次的Lloyd迭代，使三角网格在人像区域和背景区域之间的过渡会变得更加平滑，更好地拟合人物的轮廓。

7.如权利要求1所述一种基于自适应网格的广角人像照片畸变矫正方法，其特征在于在步骤4)中，所述最小化度量图像畸变的能量函数以去除畸变是根据度量畸变的能量函数计算三角网格顶点的新位置，并将各顶点移动到相应的新位置上，具体步骤为：

分别从人像区域，背景区域和边界区域出发，根据自适应三角网格的特点设计相应的能量函数来度量图像的畸变，将图像矫正问题转化成一个非线性最小二乘问题，要去除畸变只需得到最小二乘的解即得到矫正后的三角网格：

其中，

为最终的矫正的网格顶点位置，E_por为人像项，E_bac为背景项，E_bou为边界项，w_por，w_bac，w_bou分别为对应的权重系数；

各项能量函数的公式如下：

(1)人像项

其中，M_d(v_i)≠0代表顶点v_i不在人像或者过渡区域内，ω_i为顶点v_i对应的人像权重，权重根据步骤2)中的概率密度函数(2)来设置，s_i为顶点v_i对应的立体投影的成像坐标，由透视投影和立体投影的成像点坐标之间的几何转换得到：

其中，p_i为透视投影的成像坐标，s_i为对应的立体投影的坐标，f为该图片的焦距；S为相似变换矩阵

t为2维平移向量，通过引入变量S和t调整顶点的分布；

为人像收缩项，以控制变形后的人像大小，ω_s为人像收缩项的权重；

(2)背景项

E_bac＝E_edg+E_lin， (8)

其中，E_edg为控制网格保持原有拓扑结构的项，p_i为原来透视投影的成像坐标，E_lin为直线保持项，u∈L(n)表示点u在第n条直线上，u由所在三角面片的三个顶点线性表示；

(3)边界项

其中，B_l、B_r、B_t、B_b分别为左、右、上和下边界的顶点集，W和H分别为图片的宽度和高度。

Images