CN103258343A - 一种基于图像编辑的眼部图像处理方法 - Google Patents

Abstract

本发明公开了一种基于图像编辑的眼部图像处理方法，首先以参照图像的上眼睑边界为关键点，用薄板样条函数对单眼皮人脸输入图像进行映射调整眼睛形状和比例；然后用泊松图像编辑将参照图像的双眼皮褶皱区域无缝地融合到输入人脸图像中，模拟出综合了输入图像眼睛形状和参照图像双眼皮特征的优化效果。本发明不仅能够根据参照图像的不同，模拟出多种自然的双眼皮形态外观，而且实现过程简单。本发明对人脸照片娱乐、美容化妆设计以及整形术前预测有重要意义。

Description

一种基于图像编辑的眼部图像处理方法

技术领域

本发明涉及一种图像处理方法，特别是一种基于图像编辑的眼部图像处理方法。 

背景技术

眼睛是人脸部最重要的器官之一，现代人的审美观念中一般认为脸部的双眼皮形态比单眼皮形态更美观。为了无需真实做整形手术，而直接模拟双眼皮形态效果，研究者们提出了多种方法，主要可以分为两类。 

第一类是基于图像的方法，用户在图像上手动绘制双眼皮褶皱线后可以调整线的位置、亮度和宽度。邹北骥等实现的ByuPAQ系统也是用图像上绘制的曲线表示双眼皮褶皱,为了使“双眼皮”看起来自然，作者提出了基于HSV模型的图像渐变算法。 

第二类是基于图形的方法。蔡政儒在1998年提出用立体成像原理建立脸部的三维模型;根据用户绘制的切割线，“切割”脸部模型的三角网格，然后重建处理后的脸部模型。该方法的切割线是在正面图像上绘制平面曲线，然后再投影到上眼皮的模型网格上，这样会与真实的脸部表面存在一定的误差。 

第一类方法采用在图像上绘制曲线来表示双眼皮褶皱实现简便，计算量小，但模拟效果真实感较差。第二类方法通过改变网格模型来模拟双眼皮形态效果，生成“双眼皮褶皱”的三维模型，模拟效果有一定提高，但是需要为每一位不同的用户重新建立“双眼皮褶皱”三维模型，实现过程复杂。另外，目前的方法没有重点考虑人脸单眼皮形态改为双眼皮形态后，会引起眼睛形状比例的变化，同时模拟双眼皮形态效果的真实感也有待进一步提高。 

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于图像编辑的眼部图像处理方法，适度地增大上眼睑边界曲率，调节输入图像人脸眼睛的长度和宽度比例，使输入图像的眼睛更自然、美观;同时，提高双眼皮褶皱线的逼真程度。 

为解决上述技术问题，本发明所采用的技术方案是：一种基于图像编辑的眼部图像处理方法，该方法为： 

1)输入单眼皮正面图像，并对齐单眼皮正面图像和双眼皮参照图像，使单眼皮正面图像和双眼皮参照图像大小相同； 

2)用标识点标识所述单眼皮正面图像和双眼皮参照图像中的上眼睑边界；标识点的个数大于等于6； 

3)根据上述标识点，用线性回归方法求出上眼睑边界曲线函数，所述曲线函数的线性模型y为： 

$y=\underset{i=0}{\overset{2}{\mathrm{\Σ}}}{\mathrm{\θ}}_i{x}^i,$

其中x，y分别是眼睑边界曲线上标识点的横坐标和纵坐标，，θ_i是线性模型的参数，i=0，1，2，将标识点的横纵坐标值代入以上的公式即可算出θ_i； 

4）利用下式计算线性模型y的长度1： 

$l={\∫}_{x_1}^{x_2}\sqrt{1+{\left(y^{\′}\right)}^2},$

其中，x₁和y₂分别为上眼睑边界曲线起止点的横坐标值；y′是步骤3）中y的一阶导： 

5)求解变上限积分等式，得到上眼睑边界曲线的等分点，作为 映射的关键点，所述变上限积分等式为： 

${\∫}_{x_1}^x\sqrt{1+{\left(y^{\′}\right)}^2}\mathrm{dt}={\∫}_{x_1}^x\sqrt{1+{({\mathrm{\θ}}_1+2{\mathrm{\θ}}_{2}t)}^2}\mathrm{dt}=l/k*n,$

(n=0,1,2...,k) 

其中，x为上眼睑边界曲线等分点的横坐标值，k表示将曲线分成k+1个等分段； 

6）用薄板样条函数将所述单眼皮正面图像中的关键点映射成参照图像中的关键点，改善所述单眼皮正面图像中眼睛的形态比例； 

7）用泊松图像编辑将所述双眼皮参照图像中的双眼皮无缝地迁移到经步骤6）处理后的单眼皮正面图像中，形成双眼皮褶皱，得到综合了输入单眼皮正面图像人脸眼睛形状和双眼皮参照图像双眼皮特征的双眼皮形态效果图像。 

所述步骤6）中，以所述单眼皮正面图像中上眼睑边界曲线等分点作为源映射点，双眼皮参照图像中的上眼睑边界曲线等分点作为目标映射点，用薄板样条函数将源映射点映射到目标映射点。 

与现有技术相比，本发明所具有的有益效果为：本发明用薄板样条对输入人脸图像进行变形，依据参照图像改善输入图像人脸眼睛比例，依据参照图像的上眼睑边界对输入图像上眼睑界进行映射，适度地增大上眼睑边界曲率，调节输入图像人脸眼睛的长度和宽度比例，使输入图像的眼睛更自然、美观；用泊松图像编辑方法将参照图像的双眼皮褶皱区域无缝的融合到输入图像中，可以得到逼真的双眼皮褶皱线；本发明的方法可以根据参照图像的不同模拟出多种双眼皮效果。 

附图说明 

图1为本发明基于泊松图像编辑的双眼皮形态效果模拟的流程图； 

图2A为用户输入的眼睛上眼睑标记点； 

图2B为计算得出的上眼睑边界曲线的等分点(k=l1); 

图3A为输入人脸图像上眼睑边界曲线上的等分点; 

图3B为参照图像上眼睑边界曲线上的等介点; 

图3C为变形前的输入图像; 

图3D为变形后的输入图像; 

图4为泊松图像编辑原理示意图; 

图5A为参照图像中的双眼皮褶皱区域； 

图5B为变形后的输入图像及双眼皮褶皱区域的目标位置; 

图5C为将双眼皮褶皱区域直接迁移到变形后的输入图像中; 

图5D为用泊松图像编辑将双眼皮褶皱区域迁移到变形后的输入图像； 

图6A为输入的原始图像; 

图6B为参照图像1; 

图6C为模拟结果1; 

图6D为参照图像2; 

图6E为模拟结果2。 

具体实施方式

如图1所示，本发明的方法包括以下步骤：对齐输入图像和参照图像;用标识点标识输入图像和参照图像中的上眼睑边界;求解变上限积分等式，得到上眼睑边界曲线的等分点，作为映射的关键点；用薄板样条函数将输入图像中上眼睑边界曲线映射成参照图像中的上眼睑边界曲线，改善图像中眼睛的形状比例;用泊松图像编辑无缝地迁移到变形后的输入图像中，形成双眼皮褶皱，得到综合了输入图像眼睛形状和参照图像双眼皮特征的双眼皮形 态效果图像。 

1.输入图像和参照图像 

输入图像是人脸单眼皮的正面图像，参照图像是正面双眼皮参照图像，用来表达所期望得到的效果。对输入图像和参照图像进行缩放，使这些图像大小一致，并对齐图像中的眼睛。 

2.用户用点标识输入图像和参照图像中的上眼睑边界 

如图2A所示，用户沿图像中的上眼睑边界画出标记点，点的个数大于等于6。 

3.求解变上限积分等式，得到上眼睑边界曲线的等分点，作为映射的关键点 

为了得到更好的匹配效果，不直接用这些标记点，而是先根据用户指定的点拟合出曲线，然后用曲线的等分点作为映射点。 

根据用户指定的标识点，用线性回归方法求出上眼睑边界曲线函数。本发明用的线性模型是 

$y=\underset{i=0}{\overset{2}{\mathrm{\Σ}}}{\mathrm{\θ}}_i{x}^i---\left(1\right)$

然后用公式(2)计算曲线(1)的长度， 

$l={\∫}_{x_1}^{x_2}\sqrt{1+{\left(y^{\′}\right)}^2}---\left(2\right)$

其中l为曲线的长度，x₁和x₂分别为曲线起止点的横坐标值。 

最后求解变上限积分等式(3)得到曲线的等分点， 

${\∫}_{x_1}^x\sqrt{1+{\left(y^{\′}\right)}^2}\mathrm{dt}={\∫}_{x_1}^x\sqrt{1+{({\mathrm{\θ}}_1+2{\mathrm{\θ}}_{2}t)}^2}\mathrm{dt}=l/k*n---\left(3\right)$

(n=0,1,2...,k) 

其中x即为曲线的等分点的横坐标值，l为曲线的长度，一共有k+1个等分点。图2B中的红色点是k=11时求出的曲线等分点。通过程序自动求曲线等 分点，能够校正用户输入，得到更好的映射结果。 

4.用薄板样条函数将输入图像中上眼睑边界曲线映射成参照图像中的上眼睑边界曲线，改善图像中眼睛的形状比例 

用曲线上的等分点作为薄板样条函数的映射点，将输入图像中上眼睑边界曲线映射成参照图像中的上眼睑边界曲线。图3A中的方形标记是输入图像左眼上眼睑边界的映射点，图3B中的星形标记是参照图像左眼上眼睑边界的映射点。图3C是将以上两类标记都放在输入图像中，从图中可以看到输入人脸图像上眼睑边界曲线与方形标记趋势一致。用薄板样条函数将方形标记处的像素值映射到星形标记处，同时保持图像中其他函数值连续。如图3D所示，变换后的上眼睑边界曲线沿星形标记延仲，从图中可以看出映射后的上眼睑边界曲线曲率增大，眼睛的比例得到了调整，从而使眼睛比以前看起来更大，更有神。 

5.用泊松图像编辑变形后的输入图像，形成双眼皮褶皱 

双眼皮褶皱是双眼皮形态外观模拟的一个重要部分。本发明通过将参照图像的双眼皮褶皱无缝的迁移到变形后的输入图像中以模拟出逼真、自然的双眼皮褶皱。由于输入图像和参照对象的图像光照或者肤色可能不同，如果直接将参照图像中的双眼皮褶皱区域迁移到变形后的输入图像中，双眼皮褶皱区域边界会不连续(如图5C所示)，所以需要用泊松图像编辑将双眼皮褶皱区域无缝地融合到变形后的输入图像中。 

泊松图像编辑通过解带Dirichlet边界条件的泊松偏微分方程将一个图像区域无缝地融合到另一图像中。 

图4是将梯度为v的源图像区域g无缝地替换目标图像f^*中的Ω区域的示意图。如果用函数f表示替换后Ω区域中的像素值。f可以通过求解如下泊松 方程得出： 

在Ω内 $\mathrm{\Δf}=\mathrm{div}(\▿g)=\mathrm{\Δg},$

而且 $f{|}_{\∂\mathrm{\Ω}}=f^{*}{|}_{\∂\mathrm{\Ω}}---\left(4\right)$

其中 $\mathrm{\Δf}={\∂}^{2}f/{\∂x}^2+{\∂}^{2}f/{\∂y}^2,$ $\mathrm{div}(\▿g)={\∂}^{2}g/{\∂x}^2+{\∂}^{2}g/{\∂y}^2,$ $\mathrm{\Δg}={\∂}^{2}g/{\∂x}^2+{\∂}^{2}g/{\∂y}^2,$

表示f中的Ω区域的边界，

表示目标图像f^*中的Ω区域的边界。 

沿参考图像上眼睑边界画出包围双眼皮褶皱的图像区域(如图5A所示)作为源图像区域g，变形后的输入图像即为目标图像f^*(如图5B所示)，通过求解泊松方程，最终得到综合了输入图像人脸眼睛形状和参照图像双眼皮特征的双眼皮形态效果(如图5D所示)。 

图6是根据参照图像的不同，模拟出多种双眼皮形态效果。图6A为输入图像，图6B为参照图像1，图6C为对应的模拟结果;图6D为参照图像2，图6E为对应的双眼皮形态模拟结果图。 

本发明可以应用于人脸照片娱乐、美容化妆设计以及整形术前预测。 

Claims (3)

1.一种基于图像编辑的眼部图像处理方法，其特征在于，该方法为：

1)输入单眼皮正面图像，并对齐单眼皮正面图像和双眼皮参照图像，使单眼皮正面图像和双眼皮参照图像大小相同；

2)用标识点标识所述单眼皮正面图像和双眼皮参照图像中的上眼睑边界；

3)根据上述标识点，用线性回归方法求出上眼睑边界曲线函数，所述曲线函数的线性模型y为：

$y=\underset{i=0}{\overset{2}{\mathrm{\Σ}}}{\mathrm{\θ}}_i{x}^i;$

其中x，y分别是眼睑边界曲线上标识点的横坐标和纵坐标，θ_i是线性模型的参数，i＝0，1，2；

4)利用下式计算线性模型y的长度l：

$l={\∫}_{x_1}^{x_2}\sqrt{1+{\left(y^{\′}\right)}^2},$

其中，x₁和x₂分别为上眼睑边界曲线起止点的横坐标值；y是步骤3)中y的一阶导；

5)求解变上限积分等式，得到上眼睑边界曲线的等分点，作为映射的关键点，所述变上限积分等式为：

${\∫}_{x_1}^x\sqrt{1+{(y\′)}^2}\mathrm{dt}={\∫}_{x_1}^x\sqrt{1+{({\mathrm{\θ}}_1+2{\mathrm{\θ}}_{2}t)}^2}\mathrm{dt}=l/k*n,$

(n＝0，1，2...，k)

其中，x为上眼睑边界曲线等分点的横坐标值，k表示将曲线分成k+1个等分段；

6)用薄板样条函数将所述单眼皮正面图像中的关键点映射成参照图像中的关键点，改善所述单眼皮正面图像中眼睛的形态比例；

7)用泊松图像编辑将所述双眼皮参照图像中的双眼皮无缝地迁移到经步骤6)处理后的单眼皮正面图像中，形成双眼皮褶皱，得到综合了输入单眼皮正面图像人脸眼睛形状和双眼皮参照图像双眼皮特征的双眼皮形态效果图像。

2.根据权利要求1所述的基于图像编辑的眼部图像处理方法，其特征在于，所述步骤2)中，标识点的个数大于等于6。

3.根据权利要求1所述的基于图像编辑的眼部图像处理方法，其特征在于，所述步骤6)中，以所述单眼皮正面图像中上眼睑边界曲线等分点作为源映射点，双眼皮参照图像中的上眼睑边界曲线等分点作为目标映射点，用薄板样条函数将源映射点映射到目标映射点。

Images