CN100514365C - 多张人脸照片自动合成方法 - Google Patents

Abstract

本发明公开了一种多张人脸照片自动合成方法。本发明的方法是通过特征点跟踪自动定位人脸的轮廓和五官，并依此将多张照片合成为一张。本发明在无人工辅助的情况下，对于每张输入照片，首先初步定位人脸在照片中的位置，再利用定位后的人脸全局和局部信息的多重约束，精确标记外轮廓和五官。在此基础上再对每张照片自动进行颜色调整，统一色彩。再通过变形算法和各像素颜色的插值合成，得到一张具有各输入照片特征，并且清晰、真实的人脸照片。本发明具有成功率高，硬件要求低，结果清晰自然等特点，可以满足在普通硬件上的应用要求。

Description

多张人脸照片自动合成方法

技术领域

本发明涉及人脸检测，特征点跟踪，多图像合成等技术领域，特别是涉及一种多张人脸照片的自动合成方法。

背景技术

随着计算机视觉的发展和硬件速度的迅速提高，部分计算机视觉的理论、方法已经达到普通硬件条件下的进行实际应用的水平。近年来，一些基于计算机视觉的商业软件和服务逐渐出现，并向大众推广。本发明的方法正是利用了在计算机视觉领域研究较多的人脸检测和特征点跟踪，实现多张人脸照片的合成。

人脸检测和人脸特征点的跟踪是计算机视觉领域一个尚未完善解决的问题，又是人脸识别、表情识别等应用中的重要技术。其目的是在没有人工辅助的条件下，自动检测到照片或视频中的人脸，并进一步精确标注出人脸上的各种特征点的位置，如眼眶、鼻子、嘴唇等等。其中人脸检测只要求判断照片或视频中有没有人脸，在有人脸的情况下大致判断人脸所在区域的范围。这一技术因对输出的要求不高，处理相对简单，当前已经有了成功率很高并且速度已经达到实时的方法。人脸特征点跟踪通常以人脸检测为基础，进一步标注特征点的精确位置，这一过程相对困难，成功率低并且需要耗费更多时间，但是在输入照片形式固定，质量不是太差的情况下，可以达到实际应用的要求。经对现有文献的研究和实验发现，T.Cootes等(T.Cootes，G.Edwards，C.Taylor，“ActiveAppearance Models”，IEEE Transactions on Pattern Analysis and MachineIntelligence，vol 23，no.6，pp.681-685，June，2001)提出的AAM模型，在加入局部搜索约束之后，可以达到应用要求。

人脸照片的合成则涉及图像变形问题。对于单张图片，在标定一些特征点之后，改变部分特征点的位置，可以通过变形算法，将特征点周围的像素依据一定的规则随特征点共同移动，得到的仍是一张平滑的图片。对于两张或多张相似的图片，如不同人的人脸照片，标定足够多的特征点，并使特征点的位置在各图片中对应，再通过前述的变形算法将所有图片变形，使各照片的特征点移动到同一尺度的同一位置，这时对变形后各图片的像素取平均，可以得到一张清晰的照片。这张照片继承了来自各输入照片的特征。

发明内容

本发明的目的在于提供一种多张人脸照片自动合成方法。

本发明解决其技术问题的技术方案如下：

1.一种多张人脸照片自动合成方法的步骤如下：

(1)首先对输入照片中的人脸进行初步定位，标定包含人脸的矩形区域，并丢弃照片的其它部分；

(2)在步骤(1)定位的矩形区域内，进行人脸特征点跟踪，综合利用全局跟踪和五官局部跟踪的结果，精确标定人脸外轮廓及五官的特征点；

(3)在步骤(2)标定的人脸外轮廓内，进行颜色调节，以一个预设的平均色彩为基准，根据经验得到的色彩分布，将照片的颜色色调调整到这一基准色彩附近，使得各照片色调一致，无太大差别；

(4)对输入照片中的每一张，均执行步骤(1)至(3)；

(5)计算各图片在步骤(2)中跟踪结果的加权均值；

(6)将各输入照片变形，使各照片在步骤(2)中标定的特征点，移动到步骤(5)中得到均值上；

(7)生成结果图片，其像素颜色为各输入图片中对应像素的加权平均值。

2.步骤(1)在照片上执行人脸检测，标定包含人脸的矩形区域后，对图片进行裁剪，只保留矩形区域内部。

3.步骤(2)综合利用全局跟踪和五官局部跟踪定位人脸的特征点，是指：估算五官的位置后，单独跟踪双眼、鼻子和嘴，跟踪结果与全局跟踪结果相比较，以结果好的为准，标定人脸外轮廓和五官上特征点的位置，各点坐标存于代表该照片特征形状的向量s，其定义如下：

$s_k=\left[\begin{array}{c}{x}_k\\ y_k\end{array}\right]$

其中

^-x_k，y_k是第k个特征点在照片上的位置相对坐标。

4.步骤(3)所用的经验色彩分布，是指对一些标准人脸照片色彩分布所作的主元分析，取其中三个主元，则脸部色彩分布集中在这三个主元支撑的空间S_c中以平均色彩为中心椭球区域内。

5.步骤(3)所作的颜色调节，是指将输入照片人脸区域内的色彩转换到经验色彩分布所在的空间S_c上，再通过映射函数将其分布约束在以预设平均色彩为中心的经验色彩分布的椭球区域中；其中预设平均色彩，是指将对一些标准人脸照片色彩分布时，计算得到的平均色彩。

6.步骤(6)将输入照片变形，得到的一幅长宽与人为设定的输出照片长宽相同的照片，这一结果中的任意像素点P[x，y]，在原图片上有存在一个对应点p′[x′，y′]，此像素点的颜色与其对应点相同，对应点位置由以下公式计算得到：

$p\′=\frac{1}{N}\underset{k}{\mathrm{\Σ}}\frac{1}{\mathrm{dist}(p,\stackrel{\→}{s_k{s}_{k+1}})}(p-s_k+{s\′}_k)$

其中

N为特征点个数，

s_k为各照片特征形状向量的加权平均值中第k个元素，

s′_k为原照片的特征形状向量的第k个元素，

是原照片中点p到向量的距离。

7.步骤(7)生成的结果照片中，每个像素点颜色为步骤(6)得到的各个变形结果中相同位置上像素点颜色的加权平均值。

本发明与背景技术相比，具有的有益的效果是：

整个过程全自动执行，无须人工辅助，可运用于硬件外设简单的环境。同时，程序产生的结果五官清晰，色彩均匀，通常不会因为肤色和光照的因素造成结果中存在色彩异常区域。跟踪因采用了局部跟踪与整体跟踪相结合的方法，成功率高。在跟踪成功，结果准确的情况下，合成结果中不会出现重影。

附图说明

附图是本发明的主要步骤流程图。

具体实施方式

下面结合具体实施对本发明的技术方案作进一步说明。

实施采用了实际拍摄的人脸照片作为训练库，构建AAM模型，这是执行下述技术方案之前的准备工作。

技术方案的具体实现流程如下：

1)首先对输入照片中的人脸进行初步定位，标定包含人脸的矩形区域，并丢弃照片的其它部分。此步骤对输入照片用Adaboost做人脸检测，找出人脸所在矩形区域，此区域并不紧贴人脸边缘，可比人脸稍大，但保证将人脸包含在区域内。对照片进行裁减，只保留的到的矩形区域，得到的照片进入后续处理。如果照片中有较大的非人脸区域，则此步骤裁减效果明显。此步骤对应附图中的入脸检测。

2)在步骤1)定位的矩形区域内，进行人脸特征点跟踪，综合利用全局跟踪和五官局部跟踪的结果，精确标定人脸外轮廓及五官的特征点。对于步骤1)得到的图片，先估算各五官可能出现的大致位置，在估算的范围内，利用针对事先训练得到的各五官的AAM模型，单独检测五官。检测的结果作为初始估计值，再利用全局AAM数据做全局检测，得到人脸轮廓和五官特征点的精确位置。图片各特征点坐标存于向量s中，其定义如下：

$s_k=\left[\begin{array}{c}{x}_k\\ y_k\end{array}\right]$

其中

x_k，y_k是第k个特征点在照片上的位置相对坐标。此步骤对应附图中的特征点跟踪。

3)在步骤2)标定的人脸外轮廓内，进行颜色调节，以一个预设的平均色彩为基准，根据经验得到的色彩分布，将照片的颜色色调调整到这一基准色彩附近，使得各照片色调一致，无太大差别。这一步骤的依据是，在对大量标准人脸照片的色彩分布进行主元分析的过程中发现，正常人脸照片的色彩转换到前三个主元构成的空间中S_c后，集中于一个椭球区域。对于输入照片，现将其个像素的色彩转换到同样的空间S_c上，再通过映射函数将其分布约束在经验色彩分布的椭球区域中，并且以对标准人脸照片进行主元分析中得到的平均色彩为中心点。这一步骤的目的是让各副图片的色调基本一致，否则在后续步骤中进行合成时容易出现色彩不均匀。此步骤对应附图中的颜色调整。

4)对每一张输入照片执行步骤1)至3)。

5)从得到的各个特征形状向量求出加权平均值s。

6)将各输入照片变形，使各照片在步骤2)中标定的特征点，移动到步骤5)中得到均值上。是指，对每张输入照片，用变形算法将各照片的特征点移动到均值s上，并且要统一到相同尺度。这一过程的实现方法是，对于一张输入照片I′，建立新照片I，长宽为预设值。对于I中的每一像素点p[x，y]，在原图片上计算出对应点p′[x′，y′]，将像素点p[x，y]的颜色设为与p′[x′，y′]相同。对应位置的计算公式为：

$p\′=\frac{1}{N}\underset{k}{\mathrm{\Σ}}\frac{1}{\mathrm{dist}(p,\stackrel{\→}{s_k{s}_{k+1}})}(p-s_k+{s\′}_k)$

其中：

N为特征点个数，

s_k为各照片特征形状向量的加权平均值中第k个元素，

s′_k为原照片的特征形状向量的第k个元素，

是原照片中点p到向量的距离。

此公式保持了该像素点与两个连续特征点构成的线段的位置关系，并以点到线段的距离的倒数为权重，对从各线段得到的位置作加权平均。此步骤对应附图中的变形算法。

7)生成的结果照片中，其像素颜色为各输入图片中对应像素的加权平均值。是指，每个像素点颜色为步骤6)得到的各个变形结果中相同位置上像素点颜色的加权平均值。因步骤6)得到的处理结果为一组长宽相同的图片，建立一张同样大小的图片，其中每个像素点的颜色是各图片在相同坐标的像素点颜色的加权平均值。权重可根据具体实施需要人为设定，以决定各幅输入照片在结果中的影响所占比例。此步骤对应附图中的合成结果。

Claims (2)

1.一种多张人脸照片自动合成方法，其特征在于该方法的步骤如下：

(1)首先对输入照片中的人脸进行初步定位，标定包含人脸的比人脸稍大的矩形区域，并丢弃照片的其它部分；

(2)在步骤(1)定位的矩形区域内，进行人脸特征点跟踪，综合利用全局AAM模型跟踪和五官局部AAM模型跟踪的结果，精确标定人脸外轮廓及五官的特征点；具体是指：先估算五官的大致位置，再单独检测五官，检测的结果作为初始估计值，再利用全局AAM模型做全局检测，得到人脸外轮廓和五官特征点的精确位置；各特征点坐标存于代表该照片特征形状的向量s中，其定义如下：

$s_k=\left[\begin{array}{c}{x}_k\\ y_k\end{array}\right]$

其中

x_k，y_k是第k个特征点在照片上的位置相对坐标；

(3)在步骤(2)标定的人脸外轮廓内，进行颜色调节，以平均色彩为基准，根据经验色彩分布，将输入照片的颜色色调调整到这一基准色彩附近，使得各输入照片色调一致，无太大差别，其中经验色彩分布是指，对一些标准人脸照片的色彩分布进行主元分析，取前三个主元，则正常人脸照片的色彩分布集中在这三个主元支撑的空间Sc上以对标准人脸照片进行主元分析中得到的平均色彩为中心的椭球区域中；将输入照片的颜色色调调整到这一基准色彩附近是指，将输入照片的色彩转换到空间Sc上，再通过映射函数将其分布约束在经验色彩分布的椭球区域中；

(4)对输入照片中的每一张，均执行步骤(1)至(3)；

(5)计算各照片在步骤(2)中跟踪结果的加权均值，该跟踪结果是指综合利用全局AAM模型跟踪和五官局部AAM模型跟踪得到人脸外轮廓及五官的特征点；

(6)将各输入照片变形，使各输入照片在步骤(2)中标定的特征点移动到步骤(5)中得到的均值上，并且要统一到相同尺度，这一过程的实现方法是，对于一张输入照片I′，建立新照片I，长宽为预设值，对于]中的每一像素点p[x，y]，在原照片上计算出对应点P′[x′，y′]，将像素点P[x，y]的颜色设为与P′[x′，y]相同；

(7)生成结果照片，每个像素点颜色为步骤(6)得到的各个变形后的照片中相同位置上像素点颜色的加权平均值，权重根据具体实施需要人为设定，以决定各幅输入照片在结果照片中的影响所占比例。

2.根据权利要求1所述的一种多张人脸照片自动合成方法，其特征在于：步骤(1)在照片上执行人脸检测，标定包含人脸的比人脸稍大的矩形区域后，对照片进行裁剪，只保留矩形区域内部。

Images