CN103729616B

CN103729616B - 高精确度的脸形追踪方法

Info

Publication number: CN103729616B
Application number: CN201310117970.5A
Authority: CN
Inventors: 叶舟; 吕英阁; 郑胜文
Original assignee: Ulsee Inc
Current assignee: Ulsee Inc
Priority date: 2012-10-11
Filing date: 2013-04-07
Publication date: 2017-10-03
Anticipated expiration: 2033-04-07
Also published as: CN103729616A

Abstract

一种高精确度的脸形追踪方法，包括下列步骤：依据一输入影像中之所检测的脸部区域以及一学习数据库产生一初始脸部形状，其中该初始脸部形状包括一初始内部形状和一初始外部形状；依据该输入影像以及该学习数据库来精确化该初始内部形状，以产生一精确化内部形状；以及通过从该初始外部形状朝向外部形状之界线来搜寻一精确化外部形状的边缘，以产生该精确化外部形状。

Description

高精确度的脸形追踪方法

技术领域

本发明是关于一种计算机视觉技术，特别是关于一种高精确度的脸形追踪方法。

背景技术

一般而言，脸部追踪技术是指用以撷取任一数字影像(digital images)之脸部形状的计算机视觉技术，其可检测脸部特征，并忽略周围的部分，这些周围的部分例如是数字影像中之家具或是动物。相关技艺中，有许多传统的脸形追踪方法，这些传统的脸形追踪方法例如是snake(Active Contours，主动轮廓线)、AAM(Active Appearance Models)、CLM(Constrained Local Models)等。这些传统的脸形追踪方法是依据脸部检测作业来检测脸部区域，以在该区域内设定初始脸部形状(由多个特征点所构成)，并撷取影像之脸部区域中的给定部分，以获取特征，进而再微调脸部形状，以符合影像中之脸部特征。

然而，这些方法可能会因上/下脸部区域检测或是相近的背景噪声干扰而产生失败的脸部形状撷取，而依据脸部检测结果所进行之后续步骤(例如是节能应用程序或摄像头应用程序)会受到失败的脸部形状撷取所影响。因此，需要创新的脸部追踪计划以能准确地撷取人脸部形状。

发明内容

本发明提供一种高精确性之脸形追踪方法。该脸形追踪方法包括下列步骤：依据一输入影像中之一检测矩形脸部区域以及一学习数据库产生一初始脸部形状。其中，初始脸部形状包括一初始内部形状和一初始外部形状。依据输入影像中之脸部特征以及学习数据库来精确化该初始内部形状，以产生一精确化内部形状。通过从该初始外部形状向外至可能被定义之界线来搜寻脸部特征，以产生一精确化之外部形状，该些脸部特征由精确化之外部形状其边缘所构成。

为让本发明之上述和其它目的、特征、优点与实施例能更明显易懂，以下配合所附图式进行详细说明。

附图说明

图1绘示本发明较佳实施例之一种高精确度之脸形追踪方法的流程图。

图2(a)绘示本发明较佳实施例之一种高精确度之脸形追踪方法其脸部检测结果的脸部区域以及初始内部形状的示意图。

图2(b)绘示本发明较佳实施例之一种高精确度之脸形追踪方法其精确化内部形状的示意图。

图3绘示本发明较佳实施例之一种高精确度之脸形追踪方法其从初始外部形状向外至可能被定义之界线来搜寻由精确化之外部形状其边缘的示意图。

图4绘示本发明较佳实施例之一种高精确度之脸形追踪方法其一直接搜寻作业的示意图。

图5绘示本发明较佳实施例之一种高精确度之脸形追踪方法其一二维定向搜寻作业的示意图。

具体实施方式

本发明主要是用以改善脸部追踪技术的精确度，特别是在影像的背景复杂或混乱时。在这种情况下，一般的脸形追踪方法将失效，尤其是在脸部的边缘。然而，本发明提出一种由脸部的内侧向外分析一预设距离之影像(脸部形状边缘检测)的脸形追踪方法，以避免背景噪声干扰，进而改善脸形追踪精确度。

请参考图1、图2(a)与图2(b)，图1绘示本发明较佳实施例之一种高精确度之脸形追踪方法的流程图，图2(a)绘示本发明较佳实施例之一种高精确度之脸形追踪方法其脸部检测结果的脸部区域以及初始内部形状的示意图，图2(b)绘示本发明较佳实施例之一种高精确度之脸形追踪方法其精确化内部形状的示意图。其中。在图1的多个步骤中，本发明在此并不限制步骤间的顺序，且可依各种实施情况来省略部分步骤，同样能达到本发明之相同的结果。本实施例之脸形追踪方法包括下列步骤：

步骤101：接收一输入影像202(请参考图2)；

步骤102：依据输入影像202中之所检测的脸部区域(如图2(a)中之矩形虚线区域)以及一学习数据库来产生一初始脸部形状，其中初始脸部形状包括至少一初始内部形状204和一初始外部形状(定义于如图3之‘初始形状’)；

步骤103：依据输入影像202以及学习数据库来精确化初始内部形状204，以产生一精确化内部形状208；

步骤104：通过从初始外部形状朝向外部形状之界线来搜寻一精确化外部形状的边缘，以产生该精确化外部形状。

在步骤101中，输入影像202可以是一视频之一画面或是一照片，但并不做任何限制。在完成步骤101之接收输入影像202之后，执行步骤102，依据一学习数据库，于输入影像202进行一脸部检测，获取一脸部区域(如图2(a)之矩形虚线区域)，以得到一初始内部形状204以及一初始外部形状。请参考图2(a)，其绘示本发明较佳实施例之一种高精确度之脸形追踪方法其脸部检测的脸部区域以及初始内部形状的示意图。所检测之脸部区域之一初始脸部形状可通过具多种不同人脸的学习数据库的协助来进行调整。更特别的是，在步骤102中，一般具有n个特征位置的脸形模型是依据学习数据库来建立，其中初始脸部形状的生成形状为S_i(θ)，i＝1，..，n，S_i(θ)可以下列方程式(1)来表示：

其中，初始脸部形状包括至少一初始内部形状204以及初始外部形状，而包含平均形状(average shape)之以及变形跨度基本点Γ_i的学习数据库，而θ包括了几何因子(geometric factors)s、R、t以及γ，其中s表示比例因子(scaling factor)，R表示旋转矩阵(rotation matrix)，其中旋转矩阵是由翻滚(roll)、偏摆(yaw)以及俯仰(pitch)所构成。t表示转换因子(转换因子)，而γ表示变形(deformation)参数。变形参数为调整参数，用以適合(fitting)输入影像202中之不同脸形。

值得一提的是，在步骤102中，这些几何因子s、R、t以及γ为初估之数值，且处于无特定姿势(posture)之状态，例如是在翻滚、偏摆以及俯仰动作上。换言之，这些几何因子尚未精确化，且必须经由更进一步的调整作业(fitting process)来精确化。因此，初始内部形状204以及初始外部形状仅为初步结果，而需要在下述之步骤103中被精确化。此外，n个特征位置可能因学习数据库之一般脸形模形与输入影像202中之实际脸形间之差异而会有些误差。

在步骤103中，某些最佳化算法用以反复地调整初始形状以符合实际影像脸形上之所撷取之特征，直到某些条件都满足。为能更清楚地了解本发明之技术特征，一种最佳化算法即能将一影像位置(x_i，y_i)匹配于上述所提及之模形，以获取最佳化之θ与z_i，该最佳化算法如下述之方程式(2)表示：

然而，此仅做为说明，本发明并不做任何限制。该最佳化算法或是方案可依据不同的最佳化算法或是方案来进行修正。熟知此技艺者能轻易地了解于方程式(2)所描述之最佳化方法，在此即不再赘述。

请参考图2(b)，其绘示本发明较佳实施例之一种高精确度之脸形追踪方法100其精确化内部形状的示意图。精确化内部形状208是通过上述最佳化算法所产生，且精确化内部形状208可以比图2(a)所示之初始内部形状204更精确地被定义。举例来说，在精确化内部形状208中，嘴巴的位置与形状相较于初始内部形状204能更精确地呈现出。此外，用以描述精确化内部形状208之几何因子亦会在步骤103中被精确化。其中，几何因子包含上述所提及之至少一比例因子s、旋转矩阵R以及转换因子t。换句话说，精确化内部形状208包含了姿势，该姿势例如是含盖了在步骤103中之翻滚、偏摆以及俯仰信息。

一般而言，因为内部脸形周遭仅有皮肤，而外部脸型周遭的背景可能会存在一些非预期的物体，输入影像202中其外部脸形周遭的背景会比内部脸形周遭的背景更为复杂。在考虑上述因素，本发明首先会进行精确化内部形状208之作业，接着再进行精确化外部形状或是整体脸形之作业。藉此，精确化内部形状208会被平稳及精确地生成。在步骤104中，在内部形状被获取之后，一初始外部形状以及多个扫描线段可被设定，以由脸部中心来内至外地搜寻正确地外部形状。

请参考图3，其绘示本发明较佳实施例之从初始外部形状向外至外部形状之界线来搜寻由精确化之外部形状其边缘的示意图。在图3中，初始外部脸形具有17个特征位置，且可被归类至几种类别。举例来说，这17个特征位置可被归类为4种类别。更特别的是，每一个类别具有一共同的基准点，其自精确化内部形状208中的多个位置所选取出。然后，对应17个特征位置之17条扫描线304会分别由所对应之共同基准点朝向外部脸形的界线生成，且17个线段306分别设于这17条扫描线，以指出下述搜寻作业之一搜寻范围。

任何线段306外的物体会被忽略，因此搜索作业可避免背景中多数非预期的物体，搜索作业将更有效率。举例来说，线段可以被定义为一n维2D影像位置p_i(xi，yi)数组ArrayP_k[p_i]，i＝0，1，..，n-1，且k＝O，1，….，16，对应17个特征点。须注意的是，该设定是于最初之无姿势(无翻滚、偏摆以及俯仰)的状态下。在扫描线段中的每个位置其影像坐标数组ArrayP_k[p_i]在执行搜索作业前会被转换至正确的位置。例如，在ArrayP_k[p_i]中之每一位置p_i会被转换至(如方程式(3)所示)：

p’_i＝sRp_i+t (3)；

其中s、R、t分别表示如方程式(1)所定义之比例因子、旋转矩阵(由头部翻滚、偏摆以及俯仰动作所构成)以及转换因子。因此，用以搜寻作业之扫描线段306其精确化数组即为ArrayP_k[p’_i]。在本发明之一实施例中，在由内至外之扫描线段其一维精确化数组ArrayP_k[p’_i]中，搜寻作业可被配设至一直接搜寻作业。

首先，输入影像202可通过任何已知之边缘检测方法以获取一‘边缘地图(edgemap)’以进一步地作业。举例来说，边缘检测方法可以是索贝尔边缘检测(Sobel edgedetection)方法。上述仅做为举例，本发明在此并不做任何限制。该边缘检测方法或是方案可被修正，而其余方法可依据不同的边缘检测作业来使用。请参考图4，其绘示本发明较佳实施例之一直接搜寻作业的示意图。边缘地图402可依据上述边缘检测方法或是方案以自输入影像202生成。然后，扫描线段306精确化数组ArrayP_k[p’_i]会自索引(index)i＝0至i＝n-1来被搜寻出(即，由内至外之方向)，以寻找一最大边缘位置，其即为此步骤中所寻求之外部脸形的边界。假设该边界位置为p_max(i，k)，其中(i，k)表示索引编号i在k扫描线段中之最大边缘位置。

在本发明之另一实施例中，一搜寻作业被设为二维搜寻作业，该二维搜寻作业是沿扫描线段306之精确化数组ArrayP_k[p’_i]，且具有一二维修补程序(patch)‘边缘检测器(边缘detector)’。请参考图5，其绘示本发明另一实施例之二维定向搜寻作业的示意图。如图5所示之一二维修补程序502能执行一定向搜寻作业以获取最大边缘位置。修补程序为一窗口(例如是15x15像素，但不做限制)，该窗口在扫描线段306的精确化数组ArrayP_k[p’_i]中以一位置为中心，且适于执行一二维边缘检测器。为能更清楚地了解本发明之技术特征，沿扫描线段306之精确化数组ArrayP_k[p’_i]搜寻之一二维边缘检测方法以上述实施方式做为说明，但本发明在此并不做任何限制。多种可应用来达到相同的目的之二维边缘检测方法或是方案皆属本发明之精神与范畴。因此，最大边缘位置p_max(i，k)可被获取，以视为外部脸形之边界。

每一最大边缘位置p_max(i，k)被获取之后(如在部分线段无边缘被获取，该线段之最大边缘位置p_max(i，k)将被忽略)，一相似方程式(2)之最佳化算法会被应用来判断精确化外部形状。方程式(4)即为此最佳化方程式，其中由具有n个最大边缘位置(如在本实施例之17个位置)之搜寻作业所生成的形状(脸部边界)是通过预期形状S_k(θ)自学习数据库减去，而z_k以及θ会经由最佳化以及最小化作业估算出，直到符合部分收敛条件，如停止标准(stopcriteria)。需注意的是，因为在获取精确化内部形状208时，比例因子s，旋转矩阵R，转换因子t以及变形参数γ会被确定，因此使用者仅需将变形参数γ带入θ中计算(θ包括比例因子s，旋转矩阵R，转换因子t以及变形参数γ，但不做任何限制)。此外，一些例如是左脸和右脸的反射对称性之几何限制可被执行于最佳化以及最小化作业以提高相符之正确性，如方程式(5)：

.Assume center at(O，0，0)，no rotation

for(k＝0；k＜n/2；k++)

|[p_max(i，k)；z_k]-[p_max(i，n-k)；z_n-k]|＜δ (5)

上述方程式(5)是假设位于中心位置(0，0，0)，无旋转，且其中|.|表示两点之间的距离，δ则是一临界值。

本发明之优点是能对一脸部追踪作业提供一改善流程。此外，该对脸部追踪作业之改善流程适于应用在多种不同的类形，无论是传统的脸部追踪作业或是检测作业都可通过上述所揭露的内容来轻易地改善，进而防止公知技术之相关问题。

任何其所属技术领域中具有通常知识者，在不脱离本创作之精神和范围内，当可作任意之更动与润饰。因此，本发明之保护范围当视所附之申请专利范围所界定者为准。

Claims

1.一高精确度的脸部追踪方法，包括：

依据一输入影像中之所检测的脸部区域以及一学习数据库产生一初始脸部形状，

其特征在于，初始脸部形状的生成形状为Si(θ),i＝1,..,n，Si(θ)可以下列方程式来表示：

其中该初始脸部形状包括一初始内部形状和一初始外部形状，而包含平均形状(average shape)之以及变形跨度基本点Γi的学习数据库，而θ包括了几何因子(geometric factors)s、R、t以及γ，其中s表示比例因子(scaling factor)，R表示旋转矩阵，t表示转换因子，而γ表示变形参数，变形参数为调整参数，用以適合输入影像中之不同脸形；

依据该输入影像以及该学习数据库来精确化该初始内部形状，以产生一精确化内部形状；以及

藉由从该初始外部形状朝向外部形状之界线来搜寻一精确化外部形状的边缘，以产生该精确化外部形状。

2.如权利要求1所述的高精确度的脸形追踪方法，其中产生该精确化内部形状的步骤包括：

产生该精确化内部形状以及多个几何因子，该些几何因子用以描述该精确化内部形状的一姿势，其中该些几何因子包括一比例因子、一旋转矩阵以及一转换因子。

3.如权利要求1所述的高精确度的脸形追踪方法，其中藉由从该初始外部形状朝向外部形状之界线来搜寻一精确化外部形状的边界的步骤包括：

设置自该初始外部形状之一位置起始之至少一扫描线段；

沿着各该扫描线段，搜寻具最大值的至少一边缘位置；以及

藉由最佳化具最大值之各该边缘位置，来产生该精确化外部形状。

4.如权利要求3所述的高精确度的脸形追踪方法，其中设置自该初始外部形状之该位置起始之的各该扫描线段的步骤包括：

对各该扫描线段分别设置至少一角度；以及

对各该扫描线段分别设置至少一长度。

5.如权利要求4所述的高精确度的脸形追踪方法，其中对各该扫描线段分别设置各该角度之步骤是依据该精确化内部形状以及该学习数据库。

6.如权利要求4所述的高精确度的脸形追踪方法，其中对各该扫描线段分别设置各该长度之步骤依据该精确化内部形状以及该学习数据库。

7.如权利要求3所述的高精确度的脸形追踪方法，其中沿各该扫描线段来搜寻具最大值之各该边缘位置的步骤包括：

执行于该输入影像之一边缘检测作业以获取该输入影像之多个边缘；以及

藉由沿各该扫描线段来执行一一维边缘检测作业，以获取具最大值之各该边缘位置。

8.如权利要求7所述的高精确度的脸形追踪方法，其中该边缘检测作业为一索贝尔边缘检测作业。

9.如权利要求3所述的高精确度的脸形追踪方法，其中沿各该扫描线段来搜寻各该具最大值之各该边缘位置的步骤更包括：

藉由沿各该扫描线段来执行一二维边缘检测作业，以获取具最大值之各该边缘位置。

10.如权利要求3所述的高精确度的脸形追踪方法，其中藉由最佳化具最大值之各该边缘位置，来产生该精确化外部形状的步骤包括：

依据该初始形状以及该些几何因子来最佳化具最大值之各该边缘位置；以及

依据一变形因子以及一反射对称限制来最佳化具最大值之各该边缘位置。