CN1296872C - 快速建立人脸影像平面模型的方法 - Google Patents

Abstract

一种快速建立人脸影像平面模型的方法，其可免除建立与人脸影像相对应的人脸模型，只须使用者提供特定且少量的资讯，即可直接调整一平面参考人脸模型，使其近似该相对应的人脸模型，并进而贴附人脸影像于调整后的平面参考人脸模型上，且此参考人脸模型为一已事先定义好的平面模型。因此，使用者只要给定少量特定的资讯，则人脸影像即可贴附于近似其相对应人脸模型的平面参考人脸模型上。

Description

快速建立人脸影像平面模型的方法

技术领域

本发明是有关一种快速建立人脸影像平面模型的方法，特别是关于一种利用平面参考人脸模型及少数人脸特征点的方式，快速建立相同或相似人脸影像的平面模型的方法。

背景技术

按，将人脸影像贴附于一个人脸模型上，然后再对模型上的控制点作调整，以达到人脸上五官的变化是已经非常成熟的技术，其应用层面非常的广，例如：表情变化、说话的嘴形变化…等。

为达到人脸的变化，公知技术通常需要使用者给定此人脸影像与一人脸模型间的特征点与控制点一对一的对应关系，才有办法贴附该影像于其模型上，如图1a所示，使用者先提供一个人脸影像10，然后根据此方式于此人脸影像10上建立一个如图1b所示的人脸模型12。但是，要求使用者给定该些特征点与控制点一对一的对应关系，通常需要特殊软件辅助才有办法完成，且需要的对应关系必须足够到涵盖整个人脸模型才有办法作完整的贴附动作。况且，由于每个人脸模型并不尽相同，于使用前必须建立该相对应的人脸模型，然后使用者必须对每一个人脸模型作一次对应关系的给定，导致其过程十分繁琐与耗时。由此可知，公知技术较适用于专业领域上，非一般大众所能行使的方法。

另有一台湾专利公告第517210号的“一种利用多边形运算使2D图片产生说话表情变化不失真的方法”，提出一种可将2D图片的主体在不用去除背景的情形下，达到说话与表情变化，此方法主要先将一3D网点模型的各控制点的计算设定Z＝0或Z0形成一平面模型，使其得与2D平面图片贴附并由调整或改变网点使对应部位产生表情变化。此专利利用前述方式将3D网点模型转成平面模型虽可简化操作流程与储存器容量等，但在使用前仍需依据每个人脸的不同而建立其相对应的3D网点模型，再对每个人脸模型作一次对应关系的给定，此方法依旧相当麻烦，且所能简化的操作流程与储存器容量亦相当有限。再者，此专利尚无法在人脸处于侧脸的状态下，调整侧脸的表情变化或是使侧脸产生不失真的变化，应用范围与变化仍受到相当的限制。

发明内容

因此，本发明遂提出一种利用平面参考人脸模型及少量人脸特征点来快速建立人脸影像的平面模型的方法，以解决存在于先前技术中的该等缺失。

本发明的主要目的在于提供一种快速建立人脸影像的平面模型的方法，其可直接于人脸影像上标定少数特定的特征点，并利用该些特定特征点的资讯来调整一平面参考人脸模型，使其与对应的人脸模型相匹配，再贴附影像于其上，以快速建立此人脸影像的平面模型。

本发明的另一目的在于提供一种快速建立人脸影像的平面模型的方法，其让使用者不必透过特殊的软件来给定人脸影像与人脸模型之间特征点与控制点一对一的对应关系，只需直接于人脸影像上标定少数特定的特征点配合一平面参考人脸模型即可建立人脸影像的平面模型，故可以免除建立该相对应的人脸模型。

本发明的再一目的在于提供一种快速建立人脸影像的平面模型的方法，其可将影像上的正脸、侧脸、抬头或低头等各种脸部位置建立出人脸影像的平面模型，应用范围相当广泛，不会受限于脸部位置而无法建立出人脸模型。

本发明的又一目的在于提供一种快速建立人脸影像的平面模型的方法，其可简化操作流程，降低储存器容量，并具有操用间单的特点，以适用于一般大众。

本发明的又一目的在于提供一种快速建立人脸影像的平面模型的方法，使其得到的人脸影像的平面模型可广泛使用在不同的应用上，例如表情变化、说话的嘴型变化等范围。

为达到上述目的，本发明的方法包括：

提供一已定义的平面参考人脸模型，其上具有一预设的十字线；

在一人脸影像上撷取数特征点，以构成一人脸十字线；

根据该平面参考人脸模型的五官比例与该人脸十字线，计算该人脸影像的五官比例；

利用几何运算调整该人脸十字线的位置与尺寸，使其与该平面参考人脸模型的十字线完全重合，并得到一调整参数；

利用该调整参数，对该平面参考人脸模型的各控制点进行反向调整，以得到一相同/近似的平面人脸模型；以及

将该平面人脸模型贴附于该人脸影像上。

其中该十字线由一中心线及与其相交的一参考线所组成。

其中该十字线为该平面参考人脸模型的十字线时，该中心线为一垂直中心线，且该参考线为一水平线。

其中构成该参考线的特征点选自左右眼内侧眼角、左右瞳孔及左右眼外侧眼角。

其中构成该中心线的特征点选自眉心、双眼中心点、鼻尖、人中及嘴巴中间点的至少任意二点。

其中该人脸影像呈抬头或低头状时，该中心线的特征点须选择含有鼻尖的三点特征点。

其中构成该十字线的特征点至少包含四个特征点。

其中该平面参考人脸模型的五官比例为：左右脸以该中心线为轴对称，而鼻尖大略位于眉心和嘴巴中间点，以此原则建立的虚线代表人脸主要范围。

其中在该人脸影像上撷取特征点的步骤中，利用具有点取功能的输入装置进行选取。

其中该具有点取功能的输入装置选自鼠标及触控式屏幕。

其中在该人脸影像上撷取特征点的步骤中，利用一行动电话键盘进行选取，其可用该键盘上相对应数字键排列来当成特征点的相对应位置，以利用该数字键来切换该特征点的选取，并利用方向键来移动该特征点的位置。

其中在调整该人脸十字线的位置与尺寸，使其与该平面参考人脸模型的十字线完全重合的步骤中，还包括下列步骤：

将该人脸十字线旋转一旋转角度，使该中心线与水平线垂直；

进行仿射转换，将该十字线所形成的虚线四边形转换为单位正方形，并得到一转换参数；以及

进行位移与缩放，调整该单位正方形的大小和位置，使该人脸十字线与该平面参考人脸模型的十字线完全重合，并得到该调整参数。

其中在对该平面参考人脸模型的各控制点进行反向调整的步骤中，还包括下列步骤：

进行反位移与缩放，利用该调整参数对该平面参考人脸模型的各个控制点作反向调整，以得到一调整中平面人脸模型；

进行反仿射转换，其利用该转换参数对该调整中平面人脸模型的各个控制点作反向转换；以及

进行反旋转，利用该旋转角度对该调整中平面人脸模型的各个控制点作反向旋转，以得到该相同/近似的平面人脸模型。

附图说明

以下由具体实施例配合附图作详加说明，当更容易了解本发明的目的、技术内容、特点及其所达成的功效，其中：

图1a及图1b分别为一使用者给定的人脸影像及以公知技术建立的相对应的人脸模型。

图2a及图2b分别为本发明使用的参考人脸影像及其平面参考人脸模型。

图3为本发明使用的参考人脸五官比例示意图。

图4为本发明可使用的正脸与侧脸的人脸十字线示意图。

图5a至图5j分别为本发明在建立人脸影像的平面模型的各步骤示意图。

图6为本发明使用的键盘与特征点相对位置关系示意图。

具体实施方式

本发明利用人脸影像上的特征点间的距离与参考人脸五官比例的资讯，调整平面参考人脸模型，使其近似该相对应的人脸模型，免除建立该相对应人脸模型步骤，并利用特征点的位置，将人脸影像正确地贴附于调整过后的模型上。

在说明本发明的方法前，先定义出一些相关资讯，首先如图2a所示，其为一标准的参考人脸影像20，并根据此参考人脸影像20先建立一如图2b所示的平面参考人脸模型22；另外，为了调整平面参考人脸模型22，则须提供一如图3所示的标准的参考人脸20五官比例，再根据此参考人脸20五官比例建立出一预设十字线24，如图4所示，且为了兼顾便利性与可行性，构成十字线24的特征点的选取最少需在实线、短虚线上各选取一点以及长虚线上的三点，才有办法调整平面参考人脸模型；其中，此预设十字线24由一垂直中心线及与其垂直相交的水平参考线所组成。

在取得上述具有预设十字线的已定义平面参考人脸模型之后，本发明快速建立人脸影像的平面模型的方法如图5a至图5j所示；首先请参阅图5a所示，在一人脸影像26上撷取至少四个特征点，以构成一人脸十字线28，且此人脸十字线28由一中心线及与其相交的一参考线所组成。

接著，根据平面参考人脸模型的五官比例与该人脸十字线28，计算出此人脸影像26的五官比例，如图5b所示；其中，此平面参考人脸模型的五官比例为此人脸影像的左右脸以该中心线为轴对称，而鼻尖大略位于眉心和嘴巴中间点，以此原则建立的虚线代表人脸主要范围。

对图5b所示的人脸十字线28进行旋转(rotate)，将此人脸十字线28旋转一旋转角度θ，使其中心线与水平线相垂直，如图5c所示。

对图5c所示的人脸十字线28进行仿射转换(affined transform)，将人脸十字线28所形成的虚线四边形转换为单位正方形，如图5d所示，并得到一转换参数A。

再接著进行位移与缩放(offset & scale)，调整此单位正方形的大小和位置，如图5e所示，使人脸十字线28与该平面参考人脸模型22的预设十字线24完全重合，如图5f所示，并得到一调整参数S。

在取得上述相关调整资讯之后，即可对该平面参考人脸模型22的各控制点进行反向调整。首先，进行反位移与缩放(inverse offset & scale)，利用前述所得的调整参数S对此平面参考人脸模型22的各个控制点作反向调整，以得到一调整中平面人脸模型30，请参考图5g所示。

再进行反仿射转换(inverse affined transform)，其利用前述所得的转换参数A对图5g的平面人脸模型30的各个控制点作反向仿射转换，以得到如图5h所示的平面人脸模型32。

进行反旋转(inverse rotate)，利用前述所得的旋转角度θ对图5h所示的平面人脸模型32的各个控制点进行反向旋转，以得到如图5i所示近似的平面人脸模型34。

最后，将所得的图5i的平面人脸模型34贴附于原指定的人脸影像26上，即可得到如图5j所示的平面人脸模型34。

其中，特征点可以选定在十字线上的特定位置上让使用者方便标定的，且不管是平面参考人脸模型预设的十字线或是人脸十字线，其构成参考线的特征点为左右眼内侧眼角、左右瞳孔或左右眼外侧眼角；构成中心线的特征点为眉心、双眼中心点、鼻尖、人中或嘴巴中间点等中的至少任意二点，使构成十字线的特征点至少包含四个特征点。另外，当人脸影像呈抬头或低头状时，则中心线的特征点则须选取一必要的特征点鼻尖。

再者，本发明在选取特征点时，可利用鼠标或触控式屏幕等具有点取功能的输入装置进行选取。而在缺乏具有点取功能的输入装置的设备上，例如：行动电话，则可利用其键盘上相对应数字键排列来当成特征点的相对应位置，如图6所示，以利用按下该数字键36来切换该特征点的选取，然后再利用方向键来移动该特征点的位置，以完成点取和移动的动作。具体地说，图6的键盘上的数字键1、2、3、5及8即分别代表人脸影像20上的左眼外侧眼角、双眼中心点、右眼外侧眼角、鼻尖及嘴巴中间点等的特征点。

因此，本发明让使用者不必通过特殊的软件来给定人脸影像与人脸模型之间特征点与控制点一对一的对应关系，只需直接于人脸影像上标定少数特定的特征点配合单一平面参考人脸模型即可将影像上的正脸、侧脸、抬头或低头等各种脸部位置建立人脸影像的平面模型，应用范围相当广泛，亦不会如先前技术般受限于脸部位置而无法建立出人脸模型。再者，本发明可简化操作流程，降低储存器容量，并具有操用间单的特点，故可适用于一般大众；且所得到的人脸影像的平面模型可广泛使用在不同的应用上，例如表情变化、说话的嘴型变化等技术范畴中。

以上所述的实施例仅为说明本发明的技术思想及特点，其目的在使熟习此项技术的人士能够了解本发明的内容并据以实施，当不能限定本发明的专利范围，即大凡依本发明所描述的精神所作的均等变化或修饰，仍应涵盖在本发明的专利范围内。

Claims (13)

1、一种快速建立人脸影像平面模型的方法，包括下列步骤：

提供一已定义的平面参考人脸模型，其上具有一预设的十字线；

在一人脸影像上撷取数特征点，以构成一人脸十字线；

根据该平面参考人脸模型的五官比例与该人脸十字线，计算该人脸影像的五官比例；

利用几何运算调整该人脸十字线的位置与尺寸，使其与该平面参考人脸模型的十字线完全重合，并得到一调整参数；

利用该调整参数，对该平面参考人脸模型的各控制点进行反向调整，以得到一相同/近似的平面人脸模型；以及

将该平面人脸模型贴附于该人脸影像上。

2、如权利要求1所述的快速建立人脸影像平面模型的方法，其特征在于，其中该预设的十字线或该人脸十字线由一中心线及与其相交的一参考线所组成。

3、如权利要求2所述的快速建立人脸影像平面模型的方法，其特征在于，其中该十字线为该平面参考人脸模型的十字线时，该中心线为一垂直中心线，且该参考线为一水平线。

4、如权利要求2所述的快速建立人脸影像平面模型的方法，其特征在于，其中构成该参考线的特征点选自左右眼内侧眼角、左右瞳孔及左右眼外侧眼角。

5、如权利要求2所述的快速建立人脸影像平面模型的方法，其特征在于，其中构成该中心线的特征点选自眉心、双眼中心点、鼻尖、人中及嘴巴中间点的至少任意二点。

6、如权利要求5所述的快速建立人脸影像平面模型的方法，其特征在于，其中该人脸影像呈抬头或低头状时，该中心线的特征点须选择一必要的特征点鼻尖。

7、如权利要求1或2所述的快速建立人脸影像平面模型的方法，其特征在于，其中构成该十字线的特征点至少包含四个特征点。

8、如权利要求2所述的快速建立人脸影像平面模型的方法，其特征在于，其中该平面参考人脸模型的五官比例为：左右脸以该中心线为轴对称，而鼻尖大略位于眉心和嘴巴中间点，以此原则建立的虚线代表人脸主要范围。

9、如权利要求1所述的快速建立人脸影像平面模型的方法，其特征在于，其中在该人脸影像上撷取特征点的步骤中，利用具有点取功能的输入装置进行选取。

10、如权利要求9所述的快速建立人脸影像平面模型的方法，其特征在于，其中该具有点取功能的输入装置选自鼠标及触控式屏幕。

11、如权利要求1所述的快速建立人脸影像平面模型的方法，其特征在于，其中在该人脸影像上撷取特征点的步骤中，利用一行动电话键盘进行选取，其可用该键盘上相对应数字键排列来当成特征点的相对应位置，以利用该数字键来切换该特征点的选取，并利用方向键来移动该特征点的位置。

12、如权利要求2所述的快速建立人脸影像平面模型的方法，其特征在于，其中在调整该人脸十字线的位置与尺寸，使其与该平面参考人脸模型的十字线完全重合的步骤中，还包括下列步骤：

将该人脸十字线旋转一旋转角度，使该中心线与水平线垂直；

进行仿射转换，将该十字线所形成的虚线四边形转换为单位正方形，并得到一转换参数；以及

进行位移与缩放，调整该单位正方形的大小和位置，使该人脸十字线与该平面参考人脸模型的十字线完全重合，并得到该调整参数。

13、如权利要求12所述的快速建立人脸影像平面模型的方法，其特征在于，其中在对该平面参考人脸模型的各控制点进行反向调整的步骤中，还包括下列步骤：

进行反位移与缩放，利用该调整参数对该平面参考人脸模型的各个控制点作反向调整，以得到一调整中平面人脸模型；

进行反仿射转换，其利用该转换参数对该调整中平面人脸模型的各个控制点作反向转换；以及

进行反旋转，利用该旋转角度对该调整中平面人脸模型的各个控制点作反向旋转，以得到该相同/近似的平面人脸模型。

Images