CN106980819A - 基于人脸五官的相似度判别系统 - Google Patents

Abstract

本发明提供了基于人脸五官的相似度判别系统，初始化模块用于建立初始人脸图像模型；五官定位模块用于分别获取多个待检测人脸图像中人脸区域的五官位置，划分并提取人脸区域中每个器官所处区域；特征提取模块用于得到待检测人脸图像中人脸区域的每个器官的相似信息，形成五官特征向量；判别模块用于将待测人脸的五官特征向量与已知人脸的五官特征向量进行比对，得到待测人脸的相似度。该系统，人脸五官相似判别从人们对脸部特征的基本分类出发，进行准确详细的分析、比对，可为用户提供不同人或照片之间各个人脸器官之间的相似程度，也可进而综合体现为人脸相似程度，提高人脸分析的准确度和全面性。

Description

基于人脸五官的相似度判别系统

技术领域

本发明属于人脸识别领域，具体涉及基于人脸五官的相似度判别系统。

背景技术

随着现代科技的发展，数字图像技术显现出了其优越性。作为计算机一个分支，其作用不仅仅是在图像简单处理领域，已经在多个领域中得到广泛应用，特别是人脸识别领域。人脸分析在生活中应用范围极其广泛，对外貌较为看重的人群会在意自己的相貌与哪位名人更加接近，医美机构更是将人脸五官的结构比例研究到了极致。

传统的人脸识别领域主要包括以下几个方面：图像处理：将图像灰度和对比度等进行优化，有利于提取特征点，包括去噪、提高等对比度等等。人脸检测：识别出人脸所在区域。图像分割：在特征空间中确定决策分界线，把空间划分若干区域，每个区域代表一个类。人脸的规范化：校正人脸在尺度、光照和旋转等方面的变化。特征提取：从人脸图像中映射提取一组能反映人脸特征的数值表示样本。特征匹配：将待识别人脸与数据库中的已知人脸数据进行比较，得出相关信息。其是采用直接对于人脸整体的分析，将整张人脸作为输入、提取全局信息。特别是对比两张人脸的相似度，通过直接将获取的两张人脸进行处理，得到一个最终数据结果。这样的方式过于笼统、概括，缺乏详细解释，更是无法为用户提供直观局部比较信息，以至于难以让人信服。

发明内容

针对现有技术中的缺陷，本发明提供一种基于人脸五官的相似度判别系统，提高人脸分析的准确度和全面性。

基于人脸五官的相似度判别系统，包括初始化模块、五官定位模块、特征提取模块和判别模块；

初始化模块用于获取人脸特征点初始平均形状以及对应人脸特征点的图像信息，建立初始人脸图像模型；

五官定位模块用于分别获取待检测人脸图像中人脸区域的五官位置，划分人脸区域中每个器官所处区域，并提取每个器官所处区域的图像；

特征提取模块用于分别提取待检测人脸图像中人脸区域中每个器官的特征信息，并与初始人脸图像模型进行对比，得到待检测人脸图像中人脸区域的每个器官的相似信息，并用的特征用向量的形式表示，形成五官特征向量；

判别模块用于将待测人脸的五官特征向量与已知人脸的五官特征向量进行比对，得到待测人脸的中每个器官的相似度；

优选地，还包括搜寻模块，搜寻模块用于在人脸库寻找与待检测人脸最相似的人脸图像。

优选地，所述初始化模块用于获取人脸数据库中的所有人脸特征点组合，通过仿射变换进行对齐；对所有对齐后的人脸特征点形状坐标取平均值，得到人脸特征点的平均形状；同时，提取每个人脸特征点对应的图片信息，并进行整合，生成统一特征点信息，建立初始人脸图像模型。

优选地，所述仿射变换包括缩放、旋转和平移。

优选地，所述特征提取模块中的特征信息包括器官的位置、大小、形状和纹理。

优选地，所述相似度A采用以下公式计算：

A＝a·b/(||a||·||b||)；

其中，a为待检测人脸图像中器官的特征向量，b为初始人脸图像模型中该器官的特征向量。

优选地，所述相似度A采用以下公式计算：

A＝((a·b)(a·b)T)^(0.5)；

其中，a为待检测人脸图像中器官的特征向量，b为初始人脸图像模型中该器官的特征向量。

由上述技术方案可知，本发明提供的基于人脸五官的相似度判别系统，人脸五官相似判别从人们对脸部特征的基本分类(五官)出发，进行准确详细的分析、比对，可为用户提供不同人或照片之间各个人脸器官之间的相似程度，也可进而综合体现为人脸相似程度。此外，个别现有五官对比分析应用仅仅从其本身提取后进行比较，并未考虑其在整体中的大小位置对其观感效果的影响。比如，两个眼睛大小形状相同的人，可是眼距有很大差距，传统方法会认为两个人的眼睛很像，其实不然。而我们的发明则是考虑得更为完善、全面。由此，用户可以直观观测到自己五官中的每个部分与对比样本的相似情况，提高人脸分析的准确度和全面性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明中人脸特征点定位流程框图。

图2为本发明中相似度判别系统应用于对比两张人脸相似度的流程图。

图3为本发明中相似度判别系统应用于从人脸库中寻找与待检测人脸最相似人脸的流程图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

基于人脸五官的相似度判别系统，如图1所示，包括初始化模块、五官定位模块、特征提取模块和判别模块；

初始化模块用于获取人脸特征点初始平均形状以及对应人脸特征点的图像信息，建立初始人脸图像模型。具体为提取人脸特征点的平均形状，及具体特征点附近图像信息。对于人脸数据库中的所有特征点组合，通过仿射变换(即放缩、平移、旋转)进行对齐。将所有对齐后的人脸特征点形状坐标取平均值，得到平均形状。同时，提取每个人脸特征点对应的图片信息，着重提取特征点附近信息，并进行整合，生成统一特征点信息，建立初始人脸图像模型。

人脸五官包括眉毛、眼睛、耳朵、鼻子和嘴巴。本发明主要分为三个部分：五官的定位、对应器官的特征提取和不同对象相应器官的特征对比。其涉及到多种图像领域算法如人脸侦测、人脸特征点定位和特征提取对比。本发明在进行五官对比时，除了本身的形状、颜色以外，还要考虑在人脸中相对的大小比例以及位置。

五官定位模块用于分别获取待检测人脸图像中人脸区域的五官位置或坐标，划分人脸区域中每个器官所处区域，并提取每个器官所处区域的图像；从而精确提取相应器官区域的图像。其中待检测人脸图像可以为多个，用于同时对比多个待检测人脸图像之间的相似度。

五官定位模块主要通过特征点定位的方式查找相应器官(即眉毛、眼睛、耳朵、鼻子和嘴巴)。首先将初始人脸图像模型中的人脸特征点的平均形状放置在待检测人脸图像中人脸位置，通过对比待检测人脸图像中器官所处区域的图像的特征点信息与初始人脸图像模型中该器官对应的特征点信息，不断进行特征点位置的调整，迭代多次后得到最终特征点位置，即为待检测人脸图像中器官位置。

特征提取模块用于分别提取待检测人脸图像中人脸区域中每个器官的特征信息，并与初始人脸图像模型进行对比，得到待检测人脸图像中人脸区域的每个器官的相似信息，并用向量的形式表示，形成五官特征向量；提取种类包含传统方法(SIFT特征、HOG特征、LBP特征和颜色特征等)以及深度卷积生成的特征，并将所有特征合并生成一个特征向量；所述特征信息包括器官的位置、大小、形状、颜色和纹理。例如A照片B器官的相似信息即为A照片B器官和初始人脸图像模型中B器官的相似度，可以为A照片B器官和初始人脸图像模型中B器官之间的距离差，距离越近，说明A照片B器官和初始人脸图像模型中B器官相似度越高。

判别模块用于将待测人脸的五官特征向量与已知人脸的五官特征向量进行比对，得到待测人脸的每个器官的相似度。两个人脸区域中同一个器官的相似信息越接近，说明这两张人脸中该器官相似度越高。

其中相似度A可采用余弦相似度的比较方式计算：

A＝a·b/(||a||·||b||)；

其中，a为待检测人脸图像中器官的特征向量，b为初始人脸图像模型中该器官的特征向量。A值越接近1说明两者的相似程度越高。

或者是采用距离的比较方式计算：

A＝((a·b)(a·b)T)^(0.5)；

其中，a为待检测人脸图像中器官的特征向量，b为初始人脸图像模型中该器官的特征向量。A值越接近0说明两者的相似程度越高。

此相似度的运算不限于上述所采用的余弦相似度与欧式距离相似度的距离运算方式，亦可采用曼哈頓距离、切比雪夫距离、馬氏距离、信息熵、閔可夫斯基距离等所有可能描述距离的方法來优化算法。

还包括搜寻模块，搜寻模块用于在人脸库寻找与待检测人脸最为相似的人脸图像。将待测人脸的特征向量与图片库中所有的人脸预先生成所有特征向量利用上述判别模块进行相似度的的计算。对于计算结果进行排序，取相似度最高的人脸即为最相似人脸。

该系统，人脸五官相似判别从人们对脸部特征的基本分类(五官)出发，进行准确详细的分析、比对，可为用户提供不同人或照片之间各个人脸器官之间的相似程度，也可进而综合体现为人脸相似程度。此外，个别现有五官对比分析应用仅仅从其本身提取后进行比较，并未考虑其在整体中的大小位置对其观感效果的影响。比如，两个眼睛大小形状相同的人，可是眼距有很大差距，传统方法会认为两个人的眼睛很像，其实不然。而我们的发明则是考虑得更为完善、全面。由此，用户可以直观观测到自己五官中的每个部分与对比样本的相似情况，提高人脸分析的准确度和全面性。

下面扩展该系统的两种应用场景：

第一种应用场景：如图2所示，直接对比获取的两张人脸中的任意人脸器官的相似度。通过人脸定位找到两张图片或一张图片中的两个人脸区域，对人脸区域进行人脸特征点定位，从而得到人脸各关键部位在人脸区域中的准确分布。然后对五官各部分区域进行特征提取。从大小形状到纹理等不同方面分别提取相应特征，平铺成特征向量。最后，将提取的两个人脸相对应五官的各个特征向量逐一的进行对比，便可得到对应的相似度。

第二种应用场景：如图3所示，利用人脸数据库，对库中的人脸求取五官特征，并按人物对象的方式进行整理并求得库中每个人中人脸器官的平均特征信息。将待测特征信息与图库中每个人的对应信息进行比较、排序，找到相似度最高的那个人，即寻找与待测对象五官中某一器官最为相似的人。将人脸数据库中人脸图片按照人物对象事先归类并分别求取五官特征，这样便得到每个人物各个人脸器官的多个特征向量。对每个人各个人脸器官求取平均特征向量。将待比较对象的特征向量与图库中每个人物对象的对应人脸器官的特征向量求取距离。最后，把求得的结果按照数值大小进行排序，若采用余弦相似度的比较方式，数值最大的前几位便是最为相似的人物对象。相反的，采用距离的比较方式，数值最小的前几位便是最为相似的对象。

该系统，可作为一款娱乐应用，比较用户和其心仪名人或指定照片人脸对象的相似度。通过五官各自的相似程度做综合考量，就可得出两个人脸的整体相似程度。当然，每个器官的相似程度更是为用户提供了更为详细的人脸分析。其次，可作为医美机构美容整形的评判机制。当下人们进入医美机构都有自己心中期望的外貌，所以本发明发明就可以为检验改善效果提供一定的数据基础。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (7)

1.基于人脸五官的相似度判别系统，其特征在于，包括初始化模块、五官定位模块、特征提取模块和判别模块；

初始化模块用于获取人脸特征点初始平均形状以及对应人脸特征点的图像信息，建立初始人脸图像模型；

五官定位模块用于分别获取待检测人脸图像中人脸区域的五官位置，划分人脸区域中每个器官所处区域，并提取每个器官所处区域的图像；

特征提取模块用于分别提取待检测人脸图像中人脸区域中每个器官的特征信息，并与初始人脸图像模型进行对比，得到待检测人脸图像中人脸区域的每个器官的相似信息，并用向量的形式表示，形成五官特征向量；

判别模块用于将待测人脸的五官特征向量与已知人脸的五官特征向量进行比对，得到待测人脸的相似度。

2.根据权利要求1所述的基于人脸五官的相似度判别系统，其特征在于，还包括搜寻模块，搜寻模块用于在人脸库寻找与待检测人脸最相似的人脸图像。

3.根据权利要求1所述的基于人脸五官的相似度判别系统，其特征在于，所述初始化模块用于获取人脸数据库中的所有人脸特征点组合，通过仿射变换进行对齐；对所有对齐后的人脸特征点形状坐标取平均值，得到人脸特征点的平均形状；同时，提取每个人脸特征点对应的图片信息，并进行整合，生成统一特征点信息，建立初始人脸图像模型。

4.根据权利要求3所述的基于人脸五官的相似度判别系统，其特征在于，所述仿射变换包括缩放、旋转和平移。

5.根据权利要求1所述的基于人脸五官的相似度判别系统，其特征在于，所述特征提取模块中的特征信息包括器官的位置、大小、形状和纹理。

6.根据权利要求1所述的基于人脸五官的相似度判别系统，其特征在于，所述相似度A采用以下公式计算：

A＝a·b/(||a||·||b||)；

其中，a为待检测人脸图像中器官的特征向量，b为初始人脸图像模型中该器官的特征向量。

7.根据权利要求1所述的基于人脸五官的相似度判别系统，其特征在于，所述相似度A采用以下公式计算：

A＝((a·b)(a·b)T)^(0.5)；

其中，a为待检测人脸图像中器官的特征向量，b为初始人脸图像模型中该器官的特征向量。