CN106667496B - 一种面部数据测量方法及装置 - Google Patents

Abstract

本发明公开了一种面部数据测量方法及装置，面部数据测量方法包括：通过深度传感器获取多组人脸深度图；将多组人脸深度图匹配至面部的多个关键特征点，并输出多个关键特征点的坐标；依据多组人脸深度图计算面宽数据，对面宽数据进行中值滤波以获取面宽值；依据面宽值修正多个关键特征点的坐标。该发明的有益效果为：通过采用深度传感器进行非接触式测量，测量时测量仪器无需接触人体面部；通过面宽数据优化关键特征点，该方法不仅测量速度快，而且测量结果精准，测量方法简便，全自动完成，无需他人协助进行测量，对操作者专业能力要求低。

Description

一种面部数据测量方法及装置

技术领域

本发明涉及面部测量技术领域，尤其涉及一种面部数据测量方法及装置。

背景技术

传统的面部数据测量方案大致上分两种：一种是通过尺规直接测量头部数据，这种方法的缺点是专业性强，操作过程复杂，测量过程耗时长，可度量数据少。另外一种是通过三维扫描仪获取头部的三维模型，进而间接测量头部模型的数据，这种方法优点就是精度高，可度量数据多，可实现全自动测量，缺点是硬件成本高，难以大众化普及，测量耗时长。

发明内容

本发明的目的在于解决现有技术中专业性强，操作过程复杂，测量过程耗时长，可度量数据少，硬件成本高，难以大众化普及，测量耗时长的问题，提供一种面部数据测量方法及装置。

本发明解决其技术问题所采用的技术方案是：

一方面，提供一种面部数据测量方法，包括：

通过深度传感器获取多组人脸深度图；

将多组所述人脸深度图匹配至面部的多个关键特征点，并输出多个所述关键特征点的坐标；

依据多组所述人脸深度图计算面宽数据，对所述面宽数据进行中值滤波以获取面宽值；

依据所述面宽值修正多个所述关键特征点的坐标。

在本发明所述的面部数据测量方法中，所述通过深度传感器获取多张人脸深度图，包括：

依据预设的深度传感器的帧数获取多组人脸深度图；

依据人脸检测算法确定多组所述人脸深度图为有效的人脸深度图。

在本发明所述的面部数据测量方法中，所述将多组所述人脸深度图匹配至面部的多个关键特征点，并输出多个所述关键特征点的坐标，包括：

将多组所述人脸深度图匹配至面部的多个关键特征点，多个所述关键特征点位于所述面部的下巴、眼镜、眉毛、牙齿、脸廓、舌头、下颌角、嘴唇、鼻、耳朵、头发位置；

依据所述深度传感器建立空间直角坐标系，输出多个所述关键特征点于所述空间直角坐标系的坐标。

在本发明所述的面部数据测量方法中，所述依据多组所述人脸深度图计算面宽数据，对所述面宽数据进行中值滤波以获取面宽值，包括：

计算与多组所述人脸深度图对应的多组面宽数据；

对所述面宽数据进行中值滤波以虑除多组所述面宽数据中非中值的面宽数据，从而获取处于中值的面宽值。

在本发明所述的面部数据测量方法中，所述依据所述面宽值修正多个所述关键特征点的坐标，包括：

依据所述面宽值对多个所述关键特征点进行线性变换；

修正多个所述关键特征点的坐标。

另一方面，提供一种面部数据测量装置，包括：

深度图获取模块，用于通过深度传感器获取多组人脸深度图；

特征点匹配模块，用于将多组所述人脸深度图匹配至面部的多个关键特征点，并输出多个所述关键特征点的坐标；

面宽值计算模块，用于依据多组所述人脸深度图计算面宽数据，对所述面宽数据进行中值滤波以获取面宽值；

坐标修正模块，用于依据所述面宽值修正多个所述关键特征点的坐标。

在本发明所述的面部数据测量装置中，所述深度图获取模块包括：

深度图获取子模块，用于依据预设的深度传感器的帧数获取多组人脸深度图；

有效人脸确定子模块，用于依据人脸检测算法确定多组所述人脸深度图为有效的人脸深度图。

在本发明所述的面部数据测量装置中，所述特征点匹配模块包括：

特征点匹配子模块，用于将多组所述人脸深度图匹配至面部的多个关键特征点，多个所述关键特征点位于所述面部的下巴、眼镜、眉毛、脸廓、牙齿、舌头、下颌角、嘴唇、鼻、耳朵、头发位置；

坐标输出子模块，用于依据所述深度传感器建立空间直角坐标系，输出多个所述关键特征点于所述空间直角坐标系的坐标。

在本发明所述的面部数据测量装置中，所述面宽值计算模块包括：

面宽数据计算子模块，用于计算与多组所述人脸深度图对应的多组面宽数据；

中值滤波子模块，用于对所述面宽数据进行中值滤波以虑除因深度传感器数据噪声等因素而得到的无效面宽数据，从而获取处于中值的面宽值。

在本发明所述的面部数据测量装置中，所述坐标修正模块包括：

线性变换子模块，用于依据所述面宽值对多个所述关键特征点进行线性变换；

坐标修正子模块，用于修正多个所述关键特征点的坐标。

上述公开的一种面部数据测量方法及装置具有以下有益效果：通过采用深度传感器进行非接触式测量，测量时测量仪器无需接触人体面部；通过面宽数据优化关键特征点，该方法不仅测量速度快，而且测量结果精准，测量方法简便，全自动完成，无需他人协助进行测量，对操作者专业能力要求低。

附图说明

图1为本发明一实施例提供的一种面部数据测量方法的流程图；

图2为本发明一实施例提供的面部正面的特征点分布图；

图3为本发明一实施例提供的面部侧面的特征点分布图；

图4为本发明一实施例提供的眼睛的特征点分布图；

图5为本发明一实施例提供的牙齿的特征点分布图；

图6为本发明一实施例提供的鼻子的特征点分布图；

图7为本发明一实施例提供的舌头的特征点分布图；

图8为本发明一实施例提供的嘴巴的特征点分布图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供了一种面部数据测量方法及装置，其目的在于，解决人体面部关键数据的快速测量问题。本发明采用深度传感器作为面部数据测量的测量设备，对深度传感器测量方法进行改进。在保留深度传感器测量面部数据时的精度优势同时，通过人脸识别和关键特征点自动匹配技术，自动完成面部数据的测量；通过数据处理技术，进一步优化测量结果精度。可精确测量面部多个关键数据点，该测量方法无需接触人体，操作简便。

参见图1，图1为本发明一实施例提供的一种面部数据测量方法的流程图，该面部数据测量方法包括步骤S1-S4：

S1、通过深度传感器获取多组人脸深度图；该步骤S1包括子步骤S11-S12：

S11、依据预设的深度传感器的帧数获取多组人脸深度图；深度传感器的帧率大约为30FPS，也就是说每秒采集30张深度信息图。

S12、依据人脸检测算法确定多组所述人脸深度图为有效的人脸深度图。获取包含了人脸的深度信息图，但是计算机并不一定能自动识别到这张图里是否有人脸，要看这张脸摆的角度是否合理，如果这张脸是侧面对着摄像头，那计算机可能无法识别；或者这张脸的信息不完整，计算机也无法识别。从得到的深度信息图里，通过人脸检测算法，来确保采集到的这张深度信息图是有效的，确保能从这张深度信息图里获取有效的面部数据。人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是则返回脸部的位置、大小和姿态。

S2、将多组所述人脸深度图匹配至面部的多个关键特征点，并输出多个所述关键特征点的坐标；该步骤S2包括子步骤S21-S22：

S21、将多组所述人脸深度图匹配至面部的多个关键特征点，多个所述关键特征点位于所述面部的下巴、眼镜、眉毛、脸廓、舌头、下颌角、嘴唇、牙齿、鼻、耳朵、头发位置；关键特征点通过人脸的深度信息图像获取，各关键特征点定位如图2-图8所示。

图2为本发明一实施例提供的面部正面的特征点分布图，其中，位于头发位置的关键特征点包括：头发顶部中心点115、脑壳顶部中心点114、发际线中心点111、发际线左侧点112、发际线右侧点113及后脑勺中心点116(该点参见图3)；位于眉毛位置的关键特征点包括：左眉毛左端点46、左眉毛中心点44、左眉毛右端点42、右眉毛左端点41、右眉毛中心点43、右眉毛右端点45；位于耳朵部位的关键特征点包括：左耳顶点102、左耳耳轮1010、左耳耳垂108、左耳底端106、左耳后侧104、右耳顶点101、右耳耳轮109、右耳耳垂107、右耳底端105、右耳后侧103；脸廓部位的关键特征点包括：左颊部52、左颧部54、右颊部51、右颧部53；下巴部位的关键特征点包括：下巴底端21、下颌点210、左下颌点212、左颌点214、右下颌点211、右颌点213。

图3为本发明一实施例提供的面部侧面的特征点分布图，关键特征点还包括位于下颌角尾部的下颌尾端71。

图4为本发明一实施例提供的眼睛的特征点分布图，位于眼睛3位置的关键特征点包括：左眼左端点312、左眼右端点38、左眼上端点314、左眼下端点310、左眼上眼皮中心点32、左眼通孔36、左眼下眼皮中心点34、右眼左端点311、右眼右端点37、右眼上端点313、右眼下端点39、右眼上眼皮中心点31、右眼通孔35、右眼下眼皮中心点33。

图5为本发明一实施例提供的牙齿的特征点分布图，位于牙齿9位置的关键特征点包括：上牙上端点98、上牙下端点910、下牙上端点911、下牙下端点99。

图6为本发明一实施例提供的鼻子的特征点分布图，位于鼻子9的关键特征点包括：鼻梁左上端点96、鼻梁左中点914、鼻梁左下端点92、左鼻孔外侧点94、鼻梁中心点912、鼻孔外侧点93、鼻孔内侧点915、鼻梁右上端点97、鼻梁右中点913、鼻梁右下端点91、右鼻孔外侧点95。

图7为本发明一实施例提供的舌头的特征点分布图，位于舌头6位置的关键特征点包括：舌中心点62、舌左侧点64、舌右侧点63、舌外端点61。

图8为本发明一实施例提供的嘴巴的特征点分布图，位于嘴巴8位置的关键特征点包括：嘴唇左端点84、嘴唇右端点83、嘴唇外侧上部取五个点86、89、81、810、85，嘴唇外侧下部取三个点88、82、87，嘴唇内侧上部取五个点25、27、22、26、24，嘴唇内侧下部取29、23、28。

当捕抓到上述多个关键特征点中一定百分比的点，并搭配面部识别的算法，即可还原整个面部信息，从而识别该面部各个部位的分布信息。

S22、依据所述深度传感器建立空间直角坐标系，输出多个所述关键特征点于所述空间直角坐标系的坐标。即人脸深度图包含了每一点相对于摄像头(深度传感器的摄像头)的坐标信息。与一般的图片不同，一般的图片包含了每一个点的色彩信息，而深度图包含了每一个点相对于摄像头的坐标。

场景中各点相对于深度传感器的距离可以用深度图(Depth Map)来表示，即深度图中的每一个像素值表示场景中某一点与摄像机之间的世界坐标关系.机器视觉系统获取场景深度图技术可分为被动测距传感和主动深度传感两大类.被动测距传感是指视觉系统接收来自场景发射或反射的光能量，形成有关场景光能量分布函数，即灰度图像，然后在这些图像的基础上恢复场景的深度信息。

S3、依据多组所述人脸深度图计算面宽数据，对所述面宽数据进行中值滤波以获取面宽值；该步骤S3包括子步骤S31-S32：

S31、计算与多组所述人脸深度图对应的多组面宽数据；通过人脸深度图中的坐标信息，获取眉骨段额宽、颧骨宽、颌骨宽(通过计算坐标的距离获得)，从而进一步获取面宽数据。根据不用的人脸深度图的数据所计算可以获得不同的面宽数据，即每张图都会计算得到一个面宽数据。

S32、对所述面宽数据进行中值滤波以虑除多组所述面宽数据中非中值的面宽数据，从而获取处于中值的面宽值。由于硬件会有噪声，那么计算出来的面宽数据也是有噪声的。中值滤波就是剔除较小或者较大的面宽值，而保留中间的面宽值。

S4、依据所述面宽值修正多个所述关键特征点的坐标。该步骤S4包括子步骤S41-S42：

S41、依据所述面宽值对多个所述关键特征点进行线性变换；线性映射(linearmap)，是从一个向量空间V到另一个向量空间W的映射且保持加法运算和数量乘法运算。线性映射总是把线性子空间变为线性子空间，但是维数可能降低。而线性变换(lineartransformation)是线性空间V到其自身的线性映射。

S42、修正多个所述关键特征点的坐标。一般的，经过中值滤波之后得到的面宽值，被认为是最接近人脸真实宽度的值。而此前最后获取的多个关键特征点坐标，计算得到的面宽并不一定刚好就是滤波后的值。所以必须要用中值滤波之后得到的面宽值来修正多个关键特征点的坐标。比如说，通过最后获取的多个关键特征点坐标计算出面宽应该是143，而中值滤波得到的面宽是145，那么我们就需要用145去修正最后得到的多个关键特征点坐标值，所用的算法就是最基本的线性变换。

另一方面，提供一种面部数据测量装置，该装置通过计算机程序实现，该面部数据测量装置需要计算机主机、深度传感器及显示器等硬件支撑，其中，计算机主机通过线路分别连接至深度传感器及显示器，通过深度传感器采集深度图并回传给计算机主机，计算机主机输出各个面部模型至显示器，并修正关键特征点，该面部数据测量装置包括：

深度图获取模块，用于通过深度传感器获取多组人脸深度图；

特征点匹配模块，用于将多组所述人脸深度图匹配至面部的多个关键特征点，并输出多个所述关键特征点的坐标；

面宽值计算模块，用于依据多组所述人脸深度图计算面宽数据，对所述面宽数据进行中值滤波以获取面宽值；

坐标修正模块，用于依据所述面宽值修正多个所述关键特征点的坐标。

优选的，所述深度图获取模块包括：

深度图获取子模块，用于依据预设的深度传感器的帧数获取多组人脸深度图；

有效人脸确定子模块，用于依据人脸检测算法确定多组所述人脸深度图为有效的人脸深度图。

优选的，所述特征点匹配模块包括：

特征点匹配子模块，用于将多组所述人脸深度图匹配至面部的多个关键特征点，多个所述关键特征点位于所述面部的下巴、眼镜、眉毛、脸廓、舌头、下颌角、牙齿、嘴唇、鼻、耳朵、头发等位置；

坐标输出子模块，用于依据所述深度传感器建立空间直角坐标系，输出多个所述关键特征点于所述空间直角坐标系的坐标。

优选的，所述面宽值计算模块包括：

面宽数据计算子模块，用于计算与多组所述人脸深度图对应的多组面宽数据；

中值滤波子模块，用于对所述面宽数据进行中值滤波以虑除多组所述面宽数据中非中值的面宽数据，从而获取处于中值的面宽值。

优选的，所述坐标修正模块包括：

线性变换子模块，用于依据所述面宽值对多个所述关键特征点进行线性变换；

坐标修正子模块，用于修正多个所述关键特征点的坐标。

本文提供了实施例的各种操作。在一个实施例中，所述的一个或操作可以构成一个或计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。

而且，本文所使用的词语“优选的”意指用作实例、示例或例证。奉文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。

而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。

综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (4)

1.一种面部数据测量方法，其特征在于，包括：

通过深度传感器获取多组人脸深度图；

将多组所述人脸深度图匹配至面部的多个关键特征点，并输出多个所述关键特征点的坐标；

依据多组所述人脸深度图计算面宽数据，对所述面宽数据进行中值滤波以获取面宽值；

依据所述面宽值修正多个所述关键特征点的坐标；

所述依据所述面宽值修正多个所述关键特征点的坐标，包括：

依据所述面宽值对多个所述关键特征点进行线性变换；

修正多个所述关键特征点的坐标；

所述依据多组所述人脸深度图计算面宽数据，包括：

通过人脸深度图中的坐标信息，通过计算坐标的距离获得获取眉骨段额宽、颧骨宽、颌骨宽，从而获取面宽数据；

所述通过深度传感器获取多张人脸深度图，包括：

依据预设的深度传感器的帧数获取多组人脸深度图；

依据人脸检测算法确定多组所述人脸深度图为有效的人脸深度图；

所述将多组所述人脸深度图匹配至面部的多个关键特征点，并输出多个所述关键特征点的坐标，包括：

将多组所述人脸深度图匹配至面部的多个关键特征点，多个所述关键特征点位于所述面部的下巴、眼睛 、牙齿、眉毛、脸廓、舌头、下颌角、嘴唇、鼻、耳朵、头发位置；当捕抓到上述多个关键特征点中预设百分比的点，并搭配面部识别的算法，以还原整个面部信息，从而识别该面部各个部位的分布信息；

依据所述深度传感器建立空间直角坐标系，输出多个所述关键特征点于所述空间直角坐标系的坐标；接收来自场景发射或反射的光能量，形成有关场景光能量分布函数及灰度图像，然后在所述灰度图像的基础上恢复场景的深度信息。

2.根据权利要求1所述的面部数据测量方法，其特征在于，所述依据多组所述人脸深度图计算面宽数据，对所述面宽数据进行中值滤波以获取面宽值，包括：

计算与多组所述人脸深度图对应的多组面宽数据；

对所述面宽数据进行中值滤波以虑除多组所述面宽数据中非中值的面宽数据，从而获取处于中值的面宽值。

3.一种面部数据测量装置，其特征在于，包括：

深度图获取模块，用于通过深度传感器获取多组人脸深度图；

特征点匹配模块，用于将多组所述人脸深度图匹配至面部的多个关键特征点，并输出多个所述关键特征点的坐标；

面宽值计算模块，用于依据多组所述人脸深度图计算面宽数据，对所述面宽数据进行中值滤波以获取面宽值；

坐标修正模块，用于依据所述面宽值修正多个所述关键特征点的坐标；

所述坐标修正模块包括：

线性变换子模块，用于依据所述面宽值对多个所述关键特征点进行线性变换；

坐标修正子模块，用于修正多个所述关键特征点的坐标；

所述面宽值计算模块，具体用于通过人脸深度图中的坐标信息，通过计算坐标的距离获得获取眉骨段额宽、颧骨宽、颌骨宽，从而获取面宽数据；

所述深度图获取模块包括：

深度图获取子模块，用于依据预设的深度传感器的帧数获取多组人脸深度图；

有效人脸确定子模块，用于依据人脸检测算法确定多组所述人脸深度图为有效的人脸深度图；

所述特征点匹配模块包括：

特征点匹配子模块，用于将多组所述人脸深度图匹配至面部的多个关键特征点，多个所述关键特征点位于所述面部的下巴、眼睛 、眉毛、脸廓、牙齿、舌头、下颌角、嘴唇、鼻、耳朵、头发位置；当捕抓到上述多个关键特征点中预设百分比的点，并搭配面部识别的算法，以还原整个面部信息，从而识别该面部各个部位的分布信息；

坐标输出子模块，用于依据所述深度传感器建立空间直角坐标系，输出多个所述关键特征点于所述空间直角坐标系的坐标；接收来自场景发射或反射的光能量，形成有关场景光能量分布函数及灰度图像，然后在所述灰度图像的基础上恢复场景的深度信息。

4.根据权利要求3所述的面部数据测量装置，其特征在于，所述面宽值计算模块包括：

面宽数据计算子模块，用于计算与多组所述人脸深度图对应的多组面宽数据；

中值滤波子模块，用于对所述面宽数据进行中值滤波以虑除多组所述面宽数据中非中值的面宽数据，从而获取处于中值的面宽值。

Images