CN106611158A - 人体3d特征信息的获取方法及设备 - Google Patents

Abstract

本发明提供了一种人体3D特征信息的获取方法及设备。该方法包括以下步骤：获取待测人的RGBD人体图像；通过RGBD人体图像采集人体特征点；根据人体特征点建立人体3D网格；根据人体3D网格度量人体特征点的特征值并计算人体特征点的3D空间分布特征信息。该设备包括人体图像获取模块、人体采集模块、人体网格建立模块和人体信息获取模块。本发明能获取更加全面的人体3D特征信息，该人体3D特征信息进行的人体识别不会受不同的季节、人的服饰和环境光照变化等的影响，提高了人体识别的精确度。

Description

人体3D特征信息的获取方法及设备

技术领域

本发明涉及获取人体3D特征信息的技术领域，特别是涉及一种人体3D特征信息的获取方法及设备。

背景技术

信息安全问题已经引起社会各界的广泛重视。保障信息安全的一个主要途径就是对信息使用者的身份进行准确鉴别，通过鉴别结果进一步判断用户获取信息的权限是否合法，从而达到保证信息不被外泄和保障用户合法权益的目的。因此，可靠的身份识别是非常重要和必要的。

人体识别在门禁系统、安全监控、人机交互、医疗诊断等领域具有广泛的应用前景和经济价值。传统的人体识别技术为2D人体识别，2D人体识别只有颜色信息而没有深度信息，颜色信息包括诸如颜色、纹理、形状等信息，因此，不可避免地会导致颜色信息中的姿态不确定问题。另外，根据不同的季节、人的服饰和环境光照变化，颜色信息是不稳定的(或者是不鲁棒的)，因此，在复杂的环境中，基于颜色信息的人体识别的精确度较低。

发明内容

本发明提供一种人体3D特征信息的获取方法及设备，能够解决现有技术存在的人体识别精确度低的问题。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种人体3D特征信息的获取方法，该方法包括以下步骤：获取待测人的RGBD人体图像；通过所述RGBD人体图像采集人体特征点；根据所述人体特征点建立人体3D网格；根据所述人体3D网格度量所述人体特征点的特征值并计算所述人体特征点的3D空间分布特征信息。

其中，所述通过所述RGBD人体图像采集人体特征点的步骤中，通过采集人体部位进行所述人体特征点的采集，其中，所述人体部位包括：躯干、四肢以及头部中的一个或者多个。

其中，所述RGBD人体图像为RGBD人体图像序列；根据所述特征点建立人体3D网格的步骤之后，还包括：根据所述RGBD人体图像序列和所述人体3D网格跟踪所述人体部位的运动轨迹，以获取人体动态特征信息。

其中，所述特征值包括身高、臂长、肩宽、手掌大小以及头部大小中的一个或者多个。

其中，所述获取待测人的RGBD人体图像的步骤还包括：获取所述待测人的RGBD人脸图像；所述通过所述RGBD人体图像采集人体特征点的步骤还包括：通过所述RGBD人脸图像采集人脸特征点；根据所述人体特征点建立人体3D网格的步骤还包括：根据所述人脸特征点建立人脸彩色3D网格；根据所述人体3D网格度量所述人体特征点的特征值并计算所述人体特征点的3D空间分布特征信息的步骤还包括：根据所述人脸彩色3D网格度量所述人脸特征点的特征值并计算所述人脸特征点的3D空间分布特征信息。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种获取人脸3D特征信息的设备，该设备包括人体图像获取模块、人体采集模块、人体网格建立模块和人体信息获取模块；人体图像获取模块用于获取待测人的RGBD人体图像；人体采集模块与所述人体图像获取模块连接，用于通过所述RGBD人体图像采集人体特征点；人体网格建立模块与所述人体采集模块连接，用于根据所述人体特征点建立人体3D网格；人体信息获取模块与所述人体网格建立模块连接，用于根据所述人体3D网格度量所述人体特征点的特征值并计算所述人体特征点的3D空间分布特征信息。

其中，所述人体采集模块通过采集人体部位进行所述人体特征点的采集，其中，所述人体部位包括：躯干、四肢以及头部中的一个或者多个。

其中，所述人体图像获取模块获取的RGBD人体图像为RGBD人体图像序列；所述设备还包括动态信息获取模块，与所述人体网格建立模块连接，根据所述RGBD人体图像序列和所述人体3D网格跟踪所述人体部位的运动轨迹，以获取人体动态特征信息。

其中，所述特征值包括身高、臂长、肩宽、手掌大小以及头部大小中的一个或者多个。

其中，所述设备还包括人脸图像获取模块、人脸采集模块、人脸网格建立模块和人脸信息获取模块；人脸图像获取模块用于获取所述待测人的RGBD人脸图像；人脸采集模块与所述人脸图像获取模块连接，用于通过所述RGBD人脸图像采集人脸特征点；人脸网格建立模块与所述人脸采集模块连接，用于根据所述人脸特征点建立人脸彩色3D网格；人脸信息获取模块与所述人脸网格建立模块连接，用于根据所述人脸彩色3D网格度量所述人脸特征点的特征值并计算所述人脸特征点的3D空间分布特征信息。

区别于现有技术，本发明通过人体RGBD图集上采集的特征点建立人体3D网格，并通过该人体3D网格度量特征点的特征值并计算人体特征点的3D空间分布特征信息，以应用于人体的识别，由于3D空间分布特征信息包括了颜色信息和深度信息，人体信息更加全面，并且，通过该3D空间分布特征信息可以建立人体骨架，从而可以通过人体骨架来进行识别，所以不同的季节、人的服饰和环境光照变化等均不会对人体识别造成影响，因此本发明能提高人体识别的精确度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种人体3D特征信息的获取方法的流程示意图；

图2是本发明实施例提供的另一种人体3D特征信息的获取方法的流程示意图；

图3是本发明实施例提供的又一种人体3D特征信息的获取方法的流程示意图；

图4是本发明实施例提供的一种获取人体3D特征信息的设备的结构示意图；

图5是本发明实施例提供的另一种获取人体3D特征信息的设备的结构示意图；

图6是本发明实施例提供的又一种获取人体3D特征信息的设备中新增的模块的结构示意图；

图7是本发明获取人体3D特征信息的设备的实体装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，图1是本发明实施例提供的一种人体3D特征信息的获取方法的流程示意图。

本实施例的人体3D特征信息的获取方法包括以下步骤：

S101：获取待测人的RGBD人体图像。

具体地，RGBD人体图像包括人体的颜色信息(RGB)和深度信息(Depth)，RGBD人体图像可以通过Kinect传感器获得。其中，该RGBD人体图像具体为一个图像集，包括例如同一个人的多个角度的多个RGBD人体图像。

在一些实施例中，当镜头中出现多个人的时候，则采集多个人的RGBD人体图像。

S102：通过RGBD人体图像采集人体特征点。

具体而言，本实施例通过采集人体部位进行人体特征点的采集，其中，人体部位包括：躯干、四肢以及头部中的一个或者多个。

特征点的采集方法可以是多种，例如，通过人工标记人脸的眼睛、鼻子等五官、面颊、下颌及其边缘等特征点，也可以兼容RGB(2D)的人脸特征点标记方法来确定人脸的特征点，还可以自动标记特征点。

举例而言，自动标记特征点需要经过三个步骤：

(一)人体分割。本实施例采用帧间差分和背景差分相结合起来的方法来分割运动人体，预先选取RGBD图像中的一帧作为背景帧，建立各像素点的高斯模型，再运用帧间差分法对相邻两帧图像进行差分处理，区分出背景点和变化的区域(在当前帧中变化的区域包括显露区和运动物体)，然后将变化区域与背景帧的对应区域进行模型拟合区分出显露区和运动物体，最后在运动物体中去除阴影，这样将不带阴影的运动物体分割出来。背景更新时将帧间差分确定为是背景的点，则以一定的规则进行更新；背景差分时确定为是显露区的点，则以较大的更新率更新背景帧，运动物体对应的区域不进行更新。该法可以得到较理想的分割目标。

(二)轮廓提取和分析。在获取二值化后的图像以后，利用一些经典的边缘检测算法来获取轮廓。例如采用Canny算法，Canny边缘检测算子充分反映了最优边缘检测器的数学特性，对于不同类型的边缘，均具有良好的信噪比，优异的定位性能，对单一边缘产生多个响应的低概率性和对虚假边缘响应的最大抑制能力，利用分割算法获得光流分割场后，在这些分割区域里包含所有我们所关心的运动目标。因此，将在这些分割区域里利用Canny算子提取边缘，一方面可以大大限制背景干扰，另一方面可以有效地提高运行的速度。

(三)关节点自动标记。通过差分法得到了分割出运动目标，Canny边缘检测算子提取轮廓后，借助MaylorK.LeungandYee-HongYang的2D带状模型(RibbonModel)对人体目标进一步分析。该模型将人体正面划分成不同的区域，例如，用5个U形区域来构造人体，该5个U形区域分别表示人体的头部以及四肢。

这样，通过寻找5个U形状的身体端点，就可确定身体的大致位置，在已提取的轮廓的基础上，通过矢量轮廓压缩，来提取需要的信息，保留最主要的人体四肢的特征，将人体轮廓压缩成一个固定的形状，例如，使得轮廓具有固定的8个端点和5个U形点和3个倒U形点，这样明显的特征能方便计算轮廓。这里可以使用轮廓上相邻端点的距离算法来压缩轮廓，通过迭代处理使得轮廓压缩为8个端点。

在获取了压缩轮廓后采用如下算法就可以对特征点进行自动标注：

(1)确定U形状的身体端点。设定某一个参考长度M，大于M的矢量可以认为它是身体轮廓的一部分，小于它则忽略。按照矢量化后的轮廓从某一点开始寻找，找到一个大于M的矢量记为Mi，找到下一个的矢量记为Mj，比较Mi到Mj的夹角，如果夹角在某一范围内(0～90°)(注意这里角度为正，表示它是凸的)，则认为它们是U端点，记录这两个矢量，找到一个U端点。如此直到找出5个U端点。

(2)确定三个倒U形状的端点。同步骤(1)，只要把夹角条件正换为负。

(3)根据U及倒U的端点很容易获得头部，手，脚的位置。根据身体的生理形状，就可以确定各个关节点，利用手臂与身体交角部分、头部与腿部交角部分，可以分别确定躯干的宽度和长度；然后利用脖子、腰位置分别占躯干比率0.75、0.3，肘部位于肩膀与手的中点，膝盖位于腰部与脚的中点。这样各个特征点大致位置可以定义出来。

S103：根据人体特征点建立人体3D网格。

S104：根据人体3D网格度量人体特征点的特征值并计算人体特征点的3D空间分布特征信息。

步骤S104中的特征值包括身高、臂长、肩宽、手掌大小以及头部大小中的一个或者多个。通过人体3D网格可以计算出各个人体特征点的空间位置信息，从而可以计算各个人体特征点之间的拓扑关系，从而可以获得立体的人体形状信息，以得到人体特征点的3D空间分布特征信息。使得后期进行人体识别的时候，可以通过人体的3D空间分布特征信息进行识别。

区别于现有技术，本发明通过RGBD人体图集上采集的特征点建立人体3D网格，并通过该人体3D网格度量特征点的特征值并计算人体特征点的3D空间分布特征信息，以应用于人体的识别，由于3D空间分布特征信息包括了颜色信息和深度信息，人体信息更加全面，并且，通过该3D空间分布特征信息可以建立人体骨架，从而可以通过人体骨架来进行识别，所以不同的季节、人的服饰和环境光照变化等均不会对人体识别造成影响，因此本发明能提高人体识别的精确度。

请参阅图2，图2是本发明实施例提供的另一种人体3D特征信息的获取方法的流程示意图。

S201：获取待测人的RGBD人体图像序列。

步骤S201中，通过Kinect传感器获取的是一定时间段内动态连续的RGBD人体图像序列，从而可以获得待测人的运动信息。

S202：通过RGBD人体图像采集人体特征点。

S203：根据人体特征点建立人体3D网格。

S204：根据人体3D网格度量人体特征点的特征值并计算人体特征点的3D空间分布特征信息。

S205：根据RGBD人体图像序列和人体3D网格跟踪人体部位的运动轨迹，以获取人体动态特征信息。

步骤S205通过根据人体站立、步行、奔跑等行为的动态特征，以及特定动态行为的过程，例如双掌手指交叉过程及结果、双臂交叉过程及结果等信息。

具体而言，本实施例采用动态连续的RGBD图像序列，可以检测出人体的动作姿态，增加特征识别的属性项目，例如：若目标为杯子、汽车等刚体物品，则在连续的RGBD图中，目标连续表现为刚体，以此辨别目标为刚体；若目标为人、猫、狗等动物，则根据连续动态RGBD跟踪目标，检测位非刚体，更进一步根据人体特征识别等技术进行精确的人体识别。

在一些实施例中，还可以通过采集语音、体温等动物或人的特征以进行识别认证，防止利用图像、录音等破解认证识别系统，提高识别精度。

要获取人体动态特征信息，首先需要进行人体运动检测，即在获取的图像序列中确定运动人体的位置、尺度大小和姿态的过程。人体运动检测的方法有多种，例如，OGHMs(Orthogonal Gaussian-Hermite Moments)检测法，其基本原理是：通过比较在时间上连续的图像帧之间对应象素值的变化程度来判断该像素点是否属于前景运动区域。

用{f(x,y,t)|t＝0,1,2…}表示输入的一组图像序列，f(x,y,t)代表t时刻的图像，x，y代表了图像上像素点的坐标，设Gaussian函数为g(x,σ)，Bn(t)为g(x,σ)与Hermite多项式的乘积，则n阶OGHMs可表示为：

其中a_i由Gaussian函数的标准偏差σ确定。根据卷积运算的性质，n阶OGHMs可看成是图像序列函数在时间上的各阶导数之和与Gaussian函数的卷积。某点导数值越大，则表示随时间变化该点位置上的像素值变化也越大，说明该点应该属于运动区域块，这为OGHMs方法能检测出运动物体提供了理论依据。另外，从式(1)中可看出，OGHMs的基函数为这是由Gaussian函数的不同阶导数线性组合而成。因为高斯函数本身具有平滑噪声的能力，所以OGHMs同样具有有效滤除各种噪声的性能。

又如，时间差分法，时间差分法(Temporal Difference)是利用时间上连续的图像序列前后几个相邻帧，基于像素的时间差分，通过阈值化提取图像中的运动区域。早期的方法是利用相邻两帧差分获得运动物体，如设F_k是图像序列中第k帧图像灰度值数据，F_k+1表示图像序列中第k+1帧图像灰度值数据，则时间相邻两帧图像的差分图像定义为：

其中T为阈值。如果差值大于T，则说明该区域的灰度变化较大，即需要检测出的运动目标区域。

又如，光流法(Optical Flow)，光流法基于以下假设：图像灰度的变化完全是由于目标或背景的运动引起的。即，目标和背景的灰度不随时间变化。基于光流方法的运动检测，就是利用运动物体随时间变化在图像中表现为速度场的特性，根据一定的约束条件估算出运动所对应的光流，其优点是对目标的帧间运动限制较少，可处理较大的帧间位移。

再如，背景减除法(Background Subtraction)，其基本原理是首先构建一个背景模型图像,然后用当前帧图像与背景帧图像做差分,通过阈值化差分结果检测出运动目标。假设t时刻背景帧图像为F₀，对应当前帧图像为F_t，则当前帧和背景帧的差分可表示为：

假设当前帧图像与背景帧图像相应像素的灰度值差分大于阈值，则所得到的二值图像中对应的值为1，即认定该区域属于运动目标。

在检测出人体运动姿态之后，通过运动历史图像(MHI，motion history images)和运动能量图像(MEI,motion energy images)进行人体动作姿态的表示。

采用运动历史图像(MHI)和运动能量图像(MEI)进行人体动作姿态的表示，其中MEI反映了人体动作姿态所发生的区域及强度，而MHI则在一定程度上反映了人体动作姿态如何发生以及在时间上如何变化。

二值图像MEI产生如下：

其中：B(x,y,n)是表示人体动作姿态发生区域的二值图像序列，参数τ表示人体动作姿态的持续时间。因此，MEI描述了整个人体动作姿态所发生的区域。

MHI的产生如下：

运动历史图像MH I不仅反映了形状，也反映了亮度的分布以及人体动作姿态发生的方向。在MHI中，每个象素的亮度值都与该位置动作姿态的持续运动时间成比例，而且，最近发生的动作姿态的象素亮度值最大，灰度的变化体现出动作姿态发生的方向。

采用不变矩方法建立动作姿态模板的统计描述。不变矩为：M’_k＝lg|M_k|，其中：k＝1，2，…，7。将特征向量记为F＝[M’₁，M’₂，…M’₇]，用F₁，F₂，…，F_M代表图像库中M幅某个人体动作姿态的图像.对图像F_i，其相应的特征向量记为F_i＝[M’_i1，M’_i2，…，M’_i7]，这样由人体动作姿态图像库就可以得到该动作姿态的一个M×7的特征矩阵F＝M’_ij，其中M’_ij是F_i的第j个特征元素.这样就可得到M幅该人体动作姿态图像的特征向量集的均值向量和协方差矩阵，建立该动作姿态模板的统计描述。

本实施例从人体RGBD图像序列中获取的人体3D特征信息不仅包括人体特征点的3D空间分布特征信息，还包括了人体动态特征信息，增加了特征识别的属性项目，本实施例结合人体特征点的3D空间分布特征信息和人体动态特征信息进行人体识别，使得比较识别的属性项目更加充分，从而使得人体识别更加精确。

值得一提的是，步骤S204可以在步骤S205前或者后，或者，步骤S204和步骤S205也可以同时进行。

请参阅图3，图3是本发明实施例提供的又一种人体3D特征信息的获取方法的流程示意图。

本实施例人体3D特征信息的获取方法包括以下步骤：

S301：获取获取待测人的RGBD人体图像和RGBD人脸图像。

S302：通过RGBD人体图像采集人体特征点，通过RGBD人脸图像采集人脸特征点。

其中，人体特征点的采集方法与步骤S102中的方法相同，在此不再赘述。

步骤S302中，在获取RGBD人脸图像之后，在该RGBD人脸图像上，通过采集人脸元素来进行特征点的采集，其中，人脸元素包括：眉毛、眼睛、鼻子、嘴巴、脸颊以及下巴中的一个或者多个。

特征点的获取方法可以是多种，例如，通过人工标记人脸的眼睛、鼻子等五官、面颊、下颌及其边缘等特征点，也可以兼容RGB(2D)的人脸特征点标记方法来确定人脸的特征点。

举例而言，人脸关键特征点的定位方法：选取人脸的9个特征点，这些特征点的分布具有角度不变性，分别为2个眼球中心点、4个眼角点、两鼻孔的中点和2个嘴角点。在此基础上可以容易地获得与识别有关的人脸各器官特征以及扩展的其他特征点位置，用于进一步的识别算法。

在进行人脸特征提取时，由于无法将局部的边缘信息有效地组织起来，传统的边缘检测算子不能可靠地提取人脸的特征(眼睛或嘴的轮廓)，但从人类视觉特性出发，充分利用边缘及角点的特征来进行人脸关键特征点的定位，则会大大提高其可靠性。

其中选择Susan算子用于提取局部区域的边缘和角点特征。根据Susan算子的特性，它既可用来检测边缘，又能用来提取角点。因此与Sobel、Canny等边缘检测算子相比较而言，Susan算子更适合进行人脸眼部和嘴巴等特征的提取，尤其是对眼角点和嘴角点的自动定位。

以下是Susan算子的介绍：

用一个圆形模板遍历图像，若模板内其他任意像素的灰度值与模板中心像素(核)的灰度值的差小于一定阈值，就认为该点与核具有相同(或相近)的灰度值，满足这样条件的像素组成的区域称为核值相似区(Univalue Segment Assimilating Nucleus,USAN)。把图像中的每个像素与具有相近灰度值的局部区域相联系是SUSAN准则的基。

具体检测时，是用圆形模板扫描整个图像，比较模板内每一像素与中心像素的灰度值，并给定阈值来判别该像素是否属于USAN区域，如下式：

式中，c(r,r₀)为模板内属于USAN区域的像素的判别函数，I(r₀)是模板中心像素(核)的灰度值，I(r)为模板内其他任意像素的灰度值，t是灰度差门限。它影响检测到角点的个数。t减小，获得图像中更多精细的变化，从而给出相对较多的检测数量。门限t必须根据图像的对比度和噪声等因素确定。则图像中某一点的USAN区域大小可由下式表示：

其中，g为几何门限，影响检测到的角点形状，g越小，检测到的角点越尖锐。(1)t,g的确定门限g决定了输出角点的USAN区域的最大值，即只要图象中的象素具有比g小的USAN区域，该点就被判定为角点。g的大小不但决定了可从图象中提取角点的多寡，而且如前所述，它还决定了所检测到的角点的尖锐程度。所以一旦确定了所需角点的质量(尖锐程度)，g就可以取一个固定不变的值。门限t表示所能检测角点的最小对比度，也是能忽略的噪声的最大容限。它主要决定了能够提取的特征数量，t越小，可从对比度越低的图象中提取特征，而且提取的特征也越多。因此对于不同对比度和噪声情况的图象，应取不同的t值。SUSAN算子有一个突出的优点，就是对局部噪声不敏感，抗噪能力强。这是由于它不依赖于前期图像分割的结果，并避免了梯度计算，另外，USAN区域是由模板内与模板中心像素具有相似灰度值的像素累加而得，这实际上是一个积分过程，对于高斯噪声有很好的抑制作用。

(1)眼球及眼角的自动定位。在眼球及眼角的自动定位过程中，首先采用归一化模板匹配的方法初步定位人脸。在整个人脸图像中确定出脸部的大概区域。通常的人眼定位算法根据眼睛的谷点性质来定位，而此处则采用将谷点的搜索和方向投影以及眼球的对称性相结合的方法，利用两眼之间的相关性可以提高眼睛定位的准确度。对脸部区域的左上和右上部分进行梯度图积分投影，并对积分投影的直方图进行归一化，首先根据水平投影的谷点确定出眼睛在y方向的大致位置，然后让x在较大的范围内变化，寻找此区域内的谷点，将检测到的点作为两眼的眼球中心点。

在获得两眼球位置的基础上，对眼部区域进行处理，首先采用自适应二值化方法确定门限阈值，得到眼部区域的自动二值化图像，然后结合Susan算子，利用边缘和角点检测的算法在眼部区域内准确定位内外眼角点。

经过上述算法获得的眼部区域边缘图像，在此基础上对图像中的边缘曲线进行角点提取即可获得准确的两眼内外眼角点位置。

(2)鼻域特征点的自动定位。将人脸鼻子区域的关键特征点确定为两个鼻孔中心连线的中点处，即鼻唇中心点。人脸鼻唇中心点的位置相对较稳定，而且对于人脸图像归一化预处理时也可起到基准点的作用。

以找到的两眼球位置为基础，采用区域灰度积分投影的方法确定两个鼻孔的位置。

首先截取两眼瞳孔宽度的条状区域，进行Y方向积分投影，然后对投影曲线进行分析。可以看到，沿着投影曲线自眼球位置的Y坐标高度向下搜索，找到第一个谷点的位置(通过调整选择适当的峰谷Δ值，忽略中间可能由于脸部疤痕或眼镜等因素产生的毛刺影响)，将这个谷点作为鼻孔位置的Y坐标基准点；第二步选取以两眼球X坐标为宽度，鼻孔Y坐标上下δ像素(例如，选取δ＝[鼻孔Y坐标-眼球Y坐标]×0.06)为高度的区域进行X方向积分投影，然后对投影曲线进行分析，以两眼瞳孔中点的X坐标作为中心点，分别向左右两侧进行搜索，找到的第一个谷点即为左右鼻孔的中心点的X坐标。计算两个鼻孔的中点作为鼻唇中点，获得鼻唇中心点的准确位置，并划定鼻子区域。

(3)嘴角的自动定位。由于人脸表情的不同可能会引起嘴巴形状的较大变动，而且嘴巴区域比较容易受到胡须等因素的干扰，因此嘴部特征点提取的准确性对于识别影响较大。由于嘴角点的位置受表情等影响相对变动较小，角点的位置较准确，所以采取嘴部区域的重要特征点为两个嘴角点的定位方式。

在确定了双眼区域以及鼻域特征点的基础上，首先利用区域灰度积分投影的方法确定自鼻孔以下Y坐标投影曲线的第一个谷点(同理，需要通过适当的峰谷Δ值来消除由于胡须、痣痕等因素产生的毛刺影响)作为嘴巴的Y坐标位置；然后选定嘴巴区域，对区域图像利用Susan算子进行处理，得到嘴部边缘图后；最后进行角点提取，便可以获得两个嘴角的精确位置。

S303：根据人体特征点建立人体3D网格，人脸特征点建立人脸彩色3D网格。

S304：根据人体3D网格度量人体特征点的特征值并计算人体特征点的3D空间分布特征信息，根据人脸彩色3D网格度量人脸特征点的特征值并计算人脸特征点的3D空间分布特征信息。

具体而言，通过颜色信息可以针对人体特征的特征点对相关特征值进行度量，该特征值为人体特征在2D平面上的包括对位置、距离、形状、大小、角度、弧度以及曲率中的一种或者多种的度量，此外，还包括对色彩、亮度、纹理等的度量。

结合颜色信息和深度信息，则可以计算出特征点之间的连接关系，该连接关系可以是特征点之间的拓扑连接关系和空间几何距离，或者也可以是特征点的各种组合的动态连接关系信息等。

根据人体彩色3D网格的度量和计算可以获得包括人体的各个元素本身的平面信息和每个元素上的特征点的空间位置关系的局部信息，以及各个元素之间的空间位置关系的整体信息。局部信息和整体信息分别从局部和整体上反映隐含在人脸RGBD图上的信息和结构关系。

通过对特征值和连接关系的分析，因而可以获得立体的人体和人脸形状信息，从而获得人体和人脸各特征点的3D空间分布特征信息，使后期进行人体识别的时候，可以通过人体和人脸的3D空间分布特征信息进行识别。

举例而言，可以采用有限元分析方法对特征值、特征点之间的拓扑连接关系和空间几何距离进行分析以获取人脸特征点的3D空间分布特征信息。

具体地，使用有限元分析可对人脸彩色3D网格进行曲面变形。有限元分析(FEA，Finite Element Analysis)即利用数学近似的方法对真实物理系统(几何和载荷工况)进行模拟。还利用简单而又相互作用的元素，即单元，就可以用有限数量的未知量去逼近无限未知量的真实系统。

例如，对人脸彩色3D网格每个线单元进行变形能量分析后，可以建立线单元的单元刚度方程。然后引入约束单元，如点、线、切矢、法矢等约束单元类型。因为曲线曲面要满足稽核设计时对其形状、位置、尺寸以及与相邻曲面的连续性等要求，这些都是通过约束来实现的。本实施例通过罚函数法处理这些约束，最终获得约束单元的刚度矩阵和等效载荷列阵。

扩充变形曲线曲面的数据结构，使得变形曲线曲面的数据结构既包含如阶数、控制顶点和节点矢量等的几何参数部分，还包括表明物理特性和外载荷的一些参数。从而使得变形曲线曲面可以整体表示一些较为复杂的形体表明，大大简化了人脸的几何模型。并且，在数据结构中的物理参数和约束参数唯一决定了人脸的构形几何参数，

通过程序设计来用有限元求解变形曲线曲面，针对不同的约束单元，设置单元入口程序，可计算出任何一种约束的单元刚度矩阵和单元载荷列阵。根据总体刚度矩阵的对称性、带状性和稀疏性，采用变带宽一维数组存储方法对总体刚度矩阵计算。组装时，不仅将线单元或面单元刚度矩阵，也将约束单元刚度矩阵按“对号入座”方式加入到总体刚度矩阵中，同时将约束单元等效载荷列阵加入到总体载荷列阵中，最后采用高斯消去法求解线性代数方程组。

举例而言，人脸曲线曲面的造型方法可用数学模型描述为：

所求变形曲线

或曲面

是如下极值问题的解

其中，是曲线曲面的能量泛函，它在一定程度上反映曲线曲面的变形特点，赋予曲线曲面物理特性。f1,f2,f3,f4是关于(·)中变量的函数，是参数定义域的边界，Γ′是曲面参数域内的曲线，(μ₀，v₀)是参数域内某参数值，条件(1)是边界插值约束，条件(2)是边界处连续性约束，条件(3)是曲面内特征线的约束，条件(4)是曲线曲面内点约束。在应用中，能量泛函取成如下形式：

曲线：

曲面：

其中，α、β、γ分别表示曲线的拉伸、玩去、扭曲系数，αij和βij分别为曲面在(μ，v)处局部沿μ，v方向的拉很和玩去系数。

从数学模型中可以看出，变形曲线曲面造型方法同一、协调地处理各类约束，既满足了局部控制，又保证了整体广顺。利用变分原理，求解上述极值问题可转化为求解如下方程：

这里的δ表示一阶变分。式(5)是一个微分方程，由于该方程比较复杂，难于求出精确分析结，因此采用数值解放。例如，采用有限元方法求解。

有限元方法可认为是先根据需要选择合适的插值形式，再求解组合参数，因此所得的解不仅为连续形式，而前处理生成的网格也为有限元分析奠定了基础。

在识别阶段，未知人脸图像与已知人脸模板之间的相似性度量由下式给出：

式中：C_iX_j分别为待识别人脸的特征和人脸库中人脸的特征，i₁,i₂,j₁,j₂,k₁,k₂为3D网格顶点特征。式中的第一项是机选两个矢量场中对应的局部特征X_j和C_i的相似程度，第二项则是计算局部位置关系和匹配次序，由此可见，最佳匹配也就是最小能量函数时的匹配。

此外，还可以采用小波变换纹理分析方法对特征值和特征点之间的动态连接关系进行分析，以获取特征点的3D空间分布特征信息。

具体而言，动态连接关系为各种特征点组合的动态连接关系。小波变换是时间和频率的局域变换，它具有多分辨率分析的特征，而且在时域频域都具有表征信号局部特征的能力。本实施例通过小波变换纹理分析经过对纹理特征的提取、分类和分析步骤并结合人脸特征值以及动态连接关系信息，具体包括颜色信息和深度信息，最终获取立体的人脸形状信息，最终再从人脸形状信息中分析提取出人脸细微表情变化下具有不变性的人脸形状信息，进行编码人脸形状模型参数，该模型参数即可作为人脸的几何特征，从而获得人脸特征点的3D空间分布特征信息。

在其它一些实施例提供的人脸3D特征信息的获取方法中还兼容了人脸2D特征信息的获取，人脸2D特征信息的获取方法可以为本领域常规的各种方法。在该些实施例中，在获取人脸3D特征信息的同时，还可以获取人脸2D特征信息，以同时对人脸进行3D和2D的识别，从而进一步提高人脸识别的精确度。

举例而言，三维小波变换的基础如下：

其中，

A_J1为函数f(x,y,z)到空间V³ _J1的投影算子，

Q_n为H_x,H_y,H_z G_x,G_y,G_z的组合；

令矩阵H＝(H_m，k)，G＝(G_m，k)，其中， H_x,H_y,H_z分别表示H作用到三维信号x,y,z方向上，G_x,G_y,G_z分别表示G作用到三维信号x,y,z方向上。

识别阶段，将未知人脸图像小波变换后，取其低频低分辨率子图映射到人脸空间，将得到特征系数，可以使用欧式距离比较待分类特征系数与每个人的特征系数之间的距离，结合PCA算法，根据公式：

式中，K为与未知人脸最匹配的人，N为数据库人数，Y为未知人脸映射到由特征脸形成的子空间上得到的m维向量，Y_k为数据库中已知人脸映射到由特征脸形成的子空间上得到的m维向量。

可以理解地，在另一个实施例中，还可以采用是基于二维小波特征的3D人脸识别方法进行识别，首先需要进行二维小波特征提取，二维小波基函数g(x,y)定义为

g_mn(x，y)＝a^-nmg(x′，y′)，a＞1，m，n∈Z

其中，σ为高斯窗口的大小，一个自相似的滤波器函数可通过函数gmn(x,y)对g(x,y)进行适当膨胀和旋转得到。基于以上函数，对图像I(x,y)的小波特征可以定义为

人脸图像二维小波提取算法的实现步骤如下：

(1)通过小波分析获取关于人脸的小波表征，使原图像I(x,y)中的相应特征转化为小波特征向量F(F∈R^m)。

(2)采用小指数多项式(FPP)模型k(x，y)＝(x·y)^d(0＜d＜1)使m维小波特征空间R^m投影到更高n维空间Rⁿ中。

(3)基于核线性判决分析算法(KFDA)，在Rⁿ空间中建立类间矩阵S_b和类内矩阵S_w。

计算S_w的标准正交特征向量α₁，α₂，…，α_n。

(4)提取人脸图像显著判别特征向量。另P1＝(α₁，α₂，…，α_q)，其中，α₁，α₂，…，α_q是S_w对应的q个特征值为正的特征向量，q＝rank(S_w)。计算对应于L个最大特征值的特征向量β₁，β₂，…，β_L，(L≤c-1)，其中，c是人脸分类的数量。显著判别特征向量，f_regular＝B^TP₁ ^Ty其中，y∈Rⁿ；B＝(β₁，β₂，…，β_l)。

(5)提取人脸图像不显著的判别特征向量。计算对应于一个最大特征值的特征向量γ₁，γ₂，…，γ_L，(L≤c-1)。令P₂＝(α_q+1，α_q+2，…，α_m)，则不显著的判别特征向量

在3D人脸识别阶段包括的步骤如下：

(1)对正面人脸进行检测，定位一张正面人脸和一张人脸图像中关键的人脸特征点，比如人脸的轮廓特征点、左眼和右眼、嘴和鼻等。

(2)通过上述提取的二维Gabor特征向量和一个常用的3D人脸数据库重建三维人脸模型。为了重建一个三维人脸模型，使用ORL(Olivetti Research Laboratory)单人脸三维人脸数据库，包括检测到的100张人脸图像。数据库中每个人脸模型都有将近70000个顶点。确定一个特征转换矩阵P，在原有三维人脸识别方法中，该矩阵通常是由子空间分析方法得到的子空间分析投影矩阵，由样本的协方差矩阵对应于前m个最大特征值的特征向量组成。将提取出的小波判别特征向量对应于m个最大特征值的特征向量，组成主特征转换矩阵P’，该特征转换矩阵比原有特征矩阵P对光照、姿态和表情等因素具有更强的鲁棒性，即代表的特征更准确且稳定。

(3)对新生成的人脸模型采用模板匹配及线性判别分析(FLDA)方法进行处理，提取模型的类内差异和类间差异，进一步优化最后的识别结果。

本实施例获取的人体3D特征信息包括了整体的人体特征点的3D空间分布特征信息和局部的人脸特征点的3D空间分布特征信息，在人体识别的时候可以从整体和局部特征来进行识别，增加了人体识别的属性项目，提高了人体识别的精确度。

在一些实施例中，还可以将RGB人脸图像获取人脸肤色、纹理等2D信息，结合人体特征点的3D空间分布特征信息和人脸特征点的3D空间分布特征信息，进一步增加识别属性项目，提高识别精确度。

请参阅图4，图4是本发明实施例提供的一种获取人体3D特征信息的设备的结构示意图。

本实施例的获取人体3D特征信息的设备包括人体图像获取模块10、人体采集模块11、人体网格建立模块12和人体信息获取模块13。

具体地，人体图像获取模块10用于获取待测人的RGBD人体图像。

人体采集模块11与人体图像获取模块10连接，用于通过RGBD人体图像采集人体特征点。人体采集模块11通过采集人体部位进行人体特征点的采集，其中，人体部位包括：躯干、四肢以及头部中的一个或者多个。

人体网格建立模块12与人体采集模块11连接，用于根据人体特征点建立人体3D网格。

人体信息获取模块13与人体网格建立模块12连接，用于根据人体3D网格度量人体特征点的特征值并计算人体特征点的3D空间分布特征信息。其中，特征值包括身高、臂长、肩宽、手掌大小以及头部大小中的一个或者多个。

请参阅图5，图5是本发明实施例提供的另一种获取人体3D特征信息的设备的结构示意图。

本实施例的获取人体3D特征信息的设备包括人体图像获取模块20、人体采集模块21、人体网格建立模块22、人体信息获取模块23和动态信息获取模块24。

具体而言，人体图像获取模块20用于获取待测人的RGBD人体图像。其中，RGBD人体图像为RGBD人体图像序列。

人体采集模块21与人体图像获取模块20连接，用于通过RGBD人体图像采集人体特征点。

人体网格建立模块22与人体采集模块21连接，用于根据人体特征点建立人体3D网格。

人体信息获取模块23与人体网格建立模块22连接，用于根据人体3D网格度量人体特征点的特征值并计算人体特征点的3D空间分布特征信息。

动态信息获取模块24与人体网格建立模块22连接，根据RGBD人体图像序列和人体3D网格跟踪人体部位的运动轨迹，以获取人体动态特征信息。

请参阅图6，图6是本发明实施例提供的又一种获取人体3D特征信息的设备中新增的模块的结构示意图。

本实施例的获取人体3D特征信息的设备的结构示意图与上述实施例的区别在于，该设备还包括人脸图像获取模块35、人脸采集模块36、人脸网格建立模块37和人脸信息获取模块38。

人脸图像获取模块35用于获取待测人的RGBD人脸图像。

人脸采集模块36与人脸图像获取模块35连接，用于通过RGBD人脸图像采集人脸特征点。

人脸网格建立模块37与人脸采集模块36连接，用于根据人脸特征点建立人脸彩色3D网格。

人脸信息获取模块38与人脸网格建立模块37连接，用于根据人脸彩色3D网格度量人脸特征点的特征值并计算人脸特征点的3D空间分布特征信息。

请参阅图7，图7是本发明获取人体3D特征信息的设备的实体装置的结构示意图。本实施方式的装置可以执行上述方法中的步骤，相关内容请参见上述方法中的详细说明，在此不再赘述。

该智能电子设备包括处理器41、与处理器41耦合的存储器42。

存储器42用于存储操作系统、设置的程序和RGBD人体图像，RGBD人体图像序列，RGBD人脸图像，人体特征点的3D空间分布特征信息、人脸特征点的3D空间分布特征信息、人体动态特征信息……等信息中的一种或者多种。

处理器41用于获取待测人的RGBD人体图像；通过RGBD人体图像采集人体特征点；根据人体特征点建立人体3D网格；根据人体3D网格度量人体特征点的特征值并计算人体特征点的3D空间分布特征信息。

处理器41还用于根据RGBD人体图像序列和人体3D网格跟踪人体部位的运动轨迹，以获取人体动态特征信息。

处理器41还用于获取待测人的RGBD人脸图像；通过RGBD人脸图像采集人脸特征点；根据人脸特征点建立人脸彩色3D网格；根据人脸彩色3D网格度量人脸特征点的特征值并计算人脸特征点的3D空间分布特征信息。

在本发明所提供的几个实施方式中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本发明能获取更加全面的人体3D特征信息，该人体3D特征信息进行的人体识别不会受不同的季节、人的服饰和环境光照变化等的影响，提高了人体识别的精确度。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种人体3D特征信息的获取方法，其特征在于，包括以下步骤：

获取待测人的RGBD人体图像；

通过所述RGBD人体图像采集人体特征点；

根据所述人体特征点建立人体3D网格；

根据所述人体3D网格度量所述人体特征点的特征值并计算所述人体特征点的3D空间分布特征信息。

2.根据权利要求1所述的方法，其特征在于，所述通过所述RGBD人体图像采集人体特征点的步骤中，通过采集人体部位进行所述人体特征点的采集，其中，所述人体部位包括：躯干、四肢以及头部中的一个或者多个。

3.根据权利要求2所述的方法，其特征在于，所述RGBD人体图像为RGBD人体图像序列；

根据所述特征点建立人体3D网格的步骤之后，还包括：根据所述RGBD人体图像序列和所述人体3D网格跟踪所述人体部位的运动轨迹，以获取人体动态特征信息。

4.根据权利要求3所述的方法，其特征在于，所述特征值包括身高、臂长、肩宽、手掌大小以及头部大小中的一个或者多个。

5.根据权利要求1所述的方法，其特征在于，所述获取待测人的RGBD人体图像的步骤还包括：获取所述待测人的RGBD人脸图像；

所述通过所述RGBD人体图像采集人体特征点的步骤还包括：通过所述RGBD人脸图像采集人脸特征点；

根据所述人体特征点建立人体3D网格的步骤还包括：根据所述人脸特征点建立人脸彩色3D网格；

根据所述人体3D网格度量所述人体特征点的特征值并计算所述人体特征点的3D空间分布特征信息的步骤还包括：根据所述人脸彩色3D网格度量所述人脸特征点的特征值并计算所述人脸特征点的3D空间分布特征信息。

6.一种获取人脸3D特征信息的设备，其特征在于，包括：

人体图像获取模块，用于获取待测人的RGBD人体图像；

人体采集模块，与所述人体图像获取模块连接，用于通过所述RGBD人体图像采集人体特征点；

人体网格建立模块，与所述人体采集模块连接，用于根据所述人体特征点建立人体3D网格；

人体信息获取模块，与所述人体网格建立模块连接，用于根据所述人体3D网格度量所述人体特征点的特征值并计算所述人体特征点的3D空间分布特征信息。

7.根据权利要求6所述的设备，其特征在于，所述人体采集模块通过采集人体部位进行所述人体特征点的采集，其中，所述人体部位包括：躯干、四肢以及头部中的一个或者多个。

8.根据权利要求7所述的设备，其特征在于，所述人体图像获取模块获取的RGBD人体图像为RGBD人体图像序列；

所述设备还包括动态信息获取模块，与所述人体网格建立模块连接，根据所述RGBD人体图像序列和所述人体3D网格跟踪所述人体部位的运动轨迹，以获取人体动态特征信息。

9.根据权利要求8所述的设备，其特征在于，所述特征值包括身高、臂长、肩宽、手掌大小以及头部大小中的一个或者多个。

10.根据权利要求6所述的设备，其特征在于，所述设备还包括：

人脸图像获取模块，用于获取所述待测人的RGBD人脸图像；

人脸采集模块，与所述人脸图像获取模块连接，用于通过所述RGBD人脸图像采集人脸特征点；

人脸网格建立模块，与所述人脸采集模块连接，用于根据所述人脸特征点建立人脸彩色3D网格；

人脸信息获取模块，与所述人脸网格建立模块连接，用于根据所述人脸彩色3D网格度量所述人脸特征点的特征值并计算所述人脸特征点的3D空间分布特征信息。