CN104732222A - 一种基于深度摄像头的多特征人体识别方法 - Google Patents

Abstract

本发明公开了一种基于深度摄像头的多特征人体识别方法，该方法基于深度摄像头，先通过HOG特征将人的点云与周围环境的点云分离出来，然后来提取多种特征来进行人体识别，并通过最大边界的方法来学习自主学习出人体识别中所用到的参数。本发明提出的基于深度摄像头的多特征人体识别方法，其基于点云高度的分条特征提取方法是其中的关键和创新点。在此基础上，通过参数学习的方法，能够较好的实现人体识别。

Description

一种基于深度摄像头的多特征人体识别方法

技术领域

本发明涉及到基于深度摄像头的多特征人体识别方法。该方法适用于室内动态环境下的机器人识别环境中的人。特别适用于在大型会展中心，以及具有拥挤人群的环境中的识别人的任务。在健壮的视觉与图像特征的基础上，特别实现了识别的“人机友好性”，该特性是指机器人对人的识别，不需要人给予机器人额外的帮助。例如，人出现在离机器人较远的地方，人不需要等待机器人移动到人的面前，更不需要主动走到机器人面前来进行识别，而是只要人出现在机器人的视野中，就能立即被识别。本发明与其相关的基础技术，是一种通用方法，能用于所有室内宽敞环境以及人群拥挤环境下的人体识别。包括但不限于家用服务机器人，助老助残机器人，迎宾导购机器人，紧急状况下的疏散，引导机器人。

背景技术

机器人的人体识别是室内机器人的核心支撑技术，所有室内服务机器人，包括家庭服务机器人，助老机器人，商城和会展中心等地的迎宾导购导引机器人，等都需要人体识别的支持。特别的，我们考虑大型会展中心以及人群拥挤环境这样一个典型场景，在其中进行人体识别的机器人需要具备如下基本功能：

首先，人站在机器人面前，机器人要能根据摄像头得到数据，识别出这个人机器人是否认识，如果认识的话，那么这个人是谁？

其次，机器人对于场景中一些常见的物体实例，根据摄像头得到的数据，计算出相应的视觉特征，能够准确的识别出该物体实例的名字。

深度摄像头作为室内机器人的通用传感器部件，可以返回带有深度信息的彩色图像。合理利用这些信息，可以高效，准确的得到人的点云信息。因此被广泛的使用在机器人视觉中。

本发明基于深度摄像头，在人脸识别和物体识别的技术基础上，提出基于深度摄像头的多特征人体识别方法。使用该方法，不需要人和机器人在识别过程中给予额外辅助，就能准确的识别出人，因此具有普适性。并且只要人出现在机器人的视野中，就能立即完成识别，具有高效的特点。

现有的室内机器人的人体识别通常是基于人脸识别，例如让人走到机器人面前，机器人根据人脸识别算法判断出这个人是谁。如果场景中有很多人，让机器人从这些人中找出张三，则机器人需要一个一个都走到场景中的每一个人面前，进行识别，直到确定这个人就是张三才结束。最坏情况下，机器人需要把所有人都识别一遍，才能找出谁是张三。这就表现出了一种人机不友好。

还有一种人体识别方法，是将人类比于物体，直接运用物体识别的方法，来识别人。由于，人不是刚体，有很多关节，能做出各种各样的姿势，这样得到的图像千差万别，再加上光线，角度等一系列的影响，往往识别度很难达到人们的需求。

要实现室内机器人高效、准确的人体识别，在技术上主要有如下几个问题。

1.人体检测，目标是在环境中准确的将人的点云与周围环境的点云分离出来。

2.特征提取，目标是选择合适的特征，使得人体识别的准确率较高。由于光线，角度等一系列的变化，需要找出对光线变化以及角度变化不敏感的特征。

3.特征学习，得到了上述特征数据，还需要对上述特征进行学习，得到一个合适的判别式，使得同一个人特征值差别要比不同人的特征值差别要小。

发明内容

针对需要解决的问题，本发明提出一种基于深度摄像头的多特征人体识别方法，主要分为如下几个步骤：

步骤1、基于深度摄像头的人体检测

在基于深度摄像头的人体检测过程中，通过深度摄像头得到周围环境的点云数据，首先对得到的点云数据，根据距离，法向量信息，将点云分割成多块，之后，选取其中高度在1米到2米之间，宽度在1米以内的点云块，初步认为这些点云块很有可能是人，然后，提取这些点云块的HOD特征和提取训练好的人体特征进行比较，选取其中被确定为人体的点云块；

步骤2、多特征提取以及特征学习

(2.1)、特征提取

将人体检测得到每个人的点云进行分条处理，先按照点云的高度进行分割，将点云从0到2.0分割成10个区间，这样每个区间就包含高度跨度0.2米的点，然后对这些区间分别提取HSV和LBP特征；HSV_i,LBP_i,其中i∈{1,2,…,N}，N为区间的个数；

(2.2)、特征匹配

将目标特征与机器人人体库里存储的人特征计算马氏距离，如果小于指定阈值，则认为目标就是人体库中存储的这个人，否则，目标即为陌生人；

对于两个人A和B，计算他们的匹配程度：

$\mathrm{Diff}(A,B)=\underset{1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\β}}_i*\mathrm{Dis}\tan \mathrm{ce}({\mathrm{HSV}}_i\left(A\right),{\mathrm{HSV}}_i\left(\mathrm{\β}\right))+\underset{1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_i\mathrm{Dis}\tan \mathrm{ce}({\mathrm{LBP}}_i\left(A\right),{\mathrm{LBP}}_i\left(B\right))$

其中Distance()计算两个特征向量的欧式距离，α_i,β_i为参数，0<α_i,β_i<1，通过步骤2.3学习获得，HSV_i(A)和LBP_i(A)分别代表目标A的第i个区间的HSV特征和LBP特征；

(2.3)、参数学习

采集大量的特征数据，并记录好每个数据对应哪个人，接下来，使用最大边界学习方法，使得同一个人的特征数据的马氏距离小于不同人特征数据的马氏距离；

$\mathrm{Loss}(\mathrm{\&alpha;},\mathrm{\&beta;})=\frac{1}{\left|s\right|}\underset{(i,j)\&Element;s}{\mathrm{\&Sigma;}}\mathrm{Diff}(i,j)-\frac{1}{\left|d\right|}\underset{(i,j)\&Element;d}{\mathrm{\&Sigma;}}\mathrm{Diff}(i,j)$

其中s代表提取的特征来自同一个人，d代表提取的特征来自不同的人；minLoss(α,β)，学习出α,β这两组参数。

有益效果：

本发明提出的基于深度摄像头的多特征人体识别方法，其基于点云高度的分条特征提取方法是其中的关键和创新点。在此基础上，通过矩阵学习的方法，能够较好的实现人体识别。

本发明提出的基于深度摄像头的多特征人体识别方法，其主要优点在于人机友好。不仅适用于狭小室内环境，也适用于有许多人参观的大型展会以及购物商场等。而且，具有准确率高，速度快，抗光线干扰等优点。

附图说明

图1：人体检测基础上的核心部分，主要流程图；

图2：典型装配方式；

图3：将人体检测得到每个人的点云进行分条处理示意图。

具体实施方式

本发明提出的基于深度摄像头的多特征人体识别方法，其实施在硬件上只需要一台具有反馈功能的的通用机器人底盘，一个可以返回深度图像的深度摄像头，以及一个计算部件(通常为笔记本或工控机，满足cpu intel i3及以上，内存4G左右)即可，以及经过以上所述的方法实现的软件系统。在实际运行时，仅需要提前训练出投影矩阵和提前标定的人体库。

所述方法包括如下步骤：

步骤1、基于深度摄像头的人体检测。

步骤2、多特征提取以及特征学习。

其中人体检测是基础，机器人在运行过程中，会不断进行人体检测过程，分离出场景中的人，并不断的对分离出来的人进行特征提取，并根据特征学习所得到的判别式，跟知识库中的人来进行匹配，最后判断出这个人是谁。

在人体检测基础上的核心部分，主要流程图如附图1所示。

在本方法的应用实例中，仅需要一个安放在机器人底盘上的深度摄像头，以及一个连接机器人底盘与深度摄像头的计算部件(目前主流笔记本即可,intel i3及以上cpu，4G内存)。对其他室内环境没有特殊要求。典型装配方式如附图2。

更详细的，本发明的一种基于深度摄像头的多特征人体识别方法包括下面步骤：

步骤1、基于深度摄像头的人体检测

在基于深度摄像头的人体检测过程中，主要通过深度摄像头得到周围环境的点云信息。

首先对得到的点云数据，根据距离，法向量等信息，将点云分割成很多块。之后，选取其中高度在1米到2米之间，宽度在1米以内的点云块，我们初步认为这些点云块很有可能是人。然后，提取这些点云块的HOD特征这些是视觉中开源的实现，和提取训练好的人体特征进行比较，选取其中被确定为人体的点云块。

步骤2、多特征提取以及特征学习

(2.1)、特征提取

如附图3所示，将人体检测得到每个人的点云进行分条处理。先按照点云的高度进行分割。例如将点云从0到2.0分割成10个区间，这样每个区间就包含高度跨度0.2米的点。然后对这些区间分别提取HSV和LBP特征。

HSV_i,LBP_i,其中i∈{1,2,…,N}，N为区间的个数。

(2.2)、特征匹配：

将目标特征与机器人人体库里存储的人特征计算马氏距离，如果小于指定阈值，则认为目标就是人体库中存储的这个人，否则，目标即为陌生人。

对于两个人A和B，我们计算他们的匹配程度：

$\mathrm{Diff}(A,B)=\underset{1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&beta;}}_i*\mathrm{Dis}\tan \mathrm{ce}({\mathrm{HSV}}_i\left(A\right),{\mathrm{HSV}}_i\left(\mathrm{\&beta;}\right))+\underset{1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i\mathrm{Dis}\tan \mathrm{ce}({\mathrm{LBP}}_i\left(A\right),{\mathrm{LBP}}_i\left(B\right))$

其中Distance()计算两个特征向量的欧式距离，α_i,β_i(0<α_i,β_i<1)为参数。和LBP_i(A)分别代表目标A的第i个区间的HSV特征和LBP特征。

(2.3)、参数学习

采集大量的特征数据，并记录好每个数据对应哪个人。接下来，使用最大边界学习方法，使得同一个人的特征数据的马氏距离小于不同人特征数据的马氏距离。

$\mathrm{Loss}(\mathrm{\&alpha;},\mathrm{\&beta;})=\frac{1}{\left|s\right|}\underset{(i,j)\&Element;s}{\mathrm{\&Sigma;}}\mathrm{Diff}(i,j)-\frac{1}{\left|d\right|}\underset{(i,j)\&Element;d}{\mathrm{\&Sigma;}}\mathrm{Diff}(i,j)$

其中s代表提取的特征来自同一个人，d代表提取的特征来自不同的人。

minLoss(α,β)，就可以学习出α,β这两组参数。

Claims (1)

1.一种基于深度摄像头的多特征人体识别方法，其特征在于采用如下步骤：

步骤1、基于深度摄像头的人体检测

在基于深度摄像头的人体检测过程中，通过深度摄像头得到周围环境的点云数据，首先对得到的点云数据，根据距离，法向量信息，将点云分割成多块，之后，选取其中高度在1米到2米之间，宽度在1米以内的点云块，初步认为这些点云块很有可能是人，然后，提取这些点云块的HOD特征和提取训练好的人体特征进行比较，选取其中被确定为人体的点云块；

步骤2、多特征提取以及特征学习

(2.1)、特征提取

将人体检测得到每个人的点云进行分条处理，先按照点云的高度进行分割，将点云从0到2.0分割成10个区间，这样每个区间就包含高度跨度0.2米的点，然后对这些区间分别提取HSV和LBP特征；HSV_i,LBP_i,其中i∈{1,2,…,N}，N为区间的个数；

(2.2)、特征匹配

将目标特征与机器人人体库里存储的人特征计算马氏距离，如果小于指定阈值，则认为目标就是人体库中存储的这个人，否则，目标即为陌生人；

对于两个人A和B，计算他们的匹配程度：

$\mathrm{Diff}(A,B)=\underset{1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&beta;}}_i*\mathrm{Dis}\tan \mathrm{ce}({\mathrm{HSV}}_i\left(A\right),{\mathrm{HSV}}_i\left(B\right))+\underset{1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i*\mathrm{Dis}\tan \mathrm{ce}({\mathrm{LBP}}_i\left(A\right),{\mathrm{LBP}}_i\left(B\right))$

其中Dis tan ce()计算两个特征向量的欧式距离，α_i,β_i为参数，0<α_i,β_i<1，通过步骤2.3学习获得，HSV_i(A)和LBP_i(A)分别代表目标A的第i个区间的HSV特征和LBP特征；

(2.3)、参数学习

采集大量的特征数据，并记录好每个数据对应哪个人，接下来，使用最大边界学习方法，使得同一个人的特征数据的马氏距离小于不同人特征数据的马氏距离；

$\mathrm{Loss}(\mathrm{\&alpha;},\mathrm{\&beta;})=\frac{1}{\left|s\right|}\underset{(i,j)\&Element;s}{\mathrm{\&Sigma;}}\mathrm{Diff}(i,j)-\frac{1}{\left|d\right|}\underset{(i,j)\&Element;d}{\mathrm{\&Sigma;}}\mathrm{Diff}(i,j)$

其中s代表提取的特征来自同一个人，d代表提取的特征来自不同的人；minLoss(α,β)，学习出α,β这两组参数。