CN104732222B - 一种基于深度摄像头的多特征人体识别方法 - Google Patents
一种基于深度摄像头的多特征人体识别方法 Download PDFInfo
- Publication number
- CN104732222B CN104732222B CN201510160961.3A CN201510160961A CN104732222B CN 104732222 B CN104732222 B CN 104732222B CN 201510160961 A CN201510160961 A CN 201510160961A CN 104732222 B CN104732222 B CN 104732222B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msup
- msub
- human body
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度摄像头的多特征人体识别方法，该方法基于深度摄像头，先通过HOG特征将人的点云与周围环境的点云分离出来，然后来提取多种特征来进行人体识别，并通过最大边界的方法来学习自主学习出人体识别中所用到的参数。本发明提出的基于深度摄像头的多特征人体识别方法，其基于点云高度的分条特征提取方法是其中的关键和创新点。在此基础上，通过参数学习的方法，能够较好的实现人体识别。
Description
技术领域
本发明涉及到基于深度摄像头的多特征人体识别方法。该方法适用于室内动态环境下的机器人识别环境中的人。特别适用于在大型会展中心，以及具有拥挤人群的环境中的识别人的任务。在健壮的视觉与图像特征的基础上，特别实现了识别的“人机友好性”，该特性是指机器人对人的识别，不需要人给予机器人额外的帮助。例如，人出现在离机器人较远的地方，人不需要等待机器人移动到人的面前，更不需要主动走到机器人面前来进行识别，而是只要人出现在机器人的视野中，就能立即被识别。本发明与其相关的基础技术，是一种通用方法，能用于所有室内宽敞环境以及人群拥挤环境下的人体识别。包括但不限于家用服务机器人，助老助残机器人，迎宾导购机器人，紧急状况下的疏散，引导机器人。
背景技术
机器人的人体识别是室内机器人的核心支撑技术，所有室内服务机器人，包括家庭服务机器人，助老机器人，商城和会展中心等地的迎宾导购导引机器人，等都需要人体识别的支持。特别的，我们考虑大型会展中心以及人群拥挤环境这样一个典型场景，在其中进行人体识别的机器人需要具备如下基本功能：
首先，人站在机器人面前，机器人要能根据摄像头得到数据，识别出这个人机器人是否认识，如果认识的话，那么这个人是谁？
其次，机器人对于场景中一些常见的物体实例，根据摄像头得到的数据，计算出相应的视觉特征，能够准确的识别出该物体实例的名字。
深度摄像头作为室内机器人的通用传感器部件，可以返回带有深度信息的彩色图像。合理利用这些信息，可以高效，准确的得到人的点云信息。因此被广泛的使用在机器人视觉中。
本发明基于深度摄像头，在人脸识别和物体识别的技术基础上，提出基于深度摄像头的多特征人体识别方法。使用该方法，不需要人和机器人在识别过程中给予额外辅助，就能准确的识别出人，因此具有普适性。并且只要人出现在机器人的视野中，就能立即完成识别，具有高效的特点。
现有的室内机器人的人体识别通常是基于人脸识别，例如让人走到机器人面前，机器人根据人脸识别算法判断出这个人是谁。如果场景中有很多人，让机器人从这些人中找出张三，则机器人需要一个一个都走到场景中的每一个人面前，进行识别，直到确定这个人就是张三才结束。最坏情况下，机器人需要把所有人都识别一遍，才能找出谁是张三。这就表现出了一种人机不友好。
还有一种人体识别方法，是将人类比于物体，直接运用物体识别的方法，来识别人。由于，人不是刚体，有很多关节，能做出各种各样的姿势，这样得到的图像千差万别，再加上光线，角度等一系列的影响，往往识别度很难达到人们的需求。
要实现室内机器人高效、准确的人体识别，在技术上主要有如下几个问题。
1.人体检测，目标是在环境中准确的将人的点云与周围环境的点云分离出来。
2.特征提取，目标是选择合适的特征，使得人体识别的准确率较高。由于光线，角度等一系列的变化，需要找出对光线变化以及角度变化不敏感的特征。
3.特征学习，得到了上述特征数据，还需要对上述特征进行学习，得到一个合适的判别式，使得同一个人特征值差别要比不同人的特征值差别要小。
发明内容
针对需要解决的问题，本发明提出一种基于深度摄像头的多特征人体识别方法，主要分为如下几个步骤：
步骤1、基于深度摄像头的人体检测
在基于深度摄像头的人体检测过程中，通过深度摄像头得到周围环境的点云数据，首先对得到的点云数据，根据距离，法向量信息，将点云分割成多块，之后，选取其中高度在1米到2米之间，宽度在1米以内的点云块，初步认为这些点云块很有可能是人，然后，提取这些点云块的HOD特征和提取训练好的人体特征进行比较，选取其中被确定为人体的点云块；
步骤2、多特征提取以及特征学习
(2.1)、特征提取
将人体检测得到每个人的点云进行分条处理，先按照点云的高度进行分割，将点云从0到2.0分割成10个区间，这样每个区间就包含高度跨度0.2米的点，然后对这些区间分别提取HSV和LBP特征；HSVi,LBPi,其中i∈{1,2,…,N}，N为区间的个数；
(2.2)、特征匹配
将目标特征与机器人人体库里存储的人特征计算马氏距离，如果小于指定阈值，则认为目标就是人体库中存储的这个人，否则，目标即为陌生人；
对于两个人A和B，计算他们的匹配程度：
其中Distance()计算两个特征向量的欧式距离，αi,βi为参数，0<αi,βi<1，通过步骤2.3学习获得，HSVi(A)和LBPi(A)分别代表目标A的第i个区间的HSV特征和LBP特征；
(2.3)、参数学习
采集大量的特征数据，并记录好每个数据对应哪个人，接下来，使用最大边界学习方法，使得同一个人的特征数据的马氏距离小于不同人特征数据的马氏距离；
其中s代表提取的特征来自同一个人，d代表提取的特征来自不同的人；minLoss(α,β)，学习出α,β这两组参数。
有益效果：
本发明提出的基于深度摄像头的多特征人体识别方法，其基于点云高度的分条特征提取方法是其中的关键和创新点。在此基础上，通过矩阵学习的方法，能够较好的实现人体识别。
本发明提出的基于深度摄像头的多特征人体识别方法，其主要优点在于人机友好。不仅适用于狭小室内环境，也适用于有许多人参观的大型展会以及购物商场等。而且，具有准确率高，速度快，抗光线干扰等优点。
附图说明
图1：人体检测基础上的核心部分，主要流程图；
图2：典型装配方式；
图3：将人体检测得到每个人的点云进行分条处理示意图。
具体实施方式
本发明提出的基于深度摄像头的多特征人体识别方法，其实施在硬件上只需要一台具有反馈功能的的通用机器人底盘，一个可以返回深度图像的深度摄像头，以及一个计算部件(通常为笔记本或工控机，满足cpu intel i3及以上，内存4G左右)即可，以及经过以上所述的方法实现的软件系统。在实际运行时，仅需要提前训练出投影矩阵和提前标定的人体库。
所述方法包括如下步骤：
步骤1、基于深度摄像头的人体检测。
步骤2、多特征提取以及特征学习。
其中人体检测是基础，机器人在运行过程中，会不断进行人体检测过程，分离出场景中的人，并不断的对分离出来的人进行特征提取，并根据特征学习所得到的判别式，跟知识库中的人来进行匹配，最后判断出这个人是谁。
在人体检测基础上的核心部分，主要流程图如附图1所示。
在本方法的应用实例中，仅需要一个安放在机器人底盘上的深度摄像头，以及一个连接机器人底盘与深度摄像头的计算部件(目前主流笔记本即可,intel i3及以上cpu，4G内存)。对其他室内环境没有特殊要求。典型装配方式如附图2。
更详细的，本发明的一种基于深度摄像头的多特征人体识别方法包括下面步骤：
步骤1、基于深度摄像头的人体检测
在基于深度摄像头的人体检测过程中，主要通过深度摄像头得到周围环境的点云信息。
首先对得到的点云数据，根据距离，法向量等信息，将点云分割成很多块。之后，选取其中高度在1米到2米之间，宽度在1米以内的点云块，我们初步认为这些点云块很有可能是人。然后，提取这些点云块的HOD特征这些是视觉中开源的实现，和提取训练好的人体特征进行比较，选取其中被确定为人体的点云块。
步骤2、多特征提取以及特征学习
(2.1)、特征提取
如附图3所示，将人体检测得到每个人的点云进行分条处理。先按照点云的高度进行分割。例如将点云从0到2.0分割成10个区间，这样每个区间就包含高度跨度0.2米的点。然后对这些区间分别提取HSV和LBP特征。
HSVi,LBPi,其中i∈{1,2,…,N}，N为区间的个数。
(2.2)、特征匹配：
将目标特征与机器人人体库里存储的人特征计算马氏距离，如果小于指定阈值，则认为目标就是人体库中存储的这个人，否则，目标即为陌生人。
对于两个人A和B，我们计算他们的匹配程度：
其中Distance()计算两个特征向量的欧式距离，αi,βi(0<αi,βi<1)为参数。和LBPi(A)分别代表目标A的第i个区间的HSV特征和LBP特征。
(2.3)、参数学习
采集大量的特征数据，并记录好每个数据对应哪个人。接下来，使用最大边界学习方法，使得同一个人的特征数据的马氏距离小于不同人特征数据的马氏距离。
其中s代表提取的特征来自同一个人，d代表提取的特征来自不同的人。
minLoss(α,β)，就可以学习出α,β这两组参数。
Claims (1)
1.一种基于深度摄像头的多特征人体识别方法，其特征在于采用如下步骤：
步骤1、基于深度摄像头的人体检测
在基于深度摄像头的人体检测过程中，通过深度摄像头得到周围环境的点云数据，首先对得到的点云数据，根据距离，法向量信息，将点云分割成多块，之后，选取其中高度在1米到2米之间，宽度在1米以内的点云块，初步认为这些点云块很有可能是人，然后，提取这些点云块的HOD特征和提取训练好的人体特征进行比较，选取其中被确定为人体的点云块；
步骤2、多特征提取以及特征学习
(2.1)、特征提取
将人体检测得到每个人的点云进行分条处理，先按照点云的高度进行分割，将点云从0到2.0分割成10个区间，这样每个区间就包含高度跨度0.2米的点，然后对这些区间分别提取HSV和LBP特征；HSVi,LBPi,其中i∈{1,2,…,N}，N为区间的个数；
(2.2)、特征匹配
将目标特征与机器人人体库里存储的人特征计算马氏距离，如果小于指定阈值，则认为目标就是人体库中存储的这个人，否则，目标即为陌生人；
对于两个目标A和B，计算他们的匹配程度：
<mrow>
<mi>D</mi>
<mi>i</mi>
<mi>f</mi>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mn>1</mn>
<mi>N</mi>
</munderover>
<msub>
<mi>&beta;</mi>
<mi>i</mi>
</msub>
<mo>*</mo>
<mi>D</mi>
<mi>i</mi>
<mi>s</mi>
<mi> </mi>
<mi>tan</mi>
<mi> </mi>
<mi>c</mi>
<mi>e</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>HSV</mi>
<mi>i</mi>
</msub>
<mo>(</mo>
<mi>A</mi>
<mo>)</mo>
<mo>,</mo>
<msub>
<mi>HSV</mi>
<mi>i</mi>
</msub>
<mo>(</mo>
<mi>B</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>+</mo>
<munderover>
<mo>&Sigma;</mo>
<mn>1</mn>
<mi>N</mi>
</munderover>
<msub>
<mi>&alpha;</mi>
<mi>i</mi>
</msub>
<mo>*</mo>
<mi>D</mi>
<mi>i</mi>
<mi>s</mi>
<mi> </mi>
<mi>tan</mi>
<mi> </mi>
<mi>c</mi>
<mi>e</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>LBP</mi>
<mi>i</mi>
</msub>
<mo>(</mo>
<mi>A</mi>
<mo>)</mo>
<mo>,</mo>
<msub>
<mi>LBP</mi>
<mi>i</mi>
</msub>
<mo>(</mo>
<mi>B</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
其中Distance()计算两个特征向量的欧式距离，αi,βi为参数，0<αi,βi<1，通过步骤2.3学习获得，HSVi(A)和LBPi(A)分别代表目标A的第i个区间的HSV特征和LBP特征；
(2.3)、参数学习
采集大量的特征数据，并记录好每个特征数据对应哪个人，接下来，使用最大边界学习方法，使得同一个人的特征数据的马氏距离小于不同人特征数据的马氏距离；
<mrow>
<mi>L</mi>
<mi>o</mi>
<mi>s</mi>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mi>&alpha;</mi>
<mo>,</mo>
<mi>&beta;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mo>|</mo>
<mi>s</mi>
<mo>|</mo>
</mrow>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>(</mo>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<msup>
<mi>j</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
<mo>&Element;</mo>
<mi>s</mi>
</mrow>
</munder>
<mi>D</mi>
<mi>i</mi>
<mi>f</mi>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<msup>
<mi>j</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mo>|</mo>
<mi>d</mi>
<mo>|</mo>
</mrow>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>(</mo>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<msup>
<mi>j</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
<mo>&Element;</mo>
<mi>d</mi>
</mrow>
</munder>
<mi>D</mi>
<mi>i</mi>
<mi>f</mi>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<msup>
<mi>j</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
</mrow>
</mrow>
其中(i’,j’)∈s代表i'和j'是同一个人，(i,’j‘)∈d代表i'和j'是不同的人，s代表提取的特征来自同一个人，|s|表示同一个人的特征数量；|d|表示不同人的特征数量；d代表提取的特征来自不同的人；minLoss(α,β)，学习出α,β这两组参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510160961.3A CN104732222B (zh) | 2015-04-07 | 2015-04-07 | 一种基于深度摄像头的多特征人体识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510160961.3A CN104732222B (zh) | 2015-04-07 | 2015-04-07 | 一种基于深度摄像头的多特征人体识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104732222A CN104732222A (zh) | 2015-06-24 |
| CN104732222B true CN104732222B (zh) | 2018-03-06 |
Family
ID=53456096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510160961.3A Active CN104732222B (zh) | 2015-04-07 | 2015-04-07 | 一种基于深度摄像头的多特征人体识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104732222B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105425795B (zh) * | 2015-11-26 | 2020-04-14 | 纳恩博（北京）科技有限公司 | 规划最优跟随路径的方法及装置 |
| CN107491712A (zh) * | 2016-06-09 | 2017-12-19 | 北京雷动云合智能技术有限公司 | 一种基于rgb‑d图像的人体识别方法 |
| CN111179490B (zh) * | 2019-12-13 | 2022-01-11 | 新石器慧通（北京）科技有限公司 | 一种用于用户核验的可移动载体、控制系统及无人车辆 |
| CN112183481B (zh) * | 2020-10-29 | 2022-05-20 | 中科(厦门)数据智能研究院 | 一种基于结构光摄像头的3d人脸识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7003136B1 (en) * | 2002-04-26 | 2006-02-21 | Hewlett-Packard Development Company, L.P. | Plan-view projections of depth image data for object tracking |
| CN103995747A (zh) * | 2014-05-12 | 2014-08-20 | 上海大学 | 基于移动机器人平台的分布式行人检测系统和方法 |
| CN104408445A (zh) * | 2014-12-19 | 2015-03-11 | 吉林纪元时空动漫游戏科技股份有限公司 | 实时人体自动检测方法 |
-
2015
- 2015-04-07 CN CN201510160961.3A patent/CN104732222B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7003136B1 (en) * | 2002-04-26 | 2006-02-21 | Hewlett-Packard Development Company, L.P. | Plan-view projections of depth image data for object tracking |
| CN103995747A (zh) * | 2014-05-12 | 2014-08-20 | 上海大学 | 基于移动机器人平台的分布式行人检测系统和方法 |
| CN104408445A (zh) * | 2014-12-19 | 2015-03-11 | 吉林纪元时空动漫游戏科技股份有限公司 | 实时人体自动检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| People Detection in 3d Point Clouds using Local Surface Normals;Frederik Hegger et al;《RoboCup 2012: Robot Soccer World Cup XVI》;20131231;第154-165页 * |
| People Detection in RGB-D Data;Luciano Spinello et al;《2011 IEEE/RSJ International Conference on Intelligent Robots and Systems》;20111231;第3838-3843页 * |
| 一种适用于室内服务机器人的实时物体识别系统;柯翔等;《计算机系统应用》;20131231;第22卷(第10期);第84-89页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104732222A (zh) | 2015-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Walch et al. | Image-based localization using lstms for structured feature correlation | |
| Cheng et al. | Improving monocular visual SLAM in dynamic environments: an optical-flow-based approach | |
| Liu et al. | Detecting and tracking people in real time with RGB-D camera | |
| Lenz et al. | Sparse scene flow segmentation for moving object detection in urban environments | |
| Liu et al. | Detecting and counting people in surveillance applications | |
| CN107424161B (zh) | 一种由粗至精的室内场景图像布局估计方法 | |
| JP6397379B2 (ja) | 変化領域検出装置、方法、及びプログラム | |
| CN104732222B (zh) | 一种基于深度摄像头的多特征人体识别方法 | |
| JP6221390B2 (ja) | 画像処理装置、プログラム、および画像処理方法 | |
| CN113361542B (zh) | 一种基于深度学习的局部特征提取方法 | |
| CN102789578A (zh) | 基于多源目标特征支持的红外遥感图像变化检测方法 | |
| Chamveha et al. | Head direction estimation from low resolution images with scene adaptation | |
| Bae et al. | COP: A new corner detector | |
| KR101460313B1 (ko) | 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법 | |
| CN111985367A (zh) | 一种基于多尺度特征融合的行人重识别特征提取方法 | |
| Ardiyanto et al. | Partial least squares-based human upper body orientation estimation with combined detection and tracking | |
| Chen et al. | Crowd escape behavior detection and localization based on divergent centers | |
| Zhang et al. | Cognitive template-clustering improved linemod for efficient multi-object pose estimation | |
| KR20200012379A (ko) | 이미지 기반 실내위치 검출장치 및 검출방법 | |
| Nasri et al. | A novel approach for dynamic hand gesture recognition using contour-based similarity images | |
| CN104182747A (zh) | 基于多个立体相机的对象检测跟踪方法及装置 | |
| Fung et al. | Using deep learning to find victims in unknown cluttered urban search and rescue environments | |
| Rahmaniar et al. | Real-time bi-directional people counting using an RGB-D camera | |
| Zhang et al. | Physical blob detector and multi-channel color shape descriptor for human detection | |
| KR20120091970A (ko) | 객체 이미지 정합 시스템, 정합 장치 및 정합 방법과 상기 방법을 기록한 기록 매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |