CN106778614B - 一种人体识别方法和装置 - Google Patents

Abstract

本申请提供一种人体识别方法和装置，方法包括：获取图像信息；对所述图像信息进行深度处理，获得深度图和彩色图；对所述彩色图进行DeepCNN的人体检测，确定所述彩色图中的人体边界框；判断所述人体边界框对应在深度图中的人体边界框区域内是否存在唯一一个人体；如果所述人体边界框区域内存在有两个及两个以上个人体时，将所述两个及两个以上个的人体进行分离；依据在深度图中的人体边界框区域内的人体个数，确定所述图像信息中人体的个数。本申请基于深度图实现对彩色图中识别到的人体进行二次识别，避免了重叠人体被误判为一个人体的情况，本申请利用深度图的图像信息辅助人体识别，提高了人体识别的准确度。

Description

一种人体识别方法和装置

技术领域

本申请涉及机器人制造技术领域，尤其涉及一种人体识别方法和装置。

背景技术

随着科学技术的高速发展，机器人制造技术也得以发展迅速，机器人的应用已逐步进入家庭服务行业。

物业服务机器人是一种不受环境、温度的影响，能够动态地实现对用户身份识别的机器人，该类机器人需要在用户身份识别方面有卓越的辨识能力，因此对于人体识别的要求非常之高。

目前传统的物业服务机器人都是利用高清摄像头捕捉用户图像信息，通过对捕捉到的用户图像信息进行分析来达到人体识别的目的。然而，在实际应用过程中，高清摄像头捕捉到的用户图像信息中往往会出现多名用户重叠在一个区域的情况，此时在对用户图像信息进行分析的过程中，一般会将发生重叠情况较为严重的多名用户默认处理为一名用户，显然这与实际并不相符。因此现有人体识别方法的准确度较低。

发明内容

有鉴于此，本申请提供一种人体识别方法和装置，以提高人体识别的准确度。技术方案如下：

基于本申请的一方面，本申请提供一种人体识别方法，包括：

获取图像信息；

对所述图像信息进行深度处理，获得深度图和彩色图；

对所述彩色图进行深度卷积神经网络Deep CNN的人体检测，确定所述彩色图中的人体边界框；

判断所述人体边界框对应在深度图中的人体边界框区域内是否存在唯一一个人体；

如果所述人体边界框区域内存在有两个及两个以上个人体时，将所述两个及两个以上个的人体进行分离；

依据在深度图中的人体边界框区域内的人体个数，确定所述图像信息中人体的个数。

优选地，还包括：

如果所述人体边界框区域内不存在人体，则删除所述人体边界框区域对应在所述彩色图中的人体边界框。

优选地，所述确定出所述人体边界框区域内的人体后，所述方法还包括：

确定所述人体的相对位置信息。

优选地，在确定出所述人体边界框区域内的人体后，所述方法还包括：

依据所述彩色图中的人体边界框，确定每个人体的人脸位置。

优选地，所述依据所述彩色图中的人体边界框，确定每个人体的人脸位置之后，所述方法还包括：

依据所述人脸位置对应在所述深度图中的位置区域，判断所述人脸位置是否正确；

如果不正确，删除所述人脸位置。

基于本申请的另一方面，本申请还提供一种人体检测装置，包括：

获取单元，用于获取图像信息；

深度信息处理单元，用于对所述图像信息进行深度处理，获得深度图和彩色图；

人体边界框确定单元，用于对所述彩色图进行深度卷积神经网络Deep CNN的人体检测，确定所述彩色图中的人体边界框；

第一判断单元，用于判断所述人体边界框对应在深度图中的人体边界框区域内是否存在唯一一个人体；

人体分离单元，用于当所述第一判断单元判断所述人体边界框区域内存在有两个及两个以上个人体时，将所述两个及两个以上个的人体进行分离；

人体个数确定单元，用于依据在深度图中的人体边界框区域内的人体个数，确定所述图像信息中人体的个数。

优选地，还包括：

第一删除单元，用于当所述第一判断单元判断所述人体边界框区域内不存在人体，则删除所述人体边界框区域对应在所述彩色图中的人体边界框。

优选地，还包括：

相对位置确定单元，用于确定所述人体的相对位置信息。

优选地，还包括：

人脸位置确定单元，用于依据所述彩色图中的人体边界框，确定每个人体的人脸位置。

优选地，还包括：

第二判断单元，用于依据所述人脸位置对应在所述深度图中的位置区域，判断所述人脸位置是否正确；

第二删除单元，用于当所述第二判断单元判断所述人脸位置不正确时，删除所述人脸位置。

本申请提供的人体识别方法，通过将获取到的图像信息进行深度处理得到深度图和彩色图，对彩色图进行Deep CNN（Deep Convolutional Neural Networks，深度卷积神经网络）的人体检测，确定出彩色图中的人体边界框，进而判断所述人体边界框对应在深度图中的人体边界框区域内是否存在唯一一个人体，如果人体边界框区域内存在有两个及两个以上个人体时，将所述两个及两个以上个的人体进行分离，最后依据在深度图中的人体边界框区域内的人体个数，确定图像信息中人体的个数。本申请基于深度图实现对彩色图中识别到的人体进行二次识别，避免了重叠人体被误判为一个人体的情况，本申请利用深度图的图像信息辅助人体识别，提高了人体识别的准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提供的一种人体识别方法的流程图；

图2为本申请提供的一种人体识别装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，其示出了本申请提供的一种人体识别方法的流程图，包括：

步骤101，获取图像信息。

在本申请实施例中，可以利用双目摄像头来实时获取视频图像信息，本申请将其获取的每一帧视频图像信息称之为图像信息。

步骤102，对所述图像信息进行深度处理，获得深度图和彩色图。

步骤103，对所述彩色图进行Deep CNN的人体检测，确定所述彩色图中的人体边界框。

在本申请实施例中，人体检测的Deep CNN深度学习网络由卷积层网络、区域提取网络和区域分类网络构成。当将彩色图输入至Deep CNN中进行信息提取后，Deep CNN能够直接计算并输出该彩色图中的人体边界框。其中，人体边界框为在彩色图中用于表示一个人体的边界框。例如该彩色图中包括三名用户，那么该彩色图进行Deep CNN的人体检测后，可以确定出该彩色图中包括三个人体边界框。

步骤104，判断所述人体边界框对应在深度图中的人体边界框区域内是否存在唯一一个人体。如果是，执行步骤106，如果不是，执行步骤105。

因为本申请中的深度图和彩色图是经过对同一个图像信息进行深度处理后得到的，因此深度图和彩色图的内容实质是一致的，只是其表现形式不同。当本申请在彩色图中确定出人体边界框后，进而判断确定出的人体边界框对应在深度图中的人体边界框区域内是否存在唯一一个人体。其中，人体边界框区域与由彩色图中的人体边界框所围成的区域相同。

进一步，本申请还可以结合人体几何信息，如人体的高度、尺寸、位置等来判断人体边界框区域内的人体是否正确。

在实际应用过程中，有些物体的外形尺寸跟人体的外形尺寸比较相近，那么本申请在对彩色图进行Deep CNN的人体检测后，可能也会将该物体误判为一个人体，而获取其人体边界框。基于此，本申请在判断人体边界框对应在深度图中的人体边界框区域内存在有至少一个人体时，进一步结合人体几何信息判断该存在的至少一个人体是否正确。如果判断得知有人体是误判，并不是真正的人体，那么将该误判的人体删除，如果人体边界框对应在深度图中的人体边界框区域内不存在任何一个人体时，即可确定相应的彩色图中确定的人体边界框就是错误的，因此删除所述人体边界框区域对应在所述彩色图中的人体边界框。

步骤105，将人体边界框区域内存在的两个及两个以上个的人体进行分离。

由于通过Deep CNN的人体检测后，对于发生重叠的用户只会输出一名用户对应的一个人体识别结果，即一个人体边界框，无法实现对重叠人体的分开识别，因此本申请进一步通过获取深度图，结合深度图的图像信息，对发生重叠的用户加以区分，从而分离出单个的人体，实现了识别重叠人体的功能，保证了人体识别的准确度。

步骤106，依据在深度图中的人体边界框区域内的人体个数，确定所述图像信息中人体的个数。

例如假设，当前彩色图中一共包括5名用户，分别为用户A、用户B、用户C、用户D和用户E，其中用户C、用户D和用户E发生重叠，那么本申请对该彩色图进行Deep CNN的人体检测后，获得的人体边界框的个数为3个，分别为用户A的人体边界框、用户B的人体边界框和用户C’的人体边界框，这里用户C’的人体边界框表示的是发生重叠的用户C、用户D和用户E共同对应的人体边界框。进一步，本申请结合深度图的图像信息判断得知用户C’的人体边界框对应在深度图中的人体边界框区域内存在三名用户，当前用户C’存在重叠问题，因此对用户C’进行分离处理，即将用户C、用户D和用户E分离开。最终，本申请实现了对当前彩色图中一共包括的用户A、用户B、用户C、用户D、用户E这5名用户的人体识别的确定，确定出该图像信息中的5名用户。

因此，本申请基于深度图实现了对彩色图中识别到的人体进行二次识别的功能，避免了重叠人体被误判为一个人体的情况，本申请利用深度图的图像信息辅助人体识别，提高了人体识别的准确度。

此外在上述实施例的基础上，本申请在步骤106确定出所述人体边界框区域内的人体后，所述方法还包括：

步骤一，确定所述人体的相对位置信息。

本申请提供的人体识别方法可具体应用在机器人平台的视觉系统中，机器人除了实现人体识别之外，还可兼具人机互动的功能，因此本申请在实现对用户的人体识别之外，还可以实现对人体的相对位置信息的确定，即人体相对于机器人的位置信息的确定。本申请结合深度图的深度信息对人体进行定位能够给机器人的智能导航及人机互动提供可靠的位置信息。

更进一步的，在上述实施例的基础上，本申请在步骤106确定出所述人体边界框区域内的人体后，或在步骤一确定人体的相对位置信息之后，所述方法还可以包括：

步骤二，依据所述彩色图中的人体边界框，确定每个人体的人脸位置。

具体的，本申请实施例可以采用基于边框的人脸定位方法计算所述彩色图中各个人体的人脸位置。基于边框的人脸定位方法会根据人体的基本比例，计算出每个用户的人脸的大概位置，然后通过Haar特征及AdaBoost分类器来找到人脸的具体位置，从而实现用户人脸位置的确定。

在本申请实施例中，为了保证用户身份识别的准确度，本申请可以再次获取深度图，依据所述人脸位置对应在所述深度图中的位置区域，判断所述人脸位置是否正确，如果不正确，则删除所述人脸位置。因此，本申请依据深度图中人脸位置处的深度信息分布情况，排除了错误的人脸位置，提高了人体识别的准确度。

基于前文本申请提供的一种人体识别方法，本申请还提供一种人体检测装置，如图2所述，包括：

获取单元100，用于获取图像信息；

深度信息处理单元200，用于对所述图像信息进行深度处理，获得深度图和彩色图；

人体边界框确定单元300，用于对所述彩色图进行Deep CNN的人体检测，确定所述彩色图中的人体边界框；

第一判断单元400，用于判断所述人体边界框对应在深度图中的人体边界框区域内是否存在唯一一个人体；

人体分离单元500，用于当所述第一判断单元400判断所述人体边界框区域内存在有两个及两个以上个人体时，将所述两个及两个以上个的人体进行分离；

人体个数确定单元600，用于依据在深度图中的人体边界框区域内的人体个数，确定所述图像信息中人体的个数。

优选的，本申请还可以包括：

第一删除单元，用于当所述第一判断单元400判断所述人体边界框区域内不存在人体时，删除所述人体边界框区域对应在所述彩色图中的人体边界框。

相对位置确定单元，用于确定所述人体的相对位置信息。

人脸位置确定单元，用于依据所述彩色图中的人体边界框，确定每个人体的人脸位置。

以及，第二判断单元，用于依据所述人脸位置对应在所述深度图中的位置区域，判断所述人脸位置是否正确；

第二删除单元，用于当所述第二判断单元判断所述人脸位置不正确时，删除所述人脸位置。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本申请所提供的一种人体识别方法和装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种人体识别方法，其特征在于，包括：

获取图像信息；

对所述图像信息进行深度处理，获得深度图和彩色图；

对所述彩色图进行深度卷积神经网络Deep CNN的人体检测，确定所述彩色图中的人体边界框；

判断所述人体边界框对应在深度图中的人体边界框区域内是否存在唯一一个人体；

如果所述人体边界框区域内存在有两个及两个以上人体时，将所述两个及两个以上的人体进行分离；

依据在深度图中的人体边界框区域内的人体个数，确定所述图像信息中人体的个数。

2.根据权利要求1所述的方法，其特征在于，还包括：

如果所述人体边界框区域内不存在人体，则删除所述人体边界框区域对应在所述彩色图中的人体边界框。

3.根据权利要求1所述的方法，其特征在于，所述确定出所述人体边界框区域内的人体后，所述方法还包括：

确定所述人体的相对位置信息。

4.根据权利要求1-3任一项所述的方法，其特征在于，在确定出所述人体边界框区域内的人体后，所述方法还包括：

依据所述彩色图中的人体边界框，确定每个人体的人脸位置。

5.根据权利要求4所述的方法，其特征在于，所述依据所述彩色图中的人体边界框，确定每个人体的人脸位置之后，所述方法还包括：

依据所述人脸位置对应在所述深度图中的位置区域，判断所述人脸位置是否正确；

如果不正确，删除所述人脸位置。

6.一种人体检测装置，其特征在于，包括：

获取单元，用于获取图像信息；

深度信息处理单元，用于对所述图像信息进行深度处理，获得深度图和彩色图；

人体边界框确定单元，用于对所述彩色图进行深度卷积神经网络DeepCNN的人体检测，确定所述彩色图中的人体边界框；

第一判断单元，用于判断所述人体边界框对应在深度图中的人体边界框区域内是否存在唯一一个人体；

人体分离单元，用于当所述第一判断单元判断所述人体边界框区域内存在有两个及两个以上人体时，将所述两个及两个以上的人体进行分离；

人体个数确定单元，用于依据在深度图中的人体边界框区域内的人体个数，确定所述图像信息中人体的个数。

7.根据权利要求6所述的装置，其特征在于，还包括：

第一删除单元，用于当所述第一判断单元判断所述人体边界框区域内不存在人体，则删除所述人体边界框区域对应在所述彩色图中的人体边界框。

8.根据权利要求6所述的装置，其特征在于，还包括：

相对位置确定单元，用于确定所述人体的相对位置信息。

9.根据权利要求6-8任一项所述的装置，其特征在于，还包括：

人脸位置确定单元，用于依据所述彩色图中的人体边界框，确定每个人体的人脸位置。

10.根据权利要求9所述的装置，其特征在于，还包括：

第二判断单元，用于依据所述人脸位置对应在所述深度图中的位置区域，判断所述人脸位置是否正确；

第二删除单元，用于当所述第二判断单元判断所述人脸位置不正确时，删除所述人脸位置。