CN106778615A - 一种识别用户身份的方法、装置和物业服务机器人 - Google Patents
一种识别用户身份的方法、装置和物业服务机器人 Download PDFInfo
- Publication number
- CN106778615A CN106778615A CN201611169855.2A CN201611169855A CN106778615A CN 106778615 A CN106778615 A CN 106778615A CN 201611169855 A CN201611169855 A CN 201611169855A CN 106778615 A CN106778615 A CN 106778615A
- Authority
- CN
- China
- Prior art keywords
- face
- video image
- user
- image information
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 238000013135 deep learning Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 244000086443 Craterellus fallax Species 0.000 description 1
- 235000007926 Craterellus fallax Nutrition 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种识别用户身份的方法、装置和物业服务机器人。方法包括：对第一摄像头获取的第一视频图像信息进行深度处理，获得深度图和彩色图；对彩色图和深度图进行处理，确定第一视频图像信息中的至少一名用户；采用人脸定位方法计算第一视频图像信息中各个用户的人脸位置；确定第二摄像头获取的第二视频图像信息中各个用户的人脸区域；采用人脸特征提取方法对第二视频图像信息中各个用户的人脸区域进行特征提取，分别获得每个人脸区域对应的人脸特征信息；将获得的人脸特征信息与存储的预设人脸特征信息进行比对；当比对一致时，将预设人脸特征信息对应的预设用户身份信息确定为用户的身份。本发明提高了用户的体验度。
Description
技术领域
本发明涉及机器人制造技术领域，尤其涉及一种基于深度学习的机器人识别用户身份的方法、装置和物业服务机器人。
背景技术
随着科学技术的高速发展，机器人制造技术也得以发展迅速，机器人的应用已逐步进入家庭服务行业。
物业服务机器人是一种不受环境、温度的影响，能够动态地实现对用户身份识别的机器人，该类机器人需要在用户身份识别方面有卓越的辨识能力。
基于目前的机器视觉处理技术，机器人对于用户身份的识别仍然是技术难点，特别是在非特定角度下去实现用户身份的识别更是几乎无法实现。目前机器人在识别用户身份时，则是需要要求用户固定或静止于某个高度和/或角度才能进行识别，显然这在实际应用过程中降低了用户的体验度。
因此，现有技术急需一种不需要用户固定或静止于某个高度和/或角度的机器人识别用户身份的方法，以提高用户的体验度。
发明内容
有鉴于此，本发明提供一种识别用户身份的方法、装置和物业服务机器人，不需要用户固定或静止于某个高度和/或角度即可实现用户身份的识别，提高了用户的体验度。技术方案如下：
基于本发明的一方面，本发明提供一种识别用户身份的方法，应用于机器人，所述机器人包括第一摄像头和第二摄像头，所述第一摄像头和第二摄像头同步工作，分别用于实时获取视频图像信息，所述方法包括：
对所述第一摄像头获取的第一视频图像信息进行深度处理，获得深度图和彩色图；
对所述彩色图和深度图进行处理，确定所述第一视频图像信息中的至少一名用户；
采用人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置；
基于所述第一视频图像信息中各个用户的人脸位置，确定所述第二摄像头获取的第二视频图像信息中各个用户的人脸区域，所述第一视频图像信息和所述第二视频图像信息分别为所述第一摄像头和所述第二摄像头在同一时刻分别获取的视频图像信息；
采用人脸特征提取方法对所述第二视频图像信息中各个用户的人脸区域进行特征提取，分别获得每个人脸区域对应的人脸特征信息；
将获得的人脸特征信息与存储的预设人脸特征信息进行比对，所述预设人脸特征信息与预设用户身份信息一一对应；
当比对一致时，将所述预设人脸特征信息对应的预设用户身份信息确定为所述用户的身份。
优选地，所述第一摄像头为双目摄像头，所述第二摄像头为高清摄像头。
优选地，所述对所述彩色图和深度图进行处理，确定所述第一视频图像信息中的至少一名用户包括：
对所述彩色图进行深度卷积神经网络Deep CNN的深度学习，获得所述第一视频图像信息的初步人体检测结果；
基于所述初步人体检测结果，结合所述深度图的图像信息，确定所述第一视频图像信息的最终人体检测结果；
根据所述最终人体检测结果确定所述第一视频图像信息中的至少一名用户。
优选地，所述采用人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置包括：
采用基于边框的人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置。
优选地，所述采用基于边框的人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置之后，所述方法还包括：
再次获取所述深度图，并依据所述深度图中人脸位置处的深度信息分布情况，排除错误的人脸位置。
优选地，所述采用人脸特征提取方法对所述第二视频图像信息中各个用户的人脸区域进行特征提取，分别获得每个人脸区域对应的人脸特征信息包括：
对所述第二视频图像信息中各个用户的人脸区域进行人脸Deep CNN的深度学习，获得每个人脸区域对应的人脸Deep CNN特征。
优选地，所述将获得的人脸特征信息与存储的预设人脸特征信息进行比对包括：
采用最临近KNN最近距离算法，将获得的人脸特征信息与存储的预设人脸特征信息进行比对。
基于本发明的另一方面，本发明还提供一种识别用户身份的装置，包括：
第一摄像头，用于实时获取第一视频图像信息；
第二摄像头，用于实时获取第二视频图像信息，所述第一摄像头和所述第二摄像头同步工作，所述第一视频图像信息和所述第二视频图像信息分别为所述第一摄像头和所述第二摄像头在同一时刻分别获取的视频图像信息；
深度处理模块，同时分别与所述第一摄像头和所述第二摄像头连接，用于对所述第一摄像头获取的第一视频图像信息进行深度处理，获得深度图和彩色图，以及用于获取所述第二摄像头获取到的第二视频图像信息；
图片处理模块，用于对所述彩色图和深度图进行处理，确定所述第一视频图像信息中的至少一名用户；
人脸定位模块，用于采用人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置；
人脸区域确定模块，用于基于所述第一视频图像信息中各个用户的人脸位置，确定所述第二摄像头获取的第二视频图像信息中各个用户的人脸区域；
人脸特征信息提取模块，用于采用人脸特征提取方法对所述第二视频图像信息中各个用户的人脸区域进行特征提取，分别获得每个人脸区域对应的人脸特征信息；
比对模块，用于将获得的人脸特征信息与存储的预设人脸特征信息进行比对，所述预设人脸特征信息与预设用户身份信息一一对应；
用户身份确定模块，用于当所述比对模块对比所述获得的人脸特征信息与存储的预设人脸特征信息一致时，将所述预设人脸特征信息对应的预设用户身份信息确定为所述用户的身份。
优选地，所述第一摄像头为双目摄像头，所述第二摄像头为高清摄像头。
优选地，所述图片处理模块包括：
第一处理子模块，用于对所述彩色图进行深度卷积神经网络Deep CNN的深度学习，获得所述第一视频图像信息的初步人体检测结果；
第二处理子模块，用于基于所述初步人体检测结果，结合所述深度图的图像信息，确定所述第一视频图像信息的最终人体检测结果；
用户确定子模块，用于根据所述最终人体检测结果确定所述第一视频图像信息中的至少一名用户。
优选地，所述人脸定位模块具体用于，采用基于边框的人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置。
优选地，还包括：
错误排除模块，用于再次获取所述深度图，并依据所述深度图中人脸位置处的深度信息分布情况，排除错误的人脸位置。
优选地，所述人脸特征信息提取模块包括人脸Deep CNN深度学习网络；
所述人脸Deep CNN深度学习网络用于，对所述第二视频图像信息中各个用户的人脸区域进行人脸Deep CNN的深度学习，获得每个人脸区域对应的人脸Deep CNN特征。
优选地，所述比对模块具体用于，采用最临近KNN最近距离算法，将获得的人脸特征信息与存储的预设人脸特征信息进行比对。
基于本发明的再一方面，本发明还提供一种物业服务机器人，包括前文任一项所述的识别用户身份的装置。
本发明包括第一摄像头和第二摄像头，且第一摄像头和第二摄像头同步工作，分别用于实时获取视频图像信息。本发明首先对第一摄像头获取到的第一视频图像信息进行深度处理，获得深度图和彩色图；进而对彩色图和深度图进行处理，确定出第一视频图像信息中的至少一名用户；进一步的，采用人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置。在确定出第一视频图像信息中各个用户的人脸位置后，确定第二摄像头获取的第二视频图像信息中各个用户的人脸区域，并采用人脸特征提取方法对所述第二视频图像信息中各个用户的人脸区域进行特征提取，分别获得每个人脸区域对应的人脸特征信息；最后将获得的人脸特征信息与存储的预设人脸特征信息进行比对，当比对一致时，将所述预设人脸特征信息对应的预设用户身份信息确定为所述用户的身份。因此，本发明利用第一摄像头和第二摄像头可以实时捕捉到处于移动状态中的用户的视频图像信息，并通过对视频图像信息的处理和分析识别出用户的身份，本发明无需用户固定或静止于某个高度和/或角度，关于用户身份的识别过程可以是在用户处于移动状态中自动完成的，提高了用户的体验度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种识别用户身份的方法的流程图；
图2为本发明提供的一种识别用户身份的装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的识别用户身份的方法应用于机器人。特别的在本发明中，机器人为物业服务机器人，该物业服务机器人设置有第一摄像头和第二摄像头。该第一摄像头和第二摄像头实时同步工作，分别实时获取其各自捕捉到的视频图像信息。具体在本发明实施例中，第一摄像头可以为双目摄像头，该双目摄像头可以采用1080P的高清摄像头，其包括的两个摄像头间距15厘米。第二摄像头可以为高清摄像头，在本发明实际应用过程中，优选的双目摄像头和高清摄像头同时同步捕捉同一方向、位置的视频图像信息。
具体的，本发明提供的一种识别用户身份的方法如图1所示，包括：
步骤101，对所述第一摄像头获取的第一视频图像信息进行深度处理，获得深度图和彩色图。
本发明首先对双目摄像头获取到的第一视频图像信息进行深度处理，获得深度图和彩色图。
需要说明的是，对于机器人来说，经过步骤101之后，其当前一共包括三幅图，分别为对深度图、彩色图，以及通过第二摄像头获取的第二视频图像信息。
步骤102，对所述彩色图和深度图进行处理，确定所述第一视频图像信息中的至少一名用户。
本发明步骤102可以采用如下方式实现：
步骤1021，对所述彩色图进行Deep CNN(Deep Convolutional Neural Networks，深度卷积神经网络)的深度学习，获得所述第一视频图像信息的初步人体检测结果。
在本发明实施例中，Deep CNN采用faster-RCNN结构，该faster-RCNN结构由卷积层网络，区域提取网络和区域分类网络构成。将获得的第一视频图像信息输入至Deep CNN中进行深度学习后，输出该第一视频图像信息中的初步人体检测结果。例如该第一视频图像信息中包括三名用户，则初步人体检测结果包括该三名用户的人体检测结果。而对于发生重叠的用户来说，则还是只会输出一个人体检测结果。
步骤1022，基于所述初步人体检测结果，结合所述深度图的图像信息，确定所述第一视频图像信息的最终人体检测结果。
由于通过Deep CNN的深度学习后，对于发生重叠的用户只会输出一名用户对应的一个人体检测结果，无法实现对重叠用户的分开识别，因此本发明进一步通过获取深度图，结合深度图的图像信息，对发生重叠的用户加以区分，从而分离出单个的用户个体，实现了识别重叠用户的功能，保证了用户身份识别的准确度。
步骤1023，根据所述最终人体检测结果确定所述第一视频图像信息中的至少一名用户。
例如假设，当前彩色图中一共包括5名用户，分别为用户A、用户B、用户C、用户D和用户E，其中用户C、用户D和用户E发生重叠，那么本发明对该彩色图进行Deep CNN的深度学习后，获得的初步人体检测结果包括用户A的人体检测结果、用户B的人体检测结果和用户C’的人体检测结果，这里用户C’的人体检测结果表示的是发生重叠的用户C、用户D和用户E共同对应的人体检测结果。进一步，本发明获取深度图，结合深度图的图像信息可以获知当前用户C’存在重叠问题，因此对用户C’进行分离处理，即将用户C、用户D和用户E分离开，从而分别得到用户C、用户D和用户E的人体检测结果。最终，本发明实现了对当前彩色图中一共包括的用户A、用户B、用户C、用户D、用户E这5名用户的人体检测结果的确定，即确定出该第一视频图像信息中的5名用户。
步骤103，采用人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置。
具体的，本发明实施例采用基于边框的人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置。
本发明中，在步骤102确定出第一视频图像信息中5名用户的人体检测结果后，基于边框的人脸定位方法会根据人体的基本比例，计算出每个用户的人脸的大概位置，然后通过Haar特征及AdaBoost分类器来找到人脸的具体位置，从而实现用户人脸位置的确定。
此外在本发明实施例中，为了保证用户身份识别的准确度，本发明可以再次获取深度图，并依据所述深度图中人脸位置处的深度信息分布情况，排除错误的人脸位置。
步骤104，基于所述第一视频图像信息中各个用户的人脸位置，确定所述第二摄像头获取的第二视频图像信息中各个用户的人脸区域。其中，所述第一视频图像信息和所述第二视频图像信息分别为所述第一摄像头和所述第二摄像头在同一时刻分别获取的视频图像信息。
本发明中的双目摄像头和高清摄像头实时同步工作，在同一时刻能够获取到同一方向、位置的视频图像信息，因此将双目摄像头获取到的第一视频图像信息与高清摄像头获取到的第二视频图像信息进行比对校准，由此可以基于确定的第一视频图像信息中各个用户的人脸位置，确定出第二视频图像信息中各个用户的人脸位置，进而获取该人脸位置处对应的用户的人脸区域。
步骤105，采用人脸特征提取方法对所述第二视频图像信息中各个用户的人脸区域进行特征提取，分别获得每个人脸区域对应的人脸特征信息。
本发明在确定出各个用户的人脸区域后，依次对每个人脸区域采用人脸特征提取方法进行特征提取，具体的，本发明可以对第二视频图像信息中各个用户的人脸区域进行人脸Deep CNN的深度学习，获得每个人脸区域对应的人脸Deep CNN特征。
在本发明实施例中，获得第二视频图像信息中各个用户的人脸区域后，通过人脸特征信息(如人脸特征点)的提取能够实现人脸姿态校准。本发明中的人脸Deep CNN深度学习网络具有37层，包括16个卷积层，人脸的检测结果经过校准之后归一化到224×224，输入到人脸Deep CNN深度学习网络后得到人脸Deep CNN特征。
步骤106，将获得的人脸特征信息与存储的预设人脸特征信息进行比对，所述预设人脸特征信息与预设用户身份信息一一对应。
其中，本发明可以采用KNN(k-Nearest Neighbor，最临近)最近距离算法，将获得的人脸特征信息与存储的预设人脸特征信息进行比对。
本发明包括人脸Deep CNN特征数据库，该人脸Deep CNN特征数据库是用于对研发人员采集的大量图片信息，利用人脸Deep CNN深度学习网络进行深度学习后，将得到的所有人脸Deep CNN特征进行存储。不同的用户对应不同的人脸Deep CNN特征，因此，本发明只要比对出人脸Deep CNN特征，即可确定出用户的身份。
步骤107，当比对一致时，将所述预设人脸特征信息对应的预设用户身份信息确定为所述用户的身份。
在本发明实施例中，将获得的人脸特征信息与人脸Deep CNN特征数据库中存储的预设人脸特征信息进行比对。如果对比一致，则说明当前人脸特征信息对应的用户即为预设人脸特征信息对应的用户，由此便可直接确定用户的身份。
因此应用本发明的上述技术方案，本发明包括第一摄像头和第二摄像头，且第一摄像头和第二摄像头同步工作，分别用于实时获取视频图像信息。本发明首先对第一摄像头获取到的第一视频图像信息进行深度处理，获得深度图和彩色图；进而对彩色图和深度图进行处理，确定出第一视频图像信息中的至少一名用户；进一步的，采用人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置。在确定出第一视频图像信息中各个用户的人脸位置后，确定第二摄像头获取的第二视频图像信息中各个用户的人脸区域，并采用人脸特征提取方法对所述第二视频图像信息中各个用户的人脸区域进行特征提取，分别获得每个人脸区域对应的人脸特征信息；最后将获得的人脸特征信息与存储的预设人脸特征信息进行比对，当比对一致时，将所述预设人脸特征信息对应的预设用户身份信息确定为所述用户的身份。因此，本发明利用第一摄像头和第二摄像头可以实时捕捉到处于移动状态中的用户的视频图像信息，并通过对视频图像信息的处理和分析识别出用户的身份，本发明无需用户固定或静止于某个高度和/或角度，关于用户身份的识别过程可以是在用户处于移动状态中自动完成的，提高了用户的体验度。
此外在本发明上述实施例中，本发明使用双目技术，能采集到更为丰富的深度信息，使机器人可在不同的运用场景中让企业根据自身的需求来调整方案，提高机器人的实用型和灵活性。且本发明对于用户身份识别的准确度较传统的人脸识别技术大幅度提高，这也是保证VIP识别和迎宾等功能得以有效实现的关键。
基于前文本发明提供的一种机器人识别用户身份的方法，本发明还提供了一种机器人识别用户身份的装置，如图2所示，包括：
第一摄像头100，用于实时获取第一视频图像信息；
第二摄像头200，用于实时获取第二视频图像信息，所述第一摄像头100和所述第二摄像头200同步工作，所述第一视频图像信息和所述第二视频图像信息分别为所述第一摄像头100和所述第二摄像头200在同一时刻分别获取的视频图像信息；
深度处理模块300，同时分别与所述第一摄像头100和所述第二摄像头200连接，用于对所述第一摄像头100获取的第一视频图像信息进行深度处理，获得深度图和彩色图，以及用于获取所述第二摄像头200获取到的第二视频图像信息；
图片处理模块400，用于对所述彩色图和深度图进行处理，确定所述第一视频图像信息中的至少一名用户；
人脸定位模块500，用于采用人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置；
人脸区域确定模块600，用于基于所述第一视频图像信息中各个用户的人脸位置，确定所述第二摄像头200获取的第二视频图像信息中各个用户的人脸区域；
人脸特征信息提取模块700，用于采用人脸特征提取方法对所述第二视频图像信息中各个用户的人脸区域进行特征提取，分别获得每个人脸区域对应的人脸特征信息；
比对模块800，用于将获得的人脸特征信息与存储的预设人脸特征信息进行比对，所述预设人脸特征信息与预设用户身份信息一一对应；
用户身份确定模块900，用于当所述比对模块800对比所述获得的人脸特征信息与存储的预设人脸特征信息一致时，将所述预设人脸特征信息对应的预设用户身份信息确定为所述用户的身份。
其中，本发明中的第一摄像头100具体为双目摄像头，第二摄像头200具体为高清摄像头。
所述图片处理模块400包括：
第一处理子模块401，用于对所述彩色图进行Deep CNN的深度学习，获得所述第一视频图像信息的初步人体检测结果；
第二处理子模块402，用于基于所述初步人体检测结果，结合所述深度图的图像信息，确定所述第一视频图像信息的最终人体检测结果；
用户确定子模块403，用于根据所述最终人体检测结果确定所述第一视频图像信息中的至少一名用户。
所述人脸定位模块500具体用于，采用基于边框的人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置。
优选的，本发明还包括：错误排除模块1000，用于再次获取所述深度图，并依据所述深度图中人脸位置处的深度信息分布情况，排除错误的人脸位置。
人脸特征信息提取模块700可以具体为人脸Deep CNN深度学习网络；
所述人脸Deep CNN深度学习网络用于，对所述第二视频图像信息中各个用户的人脸区域进行人脸Deep CNN的深度学习，获得每个人脸区域对应的人脸Deep CNN特征。
所述比对模块800具体用于，采用KNN最近距离算法，将获得的人脸特征信息与存储的预设人脸特征信息进行比对。
最后，本发明还提供一种物业服务机器人，包括前文所述的机器人识别用户身份的装置。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种识别用户身份的方法、装置和物业服务机器人进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种识别用户身份的方法，应用于机器人，其特征在于，所述机器人包括第一摄像头和第二摄像头，所述第一摄像头和第二摄像头同步工作，分别用于实时获取视频图像信息，所述方法包括：
对所述第一摄像头获取的第一视频图像信息进行深度处理，获得深度图和彩色图；
对所述彩色图和深度图进行处理，确定所述第一视频图像信息中的至少一名用户；
采用人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置；
基于所述第一视频图像信息中各个用户的人脸位置，确定所述第二摄像头获取的第二视频图像信息中各个用户的人脸区域，所述第一视频图像信息和所述第二视频图像信息分别为所述第一摄像头和所述第二摄像头在同一时刻分别获取的视频图像信息；
采用人脸特征提取方法对所述第二视频图像信息中各个用户的人脸区域进行特征提取，分别获得每个人脸区域对应的人脸特征信息；
将获得的人脸特征信息与存储的预设人脸特征信息进行比对，所述预设人脸特征信息与预设用户身份信息一一对应；
当比对一致时，将所述预设人脸特征信息对应的预设用户身份信息确定为所述用户的身份。
2.根据权利要求1所述的方法，其特征在于，所述第一摄像头为双目摄像头，所述第二摄像头为高清摄像头。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述彩色图和深度图进行处理，确定所述第一视频图像信息中的至少一名用户包括：
对所述彩色图进行深度卷积神经网络Deep CNN的深度学习，获得所述第一视频图像信息的初步人体检测结果；
基于所述初步人体检测结果，结合所述深度图的图像信息，确定所述第一视频图像信息的最终人体检测结果；
根据所述最终人体检测结果确定所述第一视频图像信息中的至少一名用户。
4.根据权利要求1或2所述的方法，其特征在于，所述采用人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置包括：
采用基于边框的人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置。
5.根据权利要求4所述的方法，其特征在于，所述采用基于边框的人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置之后，所述方法还包括：
再次获取所述深度图，并依据所述深度图中人脸位置处的深度信息分布情况，排除错误的人脸位置。
6.根据权利要求1或2所述的方法，其特征在于，所述采用人脸特征提取方法对所述第二视频图像信息中各个用户的人脸区域进行特征提取，分别获得每个人脸区域对应的人脸特征信息包括：
对所述第二视频图像信息中各个用户的人脸区域进行人脸Deep CNN的深度学习，获得每个人脸区域对应的人脸Deep CNN特征。
7.根据权利要求1或2所述的方法，其特征在于，所述将获得的人脸特征信息与存储的预设人脸特征信息进行比对包括：
采用最临近KNN最近距离算法，将获得的人脸特征信息与存储的预设人脸特征信息进行比对。
8.一种识别用户身份的装置，其特征在于，包括：
第一摄像头，用于实时获取第一视频图像信息；
第二摄像头，用于实时获取第二视频图像信息，所述第一摄像头和所述第二摄像头同步工作，所述第一视频图像信息和所述第二视频图像信息分别为所述第一摄像头和所述第二摄像头在同一时刻分别获取的视频图像信息；
深度处理模块，同时分别与所述第一摄像头和所述第二摄像头连接，用于对所述第一摄像头获取的第一视频图像信息进行深度处理，获得深度图和彩色图，以及用于获取所述第二摄像头获取到的第二视频图像信息；
图片处理模块，用于对所述彩色图和深度图进行处理，确定所述第一视频图像信息中的至少一名用户；
人脸定位模块，用于采用人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置；
人脸区域确定模块，用于基于所述第一视频图像信息中各个用户的人脸位置，确定所述第二摄像头获取的第二视频图像信息中各个用户的人脸区域；
人脸特征信息提取模块，用于采用人脸特征提取方法对所述第二视频图像信息中各个用户的人脸区域进行特征提取，分别获得每个人脸区域对应的人脸特征信息；
比对模块，用于将获得的人脸特征信息与存储的预设人脸特征信息进行比对，所述预设人脸特征信息与预设用户身份信息一一对应；
用户身份确定模块，用于当所述比对模块对比所述获得的人脸特征信息与存储的预设人脸特征信息一致时，将所述预设人脸特征信息对应的预设用户身份信息确定为所述用户的身份。
9.根据权利要求8所述的装置，其特征在于，所述第一摄像头为双目摄像头，所述第二摄像头为高清摄像头。
10.根据权利要求8或9所述的装置，其特征在于，所述图片处理模块包括：
第一处理子模块，用于对所述彩色图进行深度卷积神经网络Deep CNN的深度学习，获得所述第一视频图像信息的初步人体检测结果；
第二处理子模块，用于基于所述初步人体检测结果，结合所述深度图的图像信息，确定所述第一视频图像信息的最终人体检测结果；
用户确定子模块，用于根据所述最终人体检测结果确定所述第一视频图像信息中的至少一名用户。
11.根据权利要求8或9所述的装置，其特征在于，所述人脸定位模块具体用于，采用基于边框的人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置。
12.根据权利要求11所述的装置，其特征在于，还包括：
错误排除模块，用于再次获取所述深度图，并依据所述深度图中人脸位置处的深度信息分布情况，排除错误的人脸位置。
13.根据权利要求8或9所述的装置，其特征在于，所述人脸特征信息提取模块包括人脸Deep CNN深度学习网络；
所述人脸Deep CNN深度学习网络用于，对所述第二视频图像信息中各个用户的人脸区域进行人脸Deep CNN的深度学习，获得每个人脸区域对应的人脸Deep CNN特征。
14.根据权利要求8或9所述的装置，其特征在于，所述比对模块具体用于，采用最临近KNN最近距离算法，将获得的人脸特征信息与存储的预设人脸特征信息进行比对。
15.一种物业服务机器人，其特征在于，包括如上权利要求8-14任一项所述的识别用户身份的装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611169855.2A CN106778615B (zh) | 2016-12-16 | 2016-12-16 | 一种识别用户身份的方法、装置和物业服务机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611169855.2A CN106778615B (zh) | 2016-12-16 | 2016-12-16 | 一种识别用户身份的方法、装置和物业服务机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106778615A true CN106778615A (zh) | 2017-05-31 |
| CN106778615B CN106778615B (zh) | 2019-10-18 |
Family
ID=58893299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611169855.2A Expired - Fee Related CN106778615B (zh) | 2016-12-16 | 2016-12-16 | 一种识别用户身份的方法、装置和物业服务机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106778615B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107844744A (zh) * | 2017-10-09 | 2018-03-27 | 平安科技（深圳）有限公司 | 结合深度信息的人脸识别方法、装置及存储介质 |
| CN108446896A (zh) * | 2018-03-27 | 2018-08-24 | 百度在线网络技术（北京）有限公司 | 用于生成信息的方法和装置 |
| CN109508586A (zh) * | 2017-09-15 | 2019-03-22 | 杭州海康威视数字技术股份有限公司 | 一种客流统计方法、装置及设备 |
| CN109688400A (zh) * | 2019-01-04 | 2019-04-26 | Oppo广东移动通信有限公司 | 电子设备和移动平台 |
| CN109711274A (zh) * | 2018-12-05 | 2019-05-03 | 斑马网络技术有限公司 | 车辆检测方法、装置、设备和存储介质 |
| WO2019148923A1 (zh) * | 2018-02-02 | 2019-08-08 | 杭州海康威视数字技术股份有限公司 | 一种以图搜图方法、装置、电子设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101059838A (zh) * | 2007-06-11 | 2007-10-24 | 湖北东润科技有限公司 | 一种人脸识别系统与识别方法 |
| CN102968615A (zh) * | 2012-10-25 | 2013-03-13 | 上海威镜信息科技有限公司 | 一种具有密集人流中的抗干扰功能的三维人体数据识别方法 |
| CN103606093A (zh) * | 2013-10-28 | 2014-02-26 | 燕山大学 | 一种基于人体特征的连锁机构vip客户智能服务系统 |
| CN103707781A (zh) * | 2013-12-26 | 2014-04-09 | 苏州清研微视电子科技有限公司 | 基于距离图像的驾驶员座椅位置自动调整系统 |
| CN104834901A (zh) * | 2015-04-17 | 2015-08-12 | 北京海鑫科金高科技股份有限公司 | 一种基于双目立体视觉的人脸检测方法、装置及系统 |
| CN104851140A (zh) * | 2014-12-12 | 2015-08-19 | 重庆凯泽科技有限公司 | 基于人脸识别的考勤门禁系统 |
| CN105447466A (zh) * | 2015-12-01 | 2016-03-30 | 深圳市图灵机器人有限公司 | 一种基于Kinect传感器的身份综合识别方法 |
| CN105612533A (zh) * | 2015-06-08 | 2016-05-25 | 北京旷视科技有限公司 | 活体检测方法、活体检测系统以及计算机程序产品 |
| CN105933650A (zh) * | 2016-04-25 | 2016-09-07 | 北京旷视科技有限公司 | 视频监控系统及方法 |
-
2016
- 2016-12-16 CN CN201611169855.2A patent/CN106778615B/zh not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101059838A (zh) * | 2007-06-11 | 2007-10-24 | 湖北东润科技有限公司 | 一种人脸识别系统与识别方法 |
| CN102968615A (zh) * | 2012-10-25 | 2013-03-13 | 上海威镜信息科技有限公司 | 一种具有密集人流中的抗干扰功能的三维人体数据识别方法 |
| CN103606093A (zh) * | 2013-10-28 | 2014-02-26 | 燕山大学 | 一种基于人体特征的连锁机构vip客户智能服务系统 |
| CN103707781A (zh) * | 2013-12-26 | 2014-04-09 | 苏州清研微视电子科技有限公司 | 基于距离图像的驾驶员座椅位置自动调整系统 |
| CN104851140A (zh) * | 2014-12-12 | 2015-08-19 | 重庆凯泽科技有限公司 | 基于人脸识别的考勤门禁系统 |
| CN104834901A (zh) * | 2015-04-17 | 2015-08-12 | 北京海鑫科金高科技股份有限公司 | 一种基于双目立体视觉的人脸检测方法、装置及系统 |
| CN105612533A (zh) * | 2015-06-08 | 2016-05-25 | 北京旷视科技有限公司 | 活体检测方法、活体检测系统以及计算机程序产品 |
| CN105447466A (zh) * | 2015-12-01 | 2016-03-30 | 深圳市图灵机器人有限公司 | 一种基于Kinect传感器的身份综合识别方法 |
| CN105933650A (zh) * | 2016-04-25 | 2016-09-07 | 北京旷视科技有限公司 | 视频监控系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王庆祥: "基于Kinect的主动外观模型及在表情动画上的应用", 《中国博士学位论文全文数据库信息科技辑》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109508586A (zh) * | 2017-09-15 | 2019-03-22 | 杭州海康威视数字技术股份有限公司 | 一种客流统计方法、装置及设备 |
| US11200406B2 (en) | 2017-09-15 | 2021-12-14 | Hangzhou Hikvision Digital Technology Co., Ltd. | Customer flow statistical method, apparatus and device |
| CN107844744A (zh) * | 2017-10-09 | 2018-03-27 | 平安科技（深圳）有限公司 | 结合深度信息的人脸识别方法、装置及存储介质 |
| WO2019148923A1 (zh) * | 2018-02-02 | 2019-08-08 | 杭州海康威视数字技术股份有限公司 | 一种以图搜图方法、装置、电子设备及存储介质 |
| CN108446896A (zh) * | 2018-03-27 | 2018-08-24 | 百度在线网络技术（北京）有限公司 | 用于生成信息的方法和装置 |
| CN109711274A (zh) * | 2018-12-05 | 2019-05-03 | 斑马网络技术有限公司 | 车辆检测方法、装置、设备和存储介质 |
| CN109688400A (zh) * | 2019-01-04 | 2019-04-26 | Oppo广东移动通信有限公司 | 电子设备和移动平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106778615B (zh) | 2019-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106778615A (zh) | 一种识别用户身份的方法、装置和物业服务机器人 | |
| CN103530599B (zh) | 一种真实人脸和图片人脸的区别方法和系统 | |
| CN103473529B (zh) | 一种多视角取像人脸识别的方法及装置 | |
| CN100361138C (zh) | 视频序列中人脸的实时检测与持续跟踪的方法及系统 | |
| CN109657533A (zh) | 行人重识别方法及相关产品 | |
| CN103258316B (zh) | 一种图片处理方法和装置 | |
| CN106778614B (zh) | 一种人体识别方法和装置 | |
| CN110264493A (zh) | 一种针对运动状态下的多目标对象追踪方法和装置 | |
| CN107871100A (zh) | 人脸模型的训练方法和装置、人脸认证方法和装置 | |
| CN108230383A (zh) | 手部三维数据确定方法、装置及电子设备 | |
| CN109784130B (zh) | 行人重识别方法及其装置和设备 | |
| US9117138B2 (en) | Method and apparatus for object positioning by using depth images | |
| CN105898107B (zh) | 一种目标物体抓拍方法及系统 | |
| US8699786B2 (en) | 3D model generating apparatus, method and CRM by line pattern imaging | |
| CN106156702A (zh) | 身份认证方法及设备 | |
| CN105631515A (zh) | 人流计数系统 | |
| CN110263768A (zh) | 一种基于深度残差网络的人脸识别方法 | |
| CN112633196A (zh) | 人体姿态检测方法、装置和计算机设备 | |
| CN107992783A (zh) | 人脸图像处理方法及装置 | |
| CN109101864A (zh) | 基于关键帧和随机森林回归的人体上半身动作识别方法 | |
| CN110456904B (zh) | 一种无需标定的增强现实眼镜眼动交互方法及系统 | |
| CN105869166A (zh) | 一种基于双目视觉的人体动作识别方法及系统 | |
| CN109325408A (zh) | 一种手势判断方法及存储介质 | |
| CN106303409A (zh) | 一种目标对象联合跟踪方法及目标对象联合跟踪装置 | |
| CN110909617B (zh) | 基于双目视觉的活体人脸检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 518000 Shekou Torch Pioneering Building, Nanshan District, Shenzhen City, Guangdong Province, 2nd Floor Applicant after: INTERNATIONAL INTELLIGENT MACHINES Co.,Ltd. Address before: 518000 Shekou Torch Pioneering Building, Nanshan District, Shenzhen City, Guangdong Province, 2nd Floor Applicant before: INTERNATIONAL INTELLIGENT MACHINES CO.,LTD. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191018 |