CN109145804A - 行为监控方法及机器人 - Google Patents
行为监控方法及机器人 Download PDFInfo
- Publication number
- CN109145804A CN109145804A CN201810927320.XA CN201810927320A CN109145804A CN 109145804 A CN109145804 A CN 109145804A CN 201810927320 A CN201810927320 A CN 201810927320A CN 109145804 A CN109145804 A CN 109145804A
- Authority
- CN
- China
- Prior art keywords
- target person
- behavior
- image
- face
- identity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种行为监控方法及机器人，其中，该方法包括：对目标人员进行图像采集，以获取所述目标人员的图像，所述目标人员的图像至少包括了所述目标人员的姿态和所述目标人员的面部；基于所述目标人员的姿态对所述目标人员的图像进行识别，从而确定所述目标人员的行为；基于所述目标人员的面部对所述目标人员的图像进行识别，从而确定所述目标人员的身份；若所述目标人员的行为为非允许行为，则将所述非允许行为记录在于所述目标人员的身份对应的数据库条目中。使用本发明，可以自动地对厂区内员工的行为进行监控，提高监控效率。
Description
技术领域
本发明涉及人工智能，具体涉及一种行为监控方法及机器人。
背景技术
随着机器人的应用需求不断增加，人工智能相关技术不断进步，硬件性能的增长，服务机器人近年来开始从实验室走向工厂，并从单一功能向多功能的个人机器人发展。提到机器人，一个最近经常提及的词是人工智能。人工智能是用计算机来实现类似于人的智能行为的一门学科。机器人本身即是人工智能的一个终极应用目标之一。
传统的人工智能作为一门学科，起源于20世纪50年代的达特茅斯会议，后来经过几次大起大落，在基础理论和方法上积累了丰富的成果。从早期的符号计算系统，到专家系统，再到90年代发展起来的机器学习，大数据分析，都可以算是人工智能的范畴。在图像、语音、搜索、数据挖掘、社会计算等领域，又派生出了一些相关的应用研究。其中与机器人联系较为紧密的包括计算机视觉，语音和自然语言处理，还有智能体(Agent)等。
根据以往机器人领域的研究进展和对应用的初步分析可以认为如下的感知、认知技术，将是实现应用的关键。
1、三维导航定位技术。不管什么机器人，只要可移动，即需要在家庭或其他环境中进行导航定位。其中SLAM(Simultaneous Localization and Ming)技术可同时进行定位和建图，在学术研究方面已经有不少技术积累。但对于实际系统，由于实时性低成本(比如无法采用比较昂贵的雷达设备)的要求和家庭环境的动态变化(物品的摆放)，因而对导航定位技术提出了更高要求，仍需进一步研发。
2、视觉感知技术。其中包含人脸识别、手势识别、物体识别和情绪识别等相关技术。视觉感知技术，是机器人和人交互的一个非常重要的技术。
3、语言交互技术。其中包含语音识别、语音生成、自然语言理解和智能对话系统等。
4、文字识别技术。生活中有不少文字信息，如书报和物体的标签信息，这也要求机器人能够通过摄像头来进行文字识别。与传统的扫描后识别文字相比，其可通过摄像头来进行文字的识别。
5、认知技术。机器人需要逐步实现规划、推理、记忆、学习和预测等认知功能，从而变得更加智能。
从目前的研究现状看，服务机器人面对的关键技术均有了长足进步，但还有相当多的问题要解决。
发明内容
本发明实施例提供了一种行为监控方法及机器人，可以自动地对厂区内员工的行为进行监控，提高监控效率。
本发明实施例的目的是通过以下技术方案实现的：
一种行为监控方法，包括：
对目标人员进行图像采集，以获取所述目标人员的图像，所述目标人员的图像至少包括了所述目标人员的姿态和所述目标人员的面部；
基于所述目标人员的姿态对所述目标人员的图像进行识别，以确定所述目标人员的行为；
基于所述目标人员的面部对所述目标人员的图像进行识别，以确定所述目标人员的身份；
若所述目标人员的行为为非允许行为，则将所述非允许行为记录在于所述目标人员的身份对应的数据库条目中。
可选的，所述基于所述目标人员的姿态对所述目标人员的图像进行识别，以确定所述目标人员的行为包括：
基于所述目标人员的姿态提取所述目标人员的行为特征；
基于所述行为特征，采用预先设置的算法对所述目标人员的行为进行识别。
可选的，所述基于所述目标人员的面部对所述目标人员的图像进行识别，以确定所述目标人员的身份包括：
基于所述目标人员的面部提取所述目标人员的面部特征；
根据所述面部特征从数据库中进行查找，以确定所述目标人员的身份。
可选的，所述对目标人员进行图像采集，以获取所述目标人员的图像包括：
从多个角度对所述目标人员进行图像采集，以获取具有不同角度的所述目标人员的多个图像；
所述基于所述目标人员的面部对所述目标人员的图像进行识别，以确定所述目标人员的身份包括：
基于所述目标人员的多个图像对所述目标人员的面部进行三维建模，以获取所述目标人员的面部的三维模型；
基于所述目标人员的面部的三维模型确定所述目标人员的面部特征；
根据所述面部特征从数据库中进行查找，以确定所述目标人员的身份。
可选的，所述目标人员的数量为至少两个，所述确定的目标人员的行为为所述至少两个目标人员的组合行为。
一种机器人，包括：
图像采集单元，用于对目标人员进行图像采集，以获取所述目标人员的图像，所述目标人员的图像至少包括了所述目标人员的姿态和所述目标人员的面部；
行为确定单元，用于基于所述目标人员的姿态对所述目标人员的图像进行识别，以确定所述目标人员的行为；
身份确定单元，用于基于所述目标人员的面部对所述目标人员的图像进行识别，以确定所述目标人员的身份；
处理单元，用于在所述行为确定单元确定所述目标人员的行为为非允许行为时，则将所述非允许行为记录在于所述身份确定单元确定的所述目标人员的身份对应的数据库条目中。
可选的，所述行为确定单元具体用于：
基于所述目标人员的姿态提取所述目标人员的行为特征；
基于所述行为特征，采用预先设置的算法对所述目标人员的行为进行识别。
可选的，所述身份确定单元具体用于：
基于所述目标人员的面部提取所述目标人员的面部特征；
根据所述面部特征从数据库中进行查找，以确定所述目标人员的身份。
可选的，所述图像采集单元具体用于：从多个角度对所述目标人员进行图像采集，以获取具有不同角度的所述目标人员的多个图像；
所述身份确定单元具体用于：
基于所述目标人员的多个图像对所述目标人员的面部进行三维建模，以获取所述目标人员的面部的三维模型；
基于所述目标人员的面部的三维模型确定所述目标人员的面部特征；
根据所述面部特征从数据库中进行查找，以确定所述目标人员的身份。
可选的，所述目标人员的数量为两个或以上，所述确定的目标人员的行为为所述至少两个目标人员的组合行为。
从上可知，使用本发明实施例提供的行为监控方法，可以对目标人员进行图像采集，以获取所述目标人员的图像，所述目标人员的图像至少包括了所述目标人员的姿态和所述目标人员的面部；基于所述目标人员的姿态对所述目标人员的图像进行识别，从而确定所述目标人员的行为；基于所述目标人员的面部对所述目标人员的图像进行识别，从而确定所述目标人员的身份；若所述目标人员的行为为非允许行为，则将所述非允许行为记录在于所述目标人员的身份对应的数据库条目中，从而提高行为监控的效率；进一步地，在所述用户的行为为危险行为时，可以进行报警。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例提供的行为监控方法的流程图；
图2为本发明一个实施例提供的机器人的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
先介绍本发明实施例提供的行为监控方法，图1描述了本发明一个实施例提供的行为监控方法的流程。其中，该方法可以应用于机器人。如图1所示，该方法可以包括：
101、对目标人员进行图像采集，以获取所述目标人员的图像，所述目标人员的图像至少包括了所述目标人员的姿态和所述目标人员的面部。
所述的目标人员是指在工作场所内的人员，例如办公室，会议室，车间等等。
在一种实施方式中，对目标人员进行图像采集时，可以仅采集一张图像，从而基于2D的图像识别技术进行面部识别。采用这种方式能够比较快的完成识别，从而提高识别的效率。
在另一种实施方式中，为了提高检测的准确性，可以采用3D的图像识别技术，此时，从多个角度对所述目标人员进行图像采集，以获取具有不同角度的所述目标人员的多个图像。
102、基于所述目标人员的面部对所述目标人员的图像进行识别，以确定所述目标人员的身份。
其中，在一种实施方式中，使用的是2D的图像识别技术，此时，可以对采集的所述人员的一张图像进行面部特征的提取，所述面部特征包括但不限于：五官的形状，五官之间的距离等等。则所述基于所述目标人员的面部对所述目标人员的图像进行识别，从而确定所述目标人员的身份可以包括：
基于所述目标人员的面部提取所述目标人员的面部特征；
根据所述面部特征从数据库中进行查找，从而确定所述目标人员的身份。
在另一种实施方式中，使用的是3D的图像识别技术，此时，首先需要基于所述人员的多个图像对所述人员的面部进行三维建模，从而获取所述人员的面部的三维模型；然后基于所述人员的面部的三维模型确定所述人员的面部特征。此时，所述人员的面部特征除了可以包括五官的形状，五官之间的距离等等外，还可以包括鼻子的高度，眼窝的深度，下巴的凸凹程度等等。所述对目标人员进行图像采集，以获取所述目标人员的图像包括：
从多个角度对所述目标人员进行图像采集，以获取具有不同角度的所述目标人员的多个图像；
所述基于所述目标人员的面部对所述目标人员的图像进行识别，以确定所述目标人员的身份包括：
基于所述目标人员的多个图像对所述目标人员的面部进行三维建模，以获取所述目标人员的面部的三维模型；
基于所述目标人员的面部的三维模型确定所述目标人员的面部特征；
根据所述面部特征从数据库中进行查找，以确定所述目标人员的身份。
其中，图像识别技术可以使用现有的图像识别技术，也可以使用本发明实施例提供的图像识别技术。本发明实施例提供的图像识别技术是基于神经网络模型实现的，例如可以是卷积神经网络(CNN：Convolutional Neural Network,)模型，或循环神经网络(RNN：Recurrent Neural Networks)模型，或者也可以是深度神经网络(DNN：Deep NeuralNetworks)模型。
103、基于所述目标人员的姿态对所述目标人员的图像进行识别，以确定所述目标人员的行为。若所述目标人员的行为为非允许行为，进入步骤104；若所述目标人员的行为为允许行为，进入步骤105。
其中，所述基于所述目标人员的姿态对所述目标人员的图像进行识别，从而确定所述目标人员的行为可以包括：
基于所述目标人员的姿态提取所述目标人员的行为特征；
基于所述行为特征，采用预先设置的算法对所述目标人员的行为进行识别。
其中，例如在所述目标人员为单个人员时，所述目标人员的行为可以是睡觉，发呆，工作，偷盗等等；其中，偷盗是非允许行为。
例如在所述目标人员为至少两个时，所述目标人员的行为是所述至少两个目标人员的组合行为，例如可以是交谈，亲昵行为，打架等等。其中，打架是非允许行为。
可以理解的是，什么样的行为为非允许行为可以由厂方根据需要进行设置。
其中，行为识别技术可以使用现有的行为识别技术，也可以使用本发明实施例提供的行为识别技术。本发明实施例提供的行为识别技术是基于神经网络模型实现的，例如可以是卷积神经网络(CNN：Convolutional Neural Network,)模型，或循环神经网络(RNN：Recurrent Neural Networks)模型，或者也可以是深度神经网络(DNN：Deep NeuralNetworks)模型。
104、将所述非允许行为记录在于所述目标人员的身份对应的数据库条目中。
进一步地，在一种实施方式中，若所述非允许行为为危险行为，例如偷盗，打架等等，所述机器人还可以进行报警。
105、不记录所述目标人员的行为。
从上可知，使用本发明实施例提供的行为监控方法，可以对目标人员进行图像采集，以获取所述目标人员的图像，所述目标人员的图像至少包括了所述目标人员的姿态和所述目标人员的面部；基于所述目标人员的姿态对所述目标人员的图像进行识别，从而确定所述目标人员的行为；基于所述目标人员的面部对所述目标人员的图像进行识别，从而确定所述目标人员的身份；若所述目标人员的行为为非允许行为，则将所述非允许行为记录在于所述目标人员的身份对应的数据库条目中，从而提高行为监控的效率；进一步地，在所述用户的行为为危险行为时，可以进行报警。
在本发明的一种实施方式中，所述的图像识别技术部署在神经网络中，神经网络可以由多个神经元组成。在所述神经网络中，所述的图像识别技术算法可以表示成如下所述的计算式：
m＝f(pi+λ)＝f(Api+λ),i＝0,...,n-1
其中，m表示识别出的面部特征，pi表示采集的图像，采集的图像的数量为n张，λ表示调整因子，该调整因子根据不同的目标人员的图像会有不同，f()表示的是神经元对应的激活函数，A是激活函数对应的模块参数。在一种实施方式中，激活函数f()具体可以是sigmoid函数，即f()可以表示成如下的形式：
其中，激活函数f()的模块参数是预先训练好的，在一种实施方式中模块参数A具体可以通过如下训练函数训练获得：
其中，M是训练函数的参数，N是训练集合中三维模型的数量，pn是训练集合中目标人员的图片，λn是训练集合中的调整因子。
可以理解的是，对目标人员的行为进行识别时也可以采用类似的方式，此处不再赘述。
图2描述了本发明一个实施例提供的一种行为监控机器人的结构，其中，该机器人可以用于实现前述实施例提供的行为监控方法。如图2所示，该机器人可以包括：
图像采集单元201，用于对目标人员进行图像采集，以获取所述目标人员的图像，所述目标人员的图像至少包括了所述目标人员的姿态和所述目标人员的面部。
所述的目标人员是指在工作场所内的人员，例如办公室，会议室，车间等等。
在一种实施方式中，对目标人员进行图像采集时，可以仅采集一张图像，从而基于2D的图像识别技术进行面部识别。采用这种方式能够比较快的完成识别，从而提高识别的效率。
在另一种实施方式中，为了提高检测的准确性，可以采用3D的图像识别技术，此时，从多个角度对所述目标人员进行图像采集，以获取具有不同角度的所述目标人员的多个图像。
行为确定单元202，用于基于所述目标人员的姿态对所述目标人员的图像进行识别，以确定所述目标人员的行为。
其中，在一种实施方式中，使用的是2D的图像识别技术，此时，可以对采集的所述人员的一张图像进行面部特征的提取，所述面部特征包括但不限于：五官的形状，五官之间的距离等等。则所述基于所述目标人员的面部对所述目标人员的图像进行识别，从而确定所述目标人员的身份可以包括：
基于所述目标人员的面部提取所述目标人员的面部特征；
根据所述面部特征从数据库中进行查找，从而确定所述目标人员的身份。
在另一种实施方式中，使用的是3D的图像识别技术，此时，首先需要基于所述人员的多个图像对所述人员的面部进行三维建模，从而获取所述人员的面部的三维模型；然后基于所述人员的面部的三维模型确定所述人员的面部特征。此时，所述人员的面部特征除了可以包括五官的形状，五官之间的距离等等外，还可以包括鼻子的高度，眼窝的深度，下巴的凸凹程度等等。所述对目标人员进行图像采集，以获取所述目标人员的图像包括：
从多个角度对所述目标人员进行图像采集，以获取具有不同角度的所述目标人员的多个图像；
所述基于所述目标人员的面部对所述目标人员的图像进行识别，从而确定所述目标人员的身份包括：
基于所述目标人员的多个图像对所述目标人员的面部进行三维建模，从而获取所述目标人员的面部的三维模型；
基于所述目标人员的面部的三维模型确定所述目标人员的面部特征；
根据所述面部特征从数据库中进行查找，从而确定所述目标人员的身份。
其中，图像识别技术可以使用现有的图像识别技术，也可以使用本发明实施例提供的图像识别技术。本发明实施例提供的图像识别技术是基于神经网络模型实现的，例如可以是卷积神经网络(CNN：Convolutional Neural Network,)模型，或循环神经网络(RNN：Recurrent Neural Networks)模型，或者也可以是深度神经网络(DNN：Deep NeuralNetworks)模型。
身份确定单元203，用于基于所述目标人员的面部对所述目标人员的图像进行识别，以确定所述目标人员的身份。
其中，所述基于所述目标人员的姿态对所述目标人员的图像进行识别，从而确定所述目标人员的行为包括：
基于所述目标人员的姿态提取所述目标人员的行为特征；
基于所述行为特征，采用预先设置的算法对所述目标人员的行为进行识别。
其中，例如在所述目标人员为单个人员时，所述目标人员的行为可以是睡觉，发呆，工作，偷盗等等；其中，偷盗是非允许行为。
例如在所述目标人员为至少两个时，所述目标人员的行为是所述至少两个目标人员的组合行为，例如可以是交谈，亲昵行为，打架等等。其中，打架是非允许行为。
可以理解的是，什么样的行为为非允许行为可以由厂方根据需要进行设置。
其中，行为识别技术可以使用现有的行为识别技术，也可以使用本发明实施例提供的行为识别技术。本发明实施例提供的行为识别技术是基于神经网络模型实现的，例如可以是卷积神经网络(CNN：Convolutional Neural Network,)模型，或循环神经网络(RNN：Recurrent Neural Networks)模型，或者也可以是深度神经网络(DNN：Deep NeuralNetworks)模型。
处理单元204，用于在所述行为确定单元202确定所述目标人员的行为为非允许行为时，则将所述非允许行为记录在于所述身份确定单元203确定的所述目标人员的身份对应的数据库条目中。
进一步地，在一种实施方式中，若所述非允许行为为危险行为，例如偷盗，打架等等，所述处理单元204还可以进行报警。
其中，在一种实施方式中，所述行为确定单元202可以具体用于：
基于所述目标人员的姿态提取所述目标人员的行为特征；
基于所述行为特征，采用预先设置的算法对所述目标人员的行为进行识别。
在一种实施方式中，使用的是2D的图像识别技术，此时，可以对采集的所述人员的一张图像进行面部特征的提取，所述面部特征包括但不限于：五官的形状，五官之间的距离等等。则所述身份确定单元203可以具体用于：
基于所述目标人员的面部提取所述目标人员的面部特征；
根据所述面部特征从数据库中进行查找，以确定所述目标人员的身份。
在另一种实施方式中，使用的是3D的图像识别技术，此时，首先需要基于所述人员的多个图像对所述人员的面部进行三维建模，从而获取所述人员的面部的三维模型；然后基于所述人员的面部的三维模型确定所述人员的面部特征。此时，所述人员的面部特征除了可以包括五官的形状，五官之间的距离等等外，还可以包括鼻子的高度，眼窝的深度，下巴的凸凹程度等等。则所述图像采集单元201可以具体用于：
从多个角度对所述目标人员进行图像采集，以获取具有不同角度的所述目标人员的多个图像；
所述身份确定单元203可以具体用于：
基于所述目标人员的多个图像对所述目标人员的面部进行三维建模，以获取所述目标人员的面部的三维模型；
基于所述目标人员的面部的三维模型确定所述目标人员的面部特征；
根据所述面部特征从数据库中进行查找，以确定所述目标人员的身份。
从上可知，使用本发明实施例提供的机器人，可以对目标人员进行图像采集，以获取所述目标人员的图像，所述目标人员的图像至少包括了所述目标人员的姿态和所述目标人员的面部；基于所述目标人员的姿态对所述目标人员的图像进行识别，从而确定所述目标人员的行为；基于所述目标人员的面部对所述目标人员的图像进行识别，从而确定所述目标人员的身份；若所述目标人员的行为为非允许行为，则将所述非允许行为记录在于所述目标人员的身份对应的数据库条目中，从而提高行为监控的效率；进一步地，在所述用户的行为为危险行为时，可以进行报警。
上述机器人包括的各单元模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(ROM：Read-Only Memory)或随机存储记忆体(RAM：RandomAccess Memory)等。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种行为监控方法，其特征在于，包括：
对目标人员进行图像采集，以获取所述目标人员的图像，所述目标人员的图像至少包括了所述目标人员的姿态和所述目标人员的面部；
基于所述目标人员的姿态对所述目标人员的图像进行识别，以确定所述目标人员的行为；
基于所述目标人员的面部对所述目标人员的图像进行识别，以确定所述目标人员的身份；
若所述目标人员的行为为非允许行为，则将所述非允许行为记录在于所述目标人员的身份对应的数据库条目中。
2.如权利要求1的方法，其特征在于，所述基于所述目标人员的姿态对所述目标人员的图像进行识别，以确定所述目标人员的行为包括：
基于所述目标人员的姿态提取所述目标人员的行为特征；
基于所述行为特征，采用预先设置的算法对所述目标人员的行为进行识别。
3.如权利要求1或2所述的方法，其特征在于，所述基于所述目标人员的面部对所述目标人员的图像进行识别，以确定所述目标人员的身份包括：
基于所述目标人员的面部提取所述目标人员的面部特征；
根据所述面部特征从数据库中进行查找，以确定所述目标人员的身份。
4.如权利要求1或2所述的方法，其特征在于，所述对目标人员进行图像采集，以获取所述目标人员的图像包括：
从多个角度对所述目标人员进行图像采集，以获取具有不同角度的所述目标人员的多个图像；
所述基于所述目标人员的面部对所述目标人员的图像进行识别，以确定所述目标人员的身份包括：
基于所述目标人员的多个图像对所述目标人员的面部进行三维建模，以获取所述目标人员的面部的三维模型；
基于所述目标人员的面部的三维模型确定所述目标人员的面部特征；
根据所述面部特征从数据库中进行查找，以确定所述目标人员的身份。
5.根据权利要求1或2所述的方法，其特征在于，所述目标人员的数量为至少两个，所述确定的目标人员的行为为所述至少两个目标人员的组合行为。
6.一种机器人，其特征在于，包括：
图像采集单元，用于对目标人员进行图像采集，以获取所述目标人员的图像，所述目标人员的图像至少包括了所述目标人员的姿态和所述目标人员的面部；
行为确定单元，用于基于所述目标人员的姿态对所述目标人员的图像进行识别，以确定所述目标人员的行为；
身份确定单元，用于基于所述目标人员的面部对所述目标人员的图像进行识别，以确定所述目标人员的身份；
处理单元，用于在所述行为确定单元确定所述目标人员的行为为非允许行为时，则将所述非允许行为记录在于所述身份确定单元确定的所述目标人员的身份对应的数据库条目中。
7.如权利要求6的机器人，其特征在于，所述行为确定单元具体用于：
基于所述目标人员的姿态提取所述目标人员的行为特征；
基于所述行为特征，采用预先设置的算法对所述目标人员的行为进行识别。
8.如权利要求6或7所述的机器人，其特征在于，所述身份确定单元具体用于：
基于所述目标人员的面部提取所述目标人员的面部特征；
根据所述面部特征从数据库中进行查找，以确定所述目标人员的身份。
9.如权利要求6或7所述的机器人，其特征在于，所述图像采集单元具体用于：
从多个角度对所述目标人员进行图像采集，以获取具有不同角度的所述目标人员的多个图像；
所述身份确定单元具体用于：
基于所述目标人员的多个图像对所述目标人员的面部进行三维建模，以获取所述目标人员的面部的三维模型；
基于所述目标人员的面部的三维模型确定所述目标人员的面部特征；
根据所述面部特征从数据库中进行查找，以确定所述目标人员的身份。
10.如权利要求6或7所述的机器人，其特征在于，所述目标人员的数量为两个或以上，所述确定的目标人员的行为为所述至少两个目标人员的组合行为。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810927320.XA CN109145804A (zh) | 2018-08-15 | 2018-08-15 | 行为监控方法及机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810927320.XA CN109145804A (zh) | 2018-08-15 | 2018-08-15 | 行为监控方法及机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109145804A true CN109145804A (zh) | 2019-01-04 |
Family
ID=64789448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810927320.XA Pending CN109145804A (zh) | 2018-08-15 | 2018-08-15 | 行为监控方法及机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109145804A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112016363A (zh) * | 2019-05-30 | 2020-12-01 | 富泰华工业（深圳）有限公司 | 人员监控方法、装置、计算机装置及可读存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104581047A (zh) * | 2014-12-15 | 2015-04-29 | 苏州福丰科技有限公司 | 用于监控录像的三维人脸识别方法 |
| CN104615983A (zh) * | 2015-01-28 | 2015-05-13 | 中国科学院自动化研究所 | 基于递归神经网络和人体骨架运动序列的行为识别方法 |
| CN105718857A (zh) * | 2016-01-13 | 2016-06-29 | 兴唐通信科技有限公司 | 一种人体异常行为检测方法及系统 |
| WO2016109841A1 (en) * | 2014-12-31 | 2016-07-07 | Morphotrust Usa, Llc | Detecting facial liveliness |
| CN205540806U (zh) * | 2016-04-07 | 2016-08-31 | 小煷伴（深圳）智能科技有限公司 | 一种三维人脸图像识别装置 |
| CN106780569A (zh) * | 2016-11-18 | 2017-05-31 | 深圳市唯特视科技有限公司 | 一种人体姿态估计行为分析方法 |
| CN107103310A (zh) * | 2017-06-01 | 2017-08-29 | 鄂尔多斯市普渡科技有限公司 | 一种无人驾驶出租车的乘客行为监督系统及方法 |
| CN107609517A (zh) * | 2017-09-15 | 2018-01-19 | 华中科技大学 | 一种基于计算机视觉的课堂行为检测系统 |
| CN107644190A (zh) * | 2016-07-20 | 2018-01-30 | 北京旷视科技有限公司 | 行人监控方法和装置 |
-
2018
- 2018-08-15 CN CN201810927320.XA patent/CN109145804A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104581047A (zh) * | 2014-12-15 | 2015-04-29 | 苏州福丰科技有限公司 | 用于监控录像的三维人脸识别方法 |
| WO2016109841A1 (en) * | 2014-12-31 | 2016-07-07 | Morphotrust Usa, Llc | Detecting facial liveliness |
| CN104615983A (zh) * | 2015-01-28 | 2015-05-13 | 中国科学院自动化研究所 | 基于递归神经网络和人体骨架运动序列的行为识别方法 |
| CN105718857A (zh) * | 2016-01-13 | 2016-06-29 | 兴唐通信科技有限公司 | 一种人体异常行为检测方法及系统 |
| CN205540806U (zh) * | 2016-04-07 | 2016-08-31 | 小煷伴（深圳）智能科技有限公司 | 一种三维人脸图像识别装置 |
| CN107644190A (zh) * | 2016-07-20 | 2018-01-30 | 北京旷视科技有限公司 | 行人监控方法和装置 |
| CN106780569A (zh) * | 2016-11-18 | 2017-05-31 | 深圳市唯特视科技有限公司 | 一种人体姿态估计行为分析方法 |
| CN107103310A (zh) * | 2017-06-01 | 2017-08-29 | 鄂尔多斯市普渡科技有限公司 | 一种无人驾驶出租车的乘客行为监督系统及方法 |
| CN107609517A (zh) * | 2017-09-15 | 2018-01-19 | 华中科技大学 | 一种基于计算机视觉的课堂行为检测系统 |
Non-Patent Citations (2)
| Title |
|---|
| 杨秀金: "仓库值班员行为视频智能监控系统设计与开发", 《电脑编程技巧与维护》 * |
| 蒋刚 等: "《普通高等院校机械类"十二五"规划系列教材——工业机器人》", 31 January 2011 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112016363A (zh) * | 2019-05-30 | 2020-12-01 | 富泰华工业（深圳）有限公司 | 人员监控方法、装置、计算机装置及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Vakanski et al. | Trajectory learning for robot programming by demonstration using hidden Markov model and dynamic time warping | |
| CN111985385B (zh) | 一种行为检测方法、装置及设备 | |
| Charalampous et al. | Robot navigation in large-scale social maps: An action recognition approach | |
| CN108090408A (zh) | 用于执行脸部表情识别和训练的方法和设备 | |
| Randhavane et al. | Pedestrian dominance modeling for socially-aware robot navigation | |
| CN109086731A (zh) | 一种用于进行行为监控的机器人及存储介质 | |
| CN109101928A (zh) | 儿童看护方法及机器人 | |
| Dijkstra et al. | Wayfinding search strategies and matching familiarity in the built environment through virtual navigation | |
| CN109191633A (zh) | 员工识别方法及机器人 | |
| CN109118580A (zh) | 目标货物堆监控方法及相关装置 | |
| CN109003329A (zh) | 一种目标货物堆监控设备及存储介质 | |
| Kashyap et al. | Multi-objective trajectory planning of humanoid robot using hybrid controller for multi-target problem in complex terrain | |
| CN109088452B (zh) | 机器人充电方法及机器人 | |
| CN109145804A (zh) | 行为监控方法及机器人 | |
| CN108858201A (zh) | 一种用于看护儿童的机器人及存储介质 | |
| Singh et al. | Understanding socially aware robot navigation | |
| CN108981712A (zh) | 机器人巡逻方法及机器人 | |
| CN108877115A (zh) | 疏散指引方法及机器人 | |
| Pham et al. | A proposal model using deep learning model integrated with knowledge graph for monitoring human behavior in forest protection | |
| CN108958024A (zh) | 机器人巡逻方法及机器人 | |
| CN109255865A (zh) | 一种用于识别员工的机器人及存储介质 | |
| CN109048899A (zh) | 一种巡逻机器人及存储介质 | |
| CN109242902A (zh) | 一种用于清理厂区积水的机器人及存储介质 | |
| CN109270931A (zh) | 控制机器人巡逻的方法及装置 | |
| CN109214305A (zh) | 积水清理方法及机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210615 Address after: 210000 No.10 Fenghuang street, Jiangpu street, Pukou District, Nanjing City, Jiangsu Province - qc0077 Applicant after: Nanjing yunanfeng technology transfer Co.,Ltd. Address before: 518000 room 406, group building, xufeihua Dayuan, Cuizhu street, North Cuizhu Road, Luohu District, Shenzhen City, Guangdong Province Applicant before: SHENZHEN FENGJUN INFORMATION TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190104 |
|
| RJ01 | Rejection of invention patent application after publication |