CN106682638A - 一种定位机器人智能互动的系统 - Google Patents

Abstract

本发明公开了一种定位机器人智能互动的系统，包括：通信模块、解析模块、GNSS模块、匹配模块、红外感应模块、P4P定位模块、人脸识别模块、判断模块、年龄检测模块、场景模块、互动模块等等。通过本发明实施例，对智能交互机器人实现位置精准定位授权之后，再启动智能交互机器人的交互功能，通过红外感应器感应目标区域内是否有人进入，从而启动整个人体目标对象的脸部识别过程，在进行脸部识别过程中，也实现了年龄匹配，从而在互动中实现相匹配的场景模式互动，从而增加了智能机器人的趣味性和智能化。保证了整个智能交互机器人精准位置定位授权，较好的满足远程控制，对整个机器人远程控制的私密控制性得到了较好的保障。

Description

一种定位机器人智能互动的系统

技术领域

本发明涉及智能制造技术领域，具体涉及一种定位机器人智能互动的系统。

背景技术

随着机器人技术的不断发展，越来越多的机器人开始替代人类执行各种任务。机器人是自动控制机器(Robot)的俗称，自动控制机器包括一切模拟人类行为或思想与模拟其他生物的机械(如机器狗，机器猫等)。狭义上对机器人的定义还有很多分类法及争议，有些电脑程序甚至也被称为机器人。在当代工业中，机器人指能自动执行任务的人造机器装置，用以取代或协助人类工作。理想中的高仿真机器人是高级整合控制论、机械电子、计算机与人工智能、材料学和仿生学的产物，目前科学界正在向此方向研究开发，但是机器人远程控制还不完善，大数据的应用还没有普及，机器人的数据采集还处于离线状态，机器人深度学习也来自于本机数据的储存。

随着科学技术的不断进步和机器人技术的不断发展，智能机器人已逐渐走入千家万户，市场上也出现了不少智能机器人给人们的生活带来便利和乐趣，其中，交互机器人作为智能机器人的一种，能够和人们互动，给人们的生活，尤其是给老人或孩子的生活增添了许多乐趣。市面上现有的交互机器人以自然语言处理和语义理解为核心，整合语音识别等技术，实现和各种设备的拟人化交互。但这些现有交互机器人还存在不足之处，如何实现机器人与实际指令相匹配的精准定位控制实现智能交互。

发明内容

本发明提供了一种定位机器人智能互动的系统，通过精准定位机器人与控制指令中的机器人位置关系来实现机器人智能互动，避免了机器人不受精准定 位控制，造成资源浪费或者控制不受约束。

本发明提供了一种定位机器人智能互动的系统，包括：

通信模块，用于接收控制指令，所述控制指令包括机器人的位置信息；

解析模块，用于解析所述控制指令中的机器人的位置信息；

GNSS模块，用于在解析模块解析完机器人的位置信息后，定位解析所述机器人所在的位置信息；

匹配模块，用于判断所述GNSS模块定位解析的位置信息与控制指令中的机器人的位置信息是否相匹配；

红外感应模块，用于在判断所述GNSS模块定位解析的位置信息与控制指令中的机器人的位置信息相匹配后，启动机器人上的红外感应器判断目标范围内是否有人存在；

P4P定位模块，用于在判断有人存在时，基于共面P4P的单目视觉定位原理对人体目标对象进行定位；

人脸识别模块，用于在完成人体目标对象的定位之后，基于人脸识别技术获取脸部特征数据；

判断模块，用于基于脸部特征数据判断所述人体目标对象是否为可互动对象；

年龄检测模块，用于在判断所述人体目标对象为可互动对象时，基于脸部特征数据识别人体目标对象的年龄范围；

场景模块，用于基于人体目标对象的年龄范围构建场景模式数据；

互动模块，用于基于语音交互模块输出场景模式数据所对应的语音内容。

所述P4P定位模块包括：

第一定位单元，用于基于平行四边形成像消隐点进行人体目标对象定位；

第二定位单元，用于通过牛顿迭代法进行优化获得人体目标对象在摄像机坐标系下的精确位姿。

所述人脸识别模块还用于人脸图像采集及检测、人脸图像预处理、人脸图像特征提取。

所述判断模块用于基于脸部特征数据判断是否有关联于所述脸部特征数 据的互动场景数据库，如果存在互动场景数据库，则判断所述人体目标对象为可互动对象。

所述年龄检测模块用于基于深度学习的方法识别人体目标对象的年龄和性别。

所述场景模块用于基于年龄范围调用与年龄范围相关联的场景模式模型；从场景模式模型中提取一个场景模式数据。

所述GNSS模块用于在解析出控制指令中的机器人位置信息之后，获取GNSS信号；解析所述机器人所在的位置信息。

所述GNSS信号包括：北斗卫星信号、GPS信号。

在本发明中，对智能交互机器人实现位置精准定位授权之后，再启动智能交互机器人的交互功能，通过红外感应器感应目标区域内是否有人进入，从而启动整个人体目标对象的脸部识别过程，在进行脸部识别过程中，也实现了年龄匹配，从而在互动中实现相匹配的场景模式互动，从而增加了智能机器人的趣味性和智能化。保证了整个智能交互机器人精准位置定位授权，较好的满足远程控制，对整个机器人远程控制的私密控制性得到了较好的保障。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的定位机器人智能互动的方法流程图；

图2是本发明实施例中的智能交互机器人结构示意图；

图3是本发明实施例中的P4P定位模块结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

具体的，图1示出了本发明实施例中的定位机器人智能互动的方法流程图，该方法包括如下步骤：

S101、机器人上的通信模块接收控制指令，所述控制指令包括机器人的位置信息；

S102、机器人解析所述控制指令中的机器人的位置信息；

S103、触发机器人上的GNSS模块定位解析所述机器人所在的位置信息；

需要说明的是，本发明实施例过程中控制指令中一般都设置有机器人位置信息，其作为GNSS模块获取定位信息的一个触发条件，在解析出在解析出控制指令中的机器人位置信息之后，基于GNSS模块获取GNSS信号；基于GNSS信号解析所述工业机器人所在的位置信息。GNSS信号包括：北斗卫星信号、GPS信号。

GNSS的全称是全球导航卫星系统(Global Navigation Satellite System)，它是泛指所有的卫星导航系统，包括全球的、区域的和增强的，如美国的GPS、俄罗斯的Glonass、欧洲的Galileo、中国的北斗卫星导航系统，以及相关的增强系统，如美国的WAAS(广域增强系统)、欧洲的EGNOS(欧洲静地导航重叠系统)和日本的MSAS(多功能运输卫星增强系统)等，还涵盖在建和以后要建设的其他卫星导航系统。国际GNSS系统是个多系统、多层面、多模式的复杂组合系统。

S104、判断所述GNSS模块定位解析的位置信息与控制指令中的机器人的位置信息是否相匹配；S105、在判断所述GNSS模块定位解析的位置信息与控制指令中的机器人的位置信息相匹配后，启动机器人上的红外感应器判断目标范围内是否有人存在，如果有人进入则进入S106，否则继续该步骤；

S106、在判断有人存在时，基于共面P4P的单目视觉定位原理对人体目标对象进行定位；

具体实施过程中，基于平行四边形成像消隐点进行人体目标对象定位；通过牛顿迭代法进行优化获得人体目标对象在摄像机坐标系下的精确位姿。

机器人在运动学标定过程中，通过视觉测量手段完成误差测量的关键在于视觉定位方法，基于4个空间点共面且所在平面与摄像机光轴不平行时，则对应的共面P4P问题有唯一解，因此通过4个共面点实现人体目标对象定位具有很强的实用价值，当4个空间共面点组成平行四边形时，该P4P问题的解可以通过平行四边形的两个消隐点很方便的求解。考虑到测量噪声以及四个特征点位置误差的影响，以消隐点计算出的结果作为初始值通过牛顿迭代法进行优化可以得到人体目标对象在摄像机坐标系下的精确位姿态，本发明实施例中的这种定位方法首选需要对摄像机参数进行标定。

S107、在完成人体目标对象的定位之后，基于人脸识别技术获取脸部特征数据；

该步骤实施过程中，包括：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取。

人脸图像采集：不同的人脸图像都能通过摄像镜头采集下来，比如静态图像、动态图像、不同的位置、不同表情等方面都可以得到很好的采集。当用户在采集设备的拍摄范围内时，采集设备会自动搜索并拍摄用户的人脸图像。

人脸检测：人脸检测在实际中主要用于人脸识别的预处理，即在图像中准确标定出人脸的位置和大小。人脸图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板特征、结构特征及Haar特征等。人脸检测就是把这其中有用的信息挑出来，并利用这些特征实现人脸检测。

主流的人脸检测方法基于以上特征采用Adaboost学习算法，Adaboost算法是一种用来分类的方法，它把一些比较弱的分类方法合在一起，组合出新的很强的分类方法。

人脸检测过程中使用Adaboost算法挑选出一些最能代表人脸的矩形特征(弱分类器)，按照加权投票的方式将弱分类器构造为一个强分类器，再将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，有效地提高分类器的检测速度。

人脸图像预处理：对于人脸的图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。系统获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。对于人脸图像而言，其预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。

人脸图像特征提取：人脸识别系统可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。人脸特征提取就是针对人脸的某些特征进行的。人脸特征提取，也称人脸表征，它是对人脸进行特征建模的过程。人脸特征提取的方法归纳起来分为两大类：一种是基于知识的表征方法；另外一种是基于代数特征或统计学习的表征方法。

基于知识的表征方法主要是根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据，其特征分量通常包括特征点间的欧氏距离、曲率和角度等。人脸由眼睛、鼻子、嘴、下巴等局部构成，对这些局部和它们之间结构关系的几何描述，可作为识别人脸的重要特征，这些特征被称为几何特征。基于知识的人脸表征主要包括基于几何特征的方法和模板匹配法。

S108、基于脸部特征数据判断所述人体目标对象是否为可互动对象，如果是可互动对象，则进入S109，否则进入S105步骤；

具体实施过程中，基于脸部特征数据判断是否有关联于所述脸部特征数据的互动场景数据库，如果存在互动场景数据库，则判断所述人体目标对象为可互动对象。对于定制性的智能机器人，可以采取脸部特征数据与互动场景数据库间的匹配关系，只有这两者关联起时，才进入互动场景。

S109、在判断所述人体目标对象为可互动对象时，基于脸部特征数据识别人体目标对象的年龄范围；

具体实施过程中，可以基于深度学习的方法识别人体目标对象的年龄和性别。预处理训练样本集和测试样本集中的所有图像，通过高斯混合模型提取出人体目标对象。其次，对训练样本集中各种目标行为建立样本库，定义不同类 别的识别行为作为先验知识，用于训练深度学习网络。最后，结合深度学习所得到的网络模型，分类识别测试样本集中的各种行为，并将识别的结果和当前流行方法进行了比较。

S110、基于人体目标对象的年龄范围构建场景模式数据；

具体实施过程中，基于年龄范围调用与年龄范围相关联的场景模式模型；从场景模式模型中提取一个场景模式数据。

根据不同的年龄范围建立不同的场景模式模型，其可以针对不同年龄段设置互动环节或者场景内容等等。

S111、基于语音交互模块输出场景模式数据所对应的语音内容；

具体实施过程中，其可以通过语音播放、显示屏显示灯方式输出整个内容，其保障了整个互动的趣味性和良好的体验性。

S112、结束。

需要说明的是，机器人在接收控制指令时，在完成整个匹配过程之后，即可实现对机器人控制的授权，即可完成相应的智能互动过程；在识别出整个匹配过程不成功之后，即对机器人授权的失败，不能完成相应的互动过程。

在整个智能互动过程中，对控制指令中写入机器人的位置信息，并基于机器人上的GNSS模块获取定位信息，从而解析该机器人的位置信息，机器人通过这两个信息间的匹配过程，可以精准实现机器人的后续操作，避免误操作发生。

相应的，图2示出了本发明实施例中的定位机器人智能互动的系统的结构示意图，该智能机器人包括：

通信模块，用于接收控制指令，所述控制指令包括机器人的位置信息；

解析模块，用于解析所述控制指令中的机器人的位置信息；

GNSS模块，用于在解析模块解析完机器人的位置信息后，定位解析所述机器人所在的位置信息；

匹配模块，用于判断所述GNSS模块定位解析的位置信息与控制指令中的机器人的位置信息是否相匹配；

红外感应模块，用于在判断所述GNSS模块定位解析的位置信息与控制指 令中的机器人的位置信息相匹配后，启动机器人上的红外感应器判断目标范围内是否有人存在；

P4P定位模块，用于在判断有人存在时，基于共面P4P的单目视觉定位原理对人体目标对象进行定位；

人脸识别模块，用于在完成人体目标对象的定位之后，基于人脸识别技术获取脸部特征数据；

判断模块，用于基于脸部特征数据判断所述人体目标对象是否为可互动对象；

年龄检测模块，用于在判断所述人体目标对象为可互动对象时，基于脸部特征数据识别人体目标对象的年龄范围；

场景模块，用于基于人体目标对象的年龄范围构建场景模式数据；

互动模块，用于基于语音交互模块输出场景模式数据所对应的语音内容。

具体实施过程中，图3示出了P4P定位模块结构示意图，该P4P定位模块包括：

第一定位单元，用于基于平行四边形成像消隐点进行人体目标对象定位；

第二定位单元，用于通过牛顿迭代法进行优化获得人体目标对象在摄像机坐标系下的精确位姿。

需要说明的是，机器人在运动学标定过程中，通过视觉测量手段完成误差测量的关键在于视觉定位方法，基于4个空间点共面且所在平面与摄像机光轴不平行时，则对应的共面P4P问题有唯一解，因此通过4个共面点实现人体目标对象定位具有很强的实用价值，当4个空间共面点组成平行四边形时，该P4P问题的解可以通过平行四边形的两个消隐点很方便的求解。考虑到测量噪声以及四个特征点位置误差的影响，以消隐点计算出的结果作为初始值通过牛顿迭代法进行优化可以得到人体目标对象在摄像机坐标系下的精确位姿态，本发明实施例中的这种定位方法首选需要对摄像机参数进行标定。

具体实施过程中，该人脸识别模块还用于人脸图像采集及检测、人脸图像预处理、人脸图像特征提取。

人脸图像采集：不同的人脸图像都能通过摄像镜头采集下来，比如静态图 像、动态图像、不同的位置、不同表情等方面都可以得到很好的采集。当用户在采集设备的拍摄范围内时，采集设备会自动搜索并拍摄用户的人脸图像。

人脸检测：人脸检测在实际中主要用于人脸识别的预处理，即在图像中准确标定出人脸的位置和大小。人脸图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板特征、结构特征及Haar特征等。人脸检测就是把这其中有用的信息挑出来，并利用这些特征实现人脸检测。

主流的人脸检测方法基于以上特征采用Adaboost学习算法，Adaboost算法是一种用来分类的方法，它把一些比较弱的分类方法合在一起，组合出新的很强的分类方法。

人脸检测过程中使用Adaboost算法挑选出一些最能代表人脸的矩形特征(弱分类器)，按照加权投票的方式将弱分类器构造为一个强分类器，再将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，有效地提高分类器的检测速度。

人脸图像预处理：对于人脸的图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。系统获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。对于人脸图像而言，其预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。

人脸图像特征提取：人脸识别系统可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。人脸特征提取就是针对人脸的某些特征进行的。人脸特征提取，也称人脸表征，它是对人脸进行特征建模的过程。人脸特征提取的方法归纳起来分为两大类：一种是基于知识的表征方法；另外一种是基于代数特征或统计学习的表征方法。

基于知识的表征方法主要是根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据，其特征分量通常包括特征点间的欧氏距离、曲率和角度等。人脸由眼睛、鼻子、嘴、下巴等局部构成，对这些局部和它们之间结构关系的几何描述，可作为识别人脸的重要特征，这些特征被 称为几何特征。基于知识的人脸表征主要包括基于几何特征的方法和模板匹配法。

具体实施过程中，该判断模块用于基于脸部特征数据判断是否有关联于所述脸部特征数据的互动场景数据库，如果存在互动场景数据库，则判断所述人体目标对象为可互动对象。基于脸部特征数据判断是否有关联于所述脸部特征数据的互动场景数据库，如果存在互动场景数据库，则判断所述人体目标对象为可互动对象。对于定制性的智能机器人，可以采取脸部特征数据与互动场景数据库间的匹配关系，只有这两者关联起时，才进入互动场景。

具体实施过程中，该年龄检测模块用于基于深度学习的方法识别人体目标对象的年龄和性别。这里可以基于深度学习的方法识别人体目标对象的年龄和性别。预处理训练样本集和测试样本集中的所有图像，通过高斯混合模型提取出人体目标对象。其次，对训练样本集中各种目标行为建立样本库，定义不同类别的识别行为作为先验知识，用于训练深度学习网络。最后，结合深度学习所得到的网络模型，分类识别测试样本集中的各种行为，并将识别的结果和当前流行方法进行了比较。

具体实施过程中，该场景模块用于基于年龄范围调用与年龄范围相关联的场景模式模型；从场景模式模型中提取一个场景模式数据。该场景模块基于年龄范围调用与年龄范围相关联的场景模式模型；从场景模式模型中提取一个场景模式数据。根据不同的年龄范围建立不同的场景模式模型，其可以针对不同年龄段设置互动环节或者场景内容等等

具体实施过程中，该GNSS模块用于在解析出控制指令中的机器人位置信息之后，获取GNSS信号；解析所述机器人所在的位置信息。需要说明的是，本发明实施例过程中控制指令中一般都设置有机器人位置信息，其作为GNSS模块获取定位信息的一个触发条件，在解析出在解析出控制指令中的机器人位置信息之后，基于GNSS模块获取GNSS信号；基于GNSS信号解析所述工业机器人所在的位置信息。GNSS信号包括：北斗卫星信号、GPS信号。GNSS的全称是全球导航卫星系统(Global Navigation Satellite System)，它是泛指所有的卫星导航系统，包括全球的、区域的和增强的，如美国的GPS、俄罗斯的Glonass、 欧洲的Galileo、中国的北斗卫星导航系统，以及相关的增强系统，如美国的WAAS(广域增强系统)、欧洲的EGNOS(欧洲静地导航重叠系统)和日本的MSAS(多功能运输卫星增强系统)等，还涵盖在建和以后要建设的其他卫星导航系统。国际GNSS系统是个多系统、多层面、多模式的复杂组合系统。

综上，对智能交互机器人实现位置精准定位授权之后，再启动智能交互机器人的交互功能，通过红外感应器感应目标区域内是否有人进入，从而启动整个人体目标对象的脸部识别过程，在进行脸部识别过程中，也实现了年龄匹配，从而在互动中实现相匹配的场景模式互动，从而增加了智能机器人的趣味性和智能化。保证了整个智能交互机器人精准位置定位授权，较好的满足远程控制，对整个机器人远程控制的私密控制性得到了较好的保障。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。

以上对本发明实施例所提供的定位机器人智能互动的系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种定位机器人智能互动的系统，其特征在于，包括：

通信模块，用于接收控制指令，所述控制指令包括机器人的位置信息；

解析模块，用于解析所述控制指令中的机器人的位置信息；

GNSS模块，用于在解析模块解析完机器人的位置信息后，定位解析所述机器人所在的位置信息；

匹配模块，用于判断所述GNSS模块定位解析的位置信息与控制指令中的机器人的位置信息是否相匹配；

红外感应模块，用于在判断所述GNSS模块定位解析的位置信息与控制指令中的机器人的位置信息相匹配后，启动机器人上的红外感应器判断目标范围内是否有人存在；

P4P定位模块，用于在判断有人存在时，基于共面P4P的单目视觉定位原理对人体目标对象进行定位；

人脸识别模块，用于在完成人体目标对象的定位之后，基于人脸识别技术获取脸部特征数据；

判断模块，用于基于脸部特征数据判断所述人体目标对象是否为可互动对象；

年龄检测模块，用于在判断所述人体目标对象为可互动对象时，基于脸部特征数据识别人体目标对象的年龄范围；

场景模块，用于基于人体目标对象的年龄范围构建场景模式数据；

互动模块，用于基于语音交互模块输出场景模式数据所对应的语音内容。

2.如权利要求1所述的定位机器人智能互动的系统，其特征在于，所述P4P定位模块包括：

第一定位单元，用于基于平行四边形成像消隐点进行人体目标对象定位；

第二定位单元，用于通过牛顿迭代法进行优化获得人体目标对象在摄像机坐标系下的精确位姿。

3.如权利要求1所述的定位机器人智能互动的系统，其特征在于，所述人脸识别模块还用于人脸图像采集及检测、人脸图像预处理、人脸图像特征提取。

4.如权利要求1所述的定位机器人智能互动的系统，其特征在于，所述判断模块用于基于脸部特征数据判断是否有关联于所述脸部特征数据的互动场景数据库，如果存在互动场景数据库，则判断所述人体目标对象为可互动对象。

5.如权利要求1至4任一项所述的定位机器人智能互动的系统，其特征在于，所述年龄检测模块用于基于深度学习的方法识别人体目标对象的年龄和性别。

6.如权利要求5所述的定位机器人智能互动的系统，其特征在于，所述场景模块用于基于年龄范围调用与年龄范围相关联的场景模式模型；从场景模式模型中提取一个场景模式数据。

7.如权利要求1所述的定位机器人智能互动的系统，其特征在于，所述GNSS模块用于在解析出控制指令中的机器人位置信息之后，获取GNSS信号；解析所述机器人所在的位置信息。

8.如权利要求7所述的定位机器人智能互动的系统，其特征在于，所述GNSS信号包括：北斗卫星信号、GPS信号。