CN107516127B - 服务机器人自主获取人穿携物品归属语义的方法及系统 - Google Patents

Abstract

本发明公开了一种服务机器人自主获取人穿携物品归属语义的方法及系统，进行人脸识别，并对获取的图像进行深度模型训练，得到人脸识别模型，使用模型对人脸图像进行特征提取，送入线性分类器对提取的特征进行匹配，得到人物身份；获取人的身体关键部位点信息，对穿携物品进行定位，采集到物品的点云信息，通过云端语义样本库进行物品识别，获取到物品类别信息；以服务周期为时间间隔，利用记忆矩阵表示人与物品归属关系，基于记忆的学习方式进行人物身份和物品关系的学习，得到人物身份和物品的对应关系。本发明能推动服务机器人真正走入人的工作和生活的进程，同时推动服务机器人的产业化。

Description

服务机器人自主获取人穿携物品归属语义的方法及系统

技术领域

本发明涉及一种服务机器人自主获取人穿携物品归属语义的方法及系统。

背景技术

服务机器人要给人提供服务，必须提高其智能水平。智能服务机器人应能够与作业环境、人和其它机器人自然交互、自主适应复杂动态环境并协同作业。随着服务机器人越来越多地进入我们的工作和生活，按人的命令操作环境中的物品将越来越频繁。办公或者家庭环境中通常有多人同时工作或者生活，每个人都有自己专属的经常携带的日用品，如包、手机、杯子、帽子或者鞋等。

当机器人提供服务任务时，准确找到命令发出者的物品是任务完成的前提。例如，若主人A让机器人执行拿手机任务，机器人需在几个手机中确定哪个属于主人A，才能顺利完成任务。主人B回到家中，机器人应能准确取主人B的拖鞋送到其跟前。主人C要出门时，机器人递上主人C的包、帽子和围巾。服务机器人学习了物品与人的语义归属关系，才能根据人的语义命令找到要拿的物品，满足人的个性化需求，提供智能化的服务。因此提取人穿携物品归属语义是机器人提供智能服务的根本保证。

发明内容

本发明为了解决上述问题，提出了一种服务机器人自主获取人穿携物品归属语义的方法及系统，本发明基于视觉传感器，在复杂多变的室内环境中，提取多角度下的动态人脸特征，剔除干扰数据并定位人的可能穿携物品的关键部位，基于物品语义库确定穿携物品的类别；同时基于深度学习算法对人脸进行检测和识别，并在衣着特征提取基础上设置人的身份标签，经过迭代周期学习确定该环境中的各主人身份，基于记忆学习算法提取人穿携物品的归属语义。

为了实现上述目的，本发明采用如下技术方案：

一种服务机器人自主获取人穿携物品归属语义的方法，包括以下步骤：

(1)进行人脸识别，并对获取的图像进行深度模型训练，得到人脸识别模型，使用模型对人脸图像进行特征提取，送入线性分类器对提取的特征进行匹配，得到人物身份；

(2)获取人的身体关键部位点信息，对穿携物品进行定位，采集到物品的点云信息，通过云端语义样本库进行物品识别，获取到物品类别信息；

(3)以服务周期为时间间隔，利用记忆矩阵表示人与物品归属关系，基于记忆的学习方式进行人物身份和物品关系的学习，得到人物身份和物品的对应关系。

所述步骤(1)中，使用Kinect设备获取到深度信息，以深度信息为基础对不同姿态、光照和/或背景条件下的人脸图像进行自主采集。

所述步骤(1)中，在获取人脸图像的同时，采集人的衣物图像，对其进行颜色和纹理特征提取，以这些特征作为区分不同人物的标签对人物图像进行标定，将获取到的图像以相应身份为区分指标进行存储，并定期与云平台进行交互，将图像以云数据的形式进行存储，图像获取完成后，使用获取到的人脸图像对深度模型进行训练，得到人脸识别模型，使用模型对人脸图像进行特征提取，送入线性分类器对提取的特征进行匹配，得到人物身份。

进一步的，所述步骤(1)中，以获取到的深度信息为基础，通过对人物头部及颈部进行空间位置进行标定，得到两者的空间坐标，通过空间距离计算公式得到两者之间的空间距离信息，以此空间距离信息为边界信息对人脸图像进行采集。

进一步的，所述步骤(1)中，使用SeetaFace Detection对采集到的人脸图像进行人脸位置修正，SeetaFace Detection为级联的漏斗结构，使用多层针对多姿态的快速LAB级联分类器和多层粗多层感知器级联后由一个粗多层感知器级联结构来处理所有姿态的候选窗口，最终得到人脸的位置信息。

进一步的，所述步骤(1)中，利用反向传播算法对卷积神经网络进行微调。

具体的，前向传播过程中，先使用预训练好的CNN模型提取特征，并使用全连接层作为特征与后端分类器的转换层，将经过全连接层进行数据转换后的人脸特征送入后端分类器进行身份识别，选用交叉熵代价函数表示分类器识别结果对真实结果的误差，完成卷积神经网络的前向传播过程；

反向传播过程中，由链式求导法则计算前向传播的误差对各层神经元之间的连接强度和各层神经元的偏置参数的梯度，并不断更新，完成反向传播过程。

所述步骤(2)中，根据深度信息获取的人体关节点标定，通过关节点信息进行穿戴物品定位分割，并采集到相应的点云数据，利用云端语义样本库进行匹配，得到物品的类别信息。

所述步骤(2)中，模拟人的长短期记忆，利用人物对物品的归属概率构建记忆矩阵来对人与物品归属关系进行表示。

进一步的，所述步骤(2)中，人与物品关系的学习以服务周期为时间间隔进行重复学习，在每个服务周期中，机器人通过Kinect设备获取到人物面部图像以及物品点云图像，使用前述方法获取到人物身份以及物品识别信息，对此次获取到的人物归属物品信息进行统计，最终当一个周期结束时，统计各个物品的归属概率将其以记忆矩阵的形式进行存储，经过多个短期周期的迭代学习获取到多个记忆矩阵，最终求取所有记忆矩阵的均值，以每一列中概率最大的人物作为本物品的归属，获得最终的人与物品归属关系的表示。

进一步的，所述步骤(2)中，将人与物品归属关系的表示关系存储到云端实现数据的云化。

一种服务机器人自主获取人穿携物品归属语义的系统，包括：

机器人本体，所述机器人本体上设置有图像采集设备以进行人脸识别；

模型训练模块，被配置为对获取的图像进行深度模型训练，得到人脸识别模型，使用模型对人脸图像进行特征提取，送入线性分类器对提取的特征进行匹配，得到人物身份；

物品学习模块，被配置为根据获取的人物身体关键部位点信息，对穿携物品进行定位，采集到物品的点云信息，通过云端语义样本库进行物品识别，获取到物品类别信息；

关系构建模块，以服务周期为时间间隔，利用记忆矩阵表示人与物品归属关系，基于记忆的学习方式进行人物身份和物品关系的学习，得到人物身份和物品的对应关系。

与现有技术相比，本发明的有益效果为：

本发明提供了解决人常穿携物品与主人的归属关系的获取思路和方法。该方法弥补了服务机器人环境认知中人-物语义关系缺乏的不足，更符合人在担任保姆角色时的服务任务执行特征，提升了服务机器人的智能化水平；

本发明能够适用于多个服务主人和服务主人具有多个附属物品的情况，能够进行归属自动识别与配置，有利于智能家居、智慧社区的建立；

本发明的人穿携物品语义归属认知完全由服务机器人自主完成。整个认知过程不需要人的参与。此功能的设计和实现能推动服务机器人真正走入人的工作和生活的进程，同时推动服务机器人的产业化。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本发明的流程示意图；

图2为本发明的关节点标定图；

图3为网络未微调vs微调识别准确率；

图4(a)、图4(b)分别为物品分割及物品点云图像实验图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

正如背景技术所介绍的，现有技术中存在机器人无法得知多个主人的情况下，各个物品的归属关系的不足，为了解决如上的技术问题，本申请提出一种服务机器人自主获取人穿携物品归属语义的方法。

本方法要确定主人身份，首先进行人脸识别。使用Kinect设备获取到深度信息，以深度信息为基础对不同姿态、光照、背景等条件下的人脸图像进行自主采集。在获取人脸图像的同时，采集人的衣物图像，对其进行颜色，纹理等特征提取，以这些特征作为区分不同人物的标签对人物图像进行标定，将获取到的图像以相应身份为区分指标进行存储，并定期与云平台进行交互，将图像以云数据的形式进行存储。图像获取完成后，使用获取到的人脸图像对深度模型进行训练，得到人脸识别模型。最终使用模型对人脸图像进行特征提取，送入线性分类器对提取的特征进行匹配，得到人物身份。

使用Kinect设备获取人的身体关键部位点信息，对穿携物品进行定位，采集到物品的点云信息，通过云端语义-CVFH样本库进行物品识别，获取到物品类别信息。

人的穿戴物品相对于家庭环境中其他物品会以更高的频率出现在人物所在区域，因此需要对物品出现频率进行统计学习，进而学习到人与物品的归属关系。采用基于记忆的学习方式进行两者关系的学习。首先利用前述方法识别出同一时刻人物的身份信息以及物品的类别信息，以人物为中心统计物品出现的频次，将其以短期记忆矩阵形式进行存储，为了实现学习的可间断性以及频率数据的更新，设定一个短期周期，经过多个短期周期的迭代学习，将获得的记忆矩阵进行统计，并将关系数据存储在云端，实现数据存储的云端化，最终自主学习到人与物品归属关系。其中短期周期定义为当机器人学习时间满足预先设定的时间周期。

作为一种典型实施方式，如图1所示，人脸数据获取：

为了实现人脸图像的采集，使用Kinect作为图像获取设备，通过处理景深数据追踪到人脸在空间中的位置信息，并将人脸图像通过云端进行存储，实现数据的云化以及数据的共享。根据景深信息获取的人体关节点标定如图2所示。

为确保获取到人脸图像的完整性，以获取到的深度信息为基础，通过对人物头部及颈部进行空间位置进行标定，得到两者的空间坐标h(x,y,z)和n(x,y,z)，通过空间距离计算公式得到两者之间的空间距离信息d(h,n)，以此空间距离信息为边界信息对人脸图像进行采集。

为了使特征提取能够更加有效地提取到人脸面部图像的信息，对Kinect采集到的人脸图像使用SeetaFace Detection进行人脸位置修正，进一步提高人脸定位精度。SeetaFace Detection用级联的漏斗结构(Funnel-Structured cascade，FuSt)实现，可实现多姿态脸部检测。FuSt采用“由粗到细的结构”，前几层使用针对多姿态的快速LAB级联分类器，后几层是粗多层感知器(coarse Multilayer Perceptron，coarse MLP)级联结构，最后由一个统一的MLP级联结构来处理所有姿态的候选窗口，最终得到人脸的位置信息。

人脸特征提取与识别：

不同的人脸之间存在共性，因此可以从现有的人脸数据进行有监督的预训练，学习到关于人脸特征的知识，在此基础上将学习到的知识用于新的人脸识别中，即实现同构空间下基于特征的迁移学习。为了使学习到的人脸特征的知识更具有针对性，使用存储在云端的人脸数据对卷积神经网络(CNN)进行微调，即采用有监督的预训练+微调的方式训练卷积神经网络。

对神经网络的微调使用反向传播算法(BP)。前向传播过程中，先使用预训练好的CNN模型提取特征，并使用全连接层作为特征与后端分类器的转换层，数学表达式为：

其中：n是前一层的神经元个数；l表示当前层数；

是该层神经元j与前一层神经元i的连接强度；

是该层神经元j的偏置；f(·)表示激活函数，

即为转换后的特征。将经过全连接层进行数据转换后的人脸特征送入后端Softmax分类器进行身份识别，选用交叉熵代价函数表示Softmax分类器识别结果对真实结果的误差，完成卷积神经网络的前向传播过程。其中代价函数L_loss定义如下：

其中，x表示样本，n表示样本的总数，a为网络的实际输出，y为期望输出。反向传播过程中，由链式求导法则计算前向传播的误差对参数w_j的梯度：

b的梯度：

其中σ(z)是模型输出，σ(z)-y是误差，由公式

进行参数更新，完成反向传播过程。

经过正向传播与反向传播过程的不断迭代，得到最终的人脸识别模型。图3展示了同一网络微调前后的识别准确率变化。

人穿戴物品识别：

使用Kinect设备获取所在空间的景深信息，通过关节点信息进行穿戴物品定位分割，并采集到相应的点云数据，利用云端语义-CVFH样本库进行匹配，得到物品的类别信息。图4(a)为通过Kinect设备进行物品分割图像，图4(b)获取到的物品点云图像。

基于记忆矩阵的物品归属关系表示：

模拟人的长短期记忆，提出记忆矩阵来对人与物品归属关系进行表示，记忆矩定义如下：

其中a_ij表示人物i对物品j的归属概率。

人与物品归属关系学习：

人与物品关系的学习以服务周期为时间间隔进行重复学习。在每个服务周期中，机器人通过Kinect设备获取到人物面部图像以及物品点云图像，使用前述方法获取到人物身份以及物品识别信息，对此次获取到的人物归属物品信息进行统计，最终当一个周期结束时，统计各个物品的归属概率将其以记忆矩阵的形式进行存储。经过多个短期周期的迭代学习获取到多个记忆矩阵，最终求取所有记忆矩阵的均值，以每一列中概率最大的人物作为本物品的归属，获得最终的人与物品归属关系的表示，并将此关系存储到云端实现数据的云化。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：包括以下步骤：

(1)进行人脸识别，并对获取的图像进行深度模型训练，得到人脸识别模型，使用模型对人脸图像进行特征提取，送入线性分类器对提取的特征进行匹配，得到人物身份；

(2)获取人的身体关键部位点信息，对穿携物品进行定位，采集到物品的点云信息，通过云端语义样本库进行物品识别，获取到物品类别信息；

(3)以服务周期为时间间隔，利用记忆矩阵表示人与物品归属关系，基于记忆的学习方式进行人物身份和物品关系的学习，得到人物身份和物品的对应关系；

模拟人的长短期记忆，提出记忆矩阵来对人与物品归属关系进行表示，记忆矩定义如下：

其中a_ij表示人物i对物品j的归属概率；

人与物品关系的学习以服务周期为时间间隔进行重复学习；在每个服务周期中，机器人通过Kinect设备获取到人物面部图像以及物品点云图像，使用前述方法获取到人物身份以及物品识别信息，对此次获取到的人物归属物品信息进行统计，最终当一个周期结束时，统计各个物品的归属概率将其以记忆矩阵的形式进行存储；经过多个短期周期的迭代学习获取到多个记忆矩阵，最终求取所有记忆矩阵的均值，以每一列中概率最大的人物作为本物品的归属，获得最终的人与物品归属关系的表示，并将此关系存储到云端实现数据的云化。

2.如权利要求1所述的一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：所述步骤(1)中，使用Kinect设备获取到深度信息，以深度信息为基础对不同姿态、光照和/或背景条件下的人脸图像进行自主采集。

3.如权利要求1所述的一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：所述步骤(1)中，在获取人脸图像的同时，采集人的衣物图像，对其进行颜色和纹理特征提取，以这些特征作为区分不同人物的标签对人物图像进行标定，将获取到的图像以相应身份为区分指标进行存储，并定期与云平台进行交互，将图像以云数据的形式进行存储，图像获取完成后，使用获取到的人脸图像对深度模型进行训练，得到人脸识别模型，使用模型对人脸图像进行特征提取，送入线性分类器对提取的特征进行匹配，得到人物身份。

4.如权利要求1所述的一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：所述步骤(1)中，以获取到的深度信息为基础，通过对人物头部及颈部进行空间位置进行标定，得到两者的空间坐标，通过空间距离计算公式得到两者之间的空间距离信息，以此空间距离信息为边界信息对人脸图像进行采集。

5.如权利要求1所述的一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：所述步骤(1)中，使用SeetaFace Detection对采集到的人脸图像进行人脸位置修正，SeetaFace Detection为级联的漏斗结构，使用多层针对多姿态的快速LAB级联分类器和多层粗多层感知器级联后由一个粗多层感知器级联结构来处理所有姿态的候选窗口，最终得到人脸的位置信息。

6.如权利要求1所述的一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：所述步骤(1)中，利用反向传播算法对卷积神经网络进行微调：前向传播过程中，先使用预训练好的CNN模型提取特征，并使用全连接层作为特征与后端分类器的转换层，将经过全连接层进行数据转换后的人脸特征送入后端分类器进行身份识别，选用交叉熵代价函数表示分类器识别结果对真实结果的误差，完成卷积神经网络的前向传播过程；

反向传播过程中，由链式求导法则计算前向传播的误差对各层神经元之间的连接强度和各层神经元的偏置参数的梯度，并不断更新，完成反向传播过程。

7.如权利要求1所述的一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：所述步骤(2)中，根据深度信息获取的人体关节点标定，通过关节点信息进行穿戴物品定位分割，并采集到相应的点云数据，利用云端语义样本库进行匹配，得到物品的类别信息。

8.如权利要求1所述的一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：所述步骤(3)中，模拟人的长短期记忆，利用人物对物品的归属概率构建记忆矩阵来对人与物品归属关系进行表示。

9.如权利要求1所述的一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：所述步骤(3)中，人与物品关系的学习以服务周期为时间间隔进行重复学习，在每个服务周期中，机器人通过Kinect设备获取到人物面部图像以及物品点云图像，使用前述方法获取到人物身份以及物品识别信息，对此次获取到的人物归属物品信息进行统计，最终当一个周期结束时，统计各个物品的归属概率将其以记忆矩阵的形式进行存储，经过多个短期周期的迭代学习获取到多个记忆矩阵，最终求取所有记忆矩阵的均值，以每一列中概率最大的人物作为本物品的归属，获得最终的人与物品归属关系的表示。

10.一种服务机器人自主获取人穿携物品归属语义的系统，其特征是：包括：

机器人本体，所述机器人本体上设置有图像采集设备以进行人脸识别；

模型训练模块，被配置为对获取的图像进行深度模型训练，得到人脸识别模型，使用模型对人脸图像进行特征提取，送入线性分类器对提取的特征进行匹配，得到人物身份；

物品学习模块，被配置为根据获取的人物身体关键部位点信息，对穿携物品进行定位，采集到物品的点云信息，通过云端语义样本库进行物品识别，获取到物品类别信息；

关系构建模块，以服务周期为时间间隔，利用记忆矩阵表示人与物品归属关系，基于记忆的学习方式进行人物身份和物品关系的学习，得到人物身份和物品的对应关系；

模拟人的长短期记忆，提出记忆矩阵来对人与物品归属关系进行表示，记忆矩定义如下：

其中a_ij表示人物i对物品j的归属概率；

人与物品关系的学习以服务周期为时间间隔进行重复学习；在每个服务周期中，机器人通过Kinect设备获取到人物面部图像以及物品点云图像，使用前述方法获取到人物身份以及物品识别信息，对此次获取到的人物归属物品信息进行统计，最终当一个周期结束时，统计各个物品的归属概率将其以记忆矩阵的形式进行存储；经过多个短期周期的迭代学习获取到多个记忆矩阵，最终求取所有记忆矩阵的均值，以每一列中概率最大的人物作为本物品的归属，获得最终的人与物品归属关系的表示，并将此关系存储到云端实现数据的云化。

Images