CN110553650B - 一种基于小样本学习的移动机器人重定位方法 - Google Patents

Abstract

本发明公开了一种基于小样本学习的移动机器人重定位方法，包括步骤：1)获取地图环境数据的训练集；2)构建原型网络，训练得到模型；3)获取小范围环境相关位置点数据的支撑集；4)将支持集输入模型，得到类别原型；5)输入失配机器人当前捕获的图像帧数据；6)得到反馈的位置估计结果，发布到话题/amcl_pose，修正机器人位姿。本发明采用小样本学习的思路，对于移动机器人导航过程中的失配情况，提供一种重定位的方法，利用机器人相机捕获的图像帧信息与小样本学习模型进行分类，较为精确地得到机器人的当前位置点信息并进行修正。

Description

一种基于小样本学习的移动机器人重定位方法

技术领域

本发明涉及移动机器人重定位和小样本学习的技术领域，尤其是指一种基于小样本学习的移动机器人重定位方法。

背景技术

近年来，随着人工智能产业的兴起，对于智能机器人的研究也逐渐深入，对机器人在复杂环境下的导航定位也有了更高的要求，智能化机器人面向市场和服务领域的需求与日俱增。

移动机器人的即时定位与地图创建(Simultaneous Localization and Mapping，SLAM)是指移动机器人通过结合里程计信息和传感器观测信息在部分已知环境或者完全未知环境下实现自主定位和地图创建的功能，同时可在已创建地图的基础上进行移动机器人的自主导航。然而，在移动机器人正常的导航移动过程中，经常会因系统卡顿或者人为因素，造成机器人定位错误，即机器人与预设的导航地图发生失配，也称为机器人绑架问题。由此，引出了对于机器人重定位方法的研究。

目前，研究者们已经提出了许多移动机器人的重定位方法，但仍面临着如下问题：

1)机器人重定位的定位精度低，匹配误差大。

2)机器人在环境中所能采集到的观测数据有限，数据量较少。

3)基于激光的粒子概率方法对于运算能力的要求高。

小样本学习(Few-shot Learning)是机器学习的一个分支，是元学习(MetaLearning)的应用。在机器学习模型在学习了一定类别的大量数据(训练集)后，对于新的类别，只需要少量的支持集即可学习新的分类。在小样本学习中，原型网络结构表现出了强大的鲁棒性，通过神经网络学习在表达空间中样本的均值来表示一个类别。原型网络分类器必须推广到训练集中未见的新类，只需给出每个新类的少量样本，在数据较少的情况下，相比于LSTM等网络，拥有着更好的适应性，符合解决机器人导航中重定位问题的实际需求。

发明内容

本发明的目的在于克服移动机器人在建图导航过程中采集观测数据不足的缺点，使用小样本学习的新思路，利用原型网络(Prototypical Networks)，提出了一种基于小样本学习的移动机器人重定位方法，将小样本学习应用于移动机器人导航过程中的失配问题，实现机器人的重定位，进而解决移动机器人在导航过程中的定位错误问题，有着较好的研究意义和应用价值。

为实现上述目的，本发明所提供的技术方案为：一种基于小样本学习的移动机器人重定位方法，包括以下步骤：

1)获取地图环境数据的训练集；

2)构建原型网络，训练得到模型；

3)获取小范围环境相关位置点的数据支持集；

4)将支持集输入模型，得到类别原型；

5)输入失配机器人当前捕获的图像帧数据；

6)得到反馈的位置估计结果，发布到话题/amcl_pose，修正机器人位姿。

在步骤1)中，获取地图环境数据的训练集，包括以下步骤：

1.1)将Microsoft Kinectv1相机安装在移动机器人Turtlebot2上，相机视角中心线与机器人底盘正方向保持一致，实时获取图像数据；

1.2)将移动机器人放置在室内复杂环境下，控制其平移及旋转，逐次保存图像帧，图像尺寸指定为640*480，前进幅度为0.1m，旋转幅度为10°；

1.3)将获取的图像帧按顺序编号，进行数据标注，机器人位姿0度方向与地图坐标系X轴正方向保持一致，单帧图像数据P表示如下：

P(x,y,angle)

其中，x为2D地图下的x轴位置，y为2D地图下的y轴位置，angle为偏离地图x轴正方向的偏离角，这些数据将作为这帧图像的标签保存；

1.4)图像帧按地图位置点(x,y)进行分类表示如下：

K_x,y＝{angle₁,angle₂,...,angle_i}

其中，K_x,y为地图位置点(x,y)处的图像集合，angle_i表示偏离地图x轴正方向i单位角度保存的图像帧，单位角度为10°，利用分类好的图像集合K_x,y，构建训练集M：

M＝{K_1.0，1.0,K_1.1,1.0,K_1.1,1.1,K_1.2,1.1,...,K_x,y}。

其中，K_x,y为地图位置点(x,y)处的图像集合，且x∈R,y∈R，R为实数。

在步骤2)中，构建原型网络，训练得到模型，包括以下步骤：

2.1)采集得到的图像训练集输入CNN网络VGG Net，提取特征向量作为原型网络输入的原型向量；

2.2)原型网络模型通过嵌入函数f_θ计算原型向量的M维空间表达：

f_θ:R^D→R^M

其中，θ为预训练得到的学习参数，R^D为D维的特征空间，R^M为M维的表达空间，即投影空间；

2.3)一个类别k由其所有样本在R^M中的平均值决定，由此，类别k的原型c_k：

其中，S_k为类别k标记的一组样本，|S_k|为类别k中样本的数量，(x_i,y_i)为类别k中样本i的特征向量和标签，且特征向量x_i∈R^D，标签y_i∈{1,...,K}，f_θ(x_i)为样本i在表达空间中的计算值；

2.4)基于平面图像数据，在M维表达空间R^M内给定一个欧几里得距离函数d：

d:R^M×R^M→[0,+∞)

2.5)原型网络产生基于表达空间到类别原型的距离softmax关于测试样本x的分布，在类别k下，测试样本x对于所有类别的归一化概率函数p_θ(y＝k|x)：

其中，θ为学习参数，d为给定的欧几里得距离，f_θ(x)为测试样本x在表达空间中的计算值，c_k为类别k的类别原型，k'为模型中所有类别数量，c_k'为类别k'的类别原型；由此，计算得到样本x属于类别k的归一化概率；

2.6)计算目标函数J(θ)：

J(θ)＝-log(p_θ(y＝k|x))

其中，p_θ(y＝k|x)是类别k下样本x的归一化概率函数，这里通过梯度下降法求取目标函数的最小值，从而收敛得到适用于当前环境条件的学习参数θ，保存训练模型。

在步骤3)中，获取小范围环境相关位置点的数据支持集，包括以下步骤：

3.1)在一个小范围环境下，将机器人移动到间隔相等的常用位置点进行旋转，每间隔72°采集一帧图像；

3.2)每个位置点采集5张不同角度的图像，图像帧按地图位置点(x,y)进行分类表示如下：

K'_x,y＝{angle₁,angle₂,angle₃,angle₄,angle₅}

其中，K'_x,y为地图位置点(x,y)处的图像集合，angle₁为偏离地图x轴正方向0°采集的单帧图像，angle₂为偏离地图x轴正方向72°采集的单帧图像，angle₃为偏离地图x轴正方向144°采集的单帧图像，angle₄为偏离地图x轴正方向216°采集的单帧图像，angle₅为偏离地图x轴正方向288°采集的单帧图像；

3.3)利用分类好的图像集合K'_x,y，构建支持集M'：

M'＝{K'_1.0,1.0,K'_1.1,1.0,...,K'_x,y}

其中，K'_x,y为地图位置点(x,y)处的图像集合，且x∈R,y∈R，R为实数。

在步骤4)中，将支持集输入模型，得到类别原型，具体如下：

将支持集输入模型，利用前面训练得到的好的学习参数θ，重复步骤2中的网络训练方法，得到我们需要的小范围环境下地图的图像集合的类别原型。

在步骤5)中，输入失配机器人当前捕获的图像帧数据，包括以下步骤：

5.1)对于在导航过程中，移动机器人发生定位错误的情况，将信息反馈给系统，调用重定位方法；

5.2)调用相机，拍摄并保存当前的图像帧T作为测试图像帧；

5.3)将T输入模型，计算待测试图像到类别原型的距离，得到其与各类别原型的相似度，根据相似度，选取最优的进行分类，类别标签即是机器人当前的正确位置信息P_correct。

在步骤6)中，得到反馈的位置估计结果，发布到话题/amcl_pose，修正机器人位姿，具体如下：

由于导航采用自适应蒙特卡洛定位(Adaptive Monte Carlo Localization，AMCL)算法，创建了接收机器人位姿估计信息的话题/amcl_pose，则将反馈的位置信息P_correct发布在话题/amcl_pose上；话题/amcl_pose的数据为一个六维的数据类型，包括三维空间下的坐标x,y,z和坐标轴方向A_x,A_y,A_z，在当前平面空间的导航下，初始化z,A_x,A_y为0，结合反馈位置信息(x,y,A_z)，发布到话题上；故此，移动机器人能够对当前的位姿进行修正，达到重定位的目标。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明创新性地应用了小样本学习的方法，缓解了机器人相机采集样本量稀少的问题。

2、本发明对于实时运算能力的要求较低，可以适用于一些低功耗平台。

3、本发明对于复杂的小范围环境，有着较好的匹配效果。

附图说明

图1为本发明方法逻辑流程示意图。

图2为本发明使用的网络结构图。

图3为本发明使用的移动机器人Turtlebot2示意图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1至图3所示，本实施例所提供的基于小样本学习分类的移动机器人重定位方法，使用了Turtlebot2移动机器人、Intel Nuc微型电脑、Microsoft Kinect v1相机等辅助设备，其包括以下步骤：

1)获取地图环境数据的训练集。

1.1)将Microsoft Kinectv1相机安装在移动机器人Turtlebot2上，相机视角中心线与机器人底盘正方向保持一致，实时获取图像数据；

1.2)将移动机器人放置在室内复杂环境下，控制其平移及旋转，逐次保存图像帧，图像尺寸指定为640*480，前进幅度为0.1m，旋转幅度为10°；

1.3)将获取的图像帧按顺序编号，进行数据标注，机器人位姿0度方向与地图坐标系X轴正方向保持一致，单帧图像数据P表示如下：

P(x,y,angle)

其中，x为2D地图下的x轴位置，y为2D地图下的y轴位置，angle为偏离地图x轴正方向的偏离角，这些数据将作为这帧图像的标签保存；

1.4)图像帧按地图位置点(x,y)进行分类表示如下：

K_x,y＝{angle₁,angle₂,...,angle_i}

其中，K_x,y为地图位置点(x,y)处的图像集合，angle_i表示偏离地图x轴正方向i单位角度保存的图像帧，单位角度为10°，利用分类好的图像集合K_x,y，构建训练集M：

M＝{K_1.0，1.0,K_1.1,1.0,K_1.1,1.1,K_1.2,1.1,...,K_x,y}。

其中，K_x,y为地图位置点(x,y)处的图像集合，且x∈R,y∈R，R为实数。

2)构建原型网络，训练得到模型。

2.1)采集得到的图像训练集输入CNN网络VGG Net，提取特征向量作为原型网络输入的原型向量；

2.2)原型网络模型通过嵌入函数f_θ计算原型向量的M维空间表达：

f_θ:R^D→R^M

其中，θ为预训练得到的学习参数，R^D为D维的特征空间，R^M为M维的表达空间(投影空间)；

2.3)一个类别k由其所有样本在R^M中的平均值决定，由此，类别k的原型c_k：

其中，S_k为类别k标记的一组样本，|S_k|为类别k中样本的数量，(x_i,y_i)为类别k中样本i的特征向量和标签，且特征向量x_i∈R^D，标签y_i∈{1,...,K}，f_θ(x_i)为样本i在表达空间中的计算值。

2.4)基于平面图像数据，在M维表达空间R^M内给定一个欧几里得距离函数d：

d:R^M×R^M→[0,+∞)

2.5)原型网络产生基于表达空间到类别原型的距离softmax关于测试样本x的分布，在类别k下，测试样本x对于所有类别的归一化概率函数p_θ(y＝k|x)：

其中，θ为学习参数，d为给定的欧几里得距离，f_θ(x)为测试样本x在表达空间中的计算值，c_k为类别k的类别原型，k'为模型中所有类别数量，c_k'为类别k'的类别原型。由此，计算得到样本x属于类别k的归一化概率。

2.6)计算目标函数J(θ)：

J(θ)＝-log(p_θ(y＝k|x))

其中，p_θ(y＝k|x)是类别k下样本x的归一化概率函数，这里通过梯度下降法求取目标函数的最小值，从而收敛得到适用于当前环境条件的学习参数θ，保存训练模型。

3)获取小范围环境相关位置点的数据支持集。

3.1)在一个小范围环境下，将机器人移动到间隔相等的常用位置点进行旋转，每间隔72°采集一帧图像；

3.2)每个位置点采集5张不同角度的图像，图像帧按地图位置点(x,y)进行分类表示如下：:

K'_x,y＝{angle₁,angle₂,angle₃,angle₄,angle₅}

其中，K'_x,y为地图位置点(x,y)处的图像集合，angle₁为偏离地图x轴正方向0°采集的单帧图像，angle₂为偏离地图x轴正方向72°采集的单帧图像，angle₃为偏离地图x轴正方向144°采集的单帧图像，angle₄为偏离地图x轴正方向216°采集的单帧图像，angle₅为偏离地图x轴正方向288°采集的单帧图像。

3.3)利用分类好的图像集合K'_x,y，构建支持集M'：

M'＝{K'_1.0,1.0,K'_1.1,1.0,...,K'_x,y}。

其中，K'_x,y为地图位置点(x,y)处的图像集合，且x∈R,y∈R，R为实数。

4)将支持集输入模型，得到类别原型。

将支持集输入模型，利用前面训练得到的好的学习参数θ，重复步骤2中的网络训练方法，得到我们需要的小范围环境下地图的图像集合的类别原型。

5)输入失配机器人当前捕获的图像帧数据。

5.1)对于在导航过程中，移动机器人发生定位错误的情况，将信息反馈给系统，调用重定位方法；

5.2)调用相机，拍摄并保存当前的图像帧T作为测试图像帧；

5.3)将T输入模型，计算待测试图像到类别原型的距离，得到其与各类别原型的相似度，根据相似度，选取最优的进行分类，类别标签即是机器人当前的正确位置信息P_correct。

6)得到反馈的位置估计结果，发布到话题/amcl_pose，修正机器人位姿，如下：

由于导航采用自适应蒙特卡洛定位(Adaptive Monte Carlo Localization，AMCL)算法，创建了接收机器人位姿估计信息的话题/amcl_pose，则将反馈的位置信息P_correct发布在话题/amcl_pose上；话题/amcl_pose的数据为一个六维的数据类型，包括三维空间下的坐标x,y,z和坐标轴方向A_x,A_y,A_z，在当前平面空间的导航下，初始化z,A_x,A_y为0，结合反馈位置信息(x,y,A_z)，发布到话题上；故此，移动机器人能够对当前的位姿进行修正，达到重定位的目标。

综上所述，本发明为小范围环境下移动机器人导航失配问题提供了新的方法，利用小样本学习对机器人采集图像支持集进行训练，能够有效减少利用图像的重定位过程中对于训练样本数量的需求，有效解决了机器人的重定位问题，相比于传统的激光粒子概率方法，对于机器人平台的运算能力也有着较低的要求，在复杂的小范围环境下，能够表现出不错的鲁棒性和适应性，具有较好的研究意义和实际应用价值，值得推广。

上述实施例中，所包括的各个模块只是按照本发明的功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可，并不用于限制本发明的保护范围。

Claims (1)

1.一种基于小样本学习的移动机器人重定位方法，其特征在于，包括以下步骤：

1)获取地图环境数据的训练集，包括以下步骤：

1.1)将Microsoft Kinectv1相机安装在移动机器人Turtlebot2上，相机视角中心线与机器人底盘正方向保持一致，实时获取图像数据；

1.2)将移动机器人放置在室内复杂环境下，控制其平移及旋转，逐次保存图像帧，图像尺寸指定为640*480，前进幅度为0.1m，旋转幅度为10°；

1.3)将获取的图像帧按顺序编号，进行数据标注，机器人位姿0度方向与地图坐标系X轴正方向保持一致，单帧图像数据P表示如下：

P(x,y,angle)

其中，x为2D地图下的x轴位置，y为2D地图下的y轴位置，angle为偏离地图x轴正方向的偏离角，2D地图下的x轴位置、y轴位置和偏离地图x轴正方向的偏离角将作为这帧图像的标签保存；

1.4)图像帧按地图位置点(x,y)进行分类表示如下：

K_x,y＝{angle₁,angle₂,...,angle_i}

其中，K_x,y为地图位置点(x,y)处的图像集合，angle_i表示偏离地图x轴正方向i单位角度保存的图像帧，单位角度为10°，利用分类好的图像集合K_x,y，构建训练集M：

M＝{K_1.0，1.0,K_1.1,1.0,K_1.1,1.1,K_1.2,1.1,...,K_x,y}

其中，K_x,y为地图位置点(x,y)处的图像集合，且x∈R,y∈R，R为实数；

2)构建原型网络，训练得到模型，包括以下步骤：

2.1)采集得到的图像训练集输入CNN网络VGG Net，提取特征向量作为原型网络输入的原型向量；

2.2)原型网络模型通过嵌入函数f_θ计算原型向量的M维空间表达：

f_θ:R^D→R^M

其中，θ为预训练得到的学习参数，R^D为D维的特征空间，R^M为M维的表达空间，即投影空间；

2.3)一个类别k由其所有样本在R^M中的平均值决定，由此，类别k的原型c_k：

其中，S_k为类别k标记的一组样本，|S_k|为类别k中样本的数量，(x_i,y_i)为类别k中样本i的特征向量和标签，且特征向量x_i∈R^D，标签y_i∈{1,...,K}，f_θ(x_i)为样本i在表达空间中的计算值；

2.4)基于平面图像数据，在M维表达空间R^M内给定一个欧几里得距离函数d：

d:R^M×R^M→[0,+∞)

2.5)原型网络产生基于表达空间到类别原型的距离softmax关于测试样本x的分布，在类别k下，测试样本x对于所有类别的归一化概率函数p_θ(y＝k|x)：

其中，f_θ(x)为测试样本x在表达空间中的计算值，k'为模型中所有类别数量，c_k'为类别k'的类别原型；由此，计算得到样本x属于类别k的归一化概率；

2.6)计算目标函数J(θ)：

J(θ)＝-log(p_θ(y＝k|x))

这里通过梯度下降法求取目标函数的最小值，从而收敛得到适用于当前环境条件的学习参数θ，保存训练模型；

3)获取小范围环境相关位置点的数据支持集，包括以下步骤：

3.1)在一个小范围环境下，将机器人移动到间隔相等的常用位置点进行旋转，每间隔72°采集一帧图像；

3.2)每个位置点采集5张不同角度的图像，图像帧按地图位置点(x,y)进行分类表示如下：

K'_x,y＝{angle₁,angle₂,angle₃,angle₄,angle₅}

其中，K'_x,y为地图位置点(x,y)处的图像集合，angle₁为偏离地图x轴正方向0°采集的单帧图像，angle₂为偏离地图x轴正方向72°采集的单帧图像，angle₃为偏离地图x轴正方向144°采集的单帧图像，angle₄为偏离地图x轴正方向216°采集的单帧图像，angle₅为偏离地图x轴正方向288°采集的单帧图像；

3.3)利用分类好的图像集合K'_x,y，构建支持集M'：

M'＝{K'_1.0,1.0,K'_1.1,1.0,...,K'_x,y}

其中，K'_x,y为地图位置点(x,y)处的图像集合；

4)将支持集输入模型，得到类别原型，具体如下：

将支持集输入模型，利用前面训练得到的学习参数θ，重复步骤2)中的网络训练方法，得到需要的小范围环境下地图的图像集合的类别原型；

5)输入失配机器人当前捕获的图像帧数据，包括以下步骤：

5.1)对于在导航过程中，移动机器人发生定位错误的情况，将信息反馈给系统，调用重定位方法；

5.2)调用相机，拍摄并保存当前的图像帧T作为测试图像帧；

5.3)将T输入模型，计算待测试图像到类别原型的距离，得到其与各类别原型的相似度，根据相似度，选取最优的相似度，类别标签即是机器人当前的正确位置信息P_correct；

6)得到反馈的位置估计结果，发布到话题/amcl_pose，修正机器人位姿，具体如下：

由于导航采用自适应蒙特卡洛定位算法，创建了接收机器人位姿估计信息的话题/amcl_pose，则将反馈的位置信息P_correct发布在话题/amcl_pose上；话题/amcl_pose的数据为一个六维的数据类型，包括三维空间下的坐标x,y,z和坐标轴方向A_x,A_y,A_z，在当前平面空间的导航下，初始化z,A_x,A_y为0，结合反馈位置信息(x,y,A_z)，发布到话题上；故此，移动机器人对当前的位姿进行修正，达到重定位的目标。

Images