CN110909637A - 一种基于视触融合的室外移动机器人地形识别方法 - Google Patents

Abstract

本发明提出的一种基于视触融合的室外移动机器人地形识别方法，首先根据不同路面材质选择地形种类；针对不同地形采集触觉和视觉两种模态数据，并划分训练集和测试集；构建级联宽度学习网络并使用触觉训练样本集和视觉训练样本集对该网络进行训练，训练过程中，先进行触觉和视觉初步特征提取，再进行触觉和视觉融合特征提取，随后将融合后的触觉特征矩阵和视觉特征矩阵经宽度学习分类算法，通过岭回归的广义逆近似求得地形识别分类结果作为级联宽度学习网络的输出；最后将测试集输入训练完毕的级联宽度学习网络中，得到地形识别的分类结果。本发明基于宽度学习，将视触觉信息相融合，可实现小数据下的移动机器人地形识别，且鲁棒性和准确性高。

Description

一种基于视触融合的室外移动机器人地形识别方法

技术领域

本发明涉及机器人环境感知技术领域，具体是涉及一种基于视触融合的室外移动机器 人地形识别方法。

背景技术

随着机器人技术的快速发展，室外移动机器人在灾害救援、野外搜寻以及星际探索等 任务中均有重要应用。在与环境交互过程中，地形几何特征对机器人的移动性能具有较大 的影响，机器人需要针对不同的地形特征采取不同的移动模式。其中，在平坦、坚硬且摩 擦力大的路面可以用相对较高的速度移动，而松软，泥泞的路面有可能给机器人带来危险。 因此，室外移动机器人必须具备快速、有效的地形识别能力。不同地形的正确分类可以在 很大程度上提高移动机器人在错综复杂的野外自然环境中的自主导航及避障能力，具有很 大的研究价值和意义。

室外移动机器人在感知外界环境的过程中主要依靠视觉信息完成地形特征的分类识 别。作为最接近人类的环境感知方式，视觉可以提供丰富的地形信息，成为了当前机器人 感知的重要输入。然而，丰富的视觉信息增加了分类难度。阴影、光线和抖动等外界因素 都会影响地形的视觉表现，给视觉地形分类带来了挑战。对于上述外界因素，人脑会本能 的将同一物体的不同模态感知特征进行融合，从而达到对物体正确分类的目的。移动机器 人运动过程中与不同类型地面相互作用，触觉传感器会产生有差异的振动信号，因此，可 以使用与视觉信息互补的触觉信息来进行地形识别。

目前在关于地形识别算法的研究中，深层神经网络由于其多层次多角度通过反向传播 算法自动从复杂数据中提取特征，能出色地完成地形识别任务。然而，大量的超参数和复 杂的结构使得深层神经网络经历一个耗时的训练过程。为了达到满意的精度，深层神经网 络结构需要不断增加隐含层数或调整网络参数，这给深度学习的训练带来了进一步的困难。

一个具有多模式感知系统的室外移动机器人能够收集大量的传感器信息，这为机器人 地形的正确识别奠定了基础。但是，处理大量的信息，降低了它的反应速度。并且在实际 应用中，由于外界条件传感器收集的数据量有限，无法为深度学习算法提供足够的数据进 行学习训练。如何在充分利用传感器信息资源的基础上提高机器人反应速度成为机器人研 究的一个热点。

2017年陈俊龙教授等人提出了宽度学习(Broad learning,BRL)算法，该算法作为深度 学习的替代方法以其强大的数学理论支撑、简洁的平层网络结构、快速的增量建模过程等 优点，成功地应用于图像识别、分类和回归以及数据建模等领域。目前，还未见宽度学习 算法在机器人地形识别领域中的应用。

发明内容

本发明的目的是为了克服已有技术的不足之处，提出了一种基于视触融合的室外移动 机器人地形识别方法，本发明是在宽度学习的基础上提出的地形识别方法，该方法可以很 好地融合视觉和触觉数据，避免了耗时的训练过程，且在小样本数据情况下完成地形识别 任务，提高了地形识别的鲁棒性和准确性。

为实现上述目的，本发明采用如下技术方案予以实现。

本发明提出的一种基于视触融合的室外移动机器人地形识别方法，其特征在于，包括 以下步骤：

本发明提出的一种基于视触融合的室外移动机器人地形识别方法，其特征在于，包括 以下步骤：

1)地形种类选择

根据路面材质选取生活中常见的若干类经典室外地形；

2)构建地形数据库，包括触觉和视觉两种模态数据

2-1)触觉和视觉数据采集

控制移动机器人以不同的速度、光照条件在步骤1)选取的各类地形上行驶，通过移 动机器人上搭载的三轴加速度计采集各种场景下的三维振动信号作为触觉数据；同时，通 过移动机器人上搭载的摄像机采集与各触觉数据相同场景下的图像作为相应的各视觉数 据；

2-2)对采集的各触觉数据和视觉数据进行预处理

2-2-1)触觉数据预处理

对步骤2-1)采集的各种场景下的三维振动信号依次进行分段、数据增强和滤波处理； 通过快速傅里叶变换将滤波后的各三维振动信号分别组合成一维振动信号；利用短时傅里 叶变换，将各一维振动信号转换到频域，得到对应的加速频谱图像，对该频谱图像进行降 采样，统一各频谱图像的大小；

2-2-2)视觉数据预处理

对步骤2-1)采集的各图像分别进行降采样，降采样后的各图像与步骤2-2-1)降采样 后的频谱图像大小相同；

2-3)将上述预处理后的所有触觉数据和视觉数据共同构成地形数据库，每一触觉数据 分别与一视觉数据相对应；选择地形数据库中70～80％的触觉数据和视觉数据分别作为触 觉训练样本集和视觉训练样本集，剩余的触觉数据和视觉数据分别作为触觉测试样本集和 视觉测试样本集；

3)构建级联宽度学习网络并使用触觉训练样本集和视觉训练样本集对该级联宽度学 习网络进行训练

3-1)构建级联宽度学习网络

所述级联宽度学习网络包括两个并列的级联宽度学习子网络，分别用于触觉特征和视 觉特征的提取；各级联宽度学习子网络均分别由m组特征节点和M组增强节点组成，前一组特征节点的输出作为下一组特征节点的输入，第m组特征节点作为各组增强节点的输入；

3-2)使用触觉训练样本集和视觉训练样本集对上述级联宽度学习网络进行训练

3-2-1)触觉和视觉初步特征提取

令用于触觉特征提取的第一级联宽度学习子网络中第i组触觉特征节点F_ci的表达式为：

式中，G是线性激活函数；W_cfi和β_cfi分别为第一级联宽度学习子网络中生成第i组触觉 特征节点的权重和偏置；

为通过步骤2-3)得到的输入第一级联宽度学习子网络的触觉训 练样本集，

该触觉训练样本集中共含有N个触觉训练样本， i＝1，2，…，m；

通过上述m组触觉特征节点构成第一级联宽度学习子网络的映射特征集

其表达 式为：

令用于触觉特征提取的第一级联宽度学习子网络中第j组触觉增强节点E_cj的表达式为：

式中，ξ是非线性激活函数；W_cej和β_cej分别为第一级联宽度学习子网络中生成第j组触觉 增强节点的权重和偏置，j＝1，2，…，M；

通过上述M组触觉增强节点构成第一级联宽度学习子网络的增强映射特征集

其 表达式为：

通过上述映射特征集

和增强映射特征集

构成第一级联宽度学习子网络的触觉初 步特征矩阵H_c，维度为p×N，其表达式为：

记触觉初步特征矩阵H_c内第g个向量为e_g，则H_c＝{e₁，e₂，…，e_g，…，e_N}，g＝1，2，…，N；

令用于视觉特征提取的第二级联宽度学习子网络中第i组视觉特征节点F_si的表达式为：

式中，G是线性激活函数；W_sfi和β_sfi分别为第二级联宽度学习子网络中生成第i组视觉 特征节点的权重和偏置；

为输入第二级联宽度学习子网络的视觉训练样本集，

该视觉训练样本集中共含有N个视觉训练样本，i＝1，2，…，m；

通过上述m组视觉特征节点构成第二级联宽度学习子网络的映射特征集

其表达 式为：

令用于视觉特征提取的第二级联宽度学习子网络中第j组视觉增强节点E_sj的表达式为：

式中，ξ是非线性激活函数；W_sej和β_sej分别为第二级联宽度学习子网络中生成第j组视觉 增强节点的权重和偏置，j＝1，2，…，M；

通过上述M组视觉增强节点构成第二级联宽度学习子网络的增强映射特征集

其 表达式为：

通过上述映射特征集

和增强映射特征集

构成第二级联宽度学习子网络的视觉初 步特征矩阵H_s，维度为q×N，其表达式为：

记视觉初步特征矩阵H_s内第h个向量为f_h，则H_s＝{f₁，f₂，…，f_h，…，f_N}，h＝1，2，…，N；

3-2-2)触觉和视觉融合特征提取

使用核典型相关分析算法，最大化上述触觉初步特征矩阵H_c和视觉初步特征矩阵H_s之 间的相关性，实现融合特征降维，确定两个N维向量α和β，使得两种模态样本的线性组合

和

的相系数最大，得到融合后的触觉特征矩阵U和视觉特征 矩阵V；其中，

和

是分别将触觉初步特征矩阵H_c和视觉初步特征矩阵H_s映 射到非线性特征空间得到；

3-2-3)融合后的触觉特征矩阵U和视觉特征矩阵V经宽度学习分类算法，通过岭回归的广义逆近似求得地形识别分类结果Y作为级联宽度学习网络的输出，级联宽度学习网络训练完毕；其中，所述地形识别分类结果Y的表达式如下：

式中，

是宽度学习分类算法的输出权重矩阵，

通过以下公式计算得到：

式中，

为融合特征矩阵，岭回归算法通过

的对角线添加正数来得到等效于 广义逆的近似值，I是维度为2n×2n的单位矩阵，λ是L2正则化参数；

4)将触觉测试样本集和视觉测试样本集输入通过步骤3)得到训练完毕的级联宽度学 习网络中，得到地形识别的分类结果。

进一步地，步骤3-2-2)触觉和视觉融合特征提取的具体实现过程如下：

3-2-2-1)将

和

分别表示非线性映射Φ(·)作用于触觉初步特征矩阵H_c和 视觉初步特征矩阵H_s上的变换，即：

变换后的

均为n×N维矩阵；

3-2-2-2)设映射后的样本矩阵均值为零，将向量α和β的求解过程转化为以下约束优化 问题：

maxρ(U，V)＝α^T∑H_cH_sβ

式中，∑H_cH_s表示触觉初步特征矩阵H_c和视觉初步特征矩阵H_s的互协方差矩阵；

则令核典型相关分析算法的目标函数为：

在触觉初步特征矩阵H_c和视觉初步特征矩阵H_s上定义核矩阵

如下：

将核典型相关分析算法的目标函数改写为：

设约束条件为：

引入拉格朗日乘子，利用上述约束条件和改写后的核典型相关分析算法目标函数，得 到以下特征问题：

式中，特征值

进而求得向量α和β。

本发明提供的一种基于视触融合的室外移动机器人地形识别方法，相比于现有技术， 具有以下有益效果：

1)针对室外复杂的非结构化地形，移动机器人有时无法仅仅依靠视觉信息完成地形 识别任务，视触融合的方法充分地利用多种模态信息，在空间和时间上将互补与冗余信息 依据某种优化准则组合起来，形成视触觉信息的优势互补，来提高室外移动机器人地形识 别的准确率。

2)本发明基于级联宽度学习提出了一种视触融合识别算法，该方法将视触觉特征融 合起来，实现了特征维数的融合约简，并利用宽度学习分类器获得了地形识别结果，为室 外移动机器人地形识别任务提供了一个高效的宽度结构，本发明方法具有良好的分类性能 和泛化性能。

3)宽度学习以其强大的数学理论支撑、简单的平层网络结构、快速的增量建模过程 等优点，成功地应用于各种分类和回归任务中。为解决机器人处理视触觉信息反应速度变 慢的问题，并且考虑到实际应用中传感器采集到的数据量有限，本发明针对小样本数据将 宽度学习应用到机器人地形识别领域，充分利用采集的现有数据，在降低模型训练时间、 节约成本的基础上对视触觉信息进行融合学习。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行 进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限 定本发明的保护范围。

为了更好地理解本发明，以下详细阐述一个本发明一种基于视触融合的室外移动机器 人地形识别方法的应用实例。

本发明提出的一种基于视触融合的室外移动机器人地形识别方法，包括以下步骤：

1)地形种类选择

根据路面材质(road surface materia,RSM)选取生活中常见的若干类经典室外地形， 本实施例中共涉及六类经典室外地形，分别是沥青(Asphalt)、草地(Grass)、马赛克路(Mosaic road)、木板(Wood)、泥土(Dirt)以及塑胶跑道(Plastic track)，其中，泥土是经长期碾压的紧 实泥土，马赛克路是岩石材质组成的方格路面。

2)构建地形数据库，包括触觉和视觉两种模态数据；具体步骤如下：

2-1)触觉和视觉数据采集

控制移动机机器人以不同的速度、光照条件在步骤1)选取的各类地形上直线行驶， 通过移动机器人上搭载的三轴加速度计采集各种场景下的三维振动信号作为触觉数据；同 时，通过移动机器人上搭载的摄像机采集与各触觉数据相同场景下的图像作为相应的各视 觉数据；

本实施例采用型号为Autolabor Pro1(AP1)的机器人移动底盘，其在室内外均可实现 流畅作业，且适用于全地形，尺寸726mm×617mm×273mm，负载能力50kg。AP1共具 有四种速度档位，分别是最高速的25％，50％，75％和100％，最高速度是0.8m/s。在移 动机器人车身一侧，平行且靠近地面的位置配备一个AKF392B三轴向加速度计，它提供 的输出速率范围为5HZ-1000HZ，共有8种选择，偏差典型值小于0.1％，具有输出稳定， 环境性能好等优点。加速度计采样频率选择100HZ和200HZ采集不同地形的三维振动信 号。本实施例中控制AP1机器人以不同的速度在六种地形上直线行驶，移动机器人在每种 地形上分别行驶了20分钟，在四种车速和两种采样频率总计八种场景下采集了16万个数 据点。

本实施例的视觉数据是使用AP1机器人上搭载的摄像机进行图像采集得到，获取的视 觉数据主要用于后续通过视觉特征对地形进行分类。现实生活中除了道路常见的颜色，如 黑色的沥青、绿色的草地以及红色的塑胶跑道等，还有许多混杂的颜色，如沥青具有白色 的斑马线以及黄色和蓝色的漆线、蓝色的塑胶跑道等。很多地形中还掺杂其他种类地形， 如草地稀疏的部分有泥土、木板上有树叶、泥土上有杂草和岩石等凸起。除了颜色和地形 的交叉，不同的天气和光照条件也会影响采集图像的色彩，因此在采集视觉数据时考虑了 晴天、遮荫、傍晚光线弱以及晚上有灯光等光照条件，每类地型采集50张图像，全地形共计300张图像。

2-2)对采集的各触觉数据和视觉数据进行预处理，具体步骤如下：

2-2-1)触觉数据预处理

为了保证数据的稳定，将移动机器人启动以及转弯等时候采集的三维振动信号去掉， 保留了9.6万个数据点，将其分割成段(本实施例每种场景含有30段三维振动信号)，每种车速和采样频率设置有1.2万个数据点，然后进行数据增强，在一种车速和采样频率下，每类地形的触觉数据增强为50段三维振动信号(即每类地形的各段三维振动信号分别与步骤2-1)采集的一张图像相对应)，全部地形共计300段三维振动信号。其后通过截止频 率为10HZ的高通滤波器去除数据增强后各三维振动信号中因重力和加速度计漂移产生的 干扰噪声；利用快速傅里叶变换(DFT321)算法将滤波后的三维振动信号组合成一维振动 信号；通过上述处理保留了三轴分量的时频和光谱特性，并且合成前后信号的总功率保持 不变，减少了特征计算的工作量。随后，利用短时傅里叶变换的方法，将上述一维振动信 号转换到频域，短时傅里叶变换中的汉明窗的窗口长度是128，窗口偏移量是64，采样频 率为100HZ，得到加速的频谱图像，对该频谱图像进行降采样，得到大小为32*32*3的频 谱图像。

2-2-2)视觉数据预处理

对步骤2-1)得到的各视觉数据分别进行降采样，降采样后每张图像的大小均为32*32*3，用于避免因每幅图像特征太多对系统造成的噪声和冗余。

2-3)将上述预处理后的所有触觉数据和视觉数据共同构成地形数据库，每一触觉数据 分别与一视觉数据相对应；选择地形数据库中70～80％的触觉数据和视觉数据分别作为触 觉训练样本集和视觉训练样本集，剩余的触觉数据和视觉数据分别作为触觉测试样本集和 视觉测试样本集。

本实施例中把经过预处理的300个触觉样本和300个图像分别按4:1的比例随机划分 成240个触觉训练样本和240个视觉训练样本以及60个触觉测试样本和60个视觉测试样本。

3)构建级联宽度学习网络并使用触觉训练样本集和视觉训练样本集对该级联宽度学 习网络进行训练，具体包括：

3-1)构建级联宽度学习网络

所述级联宽度学习网络包括两个并列的级联宽度学习子网络，分别用于触觉特征和视 觉特征的提取；各级联宽度学习子网络均分别由m组特征节点和M组增强节点组成，其中，前一组特征节点的输出作为下一组特征节点的输入，第m组特征节点作为各组增强节点的输入。

3-2)使用触觉训练样本集和视觉训练样本集对上述级联宽度学习网络进行训练

3-2-1)触觉和视觉初步特征提取，包括以下步骤：

令用于触觉特征提取的第一级联宽度学习子网络中第i组触觉特征节点F_ci的表达式为：

式中，G是线性激活函数；Gⁱ中的上标i表示进行了i次线性激活处理；W_cfi和β_cfi分别为 第一级联宽度学习子网络中生成第i组触觉特征节点的权重和偏置；

为通过步骤2-3)得 到的输入第一级联宽度学习子网络的触觉训练样本集，

该触觉训练样 本集中共含有N＝240个触觉训练样本；i＝1，2，…，m。

通过上述m组触觉特征节点构成第一级联宽度学习子网络的映射特征集

其表达 式为：

令用于触觉特征提取的第一级联宽度学习子网络中第j组触觉增强节点E_cj的表达式为：

式中，ξ是非线性激活函数，本实施例使用Sigmoid函数(此外，常见的非线性激活函数还 包括tanh函数，Relu函数和Leaky Relu函数等)；W_cej和β_cej分别为第一级联宽度学习子 网络中生成第j组触觉增强节点的权重和偏置；j＝1，2，…，M。

通过上述M组触觉增强节点构成第一级联宽度学习子网络的增强映射特征集

其 表达式为：

通过上述映射特征集

和增强映射特征集

构成第一级联宽度学习子网络的触觉初 步特征矩阵H_c，维度为p×N，其表达式为：

记触觉初步特征矩阵H_c内第g个向量为e_g，则H_c＝{e₁，e₂，…，e_g，…，e_N}，g＝1，2，…，N。

同样地，令用于视觉特征提取的第二级联宽度学习子网络中第i组视觉特征节点F_si的 表达式为：

式中，G是线性激活函数；Gⁱ中的上标i表示进行了i次线性激活处理；W_sfi和β_sfi分别为第二级联宽度学习子网络中生成第i组视觉特征节点的权重和偏置；

为输入第二级联宽度学习子网络的视觉训练样本集，

该视觉训练样本集中共含有 N＝240个视觉训练样本；i＝1，2，…，m。

通过上述m组视觉特征节点构成第二级联宽度学习子网络的映射特征集

其表达 式为：

令用于视觉特征提取的第二级联宽度学习子网络中第j组视觉增强节点E_sj的表达式为：

式中，ξ是非线性激活函数，本实施例使用Sigmoid函数(此外，常见的非线性激活函数还 包括tanh函数，Relu函数和Leaky Relu函数等)；W_sej和β_sej分别为第二级联宽度学习子 网络中生成第j组视觉增强节点的权重和偏置；j＝1，2，…，M。

通过上述M组视觉增强节点构成第二级联宽度学习子网络的增强映射特征集

其 表达式为：

通过上述映射特征集

和增强映射特征集

构成第二级联宽度学习子网络的视觉初 步特征矩阵H_s，维度为q×N，其表达式为：

记视觉初步特征矩阵H_s内第h个向量为f_h，则H_s＝{f₁，f₂，…，f_h，…，f_N}，h＝1，2，…，N。

3-2-2)触觉和视觉融合特征提取

使用核典型相关分析算法(Kernel Canonical Correlation Analysis，KCCA)，最大化上 述触觉初步特征矩阵H_c和视觉初步特征矩阵H_s之间的相关性，实现融合特征降维，确定两 个N维向量α和β，使得两种模态样本的线性组合

和

的相系数 最大，得到融合后的触觉特征矩阵U和视觉特征矩阵V；其中，

和

是分别 将触觉初步特征矩阵H_c和视觉初步特征矩阵H_s映射到非线性特征空间得到。具体实现过程 如下：

3-2-2-1)将

和

分别表示非线性映射Φ(·)作用于触觉初步特征矩阵H_c和 视觉初步特征矩阵H_s上的变换(从p,q到n维的映射)，即：

变换后的

均为n×N维矩阵，在非线性特征空间中，对映射后的样本集进 行典型相关分析。

3-2-2-2)为使数学表达简便，设映射后的样本矩阵均值为零，则需求解两个N维向量 α＝[α₁，α₂，…，α_N]^T和β＝[β₁，β₂，…，β_N]^T，使得两种模态样本的线性组合

和

的相系数ρ最大。将向量α和β的求解过程转化为以下约束优化问题：

maxρ(U，V)＝α^T∑H_cH_sβ (12)

式中，∑H_cH_s表示触觉初步特征矩阵H_c和视觉初步特征矩阵H_s的互协方差矩阵。

则令KCCA的目标函数为：

在触觉初步特征矩阵H_c和视觉初步特征矩阵H_s上定义核矩阵

如下：

将目标函数(13)改写为：

设约束条件为：

引入拉格朗日乘子，利用公式(15)和(16)，得到以下特征问题：

式中，特征值

进而求得向量α和β。

3-2-3)融合后的触觉特征矩阵和视觉特征矩阵经宽度学习(Broad Learning,BRL)分 类算法，通过岭回归的广义逆近似求得地形识别分类结果Y作为级联宽度学习网络的输出， 级联宽度学习网络训练完毕；地形识别分类结果Y的表达式如下：

式中，

是宽度学习分类算法的输出权重矩阵，

通过以下公式计算得到：

式中，

为融合特征矩阵，岭回归算法通过

的对角线添加正数来得到等效于 广义逆的近似值，I是维度为2n×2n的单位矩阵，λ是L2正则化参数，本实施例中λ＝2^-30。

4)将触觉测试样本集和视觉测试样本集输入通过步骤3)得到训练完毕的级联宽度学 习网络中，得到地形识别的分类结果。

Claims (3)

1.一种基于视触融合的室外移动机器人地形识别方法，其特征在于，包括以下步骤：

1)地形种类选择

根据路面材质选取生活中常见的若干类经典室外地形；

2)构建地形数据库，包括触觉和视觉两种模态数据

2-1)触觉和视觉数据采集

控制移动机器人以不同的速度、光照条件在步骤1)选取的各类地形上行驶，通过移动机器人上搭载的三轴加速度计采集各种场景下的三维振动信号作为触觉数据；同时，通过移动机器人上搭载的摄像机采集与各触觉数据相同场景下的图像作为相应的各视觉数据；

2-2)对采集的各触觉数据和视觉数据进行预处理

2-2-1)触觉数据预处理

对步骤2-1)采集的各种场景下的三维振动信号依次进行分段、数据增强和滤波处理；通过快速傅里叶变换将滤波后的各三维振动信号分别组合成一维振动信号；利用短时傅里叶变换，将各一维振动信号转换到频域，得到对应的加速频谱图像，对该频谱图像进行降采样，统一各频谱图像的大小；

2-2-2)视觉数据预处理

对步骤2-1)采集的各图像分别进行降采样，降采样后的各图像与步骤2-2-1)降采样后的频谱图像大小相同；

2-3)将上述预处理后的所有触觉数据和视觉数据共同构成地形数据库，每一触觉数据分别与一视觉数据相对应；选择地形数据库中70～80％的触觉数据和视觉数据分别作为触觉训练样本集和视觉训练样本集，剩余的触觉数据和视觉数据分别作为触觉测试样本集和视觉测试样本集；

3)构建级联宽度学习网络并使用触觉训练样本集和视觉训练样本集对该级联宽度学习网络进行训练

3-1)构建级联宽度学习网络

所述级联宽度学习网络包括两个并列的级联宽度学习子网络，分别用于触觉特征和视觉特征的提取；各级联宽度学习子网络均分别由m组特征节点和M组增强节点组成，前一组特征节点的输出作为下一组特征节点的输入，第m组特征节点作为各组增强节点的输入；

3-2)使用触觉训练样本集和视觉训练样本集对上述级联宽度学习网络进行训练

3-2-1)触觉和视觉初步特征提取

令用于触觉特征提取的第一级联宽度学习子网络中第i组触觉特征节点F_ci的表达式为：

式中，G是线性激活函数；W_cfi和β_cfi分别为第一级联宽度学习子网络中生成第i组触觉特征节点的权重和偏置；

为通过步骤2-3)得到的输入第一级联宽度学习子网络的触觉训练样本集，

该触觉训练样本集中共含有N个触觉训练样本，i＝1，2，…，m；

通过上述m组触觉特征节点构成第一级联宽度学习子网络的映射特征集

其表达式为：

令用于触觉特征提取的第一级联宽度学习子网络中第j组触觉增强节点E_cj的表达式为：

式中，ξ是非线性激活函数；W_cej和β_cej分别为第一级联宽度学习子网络中生成第j组触觉增强节点的权重和偏置，j＝1，2，…，M；

通过上述M组触觉增强节点构成第一级联宽度学习子网络的增强映射特征集

其表达式为：

通过上述映射特征集

和增强映射特征集

构成第一级联宽度学习子网络的触觉初步特征矩阵H_c，维度为p×N，其表达式为：

记触觉初步特征矩阵H_c内第g个向量为e_g，则H_c＝{e₁，e₂，…，e_g，…，e_N}，g＝1，2，…，N；

令用于视觉特征提取的第二级联宽度学习子网络中第i组视觉特征节点F_si的表达式为：

式中，G是线性激活函数；W_sfi和β_sfi分别为第二级联宽度学习子网络中生成第i组视觉特征节点的权重和偏置；

为输入第二级联宽度学习子网络的视觉训练样本集，

该视觉训练样本集中共含有N个视觉训练样本，i＝1，2，…，m；

通过上述m组视觉特征节点构成第二级联宽度学习子网络的映射特征集

其表达式为：

令用于视觉特征提取的第二级联宽度学习子网络中第j组视觉增强节点E_sj的表达式为：

式中，ξ是非线性激活函数；W_sej和β_sej分别为第二级联宽度学习子网络中生成第j组视觉增强节点的权重和偏置，j＝1，2，…，M；

通过上述M组视觉增强节点构成第二级联宽度学习子网络的增强映射特征集

其表达式为：

通过上述映射特征集

和增强映射特征集

构成第二级联宽度学习子网络的视觉初步特征矩阵H_s，维度为q×N，其表达式为：

记视觉初步特征矩阵H_s内第h个向量为f_h，则H_s＝{f₁，f₂，…，f_h，…，f_N}，h＝1，2，…，N；

3-2-2)触觉和视觉融合特征提取

使用核典型相关分析算法，最大化上述触觉初步特征矩阵H_c和视觉初步特征矩阵H_s之间的相关性，实现融合特征降维，确定两个N维向量α和β，使得两种模态样本的线性组合

和

的相系数最大，得到融合后的触觉特征矩阵U和视觉特征矩阵V；其中，

和

是分别将触觉初步特征矩阵H_c和视觉初步特征矩阵H_s映射到非线性特征空间得到；

3-2-3)融合后的触觉特征矩阵U和视觉特征矩阵V经宽度学习分类算法，通过岭回归的广义逆近似求得地形识别分类结果Y作为级联宽度学习网络的输出，级联宽度学习网络训练完毕；其中，所述地形识别分类结果Y的表达式如下：

式中，

是宽度学习分类算法的输出权重矩阵，

通过以下公式计算得到：

式中，

为融合特征矩阵，岭回归算法通过

的对角线添加正数来得到等效于广义逆的近似值，I是维度为2n×2n的单位矩阵，λ是L2正则化参数；

4)将触觉测试样本集和视觉测试样本集输入通过步骤3)得到训练完毕的级联宽度学习网络中，得到地形识别的分类结果。

2.根据权利要求1所述的室外移动机器人地形识别方法，其特征在于，步骤1)中选取的室外地形种类包括沥青、草地、马赛克路、木板、泥土以及塑胶跑道。

3.根据权利要求1所述的室外移动机器人地形识别方法，其特征在于，步骤3-2-2)触觉和视觉融合特征提取的具体实现过程如下：

3-2-2-1)将

和

分别表示非线性映射Φ(·)作用于触觉初步特征矩阵H_c和视觉初步特征矩阵H_s上的变换，即：

变换后的

均为n×N维矩阵；

3-2-2-2)设映射后的样本矩阵均值为零，将向量α和β的求解过程转化为以下约束优化问题：

maxρ(U，V)＝αT∑H_cH_sβ

式中，∑H_cH_s表示触觉初步特征矩阵H_c和视觉初步特征矩阵H_s的互协方差矩阵；

则令核典型相关分析算法的目标函数为：

在触觉初步特征矩阵H_c和视觉初步特征矩阵H_s上定义核矩阵

如下：

将核典型相关分析算法的目标函数改写为：

设约束条件为：

引入拉格朗日乘子，利用上述约束条件和改写后的核典型相关分析算法目标函数，得到以下特征问题：

式中，特征值

进而求得向量α和β。