CN108960294A - 一种基于视觉的移动机器人地形分类方法 - Google Patents

Abstract

本发明公开了一种基于视觉的移动机器人地形分类方法，包括离线训练与在线分类两部分，其优点在于：1)采用了较为简单、紧凑的图像描述子与分类器，能够降低运算资源与电量的消耗，保证了系统的实时性，并且在分类器输出后端加入修正算法；解决了准确率降低的问题；2)在分类修正算法中提取被错误分类的样例，分类器利用该样例进行增量学习，提高了泛化性能，保证了长期运行的准确性。

Description

一种基于视觉的移动机器人地形分类方法

技术领域

本发明涉及机器人技术领域，特别是涉及一种基于视觉的移动机器人地形分类方法。

背景技术

轮式机器人在地面上运动时会遇到各种地形，而保证机器人安全地穿越地形、避免其处于危险环境是十分重要的。已有的研究主要集中于基于激光雷达或视觉传感器的对障碍物的识别。对于墙壁、石块等无法通过的障碍物，我们称之为“几何威胁”。然而，地面本身可能也会对机器人产生威胁。例如：机器人穿越疏松的沙地时可能陷入其中。这种威胁称之为“非几何威胁”。通过实时的地形感知，机器人可以根据不用的地形采用不同的控制策略，使其能够安全有效的穿越不同的地形。因此，实时的地形感知对在野外工作的轮式机器人是十分重要的。

发明专利104866819A公开了一种基于三目视觉系统的地形分类方法，利用三目立体视觉系统对地形进行采样并输出丰富的3D数据，然后将3D数据传送到几何分类器，结合地形颜色特征，最终通过颜色分类器区分地形。硕士论文[刘福帅.基于视觉的移动机器人室外地形识别[D].山东大学,2017.]公开了一种基于机器视觉的地形识别方法，对地形数据集样本提取了颜色直方图、LBP、SIFT、CEDD四种特征，并采用极限学习机作为地形识别分类器。博士论文[吴航.移动机器人地形分类的视觉方法研究[D].中国人民解放军军事医学科学院,2017.]优化了现有BOVW模型，构建了视觉地形分类的最优流程，从而快速、高效地完成视觉地形分类任务。

基于视觉进行地形分类的研究成果较少，而且存在以下问题：1)机器人的运算能力往往较弱，而且需要较为持久的续航能力。然而，很多算法采用了复杂的图像描述子来表征地形样本，这样某种程度上能够提高分类的准确率，但是却占用了大量的运算资源，降低了实时性，同时还增加了能耗；2)基于训练数据集获取的分类器在短时间是有效的，但是随着时间的推移，即使在同一地形上采集的样本也会发生较大变化。如果不自动的调整分类器的参数，势必会降低分类的准确率。基于以上问题，我们提出了一种基于视觉的移动机器人地形分类方法。

发明内容

本发明技术解决问题：克服现有技术的不足，提出一种基于视觉的移动机器人地形分类方法，具有较快的运算速度，能够在线校正错误的分类，并且可以通过在线学习提高分类器的泛化性能。

本发明的技术方案如下：一种基于视觉的移动机器人地形分类方法，包括分为离线训练部分和在线训练部分，其中：

离线训练部分包括以下步骤：

第一步，控制机器人分别在不同地形上匀速运动，期间利用安装在机器人上的摄像头捕捉地面图像，得到地面图像序列；

第二步，对第一步获取的地面图像序列中的每幅图像进行特征提取并归一化以后，得到样本集合Σ，样本集合中的每个样本S_t由12个特征描述，则每个样本是i维样本空间的一个向量，是S_t中的一个元素，上标i＝1,2,…,12；

第三步，对第二步获取的样本集合Σ进行标记，得到样例集合Ω＝{(S₁,Y₁),(S₂,Y₂),…(S_μ,Y_μ)}，其中Y_t∈C,t＝1,2,…,μ表示样本S_t对应的标记，Y_t即真实地形，μ表示Ω中样例的数量；地形集合C＝{c₁,c₂,…,c_m}，m表示地形的数量；

第四步，对第三步获取的样例集合Ω采用CART算法生成决策树并剪枝，最终得到决策树D₀；

在线训练部分步骤如下：

第五步，采集地面图像，得到第k秒的地面图像M_k，k＝1,2,…

第六步，对第五步获取的M_k提取特征并归一化，得到第k秒的样本S_k；

第七步，如果k＝1，则利用第四步中得到的决策树D₀预测地形，否则利用第九步中得到的决策树D_k-1预测地形，得到第k秒的预测地形x_k；存储x_k得到预测的地形序列X_k＝{x₁.x₂,…,x_k}；

第八步，对第七步获得的X_k＝{x₁.x₂,…,x_k}进行修正，修正方法如下：

其中，c_j∈C；II为示性函数，当x_i＝c_j时，II＝1，否则II＝0；τ>0表示窗口长度，为正整数；得到修正的地形序列

第九步，如果则不修正已有的决策树，即D_k＝D_k-1；如果则利用样例修正已有的决策树，得到第k秒的决策树D_k。

第二步中，对地面图像序列中的每幅图像进行特征提取的方法如下：

定义一幅图像M在HSV空间的色度矩阵为H，M的灰度图为G；提取特征向量如下；

其中，H^(i,j)表示H的第i行第j列的数值，u与v为图像的宽与高；

其中，G^(i,j)表示G的第i行第j列的数值：

其中，T由G计算得到，w、h分别表示T的宽度与高度，方式如下：

上式中，1≤i≤u-2，1≤j≤v-2；当B(·)中不等式成立时B＝1，否则B＝0；N_p为G^{(i +1,j+1)}周围八邻域像素点灰度值序列，起点为左上角像素点，顺时针展开排序，即N₁＝G^(i,j)、N₂＝G^(i+1,j)、N₃＝G^(i+2,j)、N₄＝G^(i+2,j+1)、N₅＝G^(i+2,j+2)、N₆＝G^(i+1,j+2)、N₇＝G^(i,j+2)、N₈＝G^(i,j+1)；其中，T^(i,j)表示T的第i行第j列的数值；

第九步中，样例修正决策树包括如下步骤：

1)如果D_k-1为空，则加入一个叶子节点，叶子节点对应的类为样例E_k-τ对应的类

2)如果D_k-1是一个叶子节点，且所述叶子节点对应的类和相同，则把所述样例E_k-τ加入到所述叶子节点的样例集；

3)如果不是上面两种情况之一，则进行以下处理：

3.1)如果D_k-1是一个叶子节点，且所述叶子节点对应的类和不同，则将D_k-1转换成一个非叶节点，测试属性随机选取；

3.2)对于当前节点的测试属性和所有非测试属性，在训练样例中更新属性值样例计数器；

3.3)如果当前节点包含的测试属性的信息增益不是最大，则进行如下操作：

3.3.1)对D_k-1进行重构，使根节点的测试属性的信息增益最大；

3.3.2)在子树中进行相同的操作，使各个子树中的根节点的测试属性为当前信息增益最大；

3.4)沿着新的样例E_k-τ所在的分支逐层更新信息，最终得到修正后的决策树D_k。

所述步骤3.3.1)中重构的方法如下：

a)当新加入的属性α已经在根节点位置，则结束；

b)当新加入的属性α不在根节点位置，则进行以下操作：

b.1)递归的将α推到直接子树的根节点的位置，把叶子节点转换为以α为测试属性的非叶节点，得到一个α在根节点的新树，而旧的根节点属性在直接子树的根节点上；

b.2)转化子树，使得在这个树里面，新的根节点属性为α，而旧的根节点属性存于每一个直接子树的根节点；

c)得到根节点的测试属性的信息增益最大的重构的树。

本发明与现有技术相比，优点在于：1)采用了较为简单、紧凑的图像描述子与分类器，能够降低运算资源与电量的消耗，保证了系统的实时性，并且在分类器输出后端加入修正算法；解决了准确率降低的问题；2)在分类修正算法中提取被错误分类的样例，分类器利用该样例进行增量学习，提高了泛化性能，保证了长期运行的准确性。

附图说明

图1为本发明流程图；

图2为分类器预测的混淆矩阵；

图3位修正前后的地形分类结果局部放大图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图与具体实施例对本发明进行详细说明。

如图1所示，本发明包括离线训练与在线分类两部分，具体实施步骤如下：

离线训练部分包括以下步骤：

第一步，控制机器人分别在不同地形上匀速运动，期间利用安装在机器人上的摄像头捕捉地面图像，得到地面图像序列；

第二步，对第一步获取的地面图像序列中的每幅图像进行特征提取并归一化以后，得到样本集合Σ，样本集合中的每个样本S_t由12个特征描述，则每个样本是i维样本空间的一个向量，是S_t中的一个元素，上标i＝1,2,…,12；具体特征提取方法如下：

定义一幅图像M在HSV空间的色度矩阵为H，M的灰度图为G；提取特征向量如下；

其中，H^(i,j)表示H的第i行第j列的数值，u与v为图像的宽与高；

其中，G^(i,j)表示G的第i行第j列的数值：

其中，T由G计算得到，w、h分别表示T的宽度与高度，方式如下：

上式中，1≤i≤u-2，1≤j≤v-2；当B(·)中不等式成立时B＝1，否则B＝0；N_p为G^{(i +1,j+1)}周围八邻域像素点灰度值序列，起点为左上角像素点，顺时针展开排序，即N₁＝G^(i,j)、N₂＝G^(i+1,j)、N₃＝G^(i+2,j)、N₄＝G^(i+2,j+1)、N₅＝G^(i+2,j+2)、N₆＝G^(i+1,j+2)、N₇＝G^(i,j+2)、N₈＝G^(i,j+1)；其中，T^(i,j)表示T的第i行第j列的数值；

第三步，对第二步获取的样本集合Σ进行标记，得到样例集合Ω＝{(S₁,Y₁),(S₂,Y₂),…(S_μ,Y_μ)}，其中Y_t∈C,t＝1,2,…,μ表示样本S_t对应的标记，Y_t即真实地形，μ表示Ω中样例的数量；地形集合C＝{c₁,c₂,…,c_m}，m表示地形的数量；

第四步，对第三步获取的样例集合Ω采用CART算法生成决策树并剪枝，最终得到决策树D₀；

在线训练部分步骤如下：

第五步，采集地面图像，得到第k秒的地面图像M_k，k＝1,2,…

第六步，对第五步获取的M_k提取特征并归一化，得到第k秒的样本S_k；

第七步，如果k＝1，则利用第四步中得到的决策树D₀预测地形，否则利用第九步中得到的决策树D_k-1预测地形，得到第k秒的预测地形x_k；存储x_k得到预测的地形序列X_k＝{x₁.x₂,…,x_k}；

第八步，对第七步获得的X_k＝{x₁.x₂,…,x_k}进行修正，修正方法如下：

其中，c_j∈C；II为示性函数，当x_i＝c_j时，II＝1，否则II＝0；τ>0表示窗口长度，为正整数；得到修正的地形序列

第九步，如果则不修正已有的决策树，即D_k＝D_k-1；如果则利用样例修正已有的决策树，得到第k秒的决策树D_k。修正决策树包括如下步骤：

1)如果D_k-1为空，则加入一个叶子节点，叶子节点对应的类为样例E_k-τ对应的类

2)如果D_k-1是一个叶子节点，且所述叶子节点对应的类和相同，则把所述样例E_k-τ加入到所述叶子节点的样例集；

3)如果不是上面两种情况之一，则进行以下处理：

3.1)如果D_k-1是一个叶子节点，且所述叶子节点对应的类和不同，则将D_k-1转换成一个非叶节点，测试属性随机选取；

3.2)对于当前节点的测试属性和所有非测试属性，在训练样例中更新属性值样例计数器；

3.3)如果当前节点包含的测试属性的信息增益不是最大，则进行如下操作：

3.3.1)对D_k-1进行重构，使根节点的测试属性的信息增益最大；重构方法如下：

a)当新加入的属性α已经在根节点位置，则结束；

b)当新加入的属性α不在根节点位置，则进行以下操作：

b.1)递归的将α推到直接子树的根节点的位置，把叶子节点转换为以α为测试属性的非叶节点，得到一个α在根节点的新树，而旧的根节点属性在直接子树的根节点上；

b.2)转化子树，使得在这个树里面，新的根节点属性为α，而旧的根节点属性存于每一个直接子树的根节点；

c)得到根节点的测试属性的信息增益最大的重构的树。

3.3.2)在子树中进行相同的操作，使各个子树中的根节点的测试属性为当前信息增益最大；

3.4)沿着新的样例E_k-τ所在的分支逐层更新信息，最终得到修正后的决策树D_k。

为了验证本发明，使用轮式机器人分别运行在6种常见的地形，并采集地面图像序列。地形的灰度图如图3所示，分别为'沥青'、'雪地'、'步道'、'草地'、'瓷砖'、'木板'。机器人的移动速度约为0.8-1.1m/s，每秒捕捉一幅地面图像，每种地形实验约为10分钟。因此，对于6种地形，我们获取3600个训练样例集合。

机器人进入实际运行阶段，分别穿越6种地形，每秒对地形做一次预测，其混淆矩阵如图2所示，平均错误率为26.7％。修正之后的平均错误率为7.3％，修正前后的分类结果的局部放大图如图3所示。

另外，如果不对样例集合进行修正，分类器预测的地形的平均错误率约为32.7％。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (4)

1.一种基于视觉的移动机器人地形分类方法，其特征在于：包括分为离线训练部分和在线训练部分，其中：

离线训练部分包括以下步骤：

第一步，控制机器人分别在不同地形上匀速运动，期间利用安装在机器人上的摄像头捕捉地面图像，得到地面图像序列；

第二步，对第一步获取的地面图像序列中的每幅图像进行特征提取并归一化以后，得到样本集合Σ，样本集合中的每个样本S_t由12个特征描述，则每个样本是i维样本空间的一个向量，是S_t中的一个元素，上标i＝1,2,…,12；

第三步，对第二步获取的样本集合Σ进行标记，得到样例集合Ω＝{(S₁,Y₁),(S₂,Y₂),…(S_μ,Y_μ)}，其中Y_t∈C,t＝1,2,…,μ表示样本S_t对应的标记，Y_t即真实地形，μ表示Ω中样例的数量；地形集合C＝{c₁,c₂,…,c_m}，m表示地形的数量；

第四步，对第三步获取的样例集合Ω采用CART算法生成决策树并剪枝，最终得到决策树D₀；

在线训练部分步骤如下：

第五步，采集地面图像，得到第k秒的地面图像M_k，k＝1,2,…

第六步，对第五步获取的M_k提取特征并归一化，得到第k秒的样本S_k；

第七步，如果k＝1，则利用第四步中得到的决策树D₀预测地形，否则利用第九步中得到的决策树D_k-1预测地形，得到第k秒的预测地形x_k；存储x_k得到预测的地形序列X_k＝{x₁.x₂,…,x_k}；

第八步，对第七步获得的X_k＝{x₁.x₂,…,x_k}进行修正，修正方法如下：

其中，c_j∈C；为示性函数，当x_i＝c_j时，否则τ>0表示窗口长度，为正整数；得到修正的地形序列

第九步，如果则不修正已有的决策树，即D_k＝D_k-1；如果则利用样例修正已有的决策树，得到第k秒的决策树D_k。

2.根据权利要求1所述的一种基于视觉的移动机器人地形分类方法，其特征在于：第二步中，对地面图像序列中的每幅图像进行特征提取的方法如下：

定义一幅图像M在HSV空间的色度矩阵为H，M的灰度图为G；提取特征向量如下；

其中，H^(i,j)表示H的第i行第j列的数值，u与v为图像的宽与高；

其中，G^(i,j)表示G的第i行第j列的数值：

其中，T由G计算得到，w、h分别表示T的宽度与高度，方式如下：

上式中，1≤i≤u-2，1≤j≤v-2；当B(·)中不等式成立时B＝1，否则B＝0；N_p为G^(i+1,j+1)周围八邻域像素点灰度值序列，起点为左上角像素点，顺时针展开排序，即N₁＝G^(i,j)、N₂＝G^(i+1,j)、N₃＝G^(i+2,j)、N₄＝G^(i+2,j+1)、N₅＝G^(i+2,j+2)、N₆＝G^(i+1,j+2)、N₇＝G^(i,j+2)、N₈＝G^(i,j+1)；其中，T^(i,j)表示T的第i行第j列的数值。

3.如权利要求1所述的种基于视觉的移动机器人地形分类方法，其特征在于：第九步中，样例修正决策树包括如下步骤：

1)如果D_k-1为空，则加入一个叶子节点，叶子节点对应的类为样例E_k-τ对应的类

2)如果D_k-1是一个叶子节点，且所述叶子节点对应的类和相同，则把所述样例E_k-τ加入到所述叶子节点的样例集；

3)如果不是上面两种情况之一，则进行以下处理：

3.1)如果D_k-1是一个叶子节点，且所述叶子节点对应的类和不同，则将D_k-1转换成一个非叶节点，测试属性随机选取；

3.2)对于当前节点的测试属性和所有非测试属性，在训练样例中更新属性值样例计数器；

3.3)如果当前节点包含的测试属性的信息增益不是最大，则进行如下操作：

3.3.1)对D_k-1进行重构，使根节点的测试属性的信息增益最大；

3.3.2)在子树中进行相同的操作，使各个子树中的根节点的测试属性为当前信息增益最大；

3.4)沿着新的样例E_k-τ所在的分支逐层更新信息，最终得到修正后的决策树D_k。

4.如权利要求3所述的种基于视觉的移动机器人地形分类方法，其特征在于：

所述步骤3.3.1)中重构的方法如下：

a)当新加入的属性α已经在根节点位置，则结束；

b)当新加入的属性α不在根节点位置，则进行以下操作：

b.1)递归的将α推到直接子树的根节点的位置，把叶子节点转换为以α为测试属性的非叶节点，得到一个α在根节点的新树，而旧的根节点属性在直接子树的根节点上；

b.2)转化子树，使得在这个树里面，新的根节点属性为α，而旧的根节点属性存于每一个直接子树的根节点；

c)得到根节点的测试属性的信息增益最大的重构的树。