CN104700105A - 非结构化室外地形全局检测方法 - Google Patents

Abstract

本发明提供了一种机器人技术领域的室外地形全局检测方法，具体步骤包括：图像采集、图像预处理、场景图像分割、外观特征提取、地形类别判定、地形分类器候选数据库构建、当前场景最优分类器验证、地形类别统计建模、统计模型参数训练和统计模型推理。本发明从原理上整合了不同时间点的导航经验，提升了视场样本不均衡甚至缺失条件下地形检测的稳定性和智能程度；本发明采用的组合式多层感知器分类器能兼顾场景“外观—地形”映射关系的不确定性和非线性，从而提升地形检测的准确性；本发明从原理上对当前场景各种尺度上的空间关系和类别兼容性进行建模，实现了对非结构化室外地形的全局检测。

Description

非结构化室外地形全局检测方法

技术领域

本发明涉及的是一种机器人技术领域的检测方法，具体是一种非结构化室外地形的全局检测方法。

背景技术

地形检测是室外非结构化环境下移动机器人视觉导航中需要解决的关键问题，是后续路径规划和动作执行的先决条件。当前由于低成本、远距离地形检测手段的缺失，绝大多数地形检测方法为基于立体视觉或激光雷达的近距离检测方法。然而，这种地形检测的近视特性将直接或者间接导致机器人产生低效的路径规划结果甚至导航任务的失败。

近年来，随着人工智能等学科的发展和机器人自学习能力在机器人领域得到更大程度的重视，基于外观特征的、由近及远的地形检测方法成为通用解决方案。这类方法是一种在线自监督学习方法。这种方法同时采集近距离的外观特征和立体信息作为“外观特征—地形类别”分类器模型的训练样本，然后将远距离场景的外观特征输入到该模型实现远距离地形的检测。各种远距离地形检测方法的不同点在于监督信息的获取方式：有人利用激光测距仪及位姿估算系统识别近距离视场的可行驶区域；有人利用立体视觉信息；也有人采用保险杆、车轮滑动等本体传感信息识别地形可通过性。

上述检测方法的共同缺陷在于，他们均假设了近距离场景的“外观—地形”映射与远距离场景的映射关系一致。但是由于非结构化室外环境场景几何和光照条件的复杂性，这种假设很难严格成立，存在映射偏移问题。因此，如何对映射偏移问题进行补偿成为一个新的研究点。主要涉及的新方法包括逆光流方法和分类器组合方法。逆光流方法对车辆行进过程中不同时间、相同位置的路面外观特征进行追踪，以获得对应车辆前方不同距离的路面外观模板，该模板用于远视场路面区域的预测。但这种方法所依赖的追踪特征受制于亮度饱和及场景元素出现模式，且光照变化会导致很高的错分率。分类器组合方法通过不同时间点学习的地形分类模型的增量存储、在线最优确认及输出动态组合将机器人的过去经验融入当前预测。但最佳模型在线确认的依据仍是近视场信息，因此该方法部分受制于映射偏移问题。

经对现有技术检索发现，王明军等人于2009年提出了一种针对非结构化室外环境机器人视觉导航的远距离地形检测方法，该方法利用当前场景近视场样本与远视场样本特征的比对和分类，实现远视场地形的检测。但该方法过度依赖前述的映射关系一致性假设，还难以达到室外非结构化环境下移动机器人视觉导航的以下要求：

1、检测模型应从原理上整合不同时间点的导航经验，以提升近视场样本不均衡甚至缺失条件下地形检测的稳定性和智能程度；

2、检测模型应充分考虑场景“外观—地形”映射关系的不确定性和非线性，以提升地形检测的准确性；

3、检测模型应对当前场景各种尺度上的空间关系和类别兼容性进行建模，实现对非结构化室外地形的全局检测。

发明内容

本发明的目的在于克服现有技术的不足，提出一种针对非结构化场景条件下的全局地形检测方法，具体通过导航经验智能整合、非线性映射机制设计以及全局空间关系整合，实现基于立体视觉的在线、由近及远的全局地形检测方法。

本发明是通过以下技术方案实现的，本发明包括步骤如下：

第一步，采集一帧图像到内存。

第二步，对采集的图像进行图像增强、灰度均衡化处理以及高斯平滑滤波等预处理。

第三步，将预处理后的图像进行分割处理，分割为近视场图像帧和远视场图像帧，并融合相邻像素在边缘及颜色特征上的差异性，分别将近视场图像帧和远视场图像帧划分为若干像素集，每个像素集作为一个超像素。

第四步，分别对近视场图像帧和远视场图像帧以超像素为单位进行外观特征提取。

所述的外观特征包括：颜色特征和纹理特征，其中：颜色特征是颜色空间每个分量的平均值，纹理特征是LM滤波器的平均输出以及每个像素点位置输出值最大的LM滤波器对应索引的柱状图分布。

第五步，根据近视场场景超像素内所有像素点的高程平均值对超像素所属地形类别进行自动判定，具体类别由高程平均值与预先确定阈值的相对大小决定，地形类别包括：障碍空间和自由空间。

所述的高程是通过摄像机模型和立体成像原理，在视差图坐标系中直接拟合地平面，将像素点的视差值减去地平面对应视差得到的。

第六步，基于前述步骤获取的近视场超像素“特征——地形类别”信息，训练当前场景对应的地形分类器，与历史预充信息中已有地形分类器共同组成地形分类器候选数据库。同时当前场景近视场图像帧信息与历史预充信息中已有图像帧信息共同组成地形样本候选数据库。

所述的地形分类器采用自定义的组合式多层感知器分类器，该分类器对样本的每一维输入特征训练一个单独的多层感知器模型，并评估每个模型对应的权重系数，最后的总分类器为所有多层感知器模型输出的加权和。

所述的历史预充信息包含历次导航中不同时间点训练得到的地形分类器和对应的图像帧信息，而图像帧信息具体包括原始RGB数据、所提取超像素的特征及地形类别。而当前场景处理过程中得到的地形分类器候选数据库及地形样本候选数据库在下一场景的处理中作为新的历史预充信息。

第七步，基于当前场景近视场图像帧信息，对地形分类器候选数据库中的所有分类器进行验证，将验证效果最佳的五个分类器进行组合，作为当前场景最优分类器。

第八步，基于势能法，分别将近视场超像素和远视场超像素的地形类别联合概率表示成输入为超像素特征的条件概率表达式，得到地形推理统计模型。

所述的条件概率表达式包括：单势能和交互势能，其中：单势能由当前场景最优分类器实现，该分类器基于组合式多层感知器分类器，实现对超像素外观特征与地形类别关系的非线性映射和自适应建模；交互势能对当前场景各种尺度上的空间耦合关系和特征耦合关系进行建模，从原理上实现对非结构化室外地形的全局检测。

所述的统计模型为图模型，由节点和连接节点的边组成，每个节点对应一个超像素，节点之间的边用来对超像素之间的空间关系进行建模。因此，每个超像素对应的地形类别不仅取决于超像素本身(节点)的外观特征，同时通过空间关系(边的连接)受到其他超像素特征的影响。

第九步，每推理完若干帧图像后，利用地形样本候选数据库相关信息，基于梯度上升法，进行一次模型参数的训练。

所述的模型参数主要指统计模型中反映不同势能相对重要性的权重系数，由于势能重要性随不同场景内容波动，因此需要进行模型参数的在线训练以提高整个检测方法对环境的自适应能力。

第十步，根据在线学得的统计模型和当前场景远视场超像素的外观特征向量，得到远视场超像素为障碍空间的概率，其大小反映了检测结果为障碍的可信程度。地形类别的确定通过概率值的阈值化实现。

与现有技术相比，本发明的有益效果是：本发明从原理上整合了不同时间点的导航经验，提升了视场样本不均衡甚至缺失条件下地形检测的稳定性和智能程度；本发明采用的组合式多层感知器分类器能兼顾场景“外观—地形”映射关系的不确定性和非线性，从而提升地形检测的准确性；本发明从原理上对当前场景各种尺度上的空间关系和类别兼容性进行建模，实现了对非结构化室外地形的全局检测。

附图说明

图1是本发明的全局地形检测方法框图。

图2是实施例中的原图与分割处理后得到的超像素组合图；

其中：(a)为一室外导航场景原图，(b)为该图分割处理后得到的超像素组合图，并且上下两框中内容分别表示远视场及近视场区域。

图3是实施例若干场景推理结果对比示意图；

其中：(a)(c)分别为两幅场景原图，(b)(d)分别为(a)(c)的全局检测结果示意图。

具体实施方式

以下结合附图对本发明的方法进一步描述，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例包括：图像采集、图像预处理、场景图像分割、外观特征提取、地形类别判定、地形分类器候选数据库构建、当前场景最优分类器验证、地形类别统计建模、统计模型参数训练和统计模型推理这十个步骤，最终得到地形检测结果。

下面具体进行说明：

第一步，采集一帧图像到内存。

第二步，对采集的图像进行图像增强、灰度均衡化处理以及高斯平滑滤波等预处理。

第三步，将预处理后的图像进行分割处理，分割为近视场图像帧和远视场图像帧，并融合相邻像素在边缘及颜色特征上的差异性，分别将近视场图像帧和远视场图像帧划分为若干像素集，每个像素集作为一个超像素。如图2所示，图2(a)是一室外导航场景原图，图2(b)是经图像分辨率为640×480，分割阈值参数设为50处理后得到的超像素组合图。

第四步，分别对近视场图像帧和远视场图像帧以超像素为单位进行外观特征提取，提取结果为39维的特征向量。

所述的外观特征包括：颜色特征和纹理特征，其中：颜色特征是颜色空间每个分量的平均值；纹理特征是LM滤波器的平均输出以及每个像素点位置输出值最大的LM滤波器对应索引的柱状图分布。

第五步，根据近视场场景超像素内所有像素点的高程平均值对超像素所属地形类别进行自动判定，具体类别由高程平均值与预先确定阈值的相对大小决定，地形类别包括：障碍空间和自由空间。

所述的高程是通过摄像机模型和立体成像原理，在视差图坐标系中直接拟合地平面，将像素点的视差值减去地平面对应视差得到的。

第六步，基于前述步骤获取的近视场超像素“特征——地形类别”信息，训练当前场景对应的地形分类器，与历史预充信息中已有地形分类器共同组成地形分类器候选数据库。同时当前场景近视场图像帧信息与历史预充信息中已有图像帧信息共同组成地形样本候选数据库。

所述的地形分类器采用自定义的组合式多层感知器分类器，其模型参数学习及结果生成的主要步骤如下：

1、给定超像素训练样本集{x_n,t_n}_n＝1,...,N，初始化所有样本权重为相同值其中指数括号中数字表示迭代轮次，共进行M次迭代，M等于样本特征的维数；

2、对于第m次迭代过程：

a)针对第m维输入特征，拟合单个多层感知器分类器y_m(x)，具体通过最小化加权误差函数：

$J_m=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n^{\left(m\right)}I(y_m\left(x_n\right)\≠t_n)$

其中，I(y_m(x_n)≠t_n)为指示函数，当括号内条件成立，函数值为1，否则为0。

b)计算本轮分类器y_m(x)在最终组合分类器中的重要性系数α_m：

${\mathrm{\α}}_m=\ln \left\{\frac{1-{\mathrm{\ϵ}}_m}{{\mathrm{\ϵ}}_m}\right\},{\mathrm{\ϵ}}_m=\frac{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n^{\left(m\right)}I(y_m\left(x_n\right)\≠t_n)}{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n^{\left(m\right)}}$

c)更新训练集样本权重：

$w_n^{(m+1)}=w_n^{\left(m\right)}\exp \left\{{\mathrm{\α}}_{m}I(y_m\left(x_n\right)\≠t_n)\right\}$

如某个样本在本次分类中不正确，则加大对应权重；否则减小其相对权重。

3、组合分类器的最终输出值通过整合所有多层感知器分类器的结果得到：

$l\left(x\right)=\mathrm{sign}\left(\underset{m=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_m{y}_m\left(x\right)\right)$

所述的历史预充信息包含历次导航中不同时间点训练得到的地形分类器和对应的图像帧信息，而图像帧信息具体包括原始RGB数据、所提取超像素的特征及地形类别。而当前场景处理过程中得到的地形分类器候选数据库及地形样本候选数据库在下一场景的处理中作为新的历史预充信息。

第七步，基于当前场景近视场图像帧信息，对地形分类器候选数据库中的所有分类器进行验证，将验证效果最佳的五个分类器进行组合，作为当前场景最优分类器。

设验证效果最佳的五个分类器分别为l₁(x),l₂(x),l₃(x),l₄(x),l₅(x)，对应的分类误差分别为e₁,e₂,e₃,e₄,e₅，则当前场景最优分类器的输出定义为：

$l_{\mathrm{best}}\left(x\right)=\mathrm{sign}\left\{\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\right[l_i\left(x\right)*(1-\frac{e_i}{e_1+e_2+e_3+e_4+e_5})*\frac{1}{4}\left]\right\}$

第八步，基于势能法，分别将近视场超像素和远视场超像素的地形类别联合概率表示成输入为超像素特征的条件概率表达式，得到地形推理统计模型。

所述的统计模型为图模型，由节点和连接节点的边组成，每个节点对应一个超像素，节点之间的边用来对超像素之间的空间关系进行建模。因此，每个超像素对应的地形类别不仅取决于超像素本身(节点)的外观特征，同时通过空间关系(边的连接)受到其他超像素特征的影响。

设远视场图像帧外观特征为X＝{x_i}_i∈S，S为远视场图像帧超像素的索引集合，x_i为从第i个超像素中提取的外观特征，超像素的类别集合为L＝{l_i}_i∈S，l_i为第i个超像素的地形类别，本实施例只针对地形二值分类，因此l_i∈{-1,1}，-1表示地面类，1表示障碍类。则远视场场景超像素的地形类别的联合概率P(L|X)定义为：

其中：exp表示指数函数，N_i是超像素i的所有相邻超像素的集合，Z为概率归一化系数。指数部分的表达式中，A_i(l_i,x_i,γ_A)为超像素i的单势能，其刻画了超像素本身特征与地形类别的兼容性。k₁项、k₂项、k₃项以及k₄项为超像素i和超像素j之间的交互势能，交互势能综合反映了超像素个体在各种尺度上的空间耦合关系和特征耦合关系，为实现室外地形的全局检测从原理上提供了可能性。

【单势能项的构造】单势能A_i(l_i,x_i,γ_A)由当前场景最优分类器实现，该分类器基于组合式多层感知器分类器，实现了对超像素外观特征与地形类别关系的非线性映射和自适应建模。其中参数γ_A代表分类器中所有参数的集合，其学习过程已在第六步叙述。

【k₁项及k₂项的构造】k₁项及k₂项中，δ(x)为克罗内克函数，c_i为超像素_i的重心坐标，r₀为根据场景尺度预定义的距离阈值。k₁项使得两个距离较近的超像素取相同地形类别的概率增大，k₂项使得两个距离较远的超像素取相同地形类别的概率减小。k₁项及k₂项的设计整合了场景分析中“距离较近的两个事物为同类的可能性较大”的先验知识，相对于现有的各类技术，本发明拓展了推理模型对空间耦合关系的建模尺度。

【k₃项及k₄项的构造】k₃项及k₄项中，为前述分类器模型学习中各感知器模型的权重系数平均值，该系数同时也表征了特征向量中各分量的相对重要性。因此k₃项使得两个加权特征距离较远的超像素取不同地形类别的概率增大，k₄项使得两个加权特征距离较近的超像素取相同地形类别的概率增大。k₃项及k₄项的设计整合了场景分析中“特征较近的两个事物为同类的可能性较大”的人类先验知识，相对于现有的各类技术，本发明拓展了推理模型对特征耦合关系的建模尺度。

第九步，每推理完若干帧图像后，利用地形样本候选数据库相关信息，基于梯度上升法，进行一次模型参数的训练。

所述的模型参数包括：权重系数k₁、k₂、k₃、以及k₄。由于近距离场景的超像素特征与地形类别(χ＝{(Lⁿ,Xⁿ)})已知，因此按照条件最大似然准则,使用梯度上升法进行模型参数的估计：

$\widehat{\mathrm{\Θ}}=\underset{\mathrm{\Θ}}{\arg \max }\underset{n}{\mathrm{\Σ}}\log P\left(L^n\right|X^n)$

模型参数的估计具体为：

$\mathrm{\&Delta;}{k}_1\&Proportional;\underset{n}{\mathrm{\&Sigma;}}\underset{i\&Element;S}{\mathrm{\&Sigma;}}\underset{j\&Element;S}{\mathrm{\&Sigma;}}\mathrm{\&delta;}({|c}_i-c_j|<r_0)[\mathrm{\&delta;}(l_i^n=l_j^n)-{<\mathrm{\&delta;}(l_i=l_j)>}_{P(l_i,l_j|X^n,{\mathrm{\&Theta;}}^c)}]$

$\mathrm{\&Delta;}{k}_2\&Proportional;\underset{n}{\mathrm{\&Sigma;}}\underset{i\&Element;S}{\mathrm{\&Sigma;}}\underset{j\&Element;S}{\mathrm{\&Sigma;}}\mathrm{\&delta;}({|c}_i-c_j|\&GreaterEqual;r_0)[\mathrm{\&delta;}(l_i^n\&NotEqual;l_j^n)-{<\mathrm{\&delta;}(l_i=l_j)>}_{P(l_i,l_j|X^n,{\mathrm{\&Theta;}}^c)}]$

其中：Δk_i代表k_i的变化值，Θ^c表示参数的当前估计值，P(l_i,l_j|Xⁿ,Θ^c)是基于当前参数值估计的超像素i和j的联合边缘概率。为P(l_i,l_j|Xⁿ,Θ^c)分布下的δ(l_i＝l_j)平均值。

第十步，根据在线学得的统计模型和当前场景远视场超像素的外观特征向量，得到远视场超像素为障碍空间的概率，并进而得到整个场景的统计模型的推理结果具体计算公式为：

其中：argmax符号表示选取后验概率最大的类别标记，L\l_i表示除了超像素i之外的所有超像素集合，超像素的后验概率计算通过LBP方法。超像素的地形类别根据两类地形的后验概率比较得到。

所述的推理结果为远距离场景超像素检测为障碍的概率，概率值越大，说明该超像素为障碍的可信程度越高。地形类别的确定通过比较与0.5的相对大小得到，大于0.5的标记为障碍空间，否则为自由空间。如图3所示，其中，图3(a)和图3(c)为场景原图，图3(b)和图3(d)分别为图3(a)和图3(c)的远距离地形检测结果示意图，图3(b)和图3(d)中的白色为障碍空间，黑色为自由空间。

本发明从原理上整合了不同时间点的导航经验，提升了视场样本不均衡甚至缺失条件下地形检测的稳定性和智能程度；本发明采用的组合式多层感知器分类器能兼顾场景“外观—地形”映射关系的不确定性和非线性，从而提升地形检测的准确性；本发明从原理上对当前场景各种尺度上的空间关系和类别兼容性进行建模，实现了对非结构化室外地形的全局检测。

Claims (9)

1.一种非结构化室外地形全局检测方法，其特征在于，检测方法具体为：

第一步，采集一帧图像到内存；

第二步，对采集的图像进行图像增强、灰度均衡化处理以及高斯平滑滤波等预处理；

第三步，将预处理后的图像进行分割处理，分割为近视场图像帧和远视场图像帧，并融合相邻像素在边缘及颜色特征上的差异性，分别将近视场图像帧和远视场图像帧划分为若干像素集，每个像素集作为一个超像素；

第四步，分别对近视场图像帧和远视场图像帧以超像素为单位进行外观特征提取；

第五步，根据近视场场景超像素内所有像素点的高程平均值对超像素所属地形类别进行自动判定，具体类别由高程平均值与预先确定阈值的相对大小决定，地形类别包括：障碍空间和自由空间；

第六步，基于前述步骤获取的近视场超像素“特征——地形类别”信息，训练当前场景对应的地形分类器，与历史预充信息中已有地形分类器共同组成地形分类器候选数据库，同时当前场景近视场图像帧信息与历史预充信息中已有图像帧信息共同组成地形样本候选数据库；

第七步，基于当前场景近视场图像帧信息，对地形分类器候选数据库中的所有分类器进行验证，将验证效果最佳的五个分类器进行组合，作为当前场景最优分类器；

第八步，基于势能法，分别将近视场超像素和远视场超像素的地形类别联合概率表示成输入为超像素特征的条件概率表达式，得到地形推理统计模型；

第九步，每推理完若干帧图像后，利用地形样本候选数据库相关信息，基于梯度上升法，进行一次模型参数的训练；

第十步，根据在线学得的统计模型和当前场景远视场超像素的外观特征向量，得到远视场超像素为障碍空间的概率，其大小反映了检测结果为障碍的可信程度，地形类别的确定通过概率值的阈值化实现。

2.根据权利要求1所述的非结构化室外地形全局检测方法，其特征是，第 四步中所述的外观特征包括：颜色特征和纹理特征，其中：颜色特征是颜色空间每个分量的平均值，纹理特征是LM滤波器的平均输出以及每个像素点位置输出值最大的LM滤波器对应索引的柱状图分布。

3.根据权利要求1所述的非结构化室外地形全局检测方法，其特征是，第五步中所述的地形类别包括：障碍空间和自由空间，具体类别由高程平均值与预先确定阈值的相对大小决定。

4.根据权利要求1所述的非结构化室外地形全局检测方法，其特征是，第五步中所述的高程是通过摄像机模型和立体成像原理，在视差图坐标系中直接拟合地平面，将像素点的视差值减去地平面对应视差得到的。

5.根据权利要求1所述的非结构化室外地形全局检测方法，其特征是，第六步中所述的地形分类器采用自定义的组合式多层感知器分类器，该分类器对样本的每一维输入特征训练一个单独的多层感知器模型，并评估每个模型对应的权重系数，最后的总分类器为所有多层感知器模型输出的加权和。

6.根据权利要求1所述的非结构化室外地形全局检测方法，其特征是，第六步中所述的历史预充信息包含历次导航中不同时间点训练得到的地形分类器和对应的图像帧信息，而图像帧信息具体包括原始RGB数据、所提取超像素的特征及地形类别。

7.根据权利要求1所述的非结构化室外地形全局检测方法，其特征是，第八步中所述的条件概率表达式包括：单势能和交互势能。

8.根据权利要求7所述的非结构化室外地形全局检测方法，其特征是，所述单势能由当前场景最优分类器实现，该分类器基于组合式多层感知器分类器，实现对超像素外观特征与地形类别关系的非线性映射和自适应建模。

9.根据权利要求7所述的非结构化室外地形全局检测方法，其特征是，所述交互势能由k₁项、k₂项、k₃项以及k₄项四部分组成，通过对当前场景各种尺度上的空间耦合关系和特征耦合关系进行建模，从原理上实现对非结构化室外地形的全局检测。