CN105718955B - 一种基于多重编码与特征融合的视觉地形分类方法 - Google Patents

Abstract

本发明公开了一种基于多重编码与特征融合的视觉地形分类方法，首先提取SIFT特征描述图像局部信息，使用PCA‑Whitening进行特征预处理，降低特征空间的相关性，进而建立K‑means字典与GMM字典，通过稀疏编码与差异化编码方法实现视觉地形特征的再描述，并使用GIST特征补充视觉地形全局信息，最后，使用多核学习方法进行特征融合，形成紧凑的视觉地形特征表达，输入线性支持向量机(SVM)中，得到视觉地形分类结果。本发明利用多重编码与多特征融合方法全面描述了视觉地形的局部多阶信息与全局特征，并通过与基线方法的对比，验证了方法的有效性。

Description

一种基于多重编码与特征融合的视觉地形分类方法

技术领域

本发明涉及视觉地形分类领域，尤其涉及一种基于多重编码与特征融合的视觉地形分类方法。

背景技术

不同于室内结构化环境，野外场景下，机器人必须面对不同的路面环境，松软、泥泞、崎岖不平的路面都有可能给机器人带来危险。这些危险路面统称为非几何地形特征危险(Non-geometric hazard)。对此，机器人必须具备准确的感知和分类能力，才能据此做出合适的路径规划、不同的步态规划和运动控制策略。如果机器人所处的地形特征信息无法被准确识别，就有可能导致机器人做出错误的步态规划和动力学控制决策，使机器人不能实现期望的运动，甚至发生危险。

识别非几何地形特征的方法主要分为2种，一类是基于本体感受的方法，主要通过分析机器人经过相应地形时的振动信息进行识别分类，这类方法最大的缺点是无法预先识别目标区域地形，机器人容易发生危险。另一类是基于外形特征的方法，主要利用地形的视觉信息，与其它传感器信息相比，视觉信息最接近于人类的环境感知方式，能够提供较为丰富的感知信息。因此，基于机器人视觉信息进行地形识别与分类成为目前移动机器人领域的一个研究热点。

各种颜色、纹理和梯度特征先后被应用于视觉地形识别，都取得了一定的效果，但是这些底层特征的准确性和稳定性还是不能让人满意。

同类地形具有差异性的视觉表现，不同类的地形间却有时表现出高度视觉相似，地形图像中局部和全局特征混杂，识别的实时性要求高，这些都给视觉的地形分类带来了挑战，如何准确、快速的完成地形分类任务仍是目前的急需解决的关键问题。

发明内容

本发明提供了一种基于多重编码与特征融合的视觉地形分类方法，本发明全面描述视觉地形图像的全局与局部多阶特征信息，采用多核学习的方法进行特征融合，形成紧凑的图像描述，提高了视觉地形分类的准确性与鲁棒性，实现了快速、高效的视觉地形分类，详见下文描述：

一种基于多重编码与特征融合的视觉地形分类方法，所述视觉地形分类方法包括以下步骤：

使用PCA-Whitening对SIFT特征进行特征预处理，降低特征空间的相关性；

根据特征预处理后的结果，分别建立K-means字典与GMM字典；

对K-means字典通过使用稀疏编码来描述视觉地形图像的0阶局部特征；对GMM字典通过采用差异化编码，描述视觉地形图像的1阶与2阶局部特征；

使用GIST特征提取地形图像的视觉全局信息；

通过多核学习方法融合视觉地形图像的0阶、1阶、2阶局部特征和GIST全局特征，获取紧凑的视觉地形特征；

将视觉地形特征输入线性支持向量机中，得到视觉地形分类结果。

所述视觉地形分类方法还包括：

建立视觉地形数据集作为评价测试对象，对视觉地形图像进行关键点检测，对图像中的局部信息关键点使用SIFT特征进行描述，提取局部底层视觉信息。

本发明提供的技术方案的有益效果是：

1、本发明同时使用了SIFT(尺度不变特征转换)与GIST(全局纹理响应)描述子，融合后的表达同时包含了视觉地形图像的局部和全局信息，更具有鉴别力；

2、本发明同时使用稀疏编码与差异性编码，描述了视觉地形局部特征的0阶、1阶与2阶信息，更全面的反映了地形的视觉特征；本发明同时针对视觉分类任务，优化了编码方法中的各个参数，使其准确性与速度都有了较大提升；

3、本发明通过PCA(主成分分析)-Whitening(白化)的特征预处理阶段，降低了特征空间相关性，增强了之后特征字典生成的有效性，提高了分类效果；

4、本发明在特征融合阶段，不同于传统的串联方法，采用多核学习方法实现了更优的特征融合效果；

5、本发明还对比基线方法进行了实验验证，验证了本发明的可行性。

附图说明

图1为本发明的多重编码与特征融合的视觉地形算法流程图；

图2为包含8种典型地形的数据集DS1图(共计2700张地形图片)；

图3为机器人小狗(LittleDog)通过视觉识别地形图；

图4(a)为采用基线方法的效果图；

图4(b)为本方法的效果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

本发明实施例提供了一种基于多重编码与特征融合的视觉地形分类方法，参见图1，该方法包括以下步骤：

101：建立视觉地形数据集作为评价测试对象，对视觉地形图像进行关键点检测，对图像中的局部信息关键点使用SIFT特征进行描述，提取局部底层视觉信息；

102：使用PCA-Whitening对SIFT特征进行特征预处理，降低特征空间的相关性；

103：根据特征预处理后的结果，分别建立K-means(K均值聚类)字典与GMM(高斯混合模型聚类)字典；

104：对K-means字典通过使用稀疏编码来描述视觉地形图像的0阶局部特征；对GMM字典通过采用差异化编码，描述视觉地形图像的1阶与2阶局部特征；

105：使用GIST特征提取地形图像的视觉全局信息；

106：通过多核学习方法融合视觉地形图像的0阶、1阶、2阶局部特征和GIST全局特征，获取紧凑的视觉地形特征；

107：将视觉地形特征输入线性支持向量机(SVM)中，得到视觉地形分类结果。

综上所述，本发明实施例通过上述步骤101到107利用多重编码与多特征融合方法全面描述了视觉地形的局部多层次特征与全局特征信息，并通过与基线方法的对比，验证了方法的有效性。

实施例2

下面结合具体的计算公式、例子以及图2对实施例1中的方案进行详细的描述，详见下文：

(1)视觉地形数据集的建立

因为地形识别领域没有通用的数据集，本发明实施例制作了数据集DS1，作为评估测试对象，数据集DS1一共包含8种不同的典型地形路面：沥青路面、泥地、草地、瓷砖、碎石、大碎石、沙地和落叶覆盖。图片在不同的光照和天气条件下获取，统一分辨率256×256，每类至少包含300张图片，数据集共计2700张图片，各类典型路面如图2所示。

本发明实施例对图片的分辨率、图片的数量、以及图片的类型不做限制，可以根据实际应用中的需要进行确定。

(2)SIFT特征提取

SIFT是一种具有视角、尺度与方向不变性的图像局部特征描述符，对光照变化和噪声影响敏感度低。具体实现包括：检测子和描述符两方面，其中检测子通过对图像进行多尺度的高斯模糊，建立图像高斯差分金字塔(DOG)，选取DOG空间中的局部极值点作为图像的局部兴趣点。之后在兴趣点上建立4×4的网格，每个网格中统计8个方向的梯度信息，形成128维的特征向量作为兴趣点的描述符。最后每张图片提取出n个局部兴趣点和n×128的SIFT特征向量矩阵。

其中，对SIFT特征提取的具体操作步骤为本领域技术人员所公知，本发明实施例对此不做赘述。

(3)特征预处理

特征预处理阶段是经常被研究者所忽视的，但通过本发明实施例的研究发现，恰当的特征预处理手段，能大大增强最后的分类效果，同时降低所需空间消耗。通过大量的实验和测试，本发明选择PCA和Whitening两种特征预处理手段来加强视觉地形分类效果。

原始提取的SIFT特征通常高度耦合，并且包含许多低信息成分，这对随后有效字典的形成带来了挑战。本发明采用PCA对特征向量进行降维，在保留绝大部分特征信息的前提下，降低特征向量的空间消耗，使用Whitening降低特征之间的相关性，保证特征间具有相同的方差。

通过多次实验的评估分析，最终选择最佳SIFT特征维度为80(本发明实施例对此不做限制)，降低了算法37.5％的空间成本的同时，保留了95％的特征信息，在不影响分类性能的前提下，PCA-Whitening预处理方法大大提高的算法的效果和实用性。实现公式如(1)所示

X_i'＝ΛU^TX_i (1)

是原始的SIFT特征，是预处理之后的结果，是PCA降维矩阵，T为转置，Λ是对角Whitening矩阵，λ_i是特征协方差矩阵的第i^th个特征值(从大到小排序)。

(4)视觉地形特征词典建立

视觉地形特征词典是根据特征空间的信息分布形成的超完备基向量集合，关键参数为词典大小M(词典中包含M个基向量)，方法选择无监督聚类算法，根据之后的编码要求，建立K-means词典与GMM词典，并计算相应的关键参数M的最优值。

K-means词典建立

从训练集中选择T个特征向量随机选择M个中心 作为初始的质心，之后对剩余的特征向量测量其到质心的欧式距离，并把它归到最近质心所属类

其中q_mi为特征x_i到最近质心的距离；m为最近质心的标号。

之后再重新计算已经得到的各类的新质心b_m＝avg{x_i:q_i＝m}，重复迭代，直到误差小于阈值或达到最大迭代数(100)，最后各质心组成了视觉地形码本词典。通过多次实验，本发明选定K-means视觉地形词典大小为800。

GMM词典建立

在训练集建立M个高斯混合模型(Gaussian MixtureModel，GMM)p(x|θ)：

其中x为特征空间的向量集合，在本发明中指X_train。

GMM模型同时描述了特征的归属情况与聚集程度，其中M表示码本大小，θ＝(π₁,μ₁,Σ₁,..π_m,μ_m,Σ_m..,π_M,μ_M,Σ_M)表示模型参数，包括先验概率π_m∈R₊，均值μ_m∈R⁸⁰，对角协方差矩阵Σ_m∈R^80×80。

本发明实施例使用期望最大化(Expectation Maximization，EM)算法学习这些模型参数。EM算法对初值敏感，使用K-means算法进行初始化。最后以建立的M个高斯混合模型作为视觉地形码本词典。通过多次实验，本发明实施例选定GMM视觉地形词典大小为8，本发明实施例对此不做限制。

(5)稀疏编码求解

利用K-means码本词典，采用稀疏编码对SIFT特征进行编码表达，提取视觉地形特征空间的0阶信息。选择激活码本词典中的一小部分基向量，使用它们的线性组合来重构特征空间相应的系数矩阵 为编码结果。稀疏编码方法表示为：

其中包括最小二乘项||x_i-Bd_i||²与正则项ψ(d_i)，λ为平衡因子。最小二乘项用于确保尽量小的重构误差，而正则项划定激活向量的选择空间(保证激活的基向量均具有代表性和鉴别力)。本发明实施例选择LLC(Locality-constrained Linear Coding)稀疏编码方法，其正则项定义为：

其中⊙为矩阵元素对应相乘符号；E_i为区域性调节因子(locality adaptor)；s.t表征后面的1^Τd_i＝1,为ψ(d_i)的限制条件，1^Τd_i表示d_i中的元素求和。

其中e_i＝[dist(x_i,b₁),..dist(x_i,b_m)..,dist(x_i,b_M)]^T表征各基向量与被编码特征的相似性；dist(x_i,b₁)为特征X_i与视觉单词b_m之间的欧式距离。σ为调节因子。本发明实施例采用(5)这样的正则项，是因为这样可以生成解析解，省去了大量的优化过程，降低了计算复杂度。其解析解为：

d_i＝(C_i+λdiag(E))\1 (7)

d_i＝d_i/1^Td_i (8)

其中，d_i为中间变量，diag(E)为矩阵E的对角矩阵。

其中C_i＝(B^T-1x_i ^T)(B^T-1x_i ^T)^T代表特征数据的协方差矩阵。稀疏编码求解得到 为矩阵形式，无法输入支持向量机中完成分类操作，直接级联则会产生冗长的特征向量(百万级维数)，为了得到紧凑的图像中层描述符F，采用池化操作。首先选取每个基向量m中前n个系数(从大到小排列)构成Φ_mn，经过实验结果分析，本发明实施例选择参数n＝5，池化操作表达式为：

再对池化结果F进行L₂正则化处理，得到稀疏编码结果

(6)特征差异化编码

利用GMM码本词典，采用差异化编码方法对SIFT特征进行编码表达，提取视觉地形特征空间的1阶与2阶信息。对输入图片的特征空间整体建立高斯混合模型，与码本词典中的高斯混合模型相比较，编码结果为它们之间的均值(1阶)和方差(2阶)差异：

其中，K为地形图像上的特征点数；x_p为p-th SIFT特征；为特征与模型间的均值差异；为特征与模型间的方差差异。

其中，{w_m,μ_m,σ_m}_m分别表示GMM视觉字典中各视觉单词的混合权重，均值与对角协方差；α_p(m)为柔性分配权重，表征着p-th SIFT特征相对m-th混合高斯模型的权重值。特征差异化编码求解得到采用级联方法最小化信息转化损失，得到图像中层描述符F，采用L2正则化，得到特征差异化编码结果

(7)GIST特征提取

GIST特征是基于Gabor小波提取的，Gabor小波可以很好的模拟人的视觉神经细胞，在视觉的诸多领域都有着重要应用。本发明实施例提取GIST特征用于补充视觉地形特征的全局信息。具体过程为：在图像的R、G、B三种颜色通道上建立图像金字塔，层数为3，每一层为不同分辨率的图像。应用不同方向的Gabor滤波器对每层图像进行滤波，之后将滤波后的图像按4×4的网格划分，统计在每一块内不同方向上的滤波响应，级联后采用L₂正则化，得到全局GIST特征。本发明实施例在R、G、B三个通道上，使用3个尺度，各尺度对应方向为8、8、4，最后形成的GIST特征

(8)视觉特征融合与支持向量机分类

本发明实施例使用多核学习方法融合多重编码结果与GIST特征，使最后的表达能够包含互补的不同特征信息(全局信息与局部0阶、1阶和2阶信息)。

首先对F₁、F₂、F₃分别构建其各自的核函数K_m(x)，采用多核学习方法形成最终的核表达：

其中y(x)为融合后的核函数；K_m(x)为待融合的3类不同表达的核函数；α_m,b_m,β_m为各核函数的调节参数，通过在训练集上优化验证得到；

本发明实施例选择支持向量机(SVM)作为最后的分类器，具体实现采用LIBSVM，同时测试各种核方法，相比于线性核，非线性核方法(RBF核、相交核和卡方核)，效果略有提升，但是效率与可伸展性较差。综合考虑，本发明实施例最终使用线性核，惩罚参数C采用十折交叉验证获得。

实施例3

下面结合具体的实验对实施例1和2中的方案进行可行性验证，详见下文描述：

参见图3，2012年，加利福尼亚大学圣塔芭芭拉分校(University of California-Santa Barbara，UCSB)机器人研究所的Filichkin与Byl采用SIFT特征，结合词袋方法，生成紧凑的图像中层描述符，输入支持向量机(SVM)中进行分类识别，相比之前的方法获得较大提升，成为目前地形识别领域的标准方法，其研究成果也实地应用于美军军用机器人—小狗(LittleDog)上，成为其重要功能载荷。本发明实施例将此方法作为基线方法，最后给出效果对比。

本发明实施例提取了SIFT与GIST特征，采用了PCA-Whitening特征预处理手段，进行了稀疏编码与差异化编码，使用多核学习方法完成特征融合，全面描述视觉地形图像的特征空间，利用线性支持向量机得到分类结果。将本方法与基线方法对比，测试数据集为DS1，每类地形选取90张图片作为训练集，100张图片作为测试集，测试效果如图4(a)、图4(b)所示，基线方法的准确率为75％，本方法的准确率为91％，准确率提高了16％。

综上所述，通过上述实验，验证了本方法的可行性，满足了实际应用的需要。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于多重编码与特征融合的视觉地形分类方法，其特征在于，所述视觉地形分类方法包括以下步骤：

使用PCA-Whitening对SIFT特征进行特征预处理，降低特征空间的相关性；

根据特征预处理后的结果，分别建立K-means字典与GMM字典；对K-means字典通过使用稀疏编码来描述视觉地形图像的0阶局部特征；对GMM字典通过采用差异化编码，描述视觉地形图像的1阶与2阶局部特征；对输入图片的特征空间整体建立高斯混合模型，与码本词典中的高斯混合模型相比较，编码结果为它们之间的均值和方差差异：

使用GIST特征提取视觉地形图像的视觉全局信息；

通过多核学习方法融合视觉地形图像的0阶、1阶、2阶局部特征和视觉全局信息，获取紧凑的视觉地形特征；

将视觉地形特征输入线性支持向量机中，得到视觉地形分类结果；

所述稀疏编码选择LLC稀疏编码，正则项定义为：

其中，⊙为矩阵元素对应相乘符号；E_i为区域性调节因子；s.t表征后面的为ψ(d_i)的限制条件，1^Td_i表示d_i中的元素求和；e_i＝[dist(x_i,b₁),..dist(x_i,b_m)..,dist(x_i,b_M)]^T表征各基向量与被编码特征的相似性；dist(x_i,b_m)为特征x_i与视觉单词b_m之间的欧式距离，σ为调节因子；

所述稀疏编码求解中采用池化操作，选取每个基向量m中前5个系数构成Φ_mn，n＝5，池化操作表达式为：

再对池化结果F进行L₂正则化处理，得到稀疏编码结果。

2.根据权利要求1所述的一种基于多重编码与特征融合的视觉地形分类方法，其特征在于，所述视觉地形分类方法还包括：

建立视觉地形数据集作为评价测试对象，对视觉地形图像进行关键点检测，对图像中的局部信息关键点使用SIFT特征进行描述，提取局部底层视觉信息。