CN104700078B - 一种基于尺度不变特征极限学习机的机器人场景识别方法 - Google Patents

Abstract

本发明公开了一种基于尺度不变特征极限学习机的机器人场景识别算法，该方法包括以下步骤:首先，利用尺度不变特征表达机器人视觉图像的场景，其次使用K均值聚类算法实现机器人场景图像表达码本，最后利用极限学习机算法建立机器人视觉场景图像和场景标签之间的映射关系。本方法利用了极限学习机的优点，降低了传统神经网络的参数估计和优化的复杂度，进一步缩短了训练时间和提高了机器人场景图像的识别率。

Description

一种基于尺度不变特征极限学习机的机器人场景识别方法

技术领域

本发明涉及图像识别技术领域，尤其涉及一种基于尺度不变特征极限学习机的机器人场景识别方法。

背景技术

视觉是人类观察世界和了解世界最直观有效的方式，机器人视觉模拟人类视觉的功能，从一幅或者多幅图像中来感知和认识外界世界。对图像中的场景进行识别作为机器人视觉领域的重要组成部分，一直都受到许多研究人员的重点关注。近年来，机器人的场景识别技术已在公安部门刑侦系统，医学图像处理，3D建模，工业检测等领域得到广泛应用。

机器人场景识别应用技术就是给出一幅输入场景图像，识别出其在注册过的场景类别信息。利用电子设备得到场景图像后，由于图像原始维数较大，且存在冗余信息，我们不能直接对图像进行识别匹配。因此，我们必须进行对图像进行特征提取，最后利用一定的分类方法与数据库进行匹配，得到识别结果。简单来说，机器人场景识别的整个过程可以分为三个阶段：图像的前处理，图像的特征提取和图像的识别。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于尺度不变特征极限学习机的机器人场景识别方法。

本发明解决其技术问题所采用的技术方案是：

基于尺度不变特征极限学习机的机器人场景识别方法,包括以下步骤:

步骤S1，图像预处理；

对原始场景图像进行校准，增强以及归一化等工作，得到尺寸一致，灰度值取值范围相同的标准化图像集；

所述原始场景图像包括场景的注册库图像和测试图像，其中场景注册库主要是不同的场景预先采集的多张图像，用于学习码本和训练极限学习机，测试图像是采集用来测试识别算法的图像；

步骤S2，对注册库图片进行尺度不变特征转换，包括构造尺度空间；确定关键点；对关键点进行精确定位；尺度不变特征描述向量；

合并所有训练图片的尺度不变特征描述向量构成新的矩阵；

步骤S3，对矩阵进行聚类处理，确定聚类中心的个数，得到用这些聚类中心构建而成的码本；

步骤S4，对场景图片进行尺度不变特征转换，将该特征向量向码本做映射，得到其特征系数；对各个特征系数进行标签分类后得到相应的码本系数矩阵；

步骤S5，利用码本系数矩阵训练建立基于极限学习机的神经网络，对极限学习中节点个数参数进行优化设置，通过随机初始化网络的输入权值以及隐元的偏置，得到隐层输出矩阵。

步骤S6，输入测试场景图像的码本系数矩阵，利用极限学习机的优化参数预测输出场景图像的类别属性，完成场景识别过程。

按上述方案，所述步骤S2)中具体如下：

取训练单张图片，

S2.1)首先利用高斯核的卷积来生成构建尺度空间：

L(x,y,σ)＝G(x,y,σ)*I(x,y) (1)

式中(x,y)表示空间坐标，σ表示尺度坐标；L(x,y,σ)为高斯核的尺度表达式，G(x,y,σ)为高斯核I(x,y)为输入的图像；

为了在尺度空间中关键点的有效性，建立高斯差分尺度空间(DOG)；

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ) (2)

S2.2)对关键点进行定位；将空间尺度函数泰勒展开

求导并令其为0，得到精确位置

S2.3)将得到的关键点(也称为尺度不变性特征点)进行进一步筛选：

S2.4)确定关键点后，求关键点的位置尺度信息；我们采用梯度模值和梯度方向的计算公式。

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))+(L(x+1,y)-L(x-1,y))) (6)

m(x,y)，θ(x,y)梯度范围是0～2π，设定每10度一个柱，共36个柱，直方图中能量最高的柱子对应的方向为关键点的主方向；能量达到主峰能量的80％的峰的方向作为该关键点的辅方向；

S2.5)将关键点附近领域的高斯图像梯度统计结果表示成一个矢量，即为单张图片尺度不变特征描述向量，将所有训练图片的尺度不变特征描述向量聚集成为新的矩阵M；

取以特征点为中心的采样窗口(取16×16像素大小)，根据特征点的主方向，旋转采样领域到水平方向。并将该领域等间划分为4×4个子区域，每个子区域计算8个方向的梯度强度。最终得到4×4×8＝128维的特征向量。为了去除光照变化的影响，对这些特征向量进行归一化处理。至此，单张图片尺度不变特征描述向量生成。将所有训练图片的尺度不变特征描述向量聚集成为新的矩阵M，该矩阵用于接下来进行聚类处理。

按上述方案，所述步骤S3)中聚类处理，构造码本的步骤如下：

S3.1)选取k个初始聚类中心Z^j(I),j＝1,2,3,...,k；I表示聚类中心矩阵；

S3.2)计算每个数据对象与聚类中心的距离

D(xⁱ,Z^k(I)),i＝1,2,3,..,n；j＝1,2,3,...,k，

如果满足D(x_i,Z_k(I))＝min{D(x_i,Z_k(I),j＝1,2,3,..,n)} (7)

那么xⁱ∈w^k，w_k为所有样本和聚类中心之间的距离。

S3.3)计算误差平方和准则函数J_c，

这样我们得到了k个聚类中心构建的码本o；维数是k*128，每一列代表一个聚类中心的特征信息。

按上述方案，所述步骤S4)中特征向量在码本上映射后得到带有聚类中心类别信息的特征向量的具体过程如下：

S4.1：初始化矩阵R，维数为k×1；矩阵R为为记录输入特征在码本身上的投影数值大小矩阵；

S4.2)利用最小乘积法得出每一个特征点属于码本O中的聚类中心的类别；选取尺度不变特征矩阵M的第i个特征点，i＝1,2,3...,n，则M(xⁱ,y^j),j＝1,2,3...,128代表该特征点的特征信息，找出该特征点与k个聚类中心的向量积最小值Ans以及取最小值时聚类中心所对应的种类t；

若第t行与之向量积最小，则该特征点属于第t类聚类中心；矩阵R第t行数值+1；

S4.3)n次取值后，矩阵R则代表尺度不变特征向量M中的n个特征点在K个聚类中心中出现的次数情况，定义矩阵R为带有聚类中心类别信息的特征向量,维数是k*1；接下来将所有待分类图片的带有聚类中心类别信息的特征向量聚集为新的矩阵，并在每一列的列首加上其类型信息，我们就得到了待分类的码本系数矩阵，维数是(1+k)×r，r是待分类的图片张数。

本发明产生的有益效果是：本发明既解决尺度不变特征无法直接构成极限学习机的训练样本问题，也解决了传统的单层前向神经网络训练速度过慢问题。本文方法与基于最近邻分类器的场景识别方法(NN)进行对比，通过比较各个算法在识别过程中的训练时间与识别率证明了本方法的优越性。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

一种基于尺度不变特征极限学习机的机器人场景识别方法，包括以下步骤：

步骤一，实施例中采用图像为ImageCLEF图库随机选取500张图片。其中450张作为训练样本，50张作为测试样本。我们首先对图像进行增强，归一化等工作，得到尺寸一致，灰度值相同的标准化图像。

步骤二，对训练图像进行尺度不变特征转换，合并所有训练图片的尺度不变特征构成新的矩阵集。以下是具体过程：

首先取训练单张图片，首先利用高斯核的卷积来生成构建尺度空间。

L(x,y,σ)＝G(x,y,σ)*I(x,y) (1)

式中(x,y)表示空间坐标，σ表示尺度坐标。为了在尺度空间中关键点的有效性，建立高斯差分尺度空间(DOG)。

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ) (2)

接下来对关键点进行定位，将空间尺度函数泰勒展开

求导并令其为0，得到精确位置

我们接下来将得到特征点进行进一步筛选

确定关键点后，需要得到关键点的位置尺度信息。我们采用梯度模值和梯度方向的计算公式。

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))+(L(x+1,y)-L(x-1,y))) (6)

梯度范围是0～2π，设定每10度一个柱，共36个柱，直方图中能量最高的柱子对应的方向最为关键点的方向。能量达到主峰能量的80％的峰的方向作为该关键点的辅方向。

接下来我们将关键点附近领域的高斯图像梯度统计结果表示成一个矢量。取以特征点为中心的采样窗口(取16×16像素大小)，根据特征点的主方向，旋转采样领域到水平方向。并将该领域等间划分为4×4个子区域，每个子区域计算8个方向的梯度强度。最终得到4×4×8＝128维的特征向量。为了去除光照变化的影响，对这些特征向量进行归一化处理。至此，单张图片尺度不变特征描述向量M生成。将所有训练图片的尺度不变特征描述向量聚集成为新的矩阵，该矩阵用于接下来进行聚类处理。

步骤三，对于上一步骤得到的矩阵进行聚类处理，构造码本。

①选取K个初始聚类中心Z^j(I),j＝1,2,3,...,k；

②计算每个数据对象与聚类中心的距离D(xⁱ,Z^k(I)),i＝1,2,3,..,n；j＝1,2,3,...,k，如果满足

D(x_i,Z_k(I))＝min{D(x_i,Z_k(I),j＝1,2,3,..,n)} (7)

那么xⁱ∈w^k。

③计算误差平方和准则函数J_c，

这样我们得到了K个聚类中心构建的码本o。维数是k*128，每一列代表一个聚类中心的特征信息。

步骤四：接下来我们仍对图片进行尺度不变特征变换，得到n*128的特征向量后，并在码本上映射后得到带有聚类中心类别信息的特征向量，将特征向量标签分类后得到训练样本码本系数矩阵和测试样本码本系数矩阵。

尺度不变特征向量的维数是n×128。n代表特征点的个数。我们利用最小乘积法得出每一个特征点属于码本o中的聚类中心的类别。

1：初始化矩阵R，维数为k×1。

2：选取尺度不变特征矩阵M的第i个特征点i＝1,2,3...,n，M(xⁱ,y^j),j＝1,2,3...,128则代表该特征点的特征信息，找出该特征点与k个聚类中心的向量积最小值Ans以及取最小值时聚类中心所对应的种类t。

若第t行与之向量积最小，我们就认为该特征点属于属于第t类聚类中心。矩阵R第t行数值+1。

3:n次取值后，矩阵R则代表度不变特征向量M中的n个特征点在K个聚类中心中出现的次数情况，我们称之为带有聚类中心类别信息的特征向量,维数是k*1。接下来将所有待分类图片的带有聚类中心类别信息的特征向量聚集为新的矩阵，并在每一列的列首加上其类型信息，我们就得到了待分类的码本系数矩阵，维数是(1+k)×r，r是待分类的图片张数。

步骤五：对于上一步骤中得到的待分类的特征系数矩阵进行转置得到矩阵X，X＝{(t_i,x_i)|x_i∈R,t_i∈R^k,i＝1,2,3,..,n}，其中t_i是该行的特征类别，x_i是k×1的该类别的特征信息，激活函数g(x)和隐含层神经元个数N，其数学公式表达为：

其中w_i是隐含层中的i个神经元和输入层的特征之间的权重，b_i是第i个隐含层中的偏差，β_i是第i个神经元和输出层之间的权值，o_j是第j个输入所对应的目标向量，w_iοx_j表示向量的内集。

单隐层神经网络学习的目的是使得输出的误差最小，可以表示为

即存在β_i，w_i和b_i，使得

可以表示为Hβ＝T，其中H为隐层节点的输出，β为输出权重，T为期望输出。

为了训练单隐层神经网络，我们希望得到使得

其中，i＝1,...,L，这等价于最小化损失函数

以上可知，一旦输入权重w_i和隐层偏置b_i被随机确定，则隐层的输出矩阵H就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统Hβ＝T。并且输出权重β可以被确定

其中，H^÷是矩阵H的Moore-Penrose广义逆。且可证明求得的解的范数是最小的并且唯一。

步骤六，根据在步骤五中确定的极限学习机的节点个数N，(节点个数也可根据步骤四中特征点的个数确定),并构造相应的极限学习机预测模型，输入测试图像的特征向量x，预测出其对应的场景类别属性t。

应用效果测试实施例。采用了第六届机器人视觉挑战赛(imageCLEF)图库中的500张图片，图库分为Corridor，Hall，ProfessorOffice，StudentOffice，TechnicalRoom，Toilet，Secretary，VisioConferene，Warehouse，ElevatorAre十个场景，本次试验随机采取各个场景图片共500张，包括光线，角度等变化，并对每张图片进行场景编号。图片像素大小为640×480。取训练样本图片450张，测试样本图片50张。对单张训练样本图片进行尺度不变特征转换，以图片I为例，先利用公式(1)(2)构造高斯差分尺度空间，然后利用公式(3)(4)对其中的关键点定位。根据筛选条件去除对比度低的特征点和不稳定的边缘响应，最后根据公式(5)(6)得到关键点的位置尺度信息。这样我们就得到了图片I的尺度不变特征向量M。M的维数是k×128。K表示该特征向量的特征点个数。接下来合并所有训练图的尺度不变特征向量构成新的矩阵，并对该矩阵进行聚类处理，本次试验中取聚类中心点个数为800，通过公式(7)(8)我们得到维数是800×128的码本。

接下来我们取图片I的尺度不变特征向量，我们利用公式(9)找出该特征向量中的每一个特征点隶属于K个聚类中心的哪一类。我们利用矩阵R(维数是k×1)表示特征向量M中的n个特征点在K个聚类中心中出现的次数情况。矩阵R则代表了图片I新的特征向量。将所有训练图片的特征向量R合并并加上标签分类后我们就得到了训练图片的码本系数矩阵。同理得到待分类的测试图片的码本系数矩阵。

下一步我们训练极限学习机。公式(10)代表了训练样本系数矩阵和激活函数，隐层神经元个数的关系。随机化输入权重和隐层偏置后，通过公式(15)(16)我们可以得到隐层输出矩阵。根据公式(11)(12)，为了使得输出的误差最小，通过自动调节神经元个数得到最优值。至此，学习机训练完毕，学习机的预测过程转化为求解线性系统。

将测试样本的码本系数矩阵(特征系数矩阵)代入上述线性系统中，得到预测输出值。

本发明与基于最近邻分类器的场景识别方法(NN)不同，以下提供实验对比说明本方法的有效性。

实验通过场景识别率以及分类时间作为算法重建质量标准。实验结果对比图下表所示：

	NN算法	本发明算法
			识别率	0.44	0.70
识别时间	0.173s	0.124

由于场景图像中常常出现残缺，位置，旋转等现象，NN算法基于局部信息对场景类型进行预测,对干扰信息非常敏感。极限学习机相比于NN算法而言，具有更好的泛化能力。从以上表格明显看出，本发明算法在识别率上有了很大的进步，在识别时间的对比上也明显优于NN算法。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种基于尺度不变特征极限学习机的机器人场景识别方法，其特征在于，包括以下步骤:

步骤S1，图像预处理；

对原始场景图像进行校准，增强以及归一化工作，得到尺寸一致，灰度值取值范围相同的标准化图像集；

所述原始场景图像包括场景的注册库图像和测试图像，其中场景注册库包括针对不同的场景预先采集的多张图像，用于学习码本和训练极限学习机，测试图像是采集用来测试识别算法的图像；

步骤S2，对注册库图片进行尺度不变特征转换，包括构造尺度空间；确定关键点；对关键点进行精确定位；确定尺度不变特征描述向量；

合并所有训练图片的尺度不变特征描述向量构成新的矩阵；

步骤S3，对矩阵进行聚类处理，确定聚类中心的个数，得到用聚类中心构建而成的码本；

步骤S4，对场景图片进行尺度不变特征转换，将该尺度不变特征描述向量向码本做映射，得到其特征系数；对各个特征系数进行标签分类后得到相应的码本系数矩阵；

步骤S5，利用码本系数矩阵训练建立基于极限学习机的神经网络，对极限学习中节点个数参数进行优化设置，通过随机初始化网络的输入权值以及隐元的偏置，得到隐层输出矩阵；

步骤S6，输入测试场景图像的码本系数矩阵，利用极限学习机的优化参数预测输出场景图像的类别属性，完成场景识别过程。

2.根据权利要求1所述的识别方法，其特征在于，所述步骤S2中具体如下：

取训练单张图片，

S2.1)首先利用高斯核的卷积来生成构建尺度空间：

L(x,y,σ)＝G(x,y,σ)*I(x,y) (1)

式中(x,y)表示空间坐标，σ表示尺度坐标；L(x,y,σ)为高斯核的尺度表达式，G(x,y,σ)为高斯核，I(x,y)为输入的图像；

为了在尺度空间中关键点的有效性，建立高斯差分尺度空间DOG；

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ) (2)

S2.2)对关键点进行定位；将空间尺度函数泰勒展开

求导并令其为0，得到精确位置

S2.3)将得到的关键点进行进一步筛选：

S2.3.1)去除对比度低的点：将公式(4)带入(3)，在DOG空间极值处D(x)去前两项得若则保留特征点；

S2.3.2)通过Hessian矩阵求出主曲率；Hessian矩阵D为高斯差分函数，利用采样点相邻差估法得到D的导数，求出H的特征值就能得到D的主曲率，从而去除不稳定的边缘响应；

S2.4)确定关键点后，求关键点的位置尺度信息；采用梯度模值和梯度方向的计算公式；

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))+(L(x+1,y)-L(x-1,y))) (6)

m(x,y)，θ(x,y)梯度范围是0～2π，设定每10度一个柱，共36个柱，直方图中能量最高的柱子对应的方向为关键点的主方向；能量达到主峰能量的80％的峰的方向作为该关键点的辅方向；

S2.5)将关键点附近领域的高斯图像梯度统计结果表示成一个矢量，即为单张图片尺度不变特征描述向量，将所有训练图片的尺度不变特征描述向量聚集成为新的矩阵M。

3.根据权利要求2所述的识别方法，其特征在于，所述步骤S3中聚类处理，构造码本的步骤如下：

S3.1)选取k个初始聚类中心Z_j(I),j＝1,2,3,...,k；I表示聚类中心矩阵；

S3.2)计算每个数据对象与聚类中心的距离

D(x_i,Z_k(I)),i＝1,2,3,..,n；j＝1,2,3,...,k，

如果满足D(x_i,Z_k(I))＝min{D(x_i,Z_k(I),j＝1,2,3,..,n)} (7)

那么x_i∈w_k，w_k为所有样本和聚类中心之间的距离；

S3.3)计算误差平方和准则函数J_c，

S3.4)判断：若|J_c(I)-J_c(I-1)|≤ξ则结束；否则I＝I+1，计算新的聚类中心，返回步骤S3.2)；

得到k个聚类中心构建的码本o；维数是k×128，每一列代表一个聚类中心的特征信息。

4.根据权利要求3所述的识别方法，其特征在于，所述步骤S4中特征向量在码本上映射后得到带有聚类中心类别信息的特征向量的具体过程如下：

S4.1)初始化矩阵R，维数为k*1；矩阵R为记录输入特征在码本身上的投影数值大小矩阵；

S4.2)利用最小乘积法得出每一个特征点属于码本O中的聚类中心的类别；选取尺度不变特征矩阵M的第i个特征点，i＝1,2,3,...,n，则M(x_i,y_j),j＝1,2,3,...,128代表该特征点的特征信息，找出该特征点与k个聚类中心的向量积最小值Ans以及取最小值时聚类中心所对应的种类t；

其中

若第t行与之向量积最小，则该特征点属于第t类聚类中心；矩阵R第t行数值+1；

S4.3)n次取值后，矩阵R则代表尺度不变特征向量M中的n个特征点在k个聚类中心中出现的次数情况，定义矩阵R为带有聚类中心类别信息的特征向量,维数是k×1；接下来将所有待分类图片的带有聚类中心类别信息的特征向量聚集为新的矩阵，并在每一列的列首加上其类型信息，得到待分类的码本系数矩阵，维数是(1+k)×r，r是待分类的图片张数。