CN102564424A

CN102564424A - 一种基于多传感器的数据融合方法

Info

Publication number: CN102564424A
Application number: CN2011104537996A
Authority: CN
Inventors: 王海军; 孙强
Original assignee: Shanghai Dianji University
Current assignee: Shanghai Dianji University
Priority date: 2011-12-29
Filing date: 2011-12-29
Publication date: 2012-07-11

Abstract

本发明提出一种基于多传感器的数据融合方法，应用于智能移动机器人的定位和导航，包括下列步骤：获取某一地点的图像处理数据和激光测距数据；利用改进型SIFT特征点匹配算法降低每个子区域图像数据特征点向量的维度并减少特征点的数量；将该子区域图像数据梯度的幅值经过规范化处理；将所述激光测距数据进行数据处理，拟合成相关的一条或多条直线，并设定线段的权值；基于图像匹配与线段权值向量，将所述图像数据特征与测距数据进行关联融合处理。本发明采用基于视觉传感器的图像处理数据与激光传感器的测距数据进行有效融合，其中图像处理是基于改进优化的SIFT算法进行的，降低了计算复杂度，实时在线的运算速度得到显著提高。

Description

一种基于多传感器的数据融合方法

技术领域

本发明提出一种基于多传感器的数据融合方法，该方法应用于智能移动机器人通过对环境目标的辨识而进行自身定位与导航，属于传感器信息处理、数据融合、环境建模技术领域。

背景技术

在目前移动机器人的环境探测及定位导航中，视觉和测距传感器是最经常使用的获取外部信息数据的传感器，其中视觉导航方式是智能移动机器人导航的一个主要发展方向。有研究人员提出基于CCD视频采集对场景或目标进行识别的移动机器人定位方法，实现基于图像的场景识别，由于每类图像对应于机器人工作环境中的某个位置，从而实现机器人的逻辑定位。有的文献利用激光测距传感器，提出基于墙角、房门和通路等几何特征的辨识与提取，对局部环境特征进行辨识。也有学者根据移动机器人工作环境和具体导航要求的不同，采取相应的数字图像处理技术对室内环境中的垂直边缘与激光传感器提取的水平线段特征进行处理，以此作为机器人进行定位的简单几何特征。上述方法是一种简单的基于图像处理与激光测距的融合，但在这里的图像特征仅仅是提取的基于灰度的垂直边缘，而不是图像内容的其它特征。加拿大学者Lowe提出基于图像的SIFT特征点的匹配方法，来对局部环境中的目标图像进行对比，以此来判断场景目标。这种SIFT特征点描述向量存在维数多，计算复杂耗时等不足。

现有技术存在以下缺点：

(1)在移动机器人的作业空间，很多研究是利用某单一传感器对环境中的目标进行辨识，如上所述只利用视觉传感器或是激光测距传感器等，这样的测量数据冗余度不够，缺乏识别目标的可靠性和准确性。

(2)原始的基于图像的SIFT图像匹配方法，计算复杂耗时，无论在计算或是储存过程中都需要占用大量的资源。

(3)在简单的基于视觉与测距传感器的数据融合中，对图像的利用效率不高，仅取图像的边缘效应特征，在光线明暗变化较大时，数据可靠性不高，有时甚至无法提取到有效的数据。

发明内容

本发明的目的在于克服上述方法的不足，采用基于视觉传感器的图像处理数据与激光传感器的测距数据进行有效融合，其中图像处理是基于改进优化的SIFT算法进行的，降低了计算复杂度，实时在线的运算速度得到显著提高。另外对于激光传感器的处理数据，提出了线段权值向量的概念，提高了对目标的识别速度和可靠性，更易于与视觉数据的融合。

为了到达上述目的，本发明提出一种基于多传感器的数据融合方法，应用于智能移动机器人的定位和导航，包括下列步骤：

获取某一地点的图像处理数据和激光测距数据；

利用改进型SIFT特征点匹配算法降低每个子区域图像数据特征点向量的维度并减少特征点的数量；

将该子区域图像数据梯度的幅值经过规范化处理；

将所述激光测距数据进行数据处理，拟合成相关的一条或多条直线，并设定线段的权值；

基于图像匹配与线段权值向量，将所述图像数据特征与测距数据进行关联融合处理。

进一步的，所述获取某一地点的图像处理数据为获取该地点的8张图像数据，覆盖360度场景范围。

进一步的，所述获取某一地点的激光测距数据为利用激光测距获得四组距离数据。

进一步的，所述利用改进型SIFT特征点匹配算法降低每个子区域图像数据特征点向量的维度为将原始SIFT向量维度由128维降到16维。

进一步的，利用改进型SIFT特征点匹配算法，在计算子区域的梯度向量时，以特征点为中心受到二维高斯加权函数的约束，使本来远离特征点的子区域梯度幅值减小，其参与特征点梯度计算的权值也相应的降低，因而离中心点最近的子区域在SIFT特征向量的计算中主导作用。

进一步的，梯度的幅值经过规范化处理，除以某一常数或是最大梯度的幅值，得到幅值规范化的一组梯度向量，以具备对图像明暗变化的鲁棒性。

进一步的，两个对应的特征点向量的匹配方法采用计算其欧几里得距离，当这个距离在预先设定的阈值内时，就认为两点是匹配的。

进一步的，将线段的权值归一化处理，得到和激光测距数据集相对应的系列线段权值，按权值递增按顺序排列成一个权值向量。

本发明提出一种基于多传感器的数据融合方法，本算法有效地降低了基于视觉的移动机器人的导航与定位算法的复杂度，通过对周围环境的图像分析和理解，利用激光传感器数据得到距离上的线段权值向量，并与图像特征点向量关联，提高了对局部环境中目标特征的识别效率，提高了实时在线的运算速度和定位的准确度，对于智能移动机器人在探测未知空间环境应用上，有效地提高了机器人对环境目标辨识的可靠性、稳定性以及高效性，增强机器人自主定位和导航能力。

附图说明

图1所示为本发明较佳实施例的基于多传感器的数据融合方法流程图。

图2所示为本发明较佳实施例的梯度方向示意图。

图3所示为本发明较佳实施例的关键点特征向量示意图。

图4所示为本发明较佳实施例的基于激光数据的拟合线段权值示意图。

图5所示为本发明较佳实施例的基于线段权值的数据融合SIFT特征点匹配示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

请参考图1，图1所示为本发明较佳实施例的基于多传感器的数据融合方法流程图。本发明提出一种基于多传感器的数据融合方法，应用于智能移动机器人的定位和导航，包括下列步骤：

步骤S100：获取某一地点的图像处理数据和激光测距数据；

步骤S200：利用改进型SIFT特征点匹配算法降低每个子区域图像数据特征点向量的维度并减少特征点的数量；

步骤S300：将该子区域图像数据梯度的幅值经过规范化处理；

步骤S400：将所述激光测距数据进行数据处理，拟合成相关的一条或多条直线，并设定线段的权值；

步骤S500：基于图像匹配与线段权值向量，将所述图像数据特征与测距数据进行关联融合处理。

本发明所提出的基于多传感器的数据融合方法具有以下几个特征：

(1)将图像处理数据与激光测距数据进行有效融合；

在图像数据处理算法中，采用的是基于改进优化的SIFT特征点匹配算法，获取某一地点的8张图像数据，覆盖360度场景范围，同时利用激光测距获得四组距离数据，然后将图像数据特征与测距数据进行关联融合。

(2)在图像处理数据算法中，将原始SIFT向量维度由128位降到16维，经过优化改进算法后，有效地降低了图像匹配算法的储存与计算的资源，提高实时在线的运算速度和准确度。同时减少SIFT特征点的数量。

(3)提出了基于测距数据的线段向量权值概念；

激光传感器获取某一地点的测距数据后，经过处理得到有效的线段集，对这些线段赋予相应的权值，并按数值大小排序成一线段向量，提高了线段集之间的匹配速度和可靠性。

I、降低特征点向量的维度：

因为SIFT特征点向量维度是128位，也就是4x4x8，每个子区域的梯度方向有8个方向组成(在直角坐标系上间隔45度)，而这样的子区域以特征点为中心共有4x4＝16个。我们只取以特征点为中心的2x2个子区域，同样每个子区域取4个梯度方向，那么由此得出的特征点向量就变成了2x2x4＝16维数，可以参考附图3所示。减少了向量的维度，但是没有减少特征点的数量，因此不会出现上面提到的无特征点可匹配的现象。由于减少了维度的数量，会出现一些假的匹配点，正确匹配的概率有所下降，但不影响图像的匹配效果，这一点在后面的实验结果中可以看到。减少向量的维度只是在非常细微辨别方面的辨识功能降低了。在机器人SLAM环境中，机器人需要识别的是较大的局部环境特征，而不是像医学图像(如组织器官等)辨认、样本产品分析那样进行局部微小片断的识别。

实际上在标准的SIFT算法中，在计算子区域的梯度向量时，由于以特征点为中心的二维高斯加权函数的约束(参见附图3)，使本来远离特征点(中心)的子区域梯度幅值减小，其参与特征点梯度计算的权值也相应的降低了，因而离中心点最近的子区域在SIFT特征向量的计算中主导作用。

II、最大梯度旋转规范化：

在此需要特别提出的是，本发明中所提出的每个子区域内所取的4个梯度方向，并不是该子区域所有的梯度方向最后合并形成的，参考附图2，该子区域的梯度方向还是分成为8个方向，梯度的幅值经过规范化处理，如除以某一常数或是最大梯度的幅值，得到幅值规范化的一组梯度向量，以具备对图像明暗变化的鲁棒性。从8个梯度方向中找到幅值最大的梯度方向，该梯度方向以max标志出，实线表示，并将该方向旋转至Y轴的正向，梯度经过旋转处理后，则对图像发生旋转的影响产生鲁棒性。此时取位于X、Y轴上的4个梯度方向，以蓝色实线表示出来。

III、减少特征点的数量

特征向量维度的优化是在图像的SIFT产生过程中实现的，接下来我们在特征点匹配的过程中进行优化。由于很多图像具有大量的可以检测到的特征点，尤其是当图像的噪声污染较大时更是如此，而这些特征点有很大一部分在匹配过程中不能正确匹配，甚至出现一些假匹配点，对正确的匹配造成干扰。适当减少一些不必要的特征点是很有必要的。

两个对应的特征点向量的匹配方法是采用计算其欧几里得(Euclidean)距离来决定的，当这个距离在预先设定的阈值内时，就可以认为两点是匹配的。我们把这个匹配最小距离值设为阈值，当这个阈值越小时，可能匹配的点就越少，但是匹配的正确率却越高。实际上，有时区域中有3～5个正确的匹配点就可以完成识别的任务，这样实现正确匹配所需要的特征点数量就更小了。因此我们在计算一幅图像的特征点时，优先选取具有明显特征的那些点，通过计算比较其梯度的幅值(Magnitude)大小，梯度方向比较集中(mono-Orientation)而不是均匀分散，选取一定数量(N)的点作为此幅图像的SIFT特征点，N的选取也可按总的特征点数的25％～30％来取值，一般情况下对于320x240的图像N的选取在50个左右。选取少的特征点，提高特征点匹配的要求(降低阈值)，尽量不降低图像匹配率。

通过以上几点的优化，基于SIFT特征向量的维度减少到原来的八分之一，并且特征点的数据减少到原来的25％左右，无论对于特征点的储存资源要求、还是减少匹配计算时间都起到了重要作用。

IV、设定线段的权值

经过激光传感器所采集的数据点集，经过数据处理后被拟合成相关的一条或多条直线，参见附图4，从图中可以看出，线段越长，其包含的数据点也就越多，那么此线段的权值也就越大，也就是说，拥有最多数据点形成的线段其在匹配时权重归大，然后将线段的权值归一化处理，就得到了和激光扫描数据集相对应的系列线段权值，将这权值递增按顺序排列成一个权值向量，如L_di＝(l_d1，l_d2，l_d3，...，l_dn)，在附图中为(l₁，l₂，l₃，l₄)。

V、基于图像匹配与线段权值向量融合的目标辨识

机器人每当进入一个新的局部环境时，这个局部环境相当于一个拓扑节点，机器人原地转动一圈，每隔45°度拍一张图像，每隔90°激光扫描一次，这样累计在一个新的局部环境中有4次激光扫描数据和8张局部图像作为该节点的关联几何特征。

当机器人当前在线捕获局部环境的视觉和测距信息后，经计算得到相应的特征点向量集S′_Pi和和线段权值向量集L′_Di，相对于每个基于SIFT的关键点向量为16维度(原始SIFT向量为128位)来说，L_Di向量的维度极低，便于查询，所以先查询和L′_Di相接近的系列L_Di集合φL_Di，并设定相应的匹配域值t_ld，如果这个集合φL_Di不为空，那么就可以在与φL_Di相关联的特征点向量集合φS_Pi中查找S′_Pi。如果φL_Di为空集，很可能目前机器人所进入的局部环境是一个新的节点，如果φL_Di不空，而没有在其对应的集合φS_Pi里搜寻到S′_Pi，那么在很大程度上说明进入一个新的节点，实验结果见附图5。

本发明所提出的这种激光和视觉数据融合的局部环境识别算法，尤其是在一个庞大的特征点数据库中搜寻匹配时，其速度可以提高很多。因为原始算法是在成百上千的图片中搜寻匹配一张图片，而在本发明算法却是在线段权值向量关联的几张至几十张图片中匹配一张图片，极大提高了移动机器人实时在线计算能力。

本方法针对现有技术的不足，在机器人的局部环境特征识别算法中，提出基于最大梯度旋转规范化方法，该方法可以显著地减少SIFT特征向量的维数，使SIFT特征向量从128维/点变成16维/点，大幅度减少图像的SIFT特征点数量，选取梯度值较好的一部分特征点，因此不仅存在储存方面的优势，在计算时间上也有很大提高，对于实时在线计算要求严格的任务来说，本计算方法有着较大的优势。另外梯度向量经过旋转处理后，对图像发生旋转的影响产生了较好的鲁棒性，提高了实时在线的运算速度和准确度。

利用激光传感器获取距离信息的数据，并将拟合的线段赋予线段权值向量，另外激光数据具有稳定性、可靠性和准确度高、误差小等优点，将此向量与SIFT特征点向量关联起来，可以减少搜索待匹配图像的数量，节省了大量的计算时间。而利用多传感器的信息要比利用单一传感器信息具有更好的可靠性，信息的冗余度也得到提高，从而更好在辨别环境中的目标。

综上所述，本算法有效地降低了基于视觉的移动机器人的导航与定位算法的复杂度，通过对周围环境的图像分析和理解，利用激光传感器数据得到距离上的线段权值向量，并与图像特征点向量关联，提高了对局部环境中目标特征的识别效率，提高了实时在线的运算速度和定位的准确度，对于智能移动机器人在探测未知空间环境应用上，有效地提高了机器人对环境目标辨识的可靠性、稳定性以及高效性，增强机器人自主定位和导航能力。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims

1.一种基于多传感器的数据融合方法，应用于智能移动机器人的定位和导航，其特征在于，包括下列步骤：

获取某一地点的图像处理数据和激光测距数据；

将该子区域图像数据梯度的幅值经过规范化处理；

2.根据权利要求1所述的基于多传感器的数据融合方法，其特征在于，所述获取某一地点的图像处理数据为获取该地点的8张图像数据，覆盖360度场景范围。

3.根据权利要求1所述的基于多传感器的数据融合方法，其特征在于，所述获取某一地点的激光测距数据为利用激光测距获得四组距离数据。

4.根据权利要求1所述的基于多传感器的数据融合方法，其特征在于，所述利用改进型SIFT特征点匹配算法降低每个子区域图像数据特征点向量的维度为将原始SIFT向量维度由128维降到16维。

5.根据权利要求1所述的基于多传感器的数据融合方法，其特征在于，利用改进型SIFT特征点匹配算法，在计算子区域的梯度向量时，以特征点为中心受到二维高斯加权函数的约束，使本来远离特征点的子区域梯度幅值减小，其参与特征点梯度计算的权值也相应的降低，因而离中心点最近的子区域在SIFT特征向量的计算中主导作用。

6.根据权利要求1所述的基于多传感器的数据融合方法，其特征在于，梯度的幅值经过规范化处理，除以某一常数或是最大梯度的幅值，得到幅值规范化的一组梯度向量，以具备对图像明暗变化的鲁棒性。

7.根据权利要求1所述的基于多传感器的数据融合方法，其特征在于，两个对应的特征点向量的匹配方法采用计算其欧几里得距离，当这个距离在预先设定的阈值内时，就认为两点是匹配的。

8.根据权利要求1所述的基于多传感器的数据融合方法，其特征在于，将线段的权值归一化处理，得到和激光测距数据集相对应的系列线段权值，按权值递增按顺序排列成一个权值向量。