CN103640018B - 一种基于surf算法进行定位的方法 - Google Patents

Abstract

本发明涉及一种基于SURF算法进行定位的方法及机器人，提供了一种采用SURF作为单目视觉SLAM的特征检测算子，分别从感兴趣点的检测、SURF描述子的生成及SURF点匹配等三个方面进行了创新和改进，提出了基于区域增长的SURF特征匹配方法完成机器人的同时定位与地图创建，使得在SURF描述子匹配过程中，某一描述子仅与最可能与之匹配的描述子进行比对，从而显著的减少了单目视觉SLAM问题中的比对次数，提高了匹配速度。

Description

一种基于SURF算法进行定位的方法

技术领域

本申请涉及智能机器人的自主导航领域，具体涉及机器人的同定位和地图生成问题，尤其涉及一种基于SURF算法进行定位的方法及机器人。

背景技术

智能机器人，例如，扫地机器人、机器人越来越广泛地应用于家庭生活中，机器人要实现灵活、高效、智能地移动，需要具有自主导航能力。地图创建(MapBuilding)、定位(Location)和路径规划(Path Planning)是自主导航的三个关键要素，其中，地图创建与定位是相互依存的关系，缺少环境地图则无法准确标定机器人的位置，初始位置不确定，则创建的地图缺少基准点。正因如此，未知环境下机器人的定位与地图创建将以同时定位与地图创建的方式来实现，即移动机器人随着对环境的探索，逐步扩大自身存储的地图的广度，并实时的将位置信息标定在新创建的地图中。这种技术一般称之为同时定位与地图生成(SLAM，Simultaneous localization and Mapping)。目前，较为常用的智能机器人的SLAM技术实现包括FastSLAM与vSLAM(visual SLAM)两大类。这两种实现均使用优化方法降低计算复杂度，使机器人SLAM成为可能。其中，FastSLAM系统一般使用激光测距仪或声纳来实现，而vSLAM则使用视觉传感器来实现。FastSLAM由于使用了激光、声纳等传感器，对一些特殊的环境信息，如线段、拐角等并不能识别其特殊意义。这就在创建地图的工作中存在信息量偏小的缺点。而vSLAM则很大程度上解决了这个问题，原因是vSLAM使用视觉传感器，获取的图像包含了相对丰富的信息，使得一些特殊意义的信息得以识别。但vSLAM也存在一些问题，主要是视觉信息过于复杂，计算复杂度相对较高，在视觉传感器获取大分辨率图像的情况下很难实现实时性；并且针对移动机器人某一位置状态下的地图信息数据量往往很大，当探索环境很大时，地图信息的存储也将面临挑战。

现有技术中，已经对SLAM技术进行了各种探究，例如，公开号为CN102402225A的发明公开机器人在未知环境下利用航位推测传感器数据以及路标观测数据，借助于改进的强跟踪滤波技术实现移动机器人的自主定位,并同时构建出环境地图；公开号为CN102706342A的发明公开了一种智能移动机器人的定位与环境建模方法,以在移动机器人的同时定位与环境建模领域中使用最为广泛的扩展卡尔曼滤波算法为核心，对算法进行改进，提高算法的性能；公开号为CN102831446A的发明公开了一种利用自身携带的单目摄像头采集当前场景图像，并提取当前场景图像的视觉词袋特征进行闭环检测的方法；公开号为CN101920498A的发明公开了一种同时定位和地图创建的室内机器人；以及，公开号为CN103170980A的发明公开了一种家用机器人的定位系统及定位方法，在一个区域内安装至少三个红外发射器，家用机器人通过自身的中央控制器，红外感应坐标定位模块、双目视觉定位模块、声纳辅助定位模块和红外探测器进行行进作业且在进行作业中能自动避障。上述发明涉及到的发明，均针对SLAM技术的某一具体应用进行了改进，都能实现机器人的自主导航。

基于现有技术，本发明主要通过单目视觉实时感知家庭环境信息，对传统的vSLAM系统实现的若干步骤进行改进，通过感兴趣点的检测、SURF描述子的生成及SURF点匹配三个方面的改进与优化，提出了基于区域增长的SURF点匹配算法。这种算法使得在SURF描述子匹配过程中，某一描述子仅仅与最可能与之匹配的描述子进行比对，既充分利用视觉信息的丰富性，又显著降低vSLAM算法计算复杂度，提高了匹配速度。

发明内容

本发明主要针对家庭环境中的智能机器人的同时定位与地图创建问题，提供了一种采用SURF作为单目视觉SLAM的特征检测算子从而显著的减少了单目视觉SLAM问题中的比对次数，提高了匹配速度。

本申请公开了一种基于SURF算法进行定位的方法，包括以下步骤：

1)采集环境视频图像，通过视频采集模块获取外界视频信号；

2)通过SURF提取感兴趣点；

3)对SURF感兴趣点进行描述；

4)基于区域增长进行SURF感兴趣点描述子匹配。

本申请还公开了一种基于SURF算法进行定位的机器人，采用基于SURF算法进行定位的方法进行定位。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1所示为本发明智能机器人结构框图

图2所示为本发明基于SURF的机器人定位流程图

具体实施例

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，本发明主要涉及家庭环境中的智能机器人，所述机器人是具有环境感知，同时定位与地图创建、避障路径规划的自主移动机器人。包括一感知系统、核心控制模块、人机交互系统、电机驱动系统。所述感知系统接受外界多种途径输入的音频和/或视频信号，以及其它能感知外界状态的信号以及定位信息。这些信号或信息可以来自于环境感知模块、SURF定位模块、语音采集模块、视频采集模块、超声波测距模块、里程计信息模块等模块的一个或多个模块。根据需要，还可以设置有障碍物检测模块、避障路径规划模块等。通过获取在普通家庭的环境内感知到的一项或多项如下信息，从而感知周围环境的视觉信息、检测到行走路线周围的障碍。

智能机器人通过人机交互系统和/或无线收发模块实现与外界的交互。

人机交互系统顾名思义用于外界与机器人进行交互，这种交互是可以根据实际需求进行设置的，例如人工控制机器人的工作状态，路径，设置相应的参数、模式等等。所述参数可以是时间参数，频率参数，速度参数等，所述模式包括跟随模式，巡逻模式和异常行为处理模式。人机交互系统还可以通过设置在机器人上的显示屏或信号灯指示机器人的工作状态。

智能机器人还可以通过无线收发模块接受来自移动终端，例如智能手机的信号，从而实现人机交互。所述人机交互系统和/或无线收发模块均与核心控制模块连接。

所述核心控制模块对机器人内部各单元进行控制，并根据感知系统反馈的信息，以及外界获得交互信号控制电机驱动系统，以控制机器人的移动。

其中所述电机驱动系统包括底盘控制器、电机驱动器，并装有移动所需的电池模块、自主充电功能模块、轮子等。其中，所述轮子为2个驱动轮和1个万向轮。核心控制模块通过串口向底盘控制器发送控制命令，控制电机驱动器进行相应动作，并对障碍信号进行处理。

本申请仅给出了电机驱动系统的一种实施方式，但本领域技术人员应该知晓，任何通过电机驱动以实现机器人移动的方式，对本申请而言都是显而易见的。

本申请所公开的两轮驱动轮和一个万向轮的结构可以使得机器人能够实现零半径转向，前进后退左右转动等各种运动功能。机器人的眼球是CMOS摄像头，可将实时采集的图像传输到机器人内部的上位机进行处理。根据所获取的环境视觉图像，采用本发明所公开的基于SURF特征的单目视觉SLAM技术感知周围环境，完成机器人的自主定位，使机器人能够在家庭环境中自主导航并完成更多的辅助人类生活的功能。

在家庭环境中，机器人需要实时对环境进行感知，创建环境地图，设计避障路径规划，完成机器人的自主导航。本发明公开的就是这样一种用于家庭的机器人，具有环境感知，同时定位与地图创建、避障路径规划的自主移动能力。单目视觉传感器具有价格低廉、结构简单、易于标定等优点，已经成为机器人必配的传感器。使用单目视觉解决机器人的SLAM问题也成为机器人的研究者的不二选择。本发明公开的基于SURF特征的单目视觉SLAM技术不仅从视觉图像的感兴趣点检测、描述子的生成和感兴趣点的匹配三个方面对传统的vSLAM算法进行了改进和创新，而且同时引入了基于区域增长的SURF点匹配算法，显著地减少了比对次数，较大程度地提高了特征的匹配速度，加快了SLAM的实现效率，为vSLAM算法的实时性奠定了基础。

所述SURF(Speeded Up Robust Feature)是一种高鲁棒性的局部感兴趣点检测，由Herbert Bay等人在2006年提出。该算法可用于计算机视觉领域例如物体识别或三维重建。根据作者描述该算法比尺度不变特征转换SIFT(Scale-invariant feature transform)更快更加具有鲁棒性。该算法采用积分图像、Haar小波变换和近似的Hessian矩阵运算来提高时间效率，采用Haar小波变换增加鲁棒性。

如图2所示，智能机器人通过下述流程实现SLAM。具体包括一下步骤:

1.环境视频图像采集

环境视频图像采集通过视频采集模块获取外界视频信号。包括：创建视频捕获窗口、视频设备初始化、连接视频设备、获取视频采集设备的能力和状态信息、设置捕获窗口的显示模式和开始捕获几个部分。

2.SURF感兴趣点的提取

在SURF中，采用近似的Hessian矩阵的行列式的局部最大值来定位感兴趣点。当hessian行列式的局部值最大的时候，所检测出来的就是感兴趣点。感兴趣点的特征为比周围领域更亮或更暗一些。SURF方法提取感点的兴趣过程仅使用原始图像。将不同尺寸的方形滤波器作用在原始图像上，由于使用了积分图像，尽管方形滤波器的尺寸有所不同，但处理速度可保持不变。SURF尺度空间包括若干组(Octave)，每一组内包含了若干层。每一层为不同尺度的图像。不同尺度的图像为原始图像与不同尺寸的方形滤波器高斯卷积后得到的结果图像。各组之间的区别为最底层方形滤波器的窗口尺寸及组内各层的方形滤波器的窗口大小步进。第一组最底层使用变长为9的方形滤波器，之后每一组最底层将使用前一组第二层方形滤波器的尺寸。比如第一组各层方形滤波器的尺寸分别为9，15，21，27；第二组各层方形滤波器的尺寸分别为15，27，39，51；第三组各层方形滤波器的尺寸分别为27，51，75，99。

为了实现SURF感兴趣点的尺度不变性，即感兴趣点要检测出在不同尺度空间上，表示空间内同一点的像素点。因此，SURF中感兴趣点的选取是基于Hessian矩阵，具体原则为：计算某点出Hessian矩阵行列式的值，仅当该点处Hessian矩阵行列式的值为局部区域最大值时，才认为该点为感兴趣点的候选点。同时为了除去非区域内Hessian矩阵行列式最大值的点，引入被称为非最大值抑制的方法。若某点通过了非最大值抑制，并且其Hessian矩阵行列式的值大于阈值，则对其进行三维邻域最大值验证，将与该点同尺度的8个3×3邻域内的点及上下两层相邻尺度的18个进行比较3×3邻域的点进行比较，以保证该点确为尺度空间的极值。

3.对SURF感兴趣点进行描述，形成基于摘要的SURF描述子

基于SURF的SLAM技术，通过使用检测子从图像中提取感兴趣点，在生成相应的描述子，保证了获取的环境图像具有旋转不变性。为了实现SURF特征的旋转不变性，需要为每个SURF感兴趣点分配唯一的主方向。SURF感兴趣点主方向是由感兴趣点圆形邻域内其它点的信息确定的。其主方向通过计算Haar小波响应来确定。

使用以感兴趣点为顶点的圆心角为60°的扇形扫描感兴趣点圆形邻域。在扫描过程中，每扫描1°，计算扇形覆盖的图像区域内的Haar小波响应的累加和。因为Haar小波响应分为x方向与y方向，所以扇形区域内的Haar小波响应累加和应为一个矢量。当扇形旋转一周后，将得到360个矢量，其中，长度最长的矢量所对应的角度即为该感兴趣点的主方向。

SURF描述子的生成过程中，参与运算的区域为以感兴趣点为中心的，边长为20倍感兴趣点尺度值得正方形区域。该正方形区域的y轴方向与感兴趣点主方向重合。将参与运算的正方形区域分割成4×4的子区域，每个区域大小为5×5像素点。对每一个子区域，使用尺寸为2倍感兴趣点尺度×2倍感兴趣点尺度的Haar小波模板进行运算。设dx为x方向子区域的Haar小波响应值，dy为y方向子区域的Haar小波响应值。对所有得到的dx和dy，以感兴趣点为中心，使用标准差为3.3倍感兴趣点尺度的高斯函数进行加权运算。最后，将4×4个子区域的4维向量组合，即得到了一个64维的向量。为了使SURF描述子具备光照不变性，对得到的64维向量进行归一化处理，即得到了长度为64的SURF描述子。

SURF描述子摘要基于16个子区域的图像特征。通过把子区域的图像特征归为3类，即平坦、渐变、复杂，通过统计16个子区域图像平坦、渐变、复杂的个数，可形成SURF描述子的摘要。添加了摘要信息的SURF描述子可以利用摘要信息进行匹配预处理，达到加速匹配的目的。

4.基于区域增长的SURF点描述子匹配

在vSLAM系统中，移动机器人每行进一段距离即使用视觉传感器采集周围环境的图像，与自身存储的图像信息进行比对，以达到定位、地图创建等目的。

基于区域增长的SURF点匹配算法的基本思想是：待匹配的两幅图像分别为A，B，若A中的某点a与B中的点b相匹配，则可以推测，a附近的点c在B中匹配的点d(若存在的话)必定在b点附近。

该算法的基本步骤如下：

(1)、建立数组Array1，Array2，长度分别为A、B中描述子的个数，作为标记。

(2)、从待匹配图像A的SURF描述子集合中任取一个描述子，设为a，并标记该描述子，将其与待匹配图像B的所有SURF描述子进行比对。若B中存在SURF描述子与a匹配，记为b，记录a，b对应点的坐标，并标记b，否则，重新在A中选取未标记的描述子，仍记为a。若不存在未标记的描述子，算法返回。

(3)、从图像A的SURF描述子集合中选取一个未标记的描述子，设为c，并标记该描述子，将其与B中未标记的描述子比对。若B中存在描述子与c匹配，记为d，记录c，d对应点的坐标，标记d，否则，重新在A中选取未标记的描述子，仍记为c。若不存在未标记的描述子，算法返回。

(4)、计算Dac与Dbd的值，记R＝Dac/Dbd。D表示两点之间的距离。

(5)构建队列Q，其数据结构为：描述子信息+附加坐标。将a入队，附加坐标值为b的坐标。将c入队，附加坐标值为d的坐标。

(6)若Q中有元素，则查看队头节点中的描述子坐标，在A的描述子集合中搜索与该坐标距离不超过L的未被标记的描述子。并逐个将其与B中未被标记的与附加坐标距离不超过3×L×R的描述子进行比对，并标记，若匹配则将匹配的点对标记，并加入Q的队尾，附加坐标信息为其在B中匹配的点的坐标。对头出队。

(7)若A的描述子都已经被标记过，算法结束。否则，随机将一个未被标记的描述子取出，标记，并将其与B中所有描述子比对，若B中有描述子与之匹配，则将其入队列，转到步骤6。否则，重复步骤7。

需要说明的是，上述装置和系统内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

以上对本发明实施例所提供一种基于SURF算法进行定位的方法及机器人，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种基于SURF算法进行定位的方法，其特征在于，包括以下步骤：

1)采集环境视频图像，通过视频采集模块获取外界视频信号；

2)通过SURF提取感兴趣点；

3)对SURF感兴趣点进行描述；

4)基于区域增长进行SURF感兴趣点描述子匹配，

其中，所述基于区域增长进行SURF感兴趣点描述子匹配的步骤包括：智能机器人每行进一段距离即通过视频采集模块采集周围环境的图像，与自身存储的图像信息进行比对，以达到定位、地图创建的目的，

基于区域增长的SURF点匹配算法的步骤是：

①将需要比对的图像分别标为A，B；建立数组Array1，Array2分别储存图像A、B图像的描述子，长度分别为A、B中描述子的个数；

②从待匹配图像A的SURF描述子集合中任取一个描述子，设为a，并标记该描述子，将其与待匹配图像B的所有SURF描述子进行比对；

若B中存在SURF描述子与a匹配，记为b，记录a，b对应点的坐标，并标记b，否则，重新在A中选取未标记的描述子，仍记为a；若不存在未标记的描述子，算法返回；

③从待匹配图像A的SURF描述子集合中选取一个未标记的描述子，设为c，并标记该描述子，将其与B中未标记的描述子比对；若B中存在描述子与c匹配，记为d，记录c，d对应点的坐标，标记d，否则，重新在A中选取未标记的描述子，仍记为c；若不存在未标记的描述子，算法返回；

④计算Dac与Dbd的值，记R＝Dac/Dbd，D表示两点之间的距离；

⑤构建队列Q，其数据结构为：描述子信息+附加坐标，将a入队，附加坐标值为b的坐标，将c入队，附加坐标值为d的坐标；

⑥若Q中有元素，则查看队头节点中的描述子坐标，在A的描述子集合中搜索与该坐标距离不超过L的未被标记的描述子；并逐个将其与B中未被标记的与附加坐标距离不超过3×L×R的描述子进行比对，并标记，若匹配则将匹配的点对标记，并加入Q的队尾，附加坐标信息为其在B中匹配的点的坐标，对头出队；

⑦若A的描述子都已经被标记过，算法结束；否则，随机将一个未被标记的描述子取出，标记，并将其与B中所有描述子比对，若B中有描述子与之匹配，则将其入队列，转到步骤⑥；否则，重复步骤⑦。

2.根据权利要求1所述的方法，其特征在于，所述采集环境视频图像包括：

创建视频捕获窗口、视频设备初始化、连接视频设备、获取视频采集设备的能力和状态信息、设置捕获窗口的显示模式和开始捕获的步骤。

3.根据权利要求1所述的方法，其特征在于：所述通过SURF提取感兴趣点采用Hessian矩阵的行列式的局部最大值来定位感兴趣点。

4.根据权利要求3所述的方法，其特征在于：同时为了除去非区域内Hessian矩阵行列式最大值的点，引入被称为非最大值抑制的方法；若某点通过了非最大值抑制，并且其Hessian矩阵行列式的值大于阈值，则对其进行三维邻域最大值验证，以保证该点确为尺度空间的极值。

5.根据权利要求1所述的方法，其特征在于，所述对SURF感兴趣点进行描述的步骤包括：为每个SURF感兴趣点分配唯一的主方向，SURF感兴趣点主方向通过计算Haar小波响应来确定，形成基于摘要的SURF描述子。