CN111950597B - 机器人基于原图光照不变图词袋模型改进的闭环检测方法 - Google Patents

Abstract

本发明请求保护一种机器人基于原图光照不变图词袋模型改进的闭环检测方法。具体步骤为：首先，根据将摄像头采集到的原始图像转化为只与光源有关光照不变图；然后，对二者提取特征点，利用k‑means聚类方法生成视觉词典，对每帧图像计算两个直方图和相似性得分；接着，采用直方图交叉核的方法来测量两个矩阵的相似性得分；最后，选择分数大于阈值且不包含相邻帧的帧作为检测正确的闭环对。在光照变化较大的环境中的实验结果表明：相较于其他方法，本方法在闭环检测部分能显著提高准确率和召回率。

Description

机器人基于原图光照不变图词袋模型改进的闭环检测方法

技术领域

本发明属于移动机器人自主导航领域，特别是一种基于原图光照不变图词袋模型改进的闭环检测方法。

背景技术

同时定位与地图构建(s imultaneous local ization and mapping,SLAM)是移动机器人实现自主导航的关键。该方案由Smith等人于1986年首先提出，具体是移动机器人在未知环境中利用自身搭载的传感器(如深度相机，激光测距仪，声呐等)观测环境特征，并根据观测值递增式地构建周围环境地图，同时运用所建地图估计自身位姿。

闭环检测是SLAM问题中的难点，指移动机器人将当前时刻传感器的观测值与已知数据库中的特征进行匹配，从而确定机器人是否曾“到访”某处。错误的闭环检测会导致建图和定位出现偏差，严重时会造成整个SLAM算法的发散。目前，SLAM闭环检测算法大多是基于外观的方法，利用提取的图像特征和描述符来估计是否到达过某个位置。如3D-MAP，深度神经网络，视觉词袋法等。视觉词袋法目前在闭环检测中较为常用。然而，当前的闭环检测方法经常会感知变异(假阴性)的问题，感知变异是指本来应该是正确的闭环但由于某些原因判断成了错误的闭环，在室外机器人长时间运行时，受到太阳光照变化影响时尤为突出，比如自动驾驶汽车。本发明通过利用色彩不变空间的特性生成了只与光源有关的光照不变图，克服了光照对闭环检测的影响。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种能在光照变化明显时有较强鲁棒性的机器人基于原图光照不变图词袋模型改进的闭环检测方法。本发明的技术方案如下：

一种机器人基于原图光照不变图词袋模型改进的闭环检测方法，其包括以下步骤：

步骤1、首先，将移动机器人所搭载的摄像头采集到的原始图像采用色彩空间不变性的方法转化为只与光源有关的光照不变图；

步骤2、然后，对原始图像和光照不变图提取特征点，利用K-means聚类方法生成视觉词典；

步骤3、接着，采用TF-IDF的方法来区分视觉词典中不同视觉单词的重要性

步骤4、最后，采用直方图交叉核的方法来测量原始图像与光照不变图两个矩阵的相似性得分，选择分数大于阈值且不包含相邻帧的帧作为检测正确的闭环对，完成闭环检测。

进一步的，所述步骤1将移动机器人摄像头采集到的原始图像转化为只与光源有关的光照不变图，具体包括：

S11：光谱灵敏度F(λ)，图像传感器的光照响应R，物体的表面反射率S(λ)

和物体上的发射光谱功率分布E(λ)之间存在以下等式关系：

R^x,E＝a^x·n^xI^x∫S^x(λ)E^x(λ)F(λ)dλ

其中I为光照强度，单位矢量a^x，n^x分别表示光源方向和表面法线方向，I^x表示光源在物体上点x处的强度，S^x表示物体点x处的表面反射率，E^x表示物体点x处的光功率谱，E表示总光功率，λ表示光的波长；

S12：将光谱敏感度函数F(λ)假设为以波长λ_i为中心的狄拉克增量函数，从而产生以下响应函数：

R^x,E＝a^x·n^xI^xS^x(λ_i)E^x(λ_i)

S13：为减少光照强度I的影响，得到取决于表面反射率S(λ_i)的光照不变图ζ，将上式取对数如下：

log(R_x,E)＝log(G^xI^x)+log{(S^x(λ_i)}+log{(E^x(λ_i))}

其中，G^x＝a^x·n^x，表示光源和物体之间的相对几何形状；

S14：将光照近似为普朗克光源，再将维恩常数近似代入普朗克光源中：

其中h为普朗克常数，c为光速，k_B为玻尔兹曼常数，T是黑体源的相关色温；

S15：当参数α满足以下约束时，一维色彩空间ζ将相关色温T无关：

简化为：

其中，λ₂、λ₁、λ₃分别不同的光波长；

因此，可以根据相机传感器取适当的α值，将原始图像转换为光照不变图像ζ。

进一步的，所述步骤2对二者提取特征点，利用K-means聚类方法生成视觉词典的具体实施过程为：

S21：将采集到的彩色图像设为集合S₁，将光照不变图设为集合S_h，两者存在以下关系：S_h＝ζ(S₁)；

S22：使用树数据结构来构建词典，在每一层使用K-means聚类方法对描述符进行分类，其中只有叶节点存储可视单词，而中间节点仅用于查找单词。

进一步的，所述步骤3采用TF-IDF方法来区分不同单词的重要性的具体实施过程为：

S31：将n定义为特征词的总数，n_i是w_i下的词数，逆文档频率的表达式为：

S32：单个帧中某些特征词的出现频率TF_i可表示为：

S33:在考虑单词的权重之后，对于特定的图像A，将原图特征和光照不变图特征添加到词袋中，完善原图-光照不变图词典：

A＝{(F_RGB1,F_II1,β₁),(F_RGB2,F_II2,β₂)...(F_RGBn,F_IIn,β_n)}，F_RGBn,F_IIn,β_n分别表示第n个原图的视觉单词，光照不变图的视觉单词，TF-IDF分数；

进一步的，所述步骤S4选择分数大于阈值且不包含相邻帧的帧作为检测正确的闭环对的具体步骤包括：

S41：定义两个矩阵间的相似性得分S：

其中h₁，h₂是用于比较相似性的直方图，H₁(l)，H₂(l)为第l个原图交叉核，光照不变图交叉核，N为词典的大小；

S42：完成两个矩阵的相似性得分计算以后，对得分矩阵进行归一化并组合两个得分矩阵生成最终的得分矩阵，如下式所示：

S_final＝S_RGB+η·S_II

其中S_RGB是原始彩色图像的视觉词袋归一化得分矩阵，S_II是得到的光照不变图像的视觉词袋归一化得分矩阵，S_final是最终的得分矩阵，η是两个得分矩阵间的平衡因子；

S43：由于相邻的两幅图像十分相似，容易被误视为闭环，因此选择分数大于阈值且不包含相邻帧的帧作为判断正确的闭环对。

本发明的优点及有益效果如下：

本发明针对目前主流的移动机器人SLAM闭环检测方法在光照变化条件较大时准确率和召回率不高的问题，提出一种基于原图光照不变图词袋模型改进的闭环检测方法。该方法通过生成原图提取特征点，还将其转化成光照不变图，并且生成原图-光照不变图的视觉词典，归一化计算最终矩阵相似性得分来提高对光照变化的鲁棒性。本发明中，采用TF-IDF方法来区分不同单词的重要性，然后以选择最终得分矩阵大于阈值且不包含相邻帧的帧作为检测正确的闭环对，这样能减少相邻帧对闭环检测的影响。本发明的回环检测方法有效的降低了回环检测中的误匹配，且本发明具有良好的鲁棒性。本发明的有益效果主要体现在两个方面，即在场景中存在明显的光照变化时以及当机器人长时间运动的情况下，相比当前类似的回环检测方法，本发明提供的方法能够在100％的准确率下获得更高的召回率，这就说明本发明提供的方法能更为准确有效的检测回环。

附图说明

图1是本发明提供优选实施例提供一种基于原图光照不变图词袋模型改进的闭环检测方法的流程图；

图2视觉词袋生成的流程图；

图3词袋树示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

参照图1-图3所示，本方法的主要步骤为：

S1，将摄像头采集到的原彩色图像转化为只与光源有关光照不变图；

S2，对二者提取特征点，利用k-means聚类方法生成视觉词典，；

S3，采用TF-IDF方法来区分不同单词的重要性

S4，选择分数大于阈值且不包含相邻帧的帧作为检测正确的闭环对

步骤S1的具体实施过程为：

S11：光谱灵敏度F(λ)，图像传感器的光照响应R，物体的表面反射率S(λ)

和物体上的发射光谱功率分布E(λ)之间存在以下等式关系：

R^x,E＝a^x·n^xI^x∫S^x(λ)E^x(λ)F(λ)dλ

其中I为光照强度，单位矢量a^x，n^x分别表示光源方向和表面法线方向，I^x表示光源在物体上点x处的强度，S^x表示物体点x处的表面反射率，E^x表示物体点x处的光功率谱，E表示总光功率，λ表示光的波长；

S12：将光谱敏感度函数F(λ)假设为以波长λ_i为中心的狄拉克增量函数，从而产生以下响应函数：

R^x,E＝a^x·n^xI^xS^x(λ_i)E^x(λ_i)

S13：为减少光照强度I的影响，得到取决于表面反射率S(λ_i)的光照不变图ζ，将上式取对数如下：

log(R_x,E)＝log(G^xI^x)+log{(S^x(λ_i)}+log{(E^x(λ_i))}

其中，G^x＝a^x·n^x，表示光源和物体之间的相对几何形状；

S14：将光照近似为普朗克光源，再将维恩常数近似代入普朗克光源中：

其中h为普朗克常数，c为光速，k_B为玻尔兹曼常数，T是黑体源的相关色温；

S15：当参数α满足以下约束时，一维色彩空间ζ将相关色温T无关：

简化为：

其中，λ₂、λ₁、λ₃分别不同的光波长；

因此，可以根据相机传感器取适当的α值，将原始图像转换为光照不变图像ζ。

步骤S2的具体实施过程为：

S21：将采集到的彩色图像设为集合S₁，将光照不变图设为集合S_h，两者存在以下关系：S_h＝ζ(S₁)；

S22：使用树数据结构来构建词典，在每一层使用K-means聚类方法对描述符进行分类。其中只有叶节点存储可视单词，而中间节点仅用于查找单词。

步骤S3的具体实施过程为：

S31：将n定义为特征词的总数，n_i是w_i下的词数，逆文档频率的表达式为：

S32：单个帧中某些特征词的出现频率TF_i可表示为：

S33:在考虑单词的权重之后，对于特定的图像A，将原图特征和光照不变图特征添加到词袋中，完善原图-光照不变图词典：

A＝{(F_RGB1,F_II1,β₁),(F_RGB2,F_II2,β₂)...(F_RGBn,F_IIn,β_n)}，F_RGBn,F_IIn,β_n分别表示第n个原图的视觉单词，光照不变图的视觉单词，TF-IDF分数；

步骤S4的具体实施过程为：

S41：定义两个矩阵间的相似性得分S：

其中h₁，h₂是用于比较相似性的直方图，H₁(l)，H₂(l)为第l个原图交叉核，光照不变图交叉核，N为词典的大小；

S42：完成两个矩阵的相似性得分计算以后，对得分矩阵进行归一化并组合两个得分矩阵生成最终的得分矩阵，如下式所示：

S_final＝S_RGB+η·S_II

其中S_RGB是原始彩色图像的视觉词袋归一化得分矩阵，其中S_ii是得到的光照不变图像的视觉词袋归一化得分矩阵，S_final是最终的得分矩阵，η是两个得分矩阵间的平衡因子。

S43：由于相邻的两幅图像十分相似，容易被误视为闭环，因此选择分数大于阈值且不包含相邻帧的帧作为判断正确的闭环对。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (3)

1.一种机器人基于原图光照不变图词袋模型改进的闭环检测方法，其特征在于，包括以下步骤：

步骤1、首先，将移动机器人所搭载的摄像头采集到的原始图像采用色彩空间不变性的方法转化为只与光源有关的光照不变图；

步骤2、然后，对原始图像和光照不变图提取特征点，利用K-means聚类方法生成视觉词典；

步骤3、接着，采用TF-IDF的方法来区分视觉词典中不同视觉单词的重要性

步骤4、最后，采用直方图交叉核的方法来测量原始图像与光照不变图两个矩阵的相似性得分，选择分数大于阈值且不包含相邻帧的帧作为检测正确的闭环对，完成闭环检测；

所述步骤3采用TF-IDF方法来区分不同单词的重要性的具体实施过程为：

S31：将n定义为词的总数，n_i是包含特征词w_i的词数，逆文档频率的表达式为：

S32：单个帧中某些特征词的出现频率TF_i可表示为：

S33:在考虑单词的权重之后，对于特定的图像A，将原图特征和光照不变图特征添加到词袋中，完善原图-光照不变图词典：

A＝{(F_RGB1,F_II1,β₁),(F_RGB2,F_II2,β₂)...(F_RGBn,F_IIn,β_n)}，F_RGBn,F_IIn,β_n分别表示第n个原图的视觉单词，光照不变图的视觉单词，TF-IDF分数；

所述步骤4选择分数大于阈值且不包含相邻帧的帧作为检测正确的闭环对的具体步骤包括：

S41：定义两个矩阵间的相似性得分S：

其中h₁，h₂是用于比较相似性的直方图，H₁(l)，H₂(l)为第l个原图交叉核，光照不变图交叉核，N为词典的大小；

S42：完成两个矩阵的相似性得分计算以后，对得分矩阵进行归一化并组合两个得分矩阵生成最终的得分矩阵，如下式所示：

S_final＝S_RGB+η·S_II

其中S_RGB是原始彩色图像的视觉词袋归一化得分矩阵，S_II是得到的光照不变图像的视觉词袋归一化得分矩阵，S_final是最终的得分矩阵，η是两个得分矩阵间的平衡因子；

S43：由于相邻的两幅图像十分相似，容易被误视为闭环，因此选择分数大于阈值且不包含相邻帧的帧作为判断正确的闭环对。

2.根据权利要求1所述的一种机器人基于原图光照不变图词袋模型改进的闭环检测方法，其特征在于，所述步骤1将移动机器人摄像头采集到的原始图像转化为只与光源有关的光照不变图，具体包括：

S11：在光波长为λ时，光谱灵敏度F(λ)，图像传感器的光照响应R，物体的表面反射率S(λ)和物体上的光谱功率分布E(λ)之间存在以下等式关系：

R^x,E＝a^x·n^xI^x∫S^x(λ)E^x(λ)F(λ)dλ

其中I为光照强度，单位矢量a^x，n^x分别表示光源方向和表面法线方向，I^x表示光源在物体上点x处的强度，S^x表示物体点x处的表面反射率，E^x(λ)表示光波长为λ时，物体点x处的光功率谱分布，E表示总光功率；

S12：将光谱敏感度F(λ)假设为以波长λ_i为中心的狄拉克增量函数，从而产生以下响应函数：

R^x,E＝a^x·n^xI^xS^x(λ_i)E^x(λ_i)

S13：为减少光照强度I的影响，得到取决于表面反射率S(λ_i)的光照不变图ζ，将上式取对数如下：

log(R_x,E)＝log(G^xI^x)+log{(S^x(λ_i)) }+log{(E^x(λ_i))}

其中，G^x＝a^x·n^x，表示物体上点x处光源和物体之间的相对几何形状；

S14：将光照近似为普朗克光源，再将维恩常数近似代入普朗克光源中：

其中h为普朗克常数，c为光速，k_B为玻尔兹曼常数，T是黑体源的相关色温；

S15：当参数α满足以下约束时，一维色彩空间ζ将相关色温T无关：

简化为：

其中，λ₂、λ₁、λ₃分别不同的光波长；

因此，可以根据相机传感器取适当的α值，将原始图像转换为光照不变图像ζ。

3.根据权利要求2所述的一种机器人基于原图光照不变图词袋模型改进的闭环检测方法，其特征在于，所述步骤2对二者提取特征点，利用K-means聚类方法生成视觉词典的具体实施过程为：

S21：将采集到的彩色图像设为集合S₁，将光照不变图设为集合S_h，两者存在以下关系：S_h＝ζ(S₁)；

S22：使用树数据结构来构建词典，在每一层使用K-means聚类方法对描述符进行分类，其中只有叶节点存储可视单词，而中间节点仅用于查找单词。

Images