CN106897666A - 一种室内场景识别的闭环检测方法 - Google Patents

一种室内场景识别的闭环检测方法 Download PDF

Info

Publication number
CN106897666A
CN106897666A CN201710033034.4A CN201710033034A CN106897666A CN 106897666 A CN106897666 A CN 106897666A CN 201710033034 A CN201710033034 A CN 201710033034A CN 106897666 A CN106897666 A CN 106897666A
Authority
CN
China
Prior art keywords
pixel
current scene
closed loop
scene image
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710033034.4A
Other languages
English (en)
Other versions
CN106897666B (zh
Inventor
庄诗伟
邹丹平
裴凌
刘佩林
郁文贤
徐昌庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201710033034.4A priority Critical patent/CN106897666B/zh
Publication of CN106897666A publication Critical patent/CN106897666A/zh
Application granted granted Critical
Publication of CN106897666B publication Critical patent/CN106897666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36Indoor scenes

Abstract

一种室内场景识别的闭环检测方法,包括步骤:采集当前场景图像,利用FAST算法提取当前场景图像的特征点和利用LSD算法提取当前场景图像的特征线条;采用ORB生成特征点的描述子向量,及采用BRLD生成特征线条的描述子向量;采用K‑means聚类算法对所有描述子向量进行聚类生成视觉词汇,并利用视觉词汇生成当前场景图像的BOW向量;计算当前场景图像的BOW向量与已存储历史场景图像的BOW向量的相似度及检测当前场景图像的一致性判断当前场景图像是否发生闭环。在闭环检测中加入了特征线条,在特征点匮乏的室内环境中识别出已访问过的地点,另外,室内场景中的线条大多是静态的,引入特征线条后闭环检测算法受场景内动态物体变化的影响更小,更好地解决了场景混淆问题。

Description

一种室内场景识别的闭环检测方法
技术领域
本发明涉及移动机器人导航技术领域,具体涉及一种室内场景识别的闭环检测方法。
背景技术
闭环检测是SLAM系统中一个十分重要的模块,目的是让机器人识别出已访问过的地点,纠正SLAM的累计误差,保证地图的一致性。闭环检测实际上是一个图像识别的问题,主流算法一般基于BoW(Bag of Words)框架,利用不同类型的特征点作为解决方案。
目前的闭环检测算法中,大部分针对室外场景做了优化,对室内环境的研究相对较少。室内场景不管是特征数量还是特征类型都与室外场景有较大区别,非常明显的一点就是室外场景一般有着丰富的特征点,而室内场景的特征点数量则会大大减少;另一方面,室内环境有着极强的结构特征,建筑本体和人造物品都存在大量的特征线条,这些线条携带着丰富的场景信息,如何将这些线条携带的场景信息用于导航中已成为研究热点。
发明内容
针对如何提高室内场景的识别率,本申请提供一种室内场景识别的闭环检测方法,包括步骤:
采集当前场景图像,利用FAST算法提取所述当前场景图像的特征点和利用LSD算法提取当前场景图像的特征线条;
采用ORB生成特征点的描述子向量,及采用BRLD生成特征线条的描述子向量;
采用K-means聚类算法对所有描述子向量进行聚类生成视觉词汇,并利用视觉词汇生成当前场景图像的BOW向量;
计算当前场景图像的BOW向量与已存储历史场景图像的BOW向量的相似度及检测当前场景图像的一致性判断当前场景图像是否发生闭环。
一种实施例中,利用FAST算法提取当前场景图像的特征点,包括步骤:
以当前场景图像中的一像素点P为中心,半径为3构建一个圆;
在圆的周围每隔90度角选取4个像素点,选取的像素点记作P1、P2、P3、……、P16;
根据P1、P2、P3、……、P16判断像素点P是否是特征点;
若像素点P是特征点,计算像素点P处的FAST得分,并以像素点P为中心构建一个邻域;
检测邻域内的特征点,并计算邻域内各个特征点的FAST得分;
判断像素点P的FAST得分是否是最大值,若是,则提取像素点P,否则,舍去像素点P。
一种实施例中,根据P1、P2、P3、……、P16判断像素点P是否是特征点,包括步骤:
分别计算P1和P9与中心像素点P的像素差,若像素差的绝对值均小于预设阈值,则像素点P不是特征点;
否则,分别计算P1、P9、P5和P13与中心像素点P的像素差,若其中至少有两个像素差的绝对值均小于预设阈值,则像素点P不是特征点;
否则,分别计算P1至P16与中心像素点P的像素差,若其中至少有九个像素差的绝对值均大于等于预设阈值,则像素点P特征点,否则,像素点P不是特征点。
一种实施例中,FAST得分的计算公式为:
其中,s为FAST得分,I(Pi)为当前场景图像在像素点Pi处的像素值。
一种实施例中,利用LSD算法提取当前场景图像的特征线条,包括步骤:
计算当前场景图像中每个像素点的梯度和梯度方向;
将梯度方向相近的像素点合并成若干个子区域;
检测子区域是否是直线段,若是,则提取子区域。
一种实施例中,检测子区域是否是直线段,包括步骤:
对子区域构建一个最小外接矩形;
计算最小外接矩形的主方向;
判断子区域各像素点的梯度方向与最小外接矩形的主方向的差是否在容忍度以内,若在,像素点为校准点,并统计校准点的数量;
根据最小外接矩形内像素点的总数量和校准点的总数量判定子区域是否为直线段。
一种实施例中,采用ORB生成所述特征点的描述子向量,包括步骤:
针对提取的各个特征点以其为中心构建一个邻域;
计算各个邻域赋予方向信息;
对各个邻域内所有的像素旋转至该邻域的主方向;
在各个邻域内搜索相关性最低的256个像素点作为测试点对;
比较每个测试点对的灰度值,若前者的灰度值小于后者的灰度值则取1,否则取0;
根据比较结果生成ORB描述子向量:
其中,τ(i)第i对像素点对的比较结果。
一种实施例中,采用BRLD生成特征线条的描述子向量包括步骤:
将特征线条所属邻域内的像素点映射至归一化坐标系中;
利用标定有特征线条真值的图像进行训练,选取出一组最佳的二值化测试位置:
根据最佳的二值化测试位置计算特征线条的BRLD描述子向量。
一种实施例中,利用视觉词汇生成当前场景图像的BOW向量,包括步骤:
将特征线条的描述子向量通过K-means聚类生成视觉词汇,以生成线条BOW向量;
将特征点的描述子向量通过K-means聚类生成视觉词汇,以生成特征点BOW向量;
将线条BOW向量与特征点BOW向量拼接形成含有当前场景图像点线特征的BOW向量。
一种实施例中,判断当前场景图像是否发生闭环,包括步骤:
计算当前场景图像的BOW向量与已存储历史场景图像的BOW向量的相似度;
判断相似度是否超过预设阈值,若超过,将当前场景图像作为候选闭环,否则,当前场景图像拒绝闭环;
对候选闭环进行一致性检查,若通过一致性检查,当前场景图像发生闭环。
依据上述实施例的闭环检测方法,由于针对室内场景识别时,在闭环检测中加入了特征线条,可以在特征点匮乏的室内环境中识别出已访问过的地点,对于室内导航应用有很强的实际意义,另外,室内场景中的线条大多是静态的结构线条,因此,引入特征线条后闭环检测算法受场景内动态物体变化的影响更小,更好地解决了场景混淆问题;进一步,本申请的闭环检测方法中采用的算法计算效率高,对于计算资源稀缺的移动平台有很强的应用价值。
附图说明
图1为本申请闭环检测方法流程图;
图2为构建圆示意图;
图3为特征线条归一化示意图;
图4为本申请闭环检测方法与现有技术对比图;
图5为本申请的检测结果与现有技术检测结果对比图;
图6为特征点匮乏的场景中检测结果对比图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。
针对现有的室内场景识别不精确的问题,本例提供一种室内场景识别的闭环检测方法,其流程图如图1所示,具体包括如下步骤。
S1:采集当前场景图像,利用FAST算法提取所述当前场景图像的特征点和利用LSD算法提取所述当前场景图像的特征线条。
当机器人在室内移动时,机器人利用自身携带的相机采集当前场景图像,并提取当前场景图像的特征点和特征线条,具体的,利用FAST(Features fromacce leratedsegment test角点检测方法)算法提取当前场景图像的特征点和利用LSD算法提取当前场景图像的特征线条。
其中,FAST特征点被定义为:若某像素点与其邻域内足够多的像素点的灰度值相差较大,那么该点可能是特征点;基于该定义,本例的利用FAST算法提取当前场景图像的特征点具体包括以下步骤:
1)以当前场景图像中的一像素点P为中心,半径为3构建一个圆,如图2所示。
2)在该圆的周围每隔90度角选取4个像素点,一共选取16个像素点,该选取的像素点依序记作P1、P2、P3、……、P16。
3)根据P1、P2、P3、……、P16判断像素点P是否是特征点。
该步骤具体是:分别计算P1和P9与中心像素点P的像素差,若像素差的绝对值均小于预设阈值H,则像素点P不是特征点;
否则,分别计算P1、P9、P5和P13与中心像素点P的像素差,若其中至少有两个像素差的绝对值均小于预设阈值H,则像素点P不是特征点;
否则,分别计算P1至P16与中心像素点P的像素差,若其中至少有九个像素差的绝对值均大于等于预设阈值H,则像素点P是特征点,否则,像素点P不是特征点。
若像素点P是特征点,进入步骤4),若像素点P不是特征点,则返回步骤1)选取下一下像素点并继续判断其是否是特征点。
4)若像素点P是特征点,计算像素点P处的FAST得分,并以像素点P为中心构建一个邻域,如该邻域的大小可以为3*3或者5*5等。
5)检测邻域内的特征点,并计算邻域内各个特征点的FAST得分。
FAST得分的计算公式为:其中,s为FAST得分,I(Pi)为当前场景图像在像素点Pi处的像素值。
6)判断像素点P的FAST得分是否是最大值,若是,则提取像素点P,否则,舍去像素点P。
根据步骤1)~6)可获取当前场景图像中所有的特征点,特征点检测完毕之后,再利用LSD算法提取当前场景图像的特征线条,具体如下。
1)计算当前场景图像中每个像素点的梯度和梯度方向。
2)将梯度方向相近的像素点合并成若干个子区域。
由于步骤1)中的梯度方向构成了一个梯度场,场中方向相近的像素点被合并成若干个子区域,这些区域称为LSR(line support region),每个LSR就是一组像素,作为直线段的候选。
3)检测子区域是否是直线段,若是,则提取子区域。
对于一个LSR,观察其最小外接矩形,直观上看,该矩形若是比较细长,那第该组像素点更可能是一根线段,因此,本步骤进一步包括如下步骤:
1)对子区域构建一个最小外接矩形。
2)计算最小外接矩形的主方向。
3)判断子区域各像素点的梯度方向与最小外接矩形的主方向的差是否在容忍度以内,若在,像素点为校准点,并统计校准点的数量。
4)根据最小外接矩形内像素点的总数量和校准点的总数量判定子区域是否为直线段,如,校准点的总数量越多,则该子区域越有可能是直线段。
S2:采用ORB生成特征点的描述子向量,及采用BRLD生成特征线条的描述子向量。
本例中,对所有特征点,采用ORB描述子进行特征描述,ORB是一种二值化描述子,具体的,对于每一个特征点,选定一个以其为中心的S*S的邻域,计算对各个邻域赋予方向信息:mpq=∑x,yxpyqI(x,y),θ=atan2(m01,m10),其中,θ为邻域的主方向,对各个邻域内所有的像素旋转至该邻哉的主方向,经过旋转后的像素点相关性会比较大,降低了描述子的可区分性,因此,ORB中采用了贪婪算法在各个邻域内搜索相关性最低的256个像素点作为测试点对,比较每个测试点对的灰度度,若前者的灰度值小于后者的灰度值则取1,否则取0;根据比较结果,组成最终的ORB描述子向量为:其中,τ(i)第i对像素点对的比较结果,最后用一个256维的二值化向量来描述每个特征点。
对于所有特征线条,本例采用新的BRLD描述子进行描述,采用BRLD生成特征线条的描述子向量包括如下步骤。
1)将特征线条所属邻域内的像素点映射至归一化坐标系中。
特征线条与特征点的最大区别是线条有不同的长度和方向而特征点没有,所以,为了固定生成描述子的方法以及描述子向量的维度,本例引入了一个归一化的坐标每亩,所有特征线条的邻域都先在这个坐标系中进行表述。在这个坐标系中,所有特征线条被归一化成位于x轴上的一根单位长度的线段,如图3所示,这条线段被分成M等份供后续采样,线条的垂直方向没有被归一化,对于所有特征线条,垂直方向的窗口大小都选取为W。
归一化坐标系和实际的像素位置之间建立了一个坐标变换,假设某像素点在归一化坐标系中的坐标为(x0,y0),将它写成标准的齐次坐标形式X0=(x0,y0,1)T。设特征线条的两端点在实际图像中的坐标为(x1,y1),(x2,y2),其中x1≤x2,则坐标变换的过程如下:
第一步是尺度变换:
X1=T1*X0其中,l是特征线条的长度。
第二步是旋转变换:
X2=T2*X1α=arctan(k);其中,k是特征线条的斜率。
最后一步是平移变换:
X=T3*X2
令X=(u,v,1)T,则(u,v)就是点X0在图像中的实际坐标。整体变换可以写成如下形式:
X=T*X0
其中T=T3*T2*T1就是变换矩阵,对于每根特征线条,所有在其邻域内的像素点都通过上述变换映射到归一化坐标系中。
2)利用标定有特征线条真值的图像进行训练,选取出一组最佳的二值化测试位置。
本例的二值化测试位置的选择是在归一化坐标系中进行,具体的,对于特征线条,本发明利用标定有线条真值的图像进行训练,自动选择出一组最佳的二值化测试位置。
一个理想的测试对在训练集上生成的所有二进制值,其均值应当接近0.5。换言之,生成的0和1的数量应当差不多,生成的值大部分是0或者1的测试对所带来的信息量显然是很少的。除此以外,生成的特征值的区分度也是衡量一个测试像素对质量的标准,显然,理想的特征一定是区分度高的那些。若一个测试对生成的二值特征的方差大,那么这个测试像素对的区分度也更高。因此,首先搜索那些所有生成的特征值的均值接近0.5的测试像素对。在归一化坐标系的特征线条邻域中,共有(W+1)*(M+1)个像素点。在所有可能的像素对中作贪婪搜索,因此要测试的像素对数量是
对于训练集内所有图像中的所有线条都进行二值化测试,二值化测试τ定义如下:
其中,I(X1),I(X2)是点X1,X2邻域内像素灰度的平均值。对于每一个测试对来说,都能得到一个高维的二值化向量,其维数等于所有训练图像中线条数量的总和。之后,计算每一个高维向量的中所有元素的均值,并按照与0.5的差值进行排序,均值越接近0.5排位越靠前,前1000个测试像素通过筛选进入下一步的训练。
在得到上述候选像素对后,根据匹配得分从中选取D个像素对来作为最终的测试组,D也是最终的BRLD描述子的维数。首先从这些候选像素对中随机选取测试对直到得到100个候选组,每个候选组中都有D个像素对。然后用每一个候选组来计算那些标定过的线段的描述子,候选组中的每个像素对都生成描述子中的一个分量。不同的候选组对于相同的线段会得到不同的描述子,用不同候选组生成的描述子来进行线条匹配。匹配过程就是简单地计算两描述子之间的汉明距离,距离最小的描述子被认为是一个配对。由于已经标定了线条匹配的真值,所以匹配性能就可以被量化。得到正确匹配数最多的那一个候选组就被选定为最佳二值化测试位置。
3)根据最佳的二值化测试位置计算特征线条的BRLD描述子向量。
有了这些最佳的二值化测试位置即可计算特征线条的BRLD描述子,BRLD描述子的计算过程类似ORB。
S3:采用K-means聚类算法对所有描述子向量进行聚类生成视觉词汇,并利用视觉词汇生成当前场景图像的BOW向量。
本步骤的思路是:将特征线条的描述子向量通过K-means聚类生成视觉词汇,以生成线条BOW向量;将特征点的描述子向量通过K-means聚类生成视觉词汇,以生成特征点BOW向量;将线条BOW向量与特征点BOW向量拼接形成含有当前场景图像点线特征的BOW向量。
具体的,视觉词汇实际上就是描述子的聚类,每个聚类中心代表一个视觉词汇。这个“词汇”的概念是抽象的,例如在N维特征空间中,一个视觉词汇就是一个N维向量。
在本发明使用的BoW方法中,采用的是词汇树,构建词汇树利用的是分层k-means聚类。因此,BoW方法中的k定义的不是最终的词汇数量,而是词汇树每个节点的子孙数。分层k-means算法就是在完成一次k-means聚类后,对每个类再进行单独的k-means聚类。重复以上操作,就可以逐层构建一个有L层的词汇树。
一旦词汇树生成完毕,为了提高检索效率和质量,我们对树的每个节点都要赋予权重。在BoW方法中,采用了一种TF-IDF(term frequency-inverse document frequency)计算方法。该方法是一种用于信息检索和数据挖掘的常用加权技术,计算方法如下:
假设共有k个视觉词汇,那么每幅图像就可以表示为一个k维词汇向量Vd=(t1,t2,…,ti,…,tk)T。该向量中每个分量按下式计算:
其中,nid是第i个词汇在该图像中出现的次数,nd是该图像中所包含词汇的总数(也等于特征总数),ni是数据库中含有第i个词汇的图像的数量,N是数据库中图像的总数。
由上式可知,一个词汇在该幅图像中的权重由两部分组成:词汇频率和逆文本频率指数
词汇频率表达的含义是,若某视觉词汇在该幅图像中出现频率很高,那么这个词汇就可以很好地描述这幅图像,应当被赋予较大的权重;逆文本频率指数则是说明,若某个词汇频繁地在各种图像中出现,那么这个词汇所附带的信息量就较少,应当被赋予较小的权重。若某词汇在每一幅图像中都出现了,那么这个词汇所携带的信息量就为零,权重也被赋为零。某词汇在一幅图像中最终的权重,是综合考虑了上述两者的结果。这样,每幅图像都可以用一个词汇向量来表示,再将该向量归一化,就得到了表达每幅图像的BoW向量,两幅图像的相似度则是通过计算两BoW向量间的距离得到。
S4:计算所述当前场景图像的BOW向量与已存储历史场景图像的BOW向量的相似度及检测所述当前场景图像的一致性判断所述当前场景图像是否发生闭环。
本步骤具体包括如下步骤:
1)计算所述当前场景图像的BOW向量与已存储历史场景图像的BOW向量的相似度。
本发明中创造性地在闭环检测中加入了线条特征,线条特征通过聚类生成视觉词汇后,可以将图像用一个线条BoW向量来进行描述。将这个线条BoW向量与传统的利用特征点计算得到的BoW向量进行拼接,就得到了结合点线特征的BoW向量。对于摄像头捕获到的每一帧关键帧图像,都通过反向索引表转化为结合点线特征的BoW向量。当前BoW帧计算完毕后,计算与所有历史BoW帧之间的相似度,两BoW向量v1和v2间的相似度定义如下:
2)判断相似度是否超过预设阈值,若超过,将当前场景图像作为候选闭环,否则,当前场景图像拒绝闭环。
3)对所述候选闭环进行一致性检查,若通过一致性检查,当前场景图像发生闭环。
一致性检查包括时间一致性检查和几何一致性检查,首先用先前的检索来检查其时间一致性。候选闭环<vt,VT′>必须与前k个匹配连续,也就是说,Tj和Tj+1之间的间隔要足够小到可以重合。若该候选通过了时间一致性检查,就进入最后的几何一致性检查。
几何一致性检查主要是指利用RANSAC算法找出候选闭环和历史帧之间的一个基础矩阵,这个基础矩阵至少有12个对应关系支持,通过比较检索图像和匹配图像的局部特征来计算这些对应关系。利用直接索引表,仅需比较属于同一视觉词汇的特征,可以大大提高计算效率。若候选闭环通过几何一致性检查,则候选被算法接受,认为当前位置已访问过。
进一步,在几何一致性检查过程中,为了提升检索的效率,本发明中创建了两张索引表。反向索引表(Inverse index)是按词汇索引,保存了每个视觉词汇出现在了数据库中的哪几张图像中以及在这些图像中的权重,用于在线检索。直接索引表(Direct index)是按图像索引,保存了数据库中每张图像含有哪些视觉词汇以及它们在图中的权重。这样做的好处是,若需要在特征空间内比较两幅图像,那么只需比较那些属于同一个词汇的特征向量,而不需要比较整幅图像的所有特征,这为闭环检测算法的几何一致性检查部分提供了很大的便捷。
根据室内环境的特点,本发明创造性地在现有的闭环检测技术中创造性地加入了线条特征,可以在特征点匮乏的室内环境中识别出已访问过的地点,对于室内导航应用有很强的实际意义。相比现有技术,本发明具有以下有益效果:
一、在室内环境中的表现明显优于现有技术。Precision-Recall曲线是评估闭环检测的通用指标,Precision反映检测的准确度,Recall反映检测的完整性,两者的值都要尽可能大。图4是本发明提出的ORB+BRLD闭环检测算法与现有技术的对比,从Precision-Recall曲线可以看出本发明的方法有明显优势。
二、本发明的方法在室内场景中受场景变化的影响小。室内场景中的线条大多是静态的结构线条,因此引入线条特征后闭环检测算法受场景内动态物体变化的影响更小,更好地解决了场景混淆问题。图5是本发明的检测结果与现有技术的检测结果,本发明在严重的场景变化下仍然可以正确检测,而仅用特征点的现有技术则检测错误。
三、本发明在特征点匮乏的场景中仍可以正确检测。如图6所示,本发明的方法在特征点匮乏的墙面和地面场景中可以正确检测闭环,但仅使用特征点的现有技术检测错误。
四、由于使用的是两种二值化特征,因此本发明比现有技术计算效率提升了一个量级以上,对于计算资源稀缺的移动平台有很强的应用价值。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种室内场景识别的闭环检测方法,其特征在于,包括步骤:
采集当前场景图像,利用FAST算法提取所述当前场景图像的特征点和利用LSD算法提取所述当前场景图像的特征线条;
采用ORB生成所述特征点的描述子向量,及采用BRLD生成所述特征线条的描述子向量;
采用K-means聚类算法对所有所述描述子向量进行聚类生成视觉词汇,并利用所述视觉词汇生成当前场景图像的BOW向量;
计算所述当前场景图像的BOW向量与已存储历史场景图像的BOW向量的相似度及检测所述当前场景图像的一致性判断所述当前场景图像是否发生闭环。
2.如权利要求1所述的闭环检测方法,其特征在于,所述利用FAST算法提取所述当前场景图像的特征点,包括步骤:
以所述当前场景图像中的一像素点P为中心,半径为3构建一个圆;
在所述圆的周围每隔90度角选取4个像素点,选取的像素点依序记作P1、P2、P3、……、P16;
根据所述P1、P2、P3、……、P16判断所述像素点P是否是特征点;
若像素点P是特征点,计算所述像素点P处的FAST得分,并以像素点P为中心构建一个邻域;
检测所述邻域内的特征点,并计算所述邻域内各个特征点的FAST得分;
判断所述像素点P的FAST得分是否是最大值,若是,则提取所述像素点P,否则,舍去所述像素点P。
3.如权利要求2所述的闭环检测方法,其特征在于,所述根据P1、P2、P3、……、P16判断所述像素点P是否是特征点,包括步骤:
分别计算P1和P9与中心像素点P的像素差,若所述像素差的绝对值均小于预设阈值,则所述像素点P不是特征点;
否则,分别计算P1、P9、P5和P13与中心像素点P的像素差,若其中至少有两个像素差的绝对值均小于预设阈值,则所述像素点P不是特征点;
否则,分别计算P1至P16与中心像素点P的像素差,若其中至少有九个像素差的绝对值均大于等于预设阈值,则所述像素点P是特征点,否则,所述像素点P不是特征点。
4.如权利要求2所述的闭环检测方法,其特征在于,所述FAST得分的计算公式为:
其中,s为FAST得分,I(Pi)为当前场景图像在像素点Pi处的像素值。
5.如权利要求1所述的闭环检测方法,其特征在于,所述利用LSD算法提取当前场景图像的特征线条,包括步骤:
计算当前场景图像中每个像素点的梯度和梯度方向;
将梯度方向相近的像素点合并成若干个子区域;
检测所述子区域是否是直线段,若是,则提取所述子区域。
6.如权利要求5所述的闭环检测方法,其特征在于,所述检测子区域是否是直线段,包括步骤:
对所述子区域构建一个最小外接矩形;
计算所述最小外接矩形的主方向;
判断所述子区域各像素点的梯度方向与所述最小外接矩形的主方向的差是否在容忍度以内,若在,所述像素点为校准点,并统计所述校准点的数量;
根据所述最小外接矩形内像素点的总数量和所述校准点的总数量判定所述子区域是否为直线段。
7.如权利要求1所述的闭环检测方法,其特征在于,采用ORB生成所述特征点的描述子向量,包括步骤:
针对提取的各个特征点以其为中心构建一个邻域;
计算对各个邻域赋予方向信息;
对各个邻域内所有的像素旋转至该邻域的主方向;
在各个邻域内搜索相关性最低的256个像素点作为测试点对;
比较每个测试点对的灰度值,若前者的灰度值小于后者的灰度值则取1,否则取0;
根据比较结果生成ORB描述子向量:
其中,τ(i)第i对像素点对的比较结果。
8.如权利要求6所述的闭环检测方法,其特征在于,所述采用BRLD生成所述特征线条的描述子向量包括步骤:
将所述特征线条所属邻域内的像素点映射至归一化坐标系中;
利用标定有特征线条真值的图像进行训练,选取出一组最佳的二值化测试位置;
根据最佳的二值化测试位置计算特征线条的BRLD描述子向量。
9.如权利要求1所述的闭环检测方法,其特征在于,利用所述视觉词汇生成当前场景图像的BOW向量,包括步骤:
将所述特征线条的描述子向量通过K-means聚类生成视觉词汇,以生成线条BOW向量;
将所述特征点的描述子向量通过K-means聚类生成视觉词汇,以生成特征点BOW向量;
将所述线条BOW向量与所述特征点BOW向量拼接形成含有当前场景图像点线特征的BOW向量。
10.如权利要求1所述的闭环检测方法,其特征在于,所述判断当前场景图像是否发生闭环,包括步骤:
计算所述当前场景图像的BOW向量与已存储历史场景图像的BOW向量的相似度;
判断所述相似度是否超过预设阈值,若超过,将当前场景图像作为候选闭环,否则,所述当前场景图像拒绝闭环;
对所述候选闭环进行一致性检查,若通过一致性检查,所述当前场景图像发生闭环。
CN201710033034.4A 2017-01-17 2017-01-17 一种室内场景识别的闭环检测方法 Active CN106897666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710033034.4A CN106897666B (zh) 2017-01-17 2017-01-17 一种室内场景识别的闭环检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710033034.4A CN106897666B (zh) 2017-01-17 2017-01-17 一种室内场景识别的闭环检测方法

Publications (2)

Publication Number Publication Date
CN106897666A true CN106897666A (zh) 2017-06-27
CN106897666B CN106897666B (zh) 2020-09-08

Family

ID=59197868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710033034.4A Active CN106897666B (zh) 2017-01-17 2017-01-17 一种室内场景识别的闭环检测方法

Country Status (1)

Country Link
CN (1) CN106897666B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107529650A (zh) * 2017-08-16 2018-01-02 广州视源电子科技股份有限公司 网络模型的构建和闭环检测方法、相应装置及计算机设备
CN108090958A (zh) * 2017-12-06 2018-05-29 上海阅面网络科技有限公司 一种机器人同步定位和地图构建方法和系统
CN108108716A (zh) * 2017-12-29 2018-06-01 中国电子科技集团公司信息科学研究院 一种基于深度信念网络的回环检测方法
CN109272021A (zh) * 2018-08-22 2019-01-25 广东工业大学 一种基于宽度学习的智能移动机器人导航方法
WO2019057179A1 (zh) * 2017-09-22 2019-03-28 华为技术有限公司 一种基于点线特征的视觉slam方法和装置
CN109726675A (zh) * 2018-12-28 2019-05-07 芜湖哈特机器人产业技术研究院有限公司 一种基于k中心算法的移动机器人slam闭环检测方法
CN109902619A (zh) * 2019-02-26 2019-06-18 上海大学 图像闭环检测方法及系统
WO2019136612A1 (zh) * 2018-01-09 2019-07-18 深圳市沃特沃德股份有限公司 基于距离度量的视觉词典闭环检测方法与装置
CN110443263A (zh) * 2018-05-02 2019-11-12 北京京东尚科信息技术有限公司 闭环检测方法和装置
CN110570465A (zh) * 2018-06-05 2019-12-13 杭州海康机器人技术有限公司 实时定位与地图构建方法、装置及计算机可读存储介质
CN111242027A (zh) * 2020-01-13 2020-06-05 北京工业大学 一种融合语义信息的无监督学习场景特征快速提取方法
CN111461141A (zh) * 2020-03-30 2020-07-28 歌尔科技有限公司 一种设备位姿计算方法装置及设备
CN112070122A (zh) * 2020-08-14 2020-12-11 五邑大学 一种slam地图的分类方法、装置及存储介质
WO2021017072A1 (zh) * 2019-08-01 2021-02-04 深圳市银星智能科技股份有限公司 基于激光雷达的 slam 闭环检测方法及检测系统
CN113326716A (zh) * 2020-02-28 2021-08-31 北京创奇视界科技有限公司 面向装配现场环境装配指导ar应用定位的回环检测方法
CN114445410A (zh) * 2022-04-11 2022-05-06 武汉飞恩微电子有限公司 基于图像识别的电路板检测方法、计算机及可读存储介质
CN117409388A (zh) * 2023-12-11 2024-01-16 天津中德应用技术大学 一种改进词袋模型的智能汽车视觉slam闭环检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708380A (zh) * 2012-05-08 2012-10-03 东南大学 一种基于机器视觉的室内一般物体识别方法
US20130070108A1 (en) * 2010-03-26 2013-03-21 Maarten Aerts Method and arrangement for multi-camera calibration
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130070108A1 (en) * 2010-03-26 2013-03-21 Maarten Aerts Method and arrangement for multi-camera calibration
CN102708380A (zh) * 2012-05-08 2012-10-03 东南大学 一种基于机器视觉的室内一般物体识别方法
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
董海霞 等: "视觉SLAM中闭环检测算法的研究", 《微型机与应用》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107529650A (zh) * 2017-08-16 2018-01-02 广州视源电子科技股份有限公司 网络模型的构建和闭环检测方法、相应装置及计算机设备
WO2019057179A1 (zh) * 2017-09-22 2019-03-28 华为技术有限公司 一种基于点线特征的视觉slam方法和装置
US11270148B2 (en) 2017-09-22 2022-03-08 Huawei Technologies Co., Ltd. Visual SLAM method and apparatus based on point and line features
CN108090958A (zh) * 2017-12-06 2018-05-29 上海阅面网络科技有限公司 一种机器人同步定位和地图构建方法和系统
CN108090958B (zh) * 2017-12-06 2021-08-27 上海阅面网络科技有限公司 一种机器人同步定位和地图构建方法和系统
CN108108716A (zh) * 2017-12-29 2018-06-01 中国电子科技集团公司信息科学研究院 一种基于深度信念网络的回环检测方法
WO2019136612A1 (zh) * 2018-01-09 2019-07-18 深圳市沃特沃德股份有限公司 基于距离度量的视觉词典闭环检测方法与装置
CN110443263A (zh) * 2018-05-02 2019-11-12 北京京东尚科信息技术有限公司 闭环检测方法和装置
CN110570465B (zh) * 2018-06-05 2022-05-20 杭州海康机器人技术有限公司 实时定位与地图构建方法、装置及计算机可读存储介质
CN110570465A (zh) * 2018-06-05 2019-12-13 杭州海康机器人技术有限公司 实时定位与地图构建方法、装置及计算机可读存储介质
CN109272021A (zh) * 2018-08-22 2019-01-25 广东工业大学 一种基于宽度学习的智能移动机器人导航方法
CN109272021B (zh) * 2018-08-22 2022-03-04 广东工业大学 一种基于宽度学习的智能移动机器人导航方法
CN109726675A (zh) * 2018-12-28 2019-05-07 芜湖哈特机器人产业技术研究院有限公司 一种基于k中心算法的移动机器人slam闭环检测方法
CN109902619A (zh) * 2019-02-26 2019-06-18 上海大学 图像闭环检测方法及系统
WO2021017072A1 (zh) * 2019-08-01 2021-02-04 深圳市银星智能科技股份有限公司 基于激光雷达的 slam 闭环检测方法及检测系统
CN111242027A (zh) * 2020-01-13 2020-06-05 北京工业大学 一种融合语义信息的无监督学习场景特征快速提取方法
CN111242027B (zh) * 2020-01-13 2023-04-14 北京工业大学 一种融合语义信息的无监督学习场景特征快速提取方法
CN113326716A (zh) * 2020-02-28 2021-08-31 北京创奇视界科技有限公司 面向装配现场环境装配指导ar应用定位的回环检测方法
CN113326716B (zh) * 2020-02-28 2024-03-01 北京创奇视界科技有限公司 面向装配现场环境装配指导ar应用定位的回环检测方法
CN111461141A (zh) * 2020-03-30 2020-07-28 歌尔科技有限公司 一种设备位姿计算方法装置及设备
CN111461141B (zh) * 2020-03-30 2023-08-29 歌尔科技有限公司 一种设备位姿计算方法装置及设备
CN112070122A (zh) * 2020-08-14 2020-12-11 五邑大学 一种slam地图的分类方法、装置及存储介质
CN112070122B (zh) * 2020-08-14 2023-10-17 五邑大学 一种slam地图的分类方法、装置及存储介质
CN114445410A (zh) * 2022-04-11 2022-05-06 武汉飞恩微电子有限公司 基于图像识别的电路板检测方法、计算机及可读存储介质
CN117409388A (zh) * 2023-12-11 2024-01-16 天津中德应用技术大学 一种改进词袋模型的智能汽车视觉slam闭环检测方法

Also Published As

Publication number Publication date
CN106897666B (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN106897666A (zh) 一种室内场景识别的闭环检测方法
US20220415027A1 (en) Method for re-recognizing object image based on multi-feature information capture and correlation analysis
Murillo et al. Surf features for efficient robot localization with omnidirectional images
US8798357B2 (en) Image-based localization
CN108596010B (zh) 行人重识别系统的实现方法
CN111582062B (zh) 一种基于YOLOv3的目标跟踪中的重检测方法
Zhang et al. Distractor-aware fast tracking via dynamic convolutions and mot philosophy
Tran et al. On-device scalable image-based localization via prioritized cascade search and fast one-many ransac
Stumm et al. Location graphs for visual place recognition
US20220292698A1 (en) Network and System for Pose and Size Estimation
CN109447170A (zh) 移动机器人同步定位与地图构建系统的字典优化方法
CN110008844A (zh) 一种融合slic算法的kcf长期手势跟踪方法
Xie et al. Mutual-assistance learning for object detection
Kansizoglou et al. Haseparator: Hyperplane-assisted softmax
Xie et al. Hierarchical forest based fast online loop closure for low-latency consistent visual-inertial SLAM
Wang et al. Diversity measurement-based meta-learning for few-shot object detection of remote sensing images
CN116630662A (zh) 一种应用于视觉slam的特征点误匹配剔除方法
Zhu et al. Global and local geometric constrained feature matching for high resolution remote sensing images
CN114067128A (zh) 一种基于语义特征的slam回环检测方法
Ahmad et al. A fusion of labeled-grid shape descriptors with weighted ranking algorithm for shapes recognition
Lai et al. Accelerated guided sampling for multistructure model fitting
Zhang et al. Hierarchical Image Retrieval Method Based on Bag-of-Visual-Word and Eight-point Algorithm with Feature Clouds for Visual Indoor Positioning
CN107146244B (zh) 基于pbil算法的图像配准方法
Sidnev et al. Efficient grouping for keypoint detection
Lim et al. Fast shape matching using statistical features of shape contexts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant