CN114529807B - 点线面特征融合的回环检测方法、装置、设备和存储介质 - Google Patents

点线面特征融合的回环检测方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114529807B
CN114529807B CN202210174645.1A CN202210174645A CN114529807B CN 114529807 B CN114529807 B CN 114529807B CN 202210174645 A CN202210174645 A CN 202210174645A CN 114529807 B CN114529807 B CN 114529807B
Authority
CN
China
Prior art keywords
plane
line
feature
point
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210174645.1A
Other languages
English (en)
Other versions
CN114529807A (zh
Inventor
鲁仁全
雷群楼
陶杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202210174645.1A priority Critical patent/CN114529807B/zh
Publication of CN114529807A publication Critical patent/CN114529807A/zh
Application granted granted Critical
Publication of CN114529807B publication Critical patent/CN114529807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出点线面特征融合的回环检测方法、装置、设备和存储介质，其中点线面特征融合的回环检测方法，包括：对大量图片进行训练，构建词袋模型，在回环检测中，获取当前帧与所有参考帧在词袋模型中的综合相似度，获取第一参考帧的数量，获取第一参考帧和当前帧中数量最多的旋转角度作为图片的旋转角度φi；对第一参考帧和当前帧的进行旋转，获取线特征；获取的线特征进入角度过滤器进行过滤；采用深度图构建平面参数空间，对获取得到平面‑直线关联图；获取综合得分最高的第一参考帧作为成功回环的帧，本发明针对室内环境中，通过点线面等多种特征，提高了回环的稳定性以及鲁棒性。可克服UWB等室内定位系统不稳定的情况。

Description

点线面特征融合的回环检测方法、装置、设备和存储介质
技术领域
本发明涉及图像识别技术领域，特别是点线面特征融合的回环检测方法、装置、设备和存储介质。
背景技术
在自动驾驶、无人驾驶、自主移动机器人等领域中，建图与定位技术是关键技术之一，而回环检测在建图与定位技术中重要的一步。比如视觉定位系统中ORB-SLAM中就运用了回环技术。在视觉定位系统中，回环检测时可有效的提升视觉建图和定位的效果，减少数据漂移和偏差，但若是回环出现了问题，将导致更大的误差。
现有的回环检测方案中主要时通过词袋模型进行回环检测，词袋模型中主要是针对点特征、线特征或者是点线特征。特别是在室内进行视觉定位时，由于室内小场景下图像采集位置受限，点特征、线特征或者是点线特征的获取受阻，从而影响检测的技术精度，最终影响定位和建图的效果。
发明内容
针对上述缺陷，本发明的目的在于提出点线面特征融合的回环检测方法、装置、设备和存储介质，能够对室内弱纹理等情况可有效的进行回环，为后续的后端优化提供更准确的信息，从而提高整个ORB-SLAM定位精度。
为达此目的，本发明采用以下技术方案：点线面特征融合的回环检测方法，包括以下步骤：
步骤S1：对大量图片进行训练，获取图片中的角点的BRIEF描述子和线特征LBD描述子，构建词袋模型，其中词袋模型包括点特征词袋模型与线特征词袋模型；
步骤S2：在回环检测中，获取当前帧与所有参考帧在词袋模型中的综合相似度，获取第一参考帧的数量，其中第一参考帧为综合相似度满足相似度阈值的参考帧，判断第一参考帧数量是否满足数量阈值，若满足则执行步骤S3；
步骤S3：对第一参考帧和当前帧进行点特征的提取ORB特征点，计算每个 FAST角点的旋转角度，统计旋转角度，获取数量最多的旋转角度作为图片的旋转角度φi；
步骤S4：对第一参考帧和当前帧进行旋转，其旋转角度为φi，获取LBD描述子；
对当前帧和N个第一参考帧进行线特征的匹配，获取线特征；
获取的线特征进入角度过滤器进行过滤；
步骤S5：采用深度图构建平面参数空间，将笛卡尔空间上的点映射到平面参数空间获取当前帧和N个第一参考帧的面特征；
步骤S6：对面特征与线特征进行关联构建，获取得到平面-直线关联图；
步骤S7：对平面-直线关联图进行特征匹配，获取综合得分最高的第一参考帧作为成功回环的帧。
优选的，所述步骤S1中构建词袋模型的具体方法如下：
步骤S11：在大量图片样本中随机选取n个点；
步骤S12：分别计算每一种特征与n个点的欧式距离，并选取欧式距离最小的点作为该种特征的类；
步骤S13：收集该特征的所有的类，获取该特征所有的类的均值位置作为该类的中心点；
步骤S14：重复步骤S12～13，获取所有特征的类以及该类的中心点；
步骤S15：设置节点权重，计算所有类的直径权重Wdistance以及所有类的直径Ddistance；
步骤S16：构建k-d树，其中k取n，d取8，构建出词袋模型；
其中步骤S15中类的直径权重Wdistance与直径Ddistanc。的计算方法如下：
在每个类中选取出选择权重值最大的前四个节点w1，w2，w3和w4，4个节点的权重值分别：η1，η2，η3以及η4，4个节点的在图像上对应的像素坐标分别为：(x1，y1)，(x2，y2)，(x3，y3)以及(x4，y4)；
其中
Figure GDA0003728170260000031
Figure GDA0003728170260000032
其中词袋模型的组合为：
Bag-of-words＝(w1，η1)，(w2，η2)，.....(wn，ηn)，(Wdistance，Ddistance)，其中wn为第n个节点，其中ηn＝IDFn*TFn，IDFi为第n个节点的逆文本频率指数，TFn为第n个节点词频。
优选的，所述步骤S2中，获取当前帧与所有参考帧在词袋模型中的相似度的具体方法如下：使用L1范数分别计算当前帧与参考帧之间点特征、线特征相似性分数，其中点特征的相似度计算公式如下：
Figure GDA0003728170260000033
和
Figure GDA0003728170260000034
分别表示当前帧与参考帧的点特征的词袋向量；
线特征的相似度计算如下：
Figure GDA0003728170260000035
和
Figure GDA0003728170260000036
分别表示当前帧与参考帧的线特征的词袋向量；
其中综合相似度的计算公式如下：
S＝γSL+(1-γ)SP，其中γ为设置的线特征所占的权重。
优选的，所述步骤S3中：
统计旋转角度，获取数量最多的旋转角度作为图片的旋转角φi的具体步骤如下：以10度为一个区间，统计出旋转角度数量最多的角度以及该角度落在的区间，选取该区间的中间角度数作为图片的旋转角度φi。
优选的，所述步骤S4中的角度过滤器过滤方法如下：
步骤S41：计算当前帧的线特征以及第一参考帧的线特征相对于图片的坐标原点之间的角度。
步骤S42：将360度平均划分为36份，并编号1-36号，第一参考帧的线特征和当前帧的线特征相对于图片的坐标原点之间的夹角角度匹配到对应的编号中；
步骤S43：统计第一参考帧中存在有最多线特征的编号，并标记为筛选编号，剔除当前帧中非筛选标号的线特征。
优选的，步骤S5的具体步骤如下：
步骤S51：将笛卡尔空间上的点映射到平面参数空间，其中映射的公式如下：
Figure GDA0003728170260000041
其中(θPPS，
Figure GDA0003728170260000042
dPPS)为平面参数空间的三个轴，(nx，ny，nz)为笛卡尔空间下平面法向量，d为相机坐标系原点到平面的距离；
步骤S52：使用基于STING的平面提取算法对第一参考帧与当前帧的深度图进行平面特征提取，提取的平面可表示为π＝[nT，d]T，其中
Figure GDA0003728170260000043
表示平面的单位法向量。
优选的，所述步骤S6中平面-直线关联图的关联包括平面及平面之间的边的几何关系和平面及直线之间的几何关系，其中关系具体如下：
平面及平面之间的边的几何关系如下：
Figure GDA0003728170260000051
其中
Figure GDA0003728170260000052
Figure GDA0003728170260000053
表示两个平面法向量之间的夹角；
Figure GDA0003728170260000054
其中ω表示两平面是否平行，
Figure GDA0003728170260000055
表示i，j两平面法向量之间的夹角，ni表示i平面的法向量，nj表示j平面的法向量，
Figure GDA0003728170260000056
表示i，j两平面之间的距离， di为相机坐标系原点到i平面的距离，dj为相机坐标系原点到j平面的距离；
平面及直线之间的几何关系如下：
Figure GDA0003728170260000057
其中
Figure GDA0003728170260000058
Figure GDA0003728170260000059
表示直线vi与平面法向量nj之间的夹角；
Figure GDA00037281702600000510
其中I表示直线和平面的平行关系，
Figure GDA00037281702600000511
表示直线vi与j平面的距离。
点线面特征融合的回环检测装置，使用上述点线面特征融合的回环检测方法，其特征在于，包括训练模块、选择模块、旋转角度提取模块、线特征过滤模块、面特征提取模块、平面-直线关联模块以及匹配模块；
所述训练模块用于对大量图片进行训练，获取图片中的角点的BRIEF描述子和线特征LBD描述子，构建词袋模型；
所述选择模块用于在回环检测中，获取当前帧与所有参考帧在词袋模型中的综合相似度，获取第一参考帧的数量，其中第一参考帧为综合相似度满足相似度阈值的参考帧数，判断第一参考帧数量是否满足数量阈值；
所述旋转角度提取模块用于对第一参考帧和当前帧进行点特征的提取ORB 特征点，计算每个FAST角点的旋转角度，统计旋转角度，获取数量最多的旋转角度作为图片的旋转角φi；
线特征过滤模块用于对第一参考帧和当前帧进行旋转，其旋转角度为φi，获取LBD描述子；
对当前帧和N个第一参考帧进行线特征的匹配，获取线特征；
获取的线特征进入角度过滤器进行过滤；
面特征提取模块用于采用深度图构建平面参数空间，将笛卡尔空间上的点映射到平面参数空间获取当前帧和N个第一参考帧的面特征；
平面-直线关联模块用于对面特征与线特征进行关联构建，获取得到平面- 直线关联图；
匹配模块用于对平面-直线关联图进行特征匹配，获取综合得分最高的参考帧作为成功回环的帧。
一种设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现上述点线面特征融合的回环检测方法。
一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述点线面特征融合的回环检测方法。
上述技术方案中的一个技术方案具有如下优点或有益效果：
1.本发明针对室内环境中，通过点线面等多种特征，提高了回环的稳定性以及鲁棒性。可克服UWB等室内定位系统不稳定的情况。
2.本发明相比于原始的词袋模型中有误差的情况，本文采用了改进型的词袋模型，针对室内环境，构建点特征词袋模型和线特征词袋模型提高匹配的准确率以及精度。
附图说明
图1是本发明的一个实施例中方法的流程。
图2是本发明的一个实施例中装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
如图1～2所示，点线面特征融合的回环检测方法，包括以下步骤：
步骤S1：对大量图片进行训练，获取图片中的角点的BRIEF描述子和线特征LBD描述子，构建词袋模型，其中词袋模型包括点特征词袋模型与线特征词袋模型；
其中可通过角点的BRIEF描述子和线特征LBD描述子分别构建点特征词袋模型与线特征词袋模型；
步骤S2：在回环检测中，获取当前帧与所有参考帧在词袋模型中的综合相似度，获取第一参考帧的数量，其中第一参考帧为综合相似度满足相似度阈值的参考帧，判断第一参考帧数量是否满足数量阈值，若满足则执行步骤S3；
在本申请的一个实施例中数量阈值为10，当第一参考帧的数量满足数量阈值时，说明在回环时能够有足够的数据进行支撑，能够有效的进行回环。
步骤S3：对第一参考帧和当前帧进行点特征的提取ORB特征点，计算每个FAST角点的旋转角度，统计旋转角度，获取数量最多的旋转角度作为图片的旋转角度φi；
步骤S4：对第一参考帧和当前帧进行旋转，其旋转角度为φi，获取LBD描述子；
在本申请中还会对第一参考帧和当前帧进行旋转处理，其目的是为了满足图像匹配中的旋转不变性，提高第一参考帧和当前帧匹配的成功率。
对当前帧和N个第一参考帧进行线特征的匹配，获取线特征；
获取线特征的方法为将第一参考帧的图像以及当前帧的图像放入至线特征词袋模型内，所述线特征词袋模型就会获取图像中的线特征。
获取的线特征进入角度过滤器进行过滤；
步骤S5：采用深度图构建平面参数空间，将笛卡尔空间上的点映射到平面参数空间获取当前帧和N个第一参考帧的面特征；
步骤S6：对面特征与线特征进行关联构建，获取得到平面-直线关联图；
步骤S7：对平面-直线关联图进行特征匹配，获取综合得分最高的第一参考帧作为成功回环的帧。
其中综合得分为平面相似度与直线相似度之和，其中平面相似度计算的理论公式为：
Figure GDA0003728170260000091
直线相似度的计算的理论公式为：
Figure GDA0003728170260000092
其中Oπfh表示平面
Figure GDA0003728170260000093
在平面参数空间坐标的邻域空间Ω中，NQπfh表示Oπfh中平面对数目， Oπfh∈Oπ且
Figure GDA0003728170260000094
其中
Figure GDA0003728170260000095
表示第一参考帧平面和当前帧平面的颜色匹配结果。eπcfπcα表示平面
Figure GDA0003728170260000096
和平面
Figure GDA0003728170260000097
的边，
Figure GDA0003728170260000098
表示平面
Figure GDA0003728170260000099
和平面
Figure GDA00037281702600000910
的边，
Figure GDA00037281702600000911
eLcjπc和
Figure GDA00037281702600000912
表示直线与属于Oπ平面之间的关联结果。
在本申请中，先通过词袋模型获取参考帧与当前帧的线特征与点特征，参考帧与当前帧的线特征和点特征进行一个相似度的匹配，获取综合相似度满足相似度阈值的第一参考帧，并获取第一参考帧的数量，判断其是否满足数量阈值，只有满足数量阈值后才会选择回环所采用的第一参考帧。随后本申请的方法还利用了点特征的旋转角度，通过统计，获得图片的旋转角度φi，对第一参考帧与当前帧的图像进行旋转，在提高了图片旋转不变性的同时也提升了回环的鲁棒性。随后获取第一参考帧与当前帧的线特征，获取后的线特征会经过角度过滤器进行筛选，减少误匹配线特征的数量，有效的提高了线特征的匹配的精确度。最后构建平面-直线关联图，通过平面-直线关联图获取到两个图像(即第一参考帧与当前帧)之间直线与平面之间的关系值，在通过该关系值计算特征的综合得分，将综合得分最高的第一参考帧作为成功回环的帧。本发明针对室内环境中，通过点线面等多种特征，提高了回环的稳定性以及鲁棒性。可克服 UWB等室内定位系统不稳定的情况。
优选的，所述步骤S1中构建词袋模型的具体方法如下：
步骤S11：在大量图片样本中随机选取n个点；
步骤S12：分别计算每一种特征与n个点的欧式距离，并选取欧式距离最小的点作为该种特征的类；
步骤S13：收集该特征的所有的类，获取该特征所有的类的均值位置作为该类的中心点；
步骤S14：重复步骤S12～13，获取所有特征的类以及该类的中心点；
步骤S15：设置节点权重，计算所有类的直径权重Wdistance以及所有类的直径Daistance；
步骤S16：构建k-d树，其中k取n，d取8，构建出词袋模型；
其中步骤S15中类的直径权重Wdistance与直径Ddistance的计算方法如下：
在每个类中选取出选择权重值最大的前四个节点w1，w2，w3和w4，4个节点的权重值分别：η1，η2，η3以及η4，4个节点的在图像上对应的像素坐标分别为：(x1，y1)，(x2，y2)，(x3，y3)以及(x4，y4)；
其中
Figure GDA0003728170260000101
Figure GDA0003728170260000111
其中词袋模型的组合为：
Bag-of-words＝(w1，η1)，(w2，η2)，.....(wn，ηn)，(Wdistance，Ddistance)，其中wn为第n个节点，其中ηn＝IDFn*TFn，IDFi为第n个节点的逆文本频率指数，TFn为第n个节点词频。
其中构建词袋模型过程为词袋模型的训练过程，在当训练的词袋模型为点特征词袋模型，此时步骤S12～步骤S13中的特征为点特征，在当训练的词袋模型为线特征词袋模型，此时步骤S12～步骤S13中的特征对应为线特征。本申请中对词袋模型进行了改进在原本词袋模型的基础上增加了直径权重的要素，提高了比对的精度。
优选的，所述步骤S2中，获取当前帧与所有参考帧在词袋模型中的相似度的具体方法如下：使用L1范数分别计算当前帧与参考帧之间点特征、线特征相似性分数，其中点特征的相似度计算公式如下：
Figure GDA0003728170260000112
和
Figure GDA0003728170260000113
分别表示当前帧与参考帧的点特征的词袋向量；
线特征的相似度计算如下：
Figure GDA0003728170260000114
和
Figure GDA0003728170260000115
分别表示当前帧与参考帧的线特征的词袋向量；
其中综合相似度的计算公式如下：
S＝γSL+(1-γ)SP，其中γ为设置的线特征所占的权重。
优选的，所述步骤S3中：
统计旋转角度，获取数量最多的旋转角度作为图片的旋转角φi的具体步骤如下：以10度为一个区间，统计出旋转角度数量最多的角度以及该角度落在的区间，选取该区间的中间角度数作为图片的旋转角度φi。
例如[50-60]这个区间的数量最多，那么该图片的旋转角度就为55度。设获得的图片的旋转角度为φi。
优选的，所述步骤S4中的角度过滤器过滤方法如下：
步骤S41：计算当前帧的线特征以及第一参考帧的线特征相对于图片的坐标原点之间的角度。
步骤S42：将360度平均划分为36份，并编号1-36号，第一参考帧的线特征和当前帧的线特征相对于图片的坐标原点之间的夹角角度匹配到对应的编号中；
步骤S43：统计第一参考帧中存在有最多线特征的编号，并标记为筛选编号，剔除当前帧中非筛选标号的线特征。
本发明相对于线特征匹配有误的情况，增加了线特征角度过滤器模块，可线特征的精度，提高回环准确率。
优选的，步骤S5的具体步骤如下：
步骤S51：将笛卡尔空间上的点映射到平面参数空间，其中映射的公式如下：
Figure GDA0003728170260000121
其中(θPPS，
Figure GDA0003728170260000122
dPPS)为平面参数空间的三个轴，(nx，ny，nz)为笛卡尔空间下平面法向量，d为相机坐标系原点到平面的距离；
步骤S52：使用基于STING的平面提取算法对第一参考帧与当前帧的深度图进行平面特征提取，提取的平面可表示为π＝[nT，d]T，其中
Figure GDA0003728170260000123
表示平面的单位法向量。
优选的，所述步骤S6中平面-直线关联图的关联包括平面及平面之间的边的几何关系和平面及直线之间的几何关系，其中关系具体如下：
平面及平面之间的边的几何关系如下：
Figure GDA0003728170260000131
其中
Figure GDA0003728170260000132
Figure GDA0003728170260000133
表示两个平面法向量之间的夹角；
Figure GDA0003728170260000134
其中ω表示两平面是否平行，
Figure GDA0003728170260000135
表示i，j两平面法向量之间的夹角，ni表示i平面的法向量，nj表示j平面的法向量，
Figure GDA0003728170260000136
表示i，j两平面之间的距离， di为相机坐标系原点到i平面的距离，dj为相机坐标系原点到j平面的距离；
平面及直线之间的几何关系如下：
Figure GDA0003728170260000137
其中
Figure GDA0003728170260000138
Figure GDA0003728170260000139
表示直线vi与平面法向量nj之间的夹角；
Figure GDA00037281702600001310
其中I表示直线和平面的平行关系，
Figure GDA00037281702600001311
表示直线vi与j平面的距离。
点线面特征融合的回环检测装置，使用上述点线面特征融合的回环检测方法，其特征在于，包括训练模块、选择模块、旋转角度提取模块、线特征过滤模块、面特征提取模块、平面-直线关联模块以及匹配模块；
所述训练模块用于对大量图片进行训练，获取图片中的角点的BRIEF描述子和线特征LBD描述子，构建词袋模型；
所述选择模块用于在回环检测中，获取当前帧与所有参考帧在词袋模型中的综合相似度，获取第一参考帧的数量，其中第一参考帧为综合相似度满足相似度阈值的参考帧数，判断第一参考帧数量是否满足数量阈值；
所述旋转角度提取模块用于对第一参考帧和当前帧进行点特征的提取ORB 特征点，计算每个FAST角点的旋转角度，统计旋转角度，获取数量最多的旋转角度作为图片的旋转角φi；
线特征过滤模块用于对第一参考帧和当前帧进行旋转，其旋转角度为φi，获取LBD描述子；
对当前帧和N个第一参考帧进行线特征的匹配，获取线特征；
获取的线特征进入角度过滤器进行过滤；
面特征提取模块用于采用深度图构建平面参数空间，将笛卡尔空间上的点映射到平面参数空间获取当前帧和N个第一参考帧的面特征；
平面-直线关联模块用于对面特征与线特征进行关联构建，获取得到平面- 直线关联图；
匹配模块用于对平面-直线关联图进行特征匹配，获取综合得分最高的参考帧作为成功回环的帧。
一种设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现上述点线面特征融合的回环检测方法。
一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述点线面特征融合的回环检测方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (9)

1.点线面特征融合的回环检测方法，其特征在于，包括以下步骤：
步骤S1：对大量图片进行训练，获取图片中的角点的BRIEF描述子和线特征LBD描述子，构建词袋模型，其中词袋模型包括点特征词袋模型与线特征词袋模型；
步骤S2：在回环检测中，获取当前帧与所有参考帧在词袋模型中的综合相似度，获取第一参考帧的数量，其中第一参考帧为综合相似度满足相似度阈值的参考帧，判断第一参考帧数量是否满足数量阈值，若满足则执行步骤S3；
步骤S3：对第一参考帧和当前帧进行点特征的提取ORB特征点，计算每个FAST角点的旋转角度，统计旋转角度，获取数量最多的旋转角度作为图片的旋转角度φi；
步骤S4：对第一参考帧和当前帧进行旋转，其旋转角度为φi，获取LBD描述子；
对当前帧和N个第一参考帧进行线特征的匹配，获取线特征；
获取的线特征进入角度过滤器进行过滤；
步骤S5：采用深度图构建平面参数空间，将笛卡尔空间上的点映射到平面参数空间获取当前帧和N个第一参考帧的面特征；
步骤S6：对面特征与线特征进行关联构建，获取得到平面-直线关联图；
所述步骤S6中平面-直线关联图的关联包括平面及平面之间的边的几何关系和平面及直线之间的几何关系，其中关系具体如下：
平面及平面之间的边的几何关系如下：
Figure FDA0003728170250000011
其中
Figure FDA0003728170250000012
Figure FDA0003728170250000021
表示两个平面法向量之间的夹角；
Figure FDA0003728170250000022
其中ω表示两平面是否平行，
Figure FDA0003728170250000023
表示i，j两平面法向量之间的夹角，ni表示i平面的法向量，nj表示j平面的法向量，
Figure FDA0003728170250000024
表示i，j两平面之间的距离，di为相机坐标系原点到i平面的距离，dj为相机坐标系原点到j平面的距离；
平面及直线之间的几何关系如下：
Figure FDA0003728170250000025
其中
Figure FDA0003728170250000026
Figure FDA0003728170250000027
表示直线vi与平面法向量nj之间的夹角；
Figure FDA0003728170250000028
其中I表示直线和平面的平行关系，
Figure FDA0003728170250000029
表示直线vi与j平面的距离；
步骤S7：对平面-直线关联图进行特征匹配，获取综合得分最高的第一参考帧作为成功回环的帧，其中综合得分为平面相似度与直线相似度之和，其中平面相似度计算的理论公式为：
Figure FDA00037281702500000210
直线相似度的计算的理论公式为：
Figure FDA00037281702500000211
其中Oπfh表示平面
Figure FDA00037281702500000212
在平面参数空间坐标的邻域空间Ω中，NQπfh表示Oπfh中平面对数目，Oπfh∈Oπ且
Figure FDA00037281702500000213
其中
Figure FDA00037281702500000214
表示第一参考帧平面和当前帧平面的颜色匹配结果；eπcfπca表示平面
Figure FDA0003728170250000031
和平面
Figure FDA0003728170250000032
的边，
Figure FDA0003728170250000033
表示平面
Figure FDA0003728170250000034
和平面
Figure FDA0003728170250000035
的边，
Figure FDA0003728170250000036
eLcjπc和
Figure FDA0003728170250000037
表示直线与属于Oπ平面之间的关联结果。
2.根据权利要求1所述的点线面特征融合的回环检测方法，其特征在于，所述步骤S1中构建词袋模型的具体方法如下：
步骤S11：在大量图片样本中随机选取n个点；
步骤S12：分别计算每一种特征与n个点的欧式距离，并选取欧式距离最小的点作为该种特征的类；
步骤S13：收集该特征的所有的类，获取该特征所有的类的均值位置作为该类的中心点；
步骤S14：重复步骤S12～13，获取所有特征的类以及该类的中心点；
步骤S15：设置节点权重，计算所有类的直径权重Wdistance以及所有类的直径Ddistance；
步骤S16：构建k-d树，其中k取n，d取8，构建出词袋模型；
其中步骤S15中类的直径权重Wdistance与直径Ddistance的计算方法如下：
在每个类中选取出选择权重值最大的前四个节点w1，w2，w3和w4，4个节点的权重值分别：η1，η2，η3以及η4，4个节点的在图像上对应的像素坐标分别为：(x1，y1)，(x2，y2)，(x3，y3)以及(x4，y4)；
其中
Figure FDA0003728170250000038
Figure FDA0003728170250000039
其中词袋模型的组合为：
Bag-of-words＝(w1，η1)，(w2，η2)，.....(wn，ηn)，(Wdistance，Ddistance)，其中wn为第n个节点，其中ηn＝IDFn*TFn，IDFi为第n个节点的逆文本频率指数，TFn为第n个节点词频。
3.根据权利要求1所述的点线面特征融合的回环检测方法，其特征在于，所述步骤S2中，获取当前帧与所有参考帧在词袋模型中的相似度的具体方法如下：使用L1范数分别计算当前帧与参考帧之间点特征、线特征相似性分数，其中点特征的相似度计算公式如下：
Figure FDA0003728170250000041
Figure FDA0003728170250000042
和
Figure FDA0003728170250000043
分别表示当前帧与参考帧的点特征的词袋向量；
线特征的相似度计算如下：
Figure FDA0003728170250000044
Figure FDA0003728170250000045
和
Figure FDA0003728170250000046
分别表示当前帧与参考帧的线特征的词袋向量；
其中综合相似度的计算公式如下：
S＝γSL+(1-γ)SP，其中γ为设置的线特征所占的权重。
4.根据权利要求1所述的点线面特征融合的回环检测方法，其特征在于，所述步骤S3中：
统计旋转角度，获取数量最多的旋转角度作为图片的旋转角φi的具体步骤如下：以10度为一个区间，统计出旋转角度数量最多的角度以及该角度落在的区间，选取该区间的中间角度数作为图片的旋转角度φi。
5.根据权利要求1所述的点线面特征融合的回环检测方法，其特征在于，所述步骤S4中的角度过滤器过滤方法如下：
步骤S41：计算当前帧的线特征以及第一参考帧的线特征相对于图片的坐标原点之间的角度；
步骤S42：将360度平均划分为36份，并编号1-36号，第一参考帧的线特征和当前帧的线特征相对于图片的坐标原点之间的夹角角度匹配到对应的编号中；
步骤S43：统计第一参考帧中存在有最多线特征的编号，并标记为筛选编号，剔除当前帧中非筛选标号的线特征。
6.根据权利要求1所述的点线面特征融合的回环检测方法，其特征在于，步骤S5的具体步骤如下：
步骤S51：将笛卡尔空间上的点映射到平面参数空间，其中映射的公式如下：
Figure FDA0003728170250000051
其中
Figure FDA0003728170250000052
为平面参数空间的三个轴，(nx，ny，nz)为笛卡尔空间下平面法向量，d为相机坐标系原点到平面的距离；
步骤S52：使用基于STING的平面提取算法对第一参考帧与当前帧的深度图进行平面特征提取，提取的平面可表示为π＝[nT，d]T，其中
Figure FDA0003728170250000053
表示平面的单位法向量。
7.点线面特征融合的回环检测装置，使用权利要求1～6任一项所述点线面特征融合的回环检测方法，其特征在于，包括训练模块、选择模块、旋转角度提取模块、线特征过滤模块、面特征提取模块、平面-直线关联模块以及匹配模块；
所述训练模块用于对大量图片进行训练，获取图片中的角点的BRIEF描述子和线特征LBD描述子，构建词袋模型；
所述选择模块用于在回环检测中，获取当前帧与所有参考帧在词袋模型中的综合相似度，获取第一参考帧的数量，其中第一参考帧为综合相似度满足相似度阈值的参考帧数，判断第一参考帧数量是否满足数量阈值；
所述旋转角度提取模块用于对第一参考帧和当前帧进行点特征的提取ORB特征点，计算每个FAST角点的旋转角度，统计旋转角度，获取数量最多的旋转角度作为图片的旋转角φi；
线特征过滤模块用于对第一参考帧和当前帧进行旋转，其旋转角度为φi，获取LBD描述子；
对当前帧和N个第一参考帧进行线特征的匹配，获取线特征；
获取的线特征进入角度过滤器进行过滤；
面特征提取模块用于采用深度图构建平面参数空间，将笛卡尔空间上的点映射到平面参数空间获取当前帧和N个第一参考帧的面特征；
平面-直线关联模块用于对面特征与线特征进行关联构建，获取得到平面-直线关联图；
匹配模块用于对平面-直线关联图进行特征匹配，获取综合得分最高的参考帧作为成功回环的帧。
8.一种设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1～6任一所述的点线面特征融合的回环检测方法。
9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～6任一所述的点线面特征融合的回环检测方法。
CN202210174645.1A 2022-02-24 2022-02-24 点线面特征融合的回环检测方法、装置、设备和存储介质 Active CN114529807B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210174645.1A CN114529807B (zh) 2022-02-24 2022-02-24 点线面特征融合的回环检测方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210174645.1A CN114529807B (zh) 2022-02-24 2022-02-24 点线面特征融合的回环检测方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN114529807A CN114529807A (zh) 2022-05-24
CN114529807B true CN114529807B (zh) 2022-08-16

Family

ID=81625456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210174645.1A Active CN114529807B (zh) 2022-02-24 2022-02-24 点线面特征融合的回环检测方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114529807B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101988555B1 (ko) * 2017-12-05 2019-06-12 충북대학교 산학협력단 조명 불변 영상을 사용한 slam 시스템 및 점구름 지도 생성 방법
CN110472585A (zh) * 2019-08-16 2019-11-19 中南大学 一种基于惯导姿态轨迹信息辅助的vi-slam闭环检测方法
CN110853100A (zh) * 2019-10-24 2020-02-28 东南大学 一种基于改进点线特征的结构化场景视觉slam方法
CN113012212A (zh) * 2021-04-02 2021-06-22 西北农林科技大学 一种基于深度信息融合的室内场景三维点云重建方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861186B2 (en) * 2018-08-28 2020-12-08 Rpx Corporation Voting space-based loop closure detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101988555B1 (ko) * 2017-12-05 2019-06-12 충북대학교 산학협력단 조명 불변 영상을 사용한 slam 시스템 및 점구름 지도 생성 방법
CN110472585A (zh) * 2019-08-16 2019-11-19 中南大学 一种基于惯导姿态轨迹信息辅助的vi-slam闭环检测方法
CN110853100A (zh) * 2019-10-24 2020-02-28 东南大学 一种基于改进点线特征的结构化场景视觉slam方法
CN113012212A (zh) * 2021-04-02 2021-06-22 西北农林科技大学 一种基于深度信息融合的室内场景三维点云重建方法和系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Loop Detection and Correction of 3D Laser-Based SLAM with Visual Information;Zulun Zhu，Shaowu Yang，Huadong Dai，et.,al.;《CASA 2018: Proceedings of the 31st International Conference on Computer Animation and Social Agents》;20180521;第53-58页 *
Raúl Mur-Artal ; J. M. M. Montiel ; Juan D. Tardós,et.,al.ORB-SLAM: A Versatile and Accurate Monocular SLAM System.《 IEEE Transactions on Robotics》.2015,第1147-1163页. *
一种点线特征融合的双目同时定位与地图构建方法;蒋林等;《科学技术与工程》;20200428(第12期);第172-177页 *
基于改进型词袋模型的回环检测算法研究;汪泽睿;《中国优秀硕士学位论文全文数据库信息科技辑》;20210415;第1-70页 *
点面特征融合的室内视觉定位方法研究;曾攀;《中国优秀硕士学位论文全文数据库信息科技辑》;20220115;第1-100页 *

Also Published As

Publication number Publication date
CN114529807A (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN110555901B (zh) 动静态场景的定位和建图方法、装置、设备和存储介质
CN113012212B (zh) 一种基于深度信息融合的室内场景三维点云重建方法和系统
CN110966991B (zh) 一种无控制点下的单幅无人机影像定位方法
CN103426186B (zh) 一种改进的surf快速匹配方法
WO2021004416A1 (zh) 一种基于视觉信标建立信标地图的方法、装置
CN106909877A (zh) 一种基于点线综合特征的视觉同时建图与定位方法
CN107977656A (zh) 一种行人重识别方法及系统
CN102722887A (zh) 一种图像配准方法及装置
CN110490913A (zh) 基于角点与单线段编组的特征描述算子进行影像匹配方法
CN103955888A (zh) 一种基于sift的高清视频图像拼接方法及装置
Krajník et al. Image features and seasons revisited
CN113643365B (zh) 一种相机位姿估计方法、装置、设备以及可读存储介质
CN113947714B (zh) 一种视频监控和遥感的多模态协同优化方法及系统
CN113947766A (zh) 一种基于卷积神经网络的实时车牌检测方法
CN111192194A (zh) 一种针对幕墙建筑立面的全景图像拼接方法
Chen et al. Automatic checkerboard detection for robust camera calibration
CN115456870A (zh) 基于外参估计的多图像拼接方法
CN114529807B (zh) 点线面特征融合的回环检测方法、装置、设备和存储介质
CN114140794A (zh) 一种基于ocr的通用图像校正方法
CN114119437A (zh) 一种基于gms的用于改善运动物体畸变的图像拼接方法
CN113808269A (zh) 地图生成方法、定位方法、系统及计算机可读存储介质
Betge-Brezetz et al. Object-based modelling and localization in natural environments
WO2020197495A1 (en) Method and system for feature matching
CN113361400B (zh) 一种头部姿态估计方法、装置及存储介质
CN114140494A (zh) 复杂场景下单目标跟踪系统、方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant