CN117170501B - 基于点线融合特征的视觉跟踪方法 - Google Patents

基于点线融合特征的视觉跟踪方法 Download PDF

Info

Publication number
CN117170501B
CN117170501B CN202311075630.0A CN202311075630A CN117170501B CN 117170501 B CN117170501 B CN 117170501B CN 202311075630 A CN202311075630 A CN 202311075630A CN 117170501 B CN117170501 B CN 117170501B
Authority
CN
China
Prior art keywords
line
matching
point
feature
line segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311075630.0A
Other languages
English (en)
Other versions
CN117170501A (zh
Inventor
尚克军
李至
焦浩
李茜茜
明丽
王大元
赵亮
扈光锋
徐策
刘崇亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Automation Control Equipment Institute BACEI
Original Assignee
Beijing Automation Control Equipment Institute BACEI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Automation Control Equipment Institute BACEI filed Critical Beijing Automation Control Equipment Institute BACEI
Priority to CN202311075630.0A priority Critical patent/CN117170501B/zh
Publication of CN117170501A publication Critical patent/CN117170501A/zh
Application granted granted Critical
Publication of CN117170501B publication Critical patent/CN117170501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供一种基于点线融合特征的视觉跟踪方法，该视觉跟踪方法包括：提取点特征并完成点特征匹配；提取线特征；基于所提取的线特征，采用改进的线特征匹配方法，基于几何约束辅助描述子匹配完成特征匹配，并剔除误匹配，包括：初步建立线匹配集合；采用双向最近邻结合比例测试的方式，选取出最优匹配线段；基于筛选出的最优匹配线段，通过衡量其他线匹配对此线特征对应地图线的支持，进一步剔除误匹配；构造最小化重投影模型，根据所述点特征和线特征的匹配，获取相机位姿。该技术方案可以进一步提高城市场景的导航定位精度，为实现导航智能化提供必要的技术基础。

Description

基于点线融合特征的视觉跟踪方法
技术领域
本发明属于视觉导航技术领域，涉及一种基于点线融合特征的视觉跟踪方法。
背景技术
科技的发展逐渐向智能化水平前行，面向无人设备的自主导航技术逐渐成熟，卫星可以提供实时的位置，是通用的导航方式之一。在楼宇、巷道、室内等典型城市复杂环境中，卫星拒止条件成为常态，传统基于卫星的定位技术受到很多制约，GPS装备甚至无法正常工作。
随着视觉传感器技术、计算机技术和人工智能技术的迅速发展，基于计算机视觉的识别定位技术作为一种新的导航方式，视觉导航开始在自主导航领域占据一席之地。视觉传感器具有隐蔽性、轻便、低功耗和价格低廉等特点，因此利用视觉传感器进行导航具有很大的优势。
视觉导航在纹理丰富区域往往能实现良好的跟踪效果，达到较高的定位精度。但是基于点特征的方法在弱纹理环境下难以提取到足够的特征点或者特征点分布不均匀，跟踪定位精度大幅下降。因此开展地面环境下高精度、高鲁棒性的导航定位技术研究极为迫切。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明提供了一种基于点线融合特征的视觉跟踪方法。
本发明的技术解决方案如下：
根据一方面，提供一种基于点线融合特征的视觉跟踪方法，该视觉跟踪方法包括：
提取点特征并完成点特征匹配；
提取线特征；
基于所提取的线特征，采用改进的线特征匹配方法，基于几何约束辅助描述子匹配完成特征匹配，并剔除误匹配，包括：
初步建立线匹配集合；
采用双向最近邻结合比例测试的方式，选取出最优匹配线段；
基于筛选出的最优匹配线段，通过衡量其他线匹配对此线特征对应地图线的支持，进一步剔除误匹配；
构造最小化重投影模型，根据所述点特征和线特征的匹配，获取相机位姿。
进一步地，采用基于ORB的特征提取方法提取点特征，采用基于描述子的匹配方法完成点特征匹配。
进一步地，采用基于ORB的特征提取方法提取点特征时，将改进后的Fast角点作为特征点，所述特征点具备旋转不变性。
进一步地，采用基于描述子的匹配方法完成点特征匹配，具体包括：
对于每个特征点采用改进的BRIEF描述子，利用ORB-SLAM2中的匀速模型运动预估划定上一帧图像在当前帧图像的投影区域；
然后在投影区域中对比特征点对描述子的汉明距离，选取距离最小的特征点对为匹配点对；
提取前后帧图像的所有匹配点对，完成点特征匹配。
进一步地，采用参数优化的LSD线特征提取方法提取线特征，其中，所述LSD线特征提取方法中，设计s＝0.5,d＝0.6，其中，s为尺度参数，用于缩放各层金字塔图像，d为最小密度阈值，代表区域生长拟合矩形框内最少点的数量。
进一步地，所述LSD线特征提取方法还包括：
设置最短线长阈值其中WI和HI分别表示图像的宽和高，η为比例参数；
设计检测直线段的长度低于所述阈值时被过滤。
进一步地，采用双向最近邻结合比例测试的方式，选取出最优匹配线段，具体包括：
1)将第i关键帧的第m条检测直线段记作计算/>在第j关键帧上的最近邻线段特征/>和次优最近邻线段特征/>
2)进行比例测试，分别计算两个线段特征描述子的距离，并判断是否具备较大的差异，若则，判定具备较大的差异，将/>记为优选匹配线段，其中ρ为比例阈值，d代表两个特征描述子距离；
3)对步骤2)得到的优选匹配线段的进行最优距离筛选，判断是否满足Dmax为特征距离的上限，若满足，则将/>使记为/>的最优匹配线段；
4)按照步骤1)～3)方法筛选出所有最优线段匹配对。
进一步地，所述基于筛选出的最优匹配线段，通过衡量其他线匹配对此线特征对应地图线的支持，进一步剔除误匹配，具体包括：
对于任意筛选出的最优线匹配对经过三角化获得地图线记作/>
假设存在线匹配将/>投影至第k关键帧，得到投影直线段/>并衡量投影直线段/>与/>的相似度，若满足/>时，认为匹配/>对/>提供了支持；其中，函数S1()代表角度相似度，函数S2()代表位置相似性；/>为第k关键帧的的最优匹配线段；
设计线匹配对在5个关键帧之内至少具有2票支持才被认为是正确匹配，否则被视作误匹配而删除相应匹配对和地图线。
进一步地，通过下述方式设计函数S1()和函数S2()：
假设两条直线段l1和l2，其中，该两条直线段满足：
其中∠(l1,l2)表示直线段的角度差异，dmax(l1,l2)表示直线段端点到另一直线段所在直线的最大距离，σa和σp是设置的标准差。
进一步地，所述构造最小化重投影模型，根据所述点特征和线特征的匹配，获取相机位姿，具体包括：
构造特征点的最小化重投影误差模型；
构造线特征的最小化重投影误差模型；
联合任意第i个图像帧上面所有特征点和线特征的最小化重投影误差，迭代求解获取相机第i帧的位姿，实现视觉跟踪。
进一步地，通过下式迭代求解获取相机第i帧的位姿：
其中， 表示第i个关键帧特征点的最小化重投影误差，j表示地图点ID，该图像总共对应m个地图点，Xj为世界坐标系下三维地图点坐标，pij表示第i个关键图像帧上Xj对应的像素观测点，K代表相机内参矩阵，/>表示相机第i帧的位姿，rl表示线特征的最小化重投影，k代表第k对线匹配，该帧图像最多有n对线匹配。
根据另一方面，提供一种计算机设备，包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述视觉跟踪方法的步骤。
上述技术方案通过综合提取点、线特征实现匹配定位，一方面增加线特征，解决点特征过少难以定位的问题，并采用特定方法进行线特征的提取和匹配，大大提升精度；另一方面综合利用点线匹配的投影误差，可以进一步提高城市场景的导航定位精度，为实现导航智能化提供必要的技术基础。
附图说明
所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施例，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例方法流程示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
如图1所示，在本发明的一个实施例中，提供一种基于点线融合特征的视觉跟踪方法，该视觉跟踪方法包括：
步骤一、提取点特征并完成点特征匹配；
步骤二、提取线特征；
步骤三、基于所提取的线特征，采用改进的线特征匹配方法，基于几何约束辅助描述子匹配完成特征匹配，并剔除误匹配，包括：
步骤四、初步建立线匹配集合；
步骤五、采用双向最近邻结合比例测试的方式，选取出最优匹配线段；
步骤七、基于筛选出的最优匹配线段，通过衡量其他线匹配对此线特征对应地图线的支持，进一步剔除误匹配；
步骤八、构造最小化重投影模型，根据步骤一和步骤七分别得到的所述点特征和线特征的匹配，获取相机位姿。
本发明实施例中，可采用基于ORB的特征提取方法提取点特征，采用基于描述子的匹配方法完成点特征匹配。其中，采用基于ORB的特征提取方法提取点特征时，将改进后的Fast角点作为特征点，所述特征点具备旋转不变性。
本发明实施例中，可采用基于描述子的匹配方法完成点特征匹配，具体包括：
对于每个特征点采用改进的BRIEF描述子，利用ORB-SLAM2中的匀速模型运动预估划定上一帧图像在当前帧图像的投影区域；
然后在投影区域中对比特征点对描述子的汉明距离，选取距离最小的特征点对为匹配点对；
提取前后帧图像的所有匹配点对，完成点特征匹配。
可见，本发明实施例通过综合提取点、线特征实现匹配定位，一方面增加线特征，解决点特征过少难以定位的问题，并采用特定方法进行线特征的提取和匹配，大大提升精度；另一方面综合利用点线匹配的投影误差，可以进一步提高城市场景的导航定位精度，为实现导航智能化提供必要的技术基础。
在上述实施例中，为了进一步提高定位精度，采用参数优化的LSD的线特征提取方法提取线特征，其中，所述LSD线特征提取方法中，设计s＝0.5,d＝0.6，其中，s为尺度参数，用于缩放各层金字塔图像，d为最小密度阈值，代表区域生长拟合矩形框内最少点的数量。
较佳地，所述LSD线特征提取方法还包括：
设置最短线长阈值其中WI和HI分别表示图像的宽和高，η为比例参数；
设计检测直线段的长度低于所述阈值时被过滤。
也即，本发明实施例采用改进LSD的线特征提取方法提取线特征，具体来说，目前基于OpenCV的LSD方法是实现线段特征提取最通用的方法，但该方法线检测耗时较高，严重影响导航定位系统的实时性。本实施例参考PL-VINS系统的思路，通过筛选线段长度和耗时参数完成线段提取方法的改进，提高导航系统的实时性。其中，地面大场景图像跟踪过程中，存在不同长度的线段特征，基于线特征的位姿估计应专注于较长的直线段，因为它们容易匹配、且更可能在后续帧中出现。本实施例设置最短线长阈值其中WI和HI分别表示图像的宽和高，η为比例参数，设置η＝0.125，检测直线段的长度低于该阈值时被过滤。通过过滤短直线，大幅提升了线检测效率。
此外，LSD方法通过区域生长检测具有相似梯度的区域，各个区域将被一个矩形拟合。本发明实施例确定出影响线检测耗时的关键参数是s和d。设置s＝0.5,d＝0.6，能够保证检测精度保持的情况下耗时最低。
在上述实施例中，为了进一步提高特征匹配的准确性，减少误匹配，采用双向最近邻结合比例测试的方式，选取出最优匹配线段，具体包括：
1)将第i关键帧的第m条检测直线段记作计算/>在第j关键帧上的最近邻线段特征/>和次优最近邻线段特征/>
2)进行比例测试，分别计算两个线段特征描述子的距离，并判断是否具备较大的差异，若则，判定具备较大的差异，将/>记为优选匹配线段，其中ρ为比例阈值，d代表两个特征描述子距离；
3)对步骤2)得到的优选匹配线段的进行最优距离筛选，判断是否满足Dmax为特征距离的上限，若满足，则将/>使记为/>的最优匹配线段；
4)按照步骤1)～3)方法筛选出所有最优线段匹配对。
也即，本发明实施例为了进一步提高特征匹配的准确性，减少误匹配，提出一种改进的线特征匹配方法，结合LBD特征描述子和投影相似度进行线段匹配。首先利用LBD特征描述初步建立线匹配集合。采用双向最近邻结合比例测试的方式，需要最优匹配的特征距离和次近邻匹配的特征距离之间，存在一个充分大的差异。
较佳地，Dmax＝25，ρ＝0.6。
进一步地，所述基于筛选出的最优匹配线段，通过衡量其他线匹配对此线特征对应地图线的支持，进一步剔除误匹配，具体包括：
对于任意筛选出的最优线匹配对经过三角化获得地图线记作/>
假设存在线匹配将/>投影至第k关键帧，得到投影直线段/>并衡量投影直线段/>与/>的相似度，若满足/>时，认为匹配/>对/>提供了支持；其中，函数S1()代表角度相似度，函数/>代表位置相似性；/>为第k关键帧的的最优匹配线段；
设计线匹配对在5个关键帧之内至少具有2票支持才被认为是正确匹配，否则被视作误匹配而删除相应匹配对和地图线。
其中，通过下述方式设计函数S1()和函数S2()：
假设两条直线段l1和l2，其中，该两条直线段满足：
其中∠(l1,l2)表示直线段的角度差异，dmax(l1,l2)表示直线段端点到另一直线段所在直线的最大距离，σa和σp是设置的标准差。
具体来说，为进一步剔除误匹配，考虑结合线匹配之间的几何约束，采用线特征的投影相似度检验线匹配的正确性。通过衡量其他线匹配对此线特征对应地图线的支持，进一步剔除误匹配。假设两条直线段l1和l2，本实施例采用角度相似度S1和位置相似性S2衡量两条直线段的相似度：
其中∠(l1,l2)表示直线段的角度差异，dmax(l1,l2)表示直线段端点到另一直线段所在直线的最大距离，σa和σp是设置的标准差。
那么对于线匹配对经过三角化获得地图线记作/>另一方面，假设存在线匹配/>于是，将/>投影至第k关键帧，并衡量投影直线段/>与/>的相似度。若满足/>时，认为匹配/>对/>提供了支持。线匹配在5个关键帧之内至少具有2票才被认为是正确匹配，否则被视作误匹配而删除相应匹配对和地图线。
可见，本发明实施例针对复杂城市场景定位精度低的问题，提出一种改进的线特征匹配方法，能在大范围场景中剔除误匹配，获取了更精准的线段匹配对。
在上述实施例中，所述构造最小化重投影模型，根据所述点特征和线特征的匹配，获取相机位姿，具体包括：
构造特征点的最小化重投影误差模型；
构造线特征的最小化重投影误差模型；
联合任意第i个图像帧上面所有特征点和线特征的最小化重投影误差，迭代求解获取相机第i帧的位姿，实现视觉跟踪。
本发明实施例中，通过下式迭代求解获取相机第i帧的位姿：
其中， 表示第i个关键帧特征点的最小化重投影误差，j表示地图点ID，该图像总共对应m个地图点，Xj为世界坐标系下三维地图点坐标，pij表示第i个关键图像帧上Xj对应的像素观测点，K代表相机内参矩阵，/>表示相机第i帧的位姿，rl表示线特征的最小化重投影，k代表第k对线匹配，该帧图像最多有n对线匹配。
具体来说，为了构造最小化重投影模型，根据点特征和线特征的匹配，获取相机位姿，具体步骤如下：
(1)构造特征点的最小化重投影模型
针对于视觉导航，涉及到三种坐标系：图像坐标系、相机坐标系和世界坐标系，本发明定义相机坐标系表示为c系，世界坐标系表示w系。通过世界坐标系上三维地图点投影到图像坐标系，可以建立观测的像素点和估计的投影像素点之间的误差模型。
通过相机内参，可以将两个像素点从图像坐标系转换到相机坐标系。其中，图像坐标系上像素点定义为p，可以表示为p＝(u,v)；c坐标系上特征点定义为P，可以表示为P＝(x,y,z)，坐标系转换公式如下：
K代表相机内参矩阵，其中f是相机焦距，包括fx和fy，c表示相机平面中心点偏移，包括cx和cy。
相机坐标系和世界坐标系的转换，涉及到相机的导航位姿矩阵T，包括旋转矩阵和平移两部分。世界坐标系下坐标表示为X，那么c坐标系下特征点可以表示为：P＝TX。
基于视觉点特征的重投影误差是求解在图像坐标系下观测值与估计值的差。对于第i个关键帧而言，最小化重投影误差可以表示为下式：
其中j表示地图点ID，Xj为世界坐标系下三维地图点坐标，pij表示第i个关键图像帧上Xj对应的像素观测点，位姿矩阵表示为 代表从第i个关键帧对应的世界坐标系向相机坐标系的转换，Rcw为旋转矩阵，tcw为平移向量，深度表示为π。
(2)构造线特征的最小化重投影模型
为利用线特征进行跟踪建图，需要定义线特征的观测模型和重投影误差。对于针孔相机模型，它的内参数矩阵为对于第i个关键帧而言，采用普吕克坐标表达，那么相机系下的3D直线/>其中dc是/>的方向向量，nc是/>与坐标原点所决定平面的法向量。
跟世界坐标系下线段/>的转化可以表示为：
投影至图像的2D直线l可表达为：
其中表示用于线投影的内参数矩阵。由上式可见，投影直线l的坐标仅和直线/>与相机光心所决定的极平面的法向量nc有关。几何上，极平面内的任何直线，不论其什么方向，都将投影到同一直线段。
给定了直线的投影l，假定检测直线段的端点分别为s＝(us,vs)和e＝(ue,ve)，直线/>的重投影误差定义为检测端点到投影直线段l的距离：
通过联合第i个图像帧上面所有特征点和线特征的最小化重投影误差，公式如下：
通过迭代求解获取相机第i帧的位姿实现视觉跟踪。
根据另一实施例，还提供一种计算机设备，包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述视觉跟踪方法的步骤。
综上，本发明实施例针对弱纹理场景点特征稀疏难以定位的问题，综合利用了视觉点、线特征，进一步增加观测约束。在特征点稀疏的情况下通过引入线特征提高了城市自主导航的鲁棒性。并且本发明实施例针对复杂城市场景定位精度低的问题，提出一种改进的线特征匹配方法，能在大范围场景中剔除误匹配，获取了更精准的线段匹配对，建立基于点线匹配的投影误差模型，进一步提升了城市场景下六自由度位姿估计的精准性。
如上针对一种实施例描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施例中使用，和/或与其它实施例中的特征相结合或替代其它实施例中的特征使用。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤、组件或其组合的存在或附加。
本发明以上的方法可以由硬件实现，也可以由硬件结合软件实现。本发明涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本发明还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。
这些实施例的许多特征和优点根据该详细描述是清楚的，因此所附权利要求旨在覆盖这些实施例的落入其真实精神和范围内的所有这些特征和优点。此外，由于本领域的技术人员容易想到很多修改和改变，因此不是要将本发明的实施例限于所例示和描述的精确结构和操作，而是可以涵盖落入其范围内的所有合适修改和等同物。
本发明未详细说明部分为本领域技术人员公知技术。

Claims (11)

1.一种基于点线融合特征的视觉跟踪方法，其特征在于，所述视觉跟踪方法包括：
提取点特征并完成点特征匹配；
提取线特征；
基于所提取的线特征，采用改进的线特征匹配方法，基于几何约束辅助描述子匹配完成特征匹配，并剔除误匹配，包括：
初步建立线匹配集合；
采用双向最近邻结合比例测试的方式，选取出最优匹配线段；
基于筛选出的最优匹配线段，通过衡量其他线匹配对此线特征对应地图线的支持，进一步剔除误匹配，包括：
对于任意筛选出的最优线匹配对第i关键帧的第m条检测直线段记作/>在第j关键帧上的最近邻线段特征为/>经过三角化获得地图线记作/>假设存在线匹配将/>投影至第k关键帧，得到投影直线段/>并衡量投影直线段/>与/>的相似度，若满足/>时，认为匹配/>对/>提供了支持；其中，函数S1()代表角度相似度，函数S2()代表位置相似性；/>为第k关键帧的/>的最优匹配线段；
设计线匹配对在5个关键帧之内至少具有2票支持才被认为是正确匹配，否则被视作误匹配而删除相应匹配对和地图线；
构造最小化重投影模型，根据所述点特征和线特征的匹配，获取相机位姿。
2.根据权利要求1所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，采用基于ORB的特征提取方法提取点特征，采用基于描述子的匹配方法完成点特征匹配。
3.根据权利要求2所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，采用基于ORB的特征提取方法提取点特征时，将改进后的Fast角点作为特征点，所述特征点具备旋转不变性。
4.根据权利要求2所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，采用基于描述子的匹配方法完成点特征匹配，具体包括：
对于每个特征点采用改进的BRIEF描述子，利用ORB-SLAM2中的匀速模型运动预估划定上一帧图像在当前帧图像的投影区域；
然后在投影区域中对比特征点对描述子的汉明距离，选取距离最小的特征点对为匹配点对；
提取前后帧图像的所有匹配点对，完成点特征匹配。
5.根据权利要求1-4任一项所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，采用参数优化的LSD线特征提取方法提取线特征，其中，所述LSD线特征提取方法中，设计s＝0.5,d＝0.6，其中，s为尺度参数，用于缩放各层金字塔图像，d为最小密度阈值，代表区域生长拟合矩形框内最少点的数量。
6.根据权利要求5所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，所述LSD的线特征提取方法还包括：
设置最短线长阈值其中WI和HI分别表示图像的宽和高，η为比例参数；
设计检测直线段的长度低于所述阈值时被过滤。
7.根据权利要求6所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，采用双向最近邻结合比例测试的方式，选取出最优匹配线段，具体包括：
1)将第i关键帧的第m条检测直线段记作计算/>在第j关键帧上的最近邻线段特征/>和次优最近邻线段特征/>
2)进行比例测试，分别计算两个线段特征描述子的距离，并判断是否具备较大的差异，若则，判定具备较大的差异，将/>记为优选匹配线段，其中ρ为比例阈值，d代表两个特征描述子距离；
3)对步骤2)得到的优选匹配线段进行最优距离筛选，判断是否满足Dmax为特征距离的上限，若满足，则将/>记为/>的最优匹配线段；
4)按照步骤1)～3)方法筛选出所有最优线段匹配对。
8.根据权利要求1所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，通过下述方式设计函数S1()和函数S2()：
假设两条直线段l1和l2，其中，该两条直线段满足：
其中∠(l1,l2)表示直线段的角度差异，dmax(l1,l2)表示直线段端点到另一直线段所在直线的最大距离，σa和σp是设置的标准差。
9.根据权利要求1所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，所述构造最小化重投影模型，根据所述点特征和线特征的匹配，获取相机位姿，具体包括：
构造特征点的最小化重投影误差模型；
构造线特征的最小化重投影误差模型；
联合任意第i个图像帧上面所有特征点和线特征的最小化重投影误差，迭代求解获取相机第i帧的位姿，实现视觉跟踪。
10.根据权利要求9所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，通过下式迭代求解获取相机第i帧的位姿：
其中， 表示第i个关键帧特征点的最小化重投影误差，j表示地图点ID，该图像总共对应m个地图点，Xj为世界坐标系下三维地图点坐标，pij表示第i个关键图像帧上Xj对应的像素观测点，K代表相机内参矩阵，/>表示相机第i帧的位姿，rl表示线特征的最小化重投影，k代表第k对线匹配，该帧图像最多有n对线匹配。
11.一种计算机设备，包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-10任一项所述视觉跟踪方法的步骤。
CN202311075630.0A 2023-08-24 2023-08-24 基于点线融合特征的视觉跟踪方法 Active CN117170501B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311075630.0A CN117170501B (zh) 2023-08-24 2023-08-24 基于点线融合特征的视觉跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311075630.0A CN117170501B (zh) 2023-08-24 2023-08-24 基于点线融合特征的视觉跟踪方法

Publications (2)

Publication Number Publication Date
CN117170501A CN117170501A (zh) 2023-12-05
CN117170501B true CN117170501B (zh) 2024-05-03

Family

ID=88929082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311075630.0A Active CN117170501B (zh) 2023-08-24 2023-08-24 基于点线融合特征的视觉跟踪方法

Country Status (1)

Country Link
CN (1) CN117170501B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108682027A (zh) * 2018-05-11 2018-10-19 北京华捷艾米科技有限公司 基于点、线特征融合的vSLAM实现方法及系统
CN109166149A (zh) * 2018-08-13 2019-01-08 武汉大学 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN110108258A (zh) * 2019-04-09 2019-08-09 南京航空航天大学 一种单目视觉里程计定位方法
JP6852936B1 (ja) * 2019-11-15 2021-03-31 広東工業大学Ｇｕａｎｇｄｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｔｅｃｈｎｏｌｏｇｙ 深度点線特徴に基づくドローン視覚走行距離計方法
CN113837277A (zh) * 2021-09-24 2021-12-24 东南大学 一种基于视觉点线特征优化的多源融合slam系统
CN115560760A (zh) * 2022-09-14 2023-01-03 北京自动化控制设备研究所 一种面向无人机的视觉/激光测距高空导航方法
CN115965686A (zh) * 2022-11-30 2023-04-14 北京化工大学 一种融合点线特征的半直接视觉定位方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021124286A1 (en) * 2019-12-20 2021-06-24 Niantic, Inc. Location determination and mapping with 3d line junctions
CN111457886B (zh) * 2020-04-01 2022-06-21 北京迈格威科技有限公司 距离确定方法、装置及系统
US11867514B2 (en) * 2021-09-24 2024-01-09 Telenav, Inc. Navigation system with independent positioning mechanism and method of operation thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108682027A (zh) * 2018-05-11 2018-10-19 北京华捷艾米科技有限公司 基于点、线特征融合的vSLAM实现方法及系统
CN109166149A (zh) * 2018-08-13 2019-01-08 武汉大学 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN110108258A (zh) * 2019-04-09 2019-08-09 南京航空航天大学 一种单目视觉里程计定位方法
JP6852936B1 (ja) * 2019-11-15 2021-03-31 広東工業大学Ｇｕａｎｇｄｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｔｅｃｈｎｏｌｏｇｙ 深度点線特徴に基づくドローン視覚走行距離計方法
CN113837277A (zh) * 2021-09-24 2021-12-24 东南大学 一种基于视觉点线特征优化的多源融合slam系统
CN115560760A (zh) * 2022-09-14 2023-01-03 北京自动化控制设备研究所 一种面向无人机的视觉/激光测距高空导航方法
CN115965686A (zh) * 2022-11-30 2023-04-14 北京化工大学 一种融合点线特征的半直接视觉定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于纯几何学线特征匹配的点线结合匹配算法;崔东亮等;《计算机应用与软件》;20200430;第37卷(第4期);第186-191页 *

Also Published As

Publication number Publication date
CN117170501A (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
CN110966991B (zh) 一种无控制点下的单幅无人机影像定位方法
EP3920095A1 (en) Image processing method and apparatus, moveable platform, unmanned aerial vehicle and storage medium
CN109520500B (zh) 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
US11625851B2 (en) Geographic object detection apparatus and geographic object detection method
CN113989450B (zh) 图像处理方法、装置、电子设备和介质
CN111652934A (zh) 定位方法及地图构建方法、装置、设备、存储介质
CN111968177B (zh) 一种基于固定摄像头视觉的移动机器人定位方法
CN111915517B (zh) 适用于室内光照不利环境下rgb-d相机全局定位方法
Urban et al. Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds
CN107677274A (zh) 基于双目视觉的无人机自主着陆导航信息实时解算方法
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN114332232B (zh) 基于空间点线面特征混合建模的智能手机室内定位方法
Jiang et al. Learned local features for structure from motion of uav images: A comparative evaluation
CN116817887B (zh) 语义视觉slam地图构建方法、电子设备及存储介质
KR102249381B1 (ko) 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법
CN111964665A (zh) 基于车载环视图像的智能车定位方法、系统及存储介质
CN112767459A (zh) 基于2d-3d转换的无人机激光点云与序列影像配准方法
CN117170501B (zh) 基于点线融合特征的视觉跟踪方法
CN111508067B (zh) 一种基于垂直平面和垂直线的轻量级室内建模方法
CN112146647B (zh) 一种地面纹理的双目视觉定位方法及芯片
CN112258391A (zh) 一种基于道路交通标线的碎片化地图拼接方法
Jiang et al. 3D Reconstruction of Spherical Images based on Incremental Structure from Motion
CN114897968B (zh) 车辆视野的确定方法、装置、计算机设备、存储介质
CN112950683B (zh) 基于点特征的航空影像和机载点云配准优化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant