CN117760428B - 一种基于多立体视觉惯性紧耦合的自主定位方法 - Google Patents
一种基于多立体视觉惯性紧耦合的自主定位方法 Download PDFInfo
- Publication number
- CN117760428B CN117760428B CN202410197575.0A CN202410197575A CN117760428B CN 117760428 B CN117760428 B CN 117760428B CN 202410197575 A CN202410197575 A CN 202410197575A CN 117760428 B CN117760428 B CN 117760428B
- Authority
- CN
- China
- Prior art keywords
- image
- information
- feature point
- stereoscopic
- key frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008878 coupling Effects 0.000 title claims abstract description 48
- 238000010168 coupling process Methods 0.000 title claims abstract description 48
- 238000005859 coupling reaction Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000005457 optimization Methods 0.000 claims abstract description 30
- 238000012216 screening Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000010354 integration Effects 0.000 claims description 14
- 239000007787 solid Substances 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 2
- 230000036544 posture Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 30
- 238000004364 calculation method Methods 0.000 abstract description 10
- 238000005286 illumination Methods 0.000 abstract description 4
- 230000008859 change Effects 0.000 abstract description 3
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000013519 translation Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本公开实施例是关于一种基于多立体视觉惯性紧耦合的自主定位方法。该方法包括：分别对每个立体相机的图像信息和IMU信息进行预处理；基于与先前图像帧的视差计算和特征点跟踪的质量，选择新的多视图关键帧。使用PnP求解初始关键帧位姿，并根据特征点的状态信息筛选出图像特征点信息。通过不断迭代更新，获得高质量的图像特征信息和准确的多视图关键帧位姿；最后计算IMU残差和多立体视觉重投影残差，建立非线性优化模型求解位姿。本公开实施例实现了任意数量的多立体视觉惯性紧耦合定位。当视觉定位方法在处理局部遮挡、光照变化、纹理不足等具有挑战性的视觉场景时失效时，仍能正常工作输出可靠的定位结果。
Description
技术领域
本公开实施例涉及制导技术领域，尤其涉及一种基于多立体视觉惯性紧耦合的自主定位方法。
背景技术
同时定位与建图（Simultaneous Localization and Mapping，SLAM）技术是智能自主载体在执行任务目标时的核心技术。近年来，这一技术经过广泛研究和应用，已成功应用于微型无人机、智能驾驶、虚拟现实和增强现实等多个领域。
由于视觉相机和惯性测量单元（Inertial measurement unit，IMU）的轻便、低功耗、功能互补等优势，基于视觉惯性融合的方法逐渐成为主流。然而，在处理具有挑战性的视觉场景时，例如纹理不足、重复结构、照明变化或局部遮挡等方面，传统单个视觉相机的局限性可能导致在缺乏可用视觉信息的情况下，定位结果发散。因此，引入多立体相机视觉与IMU信息融合成为解决方案。多立体相机的引入不仅能够捕捉更多的视觉信息，还提供冗余优势，从而在具有挑战性的视觉场景中增强了系统的鲁棒性。然而，需要注意的是，多立体相机的使用也伴随着额外的计算负担。此外，在不断变化的视觉环境中，低质量特征信息的集成直接影响系统的稳定性。
发明内容
为了避免现有技术的不足之处，本申请提供一种基于多立体视觉惯性紧耦合的自主定位方法，用以解决现有技术中存在多立体相机的使用伴随着额外的计算负担，且在不断变化的视觉环境中，低质量特征信息的集成也直接影响系统的稳定性的问题。
根据本公开实施例，提供一种基于多立体视觉惯性紧耦合的自主定位方法，该方法包括：
对多个立体相机的图像信息进行提取与匹配，以得到若干组匹配完成的图像特征点对，并通过立体几何约束获取图像特征点对的深度信息；其中，图像信息包括左目图像和右目图像，图像特征点对包括左目图像特征点和右目图像特征点；
对IMU信息进行预积分处理，以得到IMU预积分；
根据图像特征点对，更新最新多视图关键帧；
基于最新多视图关键帧和深度信息，利用PnP算法求解最新多视图关键帧，并根据图像特征点对的状态信息对求解结果进行筛选，通过不断迭代更新，得到图像特征信息和所有关键帧位姿，以完成初始化；
根据IMU预积分计算IMU残差，根据图像特征信息和关键帧位姿计算多立体视觉重投影残差；
根据IMU残差和多立体视觉重投影残差构建紧耦合优化模型，对紧耦合优化模型进行求解，以得到载体的定位结果。
进一步的，对多个立体相机的图像信息进行提取与匹配，以得到若干组匹配完成的图像特征点对，并通过立体几何约束获取图像特征点对的深度信息的步骤中，包括：
针对每一立体相机，分别对立体相机的左目图像和右目图像进行特征点提取，以得到左目图像特征点和右目图像特征点；
利用光流法对前一帧左目图像中的左目图像特征点进行跟踪匹配，且对当前帧左目图像中的左目图像特征点和右目图像特征点进行跟踪匹配，以得到匹配完成的图像特征点对；
通过立体几何约束进行特征点三角化以获取图像特征点对的深度信息。
进一步的，根据图像特征点对，得到最新多视图关键帧的步骤中，包括：
同步所有立体相机的时间戳，将同一时刻的不同立体相机的图像信息视为通用图像帧；
计算所有被跟踪的图像特征点对在当前通用图像帧和最新多视图关键帧之间的平均视差；
若平均视差大于第一预设阈值，则将当前通用图像帧更新为最新多视图关键帧。
进一步的，若当前通用图像帧的跟踪的图像特征点对的总数小于第二阈值，则将当前通用图像帧更新为最新多视图关键帧。
进一步的，基于最新多视图关键帧和深度信息，利用PnP算法求解最新多视图关键帧，并根据图像特征点对的状态信息对求解结果进行筛选，通过不断迭代更新，得到图像特征信息和所有关键帧位姿，以完成初始化的步骤中，包括：
针对一组图像特征点对，基于深度信息，利用PnP算法求解最新多视图关键帧的位姿，并与IMU联合初始化得到IMU加速度计与陀螺仪的偏置；
遍历当前通用图像帧中各个立体相机的图像信息中的图像特征点对，若图像特征点对被连续追踪到的多视图关键帧的数量大于预设值，则计算图像特征点对的状态信息；
根据图像特征点对的状态信息计算各个立体相机图像特征点对的状态信息平均值，并根据图像特征点对的状态信息平均值对求解结果进行筛选，得到当前通用图像帧的图像特征信息；
选择状态信息平均值最小对应的立体相机图像中的图像特征点对进行下个多视图关键帧位姿求解；
重复进行筛选，以遍历所有最新多视图关键帧，得到所有图像特征信息和所有关键帧位姿，以完成初始化。
进一步的，根据IMU残差和多立体视觉重投影残差构建紧耦合优化模型，对紧耦合优化模型进行求解，以得到载体的定位结果的步骤中，包括：
构建滑动窗口，根据滑动窗口内所有最新多视图关键帧的位置、速度、姿态、加速度计偏置、陀螺仪偏置、各个相机与IMU之间的转换矩阵和所有立体相机图像的图像特征信息的逆深度构成待优化状态量；
根据待优化状态量、IMU残差和多立体视觉重投影残差，构建紧耦合优化模型；
利用列文伯格-马夸尔特法对紧耦合优化模型求解，以得到载体的最优位姿。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开的实施例中，通过上述基于多立体视觉惯性紧耦合的自主定位方法，一方面，通过对任意多立体相机的图像信息与IMU信息进行紧耦合优化，有效实现了任意数量的多立体视觉惯性紧耦合定位。通过充分利用载体在不同方向上的环境信息，使系统能够更精准地定位。另一方面，根据特征点的状态信息对特征点进行筛选，通过不断迭代更新，获取高质量的图像特征信息。不仅有效减少了不必要的计算冗余消耗，减轻了多相机系统的计算负担，而且在多立体视觉惯性紧耦合优化中，基于不同图像特征点的质量自适应地分配各个视觉残差权重，从而实现了更高的系统定位精度。该方法使系统更灵活适应不同环境条件，提高了定位的鲁棒性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开示例性实施例中一种基于多立体视觉惯性紧耦合的自主定位方法的步骤图；
图2示出本公开示例性实施例中两个立体相机时，多立体视觉惯性紧耦合优化的结构图；
图3示出本公开示例性实施例中基于多立体视觉惯性紧耦合的自主定位方法的流程框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开实施例的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。
本示例实施方式中提供了一种基于多立体视觉惯性紧耦合的自主定位方法。参考图1中所示，该基于多立体视觉惯性紧耦合的自主定位方法可以包括：步骤S101~步骤S106。
步骤S101：对多个立体相机的图像信息进行提取与匹配，以得到若干组匹配完成的图像特征点对，并通过立体几何约束获取图像特征点对的深度信息；其中，图像信息包括左目图像和右目图像，图像特征点对包括左目图像特征点和右目图像特征点；
步骤S102：对IMU信息进行预积分处理，以得到IMU预积分；
步骤S103：根据图像特征点对，更新最新多视图关键帧；
步骤S104：基于最新多视图关键帧和深度信息，利用PnP算法求解最新多视图关键帧，并根据图像特征点对的状态信息对求解结果进行筛选，通过不断迭代更新，得到图像特征信息和所有关键帧位姿，以完成初始化；
步骤S105：根据IMU预积分计算IMU残差，根据图像特征信息和关键帧位姿计算多立体视觉重投影残差；
步骤S106：根据IMU残差和多立体视觉重投影残差构建紧耦合优化模型，对紧耦合优化模型进行求解，以得到载体的定位结果。
通过上述基于多立体视觉惯性紧耦合的自主定位方法，一方面，通过对任意多立体相机的图像信息与IMU信息进行紧耦合优化，有效实现了任意数量的多立体视觉惯性紧耦合定位。通过充分利用载体在不同方向上的环境信息，使系统能够更精准地定位。另一方面，根据特征点的状态信息对特征点进行筛选，通过不断迭代更新，获取高质量的图像特征信息。不仅有效减少了不必要的计算冗余消耗，减轻了多相机系统的计算负担，而且在多立体视觉惯性紧耦合优化中，基于不同图像特征点的质量自适应地分配各个视觉残差权重，从而实现了更高的系统定位精度。该方法使系统更灵活适应不同环境条件，提高了定位的鲁棒性。
下面，将参考图1至图3对本示例实施方式中的上述基于多立体视觉惯性紧耦合的自主定位方法的各个步骤进行更详细的说明。
在步骤S101和步骤S102中，对IMU信息进行预积分处理。对于每个立体相机，分别对其左右目图像（即左目图像和右目图像）进行特征点提取。使用光流法对前一帧左目图像中的特征点（即图像特征点对）进行跟踪匹配，并同时对当前帧左目图像和当前帧右目图像特征点进行跟踪匹配。完成左右目特征点匹配后，通过立体几何约束进行特征点三角化获取深度信息。
在步骤S103和步骤S104中，同步所有立体相机的时间戳，将同一时刻的不同相机图像视为通用图像帧。计算所有被跟踪特征点在当前通用图像帧和最新多视图关键帧之间的平均视差，如果超过第一阈值/>，当前帧被视为新的多视图关键帧；此外，如果当前帧跟踪特征点的总数/>低于第二阈值/>，当前帧也被视为新的多视图关键帧（即最新多视图关键帧）。
平均视差的计算公式如下：/>
其中，表示来自第/>个立体相机图像中被跟踪特征点在当前通用图像帧和最新多视图关键帧间的视差总和：/>，式中，（/>，/>）为第/>个特征点在当前通用图像帧中的像素坐标，（/>，/>）为第/>个特征点在最新多视图关键帧中的像素坐标，/>为当前图像帧跟踪到的来自第/>个相机图像中的特征点的个数，满足。
任意选取来自第个立体相机图像中的特征点，使用PnP算法求解初始多视图关键帧的位姿/>，再与IMU联合初始化得到IMU的加速度计偏置/>与陀螺仪偏置/>。
依次遍历当前图像帧中来自各个立体相机图像中的特征点，判断该特征点是否被连续追踪到4个以上多视图关键帧，计算满足条件的视觉特征点的状态信息：
式中，表示来自第/>个立体相机图像中的特征点在其第一次被观察到的关键帧下的三维坐标，/>表示来自第/>个立体相机图像中的特征点在当前通用图像帧下通过计算估计得到的三维坐标，/>表示来自第/>个立体相机图像中的特征点在当前通用图像帧下观测得到的三维坐标，/>为第/>个立体相机的内参矩阵，/>表示当前帧到世界系的旋转矩阵，/>表示特征点在其第一次被观察到的关键帧到世界系的旋转矩阵，/>表示第/>个立体相机到载体坐标系的旋转矩阵，/>表示当前帧到世界系的平移向量，/>表示特征点在其第一次被观察到的关键帧到世界系的平移向量，/>表示第/>个立体相机到载体坐标系的平移向量。
计算各个立体相机视觉特征点状态信息的平均值：/>，其中为第/>个立体相机中满足稳定追踪的特征点总数，满足/>条件的特征点即为筛选后得到的高质量特征点（即图像特征信息）。
选择状态信息平均值最小对应的立体相机图像中的视觉特征点集进行下个多视图关键帧位姿求解。
循环以上特征点筛选步骤，遍历所有多视图关键帧，得到高质量图像特征信息和所有准确的多视图关键帧位姿，完成系统初始化。
在步骤S105和步骤S106中，计算IMU预积分残差和多立体相机视觉重投影残差，自适应地分配各个视觉残差权重。建立紧耦合优化模型，构建滑动窗口对载体的位姿进行优化求解。滑动窗口内所有多视图关键帧的位置、速度、姿态、加速度计偏置、陀螺仪偏置、各个相机与IMU之间的转换矩阵、来自所有立体相机图像的高质量特征点的逆深度构成待优化状态量，其中/>表示滑动窗口中多视图关键帧的个数，/>表示立体相机的个数；/>, 式中/>为第/>个关键帧时载体在世界坐标系下的位置，/>为第/>个关键帧时载体在世界坐标系下的速度，/>为第/>个关键帧时载体在世界坐标系下的姿态，/>表示IMU的加速度计偏置，表示IMU的陀螺仪偏置；/>表示第/>个立体相机系与IMU坐标系之间的转换矩阵，其中，/>为第/>个立体相机系与IMU坐标系之间的位置，/>为第/>个立体相机系与IMU坐标系之间的姿态关系；/>表示第/>个立体相机图像中所有特征点的逆深度。其中/>表示第/>个立体相机，/>表示第/>个立体相机图像中的特征点总数。
计算IMU预积分误差作为IMU残差。
计算多立体相机视觉重投影残差：/>，式中/>为第/>个立体相机的视觉重投影残差，根据不同立体相机中图像特征点的不同质量，设计/>：，式中/>表示来自第/>个立体相机图像中高质量特征点的总数，自适应地分配各个立体相机的视觉重投影残差权重。
建立紧耦合优化模型，将IMU残差和多立体相机视觉重投影残差加入优化，如式：
使用列文伯格-马夸尔特方法对该优化模型进行求解，获得载体的位姿信息。
本申请提出的一种基于多立体视觉惯性紧耦合的自主定位方法实现了任意数量的多立体视觉惯性紧耦合定位。当传统视觉定位方法在处理局部遮挡、光照变化、纹理不足等具有挑战性的视觉场景时失效时，仍能正常工作输出可靠的定位结果。如图2所示，为两个立体相机时，多立体视觉惯性紧耦合优化的结构图。
如图3所示，为基于多立体视觉惯性紧耦合的自主定位方法的流程框图。首先，对来自多个立体相机的图像信息进行特征点提取与匹配，通过立体几何约束获取特征点的深度信息，同时对IMU信息进行预积分处理。其次，将同时捕获到的不同立体相机图像视为通用图像帧，通过计算与先前图像帧的视差和特征点跟踪质量，选择多视图关键帧。通过PnP求解初始关键帧的位姿，然后根据特征点的状态信息对特征点进行筛选。通过不断迭代更新，得到高质量的图像特征信息和更加准确的多视图关键帧位姿。最后，在计算IMU预积分残差和多立体视觉重投影残差的基础上，自适应地分配各个视觉残差的权重，建立紧耦合优化模型，采用滑动窗口方法求解载体的定位结果。
基于多立体视觉惯性紧耦合的自主定位方法，通过对任意多立体相机的图像信息与惯性信息进行紧耦合优化，有效实现了任意数量的多立体视觉惯性紧耦合定位，当传统视觉定位方法在处理局部遮挡、光照变化、纹理不足等具有挑战性的视觉场景时失效时，仍能正常工作输出可靠的定位结果。通过充分利用载体在不同方向上的环境信息，使系统能够更精准地定位。此外，根据特征点的状态信息对特征点进行筛选，通过不断迭代更新，获取高质量的图像特征信息。这不仅有效减少了不必要的计算冗余消耗，减轻了多相机系统的计算负担，而且在多立体视觉惯性紧耦合优化中，基于不同图像特征点的质量自适应地分配各个视觉残差权重，从而实现了更高的系统定位精度。这种优化策略使系统更灵活适应不同环境条件，提高了定位的鲁棒性。通过这些创新特点，本申请为载体在复杂视觉场景下的定位问题提供了一种高效、鲁棒的解决方案。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行结合和组合。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
Claims (5)
1.一种基于多立体视觉惯性紧耦合的自主定位方法，其特征在于，该方法包括：
对多个立体相机的图像信息进行提取与匹配，以得到若干组匹配完成的图像特征点对，并通过立体几何约束获取图像特征点对的深度信息；其中，图像信息包括左目图像和右目图像，图像特征点对包括左目图像特征点和右目图像特征点；
对IMU信息进行预积分处理，以得到IMU预积分；
根据图像特征点对，更新最新多视图关键帧；
基于最新多视图关键帧和深度信息，利用PnP算法求解最新多视图关键帧，并根据图像特征点对的状态信息对求解结果进行筛选，通过不断迭代更新，得到图像特征信息和所有关键帧位姿，以完成初始化；具体包括：针对一组图像特征点对，基于深度信息，利用PnP算法求解最新多视图关键帧的位姿，并与IMU联合初始化得到IMU加速度计与陀螺仪的偏置；遍历当前通用图像帧中各个立体相机的图像信息中的图像特征点对，若图像特征点对被连续追踪到的多视图关键帧的数量大于预设值，则计算图像特征点对的状态信息；根据图像特征点对的状态信息计算各个立体相机图像特征点对的状态信息平均值，并根据图像特征点对的状态信息平均值对求解结果进行筛选，得到当前通用图像帧的图像特征信息；选择状态信息平均值最小对应的立体相机图像中的图像特征点对进行下个多视图关键帧位姿求解；重复进行筛选，以遍历所有最新多视图关键帧，得到所有图像特征信息和所有关键帧位姿，以完成初始化；
根据IMU预积分计算IMU残差，根据图像特征信息和关键帧位姿计算多立体视觉重投影残差；
根据IMU残差和多立体视觉重投影残差构建紧耦合优化模型，对紧耦合优化模型进行求解，以得到载体的定位结果。
2.根据权利要求1所述基于多立体视觉惯性紧耦合的自主定位方法，其特征在于，对多个立体相机的图像信息进行提取与匹配，以得到若干组匹配完成的图像特征点对，并通过立体几何约束获取图像特征点对的深度信息的步骤中，包括：
针对每一立体相机，分别对立体相机的左目图像和右目图像进行特征点提取，以得到左目图像特征点和右目图像特征点；
利用光流法对前一帧左目图像中的左目图像特征点进行跟踪匹配，且对当前帧左目图像中的左目图像特征点和右目图像特征点进行跟踪匹配，以得到匹配完成的图像特征点对；
通过立体几何约束进行特征点三角化以获取图像特征点对的深度信息。
3.根据权利要求2所述基于多立体视觉惯性紧耦合的自主定位方法，其特征在于，根据图像特征点对，得到最新多视图关键帧的步骤中，包括：
同步所有立体相机的时间戳，将同一时刻的不同立体相机的图像信息视为通用图像帧；
计算所有被跟踪的图像特征点对在当前通用图像帧和最新多视图关键帧之间的平均视差；
若平均视差大于第一预设阈值，则将当前通用图像帧更新为最新多视图关键帧。
4.根据权利要求3所述基于多立体视觉惯性紧耦合的自主定位方法，其特征在于，若当前通用图像帧的跟踪的图像特征点对的总数小于第二阈值，则将当前通用图像帧更新为最新多视图关键帧。
5.根据权利要求4所述基于多立体视觉惯性紧耦合的自主定位方法，其特征在于，根据IMU残差和多立体视觉重投影残差构建紧耦合优化模型，对紧耦合优化模型进行求解，以得到载体的定位结果的步骤中，包括：
构建滑动窗口，根据滑动窗口内所有最新多视图关键帧的位置、速度、姿态、加速度计偏置、陀螺仪偏置、各个相机与IMU之间的转换矩阵和所有立体相机图像的图像特征信息的逆深度构成待优化状态量；
根据待优化状态量、IMU残差和多立体视觉重投影残差，构建紧耦合优化模型；
利用列文伯格-马夸尔特法对紧耦合优化模型求解，以得到载体的最优位姿。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410197575.0A CN117760428B (zh) | 2024-02-22 | 2024-02-22 | 一种基于多立体视觉惯性紧耦合的自主定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410197575.0A CN117760428B (zh) | 2024-02-22 | 2024-02-22 | 一种基于多立体视觉惯性紧耦合的自主定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117760428A CN117760428A (zh) | 2024-03-26 |
| CN117760428B true CN117760428B (zh) | 2024-04-30 |
Family
ID=90314857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410197575.0A Active CN117760428B (zh) | 2024-02-22 | 2024-02-22 | 一种基于多立体视觉惯性紧耦合的自主定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117760428B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107869989A (zh) * | 2017-11-06 | 2018-04-03 | 东北大学 | 一种基于视觉惯导信息融合的定位方法及系统 |
| CN112749665A (zh) * | 2021-01-15 | 2021-05-04 | 东南大学 | 一种基于图像边缘特征的视觉惯性slam方法 |
| CN114529585A (zh) * | 2022-02-23 | 2022-05-24 | 北京航空航天大学 | 基于深度视觉和惯性测量的移动设备自主定位方法 |
| CN115523920A (zh) * | 2022-11-30 | 2022-12-27 | 西北工业大学 | 一种基于视觉惯性gnss紧耦合的无缝定位方法 |
| CN116007609A (zh) * | 2022-12-19 | 2023-04-25 | 北京理工大学 | 一种多光谱图像和惯导融合的定位方法和计算系统 |
| CN116242374A (zh) * | 2023-04-27 | 2023-06-09 | 厦门大学 | 一种基于直接法的多传感器融合的slam定位方法 |
| CN116342661A (zh) * | 2023-04-13 | 2023-06-27 | 东南大学 | 利用路标点偏置位姿修正的双目视觉惯性里程计方法 |
| WO2023155258A1 (zh) * | 2022-02-21 | 2023-08-24 | 武汉大学 | 基于关键帧滑窗滤波的含自标定的视觉惯性里程计方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11313684B2 (en) * | 2016-03-28 | 2022-04-26 | Sri International | Collaborative navigation and mapping |
| EP3474230B1 (en) * | 2017-10-18 | 2020-07-22 | Tata Consultancy Services Limited | Systems and methods for edge points based monocular visual slam |
| CN111258313B (zh) * | 2020-01-20 | 2022-06-07 | 深圳市普渡科技有限公司 | 多传感器融合slam系统及机器人 |
-
2024
- 2024-02-22 CN CN202410197575.0A patent/CN117760428B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107869989A (zh) * | 2017-11-06 | 2018-04-03 | 东北大学 | 一种基于视觉惯导信息融合的定位方法及系统 |
| CN112749665A (zh) * | 2021-01-15 | 2021-05-04 | 东南大学 | 一种基于图像边缘特征的视觉惯性slam方法 |
| WO2023155258A1 (zh) * | 2022-02-21 | 2023-08-24 | 武汉大学 | 基于关键帧滑窗滤波的含自标定的视觉惯性里程计方法 |
| CN114529585A (zh) * | 2022-02-23 | 2022-05-24 | 北京航空航天大学 | 基于深度视觉和惯性测量的移动设备自主定位方法 |
| CN115523920A (zh) * | 2022-11-30 | 2022-12-27 | 西北工业大学 | 一种基于视觉惯性gnss紧耦合的无缝定位方法 |
| CN116007609A (zh) * | 2022-12-19 | 2023-04-25 | 北京理工大学 | 一种多光谱图像和惯导融合的定位方法和计算系统 |
| CN116342661A (zh) * | 2023-04-13 | 2023-06-27 | 东南大学 | 利用路标点偏置位姿修正的双目视觉惯性里程计方法 |
| CN116242374A (zh) * | 2023-04-27 | 2023-06-09 | 厦门大学 | 一种基于直接法的多传感器融合的slam定位方法 |
Non-Patent Citations (4)
| Title |
|---|
| Taragay Oskiper ; Supun Samarasekera ; Rakesh Kumar.Tightly-coupled robust vision aided inertial navigation algorithm for augmented reality using monocular camera and IMU.2011 10th IEEE International Symposium on Mixed and Augmented Reality.2012,全文. * |
| 王巍 ; 梁桥 ; .基于单目视觉和惯性测量的飞行器自定位研究.吉林大学学报(信息科学版).2016,34(06),全文. * |
| 王铉彬，李星星，廖健驰，等.基于图优化的紧耦合双目视觉/惯性/激光雷达SLAM方法.测绘学报.2022,第51卷(第8期),全文. * |
| 王龙 ; 董新民 ; 张宗麟 ; .紧耦合INS/视觉相对位姿测量方法.中国惯性技术学报.2011,19(06),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117760428A (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109166149B (zh) | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 | |
| US10818029B2 (en) | Multi-directional structured image array capture on a 2D graph | |
| CN111968129B (zh) | 具有语义感知的即时定位与地图构建系统及方法 | |
| Engel et al. | Large-scale direct SLAM with stereo cameras | |
| US9613420B2 (en) | Method for locating a camera and for 3D reconstruction in a partially known environment | |
| CN106920259B (zh) | 一种定位方法及系统 | |
| Kang et al. | Detection and tracking of moving objects from a moving platform in presence of strong parallax | |
| Zhu et al. | Generalized parallel-perspective stereo mosaics from airborne video | |
| Liu et al. | Direct visual odometry for a fisheye-stereo camera | |
| CN111127524A (zh) | 一种轨迹跟踪与三维重建方法、系统及装置 | |
| CN104537709A (zh) | 一种基于位姿变化的实时三维重建关键帧确定方法 | |
| CN103345751A (zh) | 一种基于鲁棒特征跟踪的视觉定位方法 | |
| KR20200014858A (ko) | 위치 측정 및 동시 지도화 방법 및 장치 | |
| CN108776989A (zh) | 基于稀疏slam框架的低纹理平面场景重建方法 | |
| CN112344923B (zh) | 一种机器人的定位方法及其定位装置 | |
| CN105894443A (zh) | 一种基于改进的surf算法的实时视频拼接方法 | |
| CN113658337A (zh) | 一种基于车辙线的多模态里程计方法 | |
| CN111105460A (zh) | 一种室内场景三维重建的rgb-d相机位姿估计方法 | |
| CN111127522A (zh) | 基于单目相机的深度光流预测方法、装置、设备及介质 | |
| CN112150518B (zh) | 一种基于注意力机制的图像立体匹配方法及双目设备 | |
| CN104240229A (zh) | 一种红外双目相机自适应极线校正方法 | |
| CN113345032B (zh) | 一种基于广角相机大畸变图的初始化建图方法及系统 | |
| CN113034681B (zh) | 空间平面关系约束的三维重建方法及装置 | |
| CN117760428B (zh) | 一种基于多立体视觉惯性紧耦合的自主定位方法 | |
| Kurz et al. | Bundle adjustment for stereoscopic 3d |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |