CN114910069A - 一种无人机的融合定位初始化系统及方法 - Google Patents

一种无人机的融合定位初始化系统及方法 Download PDF

Info

Publication number
CN114910069A
CN114910069A CN202210628658.1A CN202210628658A CN114910069A CN 114910069 A CN114910069 A CN 114910069A CN 202210628658 A CN202210628658 A CN 202210628658A CN 114910069 A CN114910069 A CN 114910069A
Authority
CN
China
Prior art keywords
module
feature
aircraft
parallax
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210628658.1A
Other languages
English (en)
Inventor
庞迪
翁海敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Border Intelligent Control Technology Co ltd
Original Assignee
Shenzhen Border Intelligent Control Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Border Intelligent Control Technology Co ltd filed Critical Shenzhen Border Intelligent Control Technology Co ltd
Priority to CN202210628658.1A priority Critical patent/CN114910069A/zh
Publication of CN114910069A publication Critical patent/CN114910069A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种无人机的融合定位初始化系统及方法，其系统包括：用于获取图像数据和IMU数据的数据采集模块；用于提取图像数据的特征信息，并追踪不同图像间的对应特征点的特征提取匹配模块；用于判断飞行器的运动状态运动状态检测模块；用于对飞行器的姿态、速度、位置状态进行更新的惯性递推模块；用于计算横滚角和俯仰角以及惯性器件参数的静止参数更新模块；用于进行初始化参数估计的联合最优化估计模块。本发明利用运动状态检测模块获取飞行器当前的飞行状态，并根据不同的飞行状态采用不同方法进行初始化定位参数，并且在进行初始化过程中使用结合IMU预积分的联合最优化方法，以同时估计飞行器速度、姿态，以及零偏误差、尺度因子参数。

Description

一种无人机的融合定位初始化系统及方法
技术领域
本发明涉及无人机视觉处理和惯性数据处理技术领域，特别涉及一种无人机的融合定位初始化系统及方法。
背景技术
在城市地区以及室内场景，由于建筑物等障碍物对信号的遮挡和反射，GNSS系统定位极不稳定，无法正确使用。使用传统GNSS/IMU导航方法，无法满足城市垂直起降的需求，需引入其他传感器。视觉定位提供了新的定位思路，是对传统GNSS/INS定位的重要补充。
视觉相机和惯性器件IMU，作为定位传感器，需要在初始化阶段计算改正模型。惯性器件估计零偏误差，一直是初始化过程的核心问题；相机的种类繁多，不同相机类型均使用不同的镜头改正模型，其单目相机需要估计3D建模与真实世界的尺度参数。相比GNSS/IMU系统，使用视觉与IMU的定位系统初始化更为复杂，视觉尺度因子会与IMU零偏误差耦合，计算出准确的取值需要特殊的处理手段。在初始姿态不准的情况下，重力加速度的分量造成的偏差会进一步增加求解难度。视觉惯导系统的初始化仍有很大改进空间。
一般情形下，装备在飞机上的相机镜头竖直向下，摄影方向垂直于地面，例如装备量测相机的航空摄影测量飞机。装备云台考虑相机摄影方向的消费级无人机并没有采用视觉用于定位。在视觉惯导初始化的过程中，飞行器垂直起飞，向上爬升，水平方向的位移较小。垂直向下摄影的单目相机无法产生有效的视差，导致相机传感器初始化失败。
发明内容
本发明的目的是提供一种无人机的融合定位初始化系统及方法，旨在解决现有技术中飞行器无法产生有效视差而导致初始化失败的问题。
本发明实施例提供一种无人机的融合定位初始化系统，其包括：数据采集模块、特征提取匹配模块、运动状态检测模块、惯性递推模块、静止参数更新模块和联合最优化估计模块；
所述数据采集模块用于通过预先设置拍摄角度的摄像机获取图像数据，并采集惯性传感器的IMU数据，并将所述图像数据输入至特征提取匹配模块，将所述IMU数据输入至运动状态检测模块；
所述特征提取匹配模块用于接收所述图像数据并进行特征处理，利用特征提取算子提取所述图像数据的特征信息，并追踪不同图像间的对应特征点，按照时间顺序将所述特征点存储在特征仓库中；以及将特征处理后的图像数据输入至运动状态检测模块；
所述运动状态检测模块用于接收所述IMU数据和特征处理后的图像数据，并基于IMU数据和特征处理后的图像数据判断飞行器的运动状态；若飞行器为振动、悬停或旋转状态，则执行惯性递推模块；若飞行器为静止状态，则执行惯性递推模块，并进入静止参数更新模块；若飞行器为运动状态，则执行惯性递推模块，并进入联合最优化估计模块；
所述惯性递推模块用于基于IMU数据对飞行器的姿态、速度、位置状态进行更新；
所述静止参数更新模块用于利用ZUPT滤波器估计IMU数据的陀螺零偏参数，利用加速度计观测值计算横滚角和俯仰角，并将所述陀螺零偏参数、横滚角和俯仰角数据输入至联合最优化估计模块；
所述联合最优化估计模块用于将图像数据中的图像作为关键帧，并在关键帧数量或时长达到阈值时进行视觉重建，得到每个关键帧的位置姿态变化量，并利用预积分模型计算每个关键帧之间的姿态、速度和位置的变化量，并将所述每个关键帧之间的姿态、速度和位置的变化量作为观测量，基于观测量和飞行器的状态量通过图优化模型计算最优函数，按照预设的迭代次数对最优函数进行迭代计算，并输出对应的初始化参数；对所述初始化参数进行初始化检查，若检查通过则将初始化参数作为最优化参数传输给飞行器的导航系统。
本发明实施例提供一种无人机的融合定位初始化方法，包括：
利用数据采集模块通过预先设置拍摄角度的摄像机获取图像数据，并采集惯性传感器的IMU数据；
利用特征提取匹配模块进行特征处理，特征提取算子提取所述图像数据的特征信息，并追踪不同图像间的对应特征点，按照时间顺序将所述特征点存储在特征仓库中；
利用运动状态检测模块基于IMU数据和特征处理后的图像数据判断飞行器的运动状态；
若飞行器为振动、悬停或旋转状态，则利用惯性递推模块基于IMU数据对飞行器的姿态、速度、位置状态进行更新；
若飞行器为静止状态，则获取惯性递推模块更新后的姿态、速度、位置状态量，并利用ZUPT滤波器估计IMU数据的陀螺零偏参数，利用加速度计观测值计算横滚角和俯仰角；
若飞行器为运动状态，则记录惯性递推模块的IMU数据，并利用联合最优化估计模块将图像数据中的图像作为关键帧，并在关键帧数量或时长达到阈值时进行视觉重建，得到每个关键帧的位置姿态变化量，并利用预积分模型计算每个关键帧之间的姿态、速度和位置的变化量，并将所述每个关键帧之间的姿态、速度和位置的变化量作为观测量，基于观测量和飞行器的状态量通过图优化模型计算最优函数，按照预设的迭代次数对最优函数进行迭代计算，并输出对应的初始化参数；对所述初始化参数进行初始化检查，若检查通过则将初始化参数作为最优化参数传输给飞行器的导航系统。
本发明实施例提供了一种无人机的融合定位初始化系统及方法，其中，所述无人机的融合定位初始化系统包括：数据采集模块、特征提取匹配模块、运动状态检测模块、惯性递推模块、静止参数更新模块和联合最优化估计模块；所述数据采集模块用于通过预先设置拍摄角度的摄像机获取图像数据，并采集惯性传感器的IMU数据，并将所述图像数据输入至特征提取匹配模块，将所述IMU数据输入至运动状态检测模块；所述特征提取匹配模块用于接收所述图像数据并进行特征处理，利用特征提取算子提取所述图像数据的特征信息，并追踪不同图像间的对应特征点，按照时间顺序将所述特征点存储在特征仓库中；以及将特征处理后的图像数据输入至运动状态检测模块；所述运动状态检测模块用于接收所述IMU数据和特征处理后的图像数据，并基于IMU数据和特征处理后的图像数据判断飞行器的运动状态；若飞行器为振动、悬停或旋转状态，则执行惯性递推模块；若飞行器为静止状态，则执行惯性递推模块，并进入静止参数更新模块；若飞行器为运动状态，则执行惯性递推模块，并进入联合最优化估计模块；所述惯性递推模块用于基于IMU数据对飞行器的姿态、速度、位置状态进行更新；所述静止参数更新模块用于利用ZUPT滤波器估计IMU数据的陀螺零偏参数，利用加速度计观测值计算横滚角和俯仰角，并将所述陀螺零偏参数、横滚角和俯仰角数据输入至联合最优化估计模块；所述联合最优化估计模块用于将图像数据中的图像作为关键帧，并在关键帧数量或时长达到阈值时进行视觉重建，得到每个关键帧的位置姿态变化量，并利用预积分模型计算每个关键帧之间的姿态、速度和位置的变化量，并将所述每个关键帧之间的姿态、速度和位置的变化量作为观测量，基于观测量和飞行器的状态量通过图优化模型计算最优函数，按照预设的迭代次数对最优函数进行迭代计算，并输出对应的初始化参数；对所述初始化参数进行初始化检查，若检查通过则将初始化参数作为最优化参数传输给飞行器的导航系统。本发明实施例利用运动状态检测模块获取飞行器当前的飞行状态，并根据不同的飞行状态采用不同方法进行初始化定位参数，并且在进行初始化过程中使用结合IMU预积分的联合最优化方法，以同时估计飞行器速度、姿态，以及零偏误差、尺度因子参数。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种无人机的融合定位初始化系统的示意性框图；
图2为本发明实施例所提供的一种无人机的融合定位初始化系统的摄像机拍摄过程简图；
图3为本发明实施例所提供的一种无人机的融合定位初始化方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的一种无人机的融合定位初始化系统的示意性框图，该无人机的融合定位初始化系统包括：数据采集模块101、特征提取匹配模块102、运动状态检测模块103、惯性递推模块104、静止参数更新模块105和联合最优化估计模块106；
所述数据采集模块101用于通过预先设置拍摄角度的摄像机获取图像数据，并采集惯性传感器的IMU数据，并将所述图像数据输入至特征提取匹配模块102，将所述IMU数据输入至运动状态检测模块103；
所述特征提取匹配模块102用于接收所述图像数据并进行特征处理，利用特征提取算子提取所述图像数据的特征信息，并追踪不同图像间的对应特征点，按照时间顺序将所述特征点存储在特征仓库中；以及将特征处理后的图像数据输入至运动状态检测模块103；
所述运动状态检测模块103用于接收所述IMU数据和特征处理后的图像数据，并基于IMU数据和特征处理后的图像数据判断飞行器的运动状态；若飞行器为振动、悬停或旋转状态，则执行惯性递推模块104；若飞行器为静止状态，则执行惯性递推模块104，并进入静止参数更新模块105；若飞行器为运动状态，则执行惯性递推模块104，并进入联合最优化估计模块106；
所述惯性递推模块104用于基于IMU数据对飞行器的姿态、速度、位置状态进行更新；
所述静止参数更新模块105用于利用ZUPT滤波器估计IMU数据的陀螺零偏参数，利用加速度计观测值计算横滚角和俯仰角，并将所述陀螺零偏参数、横滚角和俯仰角数据输入至联合最优化估计模块106；
所述联合最优化估计模块106用于将图像数据中的图像作为关键帧，并在关键帧数量或时长达到阈值时进行视觉重建，得到每个关键帧的位置姿态变化量，并利用预积分模型计算每个关键帧之间的姿态、速度和位置的变化量，并将所述每个关键帧之间的姿态、速度和位置的变化量作为观测量，基于观测量和飞行器的状态量通过图优化模型计算最优函数，按照预设的迭代次数对最优函数进行迭代计算，并输出对应的初始化参数；对所述初始化参数进行初始化检查，若检查通过则将初始化参数作为最优化参数传输给飞行器的导航系统。
在本实施例中，在数据采集模块101获取惯性传感器的IMU数据以及图像数据，IMU数据包括惯性传感器的加速度计与陀螺仪观测数据；将图像数据输入特征提取匹配模块102，所述特征提取匹配模块102通过特征提取算子提取图像数据的特征信息，并追踪不同图像间的对应特征点，根据时间顺序存储在特征仓库中；运动状态检测模块103接收IMU数据以及经过特征处理的图像数据，并根据所述IMU数据和图像数据判断飞行器的运动状态；若飞行器为振动、悬停或旋转状态，则进入惯性递推模块104；若飞行器为静止状态，则先执行惯性递推模块104再进入静止参数更新模块105；若飞行器为运动状态，则先执行惯性递推模块104再进入联合最优化估计模块106。
传统竖直向下的无人机相机拍摄方式在垂直起飞过程中无法产生有效视差。即使部分情况能探测到视差变化，也是由于飞行器本身的震荡造成的，而不是稳定可靠的视差变化。本实施例将相机旋转一定角度，使用前置摄像的方式产生视差，从而完成视觉参数求解过程。如图2所示，在垂直起飞的不同位置，拥有前置相机的视场角会发生充电，产生可靠稳定的视差。当垂直起飞过程完成后，可调整相机垂直向下拍摄，获得更大视场的地面信息。垂直向下的相机在飞行器将正常飞行时能够产生足够的视差变化。
具体的，飞行器的运动状态判断依据为：以相邻图像的视差的变化为依据的视差检测，和以加速度、角速度变化幅度为依据(如加速度计时间序列的方差)的IMU检测。在垂直起飞的过程中，系统会根据不同运动状态，采用不同的初始化策略。
当IMU检测功能检测为静止，视差分析为无足够视察时，则判定飞行器静止，先通过惯性递推模块104执行惯性递推过程，再进入静止参数更新模块105。
当IMU检测功能检测为运动，视差分析为无足够视察，则判定飞行器处于振动、悬停或旋转的状态。一般出现该状态是飞行器刚离开地面，或者爬升到一定高度后的悬停时期。在该状态下既无法使用静止的约束条件，又没有足够的图像视差使用视觉定位，因此初始化参数不可用。执行惯性递推后，等待新的观测值数据序列，不进行参数求解。(当飞行器处于刚起飞时期的悬停，惯导无有效零偏改正，容易产生定位错误，应减少处于该时段的时间；当飞行器在爬升后悬停，参数估计基本完成，惯性递推可靠性增加，定位精度不会过多下降。)
当IMU检测功能检测为运动，视差分析为有足够视差，则判定飞行器运动，在垂直起飞的过程中表现为飞行器爬升高度。该状态是初始化过程的核心，联合最优化估计模块106先获取惯性递推模块104的IMU数据，然后求解相关参数。该过程需要检测是否收集到足够的图像关键帧用于迭代计算。同时在静止参数更新模块105得到的参数也将引入最优化联合求解过程。若满足迭代终止条件，判断参数并无异常，则初始化成功，否则重新回到数据获取环节，重新收集数据。初始化过程完成后，将参数传入导航系统，飞行器进入正常飞行模式，初始化系统结束。
本实施例中，所述惯性递推模块104使用IMU数据的原始观测值，使用积分手段，对系统自身的姿态、速度、位置状态随时间的变化进行估计。IMU数据的原始观测值等于真值、零偏误差与白噪声的和，加速度计需考虑重力加速度在机身坐标系投影分量的影响。
Figure BDA0003675238370000071
Figure BDA0003675238370000072
其中，下标B表示机身坐标系，下标W表示世界坐标系，一般为以某个地表经纬点为原点的大地坐标系(三维笛卡尔坐标系)。
Figure BDA0003675238370000073
表示在机身坐标系B下观测的从世界坐标系W到机身坐标系B的角速度观测值；BωWB表示在机身坐标系B下从世界坐标系W到机身坐标系B的角速度真值；bg表示机身坐标系B下陀螺仪零偏误差；ηg表示角速度白噪声。
Figure BDA0003675238370000074
表示在机身坐标系B下观测的加速度观测值；Wa表示在世界坐标系W的加速度真值；ba表示机身坐标系B下加速度零偏误差；ηa表示加速度白噪声，
Figure BDA0003675238370000075
表示世界坐标系W到机身坐标系B的旋转矩阵；Wg表示在世界坐标系W下的重力加速度。
惯性递推经过Δt(Δt为上一次惯性递推到当次惯性递推之间所经过的时间，即相邻IMU观测值的时间差)，飞行器的运动状态(旋转矩阵R，世界坐标系W下的速度为v，世界坐标系W下的位移为p)变化量表示为：
Figure BDA0003675238370000081
Figure BDA0003675238370000082
Figure BDA0003675238370000083
其中，ηgd，ηad表示递推过程中的白噪声，
Figure BDA0003675238370000084
为角速度观测值，
Figure BDA0003675238370000085
为加速度观测值。由于初始化参数存在误差(如惯性器件的零偏误差、初始姿态精度)，惯性递推在没有正确初始化时会产生较大偏差。
本实施例中，当IMU运动检测为静止，视差分析为视差不足时，进入静止参数更新模块105，该模块主要分为两部分，一方面使用ZUPT(Zero-velocity UPdaTe零速更新)滤波器估计陀螺零偏参数，另一方面使用加速度计观测值计算横滚角roll、俯仰角pitch。
ZUPT滤波器中使用传统惯性导航的EKF模型，改正参数只考虑姿态相关的陀螺零偏。在静止状态下假设速度真值为零，零速度残差为零速度真值与惯性递推输出的速度之差。EKF考虑了不同状态量的方差与协方差关系，随着不同时刻的零速度残差观测值不断进入滤波，陀螺零偏值的估计会越来越准确。保存ZUPT滤波器的陀螺零偏参数，并加入联合最优化估计模块106。
使用加速度计观测值(xyz三个方向的分量)计算横滚角roll、俯仰角pitch计算公式如下：
Figure BDA0003675238370000086
Figure BDA0003675238370000087
相比直接单次计算角度，将计算出的角度作为新的观测值，输入滤波器中，不断更新姿态角的方法更为可靠。需要注意的是此时方向角yaw不可观测，即ZUPT无法求取yaw角。
本实施例中，当运动状态检测模块103的检测结果为飞行器处于运动状态且视差足够时，进入联合最优化估计模块106。联合最优化估计模块106接收图像数据，并将图像作为关键帧，当关键帧的数量达到一定数量或关键帧总时长满足时间要求(如运动经过3s)时，则将保留所有关键帧的图像窗口并进行视觉三维重建。关键帧筛选的方式同运动状态检测模块视差分析一致，即保证相邻两个关键帧之间的视差足够大。不同的是，此时相邻两个关键帧间隔时间不能过大，若时间间隔过大则需要清空关键帧窗口，重新统计。
视觉三维重建步骤的具体过程为：执行Structure from Motion(运动恢复结构)，使用关键帧之间的同名图像点，恢复摄影机轨迹，得到每个关键帧的位置姿态信息。由于单目相机的使用，关键帧的位姿与真实坐标相比缺少尺度信息，尺度因子会在接下来的最优化估计步骤中求出。将一段时间内收集的所有关键帧存入图像窗口中，窗口的大小可以根据时间选定，如在5秒内，保证关键帧图像不能过少。视觉三维重建访问每个关键帧的特征仓库。首先选取与最新存入图像窗口的关键帧视差最大的图像，将其作为图像坐标系的原点。使用特征仓库同名特征点信息，应用核线几何，求解图像间相对位置与相对姿态的变化，相对位置使用三维位移矢量表示，相对姿态使用方向余弦或四元数表示(有三个自由度)。确定两幅图像的位置姿态关系后，使用三角测量确定一组同名像点对应的同一三维坐标。对于其他关键帧则引入摄影机模型，使用2D-3D关系恢复所有关键帧在图像坐标系下的位置姿态信息，并使用光束法平差(BA算法)优化所有的计算结果。
IMU预积分模型如下：
Figure BDA0003675238370000091
Figure BDA0003675238370000092
Figure BDA0003675238370000093
其中，Ri，vi，pi表示i时刻的状态，Rj，vj，pj表示j时刻的状态；
Figure BDA0003675238370000094
表示从i时刻到j时刻的状态变化量观测值，即预积分观测值；δφij，δvij，δpij表示从i时刻到j时刻的状态量误差。IMU预积分在两个关键帧内计算，得到由惯性观测值计算的关键帧之间的姿态、速度、位置变化。IMU预积分作为一类观测值，在最优化估计步骤中使用。
最优化估计步骤：最优化估计采用图优化模型，状态量表示为相机尺度因子s，飞行器姿态Rwg(Rwg只由roll，pitch两个参数决定，方向角在此过程中不可观测)，惯性器件零偏误差b(包含加速度计和陀螺仪)，每个关键帧对应速度。存储的估计参数作为此时参数的初始值，帮助计算正确收敛，具体计算公式如下：
Figure BDA0003675238370000101
观测值为预积分得到的相邻关键帧之间的状态量姿态、速度、位置的变化量，以及由三维重建获得的关键帧之间的位置和和姿态Ti(pi，Ri)。若参数为真值，则预积分得到的位姿变化量与三维重建得到的变化量相同。因此，残差可表示为位姿的差值。公式为：
Figure BDA00036752383700001010
Figure BDA0003675238370000102
Figure BDA0003675238370000103
Figure BDA0003675238370000104
其中，
Figure BDA0003675238370000105
表示从i时刻到j时刻经过Δt时间最优化模型状态量残差，
Figure BDA0003675238370000106
Figure BDA0003675238370000107
分别表示姿态、速度、姿态残差，其以状态量的方程形式给出。
使用最大后验估计，最小化目标函数的负对数，即最小化所有先验部分rp与残差
Figure BDA0003675238370000108
的和。
Figure BDA0003675238370000109
求解最优化目标函数可以使用经典的高斯牛顿方法或者Levenberg-Marquardt方法。上文建立了状态参数与残差的函数模型关系，以此求取雅可比矩阵，完成最优化计算。
每次迭代计算出最优化状态量的改正数，改正初始化参数，最优化迭代会根据设定的最大迭代数(如10次)自动终止迭代。输出的参数需要再次进行检查，若发现求解错误(如求解零偏值过大，超过理论范围)，则清空当前关键帧，返回初始化失败，重新进入数据获取模块。若通过参数检查，则完成飞行器系统初始化，将参数传输给飞行器的导航系统。
在一实施例中，所述数据采集模块101包括：IMU数据采集模块以及图像数据采集模块；
所述IMU数据采集模块用于利用加速度计获取机身坐标系下的三方向加速度，以及利用陀螺仪获取机身坐标系下的角速度；
所述图像数据采集模块用于利用单目相机按照预设的采样频率拍摄图像，使图像数据与IMU数据进行时间同步。
在本实施例中，IMU数据采集模块利用加速度计获取机身坐标系下的三方向加速度，陀螺仪获取机身坐标系下的角速度，两者统称为IMU数据；所述图像数据采集模块通过单目相机按照预设的采样频率拍摄图像，得到图像数据。
IMU数据会以较高频率给出(如200Hz)，需要进行严格的时间同步，一般惯性传感器已经输出了信号端同步的IMU数据。若输出的IMU数据未同步，则需要软件层面的时间同步，如对原始观测进行差值补偿。图像数据一般是三通道RGB像素信息，采样频率低于惯性器件(如10Hz)。图像数据与IMU数据的时间同步，是保证某一帧的图像与IMU某个采样点对齐。
在一实施例中，所述特征提取匹配模块102包括：特征点处理模块；
所述特征点处理模块用于利用特征检测器提取已输入图像中的特征点，并通过目标追踪算法获取特征点在新输入图像的同名特征点的对应图像坐标，并将所述特征点在不同图像中的图像坐标存储在特征仓库中。
在本实施例中，通过特征检测器提取每张图像中的特征点，利用目标追踪算法对已提取的特征点进行追踪，获取特征点在新输入图像中的同名特征点对应的图像坐标，并存储至特征仓库内。其中，所述特征检测器可以采用Harris特征检测器。
具体的，输入图像首先进行图像预处理(如直方图均衡化)，对于已检测的特征点，通过KLT光流追踪算法获取该特征点在新输入图像的同名特征点的对应图像坐标。KLT光流追踪算法假定前后两帧图像亮度不变，即当前时刻图像像素灰度表示为I(x，y，t)，经过时间τ，同一个像素点在图像上水平垂直方向移动了u(x，y)和v(X，y)，得到对应同名图像点J(x′，y′，t+τ)：
I(x，y，t)＝I(x+u(x，y)，y+v(x，y)，t+τ)＝J(x′，y′，t+τ)
对应的同名特征点的位置将根据同一个像素点在图像上的位移进行搜索(寻找同名像素点的过程为：上一帧图像坐标为I(x，y)，根据系统自身的速度估计偏移量，在新的一帧同名像素点坐标为J(x，y)。但是一般认为J(x，y)不够准确，需要求解图像坐标的改正dX，dy，即I(x，y)对应的真实同名点坐标为J(x+dx，y+dy)。)，即寻找像素偏移量最小化局部窗口w内亮度的平方和：
Figure BDA0003675238370000121
若未检测到足够的特征点，则运行Harris特征检测器提取新特征点。Harris算子根据图像灰度的变化提取特征角点。
同一个特征点在不同图像的图像坐标最终存储在特征仓库中，作为视觉定位的输入数据。特征仓库储存所有提取出的特征点，每个特征点包含三维坐标以及在每个可视图像内的二维图像平面坐标。
在一实施例中，所述运动状态检测模103块包括IMU静止检测模块和视差检测模块；
所述IMU静止检测模块用于计算一段时间内的加速度与角速度的方差，并分别将加速度方差与加速度阈值进行比较，角速度方差与角速度阈值进行比对；
所述视差检测模块用于获取一段时间内的连续观测图像，并计算相邻图像的同名特征点偏移量的均值，并作为视差，获取所述图像的平均视差并与预设阈值进行比较。
在本实施例中，通过IMU静止检测模块计算一段时间内的加速度与角速度的方差，通过视差检测模块检测相邻帧图像的视差变化。
具体的，运动状态的的判断方式分两类：由惯性传感器决定的IMU静止检测和由图像视差决定的视差分析。
IMU静止检测分为陀螺仪数据静止检测和加速度计静止检测。简单有效的静止检测是判断一段时间内加速度与角速度变化的方差。200Hz数据在两秒钟内有400个IMU采样点，N＝400，机身坐标系(上标b)的加速度(acceleration缩写为acc，传感器观测值加速度表示为字母a)方差表示为：
Figure BDA0003675238370000122
Figure BDA0003675238370000123
表示机身坐标系(上标b)下第i个时刻加速度绝对值，即三轴加速度向量的模长；
Figure BDA0003675238370000124
表示机身坐标系下加速度的平均值。
陀螺仪(gyroscale缩写为gyr，传感器观测值角速度表示为w)给出的角速度的方差表示为
Figure BDA0003675238370000131
Figure BDA0003675238370000132
表示机身坐标系(上标b)下第i个时刻角速度的绝对值，即三轴角速度向量的模长；
Figure BDA0003675238370000133
表示机身坐标系下角速度的平均值。
通过以下公式判断飞行器的运动状态：
Figure BDA0003675238370000134
其中，thacc为加速度阈值，thgyr为角速度阈值。则加速度和角速度均大于对应的阈值时，计算结果为1，表示飞行器静止；否则为0，表示飞行器非静止。飞行器静止，加速度和角速度在理想状态下为值零，方差为零。在设置对应的阈值时，受噪声的影响，当加速度和角速度的方差计算值较小，应认定飞行器静止。惯性传感器由于采样频率高，对于飞行器轻微的抖动和旋转敏感。使用IMU静止检测可以区分飞行器非静止状态(包括飞行、悬停、旋转)与完全静止状态。完全静止状态时，系统进入静止参数更新模块。由于存在悬停状态，可以将阈值设置得更加严格，保证飞行器检测静止以及静止参数更新一定是正确的。对于一些难以判断的状态，可以不做特殊处理，按悬停等非静止状态处理。
视差分析是根据一段时间内连续图像的特征追踪，计算相邻图像的视差变化，判断飞行器当前的飞行状态。同惯性器件类似，视差分析需要收集一段时间内的连续观测图像，该部分使用特征提取与匹配模块的输出，即原始图像信号被转化为不同图像的同名特征点。视差被定义为两张相邻图像的所有同名特征点偏移量的均值。设在保留M张图像的特征库中，第k张图像与第k-1张图像之间有N个特征同名像点(u，v)k，i，(u，v)k-1，i，(u，v)表示二维图像坐标。其对应视差表示为
Figure BDA0003675238370000135
视差分析使用阈值与M-1组图像的平均视差比较，即
Figure BDA0003675238370000136
State_disparity表示视差分析的结果，若视差分析结果为1，则表示有足够视差，若视差分析结果为0，则表示视差不足。公式中的判别条件使用了一段时间内所有相邻图像视差的均值。视差分析判断是否能够进行视觉定位与重建。视觉定位的本质是使用特征点图像上的二维坐标(2个自由度)恢复其三维坐标(3个自由度)，必须使用至少两张图像上观测到的同一个特征点的图像坐标(同名特征点)。如果两张图像视差为零，则同名特征点重合，无法构建成像三角几何，计算特征点三维坐标。如果视差过小，则导致计算误差大，三维坐标精度不足。只有足够的视差才能由不同时间的三角测量用2D图像点恢复三维坐标。当IMU判断为非静止，且无足够视差时，系统判断飞行器振动、悬停或旋转。此时无法使用视觉定位，因此只进行惯性递推，并回到数据获取模块。
请参阅图3，图3为本发明实施例提供的一种无人机的融合定位初始化方法的流程示意图，该无人机的融合定位初始化方法包括：
S201、利用数据采集模块通过预先设置拍摄角度的摄像机获取图像数据，并采集惯性传感器的IMU数据；
S202、利用特征提取匹配模块进行特征处理，特征提取算子提取所述图像数据的特征信息，并追踪不同图像间的对应特征点，按照时间顺序将所述特征点存储在特征仓库中；
S203、利用运动状态检测模块基于IMU数据和特征处理后的图像数据判断飞行器的运动状态；
S204、若飞行器为振动、悬停或旋转状态，则利用惯性递推模块基于IMU数据对飞行器的姿态、速度、位置状态进行更新；
S205、若飞行器为静止状态，则获取惯性递推模块更新后的姿态、速度、位置状态量，并利用ZUPT滤波器估计IMU数据的陀螺零偏参数，利用加速度计观测值计算横滚角和俯仰角；
S206、若飞行器为运动状态，则记录惯性递推模块的IMU数据，并利用联合最优化估计模块将图像数据中的图像作为关键帧，并在关键帧数量或时长达到阈值时进行视觉重建，得到每个关键帧的位置姿态变化量，并利用预积分模型计算每个关键帧之间的姿态、速度和位置的变化量，并将所述每个关键帧之间的姿态、速度和位置的变化量作为观测量，基于观测量和飞行器的状态量通过图优化模型计算最优函数，按照预设的迭代次数对最优函数进行迭代计算，并输出对应的初始化参数；对所述初始化参数进行初始化检查，若检查通过则将初始化参数作为最优化参数传输给飞行器的导航系统。
在一实施例中，所述步骤S201，包括：
利用加速度计获取机身坐标系下的三方向加速度，以及利用陀螺仪获取机身坐标系下的角速度，根据加速度和角速度获取IMU数据；
利用单目相机按照预设的采样频率拍摄图像，得到图像数据，并使图像数据与IMU数据进行时间同步。
在一实施例中，所述步骤S202，包括：
利用特征检测器提取已输入图像中的特征点，并通过目标追踪算法获取特征点在新输入图像的同名特征点的对应图像坐标，并将所述特征点在不同图像中的图像坐标存储在特征仓库中。
在一实施例中，所述步骤S203，包括：
计算一段时间内的加速度与角速度的方差，并分别将加速度方差与加速度阈值进行比较，角速度方差与角速度阈值进行比对；
以及，获取一段时间内的连续观测图像，并计算相邻图像的同名特征点偏移量的均值，并作为视差，获取所述图像的平均视差并与预设阈值进行比较，根据视差比较结果以及加速度与角速度的方差比对结果判断飞行器的当前飞行状态。
在一实施例中，所述计算一段时间内的加速度与角速度的方差，包括：
利用以下公式计算加速度方差：
Figure BDA0003675238370000151
其中，
Figure BDA0003675238370000152
表示机身坐标系下第i个时刻加速度绝对值；
Figure BDA0003675238370000153
表示机身坐标系下加速度的平均值，N为采样点数量；
利用以下公式计算角速度方差：
Figure BDA0003675238370000154
其中，
Figure BDA0003675238370000155
表示机身坐标系下第i个时刻角速度的绝对值；
Figure BDA0003675238370000156
表示机身坐标系下角速度的平均值，N为采样点数量。
在一实施例中，所述获取一段时间内的连续观测图像，并计算相邻图像的同名特征点偏移量的均值，并作为视差，获取所述图像的平均视差并与预设阈值进行比较，包括：
利用以下公式计算视差：
Figure BDA0003675238370000161
其中，(u，v)k，i为具有相同特征名的特征点在第k张图像上的位置，(u，v)k-1，i为具有相同特征名的特征点在第k-1张图像上的位置，(u，v)表示二维图像坐标；
利用以下公式进行视差比较：
Figure BDA0003675238370000162
其中，State-disparity表示视差分析的结果，M为计算视差的两张图像组的总数，thdisparity为预设阈值，otherwise表示视差分析的结果为其他情况；若视差分析结果为1，则表示有足够视差，若视差分析结果为0，则表示视差不足
关于上述方法实施例的技术细节，与前面系统实施例的内容对应，故此处不再赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种无人机的融合定位初始化系统，其特征在于，包括：数据采集模块、特征提取匹配模块、运动状态检测模块、惯性递推模块、静止参数更新模块和联合最优化估计模块；
所述数据采集模块用于通过预先设置拍摄角度的摄像机获取图像数据，并采集惯性传感器的IMU数据，并将所述图像数据输入至特征提取匹配模块，将所述IMU数据输入至运动状态检测模块；
所述特征提取匹配模块用于接收所述图像数据并进行特征处理，利用特征提取算子提取所述图像数据的特征信息，并追踪不同图像间的对应特征点，按照时间顺序将所述特征点存储在特征仓库中；以及将特征处理后的图像数据输入至运动状态检测模块；
所述运动状态检测模块用于接收所述IMU数据和特征处理后的图像数据，并基于IMU数据和特征处理后的图像数据判断飞行器的运动状态；若飞行器为振动、悬停或旋转状态，则执行惯性递推模块；若飞行器为静止状态，则执行惯性递推模块，并进入静止参数更新模块；若飞行器为运动状态，则执行惯性递推模块，并进入联合最优化估计模块；
所述惯性递推模块用于基于IMU数据对飞行器的姿态、速度、位置状态进行更新；
所述静止参数更新模块用于利用ZUPT滤波器估计IMU数据的陀螺零偏参数，利用加速度计观测值计算横滚角和俯仰角，并将所述陀螺零偏参数、横滚角和俯仰角数据输入至联合最优化估计模块；
所述联合最优化估计模块用于将图像数据中的图像作为关键帧，并在关键帧数量或时长达到阈值时进行视觉重建，得到每个关键帧的位置姿态变化量，并利用预积分模型计算每个关键帧之间的姿态、速度和位置的变化量，并将所述每个关键帧之间的姿态、速度和位置的变化量作为观测量，基于观测量和飞行器的状态量通过图优化模型计算最优函数，按照预设的迭代次数对最优函数进行迭代计算，并输出对应的初始化参数；对所述初始化参数进行初始化检查，若检查通过则将初始化参数作为最优化参数传输给飞行器的导航系统。
2.根据权利要求1所述的无人机的融合定位初始化系统，其特征在于，所述数据采集模块包括：IMU数据采集模块以及图像数据采集模块；
所述IMU数据采集模块用于利用加速度计获取机身坐标系下的三方向加速度，以及利用陀螺仪获取机身坐标系下的角速度；
所述图像数据采集模块用于利用单目相机按照预设的采样频率拍摄图像，使图像数据与IMU数据进行时间同步。
3.根据权利要求1所述的无人机的融合定位初始化系统，其特征在于，所述特征提取匹配模块包括：特征点处理模块；
所述特征点处理模块用于利用特征检测器提取已输入图像中的特征点，并通过目标追踪算法获取特征点在新输入图像的同名特征点的对应图像坐标，并将所述特征点在不同图像中的图像坐标存储在特征仓库中。
4.根据权利要求1所述的无人机的融合定位初始化系统，其特征在于，所述运动状态检测模块包括IMU静止检测模块和视差检测模块；
所述IMU静止检测模块用于计算一段时间内的加速度与角速度的方差，并分别将加速度方差与加速度阈值进行比较，角速度方差与角速度阈值进行比对；
所述视差检测模块用于获取一段时间内的连续观测图像，并计算相邻图像的同名特征点偏移量的均值，并作为视差，获取所述图像的平均视差并与预设阈值进行比较。
5.一种无人机的融合定位初始化方法，其特征在于，包括：
利用数据采集模块通过预先设置拍摄角度的摄像机获取图像数据，并采集惯性传感器的IMU数据；
利用特征提取匹配模块进行特征处理，特征提取算子提取所述图像数据的特征信息，并追踪不同图像间的对应特征点，按照时间顺序将所述特征点存储在特征仓库中；
利用运动状态检测模块基于IMU数据和特征处理后的图像数据判断飞行器的运动状态；
若飞行器为振动、悬停或旋转状态，则利用惯性递推模块基于IMU数据对飞行器的姿态、速度、位置状态进行更新；
若飞行器为静止状态，则获取惯性递推模块更新后的姿态、速度、位置状态量，并利用ZUPT滤波器估计IMU数据的陀螺零偏参数，利用加速度计观测值计算横滚角和俯仰角；
若飞行器为运动状态，则记录惯性递推模块的IMU数据，并利用联合最优化估计模块将图像数据中的图像作为关键帧，并在关键帧数量或时长达到阈值时进行视觉重建，得到每个关键帧的位置姿态变化量，并利用预积分模型计算每个关键帧之间的姿态、速度和位置的变化量，并将所述每个关键帧之间的姿态、速度和位置的变化量作为观测量，基于观测量和飞行器的状态量通过图优化模型计算最优函数，按照预设的迭代次数对最优函数进行迭代计算，并输出对应的初始化参数；对所述初始化参数进行初始化检查，若检查通过则将初始化参数作为最优化参数传输给飞行器的导航系统。
6.根据权利要求5所述的无人机的融合定位初始化方法，其特征在于，所述通过预先设置拍摄角度的摄像机获取图像数据，并采集惯性传感器的IMU数据，包括：
利用加速度计获取机身坐标系下的三方向加速度，以及利用陀螺仪获取机身坐标系下的角速度，根据加速度和角速度获取IMU数据；
利用单目相机按照预设的采样频率拍摄图像，得到图像数据，并使图像数据与IMU数据进行时间同步。
7.根据权利要求5所述的无人机的融合定位初始化方法，其特征在于，所述利用特征提取算子提取所述图像数据的特征信息，并追踪不同图像间的对应特征点，按照时间顺序将所述特征点存储在特征仓库中，包括：
利用特征检测器提取已输入图像中的特征点，并通过目标追踪算法获取特征点在新输入图像的同名特征点的对应图像坐标，并将所述特征点在不同图像中的图像坐标存储在特征仓库中。
8.根据权利要求5所述的无人机的融合定位初始化方法，其特征在于，所述基于IMU数据和特征处理后的图像数据判断飞行器的运动状态，包括：
计算一段时间内的加速度与角速度的方差，并分别将加速度方差与加速度阈值进行比较，角速度方差与角速度阈值进行比对；
以及，获取一段时间内的连续观测图像，并计算相邻图像的同名特征点偏移量的均值，并作为视差，获取所述图像的平均视差并与预设阈值进行比较，根据视差比较结果以及加速度与角速度的方差比对结果判断飞行器的当前飞行状态。
9.根据权利要求8所述的无人机的融合定位初始化方法，其特征在于，所述计算一段时间内的加速度与角速度的方差，包括：
利用以下公式计算加速度方差：
Figure FDA0003675238360000041
其中，
Figure FDA0003675238360000042
表示机身坐标系下第i个时刻加速度绝对值；
Figure FDA0003675238360000043
表示机身坐标系下加速度的平均值，N为采样点数量；
利用以下公式计算角速度方差：
Figure FDA0003675238360000044
其中，
Figure FDA0003675238360000045
表示机身坐标系下第i个时刻角速度的绝对值；
Figure FDA0003675238360000046
表示机身坐标系下角速度的平均值，N为采样点数量。
10.根据权利要求5所述的无人机的融合定位初始化方法，其特征在于，所述获取一段时间内的连续观测图像，并计算相邻图像的同名特征点偏移量的均值，并作为视差，获取所述图像的平均视差并与预设阈值进行比较，包括：
利用以下公式计算视差：
Figure FDA0003675238360000047
其中，(u，v)k，i为具有相同特征名的特征点在第k张图像上的位置，(u，v)k-1，i为具有相同特征名的特征点在第k-1张图像上的位置，(u，v)表示二维图像坐标；
利用以下公式进行视差比较：
Figure FDA0003675238360000048
其中，State_disparity表示视差分析的结果，M为图像组的总数，thdisparity为预设阈值，otherwise表示视差分析的结果为其他情况；若视差分析结果为1，则表示有足够视差，若视差分析结果为0，则表示视差不足。
CN202210628658.1A 2022-06-01 2022-06-01 一种无人机的融合定位初始化系统及方法 Pending CN114910069A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210628658.1A CN114910069A (zh) 2022-06-01 2022-06-01 一种无人机的融合定位初始化系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210628658.1A CN114910069A (zh) 2022-06-01 2022-06-01 一种无人机的融合定位初始化系统及方法

Publications (1)

Publication Number Publication Date
CN114910069A true CN114910069A (zh) 2022-08-16

Family

ID=82769820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210628658.1A Pending CN114910069A (zh) 2022-06-01 2022-06-01 一种无人机的融合定位初始化系统及方法

Country Status (1)

Country Link
CN (1) CN114910069A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272494A (zh) * 2022-09-29 2022-11-01 腾讯科技（深圳）有限公司 相机与惯性测量单元的标定方法、装置和计算机设备
CN115575923A (zh) * 2022-12-08 2023-01-06 千巡科技(深圳)有限公司 一种地面机器人静止判断方法、系统、装置以及存储介质
CN118209137A (zh) * 2024-05-22 2024-06-18 武汉大学 一种利用ArUco码辅助的VIO初始化方法、装置及设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272494A (zh) * 2022-09-29 2022-11-01 腾讯科技（深圳）有限公司 相机与惯性测量单元的标定方法、装置和计算机设备
CN115575923A (zh) * 2022-12-08 2023-01-06 千巡科技(深圳)有限公司 一种地面机器人静止判断方法、系统、装置以及存储介质
CN118209137A (zh) * 2024-05-22 2024-06-18 武汉大学 一种利用ArUco码辅助的VIO初始化方法、装置及设备
CN118209137B (zh) * 2024-05-22 2024-08-02 武汉大学 一种利用ArUco码辅助的VIO初始化方法、装置及设备

Similar Documents

Publication Publication Date Title
CN110044354B (zh) 一种双目视觉室内定位与建图方法及装置
CN106017463B (zh) 一种基于定位传感装置的飞行器定位方法
CN112634451B (zh) 一种融合多传感器的室外大场景三维建图方法
CN114910069A (zh) 一种无人机的融合定位初始化系统及方法
CN107478220B (zh) 无人机室内导航方法、装置、无人机及存储介质
CN110865650B (zh) 基于主动视觉的无人机位姿自适应估计方法
Kelly et al. Combined visual and inertial navigation for an unmanned aerial vehicle
CN108406731A (zh) 一种基于深度视觉的定位装置、方法及机器人
CN112233177B (zh) 一种无人机位姿估计方法及系统
Oskiper et al. Multi-sensor navigation algorithm using monocular camera, IMU and GPS for large scale augmented reality
CN208323361U (zh) 一种基于深度视觉的定位装置及机器人
CN115574816B (zh) 仿生视觉多源信息智能感知无人平台
CN111288989A (zh) 一种小型无人机视觉定位方法
CN113639743B (zh) 一种基于行人步长信息辅助的视觉惯性slam定位方法
CN117739972B (zh) 一种无全球卫星定位系统的无人机进近阶段定位方法
CN110736457A (zh) 一种基于北斗、gps和sins的组合导航方法
CN107942090B (zh) 一种基于模糊星图提取光流信息的航天器角速度估计方法
CN112179373A (zh) 一种视觉里程计的测量方法及视觉里程计
Li et al. Aerial-triangulation aided boresight calibration for a low-cost UAV-LiDAR system
CN117710476A (zh) 基于单目视觉的无人机位姿估计与稠密建图方法
CN113465596A (zh) 一种基于多传感器融合的四旋翼无人机定位方法
Panahandeh et al. Vision-aided inertial navigation using planar terrain features
Kessler et al. Multi-Sensor indoor pedestrian navigation system with vision aiding
Fusini et al. Experimental validation of a uniformly semi-globally exponentially stable non-linear observer for gnss-and camera-aided inertial navigation for fixed-wing uavs
CN117330052A (zh) 基于红外视觉、毫米波雷达和imu融合的定位与建图方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination