CN111880207B - 一种基于小波神经网络的视觉惯性卫星紧耦合定位方法 - Google Patents

一种基于小波神经网络的视觉惯性卫星紧耦合定位方法 Download PDF

Info

Publication number
CN111880207B
CN111880207B CN202010655871.2A CN202010655871A CN111880207B CN 111880207 B CN111880207 B CN 111880207B CN 202010655871 A CN202010655871 A CN 202010655871A CN 111880207 B CN111880207 B CN 111880207B
Authority
CN
China
Prior art keywords
imu
carrier
neural network
moment
gnss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010655871.2A
Other languages
English (en)
Other versions
CN111880207A (zh
Inventor
高唱
曾庆喜
陈则王
吕查德
阚宇超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202010655871.2A priority Critical patent/CN111880207B/zh
Publication of CN111880207A publication Critical patent/CN111880207A/zh
Application granted granted Critical
Publication of CN111880207B publication Critical patent/CN111880207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本发明公开了一种基于小波神经网络的视觉惯性卫星紧耦合定位方法，具体为：安装VO、IMU和GNSS，将三个传感器采集的数据进行轨迹对齐，采用FAST特征点法和光流法跟踪上一个时刻的图像，得到相邻两个时刻图像帧之间的视觉重投影误差，对相邻两个时刻图像帧之间IMU数据进行预积分，并进行协方差传递推导，得到IMU预积分残差，判断能否接收到GNSS信号，若否，将VO和IMU的残差之和输入至训练好的小波神经网络中，得到载体当前的最优位姿估计值；否则，将VO、IMU和GNSS计算到的残差相加，构建非线性优化函数，求解该函数得到载体当前的最优位姿估计值。本发明鲁棒性高，可以在GNSS信号长期失锁时仍保持较高的定位精度。

Description

一种基于小波神经网络的视觉惯性卫星紧耦合定位方法
技术领域
本发明属于无人驾驶多传感器数据融合技术领域。
背景技术
在复杂的道路交通环境下，无人车必须具备实时、全面、准确的定位特性，其定位误差不能超过10cm，如果仍然使用单一的定位方式，无法适用于所有的场景，达到理想的定位效果。所以基于传感器融合的定位方法是现在定位技术研究的主要方向。卫星惯导组合系统是目前应用最广泛的定位系统。但是为了满足无人车厘米级的定位要求，需要使用高性能的惯性测量单元(IMU)，限制了自主导航的发展。加入视觉里程计(VO)辅助定位，可以降低对IMU精度的要求，适合无人车低成本的发展趋势。然而，全球导航卫星系统定位(GNSS)易受到干扰和遮挡，影响GNSS/IMU/VO定位精度。
目前，卫星惯导组合导航系统主要采用基于位置或基于速度的松组合导航方式。在松组合方式下，卫星和惯导各自保持独立工作状态。该组合方式实现简单，应用广泛，但是无法很好地解决信号缺失的问题。当无人车经过丛林高山或者在城市环境中受到遮挡时，很容易导致有效卫星少于4颗，此时卫星导航无法提供准确的位置与速度信息，因此无法实现卫星与惯导的信息融合。为了解决这一问题，有研究将人工智能算法应用到组合导航领域，可以减小传感器的累积误差，加快解算速度，是未来组合导航发展的一个参考方向。近年来，神经网络算法已经被越来越多的应用到组合导航领域，基于神经网络的组合导航系统可以解决单传感器失效的问题，具有计算量小、实时性高、定位精度高的优点，具有很好的应用前景。但是目前的神经网络大多是基于卫星惯导的松组合系统，组合定位系统并没有充分的利用多传感器采集到的测量信息，系统在GNSS长期失锁的场景中不具备很高的定位精度。
发明内容
发明目的：为解决现有技术在GNSS长期失锁的场景中不具备很高的定位精度的问题，本发明提供了一种基于小波神经网络的视觉惯性卫星紧耦合定位方法。
技术方案：本方提供了一种基于小波神经网络的视觉惯性卫星紧耦合定位方法，具体包括如下步骤：
步骤一：在载体上安装双目摄像机VO、惯性传感器IMU和GNSS接收机，组成定位系统；
步骤二：对系统进行初始化，将VO坐标系和IMU坐标系均转换到GNSS的世界坐标系下，并将VO、IMU和GNSS采集的数据进行时间同步；
步骤三：跟踪第k时刻图像帧中的FAST特征点，从而得到第k+1时刻图像帧中的FAST特征点；
步骤四：基于相邻两帧图像之间的FAST特征点，计算该相邻两帧图像之间的VO重投影误差；
步骤五：对第k时刻与第k+1时刻之间IMU测得数据进行预积分，得到IMU误差传递模型，利用该模型对相邻两时刻之间IMU测得数据进行噪声处理，从而计算出相邻两个时刻之间IMU的惯性残差；
步骤六：根据步骤四中的重投影误差和步骤五中的惯性残差，计算得到第k+1时刻时载体位置的估计值；
步骤七：判断GNSS信号是否被遮挡，若否，则根据第k时刻载体位置估计值和第k+1时刻载体位置估计值之差，设置GNSS接收机搜索的频域范围，GNSS接收机在设置的频域范围内对卫星信号进行三维搜索，测得第k+1时刻载体的位置信息，并且以GNSS接收机测得的载体的位置信息与载体实际位置之间的残差、IMU的惯性残差和VO的重投影误差的三者之和最小为目标，建立优化函数，并求解该函数得到第K+1时刻时载体位置的最优估计值；若GNSS信号被遮挡，则转步骤八；
步骤八：将第k时刻和第k+1时刻之间的VO重投影误差与IMU惯性残差之和输入至训练好的小波神经网络中，从而得到第k+1时刻载体位置估计值的修正量，并基于该修正量调整第k+1时刻时载体位置的估计值，从而得到第k+1时刻时载体位置的最优估计值；所述训练好的小波神经网络具体为：在GNSS信号没有被遮挡的情况下，采集n组相邻两个时刻之间的VO重投影误差和IMU惯性残差，将第q组重投影误差和第q组惯性残差之和作为小波神经网络的输入向量，将第q组重投影误差和第q组惯性残差对应的载体位置估计值与载体位置实际值之差作为第q组修正量，并将该修正量作为小波神经网络的输出向量，q＝1，2，…n，基于粒子群算法，对小波神经网络进行训练。
进一步的，所述步骤三中采用光流计算法跟踪第k时刻图像帧中的FAST特征点。
进一步的，所述步骤四中采用多点透视法计算相邻两帧图像之间的VO重投影误差。
进一步的，所述步骤八中的粒子群算法采用改进的粒子群算法，具体为：首先让整个粒子群独立寻找最优位置，从而构造小生境环境，再将各粒子的搜索信息共享，指导每个粒子向最优位置搜索。
进一步的，所述步骤八中小波神经网络训练时激活函数选择莫雷小波函数。
进一步的，所述步骤七中的优化函数为：
Figure BDA0002576710460000031
其中，χ*为视觉-惯性-卫星紧耦合构成的系统状态变量的最优估计值，χ为视觉-惯性-卫星紧耦合构成的系统的状态变量，rG为GNSS接收机测得的载体的位置信息与载体实际位置之间的残差，J为残差对状态变量求导的雅克比，rB(.)为IMU惯性残差函数，
Figure BDA0002576710460000032
为第k时刻到第k+1时刻之间IMU的观测量，
Figure BDA0002576710460000033
为第k时刻到第k+1时刻之间IMU观测量的权重矩阵，C为第k时刻到第k+1时刻之间所有图像帧对应的VO测量值的集合，ρ(.)为重投影误差函数，(l，Cj)为集合C中第j个图像帧的第l个FAST特征点，
Figure BDA0002576710460000034
为集合C中第j个图像帧的第l个FAST特征点的灰度值，
Figure BDA0002576710460000035
为集合C中第j个图像帧的第l个FAST特征点的权重。
进一步的，所述步骤七中设置GNSS接收机搜索的频域具体为：在[-10KHz，10KHz]的频域范围内，以500Hz为频率步长，GNSS接收机搜索的频域根据相邻两个时刻之间载体位置估计值之差的大小呈线性变化，差值越大则搜索的频域越大。
有益效果：本发明提出采用小波神经网络的方式解决GNSS信号经常失锁的问题，小波神经网络是一种有监督学习网络，因为其引入了伸缩因子和平移因子，所以相比于一般的前向神经网络具有更好的逼近能力，收敛速度更快，小波神经网络的训练方法采用改进的小生境粒子群优化算法，可以得到最优的隐藏层神经元数量和最优的权值和阈值，从而得到观测值和优化位姿之差和修正量之间的映射关系，本发明具有很强的鲁棒性，可以在GNSS信号长期失锁时仍保持较高的定位精度。
附图说明
图1是本发明的系统结构图。
图2是本发明的方法流程如。
图3是小波神经网络的示意图。
具体实施方式
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
如图1、2所示，本实施例提供了一种基于小波神经网络的视觉惯性卫星紧耦合定位方法，该方法采用的传感器包括双目摄像头、IMU和GNSS接收机三大部分。双目摄像头用于采集周围环境的图像信息并利用FAST特征点和LK光流法解算相机的位姿估计。IMU用于测量载体的三轴角速度和三轴加速度，由于IMU会受到偏置的随机游走和高斯白噪声的影响，所以在估计系统状态时，还需要对陀螺仪和加速度计的偏置进行估计。GNSS接收机用于测量载体在真实世界中的经纬度坐标，由于GNSS接收机捕获需要搜索的时间较长，所以根据VO和IMU得到的位置信息只对一定范围内的卫星信号进行检测，可以加快GNSS接收机的捕获和跟踪过程。若GNSS出现被遮挡的情况，也可以在重新接收到GNSS信号的时候进行快速重捕。
下面对本实施例具体实现步骤进行说明。
步骤一：在载体上安装固定双目摄像头、IMU传感器和GNSS接收机，准确测量它们的安装方向和平移距离，计算出三个传感器之间的旋转外参和平移外参。根据IMU与摄像头之间的旋转外参和平移外参，先将IMU坐标系旋转并移动到VO坐标系下。再根据摄像头与GNSS接收机之间的旋转外参和平移外参，将VO坐标系旋转并移动到GNSS坐标系下。
步骤二：由于双目摄像头、IMU传感器和GNSS接收机具有不同的工作频率，其中，IMU传感器的采集频率最高，GNSS接收机的采集频率最低。为了得到时间同步的传感器数据，在采集传感器测量数据的时候，给三个传感器一个同步的基准时间，让三个传感器在采集各自的测量结果时，为测量值加上对应的时间戳。最后根据时间戳信息，得到时间同步的视觉测量值、惯性测量值和卫星测量值。
步骤三：对系统参数进行初始化，包括初始位置、初始速度、重力加速度、陀螺仪偏置。根据步骤一计算好的外参将相机测量得到的轨迹和IMU测量得到的轨迹均旋转到世界坐标系下，将三个传感器的轨迹数据对齐。
步骤四：处理双目摄像头采集到的数据。首先提取第k时刻图像帧的FAST特征点，然后在第k+1时刻的图像帧中根据光流计算跟踪上一帧提取到的FAST特征点。其中，FAST特征点的提取方法是对像素点周围像素的亮度进行比较，由于仅进行亮度比较而不用计算复杂的描述子，所以FAST特征点法的速度非常快，具有较好的实时性。
在得到匹配好的FAST特征点对之后，采用PnP(Perspective-n-Point，多点透视)算法，建立基于视觉的重投影误差模型，计算出视觉的重投影误差。
步骤五：由于IMU传感器是组合定位系统所采用的三个传感器中工作频率最快的传感器，能够以200Hz以上的频率实时采集载体的三轴角速度和三轴加速度，所以需要对相邻两个图像帧之间的IMU测量值进行预积分。
得到IMU测量值的预积分之后，推导IMU的误差传递模型，计算得到基于IMU预积分的惯性残差。
根据重投影误差和惯性残差，计算得到第k+1时刻时载体位置的估计值，该估计值为VO/IMU组合定位结果。
步骤六：卫星信号通过天线和射频前端处理后进入GNSS接收机的基带处理模块。GNNS接收机对卫星信号的处理步骤是：第一步，根据相邻两个时刻之间载体的位置估计值之差，设置GNSS的搜索频率范围，使用并行频率捕获算法在该范围的频域上对卫星信号进行三维搜索，得到可见卫星的PRN(伪随机噪声码)码，载波频率的估计值和伪码相位的估计值；第二步，采用双频环路跟踪算法对捕获到的卫星信号进行码环跟踪和载频跟踪，得到载波频率和伪码相位的精确值；第三步，对卫星接收机跟踪环路输出的卫星信号号解调，提取位同步和帧同步信号；第四步，解码导航电文，得到系统时间、星历、历书、卫星时钟的修正参数和电离层延时模型参数；第五步，计算卫星位置，得到GNSS观测的伪距和伪距率，进而得到载体的位置信息。建立GNSS位置约束模型。根据VO和IMU得到的初步位置信息，对一定范围内的卫星进行捕获和跟踪，从而解算GNSS测量出的当前载体位置信息，并计算得到GNSS位测量到的当前载体位置信息与当前时刻载体位置实际值之间的差值；
因为对所有卫星信号进行三维搜索的时间较长，所以根据VO和IMU解算得到的位置信息变化量将卫星信号的搜索范围限定在一定范围内，提高GNSS接收机捕获的速度。当GNSS信号被遮挡时，可以通过这种方式使卫星信号再次出现时可以直接进入到跟踪模块进行跟踪。计算得到基于GNSS的位置残差。
步骤七：在GNSS信号能够稳定输出的情况下，采用改进的粒子群优化算法通过大量的实测数据对小波神经网络进行训练，得到VO和IMU的残差之和与VO/IMU系统输出定位结果调整的修正量二者之间的映射关系(所述修正量为第K+1时刻载体实际位置与VO/IMU组合定位得到的第k+1时刻载体位置估计值之差)。在训练过程中，首先让整个粒子群独立寻找最优位置，以构造小生境环境，再将各粒子的搜索信息共享，指导粒子向最优位置的搜索。
本发明采用具有一个隐藏层的小波神经网络，其结构如图3所示。其中，输入向量VO和IMU的残差之和，输出向量是VO/IMU组合定位结果的修正量，激活函数选择Morlet(莫雷)小波函数。Morlet小波函数是高斯包络下的单频率副正弦函数，表示为：
Figure BDA0002576710460000061
其中，t为时间，ψ(t)是小波函数值；Cm是重构时的归一化常数。选择使用小波神经网络，用小波函数的尺度伸缩因子和时间平移因子代替神经网络中输入层到隐藏层的权值和隐藏层的阈值，可以得到更优的收敛结果，同时可以加快网络收敛速度，避免陷入局部最优的问题。
步骤八：判断当前的GNSS信号强度，若当前GNSS信号可以稳定输出，则将GNSS、IMU和VO测量得到的残差进行联合非线性优化，待优化的状态变量为：
χ＝[x0，x1，…，xn，λ0，λ1，…，λm]
其中，χ是待优化的状态变量；x0，x1，…，xn是载体n个位姿的估计值，它是一个15维的状态向量，包括载体的位置、速度、姿态、IMU陀螺仪偏置和IMU加速度计偏置；λ0，λ1，…，λn为m个特征点的逆深度值。
通过非线性优化的方法寻找到一个最优的状态变量估计值使组合定位系统的残差之和最小，表示为：
Figure BDA0002576710460000062
其中，χ*为视觉-惯性-卫星紧耦合构成的系统状态变量的最优估计值，x为视觉-惯性-卫星紧耦合构成的系统的状态变量，rG为GNSS接收机测得的载体的位置信息与载体实际位置之间的残差，J为残差对状态变量求导的雅克比，rB(.)为IMU惯性残差函数，
Figure BDA0002576710460000063
为第k时刻到第k+1时刻之间IMU的观测量，
Figure BDA0002576710460000064
为第k时刻到第k+1时刻之间IMU观测量的权重矩阵，C为第k时刻到第k+1时刻之间所有图像帧对应的VO测量值的集合，ρ(.)为重投影误差函数，(l，Cj)为集合C中第j个图像帧的第l个FAST特征点，
Figure BDA0002576710460000071
为集合C中第j个图像帧的第l个FAST特征点的灰度值，
Figure BDA0002576710460000072
为集合C中第j个图像帧的第l个FAST特征点的权重。
当GNSS信号受到遮挡物干扰，无法稳定输出时，通过训练好的小波神经网络得到一个修正值。通过这个修正值对VO/IMU系统的输出定位结果进行调整，再输出修正后的定位结果。
本发明一种基于小波神经网络的视觉惯性卫星紧耦合定位方法分为在线训练和预测输出两种模式，当GNSS信号可以稳定输出时，将GNSS观测值、IMU观测值和VO观测值放在一起进行联合优化，并通过GNSS/IMU/VO组合导航的最终输出结果对神经网络进行在线实时训练。当GNSS信号失锁时，采用已经训练好的小波神经网络对VIO系统的输出进行校正，从而减少组合导航系统的误差，提高系统的鲁棒性和定位精度。
本发明一种基于小波神经网络的视觉-惯性-卫星紧耦合定位系统的技术方案为：安装固定双目摄像头、惯性传感器和卫星接收机，测量并计算三个传感器之间的外参，并采集时间同步的传感器观测数据。通过采集到的时间同步数据对GNSS/IMU/VO组合定位系统进行初始化，得到载体的初始位置、初始速度、当地的重力加速度和陀螺仪零偏，将视觉轨迹和惯性轨迹旋转对齐。采用FAST特征点法和LK光流法跟踪图像，得到视觉重投影误差模型。对IMU数据进行预积分，并进行协方差传递推导，得到IMU预积分残差模型。GNSS接收机捕获跟踪卫星信号，解算得到载体当前的位置信息，并计算GNSS的位置残差。判断能否接收到GNSS信号，若可以接收到稳定的GNSS信号，则将VO、IMU和GNSS计算到的残差相加，构建非线性优化问题，通过最小二乘法求解得到载体当前的最优位姿估计值。若当前无法接收到GNSS信号，则将VO和IMU的残差进行联合非线性优化，得到组合定位系统的初始位姿估计值，再根据训练好的小波神经网络对初始位姿估计值进行修正，输出校正后的定位结果。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.一种基于小波神经网络的视觉惯性卫星紧耦合定位方法，其特征在于，具体包括如下步骤：
步骤一：在载体上安装双目摄像机VO、惯性传感器IMU和GNSS接收机，组成定位系统；
步骤二：对系统进行初始化，将VO坐标系和IMU坐标系均转换到GNSS的世界坐标系下，并将VO、IMU和GNSS采集的数据进行时间同步；
步骤三：跟踪第k时刻图像帧中的FAST特征点，从而得到第k+1时刻图像帧中的FAST特征点；
步骤四：基于相邻两帧图像之间的FAST特征点，计算该相邻两帧图像之间的VO重投影误差；
步骤五：对第k时刻与第k+1时刻之间IMU测得数据进行预积分，得到IMU误差传递模型，利用该模型对相邻两时刻之间IMU测得数据进行噪声处理，从而计算出相邻两个时刻之间IMU的惯性残差；
步骤六：根据步骤四中的重投影误差和步骤五中的惯性残差，计算得到第k+1时刻时载体位置的估计值；
步骤七：判断GNSS信号是否被遮挡，若否，则根据第k时刻载体位置估计值和第k+1时刻载体位置估计值之差，设置GNSS接收机搜索的频域范围，GNSS接收机在设置的频域范围内对卫星信号进行三维搜索，测得第k+1时刻载体的位置信息，并且以GNSS接收机测得的载体的位置信息与载体实际位置之间的残差、IMU的惯性残差和VO的重投影误差的三者之和最小为目标，建立优化函数，并求解该函数得到第K+1时刻时载体位置的最优估计值；若GNSS信号被遮挡，则转步骤八；
步骤八：将第k时刻和第k+1时刻之间的VO重投影误差与IMU惯性残差之和输入至训练好的小波神经网络中，从而得到第k+1时刻载体位置估计值的修正量，并基于该修正量调整第k+1时刻时载体位置的估计值，从而得到第k+1时刻时载体位置的最优估计值；所述训练好的小波神经网络具体为：在GNSS信号没有被遮挡的情况下，采集n组相邻两个时刻之间的VO重投影误差和IMU惯性残差，将第q组重投影误差和第q组惯性残差之和作为小波神经网络的输入向量，将第q组重投影误差和第q组惯性残差对应的载体位置估计值与载体位置实际值之差作为第q组修正量，并将该修正量作为小波神经网络的输出向量，q＝1,2,…n，基于粒子群算法，对小波神经网络进行训练；
所述步骤七中的优化函数为：
Figure FDA0003808970240000021
其中，χ*为视觉-惯性-卫星紧耦合构成的系统状态变量的最优估计值，χ为视觉-惯性-卫星紧耦合构成的系统的状态变量，rG为GNSS接收机测得的载体的位置信息与载体实际位置之间的残差，J为残差对状态变量求导的雅克比，rB(.)为IMU惯性残差函数，
Figure FDA0003808970240000022
为第k时刻到第k+1时刻之间IMU的观测量，
Figure FDA0003808970240000023
为第k时刻到第k+1时刻之间IMU观测量的权重矩阵，C为第k时刻到第k+1时刻之间所有图像帧对应的VO测量值的集合，ρ(.)为重投影误差函数，(l,Cj)为集合C中第j个图像帧的第l个FAST特征点，
Figure FDA0003808970240000024
为集合C中第j个图像帧的第l个FAST特征点的灰度值，
Figure FDA0003808970240000025
为集合C中第j个图像帧的第l个FAST特征点的权重。
2.根据权利要求1所述的一种基于小波神经网络的视觉惯性卫星紧耦合定位方法，其特征在于，所述步骤三中采用光流计算法跟踪第k时刻图像帧中的FAST特征点。
3.根据权利要求1所述的一种基于小波神经网络的视觉惯性卫星紧耦合定位方法，其特征在于，所述步骤四中采用多点透视法计算相邻两帧图像之间的VO重投影误差。
4.根据权利要求1所述的一种基于小波神经网络的视觉惯性卫星紧耦合定位方法，其特征在于，所述步骤八中的粒子群算法采用改进的粒子群算法，具体为：首先让整个粒子群独立寻找最优位置，从而构造小生境环境，再将各粒子的搜索信息共享，指导每个粒子向最优位置搜索。
5.根据权利要求1所述的一种基于小波神经网络的视觉惯性卫星紧耦合定位方法，其特征在于，所述步骤八中小波神经网络训练时激活函数选择莫雷小波函数。
6.根据权利要求1所述的一种基于小波神经网络的视觉惯性卫星紧耦合定位方法，其特征在于，所述步骤七中设置GNSS接收机搜索的频域具体为：在[-10KHz,10KHz]的频域范围内,以500Hz为频率步长，GNSS接收机搜索的频域根据相邻两个时刻之间载体位置估计值之差的大小呈线性变化，差值越大则搜索的频域越大。
CN202010655871.2A 2020-07-09 2020-07-09 一种基于小波神经网络的视觉惯性卫星紧耦合定位方法 Active CN111880207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010655871.2A CN111880207B (zh) 2020-07-09 2020-07-09 一种基于小波神经网络的视觉惯性卫星紧耦合定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010655871.2A CN111880207B (zh) 2020-07-09 2020-07-09 一种基于小波神经网络的视觉惯性卫星紧耦合定位方法

Publications (2)

Publication Number Publication Date
CN111880207A CN111880207A (zh) 2020-11-03
CN111880207B true CN111880207B (zh) 2022-12-23

Family

ID=73151547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010655871.2A Active CN111880207B (zh) 2020-07-09 2020-07-09 一种基于小波神经网络的视觉惯性卫星紧耦合定位方法

Country Status (1)

Country Link
CN (1) CN111880207B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112648994B (zh) * 2020-12-14 2023-12-05 首都信息发展股份有限公司 基于深度视觉里程计和imu的相机位姿估计方法及装置
CN112835083B (zh) * 2020-12-31 2023-08-01 广州南方卫星导航仪器有限公司 一种组合导航系统
CN113432602B (zh) * 2021-06-23 2022-12-02 西安电子科技大学 基于多传感器融合的无人机位姿估计方法
CN113783652B (zh) * 2021-09-13 2023-06-16 广东汇天航空航天科技有限公司 一种组合导航系统的数据同步方法和装置
CN114111776B (zh) * 2021-12-22 2023-11-17 广州极飞科技股份有限公司 定位方法及相关装置
CN115575978B (zh) * 2022-11-23 2023-04-07 中国矿业大学(北京) 用户端的格网电离层延迟校正方法、装置及接收机
CN116009034B (zh) * 2022-12-21 2023-11-07 湖南工商大学 卫星信号捕获方法、基带信号处理单元、接收机及介质
CN116047567B (zh) * 2023-04-03 2023-06-23 长沙金维信息技术有限公司 基于深度学习辅助的卫惯组合定位方法及导航方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109341694A (zh) * 2018-11-12 2019-02-15 哈尔滨理工大学 一种移动探测机器人的自主定位导航方法
CN110542916A (zh) * 2019-09-18 2019-12-06 上海交通大学 卫星与视觉紧耦合定位方法、系统及介质
CN111121767B (zh) * 2019-12-18 2023-06-30 南京理工大学 一种融合gps的机器人视觉惯导组合定位方法

Also Published As

Publication number Publication date
CN111880207A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN111880207B (zh) 一种基于小波神经网络的视觉惯性卫星紧耦合定位方法
CN110411462B (zh) 一种gnss/惯导/车道线约束/里程计多源融合方法
CN112268559B (zh) 复杂环境下融合slam技术的移动测量方法
CN114199259B (zh) 一种基于运动状态与环境感知的多源融合导航定位方法
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
CN105352509A (zh) 地理信息时空约束下的无人机运动目标跟踪与定位方法
CN114693754B (zh) 一种基于单目视觉惯导融合的无人机自主定位方法与系统
CN109596121A (zh) 一种机动站自动目标检测与空间定位方法
CN114019552A (zh) 一种基于贝叶斯多传感器误差约束的定位置信度优化方法
CN112529962A (zh) 一种基于视觉算法的室内空间关键定位技术方法
Wang et al. Direct sparse stereo visual-inertial global odometry
CN114234967A (zh) 一种基于多传感器融合的六足机器人定位方法
CN116753948A (zh) 一种基于视觉惯性gnss ppp耦合的定位方法
CN114459474B (zh) 一种基于因子图的惯性/偏振/雷达/光流紧组合导航的方法
CN116105729A (zh) 一种针对野外洞穴森林环境侦察的多传感器融合定位方法
CN112837374B (zh) 一种空间定位方法及系统
CN114964276A (zh) 一种融合惯导的动态视觉slam方法
CN114646993A (zh) 一种基于gnss、视觉以及imu进行精确定位的数据融合算法
CN113916221A (zh) 一种融合视觉里程计和bp网络的自适应行人航迹推算方法
Su et al. GNSS-Aided Visual-Inertial Odomtry with Failure Mode Recognition
Chu et al. The performance of a tight INS/GNSS/photogrammetric integration scheme for land based MMS applications in GNSS denied environments
Luo et al. An imu/visual odometry integrated navigation method based on measurement model optimization
CN116222556B (zh) 一种基于多源传感器融合的室内定位方法及系统
WO2023198090A1 (en) 3d vision aided gnss real-time kinematic positioning for autonomous systems in urban canyons
Li et al. A filter-based integration of GNSS, INS, and stereo vision in tight mode with optimal smoothing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant