CN112484725B - 一种基于多传感器融合的智能汽车高精度定位与时空态势安全方法 - Google Patents

一种基于多传感器融合的智能汽车高精度定位与时空态势安全方法 Download PDF

Info

Publication number
CN112484725B
CN112484725B CN202011318597.6A CN202011318597A CN112484725B CN 112484725 B CN112484725 B CN 112484725B CN 202011318597 A CN202011318597 A CN 202011318597A CN 112484725 B CN112484725 B CN 112484725B
Authority
CN
China
Prior art keywords
characteristic
error
follows
point
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011318597.6A
Other languages
English (en)
Other versions
CN112484725A (zh
Inventor
朱冰
陶晓文
赵健
李雅欣
姜泓屹
刘彦辰
王常态
吕恬
刘宇翔
孔德成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202011318597.6A priority Critical patent/CN112484725B/zh
Publication of CN112484725A publication Critical patent/CN112484725A/zh
Application granted granted Critical
Publication of CN112484725B publication Critical patent/CN112484725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18—Stabilised platforms, e.g. by gyroscope
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种基于多传感器融合的智能汽车高精度定位与时空态势安全方法，其方法为:第一部分、高精度定位方法，其方法为：第一步、预处理；第二步、视觉惯性里程计前端及初始化；第三步、视觉惯性里程计后端优化；第四步、全局位姿图优化；第二部分、时空态势安全方法；有益效果：能够很好适配工作场景及研发的融合策略。本发明实现了一种关键帧选取算法，该算法可以根据不同的工作条件合理选择不同数量的关键帧，并且可以处理容易发生特征跟踪损失的工作条件，本发明的时空态势安全策略充分考虑道路、静态障碍物、动态物体的安全性及交通效率等，具有安全性高、效率高、计算量小、实时性高、技术难度低等优点。

Description

一种基于多传感器融合的智能汽车高精度定位与时空态势安 全方法
技术领域
本发明涉及一种智能汽车高精度定位与时空态势安全方法，特别涉及一种基于多传感器融合的智能汽车高精度定位与时空态势安全方法。
背景技术
目前，随着智能汽车的快速发展，对于高精度定位技术的需求越来越强。智能汽车定位技术是解决“在哪里”问题的核心技术，其在全局路径规划与局部路径规划中均具有重要意义，是决策规划与运动控制的基础，也是智能交通系统的核心组成部分。高精度定位技术的突破有利于提高交通效率、减少环境污染、改善行驶安全与舒适性等。同时，将智能汽车及障碍物的三维场景信息进行时空态势安全碰撞分析，并以此为决策规划提供数据支撑来提高行驶安全性。常见的智能汽车定位方法有全球卫星导航系统(Global NavigationSatellite System,GNSS)、惯性导航系统(Inertial Navigation System,INS)、航迹推算(Dead Reckoning,DR)、超宽带(Ultra Wide Band,UWB)、地图匹配、同时定位与建图(Simultaneous Localization and Mapping,SLAM)等，独立定位技术相对成熟，但是具有不可避免的缺陷且环境适应性差，智能汽车中很少仅采用单一技术实现准确定位。传感器融合利用技术互补来提高定位系统的精度与稳定性，是智能汽车定位技术的发展趋势。
在国内外研究中，诸多单位对传感器融合定位技术进行了相关研究并提出了诸如GNSS/UWB、UWB/INS、视觉SLAM、激光SLAM、视觉或激光雷达与地图匹配等定位策略。在多传感器融合领域，各个传感器的参数、物理模型及其联合标定结果等直接影响定位结果，同时需要考虑定位精度与实时性的相互制约。在安全避撞领域，国内外大多采用基于三维地理信息来设计相应的安全策略。
目前国内外的多传感器融合定位及安全策略研究有如下特点：
1)GNSS信号易被遮挡且精度低，相机受光照影响较大，惯性测量单元(InertialMeasurement Unit,IMU)误差不断累积且建模大多基于连续帧间bias不变，但仍为参与融合定位的主流定位方法；
2)精度与成本相互制约，基于激光雷达或高精地图或基站RTK成本高，大范围应用受限；
3)普遍对各传感器观测值进行高斯滤波，未考虑实际误差分布，并且对传感器的物理建模大部分基于连续时间内bias、灰度不变的假设，模型没有贴合传感器的实际工作状态；
4)主要通过离线标定传感器，标定繁琐且误差大，并且不能很好适配工作场景及研发的融合策略；
5)基于滤波的融合框架易产生误差累积并且对多传感器时钟同步要求高，基于优化的融合框架计算量大并且难以满足实时性要求；
6)视觉定位在大曲率行驶、特征变化不明显的直线行驶及动态物体影响行驶时易出现特征误匹配及特征追踪丢失；
7)通过相对位置来获取障碍物全局定位信息易引起误差累积，并且安全策略大多未考虑障碍物危险程度及交通效率等。
中国专利CN 109141410 B授权了一种AGV组合导航的多创安其融合定位方法，通过线性化融合陀螺仪、角速度计和磁力计来求解姿态。由于陀螺仪和角速度计的工作原理决定其定位误差会随时间不断累积，因此无法用于长时间定位。磁力计根据磁场强度进行定位，易受外部环境干扰且精度差，不适用于智能汽车。
中国专利CN 109737950 B授权了一种基于VIO和动力学模型的水下机器人定位系统及方法，通过试验法测得相关参数并求解动力学方程得到速度及加速度，将其和VIO的定位输出通过扩展卡尔曼滤波进行松耦合融合得到速度估计值，再通过积分得到位置估计值。由于VIO对IMU及视觉传感器的物理建模基于连续时间内bias、灰度不变的假设，模型没有贴合传感器的实际工作状态，将导致从IMU源头引入了误差。另外，通过离线标定IMU和视觉传感器，标定繁琐且误差大，并且不能很好适配工作场景及研发的融合策略。上述方法通过基于滤波的松耦合方法进行多传感器融合，易产生误差累积并且对多传感器时钟同步要求高。
中国专利CN 202010545062.6公开了一种基于点线特征融合激光的语义高精地图构建与定位方法。通过视觉和激光雷达分别对视觉图像和三维点云进行语义分割和点线特征提取，通过相机进行粗略估计并将估计值作为初始值用于迭代激光雷达定位来获得细致估计。视觉定位在大曲率行驶及特征变化不明显的直线行驶时易出现特征误匹配及特征追踪丢失，激光雷达成本高且计算量大，难以满足实时性，高精地图成本高且需要定时更新维护，难以应对复杂多变的场景。上述方法基于优化紧耦合融合视觉和IMU，虽然后端优化能够对其误差校正，但仍然缺乏全局一致性。另外，基于优化的融合框架计算量大且难以满足实时性要求。
中国专利CN 202010208367.8公开了一种基于三维地理信息的时空态势感知方法和系统，通过对三维地理数据进行虚实场景融合得到三维地理融合场景，并对其进行时空位置智能碰撞检测分析。上述方法需要提前预知三维地理信息，方法适用性受到限制，并且实时在线进行虚实场景融合计算量大，难以满足实时性。
发明内容
本发明的目的是为了解决现有的智能汽车定位技术成本高、精度差、实时性差及表征行驶安全风险等问题而提供的一种基于多传感器融合的智能汽车高精度定位与时空态势安全方法。
本发明提供的基于多传感器融合的智能汽车高精度定位与时空态势安全方法,其方法如下所述:
第一部分、高精度定位方法，具体方法如下：
第一步、预处理；
第二步、视觉惯性里程计前端及初始化；
第三步、视觉惯性里程计后端优化；
第四步、全局位姿图优化；
第二部分、时空态势安全方法：
时空态势安全方法以大数据为基础，在设定的时间和空间内对复杂交互式环境中的各组成成分进行感知、理解，进而预知未来变化，从而动态、整体地洞悉风险，同时，基于道路场El考虑道路行驶安全性、基于静态场Es考虑静态障碍物的安全性、基于动态场Ek考虑动态物体的安全性，构建了主车附近的交通安全模型E＝wl·El+ws·Es+wk·Ek，在安全的基础上进行路径规划和行车安全的判断。
第一部分中第一步预处理的步骤如下：
步骤一、相机标定：以已知大小的平面黑白棋盘格作为标定参照物，通过调节相机与棋盘格的距离和角度提取一系列像素点，找到黑白线交点对应像素点在图像中的坐标，假设黑白线交点的世界坐标为P＝(X，Y，Z，1)，该交点在相机投影平面的坐标为：P′＝(u，v，1)，根据针孔相机模型有ZP′＝KP，其中K为相机内参矩阵，形式如下：
Figure BDA0002792080600000031
同时，考虑到相机的切向畸变和径向畸变，对相机进行去畸变操作，其归一化坐标写成极坐标形式(r，θ)，有
Figure BDA0002792080600000032
经过标定后，得到像素点在图像上的正确位置：
Figure BDA0002792080600000033
其中k1，k2，k3是径向畸变系数，p1，p2是切向畸变系数；
步骤二、动态物体剔除：通过深度学习的方法对图像中的动态物体进行剔除，对相机得到的原始图像进行像素级语义分割并且计算得到的语义图与地面真值之间的损失函数L1，通过卷积神经网络DynSS得到仅包括动态物体的语义图，将其和原始灰度图通过对抗生成网络U-Net滤除动态物体来得到静态图像并计算其损失函数L2，同时和L1一起进行向后传播，对抗生成网络的工作如下：
Figure BDA0002792080600000034
其中:
Figure BDA0002792080600000035
第一部分中第二步视觉惯性里程计前端及初始化的步骤如下：
步骤一、特征提取、追踪、匹配：对滤除完动态物体的图像进行点、线、面特征的提取，并对连续帧间的特征进行追踪，通过RANSAC剔除误匹配得到最终特征匹配结果，其中特征点通过FAST角点进行提取，特征线通过LSD进行提取，利用金字塔光流法进行特性追踪和特征匹配，金字塔光流法是将原始图像作为底层，通过固定的缩放比例获得具有不同分辨率的图像作为其他层，在计算光流时，首先计算第一层的图像，然后将上一层的跟踪结果用作下一层的初始值，当最后一层的像素运动较大时，金字塔顶部的图像显示的像素运动仍会在较小范围内，从而避免局部最小值或特征追踪丢失的问题；
步骤二、关键帧选取策略：根据不同的工作条件合理地选择不同数量的关键帧，并且应对易发生特征跟踪丢失的工况，采用三种原则来选择第k个帧是否为关键帧：
(1)、特征匹配点数Nm与总特征点数Ntotal的比率小于比率Sthr的阈值；
(2)、在无明显变化的直线行驶中，世界坐标系下的相机估计值和IMU估计值之间的位置差超过空间位置差阈值ΔDthr；
(3)、当以大曲率转弯行驶时，世界坐标系下相机估计值和IMU估计值之间的航向角偏差超过航向角偏差阈值
Figure BDA0002792080600000041
步骤三、IMU建模及预积分：考虑到bias随机游走和噪声，IMU的加速度
Figure BDA0002792080600000042
和角速度
Figure BDA0002792080600000043
如下：
Figure BDA0002792080600000044
Figure BDA0002792080600000045
IMU的加速度偏差
Figure BDA0002792080600000046
和陀螺仪偏差
Figure BDA0002792080600000047
分别建模为具有时间常数τ的随机游动和有界随机游动，其一阶导数如下：
Figure BDA0002792080600000048
Figure BDA0002792080600000049
IMU和相机的采样频率不同，对两个连续帧之间的IMU测量值进行积分，以计算位置、速度和旋转四元数，转换方程如下：
Figure BDA00027920806000000410
Figure BDA00027920806000000411
Figure BDA00027920806000000412
每次更新
Figure BDA00027920806000000413
和
Figure BDA00027920806000000414
时，需要重新积分上式来计算位置、速度和旋转四元数，这将导致计算量很大并影响实时性，因此，将优化变量从IMU积分项的第i帧分离到第j帧。根据坐标系的旋转，将等式进行从word系到第i个body系的旋转，得到连续时刻的IMU预积分公式：
Figure BDA0002792080600000051
Figure BDA0002792080600000052
Figure BDA0002792080600000053
Figure BDA0002792080600000054
其中：
Figure BDA0002792080600000055
Figure BDA0002792080600000056
Figure BDA0002792080600000057
Figure BDA0002792080600000058
步骤四、视觉与惯性对齐：首先，根据两个连续帧之间的相机估计值和IMU预计分值相等来估计外参qbc，并基于旋转约束构造目标函数来估计bias：
Figure BDA0002792080600000059
然后，利用平移约束和重力大小来估计重力矢量、速度和尺度：
Figure BDA00027920806000000510
Figure BDA0002792080600000061
最后，将第0个相机系下重力向量
Figure BDA0002792080600000062
旋转至word系的z轴方向来获得旋转矩阵
Figure BDA0002792080600000063
将第0个相机系中的变量变换到word系，并且平移和尺度恢复为米制单位。
第一部分中第三步视觉惯性里程计后端优化步骤如下：
经过视觉和惯性对齐后，世界坐标系中的位置、速度和旋转四元数，bias外参以及特征点的3D信息
Figure BDA0002792080600000064
通过基于非线性优化的滑动窗口进行融合来获得最优局部位姿，优化的总状态变量表示如下：
Figure BDA0002792080600000065
Figure BDA0002792080600000066
通过使先验误差和传感器测量值误差的Mahalanobis范数总和最小来求解最优位姿：
Figure BDA0002792080600000067
上式通过增量方程进行求解，具体如下：
Figure BDA0002792080600000068
构建观测值误差、雅可比矩阵及协方差矩阵，具体如下：
步骤一、IMU测量值误差：
Figure BDA0002792080600000069
对连续两帧间IMU的测量值、bias求导即可得到雅可比矩阵：
Figure BDA0002792080600000071
Figure BDA0002792080600000072
Figure BDA0002792080600000073
Figure BDA0002792080600000074
雅可比矩阵如下：
Figure BDA0002792080600000075
步骤二、视觉观测值误差：
视觉观测值误差主要包括特征点误差、特征线误差和特征面误差；
1)、特征点误差：
将第i帧的特征点投影到第j帧：
Figure BDA0002792080600000081
特征点重投影误差如下：
Figure BDA0002792080600000082
2)、特征线误差：
将滤除动态物体图像中提取的特征线表示为点-法线形式，
Figure BDA0002792080600000083
其中
Figure BDA0002792080600000084
为特征线上的任意一点，
Figure BDA0002792080600000085
为特征线单位法向向量，通过三维空间特征线的起点坐标P1和终点坐标P2来参数化表示三维特征线Li＝[P1，P2]，通过点到直线距离构建特征线对应的残差：
Figure BDA0002792080600000086
3)、特征面误差：
将滤除动态物体图像中提取的特征面表示为点-法线形式
Figure BDA0002792080600000087
其中
Figure BDA0002792080600000088
为特征面上的任意一点，
Figure BDA0002792080600000089
为特征面单位法向向量，
Figure BDA00027920806000000810
为原点到特征面的距离，通过原点到三维空间面的距离来构建特征面对应的残差：
Figure BDA00027920806000000811
基于上述点、线、面误差构建视觉观测值误差模型，并且在整体的误差模型中提高点、线特征所占的权重：
Figure BDA00027920806000000812
其中，点特征权重αp与线特征权重αl相等，并且都等于面特征权重αs的两倍。
步骤三、重定位误差：
用词袋BoW模型来检测回环并使用k-d树来表示字典，k-d树可以容纳kd个词，复杂度为O(kd)，具有很高的搜索速度，当检测到回环后，计算当前帧和BoW之间的相似性得分，并将其与关键帧数据库中的所有帧进行比较以获得候选帧，然后，通过RANSAC提出误匹配，并通过PnP恢复位姿以进行闭环优化，如果匹配点的数量超过阈值，则将候选帧视为正确的闭环帧，最后，将前一帧，称为第v帧的位姿和相关特征点、线、面作为视觉约束添加到后端非线性优化的总体目标函数中，公式如下：
Figure BDA0002792080600000091
第一部分中第四步全局位姿图优化的步骤如下：
网络RTK及NRTK采用虚拟基站的方式，虚拟基站与卫星之间的距离
Figure BDA0002792080600000092
和卫星与主站(节点j)之间的距离
Figure BDA0002792080600000093
差如下：
Figure BDA0002792080600000094
将虚拟基站的误差添加到主站的观测值中，卫星的相对误差和相位误差如下：
Figure BDA0002792080600000095
Figure BDA0002792080600000096
其中
Figure BDA0002792080600000097
和
Figure BDA0002792080600000098
分别是主站的相对误差和相位误差，λ是波长，
Figure BDA0002792080600000099
和
Figure BDA00027920806000000910
分别是色散、非色散和对流层建模部分的误差，经过差分处理后，GNSS定位输出的米级定位结果
Figure BDA00027920806000000911
提升到厘米级定位精度
Figure BDA00027920806000000912
位姿图优化的本质是最大似然估计，该估计使用VIO和GPS/NRTK的旋转和平移作为先验去估计最大测量值：
Figure BDA0002792080600000101
其中：S是VIO和GPS/NRTK测量值的集合，X是一段时间内的车辆位姿：
X＝[x0，x1，…xn]，
Figure BDA0002792080600000102
其中：
Figure BDA0002792080600000103
和
Figure BDA0002792080600000104
是世界坐标系下车辆的位置和旋转四元数，假设测量值的不确定性服从高斯分布，即
Figure BDA0002792080600000105
引入自适应分配系数
Figure BDA0002792080600000106
对VIO及GPS/NRTK的输出根据各自协方差矩阵的大小进行自适应融合：
Figure BDA0002792080600000107
Figure BDA0002792080600000108
其中
Figure BDA0002792080600000109
和
Figure BDA00027920806000001010
分别是协方差矩阵和信息矩阵，协方差矩阵越小，信息矩阵相应越大，代表相应的测量值越准确；
位姿图包括两个因子：VIO因子和GPS/NRTK因子，分别如下：
(1)、VIO因子：
Figure BDA00027920806000001011
其中
Figure BDA00027920806000001012
和
Figure BDA00027920806000001013
分别是VIO系下t-1和t时刻的旋转四元数，
Figure BDA00027920806000001014
和
Figure BDA00027920806000001015
分别是VIO系下t-1和t时刻的位置；
(2)、GPS/NRTK因子：
Figure BDA00027920806000001016
除了融合上述VIO及GPS/NRTK，还进一步融合UWB或磁力计传感器，并且通过考虑铺二维码、贴线、短时间内的转角及位置变化这些运动学特性来辅助定位得到最优定位结果。
本发明的有益效果：
本发明提供的技术方案是基于滑动窗口优化实现紧耦合融合视觉和IMU传感器，基于全局位姿图优化根据VIO和GPS/NRTK的定位精度自适应融合VIO和GPS/NRTK得到全局最优定位结果，具有全局一致性，能够应对大尺度复杂场景。同时，避免了相对定位的误差累积，具有高精度、低成本、高实时性等优点。本发明对IMU实现细致化建模，考虑连续相机帧间bias的变化，从源头上减少了IMU的定位误差来提高VIO的定位精度，从而提高全局定位精度。本发明实现了视觉传感器和IMU在线自动联合标定及在线估计IMU参数，标定简单且精度高，能够很好适配工作场景及研发的融合策略。本发明实现了一种关键帧选取算法，该算法可以根据不同的工作条件合理选择不同数量的关键帧，并且可以处理容易发生特征跟踪损失的工作条件，例如无变化的直线行驶和大曲率的转弯行驶等。本发明的时空态势安全策略充分考虑道路、静态障碍物、动态物体的安全性及交通效率等，具有安全性高、效率高、计算量小、实时性高、技术难度低等优点。
附图说明
图1为本发明所述的基于多传感器融合的智能汽车高精度定位方法架构示意图。
图2为本发明所述的动态物体滤除示意图。
图3为本发明所述的金字塔光流法示意图。
图4为本发明所述的关键帧选取策略示意图。
图5为本发明所述的关键帧选取策略算法图。
图6为本发明所述的IMU与视觉采样频率对齐示意图。
图7为本发明所述的视觉与惯性对齐算法图。
图8为本发明所述的网络RKT示意图。
图9为本发明所述的位姿图示意图。
图10为本发明与最先进的多传感器融合定位策略定位结果对比图。
图11为本发明所述的时空态势安全策略中道路场示意图。
图12为本发明所述的时空态势安全策略中静态场示意图。
图13为本发明所述的时空态势安全策略中动态场示意图。
图14为本发明所述的时空态势安全策略中交通安全场模型示意图。
具体实施方式
请参阅图1至图14所示：
本发明提供的基于多传感器融合的智能汽车高精度定位与时空态势安全策略，其策略包括高精度定位策略和时空态势安全策略两部分策略。高精度定位策略包括预处理、视觉惯性里程计前端及初始化、视觉惯性里程计后端优化和全局位姿图优化四部分。
一、预处理如下：
1.相机标定
以已知大小的平面黑白棋盘格作为标定参照物，通过调节相机与棋盘格的距离、角度等提取一系列像素点，这样可以找到黑白线交点对应像素点在图像中的坐标。假设黑白线交点的世界坐标为P＝(X，Y，Z，1)，该交点在相机投影平面的坐标为P′＝(u，v，1)，根据针孔相机模型有ZP′＝KP，其中K为相机内参矩阵，形式如下：
Figure BDA0002792080600000121
同时，考虑到相机的切向畸变和径向畸变，对相机进行去畸变操作，其归一化坐标写成极坐标形式(r，θ)，有
Figure BDA0002792080600000122
经过标定后，可以得到像素点在图像上的正确位置：
Figure BDA0002792080600000123
其中k1，k2，k3是径向畸变系数，p1，p2是切向畸变系数，
2.动态物体滤除
如图2所示，通过深度学习的方法对图像中的动态物体进行滤除。对相机得到的原始图像进行像素级语义分割并且计算得到的语义图与地面真值之间的损失函数L1，通过卷积神经网络DynSS得到仅包括动态物体的语义图，将其和原始灰度图通过对抗生成网络U-Net滤除动态物体来得到静态图像并计算其损失函数L2，同时和L1一起进行向后传播。对抗生成网络的工作如下：
Figure BDA0002792080600000124
其中:
Figure BDA0002792080600000125
二、视觉惯性里程计前端及初始化如下：
1.特征提取、追踪、匹配
对滤除完动态物体的图像进行点、线、面特征的提取，并对连续帧间的特征进行追踪，通过RANSAC剔除误匹配得到最终特征匹配结果，其中特征点通过速度特别快的FAST角点进行提取，特征线通过LSD进行提取，利用金字塔光流法进行特性追踪和特征匹配，如图3所示。金字塔光流法是将原始图像作为底层，通过固定的缩放比例获得具有不同分辨率的图像作为其他层。在计算光流时，首先计算第一层的图像，然后将上一层的跟踪结果用作下一层的初始值。当最后一层的像素运动较大时，金字塔顶部的图像显示的像素运动仍会在较小范围内，从而避免局部最小值或特征追踪丢失的问题。
2.关键帧选取策略
根据不同的工作条件合理地选择不同数量的关键帧，并且可以应对易发生特征跟踪丢失的工况，例如特征变化不明显的直线行驶和大曲率转弯行驶等。如图4-5所示，本文拟采用三种原则来选择第k个帧是否为关键帧：
(1)特征匹配点数Nm与总特征点数Ntotal的比率小于比率Sthr的阈值；
(2)在无明显变化的直线行驶中，世界坐标系下的相机估计值和IMU估计值之间的位置差超过空间位置差阈值ΔDthr；
(3)当以大曲率转弯行驶时，世界坐标系下相机估计值和IMU估计值之间的航向角偏差超过航向角偏差阈值
Figure BDA0002792080600000131
3.IMU建模及预积分
考虑到bias随机游走和噪声，IMU的加速度
Figure BDA0002792080600000132
和角速度
Figure BDA0002792080600000133
如下：
Figure BDA0002792080600000134
Figure BDA0002792080600000135
IMU的加速度偏差
Figure BDA0002792080600000136
和陀螺仪偏差
Figure BDA0002792080600000137
分别建模为具有时间常数τ的随机游动和有界随机游动，其一阶导数如下：
Figure BDA0002792080600000138
Figure BDA0002792080600000139
如图6所示，由于IMU和相机的采样频率不同，因此对两个连续帧之间的IMU测量值进行积分，以计算位置、速度和旋转四元数，转换方程如下：
Figure BDA00027920806000001310
Figure BDA00027920806000001311
Figure BDA00027920806000001312
每次更新
Figure BDA0002792080600000141
和
Figure BDA0002792080600000142
时，需要重新积分上式来计算位置、速度和旋转四元数，这将导致计算量很大并影响实时性。因此，将优化变量从IMU积分项的第i帧分离到第j帧。根据坐标系的旋转，将等式进行从word系到第i个body系的旋转，可以得到连续时刻的IMU预积分公式：
Figure BDA0002792080600000143
Figure BDA0002792080600000144
Figure BDA0002792080600000145
Figure BDA0002792080600000146
其中：
Figure BDA0002792080600000147
Figure BDA0002792080600000148
Figure BDA0002792080600000149
Figure BDA00027920806000001410
4.视觉与惯性对齐：
如图7所示，首先，根据两个连续帧之间的相机估计值和IMU预计分值相等来估计外参qbc，并基于旋转约束构造目标函数来估计bias：
Figure BDA00027920806000001411
然后，利用平移约束和重力大小来估计重力矢量、速度和尺度：
Figure BDA0002792080600000151
Figure BDA0002792080600000152
最后，将第0个相机系下重力向量
Figure BDA0002792080600000153
旋转至word系的z轴方向来获得旋转矩阵
Figure BDA0002792080600000154
这样就可以将第0个相机系中的变量变换到word系，并且平移和尺度可以恢复为米制单位。
三、视觉惯性里程计后端优化如下：
经过视觉和惯性对齐后，世界坐标系中的位置、速度和旋转四元数，bias，外参以及特征点的3D信息
Figure BDA0002792080600000155
通过基于非线性优化的滑动窗口进行融合来获得最优局部位姿。优化的总状态变量表示如下：
Figure BDA0002792080600000156
Figure BDA0002792080600000157
通过使先验误差和传感器测量值误差的Mahalanobis范数总和最小来求解最优位姿：
Figure BDA0002792080600000158
上式通过增量方程进行求解，具体如下：
Figure BDA0002792080600000159
构建观测值误差、雅可比矩阵及协方差矩阵，具体如下：
1.IMU测量值误差
Figure BDA0002792080600000161
对连续两帧间IMU的测量值、bias求导即可得到雅可比矩阵：
Figure BDA0002792080600000162
Figure BDA0002792080600000163
Figure BDA0002792080600000164
Figure BDA0002792080600000171
雅可比矩阵如下：
Figure BDA0002792080600000172
2.视觉观测值误差
视觉观测值误差主要包括特征点误差、特征线误差、特征面误差。
2.1特征点误差
将第i帧的特征点投影到第j帧：
Figure BDA0002792080600000173
特征点重投影误差如下：
Figure BDA0002792080600000174
2.2特征线误差
将滤除动态物体图像中提取的特征线表示为点-法线形式，
Figure BDA0002792080600000175
其中
Figure BDA0002792080600000176
为特征线上的任意一点，
Figure BDA0002792080600000177
为特征线单位法向向量。通过三维空间特征线的起点坐标P1和终点坐标P2来参数化表示三维特征线Li＝[P1，P2]。通过点到直线距离构建特征线对应的残差：
Figure BDA0002792080600000178
2.3特征面误差
将滤除动态物体图像中提取的特征面表示为点-法线形式
Figure BDA0002792080600000181
其中
Figure BDA0002792080600000182
为特征面上的任意一点，
Figure BDA0002792080600000183
为特征面单位法向向量。
Figure BDA0002792080600000184
为原点到特征面的距离。通过原点到三维空间面的距离来构建特征面对应的残差：
Figure BDA0002792080600000185
基于上述点、线、面误差构建视觉观测值误差模型，并且在整体的误差模型中提高点、线特征所占的权重：
Figure BDA0002792080600000186
其中，点特征权重αp与线特征权重αl相等，并且都等于面特征权重αs的两倍。
3.重定位误差
用词袋(BoW)模型来检测回环并使用k-d树来表示字典。k-d树可以容纳kd个词，复杂度为O(kd)，具有很高的搜索速度。当检测到回环后，计算当前帧和BoW之间的相似性得分，并将其与关键帧数据库中的所有帧进行比较以获得候选帧。然后，通过RANSAC提出误匹配，并通过PnP恢复位姿以进行闭环优化。如果匹配点的数量超过阈值，则将候选帧视为正确的闭环帧。最后，将前一帧(称为第v帧)的位姿和相关特征点、线、面作为视觉约束添加到后端非线性优化的总体目标函数中，公式如下：
Figure BDA0002792080600000187
四、全局位姿图优化如下：
如图8所示，网络RTK(NRTK)采用虚拟基站的方式，虚拟基站与卫星之间的距离
Figure BDA0002792080600000188
和卫星与主站(节点j)之间的距离
Figure BDA0002792080600000189
差如下：
Figure BDA0002792080600000191
将虚拟基站的误差添加到主站的观测值中，卫星的相对误差和相位误差如下：
Figure BDA0002792080600000192
Figure BDA0002792080600000193
其中
Figure BDA0002792080600000194
和
Figure BDA0002792080600000195
分别是主站的相对误差和相位误差，λ是波长，
Figure BDA0002792080600000196
和
Figure BDA0002792080600000197
分别是色散、非色散和对流层建模部分的误差。经过差分处理后，GNSS定位输出的米级定位结果
Figure BDA0002792080600000198
可以提升到厘米级定位精度
Figure BDA0002792080600000199
位姿图优化的本质是最大似然估计，该估计使用VIO和GPS/NRTK的旋转和平移作为先验去估计最大测量值：
Figure BDA00027920806000001910
其中S是VIO和GPS/NRTK测量值的集合，X是一段时间内的车辆位姿：
X＝[x0，x1，…xn]，
Figure BDA00027920806000001911
其中
Figure BDA00027920806000001912
和
Figure BDA00027920806000001913
是世界坐标系下车辆的位置和旋转四元数。假设测量值的不确定性服从高斯分布，即
Figure BDA00027920806000001914
引入自适应分配系数
Figure BDA00027920806000001915
对VIO及GPS/NRTK的输出根据各自协方差矩阵的大小进行自适应融合：
Figure BDA00027920806000001916
Figure BDA00027920806000001917
其中
Figure BDA00027920806000001918
和
Figure BDA00027920806000001919
分别是协方差矩阵和信息矩阵，协方差矩阵越小，信息矩阵相应越大，代表相应的测量值越准确。
如图9所示，本发明采用的位姿图包括两个因子：VIO因子和GPS/NRTK因子，分别如下：
(1)VIO因子：
Figure BDA0002792080600000201
其中
Figure BDA0002792080600000202
和
Figure BDA0002792080600000203
分别是VIO系下t-1和t时刻的旋转四元数，
Figure BDA0002792080600000204
和
Figure BDA0002792080600000205
分别是VIO系下t-1和t时刻的位置。
(2)GPS/NRTK因子：
Figure BDA0002792080600000206
除了融合上述VIO及GPS/NRTK等，融合例如UWB、磁力计等传感器也属于本发明提出的多传感器融合策略。同时本发明还通过考虑铺二维码、贴线、短时间内的转角及位置变化等运动学特性等来辅助定位得到最优定位结果。将本发明的定位结果与目前最先进的传感器融合定位方法进行对比，如图10所示。
本发明的时空态势安全策略以大数据为基础，在一定的时间和空间内对复杂交互式环境中的各组成成分进行感知、理解，进而预知未来变化，从而动态、整体地洞悉风险。同时，如图11-14所示，基于道路场El考虑道路行驶安全性、基于静态场Es考虑静态障碍物的安全性、基于动态场Ek考虑动态物体的安全性，构建了主车附近的交通安全模型E＝wl·El+ws·Es+wk·Ek，在安全的基础上可进行路径规划和行车安全等判断。

Claims (1)

1.一种基于多传感器融合的智能汽车高精度定位与时空态势安全方法，其特征在于：其方法如下所述:
第一部分、高精度定位方法，具体方法如下：
第一步、预处理；
预处理的步骤如下：
步骤一、相机标定：以已知大小的平面黑白棋盘格作为标定参照物，通过调节相机与棋盘格的距离和角度提取一系列像素点，找到黑白线交点对应像素点在图像中的坐标，假设黑白线交点的世界坐标为P＝(X，Y，Z，1)，该交点在相机投影平面的坐标为：P′＝(u，v，1)，根据针孔相机模型有ZP′＝KP，其中K为相机内参矩阵，形式如下：
Figure FDA0004082239670000011
同时，考虑到相机的切向畸变和径向畸变，对相机进行去畸变操作，其归一化坐标写成极坐标形式(r，θ)，有
Figure FDA0004082239670000012
经过标定后，得到像素点在图像上的正确位置：
Figure FDA0004082239670000013
其中k1，k2，k3是径向畸变系数，p1，p2是切向畸变系数；
步骤二、动态物体剔除：通过深度学习的方法对图像中的动态物体进行剔除，对相机得到的原始图像进行像素级语义分割并且计算得到的语义图与地面真值之间的损失函数L1，通过卷积神经网络DynSS得到仅包括动态物体的语义图，将其和原始灰度图通过对抗生成网络U-Net滤除动态物体来得到静态图像并计算其损失函数L2，同时和L1一起进行向后传播，对抗生成网络的工作如下：
Figure FDA0004082239670000014
其中:
Figure FDA0004082239670000015
第二步、视觉惯性里程计前端及初始化；
视觉惯性里程计前端及初始化的步骤如下：
步骤一、特征提取、追踪、匹配：对滤除完动态物体的图像进行点、线、面特征的提取，并对连续帧间的特征进行追踪，通过RANSAC剔除误匹配得到最终特征匹配结果，其中特征点通过FAST角点进行提取，特征线通过LSD进行提取，利用金字塔光流法进行特性追踪和特征匹配，金字塔光流法是将原始图像作为底层，通过固定的缩放比例获得具有不同分辨率的图像作为其他层，在计算光流时，首先计算第一层的图像，然后将上一层的跟踪结果用作下一层的初始值，当最后一层的像素运动较大时，金字塔顶部的图像显示的像素运动仍会在较小范围内，从而避免局部最小值或特征追踪丢失的问题；
步骤二、关键帧选取策略：根据不同的工作条件合理地选择不同数量的关键帧，并且应对易发生特征跟踪丢失的工况，采用三种原则来选择第k个帧是否为关键帧：
(1)、特征匹配点数Nm与总特征点数Ntotal的比率小于比率Sthr的阈值；
(2)、在无明显变化的直线行驶中，世界坐标系下的相机估计值和IMU估计值之间的位置差超过空间位置差阈值ΔDthr；
(3)、当以大曲率转弯行驶时，世界坐标系下相机估计值和IMU估计值之间的航向角偏差超过航向角偏差阈值
Figure FDA0004082239670000021
步骤三、IMU建模及预积分：考虑到bias随机游走和噪声，IMU的加速度
Figure FDA0004082239670000022
和角速度
Figure FDA0004082239670000023
如下：
Figure FDA0004082239670000024
Figure FDA0004082239670000025
IMU的加速度偏差
Figure FDA0004082239670000026
和陀螺仪偏差
Figure FDA0004082239670000027
分别建模为具有时间常数τ的随机游动和有界随机游动，其一阶导数如下：
Figure FDA0004082239670000028
Figure FDA0004082239670000029
IMU和相机的采样频率不同，对两个连续帧之间的IMU测量值进行积分，以计算位置、速度和旋转四元数，转换方程如下：
Figure FDA00040822396700000210
Figure FDA00040822396700000211
Figure FDA00040822396700000212
每次更新
Figure FDA00040822396700000213
和
Figure FDA00040822396700000214
时，需要重新积分上式来计算位置、速度和旋转四元数，这将导致计算量很大并影响实时性，因此，将优化变量从IMU积分项的第i帧分离到第j帧，根据坐标系的旋转，将等式进行从word系到第i个body系的旋转，得到连续时刻的IMU预积分公式：
Figure FDA0004082239670000031
Figure FDA0004082239670000032
Figure FDA0004082239670000033
Figure FDA0004082239670000034
其中：
Figure FDA0004082239670000035
Figure FDA0004082239670000036
Figure FDA0004082239670000037
Figure FDA0004082239670000038
步骤四、视觉与惯性对齐：首先，根据两个连续帧之间的相机估计值和IMU预计分值相等来估计外参qbc，并基于旋转约束构造目标函数来估计bias：
Figure FDA0004082239670000039
然后，利用平移约束和重力大小来估计重力矢量、速度和尺度：
Figure FDA00040822396700000310
Figure FDA0004082239670000041
最后，将第0个相机系下重力向量
Figure FDA0004082239670000042
旋转至word系的z轴方向来获得旋转矩阵
Figure FDA0004082239670000043
将第0个相机系中的变量变换到word系，并且平移和尺度恢复为米制单位；
第三步、视觉惯性里程计后端优化；
视觉惯性里程计后端优化步骤如下：
经过视觉和惯性对齐后，世界坐标系中的位置、速度和旋转四元数，bias外参以及特征点的3D信息
Figure FDA0004082239670000044
通过基于非线性优化的滑动窗口进行融合来获得最优局部位姿，优化的总状态变量表示如下：
Figure FDA0004082239670000045
Figure FDA0004082239670000046
通过使先验误差和传感器测量值误差的Mahalanobis范数总和最小来求解最优位姿：
Figure FDA0004082239670000047
上式通过增量方程进行求解，具体如下：
Figure FDA0004082239670000048
构建观测值误差、雅可比矩阵及协方差矩阵，具体如下：
步骤一、IMU测量值误差：
Figure FDA0004082239670000049
对连续两帧间IMU的测量值、bias求导即可得到雅可比矩阵：
Figure FDA0004082239670000051
Figure FDA0004082239670000052
Figure FDA0004082239670000053
Figure FDA0004082239670000054
雅可比矩阵如下：
Figure FDA0004082239670000055
步骤二、视觉观测值误差：
视觉观测值误差主要包括特征点误差、特征线误差和特征面误差；
1)、特征点误差：
将第i帧的特征点投影到第j帧：
Figure FDA0004082239670000061
特征点重投影误差如下：
Figure FDA0004082239670000062
2)、特征线误差：
将滤除动态物体图像中提取的特征线表示为点-法线形式，
Figure FDA0004082239670000063
其中
Figure FDA0004082239670000064
为特征线上的任意一点，
Figure FDA0004082239670000065
为特征线单位法向向量，通过三维空间特征线的起点坐标P1和终点坐标P2来参数化表示三维特征线Li＝[P1，P2]，通过点到直线距离构建特征线对应的残差：
Figure FDA0004082239670000066
3)、特征面误差：
将滤除动态物体图像中提取的特征面表示为点-法线形式
Figure FDA0004082239670000067
其中
Figure FDA0004082239670000068
为特征面上的任意一点，
Figure FDA0004082239670000069
为特征面单位法向向量，
Figure FDA00040822396700000610
为原点到特征面的距离，通过原点到三维空间面的距离来构建特征面对应的残差：
Figure FDA00040822396700000611
基于上述点、线、面误差构建视觉观测值误差模型，并且在整体的误差模型中提高点、线特征所占的权重：
Figure FDA00040822396700000612
其中，点特征权重αp与线特征权重αl相等，并且都等于面特征权重αs的两倍；
步骤三、重定位误差：
用词袋BoW模型来检测回环并使用k-d树来表示字典，k-d树可以容纳kd个词，复杂度为O(kd)，具有很高的搜索速度，当检测到回环后，计算当前帧和BoW之间的相似性得分，并将其与关键帧数据库中的所有帧进行比较以获得候选帧，然后，通过RANSAC提出误匹配，并通过PnP恢复位姿以进行闭环优化，如果匹配点的数量超过阈值，则将候选帧视为正确的闭环帧，最后，将前一帧，称为第v帧的位姿和相关特征点、线、面作为视觉约束添加到后端非线性优化的总体目标函数中，公式如下：
Figure FDA0004082239670000071
第四步、全局位姿图优化；
第四步全局位姿图优化的步骤如下：
NRTK采用虚拟基站的方式，虚拟基站与卫星之间的距离
Figure FDA0004082239670000072
和卫星与主站节点j之间的距离
Figure FDA0004082239670000073
差如下：
Figure FDA0004082239670000074
将虚拟基站的误差添加到主站的观测值中，卫星的相对误差和相位误差如下：
Figure FDA0004082239670000075
Figure FDA0004082239670000076
其中
Figure FDA0004082239670000077
和
Figure FDA0004082239670000078
分别是主站的相对误差和相位误差，λ是波长，
Figure FDA0004082239670000079
和
Figure FDA00040822396700000710
分别是色散、非色散和对流层建模部分的误差，经过差分处理后，GNSS定位输出的米级定位结果
Figure FDA00040822396700000711
提升到厘米级定位精度
Figure FDA00040822396700000712
位姿图优化的本质是最大似然估计，该估计使用VIO和GPS/NRTK的旋转和平移作为先验去估计最大测量值：
Figure FDA00040822396700000713
其中：S是VIO和GPS/NRTK测量值的集合，X是一段时间内的车辆位姿：
X＝[x0，x1，…xn]
Figure FDA00040822396700000714
其中：
Figure FDA0004082239670000081
和
Figure FDA0004082239670000082
是世界坐标系下车辆的位置和旋转四元数，假设测量值的不确定性服从高斯分布，即
Figure FDA0004082239670000083
引入自适应分配系数
Figure FDA0004082239670000084
对VIO及GPS/NRTK的输出根据各自协方差矩阵的大小进行自适应融合：
Figure FDA0004082239670000085
Figure FDA0004082239670000086
其中
Figure FDA0004082239670000087
和
Figure FDA0004082239670000088
分别是协方差矩阵和信息矩阵，协方差矩阵越小，信息矩阵相应越大，代表相应的测量值越准确；
位姿图包括两个因子：VIO因子和GPS/NRTK因子，分别如下：
(1)、VIO因子：
Figure FDA0004082239670000089
其中
Figure FDA00040822396700000810
和
Figure FDA00040822396700000811
分别是VIO系下t-1和t时刻的旋转四元数，
Figure FDA00040822396700000812
和
Figure FDA00040822396700000813
分别是VIO系下t-1和t时刻的位置；
(2)、GPS/NRTK因子：
Figure FDA00040822396700000814
除了融合上述VIO及GPS/NRTK，还融合UWB或磁力计传感器，并且通过考虑铺二维码、贴线、短时间内的转角及位置变化这些运动学特性来辅助定位得到最优定位结果；
第二部分、时空态势安全方法：
时空态势安全方法以大数据为基础，在设定的时间和空间内对复杂交互式环境中的各组成成分进行感知、理解，进而预知未来变化，从而动态、整体地洞悉风险，同时，基于道路场El考虑道路行驶安全性、基于静态场Es考虑静态障碍物的安全性、基于动态场Ek考虑动态物体的安全性，构建了主车附近的交通安全模型E＝wl·El+ws·Es+wk·Ek，在安全的基础上进行路径规划和行车安全的判断。
CN202011318597.6A 2020-11-23 2020-11-23 一种基于多传感器融合的智能汽车高精度定位与时空态势安全方法 Active CN112484725B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011318597.6A CN112484725B (zh) 2020-11-23 2020-11-23 一种基于多传感器融合的智能汽车高精度定位与时空态势安全方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011318597.6A CN112484725B (zh) 2020-11-23 2020-11-23 一种基于多传感器融合的智能汽车高精度定位与时空态势安全方法

Publications (2)

Publication Number Publication Date
CN112484725A CN112484725A (zh) 2021-03-12
CN112484725B true CN112484725B (zh) 2023-03-21

Family

ID=74933412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011318597.6A Active CN112484725B (zh) 2020-11-23 2020-11-23 一种基于多传感器融合的智能汽车高精度定位与时空态势安全方法

Country Status (1)

Country Link
CN (1) CN112484725B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112945240B (zh) * 2021-03-16 2022-06-07 北京三快在线科技有限公司 特征点位置的确定方法、装置、设备及可读存储介质
CN113359167A (zh) * 2021-04-16 2021-09-07 电子科技大学 一种通过惯性测量参数将gps与激光雷达融合定位的方法
CN113188557B (zh) * 2021-04-28 2023-10-20 江苏方天电力技术有限公司 一种融合语义特征的视觉惯性组合导航方法
CN113204039A (zh) * 2021-05-07 2021-08-03 深圳亿嘉和科技研发有限公司 一种应用于机器人的rtk-gnss外参标定方法
CN113124856B (zh) * 2021-05-21 2023-03-14 天津大学 基于uwb在线锚点的视觉惯性紧耦合里程计及计量方法
CN113375665B (zh) * 2021-06-18 2022-12-02 西安电子科技大学 基于多传感器松紧耦合的无人机位姿估计方法
CN113436270B (zh) * 2021-06-18 2023-04-25 上海商汤临港智能科技有限公司 传感器标定方法及装置、电子设备和存储介质
CN113503873B (zh) * 2021-07-14 2024-03-12 北京理工大学 一种多传感器融合的视觉定位方法
CN114222366B (zh) * 2021-08-06 2023-08-01 深圳技术大学 一种基于单基站的室内定位方法及装置
CN113706592A (zh) * 2021-08-24 2021-11-26 北京百度网讯科技有限公司 一种定位信息的修正方法、装置、电子设备和存储介质
CN113865584B (zh) * 2021-08-24 2024-05-03 知微空间智能科技(苏州)有限公司 一种基于视觉惯性里程计的uwb三维寻物方法和装置
CN113790726B (zh) * 2021-09-07 2024-03-29 中国科学院合肥物质科学研究院 一种融合相机、轮速计和单uwb信息的机器人室内定位方法
CN113776519B (zh) * 2021-09-14 2022-10-21 西南科技大学 一种无光动态开放环境下agv车辆建图与自主导航避障方法
CN113947639B (zh) * 2021-10-27 2023-08-18 北京斯年智驾科技有限公司 基于多雷达点云线特征的自适应在线估计标定系统及方法
CN114370870B (zh) * 2022-01-05 2024-04-12 中国兵器工业计算机应用技术研究所 适用于位姿测量卡尔曼滤波的滤波器更新信息筛选方法
CN115571156B (zh) * 2022-09-23 2023-12-26 东南大学 基于传感器融合的前车横向与纵向运动状态联合估计方法
CN115272494B (zh) * 2022-09-29 2022-12-30 腾讯科技（深圳）有限公司 相机与惯性测量单元的标定方法、装置和计算机设备
CN115406447B (zh) * 2022-10-31 2023-03-24 南京理工大学 拒止环境下基于视觉惯性的四旋翼无人机自主定位方法
CN115855117B (zh) * 2023-02-16 2023-06-02 深圳佑驾创新科技有限公司 相机和惯性测量单元相对车体安装姿态的联合标定方法
CN117745777A (zh) * 2024-01-05 2024-03-22 哈尔滨工业大学 一种基于时空配准的遥感检测地表密集异常元去除方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10267924B2 (en) * 2017-01-04 2019-04-23 Qualcomm Incorporated Systems and methods for using a sliding window of global positioning epochs in visual-inertial odometry
US10371530B2 (en) * 2017-01-04 2019-08-06 Qualcomm Incorporated Systems and methods for using a global positioning system velocity in visual-inertial odometry
CN110345944A (zh) * 2019-05-27 2019-10-18 浙江工业大学 融合视觉特征和imu信息的机器人定位方法
CN111156984B (zh) * 2019-12-18 2022-12-09 东南大学 一种面向动态场景的单目视觉惯性slam方法
CN111311680B (zh) * 2020-02-13 2021-03-30 吉林大学 一种三维激光雷达与机械臂间的自动联合标定方法
CN111845754B (zh) * 2020-07-27 2021-09-24 扬州大学 基于边缘计算和群智算法的自动驾驶车辆的决策预测方法

Also Published As

Publication number Publication date
CN112484725A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN112484725B (zh) 一种基于多传感器融合的智能汽车高精度定位与时空态势安全方法
CN113781582B (zh) 基于激光雷达和惯导联合标定的同步定位与地图创建方法
CN114526745B (zh) 一种紧耦合激光雷达和惯性里程计的建图方法及系统
CN105843223A (zh) 一种基于空间词袋模型的移动机器人三维建图与避障方法
Betge-Brezetz et al. Uncertain map making in natural environments
Mu et al. Research on SLAM algorithm of mobile robot based on the fusion of 2D LiDAR and depth camera
Tao et al. A multi-sensor fusion positioning strategy for intelligent vehicles using global pose graph optimization
CN114018248B (zh) 一种融合码盘和激光雷达的里程计方法与建图方法
CN112556719B (zh) 一种基于cnn-ekf的视觉惯性里程计实现方法
CN111862673A (zh) 基于顶视图的停车场车辆自定位及地图构建方法
Li et al. Robust localization for intelligent vehicles based on compressed road scene map in urban environments
CN115574816B (zh) 仿生视觉多源信息智能感知无人平台
CN112781582A (zh) 卫星弱观测条件下的多传感器融合高精度位姿估计算法
CN111474932B (zh) 一种集成情景经验的移动机器人建图与导航方法
Zhao et al. Review of slam techniques for autonomous underwater vehicles
CN115930977A (zh) 特征退化场景的定位方法、系统、电子设备和可读存介质
Gao et al. Vido: A robust and consistent monocular visual-inertial-depth odometry
Wang et al. Extraction of preview elevation information based on terrain mapping and trajectory prediction in real-time
CN117075158A (zh) 基于激光雷达的无人变形运动平台的位姿估计方法及系统
Pang et al. Structural Lines Aided Monocular Visual-Inertial-Wheel Odometry With Online IMU-Wheel Extrinsic Optimization on $\mathbb {S}^{2} $ Manifold
Su et al. GR-SLAM: Vision-based sensor fusion SLAM for ground robots on complex terrain
Zhang et al. An open-source, fiducial-based, underwater stereo visual-inertial localization method with refraction correction
Liu et al. A multi-sensor fusion with automatic vision-LiDAR calibration based on Factor graph joint optimization for SLAM
Lacroix et al. Integration of concurrent localization algorithms for a planetary rover
Liu et al. Laser 3D tightly coupled mapping method based on visual information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant