CN113608523B - 一种基于单目视觉和惯性融合的车辆场景动态性分析方法 - Google Patents

一种基于单目视觉和惯性融合的车辆场景动态性分析方法 Download PDF

Info

Publication number
CN113608523B
CN113608523B CN202010311620.2A CN202010311620A CN113608523B CN 113608523 B CN113608523 B CN 113608523B CN 202010311620 A CN202010311620 A CN 202010311620A CN 113608523 B CN113608523 B CN 113608523B
Authority
CN
China
Prior art keywords
imu
image
vehicle
matching
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010311620.2A
Other languages
English (en)
Other versions
CN113608523A (zh
Inventor
张吟龙
梁炜
苑明哲
郑萌
张思超
杨雨沱
李世明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN202010311620.2A priority Critical patent/CN113608523B/zh
Publication of CN113608523A publication Critical patent/CN113608523A/zh
Application granted granted Critical
Publication of CN113608523B publication Critical patent/CN113608523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术以及数据处理和信息融合技术，具体是一种基于单目视觉和惯性测量单元(IMU)融合的车辆场景动态性分析方法。该方法具体包括基于增益自适应互补滤波器的IMU方向估计、基于相对熵模型的静态特征点提取、基于视觉DPM模型的车辆区域检测、基于直方图投票的动态特征点提取、基于静态特征点和IMU紧耦合的载体自主运动估计以及车辆场景动态性分析六个步骤。本发明有效地解决了相机视角内出现大范围移动目标而无法准确估计载体自身位姿的问题，保证了载体自主运动估计的准确性和鲁棒性。本发明方法适用性广、鲁棒性好、准确率高，可广泛应用在车辆辅助驾驶系统中。

Description

一种基于单目视觉和惯性融合的车辆场景动态性分析方法
技术领域
本发明涉及计算机视觉技术以及数据处理和信息融合技术，具体是一种基于单目视觉惯性融合的车辆场景动态性分析方法。
背景技术
近年来，移动机器人和计算机视觉技术大量应用在无人车辅助驾驶系统中。固定在无人车内的单目相机采集的前方区域含有丰富的车辆场景信息，能够辅助导航系统感知周围的环境和载体自身所处的位置。以特斯拉自动驾驶系统为例，系统能够通过单目视觉判断前方车辆距离载体自身的距离，并以此为依据估计自身的轨迹并规划出合适的路径。然而现有的视觉感知导航系统存在如下两个问题：1)在单目相机的视野区域内，如果载体目标占据图像的大量区域，并且大多数匹配点对集中在前方移动车辆区域的时候，单目视觉系统难以区分图像内的静态特征点和动态特征点，进而无法做出载体运动的准确估计；2)现有的单目视觉导航系统没有感知周围车辆的动态性功能，致使系统做出错误的操作，比如变向、并道、超车从而造成追尾、撞车等交通事故。
与单目视觉系统的外视野感知类型不同，惯性测量单元(Inertial MeasurementUnit,IMU)属于内置传感器，能够采集载体自身的运动信息，比如加速度、角速度，通过对采集量的积分来估计载体的短时运动信息，能够弥补单目视觉系统无法有效区分图像静态特征点和动态特征点的不足。单目视觉和 IMU的有效融合能够准确感知视野内的静态场景和移动车辆，并能够准确的估计出载体当前的位姿状态，提高了无人车车载导航系统的可靠性和安全性。
发明内容
针对现有无人车单目视觉导航系统无法有效区分视野内的静态场景和动态场景，本发明提出一种基于单目视觉惯性融合的车辆场景动态性分析方法。该方法充分利用IMU的方向估计信息，辅助视觉系统区分图像间的静态特征点对。同时采用可变形部件检测模型(Deformable Part Based Model,DPM)来确定车辆区域内的动态特征点对。在此基础上，利用静态特征点对和IMU的测量值，采用目标函数优化的方法实现载体自身的姿态估计；同时利用动态特征点对来估计车辆场景的动态性。本方法提高了导航系统对车辆场景动态性分析的准确性和鲁棒性，可用于无人车的视觉导航系统中。
本发明目的是提供一种基于单目视觉惯性融合的车辆场景动态性分析方法。
本发明为实现上述目的所采用的技术方案是：
一种基于单目视觉和惯性融合的车辆场景动态性分析方法，包括以下步骤：
基于增益自适应互补滤波器的IMU方向估计，得到IMU的方向信息
Figure RE-GDA0002519962570000021
基于ORB的特征点检测，根据图像间特征点描述子的相似度，得到相邻图像间特征点匹配对，进而得到载体的姿态角直方图；
基于DPM的图像车辆区域检测，确定图像内的机动车区域；
基于相对熵的IMU辅助视觉静态特征点提取：利用IMU的方向信息
Figure RE-GDA0002519962570000022
以及特征点描述子之间的特征点匹配对提取静态特征点；
基于图像静态特征点和惯性测量值的载体自主运动估计，得到载体位姿；
基于姿态角直方图投票的动态特征点提取；
基于动态特征点集的场景动态性分析，得到图像中机动车辆数目、机动车区域所占图像的比例和图像中动态特征点所占的比例。
基于增益自适应互补滤波器的IMU方向估计，包含以下步骤：
1.1)计算陀螺仪的方向估计，
1.1.1)求解t+Δt时刻描述IMU方向的四元数
Figure RE-GDA0002519962570000023
的变化率
Figure RE-GDA0002519962570000024
Figure RE-GDA0002519962570000025
其中，四元数中的q1、q2、q3分量分别对应旋转轴在X、Y、Z方向的投影， q0分量对应IMU围绕旋转轴旋转的角度；符号
Figure RE-GDA0002519962570000026
表示四元数乘积，
Figure RE-GDA0002519962570000027
表示t时刻IMU陀螺仪的四元数估计值，ωt+Δt表示t+Δt时刻陀螺仪的输出值。
1.1.2)求解t+Δt时刻四元数的估计值
Figure RE-GDA0002519962570000031
Figure RE-GDA0002519962570000032
1.1.3)归一化处理四元数估计值，得出t+Δt时刻由陀螺仪估计出的四元数值
Figure RE-GDA0002519962570000033
Figure RE-GDA0002519962570000034
1.2)计算加速计与磁力计的方向估计值
Figure RE-GDA0002519962570000035
首先确定初始时刻的加速度值zα和磁场强度值zm，再根据t+Δt时刻加速计和磁力计的输出值α(t+Δt)和m(t+Δt)，以最小化估计值误差为目标，建立目标函数：
Figure RE-GDA0002519962570000036
其中，
Figure RE-GDA0002519962570000037
和
Figure RE-GDA0002519962570000038
分别表示t+Δt时刻加速计和磁力计估计值的误差，计算过程为：
Figure RE-GDA0002519962570000039
Figure RE-GDA00025199625700000310
其中，
Figure RE-GDA00025199625700000311
为t+Δt时刻由加速计与磁力计解算的方向估计值，Δt为IMU采样时间间隔；
1.3)基于互补滤波算法的方向估计，联合t+Δt时刻陀螺仪的方向估计值
Figure RE-GDA00025199625700000312
以及加速计和磁力计的方向估计值
Figure RE-GDA00025199625700000313
采用增益自适应互补滤波算法求解IMU坐标系下IMU的方向信息
Figure RE-GDA00025199625700000314
Figure RE-GDA00025199625700000315
其中，kt+Δt表示t+Δt时刻自适应的增益系数，
Figure RE-GDA00025199625700000316
表示t+Δt时刻的方向估计信息；
1.4)IMU姿态估计，根据IMU估计出的四元数
Figure RE-GDA00025199625700000317
得到载体的旋转角度θimu：
Figure RE-GDA0002519962570000041
所述基于ORB的特征点检测，并进行相邻图像间的特征点匹配包括以下步骤：
2.1)对于相邻图像中的每一帧，基于ORB的特征点检测，得到每一帧图像的特征点，并计算对应的特征点描述子；
2.2)相邻图像间的特征点匹配
通过计算相邻图像特征点描述子之间的Hamming距离实现相邻帧间图像间特征点的匹配，得到匹配的特征点对。
所述基于相对熵的IMU辅助视觉静态特征点提取包括以下步骤：
3.1)建立基于对极几何和非完整性约束的统计直方图；
根据步骤2.2)，得到相邻图像间一系列匹配的特征点对 {(p1,p′1),(p2,p′2),…(pn,p′n)}，n为匹配点对数，pn、p′n分别表示图像I1,I2间的匹配点对，描述载体位姿的旋转矩阵R和平移向量t用旋转角度θ来表示：
Figure RE-GDA0002519962570000042
根据计算机视觉的两视图对极几何关系，给定匹配点对(p,p′)，可得到匹配点对的外极线约束模型：
p′[t]×Rp＝0
其中p＝(px，py，pz)和p′＝(p′x,p′y,p′z)分别表示世界坐标系中的点P，在相机坐标系下的归一化坐标；
根据(p,p′)进而得到载体运动的角度θ：
Figure RE-GDA0002519962570000043
相邻帧图像间特征点匹配对集合{(p1,p′1),(p2,p′2),…(pn,p′n)}转化为与之对应的姿态角集合{θ1,θ2,…,θn}，进而构建出关于θ的统计直方图。
3.2)基于相对熵的静态特征点提取：
根据步骤1.4)，使用均值为μimu,方差为σimu 2的高斯分布N(μimu,σimu 2)来描述随机变量θimu；根据步骤3.1)，得到载体姿态角θ的统计直方图，用混合高斯模型
Figure RE-GDA0002519962570000051
来描述，与IMU估计值一致的视觉静态特征点集合用相对熵模型来描述：
Figure RE-GDA0002519962570000052
其中，pimu表示随机变量θimu的概率密度函数；pj表示关于载体姿态角的第 j组高斯混合模型的概率密度函数，DRE(·)表示度量随机变量pimu和pj的相对熵函数；
与IMU估计值一致的姿态角集合所对应的高斯分布模型为：
Figure RE-GDA0002519962570000053
根据θ*可得到相邻图像间的静态特征点集合:
{(p1,p′1),(p2,p′2),…(pm,p′m)}。
所述基于图像静态特征点集进行惯性测量值的载体自主运动估计包括以下步骤：
5.1)定义待优化的状态变量
待优化的变量包括位置向量
Figure RE-GDA0002519962570000054
旋转矩阵
Figure RE-GDA0002519962570000055
速度向量
Figure RE-GDA0002519962570000056
加速度偏差
Figure RE-GDA0002519962570000057
和角速度偏差
Figure RE-GDA0002519962570000058
其中小标W表示世界坐标系；小标B表示基坐标系；小标 t表示时间；
5.2)待优化的状态变量
Figure RE-GDA0002519962570000059
可通过最小化如下的目标函数的得到：
Figure RE-GDA00025199625700000510
其中，Ec(I1,I2)表示静态特征点在相邻图像I1和I2间的重投影误差；EI(I1,I2) 表示IMU的惯性误差项；sc和sI分别表示各误差项的权重系数；
关于静态特征点间的重投影误差项定义如下：
Figure RE-GDA0002519962570000061
其中
Figure RE-GDA0002519962570000062
和
Figure RE-GDA0002519962570000063
分别表示第j个静态匹配点对在图像I1和I2中的位置(单位是像素)，π(·)表示图像内部的重投影函数，
Figure RE-GDA0002519962570000064
表示关于第j个静态匹配点的信息矩阵；
IMU的惯性误差项EI(I1,I2)定义如下：
Figure RE-GDA0002519962570000065
其中
Figure RE-GDA0002519962570000066
和
Figure RE-GDA0002519962570000067
分别表示在[I1,I2]时间间隔内，惯性测量值的位置误差项、速度误差项和旋转误差项；
Figure RE-GDA0002519962570000068
和
Figure RE-GDA0002519962570000069
分别表示在[I1,I2]时间间隔内惯性测量值的加速度偏差项和角速度偏差项。
Figure RE-GDA00025199625700000610
分别表示关于位移、速度、旋转、加速度偏差和角速度变差的信息矩阵；上小标T表示矩阵的偏置。
各项偏差模型定义如下：
Figure RE-GDA00025199625700000611
Figure RE-GDA00025199625700000612
Figure RE-GDA00025199625700000613
Figure RE-GDA00025199625700000614
Figure RE-GDA00025199625700000615
其中，常量g表示重力加速度，Δt表示图像[I1,I2]的时间间隔；
Figure RE-GDA00025199625700000616
和
Figure RE-GDA00025199625700000617
分别表示在时刻I1处，惯性坐标系相对于世界坐标系的旋转矩阵和平移向量；
Figure RE-GDA0002519962570000071
和
Figure RE-GDA0002519962570000072
分别表示在时刻I2处，惯性坐标系相对于世界坐标系的旋转矩阵和平移向量；
Figure RE-GDA0002519962570000073
和
Figure RE-GDA0002519962570000074
分别表示世界坐标系下，惯性系统在I2和I1时刻的速度；
Figure RE-GDA0002519962570000075
和
Figure RE-GDA0002519962570000076
分别表示时间间隔[I1,I2]内系统的期望位移量、期望速度偏差和期望旋转量，
Figure RE-GDA0002519962570000077
和
Figure RE-GDA0002519962570000078
分别表示在I1时刻惯性测量值的加速度偏差项和角速度偏差项；
Figure RE-GDA0002519962570000079
和
Figure RE-GDA00025199625700000710
分别表示在I2时刻惯性测量值的加速度偏差项和角速度偏差项；
Figure RE-GDA00025199625700000711
表示
Figure RE-GDA00025199625700000712
旋转矩阵的转置矩阵。
所述基于直方图投票的动态特征点提取包括以下步骤：
6.1)基于区域相关性的相邻图像间车辆区域匹配
6.1.1)计算图像I1的车辆区域
Figure RE-GDA00025199625700000713
质心位置
Figure RE-GDA00025199625700000714
和对应的区域面积
Figure RE-GDA00025199625700000715
同理，计算图像I2的车辆区域
Figure RE-GDA00025199625700000716
质心位置
Figure RE-GDA00025199625700000717
和对应的区域面积
Figure RE-GDA00025199625700000718
6.1.2)根据车辆区域的质心间近邻约束和区域面积的相关性来完成图像I1和I2的车辆区域匹配，匹配模型如下：
Figure RE-GDA00025199625700000719
其中，w1表示质心间近邻约束部分的权重系数；w2表示区域面积相关性的权重系数，a和b分别表示图像I1和I2中待匹配的车辆区域序号；
6.2)匹配区域内的动态特征点提取；
6.2.1)构建车辆区域内的姿态角直方图；
6.2.2)使用直方图投票方法提取出动态特征点集合。
所述基于动态特征点集的场景动态性分析包括以下步骤：
7.1)估计车辆区域占据整幅图像的比例
第I1帧图像存在K块车辆场景区域，分别是{R1,R2,…,RK}，而其车辆区域的面积分别为
Figure RE-GDA00025199625700000720
则在I1帧图像中车辆区域占据整幅图像的比例
Figure RE-GDA00025199625700000721
为：
Figure RE-GDA0002519962570000081
其中Area(I1)表示I1图像的面积，单位是像素；
7.2)估计动态特征点匹配对与整幅图像间特征点匹配对的比例
假定第I1帧图像中车辆区域内的动态特征点数量分别是
Figure RE-GDA0002519962570000082
而总共的特征点数目为N(I1)，则在I1帧图像中动态特征点匹配对与整个特征点匹配对的比例
Figure RE-GDA0002519962570000083
为：
Figure RE-GDA0002519962570000084
本发明具有以下有益效果及优点：
1.本发明方法利用IMU的方向估计信息，结合着载体的非完整性约束模型，来提取图像间的静态特征点集合，用来估计载体自身的运动。
2.本发明利用可变形部件检测模型，来检测图像中的车辆区域，同时利用区域内的质心位置和车辆区域面积，来匹配图像帧间的车辆区域，来实现前方车辆的动态性分析。
附图说明
图1为发明方法原理图。
具体实施方式
下面结合附图及实例对本发明做进一步的详细说明。
本发明主要分为三部分，图1所示为本发明方法原理图，具体实现过程如下所述。
步骤1：基于增益自适应互补滤波器的IMU方向估计。
IMU包含三个主要的传感器：三轴陀螺仪、三轴加速计和三轴磁力计。IMU 的姿态估计包括三类传感器的方向估计，并对其估计值进行融合。
步骤1.1：计算陀螺仪的方向估计。
步骤1.1.1：求解t+Δt时刻描述IMU方向的四元数
Figure RE-GDA0002519962570000091
Figure RE-GDA0002519962570000092
的变化率(也称导数)
Figure RE-GDA0002519962570000093
公式如下：
Figure RE-GDA0002519962570000094
其中，四元数中的q1、q2、q3分量分别对应旋转轴在X、Y、Z方向的投影， q0分量对应IMU围绕旋转轴旋转的角度；符号
Figure RE-GDA0002519962570000095
表示四元数乘积，
Figure RE-GDA0002519962570000096
表示t时刻IMU陀螺仪的四元数估计值，ωt+Δt表示t+Δt时刻陀螺仪的输出值。
步骤1.1.2：求解t+Δt时刻四元数的估计值
Figure RE-GDA0002519962570000097
Figure RE-GDA0002519962570000098
步骤1.1.3：归一化处理四元数估计值，得出t+Δt时刻由陀螺仪估计出的四元数值
Figure RE-GDA0002519962570000099
Figure RE-GDA00025199625700000910
步骤1.2：计算加速计与磁力计的方向估计。
通过高斯牛顿的迭代优化算法计算t+Δt时刻加速计与磁力计的方向估计值
Figure RE-GDA00025199625700000911
首先确定初始时刻的加速度值zα和磁场强度值zm，再根据t时刻加速计和磁力计的输出值α(t+Δt)和m(t+Δt)，以最小化估计值误差为目标，建立目标函数：
Figure RE-GDA00025199625700000912
其中，
Figure RE-GDA00025199625700000913
和
Figure RE-GDA00025199625700000914
分别表示由加速计和磁力计估计值的误差，计算过程为：
Figure RE-GDA00025199625700000915
Figure RE-GDA00025199625700000916
步骤1.3：基于互补滤波算法的方向估计。
联合t+Δt时刻陀螺仪的方向估计值
Figure RE-GDA0002519962570000101
和以及加速计和磁力计的方向估计值
Figure RE-GDA0002519962570000102
采用增益自适应互补滤波算法求解IMU坐标系下IMU的方向信息
Figure RE-GDA0002519962570000103
Figure RE-GDA0002519962570000104
其中kt表示自适应的增益系数，
Figure RE-GDA0002519962570000105
表示t时刻的方向估计信息。
步骤1.4:IMU姿态估计。
根据IMU估计出的四元数
Figure RE-GDA0002519962570000106
得到载体的旋转角度θimu：
Figure RE-GDA0002519962570000107
步骤2：基于相对熵的IMU辅助视觉静态特征点提取
步骤2.1：基于ORB的特征点检测
步骤2.2：相邻图像间的特征点匹配
通过计算特征点描述子之间的欧氏距离实现相邻帧间特征点的匹配，如果
Figure RE-GDA0002519962570000108
与
Figure RE-GDA0002519962570000109
的比值小于预定义的阈值δD，即
Figure RE-GDA00025199625700001010
则接受这一对匹配点；其中，对于图像中的某个特征点P，其特征点描述子记为DP＝[x1,x2,…x32]T；待匹配图像中与P点对应的第一近邻点和第二近邻点分别记为P1和P2；所述第一近邻点和第二近邻点分别指待匹配图像的特征点中，与P点描述子汉明距离最近的描述子的特征点和次近的描述子的特征点；P1和P2的特征点描述子分别记为
Figure RE-GDA00025199625700001011
P点与P1和P2的特征点描述子之间的汉明距离
Figure RE-GDA00025199625700001012
和
Figure RE-GDA00025199625700001013
可表示为分别表示为：
Figure RE-GDA00025199625700001014
Figure RE-GDA00025199625700001015
步骤2.3：建立基于对极几何和非完整性约束的统计直方图
根据步骤2.2，可得到相邻图像间一系列特征点匹配对 {(p1,p′1),(p2,p′2),…(pn,p′n)}，其中(pj,p′j)表示第j(1≤j≤n)组匹配点对，下小标n表示匹配点对的个数。利用地面载体的非完整性约束，在不考虑平移尺度因素的前提下，描述载体位姿的旋转矩阵R和平移向量t可用旋转角度θ来表示：
Figure RE-GDA0002519962570000111
根据计算机视觉的两视图对极几何关系，给定匹配点对(p,p′)，可得到匹配点对的外极线约束模型：
p′[t]×Rp＝0
其中p＝(px，py，pz)和p′＝(p′x,p′y,p′z)分别表示物理世界中点P，在相机坐标系下的归一化坐标。
利用对极几何约束模型和地面载体的非完整性约束模型，可估计出描述载体运动的角度θ：
Figure RE-GDA0002519962570000112
图像相邻帧间特征点匹配对集合{(p1,p′1),(p2,p′2),…(pn,p′n)}可转化为与之对应的姿态角集合{θ1,θ2,…,θn}，进而可构建出关于θ的统计直方图。
步骤2.4：基于相对熵的静态特征点提取：
根据步骤1.4，根据IMU的姿态估计角期望值θimu和姿态估计角方差σimu 2，可得到关于IMU姿态估计角的随机变量θi的高斯分布模型N(θimu,σimu 2)。根据步骤2.3，由视觉获得的载体姿态角θc的统计直方图，可用混合高斯模型
Figure RE-GDA0002519962570000113
来描述，与IMU估计值一致的视觉静态特征点集合可用相对熵模型来描述：
Figure RE-GDA0002519962570000121
其中，pimu表示随机变量θi的概率密度函数；随机变量pj表示关于载体姿态角的第j组高斯混合模型的概率密度函数；DRE(·)表示度量随机变量pimu和pj的相对熵函数。
与IMU估计值一致的姿态角集合所对应的高斯分布模型为：
Figure RE-GDA0002519962570000122
其中下小标M表示混合高斯模型的数目。
根据θ*可得到相邻图像间的静态特征点集合(Inlier Group): {(p1,p′1),(p2,p′2),…(pm,p′m)}
步骤3：基于DPM的图像车辆区域检测
步骤3.1：将待检测的车辆目标抽象成车辆特征描述子
步骤3.1.1：将样本中车辆区域分别归类成前视图、侧视图和后视图三类数据集；
步骤3.1.2：将待检测的车辆目标
Figure RE-GDA0002519962570000123
描述成一个由根滤波器
Figure RE-GDA0002519962570000124
和一系列的部件滤波器F＝{F1,F2,…,Fn}生成的车辆特征描述子；
步骤3.1.3：针对车辆区域的数据集，分别提取根滤波器的梯度直方图 {RF,RS,RR}作为根滤波器的特征描述子，其中下标{F,S,R}分别代表车辆的前视图、左视图和后视图；
步骤3.1.4：针对车辆区域的数据集，分别提取前视图、侧视图和后视图三个视角下的部件滤波器梯度直方图FF＝{FF1,FF2,…,FFn}， Fx＝{Fs1,Fs2,…,Fsn}，FR＝{FR1,FR2,…,FRn}作为部件滤波器的特征描述子；
步骤3.1.5：根据根滤波器的特征描述子和部件滤波器的特征描述子，构造待检测的目标函数
Figure RE-GDA0002519962570000131
其中
Figure RE-GDA0002519962570000132
和Rj分别表示第j个视角下的根滤波器梯度直方图特征和对应的权重系数；
Figure RE-GDA0002519962570000133
和Fji分别表示第j个视角下第i个部件的滤波器梯度直方图特征和对应的权重系数；dji表示j视角下第i个部件模板相对于根模板的几何形变系数；
Figure RE-GDA0002519962570000134
表示j视角下第i个部件的几何形变特征。
步骤3.2：利用SVM(支持向量机)生成车辆检测器
步骤3.2.1：正则化训练样本集的尺寸；
步骤3.2.2：初始化根滤波器和部件滤波器的特征描述子的滑动窗口大小，块大小，直方图的bin数目；
步骤3.2.3：将正负例的特征描述子样本送入到SVM分类器中，训练分类器的模型参数。
步骤4：基于直方图投票的动态特征点提取
步骤4.1：基于区域相关性的相邻图像间车辆区域匹配
步骤4.1.1：计算图像I1的车辆区域
Figure RE-GDA0002519962570000135
质心位置
Figure RE-GDA0002519962570000136
和对应的区域面积
Figure RE-GDA0002519962570000137
同理，计算图像I2的车辆区域
Figure RE-GDA0002519962570000138
质心位置
Figure RE-GDA0002519962570000139
和对应的区域面积
Figure RE-GDA00025199625700001310
步骤4.1.2：根据车辆区域的质心间近邻约束和区域面积的相关性来完成图像I1和I2的车辆区域匹配，匹配模型如下：
Figure RE-GDA00025199625700001311
其中w1表示质心间近邻约束部分的权重系数；w2表示区域面积相关性的权重系数。
步骤4.2：匹配区域内的动态特征点提取
步骤4.2.1：构建车辆区域内的姿态角直方图；
步骤4.2.2：使用直方图投票方法提取出动态特征点集合。
步骤5：基于静态特征点和IMU紧耦合的载体自主运动估计
步骤5.1：定义待优化的状态变量
待优化的变量包括位置向量
Figure RE-GDA0002519962570000141
旋转矩阵
Figure RE-GDA0002519962570000142
速度向量
Figure RE-GDA0002519962570000143
加速度偏差
Figure RE-GDA0002519962570000144
和角速度偏差
Figure RE-GDA0002519962570000145
其中小标W表示世界坐标系；小标B表示基坐标系；小标 t表示时间。
待优化的状态变量
Figure RE-GDA0002519962570000146
可通过最小化如下的目标函数来实现：
Figure RE-GDA0002519962570000147
其中，Ec(I1,I2)表示静态特征点在图像I1和I2间的重投影误差；EI(I1,I2)表示 IMU的惯性误差项；sc和sI分别表示各误差项的权重系数。
关于静态特征点间的重投影误差项定义如下：
Figure RE-GDA0002519962570000148
其中
Figure RE-GDA0002519962570000149
和
Figure RE-GDA00025199625700001410
分别表示第j个静态匹配点对在图像I1和I2中的位置(单位是像素)，π(·)表示图像内部的重投影函数
Figure RE-GDA00025199625700001411
表示关于第j个静态匹配点的信息矩阵。
IMU的惯性误差项EI(I1,I2)定义如下：
Figure RE-GDA00025199625700001412
其中
Figure RE-GDA00025199625700001413
和
Figure RE-GDA00025199625700001414
分别表示在[I1,I2]时间间隔内，惯性测量值的位置误差项、速度误差项和旋转误差项；
Figure RE-GDA00025199625700001415
和
Figure RE-GDA00025199625700001416
分别表示在[I1,I2]时间间隔内惯性测量值的加速度偏差项和角速度偏差项。
Figure RE-GDA0002519962570000151
分别表示关于位移、速度、旋转、加速度偏差和角速度变差的信息矩阵。
各项偏差模型定义如下：
Figure RE-GDA0002519962570000152
Figure RE-GDA0002519962570000153
Figure RE-GDA0002519962570000154
Figure RE-GDA0002519962570000155
Figure RE-GDA0002519962570000156
其中，常量g表示重力加速度，Δt表示图像[I1,I2]的时间间隔；
Figure RE-GDA0002519962570000157
和
Figure RE-GDA0002519962570000158
分别表示在时刻I1处，惯性坐标系相对于世界坐标系的旋转矩阵和平移向量；
Figure RE-GDA0002519962570000159
和
Figure RE-GDA00025199625700001510
分别表示在时刻I2处，惯性坐标系相对于世界坐标系的旋转矩阵和平移向量；
Figure RE-GDA00025199625700001511
和
Figure RE-GDA00025199625700001512
分别表示世界坐标系下，惯性系统在I2和I1时刻的速度；
Figure RE-GDA00025199625700001513
和
Figure RE-GDA00025199625700001514
分别表示时间间隔[I1,I2]内系统的期望位移量、期望速度偏差和期望旋转量，
Figure RE-GDA00025199625700001515
和
Figure RE-GDA00025199625700001516
分别表示在I1时刻惯性测量值的加速度偏差项和角速度偏差项；
Figure RE-GDA00025199625700001517
和
Figure RE-GDA00025199625700001518
分别表示在I2时刻惯性测量值的加速度偏差项和角速度偏差项，
Figure RE-GDA00025199625700001519
表示
Figure RE-GDA00025199625700001520
旋转矩阵的转置矩阵。
步骤6：基于动态特征点的场景动态性分析
步骤6.1：估计车辆区域占据整幅图像的比例
假定第I1帧图像存在K块车辆场景区域，分别是{R1,R2,…,RK}，而其车辆区域的面积分别为
Figure RE-GDA00025199625700001521
则在I1帧图像中车辆区域占据整幅图像的比例
Figure RE-GDA00025199625700001522
为：
Figure RE-GDA00025199625700001523
其中Area(I1)表示I1图像的面积，单位是像素。
步骤6.2：估计动态特征点匹配对与整个特征点匹配对的比例
本专利中，动态特征点对代表图像中车辆区域的匹配点对。假定第I1帧图像车辆区域内的动态特征点数量分别是
Figure RE-GDA0002519962570000161
而总共的特征点数目为 N(I1)，则在I1帧图像中动态特征点匹配对与整个特征点匹配对的比例
Figure RE-GDA0002519962570000162
为：
Figure RE-GDA0002519962570000163
图像中动态特征点匹配对与整个特征点匹配对的比例
Figure RE-GDA0002519962570000164
用于分析图像中对应机动车辆的相对运动情况，用于估计前方场景中机动车的相对位置和姿态。
根据车载相机采集的图像分析出图像中前方机动车的数目、车辆区域所占整幅图像的比例、动态特征点等，用于场景动态性分析。

Claims (5)

1.一种基于单目视觉和惯性融合的车辆场景动态性分析方法，其特征在于，包括以下步骤：
基于增益自适应互补滤波器的IMU方向估计，得到IMU的方向信息
Figure FDA0003980841720000012
基于ORB的特征点检测，根据图像间特征点描述子的相似度，得到相邻图像间特征点匹配对，进而得到载体的姿态角直方图；
基于DPM的图像车辆区域检测，确定图像内的机动车区域；
基于相对熵的IMU辅助视觉静态特征点提取：利用IMU的方向信息
Figure FDA0003980841720000013
以及特征点描述子之间的特征点匹配对提取静态特征点；
基于图像静态特征点和惯性测量值的载体自主运动估计，得到载体位姿；
基于姿态角直方图投票的动态特征点提取；
基于动态特征点集的场景动态性分析，得到图像中机动车辆数目、机动车区域所占图像的比例和图像中动态特征点所占的比例；
所述基于相对熵的IMU辅助视觉静态特征点提取包括以下步骤：
3.1)建立基于对极几何和非完整性约束的统计直方图；
根据步骤2.2)，得到相邻图像间一系列匹配的特征点对{(p1,p′1),(p2,p′2),…(pn,p′n)}，n为匹配点对数，pn、p′n分别表示图像I1,I2间的匹配点对，描述载体位姿的旋转矩阵R和平移向量t用旋转角度θ来表示：
Figure FDA0003980841720000011
根据计算机视觉的两视图对极几何关系，给定匹配点对(p,p′)，可得到匹配点对的外极线约束模型：
p′[t]×Rp＝0
其中p＝(px，py，pz)和p′＝(p′x,p′y，p′z)分别表示世界坐标系中的点P，在相机坐标系下的归一化坐标；
根据(p,p′)进而得到载体运动的角度θ：
Figure FDA0003980841720000021
相邻帧图像间特征点匹配对集合{(p1,p′1),(p2,p′2),…(pn,p′n)}转化为与之对应的姿态角集合{θ1,θ2,…,θn}，进而构建出关于θ的统计直方图；
3.2)基于相对熵的静态特征点提取：
根据步骤1.4)，使用均值为μimu,方差为σimu 2的高斯分布N(μimu,σimu 2)来描述随机变量θimu；根据步骤3.1)，得到载体姿态角θ的统计直方图，用混合高斯模型
Figure FDA0003980841720000022
来描述，与IMU估计值一致的视觉静态特征点集合用相对熵模型来描述：
Figure FDA0003980841720000023
其中，pimu表示随机变量θimu的概率密度函数；pj表示关于载体姿态角的第j组高斯混合模型的概率密度函数，DRE(·)表示度量随机变量pimu和pj的相对熵函数；
与IMU估计值一致的姿态角集合所对应的高斯分布模型为：
Figure FDA0003980841720000024
根据θ*可得到相邻图像间的静态特征点集合:
{(p1,p′1),(p2,p′2),…(pm,p′m)}；
所述基于直方图投票的动态特征点提取包括以下步骤：
6.1)基于区域相关性的相邻图像间车辆区域匹配
6.1.1)计算图像I1的车辆区域
Figure FDA0003980841720000025
质心位置
Figure FDA0003980841720000026
和对应的区域面积
Figure FDA0003980841720000027
同理，计算图像I2的车辆区域
Figure FDA0003980841720000028
质心位置
Figure FDA0003980841720000029
和对应的区域面积
Figure FDA0003980841720000031
6.1.2)根据车辆区域的质心间近邻约束和区域面积的相关性来完成图像I1和I2的车辆区域匹配，匹配模型如下：
Figure FDA0003980841720000032
其中，w1表示质心间近邻约束部分的权重系数；w2表示区域面积相关性的权重系数，a和b分别表示图像I1和I2中待匹配的车辆区域序号；
6.2)匹配区域内的动态特征点提取；
6.2.1)构建车辆区域内的姿态角直方图；
6.2.2)使用直方图投票方法提取出动态特征点集合。
2.根据权利要求1所述的一种基于单目视觉和惯性融合的车辆场景动态性分析方法，其特征在于，基于增益自适应互补滤波器的IMU方向估计，包含以下步骤：
1.1)计算陀螺仪的方向估计，
1.1.1)求解t+Δt时刻描述IMU方向的四元数
Figure FDA0003980841720000033
的变化率
Figure FDA0003980841720000034
Figure FDA0003980841720000035
其中，四元数中的q1、q2、q3分量分别对应旋转轴在X、Y、Z方向的投影，q0分量对应IMU围绕旋转轴旋转的角度；符号“
Figure FDA0003980841720000036
”表示四元数乘积，
Figure FDA0003980841720000037
表示t时刻IMU陀螺仪的四元数估计值，ωt+Δt表示l+Δt时刻陀螺仪的输出值；
1.1.2)求解t+Δt时刻四元数的估计值
Figure FDA0003980841720000038
Figure FDA0003980841720000039
1.1.3)归一化处理四元数估计值，得出t+Δt时刻由陀螺仪估计出的四元数值
Figure FDA00039808417200000310
Figure FDA00039808417200000311
1.2)计算加速计与磁力计的方向估计值
Figure FDA0003980841720000041
首先确定初始时刻的加速度值zα和磁场强度值zm，再根据t+Δt时刻加速计和磁力计的输出值α(t+Δt)和m(t+Δt)，以最小化估计值误差为目标，建立目标函数：
Figure FDA0003980841720000042
其中，
Figure FDA0003980841720000043
和
Figure FDA0003980841720000044
分别表示t+Δt时刻加速计和磁力计估计值的误差，计算过程为：
Figure FDA0003980841720000045
Figure FDA0003980841720000046
其中，
Figure FDA0003980841720000047
为t+Δt时刻由加速计与磁力计解算的方向估计值，Δt为IMU采样时间间隔；
1.3)基于互补滤波算法的方向估计，联合t+Δt时刻陀螺仪的方向估计值
Figure FDA0003980841720000048
以及加速计和磁力计的方向估计值
Figure FDA0003980841720000049
采用增益自适应互补滤波算法求解IMU坐标系下IMU的方向信息
Figure FDA00039808417200000410
Figure FDA00039808417200000411
其中，kt+Δt表示t+Δt时刻自适应的增益系数，
Figure FDA00039808417200000412
表示t+Δt时刻的方向估计信息；
1.4)IMU姿态估计，根据IMU估计出的四元数
Figure FDA00039808417200000413
得到载体的旋转角度θimu：
Figure FDA00039808417200000414
3.根据权利要求1所述的一种基于单目视觉和惯性融合的车辆场景动态性分析方法，其特征在于，所述基于ORB的特征点检测，并进行相邻图像间的特征点匹配包括以下步骤：
2.1)对于相邻图像中的每一帧，基于ORB的特征点检测，得到每一帧图像的特征点，并计算对应的特征点描述子；
2.2)相邻图像间的特征点匹配
通过计算相邻图像特征点描述子之间的Hamming距离实现相邻帧间图像间特征点的匹配，得到匹配的特征点对。
4.根据权利要求1所述的一种基于单目视觉和惯性融合的车辆场景动态性分析方法，其特征在于，所述基于图像静态特征点集进行惯性测量值的载体自主运动估计包括以下步骤：
5.1)定义待优化的状态变量
待优化的变量包括位置向量
Figure FDA0003980841720000051
旋转矩阵
Figure FDA0003980841720000052
速度向量
Figure FDA0003980841720000053
加速度偏差
Figure FDA0003980841720000054
和角速度偏差
Figure FDA0003980841720000055
其中小标W表示世界坐标系；小标B表示基坐标系；小标t表示时间；
5.2)待优化的状态变量
Figure FDA0003980841720000056
可通过最小化如下的目标函数的得到：
Figure FDA0003980841720000057
其中，Ec(I1,I2)表示静态特征点在相邻图像I1和I2间的重投影误差；EI(I1,I2)表示IMU的惯性误差项；sc和sI分别表示各误差项的权重系数；
关于静态特征点间的重投影误差项定义如下：
Figure FDA0003980841720000058
其中
Figure FDA0003980841720000059
和
Figure FDA00039808417200000510
分别表示第j个静态匹配点对在图像I1和I2中的位置(单位是像素)，π(·)表示图像内部的重投影函数，
Figure FDA00039808417200000511
表示关于第j个静态匹配点的信息矩阵；
IMU的惯性误差项EI(I1,I2)定义如下：
Figure FDA00039808417200000512
其中
Figure FDA0003980841720000061
和
Figure FDA0003980841720000062
分别表示在[I1,I2]时间间隔内，惯性测量值的位置误差项、速度误差项和旋转误差项；
Figure FDA0003980841720000063
和
Figure FDA0003980841720000064
分别表示在[I1,I2]时间间隔内惯性测量值的加速度偏差项和角速度偏差项，
Figure FDA0003980841720000065
分别表示关于位移、速度、旋转、加速度偏差和角速度变差的信息矩阵；上小标T表示矩阵的偏置；
各项偏差模型定义如下：
Figure FDA0003980841720000066
Figure FDA0003980841720000067
Figure FDA0003980841720000068
Figure FDA0003980841720000069
Figure FDA00039808417200000610
其中，常量g表示重力加速度，Δt表示图像[I1,I2]的时间间隔；
Figure FDA00039808417200000611
和
Figure FDA00039808417200000612
分别表示在时刻I1处，惯性坐标系相对于世界坐标系的旋转矩阵和平移向量；
Figure FDA00039808417200000613
和
Figure FDA00039808417200000614
分别表示在时刻I2处，惯性坐标系相对于世界坐标系的旋转矩阵和平移向量；
Figure FDA00039808417200000615
和
Figure FDA00039808417200000616
分别表示世界坐标系下，惯性系统在I2和I1时刻的速度；
Figure FDA00039808417200000617
和
Figure FDA00039808417200000618
分别表示时间间隔[I1,I2]内系统的期望位移量、期望速度偏差和期望旋转量，
Figure FDA00039808417200000619
和
Figure FDA00039808417200000620
分别表示在I1时刻惯性测量值的加速度偏差项和角速度偏差项；
Figure FDA00039808417200000621
和
Figure FDA00039808417200000622
分别表示在I2时刻惯性测量值的加速度偏差项和角速度偏差项；
Figure FDA00039808417200000623
表示
Figure FDA00039808417200000624
旋转矩阵的转置矩阵。
5.根据权利要求1所述的一种基于单目视觉和惯性融合的车辆场景动态性分析方法，其特征在于，所述基于动态特征点集的场景动态性分析包括以下步骤：
7.1)估计车辆区域占据整幅图像的比例
第I1帧图像存在K块车辆场景区域，分别是{R1,R2,…,RK}，而其车辆区域的面积分别为
Figure FDA00039808417200000625
则在I1帧图像中车辆区域占据整幅图像的比例
Figure FDA00039808417200000626
为：
Figure FDA0003980841720000071
其中Area(I1)表示I1图像的面积，单位是像素；
7.2)估计动态特征点匹配对与整幅图像间特征点匹配对的比例
假定第I1帧图像中车辆区域内的动态特征点数量分别是
Figure FDA0003980841720000072
而总共的特征点数目为N(I1)，则在I1帧图像中动态特征点匹配对与整个特征点匹配对的比例
Figure FDA0003980841720000073
为：
Figure FDA0003980841720000074
CN202010311620.2A 2020-04-20 2020-04-20 一种基于单目视觉和惯性融合的车辆场景动态性分析方法 Active CN113608523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010311620.2A CN113608523B (zh) 2020-04-20 2020-04-20 一种基于单目视觉和惯性融合的车辆场景动态性分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010311620.2A CN113608523B (zh) 2020-04-20 2020-04-20 一种基于单目视觉和惯性融合的车辆场景动态性分析方法

Publications (2)

Publication Number Publication Date
CN113608523A CN113608523A (zh) 2021-11-05
CN113608523B true CN113608523B (zh) 2023-03-14

Family

ID=78303112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010311620.2A Active CN113608523B (zh) 2020-04-20 2020-04-20 一种基于单目视觉和惯性融合的车辆场景动态性分析方法

Country Status (1)

Country Link
CN (1) CN113608523B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709223A (zh) * 2015-07-29 2017-05-24 中国科学院沈阳自动化研究所 基于惯性引导采样的视觉imu方向估计方法
CN106709222A (zh) * 2015-07-29 2017-05-24 中国科学院沈阳自动化研究所 基于单目视觉的imu漂移补偿方法
CN108090921A (zh) * 2016-11-23 2018-05-29 中国科学院沈阳自动化研究所 单目视觉和imu融合的自适应室内定位方法
CN110345944A (zh) * 2019-05-27 2019-10-18 浙江工业大学 融合视觉特征和imu信息的机器人定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160061581A1 (en) * 2014-08-26 2016-03-03 Lusee, Llc Scale estimating method using smart device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709223A (zh) * 2015-07-29 2017-05-24 中国科学院沈阳自动化研究所 基于惯性引导采样的视觉imu方向估计方法
CN106709222A (zh) * 2015-07-29 2017-05-24 中国科学院沈阳自动化研究所 基于单目视觉的imu漂移补偿方法
CN108090921A (zh) * 2016-11-23 2018-05-29 中国科学院沈阳自动化研究所 单目视觉和imu融合的自适应室内定位方法
CN110345944A (zh) * 2019-05-27 2019-10-18 浙江工业大学 融合视觉特征和imu信息的机器人定位方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Monocular Camera and IMU Integration for Indoor Position Estimation;Yinlong Zhang，等;《2014 36TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY (EMBC)》;20141231;第1198-1201页 *
Stereo obstacle detection for unmanned surface vehicles by IMU-assisted semantic segmentation;Borja Bovcon，等;《Robotics and Autonomous Systems》;20181231;第104卷;第1-13页 *
Vision–IMU Integration Using a Slow-Frame-Rate Monocular Vision System in an Actual Roadway Setting;Duminda I. B. Randeniya;《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》;20100630;第11卷(第2期);第256-266页 *
单目视觉-激光测距定位系统的标定与姿态校正;郑帅超，等;《机械科学与技术》;20171231;第36卷(第12期);第1926-1934页 *
基于IMU 与单目视觉融合的姿态测量方法;孙长库，等;《天津大学学报(自然科学与工程技术版)》;20171231;第50卷(第3期);第313-320页 *

Also Published As

Publication number Publication date
CN113608523A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN111595333B (zh) 视觉惯性激光数据融合的模块化无人车定位方法及系统
CN109029433B (zh) 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN111156984B (zh) 一种面向动态场景的单目视觉惯性slam方法
CN111258313B (zh) 多传感器融合slam系统及机器人
CN107869989B (zh) 一种基于视觉惯导信息融合的定位方法及系统
US10452999B2 (en) Method and a device for generating a confidence measure for an estimation derived from images captured by a camera mounted on a vehicle
CN112233177B (zh) 一种无人机位姿估计方法及系统
CN113223161B (zh) 一种基于imu和轮速计紧耦合的鲁棒全景slam系统和方法
CN111275763A (zh) 闭环检测系统、多传感器融合slam系统及机器人
CN112734841B (zh) 一种用轮式里程计-imu和单目相机实现定位的方法
CN112837352B (zh) 基于图像的数据处理方法、装置及设备、汽车、存储介质
CN116205947A (zh) 基于相机运动状态的双目-惯性融合的位姿估计方法、电子设备及存储介质
CN111862673A (zh) 基于顶视图的停车场车辆自定位及地图构建方法
CN110570453A (zh) 一种基于双目视觉的闭环式跟踪特征的视觉里程计方法
Li et al. Towards end-to-end learning of visual inertial odometry with an EKF
CN110119768B (zh) 用于车辆定位的视觉信息融合系统及方法
CN113503873B (zh) 一种多传感器融合的视觉定位方法
CN113012224B (zh) 定位初始化方法和相关装置、设备、存储介质
JP7173471B2 (ja) ３次元位置推定装置及びプログラム
CN114234967A (zh) 一种基于多传感器融合的六足机器人定位方法
CN114485640A (zh) 基于点线特征的单目视觉惯性同步定位与建图方法及系统
CN113781562A (zh) 一种基于道路模型的车道线虚实配准和自车定位方法
CN115861352A (zh) 单目视觉、imu和激光雷达的数据融合和边缘提取方法
CN110720113A (zh) 一种参数处理方法、装置及摄像设备、飞行器
CN113076988B (zh) 基于神经网络的移动机器人视觉slam关键帧自适应筛选方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant