CN109443348B - 一种基于环视视觉和惯导融合的地下车库库位跟踪方法 - Google Patents

一种基于环视视觉和惯导融合的地下车库库位跟踪方法 Download PDF

Info

Publication number
CN109443348B
CN109443348B CN201811119444.1A CN201811119444A CN109443348B CN 109443348 B CN109443348 B CN 109443348B CN 201811119444 A CN201811119444 A CN 201811119444A CN 109443348 B CN109443348 B CN 109443348B
Authority
CN
China
Prior art keywords
library
panoramic
measurement unit
acquiring
inertial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811119444.1A
Other languages
English (en)
Other versions
CN109443348A (zh
Inventor
余卓平
许明煜
熊璐
张培志
康戎
严森炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201811119444.1A priority Critical patent/CN109443348B/zh
Publication of CN109443348A publication Critical patent/CN109443348A/zh
Application granted granted Critical
Publication of CN109443348B publication Critical patent/CN109443348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18—Stabilised platforms, e.g. by gyroscope
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于环视视觉和惯导测量单元的地下车库库位跟踪方法，在环境未知的地下车库环境中，用户指定车库中某一位置作为环境地图初始坐标原点，基于惯性测量单元提供的运动信息和环视视觉提供的库位角点初始相对坐标信息，通过全局优化的方法生成目标库位角点的环境地图全局坐标，用于车辆后续的决策和控制。与现有相关技术相比，本发明具有可适应无GPS信号环境、成本低、鲁棒性高等优点。

Description

一种基于环视视觉和惯导融合的地下车库库位跟踪方法
技术领域
本发明涉及智能汽车自主泊车技术领域，尤其是涉及一种基于环视视觉和惯导融合的地下车库库位跟踪方法。
背景技术
随着我国物质水平不断提高，汽车工业迎来了崭新的发展阶段。同时，与自动驾驶相关的技术已成为近年学术界和工业界的研究热点。作为自动驾驶研究的应用之一，自动泊车入位系统给驾驶者在停车入位方面带来了很大的便利，特别是对于新手驾驶者，该系统可帮助驾驶员更快的、自动地、正确地将汽车停入位泊车。该技术于2009年开始逐渐得到推广，2011年之后应用比例逐年快速增加。2016年上市的乘用车中，自动泊车技术应用比例达到了16.05％。2017年1-3月份上市的车型中，应用比例更是达到了19.99％。
然而，当前的智能汽车定位大都依赖GPS全球定位系统，在GPS信号缺失的地下车库无法用通常的手段进行定位。此外，目前地下车库基于无线信号的定位方案需要事先布置使用场景，成本较高、追踪精度较差，在数据处理上不具备良好的实时性。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种硬件成本低、跟踪精度高的基于环视视觉和惯导融合的地下车库库位跟踪方法。
本发明的目的可以通过以下技术方案来实现：
一种基于环视视觉和惯导融合的地下车库库位跟踪方法，该方法包括下列步骤：
S1：启动车辆的环视相机和惯性测量单元，利用环视相机采集车辆行驶过程中的全景环视图像，利用惯性测量单元获取当前预积分。
优选地，所述的环视相机包括四个设于车辆前后左右四个方向的环视鱼眼相机。
S2：判断环视相机和惯性测量单元是否已完成初始化，若是，则执行步骤S3，否则，对环视相机和惯性测量单元进行初始化。
对环视相机和惯性测量单元进行初始化具体包括以下步骤：
201)启动环视相机和惯性测量单元，获取全景环视图像和当前预积分模型，选定一初始位置作为全局坐标系原点，用以建立库位角点地图；
202)采用棋盘格对环视相机进行标定，获得四个环视鱼眼相机的内参、畸变系数以及与车辆的相对位置；
203)通过五点法分解一个本质矩阵获取初始化环视相机运动，将初始化的平移作为单位尺度；
204)通过三角测量的方法恢复图像特征点深度，完成环视相机初始化；
205)依据初始化环视相机获取两图像帧之间的旋转，并将其与利用惯性测量单元的预积分模型获取的旋转进行对比，以偏差为节点变量，最小化二者的差值，获取惯性测量单元初始偏置值；
206)根据初始偏置值对惯性测量单元进行矫正，对每一个图像帧的速度、重力和尺度进行估计，完成环视相机和惯性测量单元初始化操作。
S3：根据全景环视图像提取库位角点，根据库位角点在观测时刻相对车辆的二维坐标，获取实际车辆坐标与库位角点坐标之间的相对位置。具体包括以下步骤：
301)利用机器视觉方法提取全景环视图像中的库位角点特征，并获取库位角点在观测时刻相对车辆的二维坐标；
302)根据库位角点在观测时刻相对车辆的二维坐标，使用单应矩阵描述处于共同平面上的一些点在两张图像之间的变换关系，对两张图像之间的特征点进行匹配；
假设图像I1和I2有一对匹配好的特征点p1和p2，则这些特征点落在某平面上，该平面满足方程：
p2＝Hp1
式中，H为单应性矩阵。
303)根据匹配点获取单应性矩阵，并将其分解以计算旋转和平移；
304)根据步骤S2标定得到的环视鱼眼相机的内参、畸变系数以及与车辆的相对位置，结合旋转和平移获取实际车辆坐标与库位角点坐标之间的相对位置。
S4：根据惯性测量单元的当前预积分获取惯性姿态约束，对多个相邻数据执行相同处理并积分，获取相邻数据的相对位姿变换关系。
根据惯性测量单元的当前预积分获取惯性姿态约束具体包括以下步骤：
401)根据惯性测量单元的当前预积分获取加速度和角速度；
402)利用加速度推算速度和位移，利用角速度推算旋转，获取如下的积分关系：
Figure BDA0001810293890000031
Figure BDA0001810293890000032
Figure BDA0001810293890000033
其中，RWB为惯导元件在世界坐标系下的旋转姿态，vW为惯导元件在世界坐标系下的速度，pW为惯导元件在世界坐标系下的位移，
Figure BDA0001810293890000037
为陀螺仪测量的角速度值，aw(τ)为加速度计测量的加速度值；
403)将积分形式转为差分形式；
404)考虑实际观测值，将偏差和噪声加入到差分形式，获取插入后的旋转姿态方程，即：
Figure BDA0001810293890000034
Figure BDA0001810293890000035
Figure BDA0001810293890000036
其中，bg(t)和ηgd(t)分别为陀螺仪零偏和噪声，ba(t)和ηad(t)分别为加速度计的零偏和噪声。
S5：将步骤S3中提取的库位角点进行三角化并插入到局部映射中，剔除两帧图像特征匹配的非库位角点，将可见的所有库位角点保存在本地地图中。具体包括以下步骤：
501)从步骤2)提取的库位角点数据集中随机抽出四个不共线的样本数据计算变换矩阵，记为模型1；
502)计算库位角点数据集中所有库位角点数据与模型1的投影误差，若误差小于设定阈值，则将对应的库位角点数据加入内点集；
503)若当前内点集中的元素个数大于最优内点集个数，则更新当前内点集并同时更新迭代次数；
504)若内点置信度大于95％，则退出操作，否则，将迭代次数加一并重复上述步骤。
S6：对读取的环视图像进行分类，将不同类型的环视图像加入不同地图中进行优化，结合相邻数据的相对位姿变换关系，优化目标库位角点的环境地图全局坐标，进而完成库位跟踪。具体包括以下步骤：
601)对读取的图像帧进行分类，将当前图像帧的n个之前帧作为近邻帧，根据两帧图像间匹配的库位角点数量判断当前图像帧是否为关键帧；
602)将近邻帧的惯性单元积分处理得到的惯性姿态约束和两帧图像之间提取的库位角点的重投影误差约束作为边，将边加入到图优化模型中并对图优化模型进行优化；
603)若当前图像帧被判断为关键帧，则将其加入到全局优化地图检测回环，否则，将其加入到局部优化地图；
604)若局部优化地图中图像数量大于某一设定阈值m，则采用边缘化方法剔除旧的近邻帧，将局部地图中的近邻帧数量维持在m个；
605)循环步骤601)～604)，优化目标库位角点的环境地图全局坐标，直到车辆在地下车库中完成库位跟踪过程。
优选地，若两帧图像间匹配的库位角点数量少于2个，则将当前图像帧标记为关键帧。
优选地，采用Levenberg-Marquardt方法对图优化模型进行优化。
与现有技术相比，本发明具有以下优点：
一、本发明基于环视视觉的定位方法对车库库位进行追踪，该方法所需硬件成本低廉，且无需预先布置场景，可适应无GPS信号环境；
二、本发明融合了视觉信息和惯性测量元件的运动信息，对于小场景范围的追踪精度较高，通过采用边缘化方法将局部优化变量数量控制在一定范围之内，具有较好的实时性；
三、本发明通过低成本的惯性测量元件与环视视觉测量特性互相补充，可有效解决视觉定位中的尺度问题，进一步提高整体的追踪效果。
附图说明
图1为本发明基于环视视觉和惯性测量单元的地下车库库位跟踪方法的流程示意图；
图2为环视相机安装位置示意图；
图3为环视视觉提取库位角点示意图；
图4为从环视鱼眼图像坐标系到车辆俯视图坐标系映射关系图；
图5为图优化节点和边关系示意图；
图6为边缘化示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
本发明涉及一种基于环视视觉和惯导融合的地下车库库位跟踪方法，如图1所示，包括下列步骤：
步骤1：启动车辆的环视相机和惯性测量单元，判断环视相机和惯性测量单元是否已完成初始化，若是，则执行步骤2，否则，对环视相机和惯性测量单元进行初始化后再执行步骤2。初始化步骤主要内容包括：
1.1、在车辆车体的前后左右四个方向通过3D打印特制的高分子外壳安装固定四个环视鱼眼相机，如图2所示；
1.2、采用棋盘格对相机进行标定，获得4个环视鱼眼相机内参、畸变系数以及与车辆车体的相对位置；
1.3、通过五点法分解一个本质矩阵来得到初始化环视相机运动，把初始化的平移当作单位尺度；
1.4、通过三角测量的方法恢复图像特征点深度，完成环视相机初始化；
1.5、根据初始化相机求得两帧之间的旋转，对比利用惯性测量单元预积分模型求得的旋转，以偏差为节点变量，最小化两者的差值，得到惯性测量单元初始偏置值；
1.6、根据初始偏置值对惯性测量单元进行矫正，对每一个图像帧的速度、重力和尺度进行估计，完成环视相机和惯性测量单元初始化操作。
步骤2：利用环视相机采集的全景图像数据，得到库位角点在观测时刻相对车辆的二维坐标，获取实际车辆坐标与库位角点坐标之间的相对位置。具体步骤为：
2.1、利用AdaBoost方法构建二分类器，依次判断某一个像素点是否为库位点，提取环视图像中库位角点特征，如图3所示。
2.2、使用单应矩阵描述处于共同平面上的一些点在两张图像I1和I2之间的变换关系。考虑在图像I1和I2有一对匹配好的特征点p1和p2。这些特征点落在某平面上，设这个平面满足方程：
p2＝Hp1
式中，H为单应性矩阵。
2.3、根据匹配点计算得到3×3的单应性矩阵H，然后将它分解以计算旋转和平移；
2.4、通过步骤1的标定过程得到环视图像的不同坐标系的映射关系，将相机内参矩阵与单应性矩阵相乘可得到相应矩阵，某个像素点在图像坐标系下坐标乘以该矩阵可以得到在车辆坐标系下的坐标，如图4所示。
步骤3：读入惯性测量单元数据，计算相邻两帧数据之间的相对位姿，对多个相邻数据执行相同处理并积分，得到两个关键帧之间的相对位姿变换关系；具体内容包括：
3.1、从惯性测量单元获取的加速度推算速度和位移，以及根据角速度推算旋转，得到惯性测量单元运动学关系式，并计算旋转积分传播方程，公式如下：
Figure BDA0001810293890000061
式中，RWB是惯导元件在世界坐标系下的旋转姿态，
Figure BDA0001810293890000062
为陀螺仪测量的角速度值。
3.2、计算得到速度积分传播方程，公式如下：
Figure BDA0001810293890000063
式中，vW是惯导元件在世界坐标系下的速度，aw(τ)为加速度计测量的加速度值。
3.3、计算位移积分传播方程，公式如下：
Figure BDA0001810293890000064
式中，pW是惯导元件在世界坐标系下的位移。
3.4、将上述公式的积分形式转为差分形式以匹配获取的离散的差分数据；
3.5、考虑到实际的观测值，将偏差和噪声加入到差分形式计算公式中，计算含有偏差和噪声的差分旋转传播方程，即：
Figure BDA0001810293890000071
式中，bg(t)和ηgd(t)分别为陀螺仪零偏和噪声。
3.6、计算含有偏差和噪声的差分速度传播方程，公式如下：
Figure BDA0001810293890000072
式中，ba(t)和ηad(t)分别为加速度计零偏和噪声，g为重力加速度。
3.7、计算含有偏差和噪声的差分位移传播方程：
Figure BDA0001810293890000073
步骤4：将环视图像提取的库位角点三角化并插入到局部映射中。通过RANSAC方法排除两帧图像特征匹配的非库位角点，在这些图像中可见的所有库位角点都保存在本地地图中。具体操作包括：
4.1、从数据集中随机抽出4个不共线的样本数据计算出变换矩阵，记为模型1；
4.2、计算数据集中所有数据与模型1的投影误差，若误差小于阈值，加入内点集2；
4.3、如果当前内点集元素个数大于最优内点集个数，则更新当前内点集并同时更新迭代次数k；
4.4、如果内点置信度大于95％，则退出操作，否则，将迭代次数加一并重复上述步骤。
步骤5：对读取的图像帧进行分类，对不同类型的环视图像加入到不同的地图中进行局部或者全局非线性优化。随着车辆不断行驶，读取的环视图像越来越多，采用边缘化的方法剔除图优化模型中多余的图像节点和惯性测量节点，以维持较高的计算效率。
5.1、对读取的图像帧进行分类，包括当前帧图像的n个最近帧作为一类，被称为近邻帧；
5.2、如果两帧图像间匹配的库位角点数量少于2个，则当前帧被标记为关键帧；
5.3、将之前近邻帧的惯性单元积分处理得到的惯性姿态约束加入到图优化模型中作为运动边；
5.4、根据运动预积分的结果预测下一帧的车辆姿态，计算得到当前观测库位点坐标和协方差矩阵在下一帧的估计；
5.5、得到下一帧时刻实际观测到的库位点坐标和协方差矩阵，计算与上一帧预测得到的库位点之间的马氏距离；
5.6、如果马氏距离小于设定阈值，则判断当前帧观测的库位点与上一帧库位点是同一库位点，两帧图像数据关联；
5.7、根据数据关联情况，将两帧图像之间提取的库位角点的重投影误差约束作为边加入到图优化模型中作为视觉边；
5.8、把得到视觉帧时刻的车辆位姿和观测到的库位角点作为优化节点加入到图优化模型中，构成了如图5所示的结构，图中x代表定位位置，y表示观测到的库位点，每一个位置或库位点表示一个节点，位置和位置之间的连线表示运动边，位置与库位点之间的连线表示视觉边。
5.9、最小化目标函数如下式：
Figure BDA0001810293890000081
其中，er和es分别表示视觉残差项和惯性运动残差项，Wr和Ws分别表示环视相机和惯性测量元件的信息矩阵，它们由传感器噪声协方差矩阵的逆矩阵唯一确定。
5.10、采用Levenberg-Marquardt方法使局部地图的图优化模型的残差项误差达到最低；
5.11、如果当前图像被判断为关键帧，则将之加入到数据库中用以检测回环。
5.12、如果局部优化地图中图像数量大于某一设定阈值m(m>n)，则采用边缘化方法将旧的近邻帧剔除掉，使局部地图中的近邻帧数量维持在m个，如图6所示，X表示位置，Z表示观测的库位角点，若X+Z>m，将虚线框中的节点剔除。
5.13、将上述过程不断循环，直到车辆在地下车库中完成库位跟踪过程。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种基于环视视觉和惯导融合的地下车库库位跟踪方法，其特征在于，该方法包括以下步骤：
1)启动车辆的环视相机和惯性测量单元，利用环视相机采集车辆行驶过程中的全景环视图像，利用惯性测量单元获取当前预积分；
2)判断环视相机和惯性测量单元是否已完成初始化，若是，则执行步骤3)，否则，对环视相机和惯性测量单元进行初始化；
3)根据全景环视图像提取库位角点，根据库位角点在观测时刻相对车辆的二维坐标，获取实际车辆坐标与库位角点坐标之间的相对位置；
4)根据惯性测量单元的当前预积分获取惯性姿态约束，对多个相邻数据执行相同处理并积分，获取相邻数据的相对位姿变换关系；
5)将步骤3)中提取的库位角点进行三角化并插入到局部映射中，剔除两帧图像特征匹配的非库位角点，将可见的所有库位角点保存在本地地图中；
6)对读取的环视图像进行分类，将不同类型的环视图像加入不同地图中进行优化，结合相邻数据的相对位姿变换关系，优化目标库位角点的环境地图全局坐标，进而完成库位跟踪；
所述的环视相机包括四个设于车辆前后左右四个方向的环视鱼眼相机；
对环视相机和惯性测量单元进行初始化具体包括以下步骤：
201)启动环视相机和惯性测量单元，获取全景环视图像和当前预积分模型，选定一初始位置作为全局坐标系原点，用以建立库位角点地图；
202)采用棋盘格对环视相机进行标定，获得四个环视鱼眼相机的内参、畸变系数以及与车辆的相对位置；
203)通过五点法分解一个本质矩阵获取初始化环视相机运动，将初始化的平移作为单位尺度；
204)通过三角测量的方法恢复图像特征点深度，完成环视相机初始化；
205)依据初始化环视相机获取两图像帧之间的旋转，并将其与利用惯性测量单元的预积分模型获取的旋转进行对比，以偏差为节点变量，最小化二者的差值，获取惯性测量单元初始偏置值；
206)根据初始偏置值对惯性测量单元进行矫正，对每一个图像帧的速度、重力和尺度进行估计，完成环视相机和惯性测量单元初始化操作；
步骤3)具体包括以下步骤：
301)利用机器视觉方法提取全景环视图像中的库位角点特征，并获取库位角点在观测时刻相对车辆的二维坐标；
302)根据库位角点在观测时刻相对车辆的二维坐标，使用单应矩阵描述处于共同平面上的一些点在两张图像之间的变换关系，对两张图像之间的特征点进行匹配；
303)根据匹配点获取单应性矩阵，并将其分解以计算旋转和平移；
304)根据步骤2)标定得到的环视鱼眼相机的内参、畸变系数以及与车辆的相对位置，结合旋转和平移获取实际车辆坐标与库位角点坐标之间的相对位置。
2.根据权利要求1所述的一种基于环视视觉和惯导融合的地下车库库位跟踪方法，其特征在于，步骤4)中，根据惯性测量单元的当前预积分获取惯性姿态约束具体包括以下步骤：
401)根据惯性测量单元的当前预积分获取加速度和角速度；
402)利用加速度推算速度和位移，利用角速度推算旋转，获取如下的积分关系：
Figure FDA0003608824290000021
Figure FDA0003608824290000022
Figure FDA0003608824290000023
其中，RWB为惯导元件在世界坐标系下的旋转姿态，vW为惯导元件在世界坐标系下的速度，pW为惯导元件在世界坐标系下的位移，
Figure FDA0003608824290000024
为陀螺仪测量的角速度值，aw(τ)为加速度计测量的加速度值；
403)将积分形式转为差分形式；
404)考虑实际观测值，将偏差和噪声加入到差分形式，获取插入后的旋转姿态方程，即：
Figure FDA0003608824290000025
Figure FDA0003608824290000026
Figure FDA0003608824290000031
其中，bg(t)和ηgd(t)分别为陀螺仪零偏和噪声，ba(t)和ηad(t)分别为加速度计的零偏和噪声。
3.根据权利要求2所述的一种基于环视视觉和惯导融合的地下车库库位跟踪方法，其特征在于，步骤5)具体包括以下步骤：
501)从步骤2)提取的库位角点数据集中随机抽出四个不共线的样本数据计算变换矩阵，记为模型1；
502)计算库位角点数据集中所有库位角点数据与模型1的投影误差，若误差小于设定阈值，则将对应的库位角点数据加入内点集；
503)若当前内点集中的元素个数大于最优内点集个数，则更新当前内点集并同时更新迭代次数；
504)若内点置信度大于95％，则退出操作，否则，将迭代次数加一并重复上述步骤。
4.根据权利要求3所述的一种基于环视视觉和惯导融合的地下车库库位跟踪方法，其特征在于，步骤6)具体包括以下步骤：
601)对读取的图像帧进行分类，将当前图像帧的n个之前帧作为近邻帧，根据两帧图像间匹配的库位角点数量判断当前图像帧是否为关键帧；
602)将近邻帧的惯性单元积分处理得到的惯性姿态约束和两帧图像之间提取的库位角点的重投影误差约束作为边，将边加入到图优化模型中并对图优化模型进行优化；
603)若当前图像帧被判断为关键帧，则将其加入到全局优化地图检测回环，否则，将其加入到局部优化地图；
604)若局部优化地图中图像数量大于某一设定阈值m，则采用边缘化方法剔除旧的近邻帧，将局部地图中的近邻帧数量维持在m个；
605)循环步骤601)～604)，优化目标库位角点的环境地图全局坐标，直到车辆在地下车库中完成库位跟踪过程。
5.根据权利要求1所述的一种基于环视视觉和惯导融合的地下车库库位跟踪方法，其特征在于，步骤302)中，假设图像I1和I2有一对匹配好的特征点p1和p2，则这些特征点落在某平面上，该平面满足方程：
p2＝Hp1
式中，H为单应性矩阵。
6.根据权利要求4所述的一种基于环视视觉和惯导融合的地下车库库位跟踪方法，其特征在于，若两帧图像间匹配的库位角点数量少于2个，则将当前图像帧标记为关键帧。
7.根据权利要求4所述的一种基于环视视觉和惯导融合的地下车库库位跟踪方法，其特征在于，采用Levenberg-Marquardt方法对图优化模型进行优化。
CN201811119444.1A 2018-09-25 2018-09-25 一种基于环视视觉和惯导融合的地下车库库位跟踪方法 Active CN109443348B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811119444.1A CN109443348B (zh) 2018-09-25 2018-09-25 一种基于环视视觉和惯导融合的地下车库库位跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811119444.1A CN109443348B (zh) 2018-09-25 2018-09-25 一种基于环视视觉和惯导融合的地下车库库位跟踪方法

Publications (2)

Publication Number Publication Date
CN109443348A CN109443348A (zh) 2019-03-08
CN109443348B true CN109443348B (zh) 2022-08-23

Family

ID=65544268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811119444.1A Active CN109443348B (zh) 2018-09-25 2018-09-25 一种基于环视视觉和惯导融合的地下车库库位跟踪方法

Country Status (1)

Country Link
CN (1) CN109443348B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110155080B (zh) * 2019-05-22 2021-02-12 北京百度网讯科技有限公司 传感器稳定控制方法、装置、稳定器和介质
CN111191596B (zh) * 2019-12-31 2023-06-02 武汉中海庭数据技术有限公司 一种封闭区域制图方法、装置及存储介质
CN111337018B (zh) * 2020-05-21 2020-09-01 上海高仙自动化科技发展有限公司 定位方法及装置、智能机器人及计算机可读存储介质
CN111862673B (zh) * 2020-06-24 2021-10-15 北京易航远智科技有限公司 基于顶视图的停车场车辆自定位及地图构建方法
CN112325770B (zh) * 2020-10-26 2022-08-02 武汉中海庭数据技术有限公司 一种车端单目视觉测量相对精度置信度评估方法及系统
CN112381726B (zh) * 2020-10-29 2023-05-23 浙江吉利控股集团有限公司 一种地下车库全局图的构建方法及装置
CN112037265B (zh) * 2020-11-04 2021-02-02 天津天瞳威势电子科技有限公司 一种库位跟踪方法及装置
CN112356831B (zh) * 2021-01-12 2021-04-20 天津天瞳威势电子科技有限公司 一种库位跟踪方法及库位跟踪系统
CN114964216A (zh) * 2021-02-23 2022-08-30 广州汽车集团股份有限公司 一种车辆定位方法及系统
CN113587916B (zh) * 2021-07-27 2023-10-03 北京信息科技大学 实时稀疏视觉里程计、导航方法以及系统
CN113781645B (zh) * 2021-08-31 2024-03-26 同济大学 一种面向室内泊车环境的定位和建图方法
CN114782913A (zh) * 2022-03-24 2022-07-22 同济大学 一种面向地库泊车的鲁棒视觉特征匹配和检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103600707A (zh) * 2013-11-06 2014-02-26 同济大学 一种智能泊车系统的泊车位检测装置及方法
CN107180215A (zh) * 2017-05-31 2017-09-19 同济大学 基于库位和二维码的停车场自动建图与高精度定位方法
CN107229934A (zh) * 2017-04-24 2017-10-03 东北大学 基于最小匹配距离与随机采样一致性的错误匹配去除方法
CN107600067A (zh) * 2017-09-08 2018-01-19 中山大学 一种基于多视觉惯导融合的自主泊车系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043307B2 (en) * 2015-04-17 2018-08-07 General Electric Company Monitoring parking rule violations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103600707A (zh) * 2013-11-06 2014-02-26 同济大学 一种智能泊车系统的泊车位检测装置及方法
CN107229934A (zh) * 2017-04-24 2017-10-03 东北大学 基于最小匹配距离与随机采样一致性的错误匹配去除方法
CN107180215A (zh) * 2017-05-31 2017-09-19 同济大学 基于库位和二维码的停车场自动建图与高精度定位方法
CN107600067A (zh) * 2017-09-08 2018-01-19 中山大学 一种基于多视觉惯导融合的自主泊车系统及方法

Also Published As

Publication number Publication date
CN109443348A (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN109443348B (zh) 一种基于环视视觉和惯导融合的地下车库库位跟踪方法
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
CN111862673B (zh) 基于顶视图的停车场车辆自定位及地图构建方法
CN107167826B (zh) 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法
CN110411457B (zh) 基于行程感知与视觉融合的定位方法、系统、终端和存储介质
CN110345937A (zh) 一种基于二维码的导航定姿定位方法和系统
US20090263009A1 (en) Method and system for real-time visual odometry
CN109596121B (zh) 一种机动站自动目标检测与空间定位方法
EP2175237B1 (en) System and methods for image-based navigation using line features matching
CN110458885B (zh) 基于行程感知与视觉融合的定位系统和移动终端
CN108613675B (zh) 低成本无人飞行器移动测量方法及系统
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN114248778B (zh) 移动设备的定位方法和定位装置
CN114001733A (zh) 一种基于地图的一致性高效视觉惯性定位算法
CN116184430B (zh) 一种激光雷达、可见光相机、惯性测量单元融合的位姿估计算法
CN114723779A (zh) 一种车辆定位方法、装置及计算机可读存储介质
CN115371665A (zh) 一种基于深度相机和惯性融合的移动机器人定位方法
CN112539753A (zh) 位置估计的方法和装置
CN114063099A (zh) 基于rgbd的定位方法及装置
CN112184906A (zh) 一种三维模型的构建方法及装置
CN113838129B (zh) 一种获得位姿信息的方法、装置以及系统
CN116380079A (zh) 一种融合前视声呐与orb-slam3的水下slam方法
CN113327270A (zh) 视觉惯导方法、装置、设备及计算机可读存储介质
Hong et al. Visual inertial odometry using coupled nonlinear optimization
Huttunen et al. A monocular camera gyroscope

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant