CN115235478B - 基于视觉标签和激光slam的智能汽车定位方法及系统 - Google Patents
基于视觉标签和激光slam的智能汽车定位方法及系统 Download PDFInfo
- Publication number
- CN115235478B CN115235478B CN202211161448.2A CN202211161448A CN115235478B CN 115235478 B CN115235478 B CN 115235478B CN 202211161448 A CN202211161448 A CN 202211161448A CN 115235478 B CN115235478 B CN 115235478B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- information
- visual label
- positioning
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开一种基于视觉标签和激光SLAM的智能汽车定位方法及系统,方法包括:获取道路环境的三维点云信息,并提取车辆在全局栅格地图中的位置信息,以得到车辆的激光定位信息;获取视觉标签的图像信息,并提取视觉标签中的坐标位置数据,以得到车辆的视觉标签定位信息;基于车辆的激光定位信息和视觉标签定位信息,采用扩展卡尔曼滤波器进行多源异构定位信息的融合,以得到融合后的车辆位置信息。本发明利用SLAM技术获取激光定位信息,利用计算机视觉获取视觉标签定位信息,并采用扩展卡尔曼滤波器进行两种定位信息的融合,使得融合后的车辆位置信息能够满足智能汽车在卫星信号缺失环境下的定位精度要求。
Description
技术领域
本发明涉及自动驾驶技术领域,具体为一种基于视觉标签和激光SLAM的智能汽车定位方法及系统。
背景技术
智能汽车是集环境感知、决策规划和底层控制于一体的高新技术综合体,可以有效保障行车安全、提升交通效率、促进节能减排、改善公众出行方式和生产运输方式。随着自动驾驶技术的不断研究更新,将对未来社会生产和人们生活带来极大改善。
在自动驾驶技术中,实现高精度自主导航是一个重要目标,自主导航系统的核心就是定位问题,准确的位姿估算是实现自主定位的关键,可以为路径规划、决策控制等技术提供精确位姿信息,是实现自主导航功能的第一步。
自主导航系统的定位目前主要通过GPS信号实现。在实际应用中,受限于通信技术与场景特征约束,自主导航经常会遇到一些GPS信号丢失场景,尤其是在高架桥、隧道、地下停车场等位置极易丢失GPS信息,从而引发交通安全事故。
因此,如何解决智能汽车在GPS卫星信号缺失下的精准定位问题是本发明重点解决的问题。
发明内容
为克服上述现有技术的不足,本发明提供一种基于视觉标签和激光SLAM的智能汽车定位方法及系统,用以解决上述至少一个技术问题。
根据本发明说明书的一方面,提供一种基于视觉标签和激光SLAM的智能汽车定位方法,包括:
获取道路环境的三维点云信息,并提取车辆在全局栅格地图中的位置信息,以得到车辆的激光定位信息;
获取视觉标签的图像信息,并提取视觉标签中的坐标位置数据,以得到车辆的视觉标签定位信息;
基于车辆的激光定位信息和视觉标签定位信息,采用扩展卡尔曼滤波器进行多源异构定位信息的融合,以得到融合后的车辆位置信息。
上述技术方案利用SLAM技术获取激光定位信息,利用计算机视觉技术获取视觉标签定位信息,并采用扩展卡尔曼滤波器进行两种定位信息的融合,使得融合后的车辆位置信息能够满足智能汽车在卫星信号缺失环境下的定位精度要求,提高智能汽车在卫星信号缺失环境下行驶的安全性和可靠性。
作为进一步地技术方案,所述方法还包括:
获取道路环境的三维点云信息;
采用自适应蒙特卡罗定位获取车辆在全局栅格地图中的位置信息;
将三维点云数据与全局栅格地图进行匹配,根据每一粒子的位置置信度评分进行粒子筛选,依据筛选结果更新车辆在全局栅格地图中的位置信息。
可选地,通过多线激光雷达获取道路环境的点云信息。所述多线激光雷达可布设在车辆顶部。
进一步地,将三维点云数据与全局栅格地图进行匹配,根据每一粒子的位置置信度评分进行粒子筛选,还包括:对每一个粒子的位置置信度进行评分,保留高分粒子作为车辆位姿,舍弃低分粒子并增加新的随机粒子维持整个循环。
作为进一步地技术方案,所述方法还包括:在路侧端布设若干视觉标签,在车辆上布设图像采集设备,利用所述图像采集设备采集视觉标签的图像信息。
可选地,所述图像采集设备可采用单目相机。所述单目相机可布设在车辆前挡风玻璃顶部。
可选地,每一视觉标签均具有独立ID和位姿信息。
可选地,在采集视觉标签的图像信息之前,还包括:确定图像采集设备的感知范围和视角。这样设置可尽可能捕捉到更多的道路环境图像信息,以确保路侧端视觉标签能够落入图像采集设备的视野范围内,提高图像采集效率。
作为进一步地技术方案,所述视觉标签上设有二维码,在采集视觉标签的图像信息时读取二维码,若读取成功,则进行二维码信息提取;若读取不成功,则图像采集设备继续采集,直至读取到二维码。
可选地,利用图像采集设备获取道路环境图像,并从中检测路侧视觉标签,在检测到路侧视觉标签后,进行二维码读取。
可选地,若系统读取二维码数据成功,则判断已获取路侧视觉标签信息,可以进一步提取视觉标签中的二维码信息。否则,则让图像采集设备继续扫描,直到找到新的视觉标签。
作为进一步地技术方案,所述方法还包括:利用OpenCV提取视觉标签中的二维码信息,利用提取的二维码信息计算视觉标签的位置信息,基于视觉标签的位置信息计算车辆的位置信息作为车辆的视觉标签定位信息。
进一步地,在提取到二维码信息后,计算图像采集设备与路侧视觉标签的相对位置关系,并利用二维码的坐标信息结合该相对位置关系得到视觉标签在像素坐标系下的位置信息。
作为进一步地技术方案,所述方法还包括:采用基于图片定位角点的方法识别视觉标签的二维码位置,并得到二维码的4个特征点坐标;根据所述4个特征点坐标,结合AprilTag标准位姿特征点集,得到当前图像采集设备位姿相对于标准位姿的旋转矩阵和平移向量;根据所述旋转矩阵和平移向量,结合视觉标签上二维码的位置信息,得到车辆的视觉标签定位信息。
采用基于图片定位角点的方法识别视觉标签的二维码位置,进一步包括:图像阈值化、边缘检测、边缘优化、四边形检测和快速解码。
进一步地,识别到的4个特征点均处于同一个平面上,根据图像二维码特征点坐标和AprilTag数据集特征点坐标,利用特征点的单应性计算单应变换矩阵,以此来表征车辆在实际坐标系和像素坐标系之间的位置关系。
作为进一步地技术方案,在所述图像采集设备采集到多个视觉标签的图像信息时,分别得到多个旋转矩阵和平移向量,通过多个所述的旋转矩阵和平移向量分别得到采集到的每个视觉标签与车辆的距离,选取距离最小的视觉标签作为当前定位的视觉标签。
在计算路侧视觉标签的位置信息基础上,由旋转矩阵和平移向量可求得车辆当前的位姿信息。
作为进一步地技术方案,所述方法还包括:
提取车辆的视觉标签定位信息作为定位的先验知识,根据状态空间方程计算先验估计值;
以车辆的激光定位信息为主,同步检测车辆的视觉标签定位信息,并在检测到有效的视觉标签定位信息时,提取车辆的激光定位观测值、视觉标签定位观测值以确定扩展卡尔曼滤波观测值;
计算先验估计协方差,根据先验估计协方差计算扩展卡尔曼滤波增益;
基于先验估计值、扩展卡尔曼滤波观测值及扩展卡尔曼滤波增益,计算后验估计。
根据前面得到的激光定位信息及视觉标签定位信息,提取视觉标签信息作为车辆定位的先验知识,辅助校正激光SLAM在全局栅格地图中的定位信息,采用扩展卡尔曼滤波算法对多源异构定位数据进行融合,能够得到稳定的定位位姿。
根据本发明说明书的一方面,提供一种基于视觉标签和激光SLAM的智能汽车定位系统,所述系统包括:
视觉标签,设置于路侧端,具有高斯平面坐标系下的精确坐标,并采用二维码的形式表达坐标信息;
单目相机,设置于车辆前方,用于获取视觉标签的图像信息并发送至车载计算单元;
多线激光雷达,设置于车辆前方,用于获取道路环境的三维点云信息并发送至车载计算单元;
车载计算单元,设置于车辆上,用于:
根据接收的道路环境的三维点云信息,提取车辆在全局栅格地图中的位置信息,以得到车辆的激光定位信息;
根据接收的视觉标签的图像信息,提取视觉标签中的坐标位置数据,以得到车辆的视觉标签定位信息;
基于车辆的激光定位信息和视觉标签定位信息,采用扩展卡尔曼滤波器进行多源异构定位信息的融合,以得到融合后的车辆位置信息。
上述技术方案中,视觉标签包含了该视觉标签在高斯平面坐标系下的精确坐标,并采用二维码的形式表达坐标信息;单目相机用于获取视觉标签的图像数据,多线激光雷达用于获取道路环境的点云数据,车载计算单元用于更新道路场景下的全局栅格地图,计算多源异构融合后的智能汽车位置信息,该技术方案充分利用了激光SLAM和计算机视觉技术,能够保证智能汽车在卫星信号缺失环境下精准定位能力,提高卫星信号缺失环境下智能汽车的行驶安全性和可靠性。
可选地,所述系统还包括信息储存模块,用于储存路侧视觉标签、道路环境信息以及车载计算单元的相关信息。
与现有技术相比,本发明的有益效果在于:
(1)本发明利用SLAM技术获取激光定位信息,利用计算机视觉技术获取视觉标签定位信息,并采用扩展卡尔曼滤波器进行两种定位信息的融合,使得融合后的车辆位置信息能够满足智能汽车在卫星信号缺失环境下的定位精度要求,提高智能汽车在卫星信号缺失环境下行驶的安全性和可靠性。
(2)本发明采用基于多源异构传感器融合的方法,有效避免了单一传感器的局限性,可以结合不同传感器的性能优势,实现智能汽车在卫星信息缺失场景中的稳定、可靠定位,促进自动驾驶技术进一步地推广、应用与落地。
附图说明
图1为根据本发明实施例的基于视觉标签和激光SLAM的智能汽车定位方法流程图。
图2为根据本发明实施例的应用场景示意图。
图3为根据本发明实施例的基于视觉标签和激光SLAM的智能汽车定位系统的示意图。
具体实施方式
以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述,显然,所描述发实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例,都属于本发明所保护的范围。
根据本发明说明书的一方面,提供一种基于视觉标签和激光SLAM的智能汽车定位方法,该方法利用激光SLAM和计算机视觉技术分别得到车辆的定位信息,然后基于扩展卡尔曼滤波进行定位信息融合,以实现智能汽车在卫星信号缺失环境下的精准定位。
如图1至图2所示,所述方法包括:
步骤1,获取道路环境的三维点云信息,并提取车辆在全局栅格地图中的位置信息,以得到车辆的激光定位信息。
这里可通过多线激光雷达获取道路环境的点云信息。其中,多线激光雷达安装在智能汽车的顶部。
可选地,采用自适应蒙特卡罗定位(AMCL,Adaptive Monte Carlo Localization)确定智能汽车在全局栅格地图中的位置。
首先设定粒子总数为N,在初始位置周围将所有粒子均匀散布在全局栅格地图中,然后结合车辆运动模型对粒子位置进行初步估计,每个粒子的置信度代表车辆在该位置的概率。
当t=0时,车辆处于初始状态,此时对车辆在全局栅格地图中的位置进行随机采样,假设共有N个采样点,则初始状态的样本集合为:
其中样本权值为:
进一步地,车辆开始运动后,利用多线激光雷达收集观测值,基于车辆位姿的变化和激光雷达观测值更新每个粒子概率值。
此时,车辆的状态方程和观测方程分别为:
式中:是车辆在t时刻的位姿,是车辆在t时刻的观测信息,和分别表示状态转移函数和测量函数,、分别表示系统的模型噪声和测量噪声。
进一步地,计算所有粒子的后验概率,取后验概率最大的粒子位姿来代表车辆当前在地图中的位姿。
为车辆在t-1到t时刻的位姿变化,从前一次的样本集合St-1中对粒子概率进行采样,产生N个新的采样点。
在车辆运动状态更新后,t时刻车辆获得新的观测信息,通过对样本点的权值进行计算,再进行权值归一化并更新所有样本点。
进一步地,当样本产生退化时开始重采样过程,设置作为样本点数阈值,当有效样本数量小于该值时进行重采样过程。通过把点云数据与道路栅格地图做匹配,对每一个粒子位置的可信度进行评分,保留高分粒子作为车辆位姿,舍弃低分粒子并增加新的随机生成粒子维持整个循环,最后在栅格地图中更新车辆位置信息。
步骤2,获取视觉标签的图像信息,并提取视觉标签中的坐标位置数据,以得到车辆的视觉标签定位信息。
在道路环境中布置多个路侧视觉标签,每个视觉标签包含一个二维码信息,所有二维码均具有独立ID和位姿信息,可以用来表征路侧视觉标签的位姿信息。
进一步地,若系统读取二维码数据成功,则判断已获取路侧视觉标签信息,可以进一步提取视觉标签中的二维码信息;若否,则让单目相机继续扫描,直到找到新的视觉标签。
进一步地,AprilTag二维码采用基于图片定位角点的方法获取视觉标签的信息,其识别包含以下过程:
(1)图像阈值化:把输入的彩色图像转换为黑白图像,将图像分成 像素的小方块,分别计算每个方块内的极值,最后给每个像素分配一个白或黑值。
(2)边缘检测:在对图像进行阈值化后,通过计算图像的梯度大小和方向,将具有相同梯度大小和方向的像素聚集在一起,采用最小二乘法拟合成线段。
(3)边缘优化:由于阴影和眩光在阈值化后会影响边缘效果,通过在均匀分布的采样点上沿着边缘采样图像梯度,将梯度变化不大、不是二维码边缘的点去掉。然后利用剩下的点拟合直线作为四边形的边,可以提升二维码的检测效率以及定位信息的准确度。
(4)四边形检测:查找图像中的所有线段,若前一条边的末端点和下一条边的始端点之间的距离小于设定的阈值,则将两条线段按照逆时针方向连接,以此构建由4个线段组成的树,若最后一条边与第一条边构成一个闭环,则判断这4个线段满足构成四边形条件。
(5)快速解码:将检测到的四边形与 AprilTag 库中的每个二维码进行异或操作,计算与标准二维码的汉明距离,具有最小汉明距离的二维码则为识别出的 AprilTag。
进一步地,通过以上方法可以得到二维码的 4 个特征点的坐标 、、和。以上4个特征点均处于同一个平面上,根据图像二维码特征点坐标和AprilTag数据集特征点坐标,利用特征点的单应性计算单应变换矩阵H,以此来表征车辆在实际坐标系和图像像素坐标系之间的位置关系。
式中:s为尺度因子,为图像的特征点坐标,为矩形中的实际坐标。
进一步地,H为单应变换矩阵,共有9个参数,通过归一化可转换为8个参数,当特征点多余4个时可以求解矩阵。
式中:H为单应变换矩阵(是单应变换矩阵H中的元素),s为尺度因子,P为相机内参矩阵(和 为相机焦距参数),E为相机外参矩阵(为旋转参数,为平移参数)。
进一步地,代入求得的4个特征点,与AprilTag标准位姿特征点集进行匹配,可求解出当前相机位姿相对于标准位姿的旋转矩阵R和平移向量t。
进一步地,当相机扫到多个标签时会得到多个旋转矩阵R和平移向量t,通过R和t计算每个识别到的标签与车辆的距离,选取距离最小的标签作为当前定位标签。
进一步地,在计算路侧视觉标签的位置信息基础上,由旋转矩阵R和平移向量t可求得车辆现在的姿态信息。
步骤3,基于车辆的激光定位信息和视觉标签定位信息,采用扩展卡尔曼滤波器进行多源异构定位信息的融合,以得到融合后的车辆位置信息。
将路侧视觉标签信息与激光定位信息进行融合,根据步骤1所得车辆定位信息和步骤2所得车辆定位信息,提取视觉标签信息作为智能汽车定位的先验知识,辅助校正激光SLAM在全局栅格地图中的定位信息,通过使用扩展卡尔曼滤波器(EKF)对多源异构定位信息进行融合。通过融合视觉标签定位和激光SLAM定位,能够提高汽车智能化的同时得到稳定的定位位姿。
步骤S3具体包括:
根据状态空间方程计算先验估计值;
将激光SLAM作为主定位系统,同步查询视觉标签定位结果,当检测到步骤S2中的有效定位结果时,确定观测值;
S33: 基于扩展卡尔曼滤波算法更新Kalman增益,并计算k时刻的后验估计。
进一步地,状态变量表征车辆状态,、分别表示k时刻车辆的位置和速度,、分别表示上一时刻的车辆状态。
进一步地,状态空间方程为,观测方程为,状态转移矩阵A为,控制矩阵B为,观测矩阵H为。
其中k为采样时刻,为车辆K时刻的状态,A为状态转移矩阵,B为控制矩阵,为k-1时刻的控制输入,Q为系统噪声协方差矩阵,为k时刻的测量值,H为观测矩阵,R为观测噪声协方差矩阵。
由于上一时刻后验估计 已知,控制矩阵 B已知,上一过程控制变量已知,可状态空间方程求出先验估计 。
基于视觉标签的观测值为,基于激光雷达的观测值为,因此,拓展卡尔曼滤波观测值为。
先验估计协方差为:
由先验估计协方差可计算出Kalman增益为:
由先验估计和Kalman增益,可计算出k时刻的后验估计为:
后验估计协方差为:
。
根据本发明说明书的一方面,提供一种基于视觉标签和激光SLAM的智能汽车定位系统。
如图3所示,所述系统包括:视觉标签、单目相机、多线激光雷达和车载计算单元。其中,视觉标签设置于路侧端,单目相机设置于车辆前方,多线激光雷达设置于车辆前方,车载计算单元设置于车辆上。
所述视觉标签,具有高斯平面坐标系下的精确坐标,并采用二维码的形式表达坐标信息。
每个视觉标签包含一个二维码信息,所有二维码均具有独立ID和位姿信息,可以用来表征路侧视觉标签的位姿信息。
所述单目相机,用于获取路侧视觉标签的图像信息。
所述多线激光雷达,用于获取道路环境的三维点云信息并发送至车载计算单元。
所述车载计算单元,用于:
根据接收的道路环境的三维点云信息,提取车辆在全局栅格地图中的位置信息,以得到车辆的激光定位信息;
根据接收的视觉标签的图像信息,提取视觉标签中的坐标位置数据,以得到车辆的视觉标签定位信息;
基于车辆的激光定位信息和视觉标签定位信息,采用扩展卡尔曼滤波器进行多源异构定位信息的融合,以得到融合后的车辆位置信息。
所述车载计算单元还用于:
获取道路环境的三维点云信息;
采用自适应蒙特卡罗定位获取车辆在全局栅格地图中的位置信息;
将三维点云数据与全局栅格地图进行匹配,根据每一粒子的位置置信度评分进行粒子筛选,依据筛选结果更新车辆在全局栅格地图中的位置信息。
所述车载计算单元还用于:
对每一个粒子的位置置信度进行评分,保留高分粒子作为车辆位姿,舍弃低分粒子并增加新的随机粒子维持整个循环。
所述车载计算单元还用于:
在采集视觉标签的图像信息时读取二维码,若读取成功,则进行二维码信息提取;若读取不成功,则图像采集设备继续采集,直至读取到二维码。
所述车载计算单元还用于:
利用OpenCV提取视觉标签中的二维码信息,利用提取的二维码信息计算视觉标签的位置信息,基于视觉标签的位置信息计算车辆的位置信息作为车辆的视觉标签定位信息。
所述车载计算单元还用于:
采用基于图片定位角点的方法识别视觉标签的二维码位置,并得到二维码的4个特征点坐标;根据所述4个特征点坐标,结合AprilTag标准位姿特征点集,得到当前图像采集设备位姿相对于标准位姿的旋转矩阵和平移向量;根据所述旋转矩阵和平移向量,结合视觉标签上二维码的位置信息,得到车辆的视觉标签定位信息。
所述车载计算单元还用于:
在所述图像采集设备采集到多个视觉标签的图像信息时,分别得到多个旋转矩阵和平移向量,通过多个所述的旋转矩阵和平移向量分别得到采集到的每个视觉标签与车辆的距离,选取距离最小的视觉标签作为当前定位的视觉标签。
在计算路侧视觉标签的位置信息基础上,由旋转矩阵和平移向量可求得车辆当前的位姿信息。
所述车载计算单元还用于:
提取车辆的视觉标签定位信息作为定位的先验知识,根据状态空间方程计算先验估计值;
以车辆的激光定位信息为主,同步检测车辆的视觉标签定位信息,并在检测到有效的视觉标签定位信息时,提取车辆的激光定位观测值、视觉标签定位观测值以确定扩展卡尔曼滤波观测值;
计算先验估计协方差,根据先验估计协方差计算扩展卡尔曼滤波增益;
基于先验估计值、扩展卡尔曼滤波观测值及扩展卡尔曼滤波增益,计算后验估计。
可选地,所述系统还包括信息存储模块,该模块存储了所有的经计算单元处理后的数据。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案。
Claims (4)
1.基于视觉标签和激光SLAM的智能汽车定位方法,其特征在于,包括:
获取道路环境的三维点云信息,并提取车辆在全局栅格地图中的位置信息,以得到车辆的激光定位信息;首先设定粒子总数为N,在初始位置周围将所有粒子均匀散布在全局栅格地图中,然后结合车辆运动模型对粒子位置进行初步估计,每个粒子的置信度代表车辆在该位置的概率;
当t=0时,车辆处于初始状态,此时对车辆在全局栅格地图中的位置进行随机采样,假设共有N个采样点,则初始状态的样本集合为:
其中样本权值为:
,
进一步地,车辆开始运动后,利用多线激光雷达收集观测值,基于车辆位姿的变化和激光雷达观测值更新每个粒子概率值;
此时,车辆的状态方程和观测方程分别为:
式中:是车辆在t时刻的位姿,是车辆在t时刻的观测信息,和分别表示状态转移函数和测量函数,、分别表示系统的模型噪声和测量噪声;
进一步地,计算所有粒子的后验概率,取后验概率最大的粒子位姿来代表车辆当前在地图中的位姿;当样本产生退化时开始重采样过程,设置作为样本点数阈值,当有效样本数量小于该值时进行重采样过程; 获取视觉标签的图像信息,并提取视觉标签中的坐标位置数据,以得到车辆的视觉标签定位信息;采用基于图片定位角点的方法识别视觉标签的二维码位置,并得到二维码的4个特征点坐标;根据所述4个特征点坐标,结合AprilTag标准位姿特征点集,得到当前图像采集设备位姿相对于标准位姿的旋转矩阵和平移向量;根据所述旋转矩阵和平移向量,结合视觉标签上二维码的位置信息,得到车辆的视觉标签定位信息;
所述方法还包括:在路侧端布设若干视觉标签,在车辆上布设图像采集设备,利用所述图像采集设备采集视觉标签的图像信息;
所述视觉标签上设有二维码,在采集视觉标签的图像信息时读取二维码,若读取成功,则进行二维码信息提取;若读取不成功,则图像采集设备继续采集,直至读取到二维码;
所述方法还包括:利用OpenCV提取视觉标签中的二维码信息,利用提取的二维码信息计算视觉标签的位置信息,基于视觉标签的位置信息计算车辆的位置信息作为车辆的视觉标签定位信息;
AprilTag二维码采用基于图片定位角点的方法获取视觉标签的信息,识别包含以下过程:
图像阈值化:把输入的彩色图像转换为黑白图像,将图像分成 像素的小方块,分别计算每个方块内的极值,最后给每个像素分配一个白或黑值;
边缘检测:在对图像进行阈值化后,通过计算图像的梯度大小和方向,将具有相同梯度大小和方向的像素聚集在一起,采用最小二乘法拟合成线段;
边缘优化:由于阴影和眩光在阈值化后会影响边缘效果,通过在均匀分布的采样点上沿着边缘采样图像梯度,将梯度变化不大、不是二维码边缘的点去掉;然后利用剩下的点拟合直线作为四边形的边,可以提升二维码的检测效率以及定位信息的准确度;
四边形检测:查找图像中的所有线段,若前一条边的末端点和下一条边的始端点之间的距离小于设定的阈值,则将两条线段按照逆时针方向连接,以此构建由4个线段组成的树,若最后一条边与第一条边构成一个闭环,则判断这4个线段满足构成四边形条件;
基于车辆的激光定位信息和视觉标签定位信息,采用扩展卡尔曼滤波器进行多源异构定位信息的融合,以得到融合后的车辆位置信息;
所述方法还包括:
提取车辆的视觉标签定位信息作为定位的先验知识,根据状态空间方程计算先验估计值;
以车辆的激光定位信息为主,同步检测车辆的视觉标签定位信息,并在检测到有效的视觉标签定位信息时,提取车辆的激光定位观测值、视觉标签定位观测值以确定扩展卡尔曼滤波观测值;
计算先验估计协方差,根据先验估计协方差计算扩展卡尔曼滤波增益;
基于先验估计值、扩展卡尔曼滤波观测值及扩展卡尔曼滤波增益,计算后验估计。
2.根据权利要求1所述基于视觉标签和激光SLAM的智能汽车定位方法,其特征在于,所述方法还包括:
获取道路环境的三维点云信息;
采用自适应蒙特卡罗定位获取车辆在全局栅格地图中的位置信息;
将三维点云数据与全局栅格地图进行匹配,根据每一粒子的位置置信度评分进行粒子筛选,依据筛选结果更新车辆在全局栅格地图中的位置信息。
3.根据权利要求1所述基于视觉标签和激光SLAM的智能汽车定位方法,其特征在于,在所述图像采集设备采集到多个视觉标签的图像信息时,分别得到多个旋转矩阵和平移向量,通过多个所述的旋转矩阵和平移向量分别得到采集到的每个视觉标签与车辆的距离,选取距离最小的视觉标签作为当前定位的视觉标签。
4.基于视觉标签和激光SLAM的智能汽车定位系统,用于实现权利要求1-3任一项所述的方法,其特征在于,所述系统包括:
视觉标签,设置于路侧端,具有高斯平面坐标系下的精确坐标,并采用二维码的形式表达坐标信息;
单目相机,设置于车辆前方,用于获取视觉标签的图像信息并发送至车载计算单元;
多线激光雷达,设置于车辆前方,用于获取道路环境的三维点云信息并发送至车载计算单元;
车载计算单元,设置于车辆上,用于:
根据接收的道路环境的三维点云信息,提取车辆在全局栅格地图中的位置信息,以得到车辆的激光定位信息;
根据接收的视觉标签的图像信息,提取视觉标签中的坐标位置数据,以得到车辆的视觉标签定位信息;
基于车辆的激光定位信息和视觉标签定位信息,采用扩展卡尔曼滤波器进行多源异构定位信息的融合,以得到融合后的车辆位置信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211161448.2A CN115235478B (zh) | 2022-09-23 | 2022-09-23 | 基于视觉标签和激光slam的智能汽车定位方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211161448.2A CN115235478B (zh) | 2022-09-23 | 2022-09-23 | 基于视觉标签和激光slam的智能汽车定位方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115235478A CN115235478A (zh) | 2022-10-25 |
CN115235478B true CN115235478B (zh) | 2023-04-07 |
Family
ID=83667149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211161448.2A Active CN115235478B (zh) | 2022-09-23 | 2022-09-23 | 基于视觉标签和激光slam的智能汽车定位方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115235478B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117848331A (zh) * | 2024-03-06 | 2024-04-09 | 河北美泰电子科技有限公司 | 基于视觉标签地图的定位方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109099901A (zh) * | 2018-06-26 | 2018-12-28 | 苏州路特工智能科技有限公司 | 基于多源数据融合的全自动压路机定位方法 |
CN114563795A (zh) * | 2022-02-25 | 2022-05-31 | 湖南大学无锡智能控制研究院 | 基于激光里程计和标签融合算法的定位追踪方法及系统 |
WO2022141910A1 (zh) * | 2021-01-01 | 2022-07-07 | 杜豫川 | 一种基于行车安全风险场的车路激光雷达点云动态分割及融合方法 |
CN114721001A (zh) * | 2021-11-17 | 2022-07-08 | 长春理工大学 | 一种基于多传感器融合的移动机器人定位方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109900280B (zh) * | 2019-03-27 | 2020-12-11 | 浙江大学 | 一种基于自主导航的畜禽信息感知机器人与地图构建方法 |
-
2022
- 2022-09-23 CN CN202211161448.2A patent/CN115235478B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109099901A (zh) * | 2018-06-26 | 2018-12-28 | 苏州路特工智能科技有限公司 | 基于多源数据融合的全自动压路机定位方法 |
WO2022141910A1 (zh) * | 2021-01-01 | 2022-07-07 | 杜豫川 | 一种基于行车安全风险场的车路激光雷达点云动态分割及融合方法 |
CN114721001A (zh) * | 2021-11-17 | 2022-07-08 | 长春理工大学 | 一种基于多传感器融合的移动机器人定位方法 |
CN114563795A (zh) * | 2022-02-25 | 2022-05-31 | 湖南大学无锡智能控制研究院 | 基于激光里程计和标签融合算法的定位追踪方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115235478A (zh) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3519770B1 (en) | Methods and systems for generating and using localisation reference data | |
US20200249359A1 (en) | Determining Yaw Error from Map Data, Lasers, and Cameras | |
CN111882612B (zh) | 一种基于三维激光检测车道线的车辆多尺度定位方法 | |
CN112396650B (zh) | 一种基于图像和激光雷达融合的目标测距系统及方法 | |
WO2020000137A1 (en) | Integrated sensor calibration in natural scenes | |
US11010622B2 (en) | Infrastructure-free NLoS obstacle detection for autonomous cars | |
CN111220993A (zh) | 目标场景定位方法、装置、计算机设备和存储介质 | |
KR101569919B1 (ko) | 차량의 위치 추정 장치 및 방법 | |
CN110826386A (zh) | 基于lidar的对象检测和分类 | |
CN114413881B (zh) | 高精矢量地图的构建方法、装置及存储介质 | |
CN112740225B (zh) | 一种路面要素确定方法及装置 | |
CN110658539B (zh) | 车辆定位方法、装置、车辆和计算机可读存储介质 | |
US20200200545A1 (en) | Method and System for Determining Landmarks in an Environment of a Vehicle | |
CN113160594A (zh) | 变化点检测装置以及地图信息发布系统 | |
CN115235478B (zh) | 基于视觉标签和激光slam的智能汽车定位方法及系统 | |
CN114841910A (zh) | 车载镜头遮挡识别方法及装置 | |
CN117576652B (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
Yoneda et al. | Sun-Glare region recognition using Visual explanations for Traffic light detection | |
WO2020113425A1 (en) | Systems and methods for constructing high-definition map | |
US11669998B2 (en) | Method and system for learning a neural network to determine a pose of a vehicle in an environment | |
CN110660113A (zh) | 特征地图的建立方法、装置、采集设备和存储介质 | |
CN115790568A (zh) | 基于语义信息的地图生成方法及相关设备 | |
Han et al. | Uav vision: Feature based accurate ground target localization through propagated initializations and interframe homographies | |
Horani et al. | A framework for vision-based lane line detection in adverse weather conditions using vehicle-to-infrastructure (V2I) communication | |
CN112020722A (zh) | 基于三维传感器数据识别路肩 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |