CN110109465A - 一种自导引车以及基于自导引车的地图构建方法 - Google Patents

一种自导引车以及基于自导引车的地图构建方法 Download PDF

Info

Publication number
CN110109465A
CN110109465A CN201910455206.6A CN201910455206A CN110109465A CN 110109465 A CN110109465 A CN 110109465A CN 201910455206 A CN201910455206 A CN 201910455206A CN 110109465 A CN110109465 A CN 110109465A
Authority
CN
China
Prior art keywords
self
aiming
map
vehicle
aiming vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910455206.6A
Other languages
English (en)
Inventor
陈宁
张怡萌
余顺年
许鲜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jimei University
Original Assignee
Jimei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jimei University filed Critical Jimei University
Priority to CN201910455206.6A priority Critical patent/CN110109465A/zh
Publication of CN110109465A publication Critical patent/CN110109465A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Abstract

本发明公开了一种自导引车以及基于自导引车的地图构建方法。该方法包括:通过双目摄像机采集两个路径图像;通过ORB算法对两个所述路径图像进行特征提取;根据提取的特征对两个所述路径图像进行融合;根据融合后的图像,通过惯性导航仪计算车位姿态数据;通过激光雷达测量自导引车与障碍物之间的距离;根据所述车位姿态数据以及所述距离生成初始地图图像;通过深度学习模型识别所述初始地图图像中的语义信息;根据所述语义信息构建地图。本发明能够快速、准确的构建地图。

Description

一种自导引车以及基于自导引车的地图构建方法
技术领域
本发明涉及地图构建领域,特别是涉及一种自导引车以及基于自导引车的地图构建方法。
背景技术
目前,现有技术多采用单一传感器构建地图,单一的传感器自主导航具有不能及时定位、构建地图不精确的问题。采用基于Rao-Blackwellized粒子滤波器RBRF的SLAM方法能够较好的近似移动机器人位姿和环境地图的联合密度,但计算复杂度高、占用内存大、实时性差;采用激光雷达与单目视觉相融合的SLAM,将移动机器人所处环境中的某些相关特征进行联合,形成有意义的环境地标,随有效减少数据的不确定性,但其计算量大,实时性差;基于退火参数优化混合提议分布的RBRF算法,该算法不仅能够减少所需粒子数而且保持了粒子多样性,但鲁棒性差;将里程计信息与激光采集的距离信息进行融合,有效减少了所需粒子数,降低了机器人位姿的不确定性,但激光数据比较单一等。
发明内容
本发明的目的是提供一种自导引车以及基于自导引车的地图构建方法,用以快速、准确的构建地图。
为实现上述目的,本发明提供了如下方案:
一种自导引车,所述自导引车包括:底盘,以及设置在所述底盘上的驱动装置、控制装置、激光雷达、双目摄像机和惯性导航仪;所述激光雷达用于采集环境点云数据;所述双目摄像机用于采集路径图像;所述惯性导航仪与所述双目摄像机连接,用于根据所述路径图像计算所述自导引车的车位姿态数据;所述控制装置分别与所述激光雷达和所述惯性导航仪连接,用于根据所述环境点云数据以及所述车位姿态数据生成路径,并发出控制指令;所述驱动装置与所述控制装置连接,用于根据所述控制指令驱动所述自导引车沿所述路径行驶。
可选的,所述驱动装置为直流电机加差速器。
可选的,所述控制装置包括运动控制计算机和视觉控制计算机;所述视觉控制计算机与所述激光雷达和所述惯性导航仪连接,用于根据所述环境点云数据以及所述车位姿态数据生成路径;所述运动控制计算机与所述驱动装置连接,用于发出控制指令。
可选的,还包括触摸屏,所述触摸屏设置在所述底盘上,用于设定所述自导引车的运行参数。
本发明还提供了一种基于自导引车的地图构建方法,所述方法应用上述自导引车,所述方法包括:
通过双目摄像机采集两个路径图像;
通过ORB算法对两个所述路径图像进行特征提取;
根据提取的特征对两个所述路径图像进行融合;
根据融合后的图像,通过惯性导航仪计算车位姿态数据;
通过激光雷达测量自导引车与障碍物之间的距离;
根据所述车位姿态数据以及所述距离生成初始地图图像;
通过深度学习模型识别所述初始地图图像中的语义信息;
根据所述语义信息构建地图。
可选的,所述根据提取的特征对两个所述路径图像进行融合,具体包括:
根据提取的特征对两个所述路径图像进行径向畸变处理;
对径向畸变处理后图像进行融合。
可选的,所述通过深度学习模型识别所述初始地图图像中的语义信息,具体包括:
将所述初始地图图像输入至深度学习模型,得到抽象语义向量;
对所述抽象语义向量进行相似度计算,得到一级语义向量;
提取所述初始地图图像的特征点;
将所述一级语义向量与所述特征的进行融合,得到语义信息。
可选的,所述根据所述语义信息构建地图,具体包括:
对所述语义信息进行分割,得到多个像素点的位置;
对多个所述像素点进行剔除;
根据剩余像素点计算车位姿态;
根据所述车位姿态构建地图。
与现有技术相比,本发明具有以下技术效果:本发明使用双目视觉与激光雷达传感器融合并通过深度学习算法获得的实时地图,使图像理解更清晰;根据语义信息,仅仅使用静态部分的数据进行定位,减少甚至剔除动态物体对SLAM定位的影响,提高观测信息与已知信息的一致性,语义分割的融合方法使目标检测模型更加精简,运行速度更快,计算量也大大减小,提高了地图构建的准确性、可靠性和快速性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例自导引车的结构示意图;
图2为本发明实施例基于自导引车的地图构建方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种自导引车以及基于自导引车的地图构建方法,用以快速、准确的构建地图。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,一种自导引车包括:底盘1,以及设置在所述底盘1上的驱动装置2、控制装置、激光雷达5、双目摄像机6和惯性导航仪7。
所述激光雷达5用于采集环境点云数据;所述双目摄像机6用于采集路径图像;所述惯性导航仪7与所述双目摄像机6连接,用于根据所述路径图像计算所述自导引车的车位姿态数据。
所述控制装置包括运动控制计算机3和视觉控制计算机4;所述视觉控制计算机4与所述激光雷达5和所述惯性导航仪7连接,用于根据所述环境点云数据以及所述车位姿态数据生成路径;所述运动控制计算机3与所述驱动装置2连接,用于发出控制指令。所述驱动装置2用于根据所述控制指令驱动所述自导引车沿所述路径行驶。所述驱动装置2为直流电机加差速器。
该自导引车还包括触摸屏8,所述触摸屏8设置在所述底盘上1,用于设定所述自导引车的运行参数。
基于上述自导引车,本发明还提供了一种基于自导引车的地图构建方法,所述方法包括:
步骤201:通过双目摄像机采集两个路径图像。
步骤202:通过ORB算法对两个所述路径图像进行特征提取。
步骤203:根据提取的特征对两个所述路径图像进行融合。根据提取的特征对两个所述路径图像进行径向畸变处理;对径向畸变处理后图像进行融合。
ORB算法获得的特征点没有尺度不变信息,虽然可以通过引进特征点方向获得旋转不变性的方法来进行特征描述,但算法仍然没有尺度不变信息,而SIFT算法则能够在图像发生旋转、尺度等变化下较好的检测图像特征点,具备良好的尺度不变性,因此选用SIFT算法中的高斯尺度空间的思想来改进ORB算法。
该算法将FAST角点检测与BRIEF特征描述符进行融合改进,针对FAST算法缺陷,加入了尺度与旋转描述,同时计算了特征点的主方向,对于BRIEF算法,添加了旋转不变性。
具体关键点检测方法为:
将原图像扩大一倍之后作为高斯金字塔的第1组第1层,将第1组第1层图像经高斯卷积(其实就是高斯平滑或称高斯滤波)之后作为第1组金字塔的第2层,逐层构建图像金字塔,每一层提取的特征点数为:
其中,n1为金字塔第一层所需分配的特征点数,α为尺度因子,n为所需提取的ORB特征点总数,τ为金字塔的层数。
通过等比数列依次求出金字塔每层的特征点数。当完成金字塔构建和实现特征点分配后,选定合适的区域进行图像划分,在区域内利用oFAST特征点检测,保证特征点分布均匀。
oFAST使用灰度质心法,特征点的主方向是通过矩(moment)计算来的:
其中,i,j={0,1},0I(x,y)为像素点(x,y)的灰度值,mij表示图像区域中的像素灰度值。
区域I在x,y方向的质心为:
得到的向量角度即为特征点方向:
rBRIEF特征描述是在BRIEF特征描述的基础上加入旋转因子改进的。BRIEF描述需要对图像进行平滑处理,在区域内选取n个点对,生成矩阵:
利用上述θ对其进行旋转处理:
Sθ=RθS (7)
其中,Rθ表示角度为θ的旋转矩阵,Sθ为旋转后对应的矩阵。
对获取的双目视觉系统中的双目图像进行径向畸变校正处理,并根据校正结果生成新的图像。径向校正函数表示为:
x0=(1+k1r2+k2r2)x1,
其中,x0为校正前径向坐标,x1为校正后径向坐标,y0为校正前切向坐标,f为双目相机的焦距,k1和k2为双目相机两个摄像头的畸变参数。
步骤204:根据融合后的图像,通过惯性导航仪计算车位姿态数据。
步骤205:通过激光雷达测量自导引车与障碍物之间的距离。使用激光雷达测距,并对测得的数据进行处理,得到环境中的障碍物的距离。激光雷达由于其受光照强度影响较小,测量范围大,采样密度高的优点,在测量定位中具有很好的鲁棒性和计算精度。
激光雷达测量位置公式为:
其中,Pr为回波信号的功率,Pt为激光雷达发射功率,K是发射光束的分布函数,ηt和ηr分别是发射系统和接收系统的透过率,θt为发射激光的发散角。
步骤206:根据所述车位姿态数据以及所述距离生成初始地图图像。
步骤207:通过深度学习模型识别所述初始地图图像中的语义信息。具体的:
将所述初始地图图像输入至深度学习模型,得到抽象语义向量;
对所述抽象语义向量进行相似度计算,得到一级语义向量;
提取所述初始地图图像的特征点;
将所述一级语义向量与所述特征的进行融合,得到语义信息。
步骤208:根据所述语义信息构建地图。通过语义构建地图时,首先通过语义分割得到图片中的人和物体等的像素点位置,然后从将要参与位姿估计的像素点剔除构建地图时可能会发生移动的动态人和物,在用剔除后的像素点进行下一步位姿计算,此方法构建出的地图,明显降低了动态环境下的位姿估计误差,提高了整个系统的稳定性。
根据本发明提供的具体实施例,本发明公开了以下技术效果:本发明使用双目视觉与激光雷达传感器融合并通过深度学习算法获得的实时地图,使图像理解更清晰;根据语义信息,仅仅使用静态部分的数据进行定位,减少甚至剔除动态物体对SLAM定位的影响,提高观测信息与已知信息的一致性,语义分割的融合方法使目标检测模型更加精简,运行速度更快,计算量也大大减小,提高了地图构建的准确性、可靠性和快速性。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种自导引车,其特征在于,所述自导引车包括:底盘,以及设置在所述底盘上的驱动装置、控制装置、激光雷达、双目摄像机和惯性导航仪;所述激光雷达用于采集环境点云数据;所述双目摄像机用于采集路径图像;所述惯性导航仪与所述双目摄像机连接,用于根据所述路径图像计算所述自导引车的车位姿态数据;所述控制装置分别与所述激光雷达和所述惯性导航仪连接,用于根据所述环境点云数据以及所述车位姿态数据生成路径,并发出控制指令;所述驱动装置与所述控制装置连接,用于根据所述控制指令驱动所述自导引车沿所述路径行驶。
2.根据权利要求1所述的自导引车,其特征在于,所述驱动装置为直流电机加差速器。
3.根据权利要求1所述的自导引车,其特征在于,所述控制装置包括运动控制计算机和视觉控制计算机;所述视觉控制计算机与所述激光雷达和所述惯性导航仪连接,用于根据所述环境点云数据以及所述车位姿态数据生成路径;所述运动控制计算机与所述驱动装置连接,用于发出控制指令。
4.根据权利要求1所述的自导引车,其特征在于,还包括触摸屏,所述触摸屏设置在所述底盘上,用于设定所述自导引车的运行参数。
5.一种基于自导引车的地图构建方法,其特征在于,所述方法应用上述权利要求1-4任意一项所述的自导引车,所述方法包括:
通过双目摄像机采集两个路径图像;
通过ORB算法对两个所述路径图像进行特征提取;
根据提取的特征对两个所述路径图像进行融合;
根据融合后的图像,通过惯性导航仪计算车位姿态数据;
通过激光雷达测量自导引车与障碍物之间的距离;
根据所述车位姿态数据以及所述距离生成初始地图图像;
通过深度学习模型识别所述初始地图图像中的语义信息;
根据所述语义信息构建地图。
6.根据权利要求5所述的基于自导引车的地图构建方法,其特征在于,所述根据提取的特征对两个所述路径图像进行融合,具体包括:
根据提取的特征对两个所述路径图像进行径向畸变处理;
对径向畸变处理后图像进行融合。
7.根据权利要求5所述的基于自导引车的地图构建方法,其特征在于,所述通过深度学习模型识别所述初始地图图像中的语义信息,具体包括:
将所述初始地图图像输入至深度学习模型,得到抽象语义向量;
对所述抽象语义向量进行相似度计算,得到一级语义向量;
提取所述初始地图图像的特征点;
将所述一级语义向量与所述特征的进行融合,得到语义信息。
8.根据权利要求5所述的基于自导引车的地图构建方法,其特征在于,所述根据所述语义信息构建地图,具体包括:
对所述语义信息进行分割,得到多个像素点的位置;
对多个所述像素点进行剔除;
根据剩余像素点计算车位姿态;
根据所述车位姿态构建地图。
CN201910455206.6A 2019-05-29 2019-05-29 一种自导引车以及基于自导引车的地图构建方法 Withdrawn CN110109465A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910455206.6A CN110109465A (zh) 2019-05-29 2019-05-29 一种自导引车以及基于自导引车的地图构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910455206.6A CN110109465A (zh) 2019-05-29 2019-05-29 一种自导引车以及基于自导引车的地图构建方法

Publications (1)

Publication Number Publication Date
CN110109465A true CN110109465A (zh) 2019-08-09

Family

ID=67492732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910455206.6A Withdrawn CN110109465A (zh) 2019-05-29 2019-05-29 一种自导引车以及基于自导引车的地图构建方法

Country Status (1)

Country Link
CN (1) CN110109465A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110696663A (zh) * 2019-11-13 2020-01-17 浙江树人学院(浙江树人大学) 安全型电动汽车充电接头视觉识别与自动充电系统及方法
CN111856499A (zh) * 2020-07-30 2020-10-30 浙江大华技术股份有限公司 基于激光雷达的地图构建方法和装置
CN112348029A (zh) * 2021-01-08 2021-02-09 禾多科技(北京)有限公司 局部地图调整方法、装置、设备和计算机可读介质
CN112729289A (zh) * 2020-12-23 2021-04-30 联通物联网有限责任公司 应用于自动导引车的定位方法、装置、设备和存储介质
CN113375671A (zh) * 2020-02-25 2021-09-10 三菱重工业株式会社 推定装置及方法和介质、控制装置、车辆、物流辅助系统
WO2022062355A1 (zh) * 2020-09-23 2022-03-31 华人运通(上海)自动驾驶科技有限公司 一种融合定位方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110696663A (zh) * 2019-11-13 2020-01-17 浙江树人学院(浙江树人大学) 安全型电动汽车充电接头视觉识别与自动充电系统及方法
CN110696663B (zh) * 2019-11-13 2023-10-24 浙江树人学院(浙江树人大学) 安全型电动汽车充电接头视觉识别与自动充电系统及方法
CN113375671A (zh) * 2020-02-25 2021-09-10 三菱重工业株式会社 推定装置及方法和介质、控制装置、车辆、物流辅助系统
CN111856499A (zh) * 2020-07-30 2020-10-30 浙江大华技术股份有限公司 基于激光雷达的地图构建方法和装置
WO2022062355A1 (zh) * 2020-09-23 2022-03-31 华人运通(上海)自动驾驶科技有限公司 一种融合定位方法及装置
CN112729289A (zh) * 2020-12-23 2021-04-30 联通物联网有限责任公司 应用于自动导引车的定位方法、装置、设备和存储介质
CN112729289B (zh) * 2020-12-23 2024-02-27 联通物联网有限责任公司 应用于自动导引车的定位方法、装置、设备和存储介质
CN112348029A (zh) * 2021-01-08 2021-02-09 禾多科技(北京)有限公司 局部地图调整方法、装置、设备和计算机可读介质

Similar Documents

Publication Publication Date Title
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
US20230260151A1 (en) Simultaneous Localization and Mapping Method, Device, System and Storage Medium
CN110109465A (zh) 一种自导引车以及基于自导引车的地图构建方法
Patil et al. The h3d dataset for full-surround 3d multi-object detection and tracking in crowded urban scenes
Huang et al. The apolloscape open dataset for autonomous driving and its application
US20200364554A1 (en) Systems and methods for deep localization and segmentation with a 3d semantic map
CN113819890B (zh) 测距方法、装置、电子设备及存储介质
CN111201451A (zh) 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置
Xu et al. Power line-guided automatic electric transmission line inspection system
CN110033411B (zh) 基于无人机的公路施工现场全景图像高效拼接方法
CN109829853A (zh) 一种无人机航拍图像拼接方法
CN113377888B (zh) 训练目标检测模型和检测目标的方法
CN111830953A (zh) 车辆自定位方法、装置及系统
EP3876142A1 (en) Map building method, apparatus and system, and storage medium
Tao et al. Stereo priori RCNN based car detection on point level for autonomous driving
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
Laflamme et al. Driving datasets literature review
Zhang et al. PSNet: Perspective-sensitive convolutional network for object detection
Du et al. Autonomous measurement and semantic segmentation of non-cooperative targets with deep convolutional neural networks
Buyval et al. Road sign detection and localization based on camera and lidar data
CN104156969A (zh) 基于全景影像景深图的探面方法
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质
Kiran et al. Automatic hump detection and 3D view generation from a single road image
CN115937520A (zh) 基于语义信息引导的点云运动目标分割方法
Tao et al. An efficient 3D object detection method based on Fast Guided Anchor Stereo RCNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190809