CN113903011B - 一种适用于室内停车场的语义地图构建及定位方法 - Google Patents

一种适用于室内停车场的语义地图构建及定位方法 Download PDF

Info

Publication number
CN113903011B
CN113903011B CN202111247593.8A CN202111247593A CN113903011B CN 113903011 B CN113903011 B CN 113903011B CN 202111247593 A CN202111247593 A CN 202111247593A CN 113903011 B CN113903011 B CN 113903011B
Authority
CN
China
Prior art keywords
image
pose
semantic
parking lot
semantic map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111247593.8A
Other languages
English (en)
Other versions
CN113903011A (zh
Inventor
陈一枭
江浩斌
沈青原
尹晨辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202111247593.8A priority Critical patent/CN113903011B/zh
Publication of CN113903011A publication Critical patent/CN113903011A/zh
Application granted granted Critical
Publication of CN113903011B publication Critical patent/CN113903011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种适用于室内停车场的语义地图构建及定位方法,通过单目相机和四个环视鱼眼相机采集停车场图像数据;经图像处理技术将采集的数据投影为相机图像‑路面鸟瞰图;通过卷积神经网络模型对图像进行语义分割,并使用车位提取算法生成停车位,从而获得带语义信息的停车场数据;通过回环检测和位姿图优化的方法生成全局停车场语义地图;通过相机和惯性测量单元融合定位车辆,并使用扩展卡尔曼滤波平滑估计的轨迹。本发明不仅提高了停车场视觉语义SLAM的建图精度,而且降低了现有的位姿优化算法的复杂度,满足了视觉SLAM实时性的要求。

Description

一种适用于室内停车场的语义地图构建及定位方法
技术领域
本发明专利涉及SLAM建图的技术领域,具体地说是一种适用于室内停车场的语义地图构建及定位方法。
背景技术
由于室内停车场区域狭窄,视线不明,故因泊车问题导致的交通拥挤和交通事故等现象时有发生。为了更好的实现自动泊车技术,停车场SLAM建图的精度要求越来越高。传统的停车场SLAM建图经常会出现特征匹配失败,跟踪丢失等现象,使得SLAM的精度较低。此外,由于时间和空间的移动,同一区域的特征信息也会有所差别,这使得很难基于外观的地图重新定位车辆。
SLAM建图可分为视觉SLAM和激光SLAM,激光SLAM受到激光雷达成本的制约,难以实现量产;视觉SLAM由于采集的数据更加丰富,相机的成本较低,一直受到青睐,但视觉SLAM技术较为复杂,对计算机的要求更高,并且视觉SLAM的精度问题一直备受关注。
发明内容
为了提高室内停车场SLAM建图的精度和实时性,本发明提供了一种适用于室内停车场的语义地图构建及定位方法,改善了停车场SLAM建图精度较低,优化方法复杂,从而解决了无人车在室内停车场环境下行驶安全性低的问题。
本发明提供了一种适用于室内停车场的语义地图构建及定位方法,包括如下步骤:
S1、无人车在移动的过程中,通过车载相机采集停车场周围环境数据;
S2、对所采集的停车场周围环境数据进行图像处理,获取相机图像-路面鸟瞰图;
S3、针对所获取的鸟瞰图采用语义分割的方法获取带语义信息的局部语义地图;针对所获取的鸟瞰图使用车位提取算法自动生成停车位,将停车位显示在局部语义地图上;
S4、对显示停车位的局部语义地图通过融合回环检测和位姿图优化的方法生成全局语义地图;
S5、应用所生成全局语义地图,实现其它进入该室内停车场的车辆的定位和导航。
进一步,所述相机图像-路面鸟瞰图是通过对相机进行标定获取相机的内外参,并通过IPM逆投影变换和ORB图像拼接和图像融合的方法获得。
进一步,S3中采用U-net卷积神经网络模型对鸟瞰图进行语义分割,过程如下:
步骤1,对训练数据集进行剪裁和归一化等预处理操作;
步骤2,利用主干特征提取网络获取五个初步有效特征层;
步骤3,利用加强特征提取网络对所获取的五个初步有效特征层进行上采样和特征融合,获得一个融合了所有特征的有效特征层;
步骤4,根据语义类别的个数调整最终获得的有效特征层的通道数,并通过特征预测环节对图像中每个特征点进行分类预测,从而获得带语义信息的停车场图像。
进一步,语义类别包括停车线、停车线拐角,车道线、车标、减速带和自由空间。
进一步,S3中车位提取算法自动生成停车位的过程如下:
步骤1,将鸟瞰图由RGB图转为灰度图,并利用高斯滤波去除噪声;
步骤2,基于滤波后的图像,采用伽马变换进行图像增强,并通过霍夫变换和直线聚类的方法检测停车线标线和停车线拐角;
步骤3,基于检测到的停车线标线和停车线拐角自动生成停车位。
进一步,利用高效位姿优化的方法实现回环检测和位姿图优化的融合进而生成全局语义地图,高效位姿优化方法为:
将每一帧局部语义地图存储到内存中,并输出初始位姿数据;
将每一帧局部语义地图通过滑动窗口的方法进行局部优化,并且随着窗口的移动,每移动一定的位移会产生一个关键帧,计算相邻两个关键帧之间的位姿矩阵,并将位姿矩阵作为后端位姿图优化的位姿约束条件;将关键帧输入到回环检测模块,回环检测的结果也将作为后端位姿图优化的约束条件;每完成一次位姿图优化,需检测位姿发生大变化的关键帧,并通过相对位姿矩阵更新其周围普通帧的位姿矩阵。
进一步,采用基于词袋模型的回环检测,方法包括:
步骤1,通过ORB算法提取局部语义地图上的特征描述子,并根据视觉词典中单词的分布情况,将局部语义地图转为数值向量;
步骤2,根据向量相似度计算当前局部语义图像与先前采集到的各局部语义图像之间的相似度,并依据相似度结果,确定回环候选,计算公式如下,
其中,vc为当前图像,vr为参考图像,s(vc,vr)为当前图像与参考图像的相似度分数,相似度分数在0到1之间,两幅图像越相似,则值越接近于1。
步骤3,基于回环候选,通过时间一致性检验和几何一致性检验确定最终的回环候选单位,并对最终的回环候选通过ICP算法进行闭合校正。
进一步,位姿图优化的过程为:以图的形式建立优化模型;图由结点和边组成,所述结点是指每一帧语义图中车辆和传感器的初始位姿矩阵,所述边是指相邻两帧之间车辆和传感器的相对位姿矩阵,根据图优化模型中边和结点的关系,列出边误差方程,并使用高斯-牛顿法迭代进行优化。
进一步,在S5中,将全局语义地图上传至云服务器中,并在云服务器中进行压缩;进入该室内停车场的车辆通过其自车的相机和IMU(惯性测量单元)所采集的信息相互融合得到车辆实时的位姿,进而生成一条估计的轨迹,最后使用扩展卡尔曼滤波平滑轨迹。
本发明的有益效果:
针对区域狭窄、视线常被遮挡的室内停车场环境,本发明通过将停车场图像合成为环视鸟瞰图的形式,有效的增加了无人车的感知范围,提高了无人车行驶时的安全性和泊车的准确性。
考虑到室内停车场大多是无质感、无纹理的墙壁,本发明采用视觉语义信息构建停车场地图并进行车辆定位。与传统的停车场SLAM建图相比,视觉语义信息对视角和光照变化具有长期稳定性和鲁棒性,可有效的提高停车场SLAM建图的精度。
为了提供无人车足够的、准确的车位信息,本发明提出了一种车位提取算法,有效地提高了自动泊车的效率。
此外,为了满足视觉SLAM实时性的要求,本发明改善了传统的位姿优化的方法,具体地,本发明采用融合回环检测和位姿图优化的方法,在消除里程计累积漂移的同时,有效地降低了后端优化的算法复杂度,提高了优化的效率,满足视觉SLAM实时性的要求。有效地降低了SLAM建图的算法复杂度。
附图说明
图1为本发明提供的算法整体框架示意图
图2为本发明提供的环视鸟瞰图的结果示意图
图3为本发明提供的U-net卷积神经网络模型结构示意图
图4为本发明提供的停车位生成方法的框架示意图
图5为本发明提供的语义地图优化框架示意图
图6为本发明提供的相机和IMU融合定位框架示意图
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用于解释本发明,并不用于限定本发明
为了使本发明的目的、技术方案及优点更加清楚,下面结合附图对本发明做进一步说明:
如图1所示,本发明提供了一种适用于室内停车场的语义地图构建及定位方法,包括:
S1、无人车在移动的过程中,通过单目相机和四个环视鱼眼相机采集停车场周围环境数据;
S2、对所采集的停车场周围环境数据进行图像处理,获取相机图像-路面鸟瞰图;在进一步的实施方式中,为了提高车辆在狭窄的停车场的视线,本发明S2中通过张正友标定法获取相机的内参和外参,并通过IPM逆投影变换将图像由世界坐标系转到图像像素坐标系,投影公式如公式(1)所示。此外,还需通过ORB算法对图像进行特征点提取和特征点描述,完成图像的配准和拼接,以此生成如图2所示的相机图像-路面鸟瞰图。
其中,s为尺度因子,(u,v)为转换后像素坐标系下的坐标点,fx、fy、cx、cy为相机的内参,R,t为相机的外参,(Xw,Yw,Zw)为转换前世界坐标系下的坐标点。
S3、针对所获取的鸟瞰图采用语义分割的方法获取带语义信息的局部语义地图;针对所获取的鸟瞰图使用车位提取算法自动生成停车位,将停车位显示在局部语义地图上;
在进一步的实施方式中,S3中采用U-net卷积神经网络模型对鸟瞰图进行语义分割,U-net模型包括主干特征提取网络、加强特征提取网络和特征预测三部分,其具体流程如图3所示。
步骤1,对训练数据集(鸟瞰图)进行剪裁和归一化等预处理操作;
步骤2,利用主干特征提取网络获取五个初步有效特征层;
步骤3,利用加强特征提取网络对所获取的五个初步有效特征层进行上采样和特征融合,获得一个融合了所有特征的有效特征层;
步骤4,根据语义类别的个数调整最终获得的有效特征层的通道数,并通过特征预测环节对图像中每个特征点进行分类预测,从而获得带语义信息的停车场图像。。
所述的语义类别包括停车线、停车线拐角,车道线、车标、减速带和自由空间。
在进一步的实施方式中,提供了一种车位提取算法,以便为自动泊车提供准确地位置信息。图4为停车位生成方法的框架示意图。包括如下步骤:
步骤1,将鸟瞰图由RGB图转为灰度图,并利用高斯滤波去除噪声;
步骤2,基于滤波后的图像,采用伽马变换进行图像增强,并通过霍夫变换和直线聚类的方法检测停车线标线和停车线拐角;
步骤3,基于检测到的停车线标线和停车线拐角自动生成停车位。
S4、对显示停车位的局部语义地图通过融合回环检测和位姿图优化的方法生成全局语义地图;
在进一步的实施方式中,为了降低视觉SLAM算法的复杂度,本发明提供了一种融合回环检测和位姿图优化的高效位姿优化的方法。所述的高效位姿优化方法框架如图5所示。一方面,将每一帧局部语义地图存储到内存中,并输出初始位姿数据。另一方面,将每一帧局部语义地图通过滑动窗口的方法进行局部优化,并且随着窗口的移动,每移动一定的位移会产生一个关键帧,计算相邻两个关键帧之间的位姿矩阵,并将位姿矩阵作为后端位姿图优化的位姿约束条件。此外,为了消除累计误差,将关键帧输入到回环检测模块,回环检测的结果也将作为后端位姿图优化的约束条件。每完成一次位姿图优化,还需检测位姿发生较大变化的关键帧,并通过相对位姿矩阵更新其周围普通帧的位姿矩阵。
在进一步的实施方式中,本发明采用基于词袋模型的回环检测,方法包括:
步骤1,通过ORB算法提取局部语义地图上的特征描述子,并根据视觉词典中单词的分布情况,将局部语义地图转为数值向量;
步骤2,根据向量相似度计算当前局部语义图像与先前采集到的各局部语义图像之间的相似度,并依据相似度结果,确定回环候选,计算公式如下,
其中,vc为当前图像,vr为参考图像,s(vc,vr)为当前图像与参考图像的相似度分数,相似度分数在0到1之间,两幅图像越相似,则值越接近于1。
步骤3,基于回环候选,通过时间一致性检验和几何一致性检验确定最终的回环候选单位,并对最终的回环候选通过ICP算法进行闭合校正。
在进一步的实施方式中,S4中位姿图优化的具体过程为:本发明采用图的形式建立优化模型。图由结点和边组成,所述结点是指每一帧语义图中车辆和传感器的初始位姿矩阵,所述边是指相邻两帧之间车辆和传感器的相对位姿矩阵,根据图优化模型中边和结点的关系,列出边误差方程,并使用高斯-牛顿法迭代进行优化。
S5、应用所生成全局语义地图,实现其它进入该室内停车场的车辆的定位。
将全局语义地图上传至云服务器中,并在云服务器中进行压缩;进入该室内停车场的车辆通过其自车的相机和IMU(惯性测量单元)所采集的信息相互融合得到车辆实时的位姿,进而生成一条估计的轨迹,最后使用扩展卡尔曼滤波平滑轨迹。
在进一步的实施方式中,将优化完的语义地图上传到云服务器中,并在云服务器中进行压缩。
在进一步的实施方式中,当车辆再次来到停车场时,通过GPS定位到车辆所在的商场,并从云服务器中加载当前的停车场语义地图,使用相机和IMU对当前位置进行融合定位。如图6所示,一方面,通过相机采集当前的图像数据,并基于IPM变换和语义分割法提取当前位置的特征点,根据ICP配准法将当前特征点与地图进行匹配来估计当前的位姿;另一方面,IMU通过测量车辆当前的加速度和角速度,并与相机的状态量结合起来构建运动观测方程,再对状态量进行状态估计。此外,为了保证输出轨迹的平滑性和系统的鲁棒性,采用EKF模型优化估计后的轨迹。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种适用于室内停车场的语义地图构建及定位方法,其特征在于,包括如下步骤:
S1、无人车在移动的过程中,通过车载相机采集停车场周围环境数据;
S2、对所采集的停车场周围环境数据进行图像处理,获取相机图像-路面鸟瞰图;
S3、针对所获取的鸟瞰图采用语义分割的方法获取带语义信息的局部语义地图;针对所获取的鸟瞰图使用车位提取算法自动生成停车位,将停车位显示在局部语义地图上;采用U-net卷积神经网络模型对鸟瞰图进行语义分割,过程如下:
步骤1,对训练数据集进行剪裁和归一化的预处理操作;
步骤2,利用主干特征提取网络获取五个初步有效特征层;
步骤3,利用加强特征提取网络对所获取的五个初步有效特征层进行上采样和特征融合,获得一个融合了所有特征的有效特征层;
步骤4,根据语义类别的个数调整最终获得的有效特征层的通道数,并通过特征预测环节对图像中每个特征点进行分类预测,从而获得带语义信息的停车场图像;
车位提取算法自动生成停车位的过程如下:
步骤1,将鸟瞰图由RGB图转为灰度图,并利用高斯滤波去除噪声;
步骤2,基于滤波后的图像,采用伽马变换进行图像增强,并通过霍夫变换和直线聚类的方法检测停车线标线和停车线拐角;
步骤3,基于检测到的停车线标线和停车线拐角自动生成停车位;
S4、对显示停车位的局部语义地图通过融合回环检测和位姿图优化的方法生成全局语义地图;利用高效位姿优化的方法实现回环检测和位姿图优化的融合进而生成全局语义地图,高效位姿优化方法为:
将每一帧局部语义地图存储到内存中,并输出初始位姿数据;
将每一帧局部语义地图通过滑动窗口的方法进行局部优化,并且随着窗口的移动,每移动一定的位移会产生一个关键帧,计算相邻两个关键帧之间的位姿矩阵,并将位姿矩阵作为后端位姿图优化的位姿约束条件;将关键帧输入到回环检测模块,回环检测的结果也将作为后端位姿图优化的约束条件;每完成一次位姿图优化,需检测位姿发生大变化的关键帧,并通过相对位姿矩阵更新其周围普通帧的位姿矩阵;采用基于词袋模型的回环检测,方法包括:
步骤1,通过ORB算法提取局部语义地图上的特征描述子,并根据视觉词典中单词的分布情况,将局部语义地图转为数值向量;
步骤2,根据向量相似度计算当前局部语义图像与先前采集到的各局部语义图像之间的相似度,并依据相似度结果,确定回环候选,计算公式如下,
其中,vc为当前图像,vr为参考图像,s(vc,vr)为当前图像与参考图像的相似度分数,相似度分数在0到1之间,两幅图像越相似,则值越接近于1;
步骤3,基于回环候选,通过时间一致性检验和几何一致性检验确定最终的回环候选单位,并对最终的回环候选通过ICP算法进行闭合校正;
S5、应用所生成全局语义地图,实现其它进入该室内停车场的车辆的定位和导航。
2.根据权利要求1所述的一种适用于室内停车场的语义地图构建及定位方法,其特征在于,所述相机图像-路面鸟瞰图是通过对相机进行标定获取相机的内外参,并通过IPM逆投影变换和ORB图像拼接和图像融合的方法获得。
3.根据权利要求1所述的一种适用于室内停车场的语义地图构建及定位方法,其特征在于,语义类别包括停车线、停车线拐角,车道线、车标、减速带和自由空间。
4.根据权利要求1所述的一种适用于室内停车场的语义地图构建及定位方法,其特征在于,位姿图优化的过程为:以图的形式建立优化模型;图由结点和边组成,所述结点是指每一帧语义图中车辆和传感器的初始位姿矩阵,所述边是指相邻两帧之间车辆和传感器的相对位姿矩阵,根据图优化模型中边和结点的关系,列出边误差方程,并使用高斯-牛顿法迭代进行优化。
5.根据权利要求1所述的一种适用于室内停车场的语义地图构建及定位方法,其特征在于,在S5中,将全局语义地图上传至云服务器中,并在云服务器中进行压缩;进入该室内停车场的车辆通过其自车的相机和IMU所采集的信息相互融合得到车辆实时的位姿,进而生成一条估计的轨迹,最后使用扩展卡尔曼滤波平滑轨迹。
CN202111247593.8A 2021-10-26 一种适用于室内停车场的语义地图构建及定位方法 Active CN113903011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111247593.8A CN113903011B (zh) 2021-10-26 一种适用于室内停车场的语义地图构建及定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111247593.8A CN113903011B (zh) 2021-10-26 一种适用于室内停车场的语义地图构建及定位方法

Publications (2)

Publication Number Publication Date
CN113903011A CN113903011A (zh) 2022-01-07
CN113903011B true CN113903011B (zh) 2024-06-11

Family

ID=

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462135A (zh) * 2020-03-31 2020-07-28 华东理工大学 基于视觉slam与二维语义分割的语义建图方法
CN112734845A (zh) * 2021-01-08 2021-04-30 浙江大学 一种融合场景语义的室外单目同步建图与定位方法
CN113537208A (zh) * 2021-05-18 2021-10-22 杭州电子科技大学 一种基于语义orb-slam技术的视觉定位方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462135A (zh) * 2020-03-31 2020-07-28 华东理工大学 基于视觉slam与二维语义分割的语义建图方法
CN112734845A (zh) * 2021-01-08 2021-04-30 浙江大学 一种融合场景语义的室外单目同步建图与定位方法
CN113537208A (zh) * 2021-05-18 2021-10-22 杭州电子科技大学 一种基于语义orb-slam技术的视觉定位方法及系统

Similar Documents

Publication Publication Date Title
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN109945858B (zh) 用于低速泊车驾驶场景的多传感融合定位方法
CN111169468B (zh) 一种自动泊车的系统及方法
CN110569704A (zh) 一种基于立体视觉的多策略自适应车道线检测方法
JP2019527832A (ja) 正確な位置特定およびマッピングのためのシステムおよび方法
JP2022517961A (ja) 画像データを自動的にアノテーションする方法及び装置
CN106595659A (zh) 城市复杂环境下多无人机视觉slam的地图融合方法
CN105667518A (zh) 车道检测的方法及装置
CN113313763B (zh) 一种基于神经网络的单目相机位姿优化方法及装置
CN110487286B (zh) 基于点特征投影与激光点云融合的机器人位姿判断方法
CN114526745A (zh) 一种紧耦合激光雷达和惯性里程计的建图方法及系统
CN115032651A (zh) 一种基于激光雷达与机器视觉融合的目标检测方法
WO2022062480A1 (zh) 移动设备的定位方法和定位装置
CN113516664A (zh) 一种基于语义分割动态点的视觉slam方法
CN116518984B (zh) 一种煤矿井下辅助运输机器人车路协同定位系统及方法
CN114663852A (zh) 车道线图的构建方法、装置、电子设备及可读存储介质
CN115564865A (zh) 一种众包高精地图的构建方法、系统、电子设备及车辆
CN117576652A (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN113838129B (zh) 一种获得位姿信息的方法、装置以及系统
CN113029185A (zh) 众包式高精度地图更新中道路标线变化检测方法及系统
CN117333846A (zh) 恶劣天气下基于传感器融合和增量学习的检测方法及系统
CN112945233A (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
WO2021063756A1 (en) Improved trajectory estimation based on ground truth
CN113903011B (zh) 一种适用于室内停车场的语义地图构建及定位方法
CN115790568A (zh) 基于语义信息的地图生成方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant