CN110263607A - 一种用于无人驾驶的道路级全局环境地图生成方法 - Google Patents
一种用于无人驾驶的道路级全局环境地图生成方法 Download PDFInfo
- Publication number
- CN110263607A CN110263607A CN201811498011.1A CN201811498011A CN110263607A CN 110263607 A CN110263607 A CN 110263607A CN 201811498011 A CN201811498011 A CN 201811498011A CN 110263607 A CN110263607 A CN 110263607A
- Authority
- CN
- China
- Prior art keywords
- lane line
- pilotless automobile
- visual templates
- image
- lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种用于无人驾驶的道路级全局环境地图生成方法,获取无人驾驶汽车当前数据、计算无人驾驶汽车当前运动状态、提取图像特征矩阵、筛选相似视觉模板和添加新视觉模板、经验点匹配、车道线检测和车道线与全局经验地图融合等步骤最终生成无人驾驶的道路级全局环境地图,无人驾驶汽车利用车载传感器来感知车辆周围环境,并根据感知得到的道路、车辆位置和障碍物信息,来达到无人驾驶的目的,克服了传统的易受地形、天气状况以及精度欠精确的问题,本发明的一种用于无人驾驶的道路级全局环境地图生成方法,通过在车辆行驶过程中持续捕捉环境信息生成全局经验地图,再结合多车道线检测,得到准确度较高的道路级全局环境地图。
Description
技术领域
本发明涉及无人驾驶技术领域,特别涉及一种用于无人驾驶的道路级全局环 境地图生成方法。
背景技术
随着通信技术、机器智能技术、计算机网络技术以及地理信息系统技术等 技术的蓬勃发展,无人驾驶在军事、民用以及科学研究等诸多方面获得了广泛 的关注,无人驾驶集中实现了控制论、电子学及人工智能的等诸多领域的交叉 研究,具有非常广阔的运用前景。无人驾驶汽车是一种智能汽车,也可以称之 为轮式移动机器人,从上世纪70年代开始,美国、英国、德国等发达国家开始 进行无人驾驶汽车的研究,多年来,在可行性和实用化方面都取得了重大突破。
无人驾驶汽车目前大多是利用车载传感器来感知车辆周围环境,并根据感 知得到的道路、车辆位置和障碍物信息,来达到无人驾驶的目的,已有的无人 驾驶汽车道路环境感知系统采用的传感器有传感器、激光雷达、惯导以及GPS 等,但是普通GPS的精度有限,信号不稳定且易受遮挡,利用激光雷达等纯视 觉器件可有效识别出道路边界和障碍物,且这类器件虽然适用于大部分环境, 价格相对低廉,安装十分便捷,但是,要想实现无人驾驶汽车的精确安全行驶, 就必须要有非常丰富的道路信息提供给无人车作驾驶决策。假若能绘制一种精 度和准确度相当高的地图,用来指导无人驾驶汽车在变道、超车等过程中对路线进行精确判定,那么就能防止在此过程中造成交通事故。
因此,在汽车行驶的过程中,对无人驾驶汽车行驶车道进行检测,得到当 前行驶车道的车道信息是非常有必要的。不少传统的无人驾驶汽车,是利用GPS 进行地图绘制的,然而就像前面所说,这种现有的技术方案存在很大的问题和 缺点,那就是易受地形、天气状况以及精度欠精确的问题。而且制作成本还不 低,运用这种办法制作出来的地图对无人驾驶汽车进行推广,显然是很不利的。
发明内容
本发明的目的在于克服现有技术的不足,提供一种用于无人驾驶的道路级 全局环境地图生成方法,通过在车辆行驶过程中持续捕捉环境信息生成全局经 验地图,再结合多车道线检测,得到准确度高的道路级全局环境地图,为无人 驾驶提供更精确的驾驶决策。
本发明的目的是通过以下技术方案来实现的:
一种用于无人驾驶的道路级全局环境地图生成方法,包括以下步骤:
S1、获取无人驾驶汽车当前数据,在无人驾驶汽车运动过程中持续进行定 位和拍摄图像,根据每帧图像定位的坐标(xh,yh)绘制出无人驾驶汽车的运动轨 迹,得到全局经验地图;
S2、计算无人驾驶汽车当前运动状态,通过比较捕捉到的前后两张图片中 特定区域的扫描强度分布来获取所述无人驾驶汽车的速度和旋转角度信息,所 述位置坐标(xh,yh)和所述角度θh构成无人驾驶汽车当前的位姿Ph=(xh,yh,θh);
S3、提取图像特征矩阵,根据无人驾驶汽车行驶环境的特点选择颜色特征、 纹理特征、形状特征和空间关系特征中的一种或多种特征来构成图像特征矩阵;
S4、筛选相似视觉模板和添加新视觉模板,从图像特征矩阵中筛选出具有 环境代表性的图像特征矩阵作为视觉模板,每采集一帧图像后,判断当前帧的 图像特征矩阵Fh是否要作为新的视觉模板或为当前帧确定对应的视觉模板;
所述筛选相似视觉模板的分步骤如下:
S401、记视觉模板集合F={F1,F2,…},其中FK表示第K个视觉模板, k=1,2,…,K,K表示当前视觉模板集合中的模板数量;计算当前帧的图像特征 矩阵Fh与视觉模板集合F中各个视觉模板Fk的相似度,选择相似度最大的视觉 模板将其对应的图像序号记为R;
S402、判断匹配系数,分别计算出当前帧图像与第R帧图像之间的匹配系数 d,比较匹配系数d和预设阈值dmax;
如果d>dmax,将Fh作为第K+1个视觉模板添加到视觉模板集合,当前帧图 像的视觉模板Fh=Fh,否则,将视觉模板也就是与当前帧相似度最大的视觉 模板,作为当前帧图像对应的视觉模板
S5、经验点匹配,根据无人驾驶汽车当前对应的位姿Ph和视觉模板Fh与当 前已存在的每个经验点ei的位姿Pi与视觉模板Fi进行比较,求得匹配值Si,所述 ei={Pi,Fi,pi},i=1,2,L,Q,Q表示当前已有经验点数量,具体计算公式如下:
Si=μP|Pi-Ph|+μF|Fi-Fh|
其中,μP和μF分别是位姿信息和视觉特征的权值;
当Q个Si均大于预设阈值Smax时,根据当前无人驾驶汽车当前对应的位姿信 息Ph和视觉模板Fh生成新经验点;
当Q个Si均小于预设阈值Smax时,选择Si最小的经验点作为匹配经验点;
S6、车道线检测,拍摄每帧图像的同时,采用摄像头和激光雷达采集360 度视角范围内的车道信息,检测得到当前帧图像对应的所有车道线的特征点集;
S7、车道线与全局经验地图融合,融合车道线检测结果和生成的全局经验 地图,得到无人驾驶的道路级全局环境地图。
进一步地,所述的步骤S2中无人驾驶汽车当前的位姿Ph=(xh,yh,θh)计算 公式如下:
第h帧图像与第h-1帧图像在不同宽度s下的光照强度差值f(s,Ih,Ih-1)为:
其中,w是图片宽度,s是进行强度分布比较的宽度,和分 别表示图片中第ξ+max(s,0)像素列的强度值;
无人驾驶汽车当前的角度θh=θh-1+Δθh,旋转角度增量Δθh=σ·sm,σ为增 量参数,sm是强度分布比较的宽度即sm=argminf(s,Ih,Ih-1)。
进一步地,所述步骤S4中图像特征矩阵Fh和视觉模板Fk的相似度采用以下 方式计算:
计算当前帧图像与视觉模板Fk所对应图像之间的光照强度差值f(s,Ih,Ik) 中的最小值,作为相似度D(h,k),即D(h,k)=minf(s,Ih,Ih-1),D(h,k)越小,相 似度越大。
进一步地,所述的步骤S6中车道线检测,具体包括以下分步骤:
S601、基于图像的车道线特征点识别,根据摄像头拍摄到的360视角的路 面图像进行车道线识别,得到每根车道线的特征点集;
S602、坐标变换,根据各个特征点在路面图像中的坐标和激光雷达所获得 的该特征点的距离,将特征点变换到无人驾驶汽车的车辆坐标系下;
S603、判断最近车道线,在车辆坐标系下,计算每根车道线的特征点集的 所有的点到无人驾驶汽车坐标的平均距离,选择车辆左、右两侧平均距离最小 的车道线分别作为左侧最近车道线和右侧最近车道线,并根据特征点坐标判断 得到车辆左侧的车道线数量WL和右侧的车道线数量WR;
S604、最近车道线拟合,根据左侧最近车道线和右侧最近车道线的特征点 集,拟合得到左侧最近车道线和右侧最近车道线;
S605、获取车道线参数,搜索得到经过无人驾驶汽车从左侧最近车道线到 右侧最近车道线的最短线段,取其长度作为车道宽度ρ,ρ=ρL+ρR,ρL为无人 驾驶汽车距离左侧最近车道线的最短距离,ρR为无人驾驶汽车距离右侧最近车 道线的最短距离。
本发明的有益效果是:
1)本发明能够完成智能车实时建图和精确定位,相较于传统的基于深度学 习的语义SLAM系统有更好的定位精度。
2)本发明的车道检测,使用360度的视角,将所有车道全部覆盖,这样即 使在某一方向受到遮挡,仍有其他视角的信息作为补充,特别适用于多车道检 测的建图,360度的图像视野虽然有了很大的扩展,但是仍然控制在有限范围内, 而不像前视图那样扩展到无穷远,因此在针对结构化道路的情况下,大部分的 曲率变化都很小。
3)在本发明中,利用车道线检测结果与生成的全局经验地图进行融合,从 而得到一种准确度和精度都非常高的用于无人驾驶的道路级全局环境地图。
附图说明
图1为本发明方法的流程图;
图2为基于深度学习的语义SLAM系统框图。
具体实施方式
下面将结合实施例,对本发明的技术方案进行清楚、完整地描述,显然, 所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发 明中的实施例,本领域技术人员在没有付出创造性劳动的前提下所获得的所有 其他实施例,都属于本发明保护的范围。
参阅图1-2,本发明提供一种技术方案:
一种用于无人驾驶的道路级全局环境地图生成方法,如图1-2所示,包括以 下步骤:
S1、获取无人驾驶汽车当前数据,在无人驾驶汽车运动过程中持续进行定 位和拍摄图像,记当前帧图像序号为h,根据每帧图像定位的坐标(xh,yh)绘制出 无人驾驶汽车的运动轨迹,得到全局经验地图;
S2、计算无人驾驶汽车当前运动状态,通过比较捕捉到的前后两张图片中 特定区域的扫描强度分布来获取所述无人驾驶汽车的速度和旋转角度信息,所 述位置坐标(xh,yh)和所述角度θh构成无人驾驶汽车当前的位姿Ph=(xh,yh,θh); 所述的步骤S2中无人驾驶汽车当前的位姿Ph=(xh,yh,θh)计算公式如下:
第h帧图像与第h-1帧图像在不同宽度s下的光照强度差值f(s,Ih,Ih-1)为:
其中,w是图片宽度,s是进行强度分布比较的宽度,和分 别表示图片中第ξ+max(s,0)像素列的强度值;
无人驾驶汽车当前的角度θh=θh-1+Δθh,旋转角度增量Δθh=σ·sm,σ为增 量参数,sm是强度分布比较的宽度即sm=argminf(s,Ih,Ih-1),根据宽度sm可计算 得到无人驾驶汽车当前位置的旋转角度增量Δθh=σ·sm,其中σ为增量参数,可 得无人驾驶汽车当前的角度θh=θh-1+Δθh,θh-1表示前一帧图像拍摄时无人驾驶 汽车对应的角度,θ0是无人驾驶汽车启动时相对于地图的旋转角度,可以在无 人驾驶汽车启动时测量得到。由位置坐标(xh,yh)和角度θh即可构成无人驾驶汽 车当前的位姿Ph=(xh,yh,θh)。
根据宽度sm对应的光照强度差值f(sm,Ih,Ih-1)可计算得到无人驾驶汽车当 前的移动速度v=min[vcalf(sm,Ih,Ih-1),vmax],其中vcal为经验常数,vmax表示速度上限 阈值。
S3、提取图像特征矩阵,根据无人驾驶汽车行驶环境的特点选择颜色特征、 纹理特征、形状特征和空间关系特征中的一种或多种特征来构成图像特征矩阵;
对当前第h帧图像进行图像特征提取得到当前帧的图像特征矩阵为Fh。常用 的图像特征有颜色特征、纹理特征、形状特征、空间关系特征等,可以根据无 人驾驶汽车行驶环境的特点选择其中一种或多种图像特征来构成图像特征矩 阵。
S4、筛选相似视觉模板和添加新视觉模板,从图像特征矩阵中筛选出具有 环境代表性的图像特征矩阵作为视觉模板,每采集一帧图像后,判断当前帧的 图像特征矩阵Fh是否要作为新的视觉模板或为当前帧确定对应的视觉模板;
所述筛选相似视觉模板的分步骤如下:
S401、记视觉模板集合F={F1,F2,…},其中FK表示第K个视觉模板, k=1,2,…,K,K表示当前视觉模板集合中的模板数量;视觉模板是从历史的图 像特征矩阵中筛选出来的具有环境代表性的图像特征矩阵。因此,每采集一帧 图像后,需要判断当前帧的图像特征矩阵Fh是否要作为新的视觉模板或为当前 帧确定对应的视觉模板。
计算当前帧的图像特征矩阵Fh与视觉模板集合F中各个视觉模板Fk的相似 度,选择相似度最大的视觉模板将其对应的图像序号记为R;
所述图像特征矩阵Fh和视觉模板Fk的相似度采用以下方式计算:
计算当前帧图像与视觉模板Fk所对应图像之间的光照强度差值f(s,Ih,Ik)中 的最小值,作为相似度D(h,k),即D(h,k)=minf(s,Ih,Ih-1),D(h,k)越小,相似 度越大。
S402、判断匹配系数,分别计算出当前帧图像与第R帧图像之间的匹配系数
d,d=minf(s,Ih,IR)
比较匹配系数d和预设阈值dmax,如果d>dmax,则认为当前帧的图像特征矩 阵Fh所包含的环境信息与之前视觉模板均不同,将Fh作为第K+1个视觉模板添 加到视觉模板集合,当前帧图像的视觉模板Fh=Fh,否则,将视觉模板也就 是与当前帧相似度最大的视觉模板,作为当前帧图像对应的视觉模板
S5、经验点匹配,在全局经验地图中,在无人驾驶汽车运动轨迹上存在一 种特殊的点,称之为经验点,该经验点是具有代表性的点。在当前的全局经验 地图中,每个经验点ei是由该经验点所对应的无人驾驶汽车的位姿Pi、视觉模板 Fi和经验点的地图坐标pi来表示的:ei={Pi,Fi,pi},i=1,2,L,Q,Q表示当前已 有经验点数量。pi可以直接从位姿Pi中得到,即为位姿Pi中包含的坐标信息。
根据无人驾驶汽车当前对应的位姿Ph和视觉模板Fh与当前已存在的每个经 验点ei的位姿Pi与视觉模板Fi进行比较,求得匹配值Si,所述ei={Pi,Fi,pi}, i=1,2,L,Q,Q表示当前已有经验点数量,具体计算公式如下:
Si=μP|Pi-Ph|+μF|Fi-Fh|
其中,μP和μF分别是位姿信息和视觉特征的权值;
当Q个Si均大于预设阈值Smax时,根据当前无人驾驶汽车当前对应的位姿信 息Ph和视觉模板Fh生成新经验点;
当Q个Si均小于预设阈值Smax时,选择Si最小的经验点作为匹配经验点;
添加新经验点:根据当前无人驾驶汽车当前对应的位姿信息Ph和视觉模板 Fh生成第Q+1个经验点eQ+1={PQ+1,FQ+1,pQ+1},其中PQ+1=Ph,VQ+1=Fh,pQ+1即 为位姿信息Ph中的坐标(xh,yh),然后计算得到经验点eQ+1地图坐标pQ+1与之前Q 个经验点ei的地图坐标pi之间的距离Δpi,Q+1。可见,在添加每个经验点时,均会 计算新经验点与已有经验点之间的地图坐标距离,那么显然存在一个关联矩阵 T,其中每个元素tij就表示经验点ei和经验点ej之间的地图坐标距离,ej可以表 示为:ej={Pj,Vj,pi+Δpij}。
全局经验地图修正:
当存在Si小于预设阈值Smax时,则认为当前位姿信息与视觉模板与之前的经 验点能够匹配,选择Si最小的经验点作为匹配经验点,然后判断是否有超过预 设帧数的图像的位姿信息与视觉模板与之前的连续若干个经验点匹配,如果不 是,则不作任何操作,如果是,则认为回到了之前经历过的地方,并完成了一 次闭环检测,那么需要对全局经验地图中以上匹配的经验点的坐标进行修正, 经验点ei的坐标修正值Δpi为:
其中α是修正常数,N⊥表示全局经验地图中经验点ei到其他经验点的连接 数,Nη表示全局经验地图中其他经验点到经验点ei的连接数。即用全局经验地 图中其他与经验点ei存在直接连接关系的经验点来对经验点ei进行修正,那么修 正后的经验点ei={Pi,Fi,pi+Δpi}。
S6、车道线检测,拍摄每帧图像的同时,采用摄像头和激光雷达采集360 度视角范围内的车道信息,检测得到当前帧图像对应的所有车道线的特征点集;
传统相机的多车道检测由于视野有限,无法保证检测到路面所有车道,故 在本发明中使用360度的视角,将所有车道全部覆盖,采用360度视角,这样 即使在某一方向受到遮挡,仍有其他视角的信息作为补充,如此就特别适用于 多车道检测的建图。360度的图像视野虽然有了很大的扩展,但是仍然控制在有 限范围内,而不像前视图那样扩展到无穷远。因此在针对结构化道路的情况下, 大部分的曲率变化都很小,因此本实施例中选用二次拟合算法得到二次曲线模 型来实现车道线检测。
如图2所示,车道线检测的流程图,所述的步骤S6中车道线检测,具体包 括以下分步骤:
S601、基于图像的车道线特征点识别,根据摄像头拍摄到的360视角的路 面图像进行车道线识别,得到每根车道线的特征点集,。目前业内已经具有多种 车道线识别算法,根据实际需要选择即可。
S602、坐标变换,根据各个特征点在路面图像中的坐标和激光雷达所获得 的该特征点的距离,将特征点变换到无人驾驶汽车的车辆坐标系下。
S603、判断最近车道线,在车辆坐标系下,计算每根车道线的特征点集的 所有的点到无人驾驶汽车坐标的平均距离,选择车辆左、右两侧平均距离最小 的车道线分别作为左侧最近车道线和右侧最近车道线,并根据特征点坐标判断 得到车辆左侧的车道线数量WL和右侧的车道线数量WR。
S604、最近车道线拟合,根据左侧最近车道线和右侧最近车道线的特征点 集,拟合得到左侧最近车道线和右侧最近车道线,采用二次拟合算法拟合得到 车道线,其具体方法为:记车道线的特征点集DOTS={(xμ,yμ)|μ=1,2,3,...,M},M 表示特征点数量,(xμ,yμ)表示第μ个特征点在车辆坐标系下x、y轴的二维坐标。 由于本实施例中采用二次拟合算法,记车道线的y=cx2+bx+a,a、b、c为 车道线方程系数,设U(a,b,c)是根据该道路模型给出的拟合函数,令:
由多元函数极值原理,计算上式偏微分,分别令3个方程为0时得到方程 组:
解此方程组,求得二次曲线的系数a、b、c。
定义一个判别函数DYM=max{|f(xμ)-yμ|,(xμ,yμ)∈DOTS}表示利用以上拟合 函数后与实际数据的接近程度,其中f(xμ)为点集DOTS进行上面所述二次拟合 后得到的拟合函数。要想检测出车道线,就是要找到一个点序列使得DYM<DTH, 其中DTH为进行该拟合所要求的精度。这个由点序列所构成的点集,直观上看就 是线条,这个经过拟合得到的线就是所要得到的车道线。
S605、获取车道线参数,搜索得到经过无人驾驶汽车从左侧最近车道线到 右侧最近车道线的最短线段,取其长度作为车道宽度ρ,ρ=ρL+ρR,ρL为无人 驾驶汽车距离左侧最近车道线的最短距离,ρR为无人驾驶汽车距离右侧最近车 道线的最短距离。
具体做法如下,搜索得到经过无人驾驶汽车从左侧最近车道线到右侧最近 车道线的最短线段其中L表示该线段在左侧最近车道线上的端点,R表示 该线段在右侧最近车道线上的端点,其长度作为车道宽度ρ,其方向作为车 道基准方向,将的长度作为无人驾驶汽车距离左侧最近车道线的最短距离 ρL,的长度作为无人驾驶汽车距离右侧最近车道线的最短距离ρR,其中O表 示车辆坐标系中无人驾驶汽车的坐标,即原点坐标,显然ρ=ρL+ρR。
S7、车道线与全局经验地图融合,融合车道线检测结果和生成的全局经验 地图,得到无人驾驶的道路级全局环境地图。
全局经验地图实际上就是无人驾驶汽车在不断向前运动过程中的行车线轨 迹,在本发明中,利用车道线检测结果与生成的全局经验地图进行融合,从而 得到一种准确度和精度都非常高的用于无人驾驶的道路级全局环境地图。其融 合方法为:记全局经验地图的缩放比例为1:γ,其中γ表示缩放倍数,显然当把 车道线映射到全局经验地图中时,每条车道的宽度为ρ/γ。在无人驾驶汽车运动 过程中,根据每帧图像定位的坐标(xh,yh)绘制出无人驾驶汽车的运动轨迹。然 后在无人驾驶汽车的车辆坐标系中,沿车道基准方向方向,得到与原点坐 标距离为ρL/γ的左侧最近车道线点,然后得到与原点坐标距离为 [(τ-1)ρ+ρL]/γ的其余WL-1个左侧车道线点,τ=2,3,L,WL;沿车道基准方向方向,得到与原点坐标距离为ρR/γ的右侧最近车道线点,然后得到与原点坐标 距离为[(τ′-1)ρ+ρR]/γ的其余WR-1个右侧车道线点,τ′=2,3,L,WR。由图2可 知,由于无人驾驶汽车存在旋转增量,车辆坐标系与地图的坐标系之间可能存 在一个旋转角度,而且在车辆坐标系中无人驾驶汽车是原点,而在地图中每次 获取图像时的无人驾驶汽车位置坐标均不相同,因此需要进行坐标转换才能实 现车道线和全局经验地图的准确融合。因此最后还需要根据无人驾驶汽车的位 姿Ph=(xh,yh,θh)将车道线点转换到地图坐标系中,从而同步绘制出无人驾驶汽 车所在道路的车道线,得到道路级全局环境地图。
以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所 披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改 和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知 识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围, 则都应在本发明所附权利要求的保护范围内。
Claims (4)
1.一种用于无人驾驶的道路级全局环境地图生成方法,其特征在于,包括以下步骤:
S1、获取无人驾驶汽车当前数据,在无人驾驶汽车运动过程中持续进行定位和拍摄图像,根据每帧图像定位的坐标(xh,yh)绘制出无人驾驶汽车的运动轨迹,得到全局经验地图;
S2、计算无人驾驶汽车当前运动状态,通过比较捕捉到的前后两张图片中特定区域的扫描强度分布来获取所述无人驾驶汽车的速度和旋转角度信息,所述位置坐标(xh,yh)和所述角度θh构成无人驾驶汽车当前的位姿Ph=(xh,yh,θh);
S3、提取图像特征矩阵,根据无人驾驶汽车行驶环境的特点选择颜色特征、纹理特征、形状特征和空间关系特征中的一种或多种特征来构成图像特征矩阵;
S4、筛选相似视觉模板和添加新视觉模板,从图像特征矩阵中筛选出具有环境代表性的图像特征矩阵作为视觉模板,每采集一帧图像后,判断当前帧的图像特征矩阵Fh是否要作为新的视觉模板或为当前帧确定对应的视觉模板;
所述筛选相似视觉模板的分步骤如下:
S401、记视觉模板集合F={F1,F2,…},其中FK表示第K个视觉模板,k=1,2,…,K,K表示当前视觉模板集合中的模板数量;计算当前帧的图像特征矩阵Fh与视觉模板集合F中各个视觉模板Fk的相似度,选择相似度最大的视觉模板将其对应的图像序号记为R;
S402、判断匹配系数,分别计算出当前帧图像与第R帧图像之间的匹配系d,d=min f(s,Ih,IR)
比较匹配系数d和预设阈值dmax,如果d>dmax,将Fh作为第K+1个视觉模板添加到视觉模板集合,当前帧图像的视觉模板Fh=Fh,否则,将视觉模板也就是与当前帧相似度最大的视觉模板,作为当前帧图像对应的视觉模板
S5、经验点匹配,根据无人驾驶汽车当前对应的位姿Ph和视觉模板Fh与当前已存在的每个经验点ei的位姿Pi与视觉模板Fi进行比较,求得匹配值Si,所述ei={Pi,Fi,pi},i=1,2,L,Q,Q表示当前已有经验点数量,具体计算公式如下:
Si=μP|Pi-Ph|+μF|Fi-Fh|
其中,μP和μF分别是位姿信息和视觉特征的权值;
当Q个Si均大于预设阈值Smax时,根据当前无人驾驶汽车当前对应的位姿信息Ph和视觉模板Fh生成新经验点;
当Q个Si均小于预设阈值Smax时,选择Si最小的经验点作为匹配经验点;
S6、车道线检测,拍摄每帧图像的同时,采用摄像头和激光雷达采集360度视角范围内的车道信息,检测得到当前帧图像对应的所有车道线的特征点集;
S7、车道线与全局经验地图融合,融合车道线检测结果和生成的全局经验地图,得到无人驾驶的道路级全局环境地图。
2.根据权利要求1所述的一种用于无人驾驶的道路级全局环境地图生成方法,其特征在于:所述的步骤S2中无人驾驶汽车当前的位姿Ph=(xh,yh,θh)计算公式如下:
第h帧图像与第h-1帧图像在不同宽度s下的光照强度差值f(s,Ih,Ih-1)为:
其中,w是图片宽度,s是进行强度分布比较的宽度,和分别表示图片中第ξ+max(s,0)像素列的强度值;
无人驾驶汽车当前的角度θh=θh-1+Δθh,旋转角度增量Δθh=σ·sm,σ为增量参数,sm是强度分布比较的宽度即sm=arg min f(s,Ih,Ih-1)。
3.根据权利要求1所述的一种用于无人驾驶的道路级全局环境地图生成方法,其特征在于:所述步骤S4中图像特征矩阵Fh和视觉模板Fk的相似度采用以下方式计算:
计算当前帧图像与视觉模板Fk所对应图像之间的光照强度差值f(s,Ih,Ik)中的最小值,作为相似度D(h,k),即D(h,k)=min f(s,Ih,Ih-1),D(h,k)越小,相似度越大。
4.根据权利要求1所述的一种用于无人驾驶的道路级全局环境地图生成方法,其特征在于:所述的步骤S6中车道线检测,具体包括以下分步骤:
S601、基于图像的车道线特征点识别,根据摄像头拍摄到的360视角的路面图像进行车道线识别,得到每根车道线的特征点集;
S602、坐标变换,根据各个特征点在路面图像中的坐标和激光雷达所获得的该特征点的距离,将特征点变换到无人驾驶汽车的车辆坐标系下;
S603、判断最近车道线,在车辆坐标系下,计算每根车道线的特征点集的所有的点到无人驾驶汽车坐标的平均距离,选择车辆左、右两侧平均距离最小的车道线分别作为左侧最近车道线和右侧最近车道线,并根据特征点坐标判断得到车辆左侧的车道线数量WL和右侧的车道线数量WR;
S604、最近车道线拟合,根据左侧最近车道线和右侧最近车道线的特征点集,拟合得到左侧最近车道线和右侧最近车道线;
S605、获取车道线参数,搜索得到经过无人驾驶汽车从左侧最近车道线到右侧最近车道线的最短线段,取其长度作为车道宽度ρ,ρ=ρL+ρR,ρL为无人驾驶汽车距离左侧最近车道线的最短距离,ρR为无人驾驶汽车距离右侧最近车道线的最短距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811498011.1A CN110263607B (zh) | 2018-12-07 | 2018-12-07 | 一种用于无人驾驶的道路级全局环境地图生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811498011.1A CN110263607B (zh) | 2018-12-07 | 2018-12-07 | 一种用于无人驾驶的道路级全局环境地图生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110263607A true CN110263607A (zh) | 2019-09-20 |
CN110263607B CN110263607B (zh) | 2022-05-20 |
Family
ID=67911817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811498011.1A Active CN110263607B (zh) | 2018-12-07 | 2018-12-07 | 一种用于无人驾驶的道路级全局环境地图生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110263607B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111046981A (zh) * | 2020-03-17 | 2020-04-21 | 北京三快在线科技有限公司 | 一种无人车控制模型的训练方法及装置 |
CN111998860A (zh) * | 2020-08-21 | 2020-11-27 | 北京百度网讯科技有限公司 | 自动驾驶定位数据校验方法、装置、电子设备及存储介质 |
CN112053592A (zh) * | 2020-04-28 | 2020-12-08 | 上海波若智能科技有限公司 | 路网动态数据采集方法及路网动态数据采集系统 |
CN112269384A (zh) * | 2020-10-23 | 2021-01-26 | 电子科技大学 | 一种结合障碍物行为意图的车辆动态轨迹规划方法 |
CN112329567A (zh) * | 2020-10-27 | 2021-02-05 | 武汉光庭信息技术股份有限公司 | 自动驾驶场景中目标检测的方法及系统、服务器及介质 |
CN112634282A (zh) * | 2020-12-18 | 2021-04-09 | 北京百度网讯科技有限公司 | 图像处理方法、装置以及电子设备 |
CN112926548A (zh) * | 2021-04-14 | 2021-06-08 | 北京车和家信息技术有限公司 | 一种车道线检测方法、装置、电子设备及存储介质 |
WO2023179032A1 (zh) * | 2022-03-24 | 2023-09-28 | 商汤集团有限公司 | 图像处理方法及装置、电子设备、存储介质、计算机程序、计算机程序产品 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103954275A (zh) * | 2014-04-01 | 2014-07-30 | 西安交通大学 | 基于车道线检测和gis地图信息开发的视觉导航方法 |
CN106441319A (zh) * | 2016-09-23 | 2017-02-22 | 中国科学院合肥物质科学研究院 | 一种无人驾驶车辆车道级导航地图的生成系统及方法 |
CN106527427A (zh) * | 2016-10-19 | 2017-03-22 | 东风汽车公司 | 基于高速公路的自动驾驶感知系统 |
CN106802954A (zh) * | 2017-01-18 | 2017-06-06 | 中国科学院合肥物质科学研究院 | 无人车语义地图模型构建方法及其在无人车上的应用方法 |
CN106969779A (zh) * | 2017-03-17 | 2017-07-21 | 重庆邮电大学 | 基于dsrc的智能车辆地图融合系统及方法 |
US20180051998A1 (en) * | 2016-05-06 | 2018-02-22 | Ford Global Technologies, Llc | Route Generation Using Road Lane Line Quality |
CN108594812A (zh) * | 2018-04-16 | 2018-09-28 | 电子科技大学 | 一种结构化道路的智能车辆平滑轨迹规划方法 |
-
2018
- 2018-12-07 CN CN201811498011.1A patent/CN110263607B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103954275A (zh) * | 2014-04-01 | 2014-07-30 | 西安交通大学 | 基于车道线检测和gis地图信息开发的视觉导航方法 |
US20180051998A1 (en) * | 2016-05-06 | 2018-02-22 | Ford Global Technologies, Llc | Route Generation Using Road Lane Line Quality |
CN106441319A (zh) * | 2016-09-23 | 2017-02-22 | 中国科学院合肥物质科学研究院 | 一种无人驾驶车辆车道级导航地图的生成系统及方法 |
CN106527427A (zh) * | 2016-10-19 | 2017-03-22 | 东风汽车公司 | 基于高速公路的自动驾驶感知系统 |
CN106802954A (zh) * | 2017-01-18 | 2017-06-06 | 中国科学院合肥物质科学研究院 | 无人车语义地图模型构建方法及其在无人车上的应用方法 |
CN106969779A (zh) * | 2017-03-17 | 2017-07-21 | 重庆邮电大学 | 基于dsrc的智能车辆地图融合系统及方法 |
CN108594812A (zh) * | 2018-04-16 | 2018-09-28 | 电子科技大学 | 一种结构化道路的智能车辆平滑轨迹规划方法 |
Non-Patent Citations (4)
Title |
---|
CHUNZHAO GUO: "A Low-Cost Solution for Automatic Lane-Level Map Generation Using Conventional In-Car Sensors", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 * |
俞毓锋等: "基于道路结构特征的智能车单目视觉定位", 《自动化学报》 * |
冯来春: "基于引导域的参数化RRT无人驾驶车辆运动规划算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 * |
邓桂林: "智能车认知地图的创建及其应用", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111046981A (zh) * | 2020-03-17 | 2020-04-21 | 北京三快在线科技有限公司 | 一种无人车控制模型的训练方法及装置 |
CN112053592A (zh) * | 2020-04-28 | 2020-12-08 | 上海波若智能科技有限公司 | 路网动态数据采集方法及路网动态数据采集系统 |
CN111998860A (zh) * | 2020-08-21 | 2020-11-27 | 北京百度网讯科技有限公司 | 自动驾驶定位数据校验方法、装置、电子设备及存储介质 |
CN111998860B (zh) * | 2020-08-21 | 2023-02-17 | 阿波罗智能技术(北京)有限公司 | 自动驾驶定位数据校验方法、装置、电子设备及存储介质 |
CN112269384A (zh) * | 2020-10-23 | 2021-01-26 | 电子科技大学 | 一种结合障碍物行为意图的车辆动态轨迹规划方法 |
CN112329567A (zh) * | 2020-10-27 | 2021-02-05 | 武汉光庭信息技术股份有限公司 | 自动驾驶场景中目标检测的方法及系统、服务器及介质 |
CN112634282A (zh) * | 2020-12-18 | 2021-04-09 | 北京百度网讯科技有限公司 | 图像处理方法、装置以及电子设备 |
CN112634282B (zh) * | 2020-12-18 | 2024-02-13 | 北京百度网讯科技有限公司 | 图像处理方法、装置以及电子设备 |
CN112926548A (zh) * | 2021-04-14 | 2021-06-08 | 北京车和家信息技术有限公司 | 一种车道线检测方法、装置、电子设备及存储介质 |
WO2023179032A1 (zh) * | 2022-03-24 | 2023-09-28 | 商汤集团有限公司 | 图像处理方法及装置、电子设备、存储介质、计算机程序、计算机程序产品 |
Also Published As
Publication number | Publication date |
---|---|
CN110263607B (zh) | 2022-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110263607A (zh) | 一种用于无人驾驶的道路级全局环境地图生成方法 | |
JP7125214B2 (ja) | プログラムおよびコンピューティングデバイス | |
CN107235044B (zh) | 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法 | |
CN104700414B (zh) | 一种基于车载双目相机的前方道路行人快速测距方法 | |
CN105260699B (zh) | 一种车道线数据的处理方法及装置 | |
Li et al. | Springrobot: A prototype autonomous vehicle and its algorithms for lane detection | |
CN102682292B (zh) | 基于单目视觉的道路边缘检测及粗定位方法 | |
CN103411609B (zh) | 一种基于在线构图的飞行器返航路线规划方法 | |
JP4746137B2 (ja) | カメラからのカメラ画像に基づいて位置を判定する装置、方法およびコンピュータ・プログラム | |
CN110285793A (zh) | 一种基于双目立体视觉系统的车辆智能测轨迹方法 | |
CN100494900C (zh) | 适用于自主移动车辆的环境感知的单目视觉导航方法 | |
CN110246159A (zh) | 基于视觉和雷达信息融合的3d目标运动分析方法 | |
CN108444390A (zh) | 一种无人驾驶汽车障碍物识别方法及装置 | |
US20230038786A1 (en) | Deep Structured Scene Flow for Autonomous Devices | |
CN109099901A (zh) | 基于多源数据融合的全自动压路机定位方法 | |
CN109583409A (zh) | 一种面向认知地图的智能车定位方法及系统 | |
CN106256606A (zh) | 一种基于车载双目相机的车道偏离预警方法 | |
CN111443704B (zh) | 用于自动驾驶系统的障碍物定位方法及装置 | |
CN105957342A (zh) | 基于众包时空大数据的车道级道路测图方法及系统 | |
EP3594902A1 (en) | Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle | |
CN106446785A (zh) | 基于双目视觉的可行道路检测方法 | |
Nie et al. | Camera and lidar fusion for road intersection detection | |
CN115564865A (zh) | 一种众包高精地图的构建方法、系统、电子设备及车辆 | |
Chiu et al. | Augmented reality driving using semantic geo-registration | |
CN109241855A (zh) | 基于立体视觉的智能车辆可行驶区域探测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |