CN114719873B - 一种低成本精细地图自动生成方法、装置及可读介质 - Google Patents

一种低成本精细地图自动生成方法、装置及可读介质 Download PDF

Info

Publication number
CN114719873B
CN114719873B CN202210618021.4A CN202210618021A CN114719873B CN 114719873 B CN114719873 B CN 114719873B CN 202210618021 A CN202210618021 A CN 202210618021A CN 114719873 B CN114719873 B CN 114719873B
Authority
CN
China
Prior art keywords
image
lane marking
camera
lane
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210618021.4A
Other languages
English (en)
Other versions
CN114719873A (zh
Inventor
李升甫
贾洋
周剑
郭圆
周栓科
杨天宇
达乾龙
南轲
许濒支
孙晓鹏
徐选清
易守东
叶朋飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Highway Planning Survey and Design Institute Ltd
Original Assignee
Sichuan Highway Planning Survey and Design Institute Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Highway Planning Survey and Design Institute Ltd filed Critical Sichuan Highway Planning Survey and Design Institute Ltd
Priority to CN202210618021.4A priority Critical patent/CN114719873B/zh
Publication of CN114719873A publication Critical patent/CN114719873A/zh
Application granted granted Critical
Publication of CN114719873B publication Critical patent/CN114719873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3859—Differential updating map data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明涉及数字道路地图生成技术领域，特别是涉及一种低成本精细地图自动生成方法、装置及可读介质。方法包括以下步骤：S1，通过三维标定场，对相机内参进行标定；S2，将标定好的相机安装于车辆上，并且在车辆行进过程中拍摄图像，获取待处理图像；S3，从所述待处理图像中提取出车道标线，得到车道标线图；S4，根据所述相机内部参数和畸变系数对车道标线图进行畸变校正和灰度处理，得到校正图像；S5，对所述校正图像中的车道标线进行亚像素角点检测，得到车道标线的角点坐标；S6，将车道标线的角点坐标添加到导航地图中，生成精细化地图。该方法可以使用低成本的数码相机与GNSS采集道路标线信息生成精细化地图。

Description

一种低成本精细地图自动生成方法、装置及可读介质
技术领域
本发明涉及数字道路地图生成技术领域，特别是涉及一种低成本精细地图自动生成方法、装置及可读介质。
背景技术
随着智能驾驶技术的发展，精细地图作为其重要的“传感器”之一，也随之进入公众视野，成为各大互联网公司竞争的关键技术之一。与传统的导航地图相比，精细地图能够为智能驾驶汽车提供丰富精细的车道级道路信息，不仅能辅助智能汽车进行路径规划、碰撞预警，还能提高智能车其他传感器对于环境感知的准确性与稳定性。
目前已有的精细地图生成技术主要包括两种，一种是通过探测车辆采集道路轨迹信息，如专利《数字道路地图的生成方法和地图生成系统》（公开号CN101290725A），这类方法优势主要在于采集成本较低，但是采集过程效率较低，需每条车道行驶一遍采集轨迹信息，且其精度容易受到建筑物遮挡等因素的影响。另一种是通过感知传感器获取道路几何信息，如专利《高精细地图数据结构、采集和处理系统及方法》（公开号CN104535070B），该发明提供了一种高精细地图数据结构、采集和处理系统与方法，其步骤如图1所示。首先通过全景相机拍摄道路全景图像，并采集GNSS、惯性导航转置数据与编码器数据。在上述数据中提取出道路网络、车道网络、车道线信息与特殊信息数据，并进行分层。最后按定义的数据结构对这些信息进行标注，得到高精度地图。该方法优势在于地图采集过程的高效性，每条道路只需行驶一遍便能采集每个车道的几何信息，此外，该方法能采集道路的其他附属信息，如红绿灯和交通标志牌等。但是该方法采集成本较高，后期道路信息提取的人工成本也较高。
发明内容
本发明的目的在于，采用“通过感知传感器获取道路几何信息”的方式绘制精细地图，针对目前存在的精细地图采集成本较高的问题，采用成本较低的数码相机采集图像，生成精细地图，提出了一种低成本精细地图自动生成方法、装置及可读介质。
一种低成本精细地图自动生成方法，包括以下步骤：
S1，通过三维标定场，对相机内参进行标定，计算相机内部参数；
S2，将标定好的相机安装于车辆上，调整相机俯仰角使其垂直视场底部与车辆前引擎盖边沿相切，并且在车辆行进过程中拍摄图像，获取待处理图像；
S3，从所述待处理图像中提取出车道标线，得到车道标线图；
S4，根据所述相机内部参数和畸变系数对车道标线图进行畸变校正和灰度处理，得到校正图像；
S5，对所述校正图像中的车道标线进行亚像素角点检测，得到车道标线的角点坐标；
S6，将车道标线的角点坐标添加到导航地图中，生成精细化地图。
作为本发明的优选方案，步骤S2中，所述待处理图像是在车辆行进过程中拍摄图像，每隔N帧取一帧图像得到的，N的计算方法为：
Figure 103970DEST_PATH_IMAGE001
其中，
Figure 224373DEST_PATH_IMAGE002
其中，D为车道线长度，h为相机安装高度，b为基线长度，z的取值范围为
Figure 332006DEST_PATH_IMAGE003
，
Figure 540264DEST_PATH_IMAGE004
为相机垂直视场角，fps为帧率，v为GNSS速度。
作为本发明的优选方案，步骤S3具体包括以下步骤：
S31，图像预处理；
S32，采用融合算法进行车道线背景分割；
S33：车道标线检测及车道标线图的生成。
作为本发明的优选方案，步骤S33中车道标线检测包括S331直线段检测；S332消失点检测；S333车道线检测；
步骤S333中，在得到消失点后，对采用直线段检测得到的直线进行再次筛选；以消失点坐标为圆心，以 8个像素为半径画圆，直线与圆心相交认为与车道线平行；不相交则认为不与车道线平行，得到车道线图。
作为本发明的优选方案，步骤S333中还包括将车道线中，斜率大于最大斜度阈值或小于最小斜度阈值的直线进行删除。
作为本发明的优选方案，步骤S4具体包括以下步骤：
S41，获取畸变图像与校正图像坐标的映射关系；
S42，基于所述映射关系，对畸变图像进行校正；
所述畸变图像与校正图像坐标的映射关系用公式表示为：
Figure 682533DEST_PATH_IMAGE005
其中，用
Figure 973837DEST_PATH_IMAGE006
和
Figure 53919DEST_PATH_IMAGE007
分别表示畸变半径和最佳半径，
Figure 315136DEST_PATH_IMAGE008
表示径向畸变系数，n表示待校正目标的编号。
作为本发明的优选方案，步骤S6具体包括以下步骤：
步骤1 按照GNSS的定位误差建立GNSS点的缓冲区，计算GNSS点可能匹配的路段，建立路段集合
Figure 797064DEST_PATH_IMAGE009
；
步骤2 根据导航地图已有的几何信息、拓扑信息、转向限制信息，剔除路段集合
Figure 118324DEST_PATH_IMAGE009
中的错误路段，建立可行驶路段集合
Figure 216862DEST_PATH_IMAGE010
；
步骤3 计算
Figure 16190DEST_PATH_IMAGE010
中各条可能的路段与现有GNSS轨迹的曲线相似度，选取最相似的路段作为匹配的行驶路径；
步骤4 根据匹配的行驶路径的绝对坐标值，将各车道标线的局部坐标系统转换至世界坐标系，并将车道标线信息添加至导航地图中。
基于相同的构思，还提出了一种低成本精细地图自动生成装置，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的一种低成本精细地图自动生成方法。
基于相同的构思，还提出了一种计算机可读介质，其上存储有可由处理器执行的指令，所述指令在被处理器执行时，使得处理器执行如上述任一项所述的一种低成本精细地图自动生成方法。
与现有技术相比，本发明的有益效果：
针对目前精细地图采集成本高的现状，本专利提出了一种针对高速路段的精细地图自动生成方法，该方法可以使用低成本的数码相机与GNSS采集道路标线信息，并提取出道路标线的绝对坐标，将其与导航地图结合，可以极大提高现有导航地图的精细度，为自动驾驶系统和辅助驾驶系统提供更可靠的道路信息。
附图说明
图1为背景技术中高精细地图数据结构、采集和处理系统及方法的流程图；
图2为本发明实施例1中一种低成本精细地图自动生成方法的流程图；
图3为本发明实施例1中车道标线直线段检测的示意图；
图4为本发明实施例1中畸变校正效果图；
图5为本发明实施例1中精细地图生成的示意图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
一种低成本精细地图自动生成方法的流程图如图2所示，主要包括以下步骤：
S1，通过三维标定场，对相机内参进行标定，计算相机内部参数；
S2，将标定好的相机安装于车辆上，调整相机俯仰角使其垂直视场底部与车辆前引擎盖边沿相切，并且在车辆行进过程中拍摄图像，获取待处理图像；
S3，从所述待处理图像中提取出车道标线，得到车道标线图；
S4，根据所述相机内部参数和畸变系数对车道标线图进行畸变校正和灰度处理，得到校正图像；
S5，对所述校正图像中的车道标线进行亚像素角点检测，得到车道标线的角点坐标；
S6，将车道标线的角点坐标添加到导航地图中，生成精细化地图。精细地图生成的示意图如图5所示。
其中，步骤S1中由于采用的是普通数码相机，其主距和像主点在像平面坐标系中的坐标是未知的，且普通的非测量相机存在镜头畸变，因此需要进行标定。标定方法主要是通过室内三维检校场，用相机对室内检校场在不同距离和姿态进行拍摄，然后在像片上选取检校场已知三维坐标的标志点，确定标志点在像片的像素坐标，根据后方交会原理来解算相机的内方位元素（
Figure 742838DEST_PATH_IMAGE011
），其中f为相机主距，
Figure 251311DEST_PATH_IMAGE012
为主点位置。
步骤S2具体包括：
将标定好的相机安装于车辆前挡风玻璃中间，调整其俯仰角使其垂直视场底部与车辆前引擎盖边沿相切，相机可以正对视场前方。在车辆行进过程中拍摄图像，每隔N帧取一帧图像作为待处理图像，N的计算方法为：
Figure 86412DEST_PATH_IMAGE001
其中，
Figure 186303DEST_PATH_IMAGE002
其中，D为车道线长度（1.5米左右），h为相机安装高度，b为基线长度，z的取值范围为
Figure 33036DEST_PATH_IMAGE003
，
Figure 696099DEST_PATH_IMAGE004
为相机垂直视场角，fps为帧率，v为GNSS速度。
步骤S3具体包括以下步骤：
S31，图像预处理
为了消灭图像中的噪声点，本发明采用了高斯平滑滤波器来对图像进行平滑处理。公式如下：
Figure 769228DEST_PATH_IMAGE013
其中，
Figure 51305DEST_PATH_IMAGE014
选取经验值为1，
Figure 877179DEST_PATH_IMAGE015
表示点在以高斯平滑窗口中心点为原点的局部坐标系中的横坐标和纵坐标。
S32，采用融合算法进行车道线背景分割
基于Canny算法，对图像每一行的边缘点运算，将边缘点最多的一行作为ROI区域的上边界。然后用OTSU算法计算ROI区域内图像分割的最佳阈值，并进行车道线背景分割。
2.1 ROI区域计算
因为在实际场景中，远离汽车的地方经常有许多电线杆、建筑，这些物体与道路梯度之间变化很大产生许多边缘点，本专利使用边缘像素的统计特性去确定图像的ROI区域。对预处理后的图像，使用Canny算法来边缘检测，以边缘点最多的一行作为上边界来划分ROI区域。
2.2 基于OTSU的边缘检测
在进行平滑处理后、ROI区域计算后，还需要对图像进行分割处理，以分离前景和背景。本发明使用OTSU边缘检测算法计算分割阈值，将图像像素分割为二值化图像，以进行后续处理。
OTSU是一种确定图像二值化分割阈值的算法。该方法又称作最大类间方差法，因为按照大津法求得的阈值进行图像二值化分割后，前景与背景图像的类间方差最大。OTSU计算简单，几乎不受图像亮度和对比度的影响，在数字图像处理上具有广泛的应用。
S33：车道标线检测及车道标线图的生成
3.1 直线段检测
车道标线直线段检测的示意图如图3所示，使用直线段检测算法来分割车道线，首先计算图像中每个像素点附近的 level-line 角度, 生成 level-support 区域，level-line 角度即对每个像素计算与领域其他像素间的角度差，若超过阈值则剔除，阈值内的则保留，生成line-support区域，该操作是为了消除提取直线段像素的锯齿状，增加直线段平滑性。每个 line-support 区域都是直线分割的候选区域。然后采用矩形对该区域进行拟合, 矩形的主方向为线段支持域的惯性主轴方向。将该矩形区域内像素点的level-line角度与矩形主方向角度的夹角在容忍角度内的像素点称之为内点，对每个矩形区域的宽、高以及总的像素点个数、内点个数进行整合, 计算基于这些数值下该矩形区域的错误警报数量NFA值，NFA是英文Number of False Alarms的缩写，指的是误报数，也就是原本并不是直线但是被当做直线的地方，认为该矩形是一条线段的条件是NFA小于1。
3.2 消失点检测
实际道路中平行的两条直线在图像中延伸相交，相交点可以视为道路的消失点，因此引入道路消失点概念。将直线聚合得到的结果延伸相交，计算其交点坐标视为消失点坐标。
3.3 车道线检测
在得到消失点后，对采用直线段检测算法得到的直线进行再次筛选。利用不与车道线平行的直线不会与消失点相交的特点，以消失点坐标为圆心，以 8个像素为半径画圆，直线与圆心相交认为与车道线平行；不相交则认为不与车道线平行。同时，由于车道直线一般为有角度的斜线，不可能为倾斜角度较大或较小的斜线，所以应对直线做一定的斜率限制，斜率大于最大斜度阈值或小于最小斜度阈值的直线，应进行删除。左车道线最大斜度阈值
Figure 461875DEST_PATH_IMAGE016
和最小斜度阈值
Figure 474830DEST_PATH_IMAGE017
，右车道线最大斜度阈值
Figure 435964DEST_PATH_IMAGE018
和最小斜度阈值
Figure 257290DEST_PATH_IMAGE019
。
为了剔除干扰，将多条直线按照斜率分为左车道
Figure DEST_PATH_IMAGE020
和右车道线
Figure 340783DEST_PATH_IMAGE021
,求平均值以获得最终车道线斜率。其中
Figure DEST_PATH_IMAGE022
，
Figure 185242DEST_PATH_IMAGE023
n是局部栅格像素集总的数量，i是第i个局部像素集，
Figure 809122DEST_PATH_IMAGE020
是左车道第i个局部像素集斜率，
Figure 609588DEST_PATH_IMAGE021
是右车道第i个局部像素集斜率，此处通过计算车道线上若干个局部栅格像素集的斜率的平均值，作为该条车道线斜率。
步骤S4具体包括以下内容：
S41，图像畸变校正
相机成像过程中会出现径向畸变，通过多次拍摄与逐级迭代优化镜头参数(等效焦距、镜头成像中心、旋转向量和平移向量等)。选定固定参照物，在镜头距离参照物15cm、10cm 和8cm 条件下，各拍摄20 张参照物图像，根据距离与畸变程度将60张图像分为远距离小畸变图像(一类图像)，中距离较大畸变图像(二类图像)和近距离大畸变图像(三类图像)。获取若干组镜头初始参数，利用这些初始参数校正一类图像。
用
Figure DEST_PATH_IMAGE024
和
Figure 129562DEST_PATH_IMAGE025
分别表示畸变半径和最佳半径, 两者间的相关性由畸变模型决定。下式描述
Figure 258055DEST_PATH_IMAGE024
和
Figure 826571DEST_PATH_IMAGE025
之间的相关性
Figure 950384DEST_PATH_IMAGE026
式中， 用
Figure 313364DEST_PATH_IMAGE006
和
Figure 929153DEST_PATH_IMAGE007
分别表示畸变半径和最佳半径，
Figure 19469DEST_PATH_IMAGE027
表示径向畸变系数。
利用上式能够确定畸变图像与校正图像坐标的映射关系，基于此对畸变图像实施校正，即可使畸变图像还原。在进行像素点空间坐标变换时, 用
Figure 545259DEST_PATH_IMAGE028
和
Figure 797249DEST_PATH_IMAGE029
分别表示校正图像像素坐标, 以
Figure 244542DEST_PATH_IMAGE028
为原始坐标，
Figure 872969DEST_PATH_IMAGE029
为左上角坐标。以
Figure 987687DEST_PATH_IMAGE029
为初始点，分别向
Figure 410578DEST_PATH_IMAGE030
方向和
Figure 876325DEST_PATH_IMAGE031
方向移动一个像素，移动至右下角的点结束，计算畸变图像内相应坐标，利用像素点灰度插值法获取校正图像
Figure 574023DEST_PATH_IMAGE032
。此过程公式描述如下
Figure 667881DEST_PATH_IMAGE033
式中，
Figure 277985DEST_PATH_IMAGE034
和
Figure 214717DEST_PATH_IMAGE035
分别表示经由坐标系内任意一点和镜头内参数, 其中，
Figure 466838DEST_PATH_IMAGE036
，
Figure 805415DEST_PATH_IMAGE037
和
Figure 586421DEST_PATH_IMAGE038
分别表示畸变图像的像素坐标和镜头的成像中心；
Figure 885815DEST_PATH_IMAGE039
表示
Figure 659736DEST_PATH_IMAGE030
方向的等效焦距，
Figure 591834DEST_PATH_IMAGE040
表示
Figure 58587DEST_PATH_IMAGE041
方向的等效焦距，
Figure 720644DEST_PATH_IMAGE006
和
Figure 32676DEST_PATH_IMAGE007
分别表示畸变半径和最佳半径。
S42，计算灰度变化
当窗口的偏移量为
Figure 221212DEST_PATH_IMAGE042
时，计算灰度变化值，将特征点和非特征点分离，检索局部灰度变化时需要利用窗口临域进行范围内窗口中点相对于窗口内其他像素的灰度阶梯变化情况，滑动前后窗口中的灰度变化为：
Figure 609599DEST_PATH_IMAGE043
其中,
Figure 742640DEST_PATH_IMAGE044
为图像的灰度，window
Figure 609096DEST_PATH_IMAGE045
是高斯窗函数。由泰勒公式可知：
Figure 776772DEST_PATH_IMAGE046
其中，
Figure 804902DEST_PATH_IMAGE047
和
Figure 690819DEST_PATH_IMAGE048
分别为
Figure 751179DEST_PATH_IMAGE015
方向的偏导数，反映每个像素点图像灰度变化方向，
Figure 258515DEST_PATH_IMAGE049
是窗口的偏移量。可将上式写成矩阵形式：
Figure 237972DEST_PATH_IMAGE050
其中,
Figure 96338DEST_PATH_IMAGE051
的自相关矩阵
Figure 819443DEST_PATH_IMAGE052
定义为:
Figure 446865DEST_PATH_IMAGE053
畸变校正效果图如图4所示，其中，（a）是畸变图像，（b）是畸变图像直接投影的俯视图，（c）是畸变改正投影的俯视图。
步骤S5具体包括以下步骤：亚像素角点检测
利用高斯函数对校正图像
Figure 597223DEST_PATH_IMAGE054
进行卷积处理, 构建多尺度空间, 分别在校正图像与多尺度空间图像内提取角点。
确定多尺度空间内全部角点，用
Figure 67519DEST_PATH_IMAGE055
表示其中某角点,以其为中心向校正图像投影，用
Figure 672944DEST_PATH_IMAGE056
表示校正图像上相应的投影点。在校正图像内设定圆形投影区域, 该区域的中心和半径分别为
Figure 154872DEST_PATH_IMAGE056
和
Figure 476132DEST_PATH_IMAGE057
, 以该区域中全部角点构建角点集群。用
Figure 433723DEST_PATH_IMAGE058
表示角点
Figure 249364DEST_PATH_IMAGE056
的响应函数值，对其实施变换获取新的响应函数值，用
Figure 100645DEST_PATH_IMAGE059
描述, 其表达式如下：
Figure 999331DEST_PATH_IMAGE060
式中，
Figure 54006DEST_PATH_IMAGE061
表示高斯平滑图像在
Figure 922605DEST_PATH_IMAGE030
方向的梯度值，
Figure 34917DEST_PATH_IMAGE062
表示高斯平滑图像在
Figure 183133DEST_PATH_IMAGE031
方向的梯度值；
Figure 505530DEST_PATH_IMAGE063
和
Figure 662973DEST_PATH_IMAGE064
分别为微分尺度和避免
Figure 364212DEST_PATH_IMAGE065
无意义的一个极小值。
该过程是为了尽可能的提取所有角点像素，在此基础上再进行有效性判别。上述过程为亚像素角点检测过程，首先需要尽可能的提取待定的亚像素角点，即利用多尺度空间卷积计算的概念提取的亚像素角点，提取的亚像素角点肯定会包含一些错误角点，正确的和错误的角点就构成了角点群集，为了进一步剔除错误角点，则利用下面的过程进行有效角点筛选。
依据
Figure 198176DEST_PATH_IMAGE059
选取角点集群中响应函数值在
Figure 758602DEST_PATH_IMAGE066
之间的角点。将选取的角点数量划分成三类: (1) 选取的角点数量为0，表示该集群中存在有效角点；(2)选取角点数量为1，表示该点即为有效角点；(3)选取角点数量超过1，此时应依照角点贡献程度，通过坐标加权平均法，以
Figure 844369DEST_PATH_IMAGE059
为权处理选取的各角点，完成角点亚像素定位。此过程公式描述如下
Figure 259170DEST_PATH_IMAGE067
式中，
Figure 545926DEST_PATH_IMAGE068
表示全部集群中角点距离平方和；
Figure 780598DEST_PATH_IMAGE069
和
Figure 104063DEST_PATH_IMAGE070
分别表示集群体角点权值和集群中角点与有效角点间距离的平方，
其中，
Figure 904529DEST_PATH_IMAGE071
，
Figure 955661DEST_PATH_IMAGE072
和
Figure 959520DEST_PATH_IMAGE073
分别为有效角点坐标值和集群中角点坐标值。
依照最小二乘理论, 使
Figure 511724DEST_PATH_IMAGE068
最小的坐标
Figure 917429DEST_PATH_IMAGE074
与有效角点坐标一致，即
Figure 405042DEST_PATH_IMAGE068
分别对
Figure 879886DEST_PATH_IMAGE075
和
Figure 455355DEST_PATH_IMAGE076
求一阶偏导
Figure 699254DEST_PATH_IMAGE077
求解得到
Figure 967556DEST_PATH_IMAGE078
式中，坐标
Figure 195275DEST_PATH_IMAGE079
对应的像点即为图像亚像素角点。
步骤S6具体包括以下步骤：
步骤1 按照GNSS的定位误差建立GNSS点的缓冲区，计算GNSS点可能匹配的路段，建立路段集合
Figure 574435DEST_PATH_IMAGE080
。
步骤2 根据导航地图已有的几何信息、拓扑信息、转向限制信息等，剔除路段集合
Figure 203999DEST_PATH_IMAGE080
中的错误路段，建立可行驶路段集合
Figure 33415DEST_PATH_IMAGE081
。
步骤3 计算
Figure 499162DEST_PATH_IMAGE081
中各条可能的路段与现有GNSS轨迹的曲线相似度，选取最相似的路段作为匹配的行驶路径。
步骤4 根据匹配的路段绝对坐标值，将各车道标线的局部坐标系统转换至世界坐标系，并将车道标线信息添加至导航地图中。将各车道标线的局部坐标系统转换至世界坐标系采用以下公式进行转换：
Figure 196860DEST_PATH_IMAGE082
Figure 166084DEST_PATH_IMAGE083
Figure 25456DEST_PATH_IMAGE084
为世界坐标系，
Figure 837554DEST_PATH_IMAGE085
为相机摄影中心为原点的局部坐标系，
Figure 824096DEST_PATH_IMAGE086
表示图像坐标系，A表示相机内参矩阵，
Figure 897094DEST_PATH_IMAGE087
为图像空间到局部坐标系的旋转矩阵，假设横滚角为0的情况下，
Figure 209258DEST_PATH_IMAGE087
可以通过灭点位置计算得到。
Figure 367707DEST_PATH_IMAGE088
相机局部坐标到绝对坐标参考的旋转变换，T为平移矩阵。
可通过下式计算
Figure 361202DEST_PATH_IMAGE089
，T，
Figure 554285DEST_PATH_IMAGE090
Pu_i为标线局部坐标系统中第i个角点，Pw_i为Pu_i在世界坐标系对应的角点，R为旋转矩阵，T为平移矩阵。
S1～S4提供了高精地图低成本构建的整体流程，在步骤S1中针对消费级相机参数不一致的问题采用分段畸变校正模型解决低成本相机畸变参数不一致的问题，提高内参解算、畸变校正和图像测量的精度；在步骤S2中，针对车道线沿道路前进方向分布的特性，在全局图像中提取车道线的特征，实现车道线的初步定位；步骤S3通过在车道线区域内提取精准的角点信息来提高后方交会解算得到的车辆位姿变化精度；步骤S4将局部匹配得到的车道信息与全局地图进行匹配，实现整体测图。其中S2～S3 采用全局到局部级多尺度检测的方式，利用车道线的全局特征提高车道线的检测可靠性，结合局部高精度角点提取保证序列图像的匹配精度。
以上显示和描述了本发明的基本原理和主要特征及本发明的优点，对于本领域技术人员而言，显然在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (8)

1.一种低成本精细地图自动生成方法，其特征在于，包括以下步骤：
S1，通过三维标定场，对相机内参进行标定，计算相机内部参数；
S2，将标定好的相机安装于车辆上，调整相机俯仰角使其垂直视场底部与车辆前引擎盖边沿相切，并且在车辆行进过程中拍摄图像，获取待处理图像；
S3，从所述待处理图像中提取出车道标线，得到车道标线图；
S4，根据所述相机内部参数和畸变系数对车道标线图进行畸变校正和灰度处理，得到校正图像；
S5，对所述校正图像中的车道标线进行亚像素角点检测，得到车道标线的角点坐标；
S6，将车道标线的角点坐标添加到导航地图中，生成精细化地图；
步骤S6具体包括以下步骤：
步骤1 按照GNSS的定位误差建立GNSS点的缓冲区，计算GNSS点可能匹配的路段，建立路段集合
Figure DEST_PATH_IMAGE001
；
步骤2 根据导航地图已有的几何信息、拓扑信息、转向限制信息，剔除路段集合
Figure 846733DEST_PATH_IMAGE002
中的错误路段，建立可行驶路段集合
Figure DEST_PATH_IMAGE003
；
步骤3 计算
Figure 298574DEST_PATH_IMAGE004
中各条可能的路段与现有GNSS轨迹的曲线相似度，选取最相似的路段作为匹配的行驶路径；
步骤4 根据匹配的行驶路径的绝对坐标值，将各车道标线的局部坐标系转换至世界坐标系，并将车道标线信息添加至导航地图中；
将各车道标线的局部坐标系转换至世界坐标系采用以下公式进行转换：
Figure 162625DEST_PATH_IMAGE006
Figure 695106DEST_PATH_IMAGE008
Figure DEST_PATH_IMAGE009
为世界坐标系，
Figure 189672DEST_PATH_IMAGE010
为相机摄影中心为原点的局部坐标系，
Figure DEST_PATH_IMAGE011
表示图像坐标系，A表示相机内参矩阵，
Figure 372218DEST_PATH_IMAGE012
为图像空间到局部坐标系的旋转矩阵，假设横滚角为0的情况下，
Figure 39959DEST_PATH_IMAGE012
可以通过灭点位置计算得到，
Figure DEST_PATH_IMAGE013
为相机局部坐标到绝对坐标参考的旋转变换，T为平移矩阵，
可通过下式计算
Figure 895789DEST_PATH_IMAGE014
，T：
Figure DEST_PATH_IMAGE015
Pu_i为标线局部坐标系中第i个角点坐标，Pw_i为Pu_i在世界坐标系对应的角点坐标，R为旋转矩阵，T为平移矩阵。
2.如权利要求1所述的一种低成本精细地图自动生成方法，其特征在于，步骤S2中，所述待处理图像是在车辆行进过程中拍摄图像，每隔N帧取一帧图像得到的，N的计算方法为：
Figure 826836DEST_PATH_IMAGE016
其中，
Figure DEST_PATH_IMAGE017
其中，D为车道线长度，h为相机安装高度，b为基线长度，z的取值范围为
Figure 768116DEST_PATH_IMAGE018
，
Figure DEST_PATH_IMAGE019
为相机垂直视场角，fps为帧率，v为GNSS速度。
3.如权利要求1所述的一种低成本精细地图自动生成方法，其特征在于，步骤S3具体包括以下步骤：
S31，图像预处理；
S32，采用融合算法进行车道线背景分割；
S33：车道标线检测及车道标线图的生成。
4.如权利要求3所述的一种低成本精细地图自动生成方法，其特征在于，步骤S33中车道标线检测包括：S331直线段检测；S332消失点检测；S333车道线检测；
步骤S333中，在得到消失点后，对采用直线段检测得到的直线进行再次筛选；以消失点坐标为圆心，以 8个像素为半径画圆，直线与圆心相交认为与车道线平行；不相交则认为不与车道线平行，得到车道线图。
5.如权利要求4所述的一种低成本精细地图自动生成方法，其特征在于，步骤S333中还包括将车道线中，斜率大于最大斜度阈值或小于最小斜度阈值的直线进行删除。
6.如权利要求1所述的一种低成本精细地图自动生成方法，其特征在于，步骤S4具体包括以下步骤：
S41，获取畸变图像与校正图像坐标的映射关系；
S42，基于所述映射关系，对畸变图像进行校正；
所述畸变图像与校正图像坐标的映射关系用公式表示为：
Figure DEST_PATH_IMAGE021
其中，用
Figure 895341DEST_PATH_IMAGE022
和
Figure DEST_PATH_IMAGE023
分别表示畸变半径和最佳半径，
Figure 356409DEST_PATH_IMAGE024
表示径向畸变系数。
7.一种低成本精细地图自动生成装置，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6中任一项所述的一种低成本精细地图自动生成方法。
8.一种计算机可读介质，其上存储有可由处理器执行的指令，所述指令在被处理器执行时，使得处理器执行如权利要求1至6中任一项所述的一种低成本精细地图自动生成方法。
CN202210618021.4A 2022-06-02 2022-06-02 一种低成本精细地图自动生成方法、装置及可读介质 Active CN114719873B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210618021.4A CN114719873B (zh) 2022-06-02 2022-06-02 一种低成本精细地图自动生成方法、装置及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210618021.4A CN114719873B (zh) 2022-06-02 2022-06-02 一种低成本精细地图自动生成方法、装置及可读介质

Publications (2)

Publication Number Publication Date
CN114719873A CN114719873A (zh) 2022-07-08
CN114719873B true CN114719873B (zh) 2022-09-02

Family

ID=82232980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210618021.4A Active CN114719873B (zh) 2022-06-02 2022-06-02 一种低成本精细地图自动生成方法、装置及可读介质

Country Status (1)

Country Link
CN (1) CN114719873B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115265493B (zh) * 2022-09-26 2022-12-16 四川省公路规划勘察设计研究院有限公司 一种基于非标定相机的车道级定位方法及装置
CN116052185B (zh) * 2023-01-09 2023-10-31 四川轻化工大学 模板匹配的车辆vin码的识别和打刻深度检测系统及方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678689B (zh) * 2015-12-31 2020-01-31 百度在线网络技术（北京）有限公司 高精地图数据配准关系确定方法及装置
CN109084782B (zh) * 2017-06-13 2024-03-12 蔚来(安徽)控股有限公司 基于摄像头传感器的车道线地图构建方法以及构建系统
CN110160542B (zh) * 2018-08-20 2022-12-20 腾讯科技（深圳）有限公司 车道线的定位方法和装置、存储介质、电子装置
CN109470255B (zh) * 2018-12-03 2022-03-29 禾多科技（北京）有限公司 基于高精度定位及车道线识别的高精度地图自动生成方法
CN109785291B (zh) * 2018-12-20 2020-10-09 南京莱斯电子设备有限公司 一种车道线自适应检测方法
KR20210061722A (ko) * 2019-11-20 2021-05-28 팅크웨어(주) 고정밀 지도 제작 방법, 고정밀 지도 제작 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
CN113312435B (zh) * 2020-02-27 2023-06-06 武汉四维图新科技有限公司 高精度地图更新方法和设备
CN111652179B (zh) * 2020-06-15 2024-01-09 东风汽车股份有限公司 基于点线特征融合激光的语义高精地图构建与定位方法
CN111829549B (zh) * 2020-07-30 2022-05-24 吉林大学 一种基于高精度地图的积雪路面虚拟车道线投影方法
CN112785655A (zh) * 2021-01-28 2021-05-11 中汽创智科技有限公司 一种基于车道线检测的环视相机外参自动标定方法、装置、设备及计算机存储介质
CN112906616A (zh) * 2021-03-08 2021-06-04 北京庆龙科技有限公司 一种车道线提取与生成方法
CN113029187A (zh) * 2021-03-30 2021-06-25 武汉理工大学 融合adas精细感知数据的车道级导航方法与系统
CN113885062A (zh) * 2021-09-28 2022-01-04 中国科学技术大学先进技术研究院 基于v2x的数据采集融合设备、方法和系统
CN114037970A (zh) * 2021-11-19 2022-02-11 中国重汽集团济南动力有限公司 一种基于滑动窗口的车道线检测方法、系统、终端及可读存储介质
CN114037762A (zh) * 2021-11-22 2022-02-11 武汉中海庭数据技术有限公司 基于图像与高精度地图配准的实时高精度定位方法
CN114120075A (zh) * 2021-11-25 2022-03-01 武汉市众向科技有限公司 一种融合单目相机和激光雷达的三维目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
路面路标高精度地图构建与多尺度车辆定位;胡钊政等;《哈尔滨工业大学学报》;20190930;第51卷(第9期);第149-156页 *

Also Published As

Publication number Publication date
CN114719873A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN107463918B (zh) 基于激光点云与影像数据融合的车道线提取方法
CN114719873B (zh) 一种低成本精细地图自动生成方法、装置及可读介质
CN110807809B (zh) 基于点线特征和深度滤波器的轻量级单目视觉定位方法
JP2020042831A (ja) 道路の垂直輪郭検出
US10909395B2 (en) Object detection apparatus
CN110647850A (zh) 一种基于逆透视原理的车道偏移自动测量方法
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN105678287B (zh) 一种基于脊度量的车道线检测方法
CN104077760A (zh) 一种航空摄影测量的快速拼接系统及其实现方法
CN108416798B (zh) 一种基于光流的车辆距离估计方法
CN111210477A (zh) 一种运动目标的定位方法及系统
CN108171695A (zh) 一种基于图像处理的高速公路路面检测方法
CN115717894A (zh) 一种基于gps和普通导航地图的车辆高精度定位方法
CN112348775B (zh) 基于车载环视的路面坑塘检测系统及方法
CN109635737A (zh) 基于道路标记线视觉识别辅助车辆导航定位方法
CN111723778B (zh) 基于MobileNet-SSD的车辆测距系统及方法
CN108846363A (zh) 一种基于发散式扫描的分区域车底阴影检测方法
CN104700359A (zh) 像平面不同极轴方向图像序列进行超分辨率重建的方法
CN115265493B (zh) 一种基于非标定相机的车道级定位方法及装置
CN103456026A (zh) 一种公路地标约束下的地面运动目标检测方法
CN112446915A (zh) 一种基于图像组的建图方法及装置
CN113221883B (zh) 无人机飞行导航路线实时修正方法
WO2022133986A1 (en) Accuracy estimation method and system
CN111539279B (zh) 道路限高高度检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant