CN111192311A - 一种高精度地图制作中纵向减速标线自动提取方法和装置 - Google Patents
一种高精度地图制作中纵向减速标线自动提取方法和装置 Download PDFInfo
- Publication number
- CN111192311A CN111192311A CN201911406241.5A CN201911406241A CN111192311A CN 111192311 A CN111192311 A CN 111192311A CN 201911406241 A CN201911406241 A CN 201911406241A CN 111192311 A CN111192311 A CN 111192311A
- Authority
- CN
- China
- Prior art keywords
- longitudinal deceleration
- marked line
- point cloud
- deceleration marked
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 230000011218 segmentation Effects 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000001914 filtration Methods 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 12
- 230000004927 fusion Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G06T3/06—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
本发明实施例提供一种高精度地图制作中纵向减速标线自动提取方法和装置，一方面，通过彩色图像的纵向减速标线目标检测网络提取，快速的过滤出纵向减速标线所在的三维激光点云区域；另一方面，通过将三维激光点云投影成二维投影图像，并通过语义分割网络进行纵向减速标线的精提取，获取纵向减速标线的内侧线；另外，通过三维激光中的直线连线，过滤长度较短的错误识别的内侧线，达到纵向减速标线的准确提取，并是三维点云中提取的纵向减速标线精度达到高精度地图制作需求。通过AI训练，使得纵向减速标线能够适用于各种复杂的交通道路场景。
Description
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种高精度地图制作中纵向减速标线自动提取方法和装置。
背景技术
汽车的发明改变了人类的出行方式，它以其便捷性和快速性有力地推动商品和人员的流动，对经济和社会的发展起着重要作用。随着生产技术的不断发展，新的生产方式减少了汽车的单位生产时间，降低了汽车的单位价格，使得汽车成为了一种大众产品。截至2010年，全球约有总数为10亿辆的各式汽车，并且这个数字仍在高速增长。然而，伴随着汽车保有量的增加，交通安全问题越发突出。在中国每年发生交通事故50万余起，交通事故死亡人数超过10万人，每年因交通事故引发的经济损失可达数百亿元。
目前，各个国家已经相继开展无人驾驶车辆的研究，但是受限于技术的发展，机器完全取代人类完成车辆驾驶还需要一段时间。现世的智能型车辆往往采用辅助驾驶系统来保证驾驶人员的安全。例如高端车型中已经可以见到的自动泊车辅助系统、刹车辅助系统、倒车辅助系统、行车辅助系统、车道保持辅助系统等。其中车道保持辅助系统的关键技术是道路标线的检测，通过它可以计算车辆与道路标线的位置关系，进而可以提醒驾驶人员车辆的行驶状态，可以有效解决疲劳驾驶或者人为疏忽而产生的道路偏离问题，增加安全性。
高精地图是无人驾驶核心技术之一，精准的地图对无人车定位、导航与控制，以及安全至关重要。随着各个车厂进入无人驾驶时代，精度高、要素多的高精度地图应运而生，极好的满足了无人驾驶的需求。配套使用高精度地图、摄像、雷达，可极大地降低了感知难度。高精度地图设计包含多种要素提取，激光雷达的测距较为准确，但是由于多个传感器融合存在误差，采集的图像和激光雷达采集的点云也存在误差，现有技术中并没有解决融合误差问题。
发明内容
本发明实施例提供一种高精度地图制作中纵向减速标线自动提取方法和装置，通过采集的彩色图像快速的过滤纵向减速标线所在的点云区域，并避免了融合的误差，加快了纵向减速标线的提取速度。
第一方面，本发明实施例提供一种高精度地图制作中纵向减速标线自动提取方法，包括：
获取道路交通的三维点云轨迹点对应的彩色图像；
基于彩色图像和已训练的纵向减速标线目标检测模型，提取纵向减速标线所在的目标彩色图像；
获取目标彩色图像对应的目标三维点云轨迹点，将目标三维点云轨迹点投影成二维点云投影图像，并通过语义分割网络进行纵向减速标线的精提取，获取纵向减速标线的内侧线。
作为优选的，还包括：
将二维点云投影图像提取的纵向减速标线的信息坐标反算到三维点云中，获得多个点云块中的纵向减速标线内侧线坐标值；
对多个点云块间的纵向减速标线内侧左线、右线进行连接、合并，过滤长度小于预设长度阈值的纵向减速标线。
作为优选的，获取道路交通的三维点云轨迹点对应的彩色图像，具体包括：
获取采集车采集的道路交通彩色图像和三维点云轨迹点，以及轨迹信息、三维点云轨迹点和彩色图像映射关系信息。
作为优选的，提取纵向减速标线所在的目标三维点云前，还包括：
收集多种交通场景的纵向减速标线的彩色图像，标注彩色图像中的纵向减速标线，得到目标训练样本；
基于目标检测网络对所述目标训练样本进行训练，得到纵向减速标线目标检测模型；
基于纵向减速标线目标检测模型获取包含纵向减速标线的目标彩色图像中，对检测到的同一纵向减速标线的前后目标彩色图像进行过滤，保留离三维点云轨迹点最近的目标彩色图像。
作为优选的，对检测到的同一纵向减速标线的前后目标彩色图像进行过滤，具体包括：
对当前三维点云轨迹点的目标彩色图像中的目标纵向减速标线，通过卡尔曼滤波器预测下一个三维点云轨迹点中的纵向减速标线的状态和协方差，使用余弦距离或者结构相似性SSIM对前后三维点云轨迹点中的纵向减速标线进行相似性度量，使用匈牙利算法关联检测框到纵向减速标线；
将前后多个三维点云轨迹点的目标彩色图像中关联的同一纵向减速标线进行过滤，保留最大纵向减速标线对应的目标彩色图像。
作为优选的，并通过语义分割网络进行纵向减速标线的精提取，具体包括：
查找包含目标彩色图像对应的三维点云轨迹点，沿着轨迹方向取该三维点云轨迹点前后设定区域的激光点云数据；
对所述激光点云区域数据，沿着车道轨迹方向，以三维点云轨迹点为中心，取前后左右预设距离的区域进行切块处理，得到固定长宽的矩形块；
以俯视道路的方向，将切成的矩形块以正射投影的方式，将矩形块投影成固定大小的点云投影图像；
收集点云投影图像样本，并对纵向减速标线进行样本标注，训练纵向减速标线语义分割模型；
基于纵向减速标线语义分割模型预测点云投影图像，获取点云投影图像中的纵向减速标线mask图像。
作为优选的，获取纵向减速标线的内侧线，具体包括：
根据分割得到纵向减速标线mask图像获取纵向减速标线的轮廓，得到单个纵向减速标线的x方向和y方向的最大最小x，y坐标值，获取轮廓内像素的ymin和ymax；
以[ymin,ymax]区域以及预设像素间隔获取间断多个y值点，查找轮廓区域内等于y的所有的点，找到最左边最右边的坐标值，并计算宽度，如果宽度不符合设置的阈值，则舍弃该点；
计算得到单个纵向减速标线的左右线以及中线；并根据x坐标值得大小判断轮廓的左右线；根据纵向减速标线的特征过滤非纵向减速标线内侧线的左右线，保留纵向减速标线内侧线；并基于最小二乘法，对左右线局部进行平滑处理，得到纵向减速标线内侧线。
第二方面，本发明实施例提供一种高精度地图制作中纵向减速标线自动提取装置，包括：
采集模块，用于获取道路交通的三维点云轨迹点对应的彩色图像；
纵向减速标线目标检测模型，用于基于彩色图像和已训练的纵向减速标线目标检测模型，提取纵向减速标线所在的目标彩色图像；
纵向减速标线提取模块，用于获取目标彩色图像对应的目标三维点云轨迹点，将目标三维点云轨迹点投影成二维点云投影图像，并通过语义分割网络进行纵向减速标线的精提取，获取纵向减速标线的内侧线。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述高精度地图制作中纵向减速标线自动提取方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述高精度地图制作中纵向减速标线自动提取方法的步骤。
本发明实施例提供一种高精度地图制作中纵向减速标线自动提取方法和装置，一方面，通过彩色图像的纵向减速标线目标检测网络提取，快速的过滤出纵向减速标线所在的三维激光点云区域；另一方面，通过将三维激光点云投影成二维投影图像，并通过语义分割网络进行纵向减速标线的精提取，获取纵向减速标线的内侧线；另外，通过三维激光中的直线连线，过滤长度较短的错误识别的内侧线，达到纵向减速标线的准确提取，并是三维点云中提取的纵向减速标线精度达到高精度地图制作需求。避免了彩色图像和三维激光点云的融合，只通过采集的彩色图像信息确定三维激光点云中纵向减速标线的大致区域，能快速地过滤无关区域。同时通过AI训练，使得纵向减速标线能够适用于各种复杂的交通道路场景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的高精度地图制作中纵向减速标线自动提取方法流程框图；
图2为根据本发明实施例的目标检测网络对轨迹点对应图像进行检测的目标检测结果示意图；
图3(a)为根据本发明实施例的点云投影图像示意图；
图3(b)为根据本发明实施例的纵向减速标线mask图像示意图；
图4(a)为根据本发明实施例的提取轮廓左右点和骨架点示意图；
图4(b)为根据本发明实施例的提取轮廓左右线示意图；
图4(c)为根据本发明实施例的提取纵向减速标线内侧线示意图；
图5为根据本发明实施例的三维点云中纵向减速标线提取结果示意图；
图6为根据本发明实施例的一种电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
随着各个车厂进入无人驾驶时代，精度高、要素多的高精度地图应运而生，极好的满足了无人驾驶的需求。配套使用高精度地图、摄像、雷达，可极大地降低了感知难度。
高精度地图设计包含多种要素提取，本发明实施例针对道路交通中纵向减速标线要素，提出了一种结合采集的彩色图像和激光点云信息的快速自动化提取系统，保证纵向减速标线的横向、纵向精度在5cm范围内，又使得系统能够使用全国多种复杂的交通场景。激光雷达的测距较为准确，但是由于多个传感器融合存在误差，采集的图像和激光雷达采集的点云也存在误差，很少能解决融合误差问题，所以本发明实施例的方案避免了彩色图像和三维激光点云的融合，只通过采集的彩色图像信息确定三维激光点云中纵向减速标线的大致区域，能快速地过滤无关区域。同时通过AI训练，使得纵向减速标线能够适用于各种复杂的交通道路场景。另外，通过后期的阈值过滤、修正等传统方法，可以将纵向减速标线的横纵向精度都控制在需求的范围内。解决高精度地图制作中纵向减速标线传统算法在三维点云中提取计算量过大的问题，以及适应范围窄的问题。降低高精度地图制作的时间，提升效率。通过AI训练，使得纵向减速标线自动化高精度提取能够使用多种交通场景。并通过图像和点云信息的集合，加快纵向减速标线的提取速度。以下将通过多个实施例进行展开说明和介绍。
本发明实施例提供一种高精度地图制作中纵向减速标线自动提取方法，包括：
获取道路交通的三维点云轨迹点对应的彩色图像；
基于彩色图像和已训练的纵向减速标线目标检测模型，提取纵向减速标线所在的目标彩色图像；
获取目标彩色图像对应的目标三维点云轨迹点，将目标三维点云轨迹点投影成二维点云投影图像，并通过语义分割网络进行纵向减速标线的精提取，获取纵向减速标线的内侧线。
在本实施例中，作为一种优选的实施方式，结合采集的鱼眼摄像头获取的彩色图像和雷达的激光点云数据进行高精度地图中道路纵向减速标线提取。一方面，通过彩色图像的纵向减速标线目标检测网络提取，快速的过滤出纵向减速标线所在的三维激光点云区域；另一方面，通过将三维激光点云投影成二维投影图像，并通过语义分割网络进行纵向减速标线的精提取，获取纵向减速标线的内侧线；另外，通过三维激光中的直线连线，过滤长度较短的错误识别的内侧线，达到纵向减速标线的准确提取，并是三维点云中提取的纵向减速标线精度达到高精度地图制作需求。本发明实施例的步骤具体包括：
步骤一：处理数据：高精度地图数据采集包括单线、多线激光雷达(测距离)、鱼眼摄像头(彩色图像)、GPS，获取采集车采集的道路交通彩色图像和激光点云数据，以及轨迹信息、轨迹点和鱼眼图像映射关系信息。以车站为单位进行处理，单个车站包含多张彩色鱼眼图片和多个点云las文件。
步骤一：采集处理数据；获取采集车采集的道路交通彩色图像和激光点云数据，以及轨迹信息、轨迹点和鱼眼图像映射关系信息；
步骤二：通过彩色图像过滤附近不含有纵向减速标线的点云轨迹点；
步骤三：根据检测的图像对激光点云数据进行裁剪并进行目标语义分割预测；
步骤四：对提取的点云投影图像进行后处理，获取纵向减速标线的线；
步骤五，将点云投影图像提取的纵向减速标线的信息坐标反算到三维点云中，并进行后处理。
1、本发明实施例的方案为高精度地图制作中全自动的道路纵向减速标线提取，能够有效的减少高精度地图制作中制作人员的时间消耗，降低成本。
2、本发明实施例的方案适用范围广，能够适用多种道路场景下激光点云中的纵向减速减速标线的提取。
3、本发明实施例的方案提取的激光点云中的纵向减速标线精度高，满足高精度地图制作的厘米级误差需求。
4、本发明实施例的方案的通过采集的彩色图像快速的过滤纵向减速标线所在的点云区域，并避免了融合的误差，加快了纵向减速标线的提取速度，使得单个车站(30公里)的提取速度最多不超过一个小时。
在上述实施例的基础上，还包括：
将二维点云投影图像提取的纵向减速标线的信息坐标反算到三维点云中，获得多个点云块中的纵向减速标线内侧线坐标值；
对多个点云块间的纵向减速标线内侧左线、右线进行连接、合并，过滤长度小于预设长度阈值的纵向减速标线。
在本实施例中，作为一种优选的实施方式，步骤五，将点云投影图像提取的纵向减速标线的信息坐标反算到三维点云中，并进行后处理。具体包括：
(1)根据正射投影的点云投影图像和三维激光点云映射关系，将点云投影的图像中的纵向减速标线内侧线坐标反算到三维点云中。获得多个点云块中的纵向减速标线内侧线坐标值。
(2)合并多个点云块的纵向减速标线。对同一条线上的纵向减速标线连接，并过滤提取的较短的纵向减速标线，对相邻距离不远的空洞直线进行连接。得到如图5所示，为三维点云中纵向减速标线提取结果示意图。
在上述各实施例的基础上，获取道路交通的三维点云轨迹点对应的彩色图像，具体包括：
获取采集车采集的道路交通彩色图像和三维点云轨迹点，以及轨迹信息、三维点云轨迹点和彩色图像映射关系信息。
在本实施例中，作为一种优选的实施方式，步骤一：处理数据：高精度地图数据采集包括单线、多线激光雷达(测距离)、鱼眼摄像头(彩色图像)、GPS，获取采集车采集的道路交通彩色图像和激光点云数据，以及轨迹信息、轨迹点和鱼眼图像映射关系信息。以车站为单位进行处理，单个车站包含多张彩色鱼眼图片和多个点云las文件。
在上述各实施例的基础上，提取纵向减速标线所在的目标三维点云前，还包括：
收集多种交通场景的纵向减速标线的彩色图像，标注彩色图像中的纵向减速标线，得到目标训练样本；
基于目标检测网络对所述目标训练样本进行训练，得到纵向减速标线目标检测模型；
基于纵向减速标线目标检测模型获取包含纵向减速标线的目标彩色图像中，对检测到的同一纵向减速标线的前后目标彩色图像进行过滤，保留离三维点云轨迹点最近的目标彩色图像。
在本实施例中，作为一种优选的实施方式，步骤二：通过彩色图像过滤附近不含有纵向减速标线的点云轨迹点。
(1)、收集多种交通场景的纵向减速标线鱼眼图像样本，采用目标检测网络进行纵向减速标线样本进行训练。
(2)、通过目标检测网络对轨迹点对应图像进行检测，保留可检测到目标的图像,目标检测结果如图2所示。
在上述各实施例的基础上，对检测到的同一纵向减速标线的前后目标彩色图像进行过滤，具体包括：
对当前三维点云轨迹点的目标彩色图像中的目标纵向减速标线，通过卡尔曼滤波器预测下一个三维点云轨迹点中的纵向减速标线的状态和协方差，使用余弦距离或者结构相似性(Structural Similarity Index，SSIM)对前后三维点云轨迹点中的纵向减速标线进行相似性度量，使用匈牙利算法关联检测框到纵向减速标线；
将前后多个三维点云轨迹点的目标彩色图像中关联的同一纵向减速标线进行过滤，保留最大纵向减速标线对应的目标彩色图像。
在本实施例中，作为一种优选的实施方式，步骤二还包括：
(3)、将前后轨迹点中检测到的同一目标过滤，保留离轨迹点最近的目标图像，去除其他目标图像。主要通过当前轨迹点的图像中的目标，通过卡尔曼滤波器预测下一个轨迹点中的目标的状态和协方差，使用余弦距离或者SSIM对前后轨迹点中的图像目标进行相似性度量，使用匈牙利算法关联检测框到目标。
(4)、将前后多个轨迹点图片中关联的同一目标进行过滤，保留最大目标的轨迹图像。
在上述各实施例的基础上，并通过语义分割网络进行纵向减速标线的精提取，具体包括：
查找包含目标彩色图像对应的三维点云轨迹点，沿着轨迹方向取该三维点云轨迹点前后设定区域的激光点云数据；
对所述激光点云区域数据，沿着车道轨迹方向，以三维点云轨迹点为中心，取前后左右预设距离的区域进行切块处理，得到固定长宽的矩形块；
以俯视道路的方向，将切成的矩形块以正射投影的方式，将矩形块投影成固定大小的点云投影图像；
收集点云投影图像样本，并对纵向减速标线进行样本标注，训练纵向减速标线语义分割模型；
基于纵向减速标线语义分割模型预测点云投影图像，获取点云投影图像中的纵向减速标线mask图像。
在本实施例中，作为一种优选的实施方式，步骤三：根据检测的图像对激光点云数据进行裁剪并进行目标语义分割预测。具体包括：
(1)、单个轨迹点对应单个鱼眼图像，查找包含目标图像对应的轨迹点，沿着轨迹方向取该轨迹点前后一定区域的激光点云数据。
(2)、得到激光点云区域数据，沿着车道轨迹方向，以轨迹点为中心，取前后左右一定距离的区域进行切块处理，得到固定长宽的矩形块。
(3)、以俯视道路的方向，将切成的矩形块以正射投影的方式，将矩形块投影成固定大小的图像，一厘米的像素投影为一个像素点。如图3(a)所示，为点云投影图像示意图。
(4)、收集点云投影图像样本，并对纵向减速标线进行样本标注，训练纵向减速标线语义分割模型。
利用图像分割模型预测点云投影图像，获取点云投影图像中的纵向减速标线mask图像。得到如图3(b)所示的mask图。
在上述各实施例的基础上，获取纵向减速标线的内侧线，具体包括：
根据分割得到纵向减速标线mask图像获取纵向减速标线的轮廓，得到单个纵向减速标线的x方向和y方向的最大最小x，y坐标值，获取轮廓内像素的ymin和ymax；
以[ymin,ymax]区域以及预设像素间隔获取间断多个y值点，查找轮廓区域内等于y的所有的点，找到最左边最右边的坐标值，并计算宽度，如果宽度不符合设置的阈值，则舍弃该点；
计算得到单个纵向减速标线的左右线以及中线；并根据x坐标值得大小判断轮廓的左右线；根据纵向减速标线的特征过滤非纵向减速标线内侧线的左右线，保留纵向减速标线内侧线；并基于最小二乘法，对左右线局部进行平滑处理，得到纵向减速标线内侧线。
在本实施例中，作为一种优选的实施方式，步骤四：对提取的点云投影图像进行后处理，获取纵向减速标线的线。具体包括：
(1)根据分割得到的mask图获取纵向减速标线的轮廓，得到单个减速标线的x方向和y方向的最大最小x，y坐标值，获取轮廓内像素的ymin和ymax。
(2)以[ymin,ymax]区域以及适当像素间隔获取间断多个y值点，查找轮廓区域内等于y的所有的点，找到最左边最右边的坐标值，并计算宽度，如果宽度不符合设置的阈值(及纵向减速标线的宽度，40到200像素之间)，则舍弃该点。得到如图4(a)所示，为提取轮廓左右点和骨架点示意图。
(3)计算得到单个减速标线的左右线以及中线。并根据x坐标值得大小判断轮廓的左右线。得到如图4(b)所示，为提取轮廓左右线示意图。
(4)根据纵向减速标线的特征过滤非纵向减速标线内侧线的左右线，保留纵向减速标线内侧线。然后用最小二乘法，对左右线局部进行平滑处理。最终得到图4(c)所示的纵向减速标线内侧线。
本发明实施例还提供一种高精度地图制作中纵向减速标线自动提取装置，基于上述各实施例中的高精度地图制作中纵向减速标线自动提取方法，包括：
采集模块，用于获取道路交通的三维点云轨迹点对应的彩色图像；
纵向减速标线目标检测模型，用于基于彩色图像和已训练的纵向减速标线目标检测模型，提取纵向减速标线所在的目标彩色图像；
纵向减速标线提取模块，用于获取目标彩色图像对应的目标三维点云轨迹点，将目标三维点云轨迹点投影成二维点云投影图像，并通过语义分割网络进行纵向减速标线的精提取，获取纵向减速标线的内侧线。
本发明实施例提供了本发明实施例提供了一种电子设备，如图6所示，该服务器可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行上述各实施例提供的高精度地图制作中纵向减速标线自动提取方法，例如包括：
获取道路交通的三维点云轨迹点对应的彩色图像；
基于彩色图像和已训练的纵向减速标线目标检测模型，提取纵向减速标线所在的目标彩色图像；
获取目标彩色图像对应的目标三维点云轨迹点，将目标三维点云轨迹点投影成二维点云投影图像，并通过语义分割网络进行纵向减速标线的精提取，获取纵向减速标线的内侧线。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的高精度地图制作中纵向减速标线自动提取方法，例如包括：
获取道路交通的三维点云轨迹点对应的彩色图像；
基于彩色图像和已训练的纵向减速标线目标检测模型，提取纵向减速标线所在的目标彩色图像；
获取目标彩色图像对应的目标三维点云轨迹点，将目标三维点云轨迹点投影成二维点云投影图像，并通过语义分割网络进行纵向减速标线的精提取，获取纵向减速标线的内侧线。
综上所述，本发明实施例提供一种高精度地图制作中纵向减速标线自动提取方法和装置，一方面，通过彩色图像的纵向减速标线目标检测网络提取，快速的过滤出纵向减速标线所在的三维激光点云区域；另一方面，通过将三维激光点云投影成二维投影图像，并通过语义分割网络进行纵向减速标线的精提取，获取纵向减速标线的内侧线；另外，通过三维激光中的直线连线，过滤长度较短的错误识别的内侧线，达到纵向减速标线的准确提取，并是三维点云中提取的纵向减速标线精度达到高精度地图制作需求。避免了彩色图像和三维激光点云的融合，只通过采集的彩色图像信息确定三维激光点云中纵向减速标线的大致区域，能快速地过滤无关区域。同时通过AI训练，使得纵向减速标线能够适用于各种复杂的交通道路场景。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种高精度地图制作中纵向减速标线自动提取方法，其特征在于，包括：
获取道路交通的三维点云轨迹点对应的彩色图像；
基于彩色图像和已训练的纵向减速标线目标检测模型，提取纵向减速标线所在的目标彩色图像；
获取目标彩色图像对应的目标三维点云轨迹点，将目标三维点云轨迹点投影成二维点云投影图像，并通过语义分割网络进行纵向减速标线的精提取，获取纵向减速标线的内侧线。
2.根据权利要求1所述的高精度地图制作中纵向减速标线自动提取方法，其特征在于，还包括：
将二维点云投影图像提取的纵向减速标线的信息坐标反算到三维点云中，获得多个点云块中的纵向减速标线内侧线坐标值；
对多个点云块间的纵向减速标线内侧左线、右线进行连接、合并，过滤长度小于预设长度阈值的纵向减速标线。
3.根据权利要求1所述的高精度地图制作中纵向减速标线自动提取方法，其特征在于，获取道路交通的三维点云轨迹点对应的彩色图像，具体包括：
获取采集车采集的道路交通彩色图像和三维点云轨迹点，以及轨迹信息、三维点云轨迹点和彩色图像映射关系信息。
4.根据权利要求1所述的高精度地图制作中纵向减速标线自动提取方法，其特征在于，提取纵向减速标线所在的目标三维点云前，还包括：
收集多种交通场景的纵向减速标线的彩色图像，标注彩色图像中的纵向减速标线，得到目标训练样本；
基于目标检测网络对所述目标训练样本进行训练，得到纵向减速标线目标检测模型；
基于纵向减速标线目标检测模型获取包含纵向减速标线的目标彩色图像中，对检测到的同一纵向减速标线的前后目标彩色图像进行过滤，保留离三维点云轨迹点最近的目标彩色图像。
5.根据权利要求4所述的高精度地图制作中纵向减速标线自动提取方法，其特征在于，对检测到的同一纵向减速标线的前后目标彩色图像进行过滤，具体包括：
对当前三维点云轨迹点的目标彩色图像中的目标纵向减速标线，通过卡尔曼滤波器预测下一个三维点云轨迹点中的纵向减速标线的状态和协方差，使用余弦距离或者结构相似性SSIM对前后三维点云轨迹点中的纵向减速标线进行相似性度量，使用匈牙利算法关联检测框到纵向减速标线；
将前后多个三维点云轨迹点的目标彩色图像中关联的同一纵向减速标线进行过滤，保留最大纵向减速标线对应的目标彩色图像。
6.根据权利要求1所述的高精度地图制作中纵向减速标线自动提取方法，其特征在于，并通过语义分割网络进行纵向减速标线的精提取，具体包括：
查找包含目标彩色图像对应的三维点云轨迹点，沿着轨迹方向取该三维点云轨迹点前后设定区域的激光点云数据；
对所述激光点云区域数据，沿着车道轨迹方向，以三维点云轨迹点为中心，取前后左右预设距离的区域进行切块处理，得到固定长宽的矩形块；
以俯视道路的方向，将切成的矩形块以正射投影的方式，将矩形块投影成固定大小的点云投影图像；
收集点云投影图像样本，并对纵向减速标线进行样本标注，训练纵向减速标线语义分割模型；
基于纵向减速标线语义分割模型预测点云投影图像，获取点云投影图像中的纵向减速标线mask图像。
7.根据权利要求6所述的高精度地图制作中纵向减速标线自动提取方法，其特征在于，获取纵向减速标线的内侧线，具体包括：
根据分割得到纵向减速标线mask图像获取纵向减速标线的轮廓，得到单个纵向减速标线的x方向和y方向的最大最小x，y坐标值，获取轮廓内像素的ymin和ymax；
以[ymin,ymax]区域以及预设像素间隔获取间断多个y值点，查找轮廓区域内等于y的所有的点，找到最左边最右边的坐标值，并计算宽度，如果宽度不符合设置的阈值，则舍弃该点；
计算得到单个纵向减速标线的左右线以及中线；并根据x坐标值得大小判断轮廓的左右线；根据纵向减速标线的特征过滤非纵向减速标线内侧线的左右线，保留纵向减速标线内侧线；并基于最小二乘法，对左右线局部进行平滑处理，得到纵向减速标线内侧线。
8.一种高精度地图制作中纵向减速标线自动提取装置，其特征在于，包括：
采集模块，用于获取道路交通的三维点云轨迹点对应的彩色图像；
纵向减速标线目标检测模型，用于基于彩色图像和已训练的纵向减速标线目标检测模型，提取纵向减速标线所在的目标彩色图像；
纵向减速标线提取模块，用于获取目标彩色图像对应的目标三维点云轨迹点，将目标三维点云轨迹点投影成二维点云投影图像，并通过语义分割网络进行纵向减速标线的精提取，获取纵向减速标线的内侧线。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述高精度地图制作中纵向减速标线自动提取方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述高精度地图制作中纵向减速标线自动提取方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911406241.5A CN111192311B (zh) | 2019-12-31 | 2019-12-31 | 一种高精度地图制作中纵向减速标线自动提取方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911406241.5A CN111192311B (zh) | 2019-12-31 | 2019-12-31 | 一种高精度地图制作中纵向减速标线自动提取方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111192311A true CN111192311A (zh) | 2020-05-22 |
| CN111192311B CN111192311B (zh) | 2022-05-17 |
Family
ID=70710507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911406241.5A Active CN111192311B (zh) | 2019-12-31 | 2019-12-31 | 一种高精度地图制作中纵向减速标线自动提取方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111192311B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111695486A (zh) * | 2020-06-08 | 2020-09-22 | 武汉中海庭数据技术有限公司 | 一种基于点云的高精度方向标志牌目标提取方法 |
| CN111881752A (zh) * | 2020-06-27 | 2020-11-03 | 武汉中海庭数据技术有限公司 | 一种护栏检测分类方法、装置、电子设备及存储介质 |
| CN111881790A (zh) * | 2020-07-14 | 2020-11-03 | 武汉中海庭数据技术有限公司 | 一种高精度地图制作中道路人行横道自动化提取方法和装置 |
| CN112258519A (zh) * | 2020-10-12 | 2021-01-22 | 武汉中海庭数据技术有限公司 | 一种高精度地图制作中道路的让行线自动化提取方法及装置 |
| CN112258595A (zh) * | 2020-10-26 | 2021-01-22 | 武汉中海庭数据技术有限公司 | 一种用于横向减速标线置信度评估的方法及系统 |
| CN112257725A (zh) * | 2020-10-26 | 2021-01-22 | 武汉中海庭数据技术有限公司 | 一种路缘石提取的置信度评估方法及系统 |
| CN112434707A (zh) * | 2020-11-14 | 2021-03-02 | 武汉中海庭数据技术有限公司 | 一种交通路口rpp点自动提取方法及装置 |
| CN112686089A (zh) * | 2020-10-10 | 2021-04-20 | 星际空间（天津）科技发展有限公司 | 道路信息智能化自动提取方法 |
| CN112733640A (zh) * | 2020-12-29 | 2021-04-30 | 武汉中海庭数据技术有限公司 | 基于点云高精度地图的交通指示灯定位提取方法及系统 |
| CN113191459A (zh) * | 2021-05-27 | 2021-07-30 | 山东高速建设管理集团有限公司 | 一种基于路侧激光雷达的在途目标分类方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104766058A (zh) * | 2015-03-31 | 2015-07-08 | 百度在线网络技术（北京）有限公司 | 一种获取车道线的方法和装置 |
| CN109271861A (zh) * | 2018-08-15 | 2019-01-25 | 武汉中海庭数据技术有限公司 | 多尺度融合的点云交通标识牌自动提取方法 |
| US20190163989A1 (en) * | 2017-11-27 | 2019-05-30 | TuSimple | System and method for large-scale lane marking detection using multimodal sensor data |
| CN109858374A (zh) * | 2018-12-31 | 2019-06-07 | 武汉中海庭数据技术有限公司 | 高精度地图制作中箭头类标线自动提取方法和装置 |
| CN110136182A (zh) * | 2019-05-28 | 2019-08-16 | 北京百度网讯科技有限公司 | 激光点云与2d影像的配准方法、装置、设备和介质 |
| CN110160502A (zh) * | 2018-10-12 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 地图要素提取方法、装置及服务器 |
-
2019
- 2019-12-31 CN CN201911406241.5A patent/CN111192311B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104766058A (zh) * | 2015-03-31 | 2015-07-08 | 百度在线网络技术（北京）有限公司 | 一种获取车道线的方法和装置 |
| US20190163989A1 (en) * | 2017-11-27 | 2019-05-30 | TuSimple | System and method for large-scale lane marking detection using multimodal sensor data |
| CN109271861A (zh) * | 2018-08-15 | 2019-01-25 | 武汉中海庭数据技术有限公司 | 多尺度融合的点云交通标识牌自动提取方法 |
| CN110160502A (zh) * | 2018-10-12 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 地图要素提取方法、装置及服务器 |
| CN109858374A (zh) * | 2018-12-31 | 2019-06-07 | 武汉中海庭数据技术有限公司 | 高精度地图制作中箭头类标线自动提取方法和装置 |
| CN110136182A (zh) * | 2019-05-28 | 2019-08-16 | 北京百度网讯科技有限公司 | 激光点云与2d影像的配准方法、装置、设备和介质 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111695486B (zh) * | 2020-06-08 | 2022-07-01 | 武汉中海庭数据技术有限公司 | 一种基于点云的高精度方向标志牌目标提取方法 |
| CN111695486A (zh) * | 2020-06-08 | 2020-09-22 | 武汉中海庭数据技术有限公司 | 一种基于点云的高精度方向标志牌目标提取方法 |
| CN111881752A (zh) * | 2020-06-27 | 2020-11-03 | 武汉中海庭数据技术有限公司 | 一种护栏检测分类方法、装置、电子设备及存储介质 |
| CN111881790A (zh) * | 2020-07-14 | 2020-11-03 | 武汉中海庭数据技术有限公司 | 一种高精度地图制作中道路人行横道自动化提取方法和装置 |
| CN112686089A (zh) * | 2020-10-10 | 2021-04-20 | 星际空间（天津）科技发展有限公司 | 道路信息智能化自动提取方法 |
| CN112686089B (zh) * | 2020-10-10 | 2023-06-13 | 星际空间（天津）科技发展有限公司 | 道路信息智能化自动提取方法 |
| CN112258519A (zh) * | 2020-10-12 | 2021-01-22 | 武汉中海庭数据技术有限公司 | 一种高精度地图制作中道路的让行线自动化提取方法及装置 |
| CN112258519B (zh) * | 2020-10-12 | 2022-09-20 | 武汉中海庭数据技术有限公司 | 一种高精度地图制作中道路的让行线自动化提取方法及装置 |
| CN112258595A (zh) * | 2020-10-26 | 2021-01-22 | 武汉中海庭数据技术有限公司 | 一种用于横向减速标线置信度评估的方法及系统 |
| CN112257725A (zh) * | 2020-10-26 | 2021-01-22 | 武汉中海庭数据技术有限公司 | 一种路缘石提取的置信度评估方法及系统 |
| CN112434707A (zh) * | 2020-11-14 | 2021-03-02 | 武汉中海庭数据技术有限公司 | 一种交通路口rpp点自动提取方法及装置 |
| CN112733640A (zh) * | 2020-12-29 | 2021-04-30 | 武汉中海庭数据技术有限公司 | 基于点云高精度地图的交通指示灯定位提取方法及系统 |
| CN113191459B (zh) * | 2021-05-27 | 2022-09-09 | 山东高速建设管理集团有限公司 | 一种基于路侧激光雷达的在途目标分类方法 |
| CN113191459A (zh) * | 2021-05-27 | 2021-07-30 | 山东高速建设管理集团有限公司 | 一种基于路侧激光雷达的在途目标分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111192311B (zh) | 2022-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111192311B (zh) | 一种高精度地图制作中纵向减速标线自动提取方法和装置 | |
| CN110443225B (zh) | 一种基于特征像素统计的虚实车道线识别方法及其装置 | |
| CN111881790B (zh) | 一种高精度地图制作中道路人行横道自动化提取方法和装置 | |
| WO2018133851A1 (zh) | 一种点云数据处理方法、装置及计算机存储介质 | |
| CN111220993B (zh) | 目标场景定位方法、装置、计算机设备和存储介质 | |
| CN105300403B (zh) | 一种基于双目视觉的车辆里程计算法 | |
| CN110705458B (zh) | 边界检测方法及装置 | |
| CN110320531B (zh) | 基于激光雷达的障碍物识别方法、地图创建方法及装置 | |
| CN111595357B (zh) | 可视化界面的显示方法、装置、电子设备和存储介质 | |
| CN108133484B (zh) | 基于场景分割的自动驾驶处理方法及装置、计算设备 | |
| CN111582079A (zh) | 基于计算机视觉的车道定位方法及装置 | |
| CN109858374B (zh) | 高精度地图制作中箭头类标线自动提取方法和装置 | |
| CN111209780A (zh) | 车道线属性检测方法、装置、电子设备及可读存储介质 | |
| Labayrade et al. | A reliable and robust lane detection system based on the parallel use of three algorithms for driving safety assistance | |
| CN109829395A (zh) | 基于无人车的数据处理方法、装置、设备以及存储介质 | |
| CN117576652B (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
| CN113029187A (zh) | 融合adas精细感知数据的车道级导航方法与系统 | |
| CN111089598B (zh) | 一种基于icciu的车道级车载实时地图匹配方法 | |
| CN115205803A (zh) | 自动驾驶环境感知方法、介质及车辆 | |
| CN114248778A (zh) | 移动设备的定位方法和定位装置 | |
| CN112381876B (zh) | 一种交通标志标注方法、装置及计算机设备 | |
| CN112507887B (zh) | 一种路口标志牌提取及关联的方法及装置 | |
| CN114120266A (zh) | 车辆变道检测方法、装置、电子设备及存储介质 | |
| CN113212452A (zh) | 无人驾驶车辆的控制方法及控制装置、无人驾驶车辆 | |
| CN112070839A (zh) | 一种对后方车辆横纵向定位测距方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |