CN114863380A - 车道线识别方法、装置及电子设备 - Google Patents
车道线识别方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114863380A CN114863380A CN202210780855.5A CN202210780855A CN114863380A CN 114863380 A CN114863380 A CN 114863380A CN 202210780855 A CN202210780855 A CN 202210780855A CN 114863380 A CN114863380 A CN 114863380A
- Authority
- CN
- China
- Prior art keywords
- lane line
- initial
- vector data
- image
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及高精地图技术领域,提供一种车道线识别方法、装置及电子设备。该方法包括:获取目标路段的可见光图像,以及,点云图像;对可见光图像和点云图像分别进行语义分割,得到可见光图像对应的车道线图像,以及,点云图像对应的车道线图像;对可见光图像对应的车道线图像和点云图像对应的车道线图像,分别进行矢量数据化处理,得到可见光图像的初始车道线矢量数据和点云图像的初始车道线矢量数据;根据可见光图像的初始车道线矢量数据和点云图像的初始车道线矢量数据,识别目标路段的虚线车道线。本申请提高了车道线识别的准确性和效率。
Description
技术领域
本申请涉及高精地图技术领域,尤其涉及一种车道线识别方法、装置及电子设备。
背景技术
智能驾驶成为车辆的主要发展方向,为满足智能驾驶的需求,电子地图也在从目前的普通地图向高精地图演进。
与普通地图相比,高精地图表达的现实世界的地理要素更加全面并且位置精度也更高。比如,高精地图在表达道路时会表达道路的车道信息(如车道的行驶方向、车道线的类型等)。以车道线的类型为例,在智能驾驶场景下,车道线的类型可以作为智能驾驶决策系统确定车辆是否能够自动进行变道行驶的驾驶决策参数之一,具体地:车道线的类型有实线和虚线,通常虚线可变道,实线不可变道。
由上述记载可知,高精地图表达的地理要素需要参与智能驾驶决策,因此,为保证智能驾驶的安全性,高精地图表达的地理要素的准确性是至关重要。而如何高效且准确地获得高精地图表达的相应地理要素的信息,比如车道线的类型,是本领域技术人员需要解决的问题。
发明内容
本申请提供一种车道线识别方法、装置及电子设备,以提高车道线识别的准确性和效率。
第一方面,本申请提供一种车道线识别方法,所述方法包括:
获取目标路段的可见光图像,以及,点云图像;
对所述可见光图像和所述点云图像分别进行语义分割,得到所述可见光图像对应的车道线图像,以及,所述点云图像对应的车道线图像;
对所述可见光图像对应的车道线图像和所述点云图像对应的车道线图像,分别进行矢量数据化处理,得到所述可见光图像的初始车道线矢量数据和所述点云图像的初始车道线矢量数据;
根据所述可见光图像的初始车道线矢量数据和所述点云图像的初始车道线矢量数据,识别所述目标路段的虚线车道线。
第二方面,本申请提供一种车道线识别装置,所述装置包括:
获取模块,用于获取目标路段的可见光图像,以及,点云图像;
处理模块,用于对所述可见光图像和所述点云图像分别进行语义分割,得到所述可见光图像对应的车道线图像,以及,所述点云图像对应的车道线图像;对所述可见光图像对应的车道线图像和所述点云图像对应的车道线图像,分别进行矢量数据化处理,得到所述可见光图像的初始车道线矢量数据和所述点云图像的初始车道线矢量数据;根据所述可见光图像的初始车道线矢量数据和所述点云图像的初始车道线矢量数据,识别所述目标路段的虚线车道线。
第三方面,本申请提供一种电子设备,所述电子设备包括存储器和处理器,所述存储器用于存储一组计算机指令;
所述处理器执行所述存储器存储的一组计算机指令,以执行上述第一方面中任一项所述的方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机执行指令,当所述计算机执行指令被处理器执行时,实现第一方面任一项所述的方法。
第五方面,本申请提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现第一方面任一项所述的方法。
本申请提供的车道线识别方法、装置及电子设备,分别对目标路段的可见光图像和点云图像,进行语义分割,得到各图像对应的车道线图像。基于各图像对应的车道线图像,可以得到可见光图像的初始车道线矢量数据和点云图像的初始车道线矢量数据。通过上述方法,使得后续对目标路段的车道线进行识别时,可以仅基于各个图像对应的初始车道线矢量数据进行处理,减少了计算量,提高了车道线识别的效率。然后,通过结合目标路段的可见光图像和点云图像,确定目标路段的车道线的类型,相较于现有技术中仅通过一种图像来确定车道线类型,本申请融合了目标路段的多源信息,降低了对点云图像精度的要求,且提高了可见光图像的鲁棒性,且不需人工标定车道线的类型,进而提高了车道线识别的效率和准确性。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为一种地图数据的应用场景示意图;
图2为本申请提供的一种地图数据处理系统的应用场景示意图;
图3为本申请提供的另一种地图数据处理系统的应用场景示意图;
图4为部署有地图数据处理系统的电子设备10的硬件结构示意图;
图5为本申请提供的一种车道线识别方法的流程示意图;
图5a为本申请提供的一种单帧图像的初始车道线矢量数据的示意图;
图6为本申请提供的一种获取目标路段的可见光图像和点云图像的方法流程示意图;
图6a为本申请提供的一种地图数据采集场景的示意图;
图7a为本申请提供的一种获取可见光图像的初始车道线矢量数据的方法流程示意图;
图7b为本申请提供的一种获取点云图像的初始车道线矢量数据的方法流程示意图;
图8为本申请提供的一种识别目标路段的虚线车道线的方法流程示意图;
图8a为本申请提供的一种根据所有初始车道线矢量数据得到的多簇初始车道线矢量数据的示意图;
图9为本申请提供的一种获取目标路段的车道线各虚线段端点的目标坐标的方法流程示意图;
图10为本申请提供的一种车道线虚线示意图;
图11为本申请提供的一种车道线识别装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面首先对本申请涉及到的部分名字概念进行解释:
可见光图像:可见光是人眼看得见的波长范围。可见光图像是是在可见光波长范围内拍摄的图像。在一些实施例中,可见光图像也可以称为相机图像、视觉图像等。
激光点云图像:激光点云图像是由激光雷达传感器采集到的图像。例如,激光雷达可以将激光束按照预设轨迹进行扫描,可以边扫描边记录目标路段反射的激光点信息,进而可以得到激光点云图像。
点云栅格图像:对上述激光点云图像进行仿射变换得到的二维图像。
车道线虚线:道路中的单白虚线、单黄虚线、短粗虚线等均可以作为虚线类型的车道线。
世界坐标系:世界坐标系为三维坐标系,三个维度分别对应经度、纬度、以及,海拔高度。
示例性的,图1为一种地图数据的应用场景示意图。如图1所示,以智能驾驶场景为例,车辆可以根据车辆当前位置,以及,该当前位置对应的地图数据中包括的车道线的类型,确定车辆是否能够进行变道。例如通常若车道线为虚线,则可以变道。若车道线为实线,则不可变道。因此,为了保障智能驾驶的安全性,提高地图数据中车道线类型的准确性是至关重要的。应理解,上述智能驾驶可以包括:辅助驾驶、高级辅助驾驶,以及,自动驾驶。
目前,现有的车道线识别方法主要可以分为:人工标定车道线类型,和,车道线类型的自动识别。
其中,人工标定车道线类型的方式主要是:人工观察包括目标路段的图像,判断该图像中属于车道线的像素点,并区分出车道线类型为虚线车道线,还是实线车道线。在通过该方式确定车道线类型时,需要人工对海量的图像进行地毯式的搜查。因此,该通过人工标定车道线类型的方式耗时较长,效率较低。
现有的车道线类型自动识别方法主要有以下两种:
1、基于可见光图像的车道线自动识别方法。在基于该方法进行车道线识别时,需要通过车道线在该可见光图像中的灰度和梯度信息分割出车道线,以及,通过大量的数据训练车道线类型识别模型,以识别出虚线车道线和实线车道线。因此,使用该方法进行车道线识别的效率较低。此外,该方法对道路中遮挡、光照、水渍等情况的鲁棒性较差,导致使用该方法进行车道线识别的准确性较低。
2、基于激光点云栅格图像的车道线自动识别方法。在基于该方法进行车道线识别时,需要先获取目标路段的激光点云图像,并结合目标路段的反射率信息得到分割的目标路段边缘位置信息。然而,在使用该方法进行车道线识别时,若激光雷达传感器采集的激光点云图像为稀疏点云,则可能导致激光点云图像的精度较低,进而导致使用该方法进行车道线识别的准确性也较低。若激光雷达传感器采集的激光点云图像为密集点云,则可能导致基于该密集激光点云图像进行车道线识别的效率较低。
考虑到现有的车道线识别方法存在上述效率和准确性均较低的问题,因此,本申请提出了一种结合目标路段的多源信息,对目标路段的虚线车道线进行自动化车道线识别方法。其中,上述多源信息可以包括目标路段的可见光图像和点云图像。通过上述方法,不需人工对车道线类型进行标定,进而提高了确定车道线类型的效率。通过结合目标路段的可见光图像和点云图像,可以降低对点云图像精度的要求,且提高了可见光图像的鲁棒性,进而可以提高确定目标路段的车道线类型的效率和准确性。
应理解,本申请对上述车道线识别方法的应用场景并不进行限定。示例性的,该车道线识别方法可以用于获取地图数据,或者,智能驾驶等场景。
此外,应理解,本申请对该车道线识别方法的执行主体也不进行限定。可选的,该车道线识别方法的执行主体可以为一地图数据处理系统。应理解,本申请对该地图数据处理系统除了可以用于提供地图数据处理服务,是否还可以提供其他服务并不进行限定。
或者,在一些实施例中,该车道线识别方法的执行主体还可以为能够进行智能驾驶的车辆。在该实现方式下,该车辆上例如可以设置有用于采集目标路段的可见光图像和激光点云图像的资料采集装置。然后,该车辆可以在智能驾驶中执行上述车道线识别方法,以根据该车道线识别结果进行路径规划、自动变道等智能驾驶操作。
下面以该车道线识别方法的执行主体为一地图数据处理系统为例,图2为本申请提供的一种地图数据处理系统的应用场景示意图,如图2所示,在一种实施例中,地图数据处理系统可全部部署在云环境中。云环境是云计算模式下利用基础资源向用户提供云服务的实体。云环境包括云数据中心和云服务平台,所述云数据中心包括云服务提供商拥有的大量基础资源(包括计算资源、存储资源和网络资源),云数据中心包括的计算资源可以是大量的电子设备(例如服务器)。例如,以云数据中心包括的计算资源是运行有虚拟机的服务器为例,地图数据处理系统可以独立地部署在云数据中心中的服务器或虚拟机上,地图数据处理系统也可以分布式地部署在云数据中心中的多台服务器上、或者分布式地部署在云数据中心中的多台虚拟机上、再或者分布式地部署在云数据中心中的服务器和虚拟机上。如图2所示,云环境可以利用部署在云数据中心的地图数据处理系统向用户提供地图数据处理服务。
图3为本申请提供的另一种地图数据处理系统的应用场景示意图,本申请提供的地图数据处理系统的部署较为灵活,如图3所示,在另一种实施例中,本申请提供的地图数据处理系统还可以分布式地部署在不同的环境中。本申请提供的地图数据处理系统可以在逻辑上分成多个部分,每个部分具有不同的功能。地图数据处理系统中的各部分可以分别部署在终端电子设备(位于用户侧)、边缘环境和云环境中的任意两个或三个中。位于用户侧的终端电子设备例如可以包括下述至少一种:终端服务器、智能手机、笔记本电脑、平板电脑、个人台式电脑等。边缘环境为包括距离终端电子设备较近的边缘电子设备集合的环境,边缘电子设备包括:边缘服务器、拥有计算力的边缘小站等。部署在不同环境或设备的地图数据处理系统的各个部分协同实现为用户提供自动车道线识别的功能。应理解,本申请不对地图数据处理系统的哪些部分部署具体部署在什么环境进行限制性的划分,实际应用时可根据终端电子设备的计算能力、边缘环境和云环境的资源占有情况或具体应用需求进行适应性的部署。图3是以地图数据处理系统分别部署在边缘环境和云环境为例的应用场景示意图。
地图数据处理系统也可以单独部署在任意环境中的一个电子设备上(例如:单独部署在边缘环境的一个边缘服务器上)。图4为部署有地图数据处理系统的电子设备10的硬件结构示意图,图4所示的电子设备10包括存储器11、处理器12、通信接口13。存储器11、处理器12、通信接口13之间彼此通信连接。例如,存储器11、处理器12、通信接口13之间可以采用网络连接的方式,实现通信连接。或者,上述电子设备10还可以包括总线14。存储器11、处理器12、通信接口13通过总线14实现彼此之间的通信连接。图4是以存储器11、处理器12、通信接口13通过总线14实现彼此之间的通信连接的电子设备10。
存储器11可以是只读存储器(Read Only Memory,ROM),静态存储设备,动态存储设备或者随机存取存储器(Random Access Memory,RAM)。存储器11可以存储程序,当存储器11中存储的程序被处理器12执行时,处理器12和通信接口13用于执行地图数据处理系统为车道线识别的方法。
处理器12可以采用通用的CPU,微处理器,应用专用集成电路(ApplicationSpecific Integrated Circuit,ASIC),图形处理器(graphics processing unit,GPU)或者一个或多个集成电路。
处理器12还可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,本申请的地图数据处理系统的功能可以通过处理器12中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器12还可以是通用处理器、数字信号处理器(digital signalprocessing,DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gatearray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请下文实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请下文实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器11,处理器12读取存储器11中的信息,结合其硬件完成本申请的地图数据处理系统的功能。
通信接口13使用例如但不限于收发器一类的收发模块,来实现电子设备10与其他设备或通信网络之间的通信。例如,可以通过通信接口13获取数据集。
当上述电子设备10包括总线14时,总线14可包括在电子设备10各个部件(例如,存储器11、处理器12、通信接口13)之间传送信息的通路。
下面仍然以车道线识别方法的执行主体为地图数据处理系统为例,结合具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图5为本申请提供的一种车道线识别方法的流程示意图。如图5所示,该方法包括以下步骤:
S101、获取目标路段的可见光图像,以及,点云图像。
其中,上述可见光图像和点云图像为基于资料采集装置在一次采集过程中针对目标路段采集的资料数据得到的。在一些实施例中,目标路段采集的资料数据可以包括:图像数据和点云数据。其中,点云图像可以是根据点云数据生成的,可见光图像是从相机拍摄的图像数据中获取的。该资料采集装置可以至少包括激光雷达和相机。其中,点云数据可以是激光雷达采集的。上述可见光图像和点云图像可以均为二维图像。示例性的,该点云图像例如可以为点云栅格图像。
可选的,地图数据处理系统可以通过API,或者GUI等接受用户输入的上述目标路段的可见光图像,以及,点云图像。或者,以车道线识别方法的执行主体为智能驾驶车辆为例,该智能驾驶车辆可以与资料采集装置连接,以接收该资料采集装置采集的目标路段的可见光图像和激光点云数据,并基于该激光点云数据,获取该目标路段的点云图像。
应理解,本申请对地图数据处理系统获取的目标路段的可见光图像的数量,以及,目标路段的点云图像的数量均不及进行限定。
S102、对可见光图像和点云图像分别进行语义分割,得到可见光图像对应的车道线图像,以及,点云图像对应的车道线图像。
其中,可选的,上述可见光图像对应的车道线图像中包括:基于该可见光图像,确定的用于表示该目标路段中的车道线的各个像素点。上述点云图像对应的车道线图像中包括:基于该点云图像,确定的用于表示该目标路段中的车道线的各个像素点。
可选的,地图数据处理系统可以通过预先存储的可见光图像语义分割模型,对可见光图像进行语义分割,以及,通过预先存储的点云图像语义分割模型,对点云图像进行语义分割。其中,上述可见光图像语义分割模型可以是使用多个样本可见光图像训练第一预设模型得到。上述点云图像语义分割模型可以是使用多个样本点云图像训练第二预设模型得到。应理解,上述第一预设模型与第二预设模型可以为相同的模型,也可以为不同的模型。例如,该第一预设模型与第二预设模型可以均为卷积神经网络模型。
S103、对可见光图像对应的车道线图像和点云图像对应的车道线图像,分别进行矢量数据化处理,得到可见光图像的初始车道线矢量数据和点云图像的初始车道线矢量数据。
可选的,上述初始车道线矢量数据可以为三维数据,也可以为二维数据。以该初始车道线矢量数据为三维数据为例,该初始车道线矢量数据为三维坐标系中的矢量数据。例如,该三维坐标系可以为世界坐标系。以该初始车道线矢量数据为二维数据为例,该初始车道线矢量数据为二维坐标系中的矢量数据。可选的,该二维坐标系的两个维度可以分别为经度和维度。
以该初始车道线矢量数据为三维数据为例,可选的,每个车道线图像对应的初始车道线矢量数据,可以用于描述该目标路段的车道线在世界坐标系中的位置。针对每个可见光图像,地图数据处理系统可以获取该车道线图像对应的至少一个初始车道线矢量数据。示例性的,以一个可见光图像对应有多个初始车道线矢量数据为例,图5a为本申请提供的一种单帧图像的初始车道线矢量数据的示意图。其中,该单帧图像可以为一帧可见光图像或者一帧点云图像。
可选的,针对任一车道线图像,地图数据处理系统例如可以先根据该车道线图像,获取该目标路段的车道线对应的多个像素点在世界坐标系中的三维坐标。然后,地图数据处理系统可以通过预设的拟合算法,对该多个像素点在世界坐标系中的三维坐标进行拟合,以获取该车道线图像的初始车道线矢量数据。
可选的,地图数据处理系统根据点云图像对应的车道线图像,对点云图像进行初始车道线矢量数据化处理,得到点云图像的初始车道线矢量数据的具体实现方式可以参照前述实施例所述的获取可见光图像的初始车道线矢量数据方法,在此不再赘述。
S104、根据可见光图像的初始车道线矢量数据和点云图像的初始车道线矢量数据,识别目标路段的虚线车道线。
示例性的,地图数据处理系统可以根据目标路段的所有可见光图像的初始车道线矢量数据和点云图像的初始车道线矢量数据,识别目标路段的虚线车道线。或者,地图数据处理系统也可以根据目标路段的一个或多个可见光图像的初始车道线矢量数据,以及,一个或多个点云图像的初始车道线矢量数据,识别目标路段的虚线车道线。
示例性的,地图数据处理系统例如可以对所有可见光图像的初始车道线矢量数据和所有点云图像的初始车道线矢量数据进行聚类,得到至少一簇初始车道线矢量数据。然后,地图数据处理系统例如可以根据得到的初始车道线矢量数据的簇的数量,确定目标路段的车道线是否虚线车道线。示例性的,地图数据处理系统例如可以将对应的簇的数量大于或等于预设数量阈值的车道线,作为虚线车道线。地图数据处理系统还可以将对应的簇的数量小于预设数量阈值的车道线,作为实线车道线。
在一些实施例中,地图数据处理系统还可以先根据所有可见光图像的初始车道线矢量数据和所有点云图像的初始车道线矢量数据,确定目标路段中车道线各线段的长度,并根据车道线各线段的长度,确定该车道线是否为目标路段的虚线车道线。
在本实施例中,分别对目标路段的可见光图像和点云图像,进行语义分割,得到各图像对应的车道线图像。基于各图像对应的车道线图像,可以得到可见光图像的初始车道线矢量数据和点云图像的初始车道线矢量数据。通过上述方法,使得后续对目标路段的车道线进行识别时,可以仅基于各个图像对应的初始车道线矢量数据进行处理,减少了计算量,提高了车道线识别的效率。然后,通过结合目标路段的可见光图像和点云图像,确定目标路段的车道线的类型,相较于现有技术中仅通过一种图像来确定车道线类型,本申请融合了目标路段的多源信息,降低了对点云图像精度的要求,且提高了可见光图像的鲁棒性,且不需人工标定车道线的类型,进而提高了车道线识别的效率和准确性。
下面对地图数据处理系统如何获取目标路段的可见光图像,以及,点云图像,进行详细说明:
图6为本申请提供的一种获取目标路段的可见光图像和点云图像的方法流程示意图。如图6所示,作为第一种可能的实现方式,前述步骤S101可以包括以下步骤:
S201、获取资料采集装置在一次采集过程中针对目标路段采集的目标路段的原始图像,以及,激光点云数据。
示例性的,图6a为本申请提供的一种地图数据采集场景的示意图。可选的,上述资料采集装置中可以设置有图像传感器和激光雷达传感器。如图6a所示,地图数据采集车在目标路段行驶时,资料采集装置中图像传感器可以采集目标路段的原始图像;激光雷达传感器可以采集的目标路段的激光点云数据。示例性的,该图像传感器例如可以为摄像头。该激光雷达传感器可以为高精度激光雷达(能够采集密集激光点云数据),也可以为低精度激光雷达(能够采集稀疏激光点云数据)。
可选的,地图数据处理系统例如可以通过第五代移动通信技术(5th GenerationMobile Communication Technology,5G)、WiFi等无线通信方式与资料采集装置连接,以获取目标路段的原始图像,以及,激光点云数据。或者,地图数据处理系统也可以通过API或者GUI等获取用户输入的资料采集装置在一次采集过程中针对目标路段采集的目标路段的原始图像,以及,激光点云数据。
S202、对原始图像进行畸变矫正和预处理,得到可见光图像。
可选的,地图数据处理系统例如可以先将该图像传感器的标定参数,以及,上述原始图像输入预设的畸变矫正算法,对该原始图像进行畸变矫正,得到畸变矫正后的图像。然后,地图数据处理系统例如可以通过预设的图像预处理算法,对该畸变矫正后的图像进行图像预处理,得到可见光图像。示例性的,地图数据处理系统例如可以通过上述预设的图像预处理算法对该畸变矫正后的图像进行下述至少一项预处理:图像增强、图像噪声过滤等。
可选的,上述预设的畸变矫正算法,以及预设的图像预处理算法可以参照任何一种现有的畸变矫正方式以及图像预处理方式,本申请在此不再赘述。
S203、从激光点云数据中获取地面点云数据。
示例性的,地图数据处理系统例如可以通过预设的高程过滤算法,对激光点云图像进行过滤,过滤去除该激光点云图像中地面点云区域之外的点云,得到过滤后的点云图像。
应理解,本申请对地图数据处理系统执行上述步骤S202和步骤S203的先后顺序并不进行限定。例如,地图数据处理系统可以先执行S202,再执行S203。或者,也可以先执行S203,再执行S202。再或者,地图数据处理系统还可以同时执行S202和S203。
S204、根据地面点云数据,以及,可见光图像的像素坐标,对地面点云数据进行坐标仿射变换,得到点云图像。
可选的,地面点云数据可以为三维数据,也可以为二维数据。地图数据处理系统例如可以先根据该地面点云数据,以及,可见光图像的像素坐标,构建仿射变换所需的变换矩阵。然后,地图数据处理系统可以使用该变换矩阵,对地面点云数据进行坐标仿射变换,得到点云图像。其中,可选的,根据该地面点云数据和可见光图像的像素坐标,构建仿射变换所需的变换矩阵的具体实现方式,以及,使用变换矩阵对地面点云数据进行坐标仿射变换的具体实现方式,可以参照任意一种现有的仿射变换方式,本申请在此不再赘述。
在本实施例中,通过在获取到目标路段的原始图像之后,对该原始图像进行畸变矫正和预处理,以获取可见光图像。通过上述方法,提高了可见光图像的准确性,进而提高了基于该可见光图像进行车道线识别的准确性。通过对的激光点云数据进行过滤,得到保留了地面点云的地面点云数据。通过上述方法,减少了地图数据处理系统后续的计算量,进一步提高地图数据处理效率。且减少了非地面点云对车道线识别的干扰,进而提高了车道线识别的准确性。
下面以初始车道线矢量数据为三维数据为例,对地图数据处理系统如何对可见光图像对应的车道线图像和点云图像对应的车道线图像,分别进行矢量数据化处理,得到可见光图像的初始车道线矢量数据和点云图像的初始车道线矢量数据,进行详细说明:
图7a为本申请提供的一种获取可见光图像的初始车道线矢量数据的方法流程示意图。如图7a所示,作为一种可能的实现方式,前述步骤S103可以包括以下步骤:
S301、对每个可见光图像对应的车道线图像的像素点进行掩膜聚类,得到每个车道线图像的车道线像素点范围。
S302、根据每个车道线图像的车道线像素点范围,获取每个可见光图像中的车道线上的至少一个像素点的三维坐标。
S303、对每个可见光图像中的车道线上的至少一个像素点的三维坐标进行拟合处理,得到每个可见光图像的初始车道线矢量数据。
在一些实施例中,如前述所说,可见光图像对应的车道线图像中包括:基于该可见光图像,确定的用于表示该目标路段中的车道线的各个像素点。地图数据处理系统通过对该车道线图像的用于表示该目标路段中的车道线的各个像素点进行掩膜(Mask)聚类,确定该车道线图像的车道线像素点范围,也就是确定图像坐标系中属于车道线的像素坐标的范围。
针对可见光图像,在一些实施例中,地图数据处理系统可以先根据点云图像对应的激光点云数据中包括的点云深度信息,将该可见光图像中的像素点投影至图像传感器的三维坐标系中,以获取该可见光图像中的像素点的三维坐标。然后,地图数据处理系统可以根据该可见光图像的车道线图像的车道线像素点范围,从该可见光图像中的像素点的三维坐标中,获取可见光图像中的车道线上的至少一个像素点的三维坐标。
可选的,地图数据处理系统具体如何根据点云的深度信息,将该可见光图像中的像素点投影至图像传感器的三维坐标系中,可以参考任何一种现有的将二维图像投影至三维相机坐标系的方法,本申请在此不再赘述。
可选的,地图数据处理系统在获取该可见光图像中的像素点的三维坐标之后,可以将各三维坐标中,三维坐标对应的图像坐标系下的二维坐标,能够在“该可见光图像对应的车道线图像的车道线像素点范围”之内的三维坐标,作为该可见光图像中的车道线上的像素点的三维坐标。
在该实现方式下,通过上述点云的深度信息,可以针对可见光图像中的任一像素点,可以在图像传感器的三维坐标系中得到该像素点对应的唯一的三维坐标,提高了地图数据处理系统获取可见光图像中各像素点的三维坐标的准确性。通过过滤后的点云图像中的点云的深度信息,确定可见光图像中的像素点的三维坐标,降低了地图数据处理系统的计算量,提高了地图数据处理的效率。
在一些实施例中,地图数据处理系统也可以根据过滤前的激光点云图像中的点云的深度信息,将该可见光图像中的像素点投影至图像传感器的三维坐标系中,以获取该可见光图像中的像素点的三维坐标。
地图数据处理系统例如可以基于奇异值分解(Singular Value Decomposition,SVD)算法,从该可见光图像中的车道线上的至少一个像素点的三维坐标中,选取目标数量个三维坐标。然后通过最小二乘法对该目标数量个三维坐标进行拟合,得到该可见光图像的初始车道线矢量数据。
图7b为本申请提供的一种获取点云图像的初始车道线矢量数据的方法流程示意图。如图7b所示,作为一种可能的实现方式,前述步骤S103可以包括以下步骤:
S304、对每个点云图像对应的车道线图像的像素点进行掩膜聚类,得到每个车道线图像的车道线像素点范围;
S305、根据每个车道线图像的车道线像素点范围,获取每个点云图像中的车道线上的至少一个像素点的三维坐标;
S306、对每个点云图像中的车道线上的至少一个像素点的三维坐标进行拟合处理,得到每个点云图像的初始车道线矢量数据。
可选的,步骤S304,以及,步骤S306的具体实现方式可以参照前述实施例中所述的S301与S303中的方法,在此不再赘述。
针对点云图像,在一些实施例中,地图数据处理系统可以将该点云图像对应的地面点云数据中各点云的三维坐标投影至二维图像坐标系,得到该各点云的二维坐标。可选的,将各点云的三维坐标投影至二维图像坐标系的具体实现方式可以参照任意一种现有的三维坐标投影成二维坐标的方法,在此不再赘述。
然后,地图数据处理系统可以根据上述各点云的二维坐标,以及,车道线图像的车道线像素点范围,获取点云图像中的车道线上的至少一个像素点的三维坐标。可选的,地图数据处理系统例如可以将在“该点云图像对应的车道线图像的车道线像素点范围”内点云的二维坐标作为目标二维坐标。然后,地图数据处理系统可以将各目标二维坐标对应的目标点云的在激光雷达坐标系下的三维坐标,通过转换矩阵,转换为世界坐标系下的三维坐标,进而得到点云图像中的车道线上的至少一个像素点的三维坐标。
其中,上述转换矩阵可以是用户预先存储在该地图数据处理系统中的,该转换矩阵可以用于将激光雷达坐标系下的三维坐标转换为世界坐标系下的三维坐标。
在该实现方式下,基于点云图像的车道线图像所划定的车道线像素点范围,实现了从点云图像中确定的车道线上的至少一个像素点的三维坐标,也就是说,实现了基于点云图像,确定用于描述车道线的至少一个像素点的三维坐标。
在本实施例中,通过对车道线图像的像素点进行掩膜聚类,可以确定车道线像素点范围,进而使得地图数据处理系统可以基于该车道线像素点范围,确定个可见光图像和每个点云图像的初始车道线矢量数据。通过上述车道线像素点范围,确定的可以用于描述可见光图像和每个点云图像中车道线的区域,而不是离散的像素点,因此可以提高确定初始车道线矢量数据的鲁棒性,进而提高了基于该初始车道线矢量数据对目标路段的车道线进行识别的准确性。
下面对地图数据处理系统如何根据所有可见光图像的初始车道线矢量数据和所有点云图像的初始车道线矢量数据,识别目标路段的虚线车道线,进行详细说明:
图8为本申请提供的一种识别目标路段的虚线车道线的方法流程示意图。如图8所示,作为一种可能的实现方式,前述步骤S104可以包括以下步骤:
S401、对所有初始车道线矢量数据进行聚类,将用于表征一段车道线段的初始车道线矢量数据聚合在一个簇中。
可选的,地图数据处理系统例如可以通过计算各初始车道线矢量数据之间在至少一个方向上的欧式距离,对所有初始车道线矢量数据进行聚类。其中,上述至少一个方向例如可以包括:平行于目标路段延伸方向的第一方向,以及,垂直于目标路段延伸方向的第二方向。示例性的,地图数据处理系统可以确定第一方向上的欧式距离小于第一预设距离阈值,且第二方向上的欧式距离小于第二预设距离阈值的初始车道线矢量数据用于表征一段车道线段,并聚合在一个簇中。
其中,上述第一预设距离阈值与第二预设距离阈值可以相同,也可以不同。在一些实施例中,上述第一预设距离阈值可以大于第二预设距离阈值,以使同一簇内的初始车道线矢量数据在第一方向上分布较长,即使得不同簇之间的距离较小,进而提高车道线的连续性。
示例性的,图8a为本申请提供的一种根据所有初始车道线矢量数据得到的多簇初始车道线矢量数据的示意图。如图8a所示,地图数据处理系统对所有可见光图像和所有点云图像的初始车道线矢量数据进行聚类,例如可以获取的三簇(如图8a中所示的第1簇、第2簇、第3簇)初始车道线矢量数据。应理解,上述初始车道线矢量数据可以均为三维坐标系中的矢量数据,也可以为三维坐标系中的矢量数据,图8a以及前述图5a均为一种矢量数据示意图,并不是限定该初始车道线矢量数据为二维矢量数据还是三维矢量数据。
S402、对同一个簇中的初始车道线矢量数据进行拟合,得到该簇对应的至少一个车道线段矢量数据。
其中,车道线段矢量数据中属于同一条车道线的数据首尾相连可用于表征该条车道线。
可选的,不同簇对应的车道线段矢量数据的数量可以相同,也可以不同。示例性的,以图8a所示的多簇初始车道线矢量数据为例,第1簇初始车道线矢量数据例如可以对应车道线段矢量数据1,第2簇初始车道线矢量数据例如可以对应车道线段矢量数据2和车道线段矢量数据3,第3簇初始车道线矢量数据例如可以对应车道线段矢量数据4。该车道线段矢量数据1、车道线车道线段矢量数据2、车道线段矢量数据3,以及车道线段矢量数据4首尾相连可以用于表征车道线1。
可选的,地图数据处理系统例如可以先构建每簇对应的车道线的主方向,然后基于每簇对应的车道线的主方向,对每簇初始车道线矢量数据进行拟合处理,以得到每簇对应的至少一个车道线段矢量数据。
示例性的,针对每簇初始车道线矢量数据,地图数据处理系统例如可以将该簇初始车道线矢量数据输入主成分分析(Principal Component Analysis,PCA)算法,得到该簇对应的车道线的主方向。然后,地图数据处理系统可以将该簇对应的车道线的主方向,作为拟合算法的约束条件,通过该拟合算法对该簇初始车道线矢量数据进行拟合处理,得到该簇对应的至少一个车道线段矢量数据。其中,示例性的,该拟合算法例如可以为最小二乘拟合算法。
S403、根据每簇对应的至少一个车道线段矢量数据,识别目标路段的虚线车道线。
其中,地图数据处理系统可以根据每簇初始车道线矢量数据对应的至少一个车道线段矢量数据,先确定每簇初始车道线矢量数据所表征的车道线段的起点与终点之间的距离,然后根据该起点与终点之间的距离确定该簇初始车道线矢量数据所描述的这段车道线的长度。通过多段车道线的长度,地图数据处理系统可以确定该车道线是否为虚线车道线。
在本实施例中,通过对所有初始化车道线段矢量数据进行聚类,得到多簇初始车道线矢量数据,并对每簇初始车道线矢量数据进行拟合,得到每簇对应的至少一个车道线段矢量数据,实现了融合可见光图像与点云图像对应的初始化车道线段矢量数据。基于上述车道线段矢量数据,可以对目标路段的车道线类型进行识别。实现了基于目标路段的多源信息,识别车道线的类型。
下面对地图数据处理系统如何根据每簇对应的至少一个车道线段矢量数据,识别目标路段的虚线车道线,进行详细说明。作为第一种可能的实现方式,前述步骤S403可以包括以下步骤:
步骤1、针对每簇初始车道线矢量数据,按照预设窗口大小,沿该簇对应的车道线段矢量数据所指方向进行滑窗,以从该簇初始车道线矢量数据中得到至少一个第一初始车道线矢量数据,以及,至少一个第二初始车道线矢量数据。
其中,上述第一初始车道线矢量数据位于每簇对应的车道线段的起点附近。上述第二初始车道线矢量数据位于每簇对应的车道线段的终点附近。
可选的,上述预设窗口大小例如可以为预先存储在该地图数据处理系统中。以上述初始车道线矢量数据为三维数据为例,则该预设窗口可以为三维窗口。应理解,本申请对该窗口的形状并不进行限定。例如,该窗口可以为正方体、长方体,或者球形等。以上述初始车道线矢量数据为二维数据为例,则该预设窗口可以为二维窗口。
示例性的,如图8a所示,以第1簇初始车道线矢量数据为例,沿车道线段矢量数据1所指方向进行滑窗,可以在预设窗口大小范围中确定多个第一初始车道线矢量数据,以及,多个第二初始车道线矢量数据。
步骤2、根据至少一个第一初始车道线矢量数据的深度信息,从至少一个第一初始车道线矢量数据中确定目标第一初始车道线矢量数据。
可选的,针对任一第一初始车道线矢量数据,地图数据处理系统可以先获取该第一初始车道线矢量数据的起点坐标。然后,以该第一初始车道线矢量数据为基于可见光图像确定的车道线段矢量数据为例,则地图数据处理系统可以根据该第一初始车道线矢量数据的起点坐标,计算该的第一初始车道线矢量数据的起点到图像传感器的距离,并将该距离作为该第一初始车道线矢量数据的深度。以该第一初始车道线矢量数据为基于激光点云图像确定的车道线段矢量数据为例,则地图数据处理系统可以根据该第一初始车道线矢量数据的起点坐标,计算该的第一初始车道线矢量数据的起点到激光雷达传感器的距离,并将该距离作为该第一初始车道线矢量数据的深度。
或者,考虑到图像传感器和激光雷达传感器可以集成在同一资料采集装置,地图数据处理系统可以根据该第一初始车道线矢量数据的起点坐标,计算该的第一初始车道线矢量数据的起点到图像传感器或者激光雷达传感器的距离,并将该距离作为该第一初始车道线矢量数据的深度。
应理解,本申请对地图数据处理系统如何根据该第一初始车道线矢量数据的起点坐标,计算该的第一初始车道线矢量数据的起点到资料采集装置的距离,并不进行限定。可选的,可以参照任意一种现有的计算图像深度信息的方法,本申请在此不再赘述。
可选的,在获取各第一初始车道线矢量数据的深度信息之后,地图数据处理系统可以获取各第一初始车道线矢量数据的深度与预设深度值的差的绝对值。其中,该预设深度值可以为用户预先存储在该地图数据处理系统中的。可选的,因为图像传感器或者激光雷达传感器在进行地图数据采集时,距离被拍摄物的距离不同时,根据拍摄得到的图像确定该被拍摄物的坐标的准确性存在差异。因此,该预设深度值可以为用户通过线下实验标定确定的,能够使得被拍摄物的坐标准确性较高的深度值。
因此,可选的,第一初始车道线矢量数据的深度与预设深度值的差的绝对值越小,地图数据处理系统可以确定该第一初始车道线矢量数据的准确性越高,则地图数据处理系统可以将该至少一个第一初始车道线矢量数据中,深度与预设深度值的差的绝对值最小的第一初始车道线矢量数据,作为目标第一初始车道线矢量数据。
步骤3、将目标第一初始车道线矢量数据的起点作为该簇初始车道线矢量数据所表征的车道线段的起点。
如图8a为例,假定目标第一初始车道线矢量数据为第一初始车道线矢量数据1,则地图数据处理系统可以将该第一初始车道线矢量数据1起点作为该第1簇初始车道线矢量数据所表征的车道线段的起点。
步骤4、根据至少一个第二初始车道线矢量数据的深度信息,从至少一个第二初始车道线矢量数据中确定目标第二初始车道线矢量数据。
可选的,针对任一第二初始车道线矢量数据,地图数据处理系统可以先获取该第二初始车道线矢量数据的终点坐标。可选的,地图数据处理系统根据该终点坐标获取该第二初始车道线矢量数据的深度信息的方式可以参照上述步骤2所述的根据第一初始车道线矢量数据的起点坐标,获取第一初始车道线矢量数据的深度信息的方法,在此不再赘述。
可选的,在获取各第二初始车道线矢量数据的深度信息之后,地图数据处理系统可以获取各第二初始车道线矢量数据的深度与预设深度值的差的绝对值。可选的,地图数据处理系统可以将该至少一个第二初始车道线矢量数据中,深度与预设深度值的差的绝对值最小的第二初始车道线矢量数据,作为目标第二初始车道线矢量数据。
步骤5、将目标第二初始车道线矢量数据的终点作为该簇初始车道线矢量数据所表征的车道线段的终点。
仍然以图8a为例,假定目标第二初始车道线矢量数据为第二初始车道线矢量数据1,则地图数据处理系统可以将该第二初始车道线矢量数据1终点作为该第1簇初始车道线矢量数据所表征的车道线段的终点。
应理解,本申请对地图数据处理系统执行上述步骤2和3,以及,步骤4和5的先后顺序并不进行限定。
步骤6、根据至少一簇初始车道线矢量数据所表征的车道线段的起点与终点之间的距离,识别目标路段的虚线车道线。
在一些实施例中,数据处理系统可以根据至少一簇初始车道线矢量数据所表征的车道线段的起点与终点,获取第一长度和第二长度。其中,第一长度为任一簇初始车道线矢量数据所表征的车道线段的距离。第二长度为任一簇初始车道线矢量数据所表征的车道线段的终点,与其具有连通关系的下游车道线段的起点之间的距离。以图8a为例,第1簇初始车道线矢量数据所表征的车道线段的起点与终点之间的距离可以作为第一长度。第1簇初始车道线矢量数据所表征的车道线段的终点,与,第2簇初始车道线矢量数据所表征的车道线段的起点之间的距离可以作为第二长度。
然后,可选的,地图数据处理系统例如可以将第一长度与预设的虚线段长度进行比较,将第二长度与预设的虚线间隔长度进行比较。
可选的,若存在第一长度与预设的虚线段长度的差的绝对值小于或等于第一预设误差阈值,且存在第二长度与预设的虚线间隔长度的差的绝对值小于或等于第二预设误差阈值,说明上述对应簇的初始车道线矢量数据所表征的一段车道线的长度为虚线段的长度,且两段车道线之间的距离满足虚线车道线两虚线段之间的距离。则地图数据处理系统可以确定该目标路段的车道线为虚线车道线。
例如,仍然以图8a为例,地图数据可以在“第1簇初始车道线矢量数据所表征的车道线段的起点与终点之间的距离”与预设的虚线段长度的差的绝对值小于或等于第一预设误差阈值,且“第1簇初始车道线矢量数据所表征的车道线段的终点与第2簇初始车道线矢量数据所表征的车道线段的起点之间的距离”与预设的虚线间隔长度的差的绝对值小于或等于第二预设误差阈值时,确定该车道线为虚线车道线。
可选的,若不存在第一长度与预设的虚线段长度的差的绝对值小于或等于第一预设误差阈值,或者,不存在第二长度与预设的虚线间隔长度的差的绝对值小于或等于第二预设误差阈值,则地图数据处理系统可以确定该目标路段的车道线为实线车道线。
通过上述第一长度,以及,第二长度,确定该车道线是否为虚线车道线,提高了车道线识别的准确性。
以地图数据处理系统根据上述第一长度,识别目标路段的虚线车道线为例,可选的,若存在第一长度与预设的虚线段长度的差的绝对值小于或等于第一预设误差阈值,说明上述对应簇的初始车道线矢量数据所表征的一段车道线的长度为虚线段的长度。则地图数据处理系统可以确定该目标路段的车道线为虚线车道线。
以地图数据处理系统根据上述第二长度,识别目标路段的虚线车道线为例,可选的,若存在第二长度与预设的虚线间隔长度的差的绝对值小于或等于第二预设误差阈值,说明 两段车道线之间的距离满足虚线车道线两虚线段之间的距离。则地图数据处理系统可以确定该目标路段的车道线为虚线车道线。
可选的,上述预设的虚线段长度、第一预设误差阈值、预设的虚线间隔长度,以及,第二预设误差阈值可以为用户预先存储在该地图数据处理系统中的。
进一步的,地图数据处理系统在识别出目标路段的车道线为虚线车道线时,为该车道线添加用于表征虚线车道线的标签,得到用于表征车道线类型为虚线车道线的车道线类型识别结果。地图数据处理系统在识别出目标路段的车道线为实线车道线时,为该车道线添加用于表征实线车道线的标签,得到用于表征车道线类型为实线车道线的车道线类型识别结果。可选的,根据上述车道线类型识别结果,地图数据处理系统可以获取地图数据。
在本实施例中,针对每簇初始车道线矢量数据,可以根据该簇对应的车道线段矢量数据所指的方向滑动窗口,提高了通过滑动窗口确定出该簇对应的至少一个第一初始车道线矢量数据,以及,至少一个第二初始车道线矢量数据的准确性。通过各第一初始车道线矢量数据的深度信息,可以从上述至少一个第一初始车道线矢量数据确定目标第一初始车道线矢量数据,以及,通过各第二初始车道线矢量数据的深度信息,可以从上述至少一个第二初始车道线矢量数据确定目标第二初始车道线矢量数据。通过上述方法,结合了初始车道线矢量数据的深度信息,确定每簇初始车道线矢量数据所表征的车道线段的起点和终点,提高了基于至少一簇初始车道线矢量数据所表征的车道线段的起点与终点之间的距离,识别目标路段的虚线车道线的准确性。
作为第二种可能的实现方式,针对每簇初始车道线矢量数据,地图数据处理系统还可以在通过上述步骤1获取至少一个第一初始车道线矢量数据之后,通过预设拟合算法对该至少一个第一初始车道线矢量数据进行拟合,得到目标第一初始车道线矢量数据,并将该目标第一初始车道线矢量数据的起点作为对应簇初始车道线矢量数据所表征的车道线段的起点。以及,地图数据处理系统还可以在通过上述步骤1获取至少一个第二初始车道线矢量数据之后,通过预设拟合算法对该至少一个第二初始车道线矢量数据进行拟合,得到目标第二初始车道线矢量数据,并将该目标第二初始车道线矢量数据的终点作为对应簇初始车道线矢量数据所表征的车道线段的终点。
进一步的,作为一种可能的实现方式,地图数据处理系统在确定目标路段的车道线为虚线车道线之后,还可以确定该虚线车道线中各虚线段端点的坐标。通过确定虚线段端点的坐标,可以得到更高精度的地图数据,提高了地图数据的精度,且可以提高该虚线段端点坐标进行智能驾驶决策的准确性。
下面对在目标路段的车道线为虚线车道线时,地图数据处理系统如何获取目标路段的虚线车道线上各虚线段端点的目标坐标,进行详细说明。在目标路段的车道线为虚线车道线时,上述每簇初始车道线矢量数据可以用于表征虚线车道线中的一个虚线段。其中,每个虚线段的端点可以包括:起点和终点。可选的,上述虚线段端点的目标坐标可以为二维坐标,也可以为三维坐标,本申请对此并不进行限定。
作为一种可能的实现方式,针对每簇初始车道线矢量数据,地图数据处理系统可以将该簇对应的目标第一初始车道线矢量数据的起点的坐标,作为该簇对应的虚线段的起点的初始坐标。以及,将该簇对应的目标第二初始车道线矢量数据的终点的坐标,作为该簇对应的虚线段的终点的初始坐标。然后,地图数据处理系统可以根据虚线车道线上各虚线段端点的初始坐标,获取目标路段的虚线车道线上各虚线段端点的目标坐标。
可选的,地图数据处理系统可以直接将该虚线段的起点的初始坐标,作为该虚线段的起点的目标坐标。以及,直接将该虚线段的终点的初始坐标,作为该虚线段的终点的目标坐标。
或者,图9为本申请提供的一种获取目标路段的车道线各虚线段端点的目标坐标的方法流程示意图。如图9所示,作为一种可能的实现方式,该方法可以包括以下步骤:
S501、根据虚线车道线上各虚线段端点的初始坐标,获取每个虚线段的长度。
可选的,针对任一虚线段,地图数据处理系统例如可以计算该虚线段的起点的初始坐标,与该虚线段的终点的初始坐标之间的距离,作为该虚线段的长度。
S502、根据目标路段的预设的虚线段长度,以及,每个虚线段的长度,获取每个虚线段的第一置信度。
其中,上述预设虚线段例如可以为目标路段的标准虚线段长度。通常,用户在修建该目标路段时,需按照该目标路段对应的标准虚线段长度在该目标路段表面绘制虚线车道线。其中,不同目标路段的预设的虚线段长度可以相同,也可以不同。例如,城市目标路段的预设的虚线段长度,通常小于高速路目标路段的预设的虚线段长度。不同道路等级对应的预设的虚线段长度也可以不同。
地图数据处理系统中例如可以预先存储有位置与预设的虚线段长度的映射关系。地图数据处理系统可以使用该映射关系,以及,目标路段所在位置,确定目标路段的预设的虚线段长度。
可选的,地图数据处理系统例如可以计算每个虚线段的长度,与,目标路段的预设的虚线段长度的差的绝对值。上述差的绝对值越大,说明根据该虚线段的初始坐标确定的虚线段的长度,与,预设的虚线段长度之间的差距越大。也就是说该虚线段的初始坐标存在误差的可能性就越大,因此对应虚线段的置信度便越小。上述差的绝对值越小,说明根据该虚线段的初始坐标确定的虚线段的长度,与,预设的虚线段长度之间的差距越小。也就是说该虚线段的初始坐标存在误差的可能性就越小,因此对应虚线段的置信度便越大。
因此,可选的,地图数据处理系统可以根据各虚线段对应的上述差的绝对值与预设绝对值阈值的大小关系,确定每个虚线段的第一置信度。例如,地图数据处理系统可以令“差的绝对值小于或等于预设绝对值阈值的”虚线段的第一置信度为置信度1;令“差的绝对值大于预设绝对值阈值的”虚线段的第一置信度为置信度2。其中,该置信度1大于置信度2。或者,地图数据处理系统也可以通过任意递减性质的函数,根据虚线段对应的差的绝对值,计算得到虚线段的第一置信度。
S503、根据每个虚线段的第一置信度,以及,每个虚线段端点的初始坐标,得到每个虚线段端点的目标坐标。
作为第一种可能的实现方式,针对任一虚线段,地图数据处理系统可以基于该虚线段的第一置信度与预设置信度阈值的大小关系,确定该虚线段端点的目标坐标。
例如,在虚线段的第一置信度大于预设置信度阈值时,说明该虚线段端点的初始坐标的准确性较高,则地图数据处理系统可以将该虚线段端点的初始坐标作为该虚线段端点的目标坐标。通过上述方法,减少了地图数据处理系统的计算量,进一步提高了地图数据处理的效率。
在虚线段的第一置信度小于或等于上述预设置信度阈值时,说明该虚线段端点的初始坐标的准确性可能较低,可选的,地图数据处理系统可以利用预设的虚线段长度,以及,上述第一置信度大于预设置信度阈值的虚线段端点的初始坐标,计算该虚线段端点的目标坐标。
可选的,上述预设置信度阈值例如可以为用户预先存储在该地图数据处理系统中的。
在该实现方式下,将第一置信度大于预设置信度阈值的虚线段端点的初始坐标,直接作为该虚线段端点的目标坐标,减少了地图数据处理系统的计算量,进一步提高了地图数据处理的效率。对于端点的初始坐标的准确性可能较低的虚线段,通过准确性较高的虚线段端点的初始坐标,以及,预设的虚线段长度,重新计算该虚线段的端点的目标坐标,提高了该虚线段的端点的目标坐标的准确性。
针对第一置信度小于或等于预设置信度阈值的虚线段,下面对地图数据处理系统如何利用预设的虚线段长度,以及,上述第一置信度大于预设置信度阈值的虚线段端点的初始坐标,计算该虚线段端点的目标坐标,进行详细说明:
在一些实施例中,地图数据处理系统可以先利用上述预设的虚线段长度,以及,第一置信度大于预设置信度阈值的虚线段端点的初始坐标,获取该虚线段端点的坐标表达式。然后,地图数据处理系统可以根据上述第一置信度大于预设置信度阈值的虚线段端点的初始坐标,对该虚线段端点的坐标表达式进行优化,并将优化后的坐标表达式所表征的坐标作为该虚线段端点的目标坐标。
其中,上述虚线段端点的坐标表达式中可以包括可优化项,地图数据处理系统可以对该虚线段端点的坐标表达式进行优化,也就是对该可优化项的取值进行优化,进而得到优化后的坐标表达式。
可选的,相邻两虚线段之间的预设间隔长度,也可以是预先存储在该地图数据处理系统中的。地图数据处理系统可以根据预设的虚线段长度、相邻两虚线段之间的预设间隔长度,以及,第一置信度大于预设置信度阈值的虚线段端点的初始坐标,获取该虚线段端点的坐标表达式。
示例性的,以上述目标坐标为三维坐标为例,图10为本申请提供的一种车道线虚线示意图。如图10所示,假定该车道线中第一虚线段为第一置信度大于预设置信度阈值的虚线段,第二虚线段为第一置信度小于或等于预设置信度阈值的虚线段,且假定第一虚线段的终点的初始坐标为(a1,a2,a3),上述预设的虚线段长度为K,相邻两虚线段之间的预设间隔长度为L。则地图数据处理系统可以确定该第二虚线段的起点的三维坐标表达式为(a1,a2,a3)+L+dn,以及,第二虚线段的终点的三维坐标表达式为(a1,a2,a3)+L+dn+K。其中,该dn为虚线段端点的三维坐标表达式中的可优化项。
应理解,上述三维坐标表达式中的可优化项也为三维的可优化项。也就是说dn可以对应(dx,dy,dz)。此外,以(a1,a2,a3)+L+dn为例,表示在a1、a2,以及,a3上分别做运算,得到三维空间中距离第一虚线段的终点的距离为L+dn的点。可选的,地图数据处理系统例如可以根据前述车道线段矢量数据所指示的方向,从三维空间中确定距离第一虚线段的终点的距离为L+dn的第二虚线段的起点。
在一些实施例中,地图数据处理系统可以分段对该虚线段端点的三维坐标表达式进行优化,以获取优化后的三维坐标表达式。或者,地图数据处理系统还可以根据该目标路段中虚线车道线的总长度,对虚线段端点的三维坐标表达式进行优化。
以地图数据处理系统分段对该虚线段端点的三维坐标表达式进行优化为例,仍然以图10所示的车道线虚线为例,假定该车道线虚线的第三虚线段为第一置信度大于预设置信度阈值的虚线段,且该第三虚线段的起点三维坐标为(b1,b2,b3)。如前述示例所说,第二虚线段的终点的三维坐标表达式为(a1,a2,a3)+L+dn+K,且该第二虚线段的终点与第三虚线段的起点之间间隔的距离为L,则地图数据处理系统可以构建优化方程如下:(a1,a2,a3)+L+dn+K+L=(b1,b2,b3)。通过对该优化方程进行优化,地图数据处理系统可以确定优化后的dn的取值,并将该dn的取值带入上述三维坐标表达式,进而可以得到第二虚线段的起点的三维坐标,和,终点的三维坐标。通过基于上述优化后的dn的取值,确定虚线段的起点的三维坐标,和,终点的三维坐标
以地图数据处理系统根据该目标路段中虚线车道线的总长度,对虚线段端点的三维坐标表达式进行优化为例,以图10所示的车道线虚线为例,假定第一虚线段的长度为A、且该第三虚线段的长度为C。如图10所示,该目标路段包括三段虚线段,则地图数据处理系统可以确定目标路段中虚线车道线的预设总长度为3K+2L。根据该目标路段中虚线车道线的总长度,地图数据处理系统可以构建优化方程如下:A+L+B+L+C=3K+2L。其中,B表示根据第二虚线段的终点的三维坐标表达式,以及,第二虚线段的起点的三维坐标表达式获取的第二虚线段的长度。
在一些实施例中,地图数据处理系统也可以直接根据预设的虚线段长度,以及,第一置信度大于预设置信度阈值的虚线段端点的初始坐标,确定第一置信度小于或等于预设置信度阈值的虚线段端点的初始坐标。例如,仍然以图10所示的目标路段的虚线段为例,地图数据处理系统可以将第一虚线段的终点的初始坐标为(a1,a2,a3),加上上述相邻两虚线段之间的预设间隔长度L的结果(a1,a2,a3)+L,作为该第二虚线段的起点的三维坐标。然后,地图数据处理系统可以在该第二虚线段的起点的三维坐标基础上,加上预设的虚线段长度为K,得到该第二虚线段的终点的三维坐标。
作为第二种可能的实现方式,地图数据处理系统可以根据包括“目标路段的车道线各虚线段端点的历史坐标”的历史地图数据,获取每个虚线段端点的目标坐标。
可选的,地图数据处理系统可以先获取历史地图数据。可选的,该历史地图数据可以为预先存储在该地图数据处理系统中的,例如可以预先存储在该地图数据处理系统的数据库中。
然后,地图数据处理系统可以根据该历史地图数据中目标路段的车道线各虚线段端点的历史坐标,将每个虚线段,与,该历史地图数据中的各虚线段进行匹配。例如,针对任一虚线段,地图数据处理系统可以将,与该虚线段之间的欧式距离小于预设匹配距离阈值的历史地图数据中的虚线段,作为与该虚线段匹配的历史地图数据中的虚线段。
然后,针对任一上述虚线段,地图数据处理系统可以根据该虚线段端点的初始坐标、对应的第一置信度,以及,与该虚线段匹配的历史地图数据中的虚线段端点的历史坐标,获取该虚线段端点的目标坐标。
可选的,地图数据处理系统例如可以先根据该虚线段的第一置信度,确定该虚线段对应的权重。可选的,该虚线段对应的权重可以与上述第一置信度的值正相关。
然后,地图数据处理系统可以根据该虚线段端点的初始坐标、该虚线段对应的权重,以及,与该虚线段匹配的历史地图数据中的虚线段端点的历史三维坐标,确定该虚线段端点的目标坐标。
示例性的,仍然以上述目标坐标为三维坐标为例,假定该虚线段的起点的初始坐标为(q1,q2,q3),与该虚线段匹配的历史地图数据中的虚线段起点的历史三维坐标为(s1,s2,s3),假定该虚线段对应的权重为w1,则地图数据处理系统可以确定该历史地图数据中的虚线段对应的权重为1-w1。然后,地图数据处理系统可以根据该虚线段起点的初始坐标,以及,历史地图数据中的虚线段起点的历史三维坐标的加权和,得到该虚线段端点的三维坐标为[w1*q1+(1-w1)*s1,w1*q2+(1-w1)*s2,w1*q3+(1-w1)*s3]。
在该实现方式下,结合了历史地图数据中的目标路段的车道线各虚线段端点的历史三维坐标,以及,前述第一置信度对每个虚线段端点的初始坐标进行校准,实现了融合目标路段的多源信息,确定每个虚线段端点的三维坐标。且相较于根据一次地图数据采集结果确定虚线段端点的三维坐标的方式,提高了地图数据的鲁棒性,提高进一步地图数据的准确性。
作为第三种可能的实现方式,地图数据处理系统还可以结合上述第一种可能的实现方式,和,上述第二种可能的方式来获取每个虚线段端点的目标坐标。例如,地图数据处理系统可以使用上述第二种可能的方式,对通过前述第一种可能的实现方式,获取到的每个虚线段端点的坐标进行校准,以获取最终的每个虚线段端点的目标坐标。
在本实施例中,通过目标路段的预设的虚线段长度,以及,每个虚线段的长度,获取每个虚线段的第一置信度,并根据该第一置信度,对虚线段端点的初始坐标进行校准,得到每个虚线段端点的目标坐标。通过上述方法,结合了目标路段的预设的虚线段长度来确定虚线段端点的目标坐标,解决了道路中遮挡物导致虚线段端点无法检测的问题,进一步提高了虚线段端点的目标坐标的准确性。
进一步的,在一些实施例中,在获取目标路段的虚线车道线上各虚线段端点的目标坐标之后,地图数据处理系统,或者,智能驾驶车辆可以基于该虚线段端点的目标坐标,确定智能驾驶的路线等。
在一些实施例中,地图数据处理系统还可以根据目标路段的车道线上各虚线段端点的目标坐标,得到目标路段的地图数据。
可选的,地图数据处理系统例如可以使用该目标路段的车道线虚线段端点的目标坐标,结合目标路段的其他对象的地图信息(例如道路坡度、道路曲率、道路宽度、摄像头位置等),得到目标路段的地图数据。在一些实施例中,地图数据处理系统例如还可以使用该目标路段的车道线虚线段端点的目标坐标对目标路段的其他对象(例如路灯位置、路标位置等)的坐标进行校准之后,得到目标路段的地图数据。
应理解,上述根据目标路段的车道线虚线段端点的目标坐标,得到目标路段的地图数据的方式仅是本申请提供的可能的实现方式,本申请对地图数据处理系统如何根据目标路段的车道线虚线段端点的目标坐标,得到目标路段的地图数据并不进行限定。
基于前述各实施例,以结合目标路段的可见光图像、点云图像、预设的虚线段长度,以及,初始车道线矢量数据的深度信息,确定目标路段的车道线虚线段端点的三维坐标为例,下述为本申请提供的一种虚线车道线端点坐标确定方法,如下所述,该方法可以包括以下步骤:
步骤1、获取目标路段的可见光图像,以及,点云图像。
步骤2、通过卷积神经网络对上述单帧可见光图像,以及,单帧点云图像进行语义分割,得到各单帧图像对应的车道线图像。
步骤3、针对任一单帧图像,根据该单帧图像对应的车道线图像,获取该单帧图像对应的车道线像素点区域范围。
步骤4、针对任一单帧图像,根据该帧图像对应的车道线像素点区域范围,获取该帧帧图像的车道线上的至少一个像素点的三维坐标。
步骤5、针对任一单帧图像,对该帧图像的车道线上的至少一个像素点的三维坐标进行拟合,得到该帧图像的初始车道线矢量数据,实现矢量数据化单帧可见光图像和点云图像的车道线。
步骤6、获取每一帧图像的初始车道线矢量数据之后,将该帧图像的车道线段矢量数据存储至单帧图像累计内存池中。从该单帧图像累计内存池中获取针对目标路段的所有帧图像,针对目标路段的所有帧图像的初始车道线矢量数据进行聚类,得到多簇初始车道线矢量数据。
步骤7、对每簇初始车道线矢量数据进行拟合,得到每簇初始车道线矢量数据对应的至少一个车道线段矢量数据。
步骤8、针对每簇初始车道线矢量数据,按照预设窗口大小,沿每簇初始车道线矢量数据对应的车道线段矢量数据所指方向进行滑窗,以从每簇初始车道线矢量数据中得到至少一个第一初始车道线矢量数据,以及,至少一个第二初始车道线矢量数据。
步骤9、根据每个第一初始车道线矢量数据的深度信息,从至少一个第一初始车道线矢量数据确定出与地图数据采集装置的距离最接近预设深度值的第一初始车道线矢量数据,作为目标第一初始车道线矢量数据,并将该目标第一初始车道线矢量数据的起点的三维坐标作为对应段车道线的起点的初始坐标。
步骤10、根据每个第二初始车道线矢量数据的深度信息,从至少一个第二初始车道线矢量数据确定出与地图数据采集装置的距离最接近预设深度值的第二初始车道线矢量数据,作为目标第二初始车道线矢量数据,并将该目标第二初始车道线矢量数据的终点的三维坐标作为对应段车道线的终点的初始坐标。
步骤11、在根据上述至少一段车道线的起点的初始坐标和终端的起始坐标确定该车道线为虚线车道线之后,根据目标路段的标准虚线段长度,判断每条虚线段的长度是否满足该标准虚线段长度,并根据该判断结果确定每条虚线段的第一置信度。
其中,满足该标准虚线段长度的虚线段的第一置信度大于不满足该标准虚线段长度的虚线段的第一置信度。
步骤12、在虚线段的第一置信度大于预设置信度阈值时,将该虚线段端点的初始坐标作为该虚线段端点的三维坐标。
步骤13、针对第一置信度小于或等于预设置信度阈值的虚线段,利用预设的虚线段长度、相邻两虚线段之间的标准距离,以及,上述第一置信度大于预设置信度阈值的虚线段端点的初始坐标,计算该虚线段端点的三维坐标。
在本实施例中,基于点云图像和可见光图像的初始车道线矢量数据,自动化检测目标路段的车道线虚线的端点坐标,确保了地图数据的完备性和准确性。相比于现有技术中通过人工作业得到地图数据,本申请提供的车道线识别方法减少了地图数据处理的时间,降低了作业的成本。通过结合点云图像、可见光图像、初始化车道线段矢量数据的深度信息,以及,标准虚线段长度等多源信息,确定虚线段端点的三维坐标,提高了根据该虚线段端点的三维坐标确定的地图数据的准确性,进而确保地图数据的精度能够满足智能驾驶的需求。针对道路中遮挡和车道虚线段端点不可观等问题,通过结合高置信度的虚线段端点坐标,以及,标准虚线段长度,有效的补全低置信度的虚线段端点坐标,保障了地图要素的完备性。
图11为本申请提供的一种车道线识别装置的结构示意图。如图11所示,该装置包括:获取模块61,以及,处理模块62。其中,
获取模块61,用于获取所述目标路段的可见光图像,以及,点云图像。
处理模块62,用于对所述可见光图像和所述点云图像分别进行语义分割,得到所述可见光图像对应的车道线图像,以及,所述点云图像对应的车道线图像;对所述可见光图像对应的车道线图像和所述点云图像对应的车道线图像,分别进行矢量数据化处理,得到所述可见光图像的初始车道线矢量数据和所述点云图像的初始车道线矢量数据;根据所述可见光图像的初始车道线矢量数据和所述点云图像的初始车道线矢量数据,识别所述目标路段的虚线车道线。
可选的,处理模块62,具体用于对所有初始车道线矢量数据进行聚类,将用于表征一段车道线段的初始车道线矢量数据聚合在一个簇中;对同一个簇中的初始车道线矢量数据进行拟合,得到该簇对应的至少一个车道线段矢量数据;根据每簇对应的至少一个车道线段矢量数据,识别所述目标路段的虚线车道线。
可选的,处理模块62,具体用于针对每簇初始车道线矢量数据,按照预设窗口大小,沿对应的车道线段矢量数据所指方向进行滑窗,以从每簇初始车道线矢量数据中得到至少一个第一初始车道线矢量数据,以及,至少一个第二初始车道线矢量数据;根据所述至少一个第一初始车道线矢量数据的深度信息,从所述至少一个第一初始车道线矢量数据中确定目标第一初始车道线矢量数据,将所述目标第一初始车道线矢量数据的起点作为该簇初始车道线矢量数据所表征的车道线段的起点;根据所述至少一个第二初始车道线矢量数据的深度信息,从所述至少一个第二初始车道线矢量数据中确定目标第二初始车道线矢量数据,将所述目标第二初始车道线矢量数据的终点作为该簇初始车道线矢量数据所表征的车道线段的终点;根据至少一簇初始车道线矢量数据所表征的车道线段的起点与终点之间的距离,识别所述目标路段的虚线车道线。其中,所述第一初始车道线矢量数据位于每簇对应的车道线段的起点附近,所述第二初始车道线矢量数据位于每簇对应的车道线段的终点附近。
可选的,处理模块62,具体用于根据至少一簇初始车道线矢量数据所表征的车道线段的起点与终点,获取第一长度和第二长度;将所述第一长度与预设的虚线段长度进行比较,将所述第二长度与预设的虚线间隔长度进行比较;在存在第一长度与预设的虚线段长度的差的绝对值小于或等于第一预设误差阈值,且存在第二长度与预设的虚线间隔长度的差的绝对值小于或等于第二预设误差阈值时,确定所述目标路段的车道线为虚线车道线。其中,所述第一长度为任一簇初始车道线矢量数据所表征的车道线段的距离;所述第二长度为任一簇初始车道线矢量数据所表征的车道线段的终点,与其具有连通关系的下游车道线段的起点之间的距离。
可选的,处理模块62,具体用于分别对每个所述车道线图像的像素点进行掩膜聚类,得到每个所述车道线图像的车道线像素点范围;根据每个所述车道线图像的车道线像素点范围,分别获取每个所述可见光图像中的车道线上的至少一个像素点的三维坐标,以及,每个所述点云图像中的车道线上的至少一个像素点的三维坐标;对每个所述可见光图像中的车道线上的至少一个像素点的三维坐标,以及,每个所述点云图像中的车道线上的至少一个像素点的三维坐标,分别进行拟合处理,得到每个所述可见光图像的初始车道线矢量数据,以及,每个所述点云图像的初始车道线矢量数据。
可选的,处理模块62,具体用于针对所述可见光图像,根据所述点云图像对应的激光点云数据中包括的点云深度信息,将所述可见光图像中的像素点投影至所述图像传感器的三维坐标系中,获取所述可见光图像中的像素点的三维坐标;根据所述可见光图像的车道线图像的车道线像素点范围,从所述可见光图像中的像素点的三维坐标中,获取所述可见光图像中的车道线上的至少一个像素点的三维坐标。
可选的,处理模块62,具体用于针对所述点云图像,将所述点云图像对应的地面点云数据中各点云的三维坐标投影至二维图像坐标系,得到所述各点云的二维坐标;根据所述各点云的二维坐标,以及,所述车道线图像的车道线像素点范围,获取所述点云图像中的车道线上的至少一个像素点的三维坐标。
可选的,在目标路段的车道线为虚线车道线,每簇所述初始车道线矢量数据用于表征虚线车道线中的一个虚线段;每个所述虚线段的端点包括:起点和终点时,处理模块62,还用于,针对每簇初始车道线矢量数据,将该簇对应的目标第一初始车道线矢量数据的起点的坐标,作为该簇对应的虚线段的起点的初始坐标;将该簇对应的目标第二初始车道线矢量数据的终点的坐标,作为该簇对应的虚线段的终点的初始坐标;根据所述虚线车道线上各虚线段端点的初始坐标,获取所述目标路段的虚线车道线上各虚线段端点的目标坐标。
可选的,处理模块62,具体用于根据所述虚线车道线上各虚线段端点的初始坐标,获取每个虚线段的长度;根据所述目标路段的预设的虚线段长度,以及,每个虚线段的长度,获取每个虚线段的第一置信度;根据每个虚线段的第一置信度,以及,每个虚线段端点的初始坐标,得到每个虚线段端点的目标坐标。
可选的,处理模块62,具体用于在虚线段的第一置信度大于预设置信度阈值时,将虚线段端点的初始坐标作为虚线段端点的目标坐标;在虚线段的第一置信度小于或等于所述预设置信度阈值时,利用预设的虚线段长度,以及,第一置信度大于所述预设置信度阈值的虚线段端点的初始坐标,计算该虚线段端点的目标坐标。
可选的,处理模块62,具体用于利用预设的虚线段长度,以及,第一置信度大于所述预设置信度阈值的虚线段端点的初始坐标,获取该虚线段端点的坐标表达式;根据所述第一置信度大于所述预设置信度阈值的虚线段端点的初始坐标,对该虚线段端点的坐标表达式进行优化,将优化后的坐标表达式所表征的坐标作为该虚线段端点的目标坐标。
可选的,处理模块62,具体用于获取历史地图数据;根据历史地图数据中所述目标路段的车道线各虚线段端点的历史坐标,将所述每个虚线段,与,所述历史地图数据中的各虚线段进行匹配;针对任一所述虚线段,根据该虚线段端点的初始坐标、所述第一置信度,以及,与该虚线段匹配的所述历史地图数据中的虚线段端点的历史坐标,获取该虚线段端点的目标坐标。
本申请提供的车道线识别装置,用于执行前述车道线识别方法实施例,其实现原理与技术效果类似,对此不再赘述。
本申请还提供一种如图4所示的电子设备10,电子设备10中的处理器12读取存储器11存储的一组计算机指令,以执行前述车道线识别方法。
本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、磁盘或者光盘等各种可以存储程序代码的介质,具体的,该计算机可读存储介质中存储有程序指令,程序指令用于上述实施例中的方法。
本申请还提供一种程序产品,该程序产品包括执行指令,该执行指令存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该执行指令,至少一个处理器执行该执行指令使得电子设备实施上述的各种实施方式提供的车道线识别方法。
本申请还提供一种车辆,该车辆可以执行上述的各种实施方式提供的车道线识别方法。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (14)
1.一种车道线识别方法,其特征在于,所述方法包括:
获取目标路段的可见光图像,以及,点云图像;
对所述可见光图像和所述点云图像分别进行语义分割,得到所述可见光图像对应的车道线图像,以及,所述点云图像对应的车道线图像;
对所述可见光图像对应的车道线图像和所述点云图像对应的车道线图像,分别进行矢量数据化处理,得到所述可见光图像的初始车道线矢量数据和所述点云图像的初始车道线矢量数据;
根据所述可见光图像的初始车道线矢量数据和所述点云图像的初始车道线矢量数据,识别所述目标路段的虚线车道线。
2.根据权利要求1所述的方法,其特征在于,所述根据所述可见光图像的初始车道线矢量数据和所述点云图像的初始车道线矢量数据,识别所述目标路段的虚线车道线,包括:
对所有初始车道线矢量数据进行聚类,将用于表征一段车道线段的初始车道线矢量数据聚合在一个簇中;
对同一个簇中的初始车道线矢量数据进行拟合,得到该簇对应的至少一个车道线段矢量数据;
根据每簇对应的至少一个车道线段矢量数据,识别所述目标路段的虚线车道线。
3.根据权利要求2所述的方法,其特征在于,所述根据每簇对应的至少一个车道线段矢量数据,识别所述目标路段的虚线车道线,包括:
针对每簇初始车道线矢量数据,按照预设窗口大小,沿对应的车道线段矢量数据所指方向进行滑窗,以从每簇初始车道线矢量数据中得到至少一个第一初始车道线矢量数据,以及,至少一个第二初始车道线矢量数据;其中,所述第一初始车道线矢量数据位于每簇对应的车道线段的起点附近,所述第二初始车道线矢量数据位于每簇对应的车道线段的终点附近;
根据所述至少一个第一初始车道线矢量数据的深度信息,从所述至少一个第一初始车道线矢量数据中,确定目标第一初始车道线矢量数据,将所述目标第一初始车道线矢量数据的起点作为该簇初始车道线矢量数据所表征的车道线段的起点;
根据所述至少一个第二初始车道线矢量数据的深度信息,从所述至少一个第二初始车道线矢量数据中确定目标第二初始车道线矢量数据,将所述目标第二初始车道线矢量数据的终点作为该簇初始车道线矢量数据所表征的车道线段的终点;
根据至少一簇初始车道线矢量数据所表征的车道线段的起点与终点之间的距离,识别所述目标路段的虚线车道线。
4.根据权利要求3所述的方法,其特征在于,所述根据至少一簇初始车道线矢量数据所表征的车道线段的起点与终点之间的距离,识别所述目标路段的虚线车道线,包括:
根据至少一簇初始车道线矢量数据所表征的车道线段的起点与终点,获取第一长度和第二长度,所述第一长度为任一簇初始车道线矢量数据所表征的车道线段的距离;所述第二长度为任一簇初始车道线矢量数据所表征的车道线段的终点,与其具有连通关系的下游车道线段的起点之间的距离;
将所述第一长度与预设的虚线段长度进行比较,将所述第二长度与预设的虚线间隔长度进行比较;
若存在第一长度与预设的虚线段长度的差的绝对值小于或等于第一预设误差阈值,且存在第二长度与预设的虚线间隔长度的差的绝对值小于或等于第二预设误差阈值,则确定所述目标路段的车道线为虚线车道线。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述对所述可见光图像对应的车道线图像和所述点云图像对应的车道线图像,分别进行矢量数据化处理,得到所述可见光图像的初始车道线矢量数据和所述点云图像的初始车道线矢量数据,包括:
分别对每个所述车道线图像的像素点进行掩膜聚类,得到每个所述车道线图像的车道线像素点范围;
根据每个所述车道线图像的车道线像素点范围,分别获取每个所述可见光图像中的车道线上的至少一个像素点的三维坐标,以及,每个所述点云图像中的车道线上的至少一个像素点的三维坐标;
对每个所述可见光图像中的车道线上的至少一个像素点的三维坐标,以及,每个所述点云图像中的车道线上的至少一个像素点的三维坐标,分别进行拟合处理,得到每个所述可见光图像的初始车道线矢量数据,以及,每个所述点云图像的初始车道线矢量数据。
6.根据权利要求5所述的方法,其特征在于,所述根据每个所述车道线图像的车道线像素点范围,分别获取每个所述可见光图像中的车道线上的至少一个像素点的三维坐标,以及,每个所述点云图像中的车道线上的至少一个像素点的三维坐标,包括:
针对所述可见光图像,根据所述点云图像对应的激光点云数据中包括的点云深度信息,将所述可见光图像中的像素点投影至图像传感器的三维坐标系中,获取所述可见光图像中的像素点的三维坐标;
根据所述可见光图像的车道线图像的车道线像素点范围,从所述可见光图像中的像素点的三维坐标中,获取所述可见光图像中的车道线上的至少一个像素点的三维坐标。
7.根据权利要求5所述的方法,其特征在于,所述根据每个所述车道线图像的车道线像素点范围,分别获取每个所述可见光图像中的车道线上的至少一个像素点的三维坐标,以及,每个所述点云图像中的车道线上的至少一个像素点的三维坐标,包括:
针对所述点云图像,将所述点云图像对应的地面点云数据中各点云的三维坐标投影至二维图像坐标系,得到所述各点云的二维坐标;
根据所述各点云的二维坐标,以及,所述车道线图像的车道线像素点范围,获取所述点云图像中的车道线上的至少一个像素点的三维坐标。
8.根据权利要求3或4所述的方法,其特征在于,所述目标路段的车道线为虚线车道线,每簇所述初始车道线矢量数据用于表征虚线车道线中的一个虚线段;每个所述虚线段的端点包括:起点和终点,所述方法还包括:
针对每簇初始车道线矢量数据,将该簇对应的目标第一初始车道线矢量数据的起点的坐标,作为该簇对应的虚线段的起点的初始坐标;
将该簇对应的目标第二初始车道线矢量数据的终点的坐标,作为该簇对应的虚线段的终点的初始坐标;
根据所述虚线车道线上各虚线段端点的初始坐标,获取所述目标路段的虚线车道线上各虚线段端点的目标坐标。
9.根据权利要求8所述的方法,其特征在于,所述根据所述虚线车道线上各虚线段端点的初始坐标,获取所述目标路段的虚线车道线上各虚线段端点的目标坐标,包括:
根据所述虚线车道线上各虚线段端点的初始坐标,获取每个虚线段的长度;
根据所述目标路段的预设的虚线段长度,以及,每个虚线段的长度,获取每个虚线段的第一置信度;
根据每个虚线段的第一置信度,以及,每个虚线段端点的初始坐标,得到每个虚线段端点的目标坐标。
10.根据权利要求9所述的方法,其特征在于,所述根据每个虚线段的第一置信度,以及,每个虚线段端点的初始坐标,得到每个虚线段端点的目标坐标,包括:
若虚线段的第一置信度大于预设置信度阈值,则将虚线段端点的初始坐标作为虚线段端点的目标坐标;
若虚线段的第一置信度小于或等于所述预设置信度阈值,则利用预设的虚线段长度,以及,第一置信度大于所述预设置信度阈值的虚线段端点的初始坐标,计算该虚线段端点的目标坐标。
11.根据权利要求10所述的方法,其特征在于,所述利用预设的虚线段长度,以及,第一置信度大于所述预设置信度阈值的虚线段端点的初始坐标,计算该虚线段端点的目标坐标,包括:
利用预设的虚线段长度,以及,第一置信度大于所述预设置信度阈值的虚线段端点的初始坐标,获取该虚线段端点的坐标表达式;
根据所述第一置信度大于所述预设置信度阈值的虚线段端点的初始坐标,对该虚线段端点的坐标表达式进行优化,将优化后的坐标表达式所表征的坐标作为该虚线段端点的目标坐标。
12.根据权利要求9所述的方法,其特征在于,所述根据每个虚线段的第一置信度,以及,每个虚线段端点的初始坐标,得到每个虚线段端点的目标坐标,包括:
获取历史地图数据;
根据历史地图数据中所述目标路段的车道线各虚线段端点的历史坐标,将所述每个虚线段,与,所述历史地图数据中的各虚线段进行匹配;
针对任一所述虚线段,根据该虚线段端点的初始坐标、所述第一置信度,以及,与该虚线段匹配的所述历史地图数据中的虚线段端点的历史坐标,获取该虚线段端点的目标坐标。
13.一种车道线识别装置,其特征在于,所述装置包括:
获取模块,用于获取目标路段的可见光图像,以及,点云图像;
处理模块,用于对所述可见光图像和所述点云图像分别进行语义分割,得到所述可见光图像对应的车道线图像,以及,所述点云图像对应的车道线图像;对所述可见光图像对应的车道线图像和所述点云图像对应的车道线图像,分别进行矢量数据化处理,得到所述可见光图像的初始车道线矢量数据和所述点云图像的初始车道线矢量数据;根据所述可见光图像的初始车道线矢量数据和所述点云图像的初始车道线矢量数据,识别所述目标路段的虚线车道线。
14.一种电子设备,其特征在于,包括:至少一个处理器、存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述电子设备执行权利要求1-12任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210780855.5A CN114863380B (zh) | 2022-07-05 | 2022-07-05 | 车道线识别方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210780855.5A CN114863380B (zh) | 2022-07-05 | 2022-07-05 | 车道线识别方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114863380A true CN114863380A (zh) | 2022-08-05 |
CN114863380B CN114863380B (zh) | 2022-10-25 |
Family
ID=82625760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210780855.5A Active CN114863380B (zh) | 2022-07-05 | 2022-07-05 | 车道线识别方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114863380B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115131761A (zh) * | 2022-08-31 | 2022-09-30 | 北京百度网讯科技有限公司 | 道路边界的识别方法、绘制方法、装置及高精地图 |
CN116309943A (zh) * | 2023-05-24 | 2023-06-23 | 联友智连科技有限公司 | 一种停车场语义地图路网构建方法、装置及电子设备 |
CN116955517A (zh) * | 2023-09-19 | 2023-10-27 | 高德软件有限公司 | 路口区域检测方法、装置、设备及计算机可读存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104766058A (zh) * | 2015-03-31 | 2015-07-08 | 百度在线网络技术(北京)有限公司 | 一种获取车道线的方法和装置 |
CN105528588A (zh) * | 2015-12-31 | 2016-04-27 | 百度在线网络技术(北京)有限公司 | 一种车道线识别方法及装置 |
US20180189578A1 (en) * | 2016-12-30 | 2018-07-05 | DeepMap Inc. | Lane Network Construction Using High Definition Maps for Autonomous Vehicles |
US10408939B1 (en) * | 2019-01-31 | 2019-09-10 | StradVision, Inc. | Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same |
CN111316284A (zh) * | 2019-02-13 | 2020-06-19 | 深圳市大疆创新科技有限公司 | 车道线检测方法、装置、系统与车辆、存储介质 |
CN111368605A (zh) * | 2018-12-26 | 2020-07-03 | 易图通科技(北京)有限公司 | 车道线提取方法及装置 |
US20210180958A1 (en) * | 2019-12-16 | 2021-06-17 | Automotive Research & Testing Center | Graphic information positioning system for recognizing roadside features and method using the same |
US20210248390A1 (en) * | 2020-02-07 | 2021-08-12 | Shenzhen Sensetime Technology Co., Ltd. | Road marking recognition method, map generation method, and related products |
CN113506318A (zh) * | 2021-07-12 | 2021-10-15 | 广东工业大学 | 一种车载边缘场景下的三维目标感知方法 |
CN114037968A (zh) * | 2021-11-05 | 2022-02-11 | 荆州智达电动汽车有限公司 | 基于深度雷达点云和图像数据融合的车道线检测方法 |
CN114693836A (zh) * | 2022-03-09 | 2022-07-01 | 高德软件有限公司 | 道路要素矢量的生成方法和系统 |
-
2022
- 2022-07-05 CN CN202210780855.5A patent/CN114863380B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104766058A (zh) * | 2015-03-31 | 2015-07-08 | 百度在线网络技术(北京)有限公司 | 一种获取车道线的方法和装置 |
CN105528588A (zh) * | 2015-12-31 | 2016-04-27 | 百度在线网络技术(北京)有限公司 | 一种车道线识别方法及装置 |
US20180189578A1 (en) * | 2016-12-30 | 2018-07-05 | DeepMap Inc. | Lane Network Construction Using High Definition Maps for Autonomous Vehicles |
CN111368605A (zh) * | 2018-12-26 | 2020-07-03 | 易图通科技(北京)有限公司 | 车道线提取方法及装置 |
US10408939B1 (en) * | 2019-01-31 | 2019-09-10 | StradVision, Inc. | Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same |
CN111316284A (zh) * | 2019-02-13 | 2020-06-19 | 深圳市大疆创新科技有限公司 | 车道线检测方法、装置、系统与车辆、存储介质 |
US20210180958A1 (en) * | 2019-12-16 | 2021-06-17 | Automotive Research & Testing Center | Graphic information positioning system for recognizing roadside features and method using the same |
US20210248390A1 (en) * | 2020-02-07 | 2021-08-12 | Shenzhen Sensetime Technology Co., Ltd. | Road marking recognition method, map generation method, and related products |
CN113506318A (zh) * | 2021-07-12 | 2021-10-15 | 广东工业大学 | 一种车载边缘场景下的三维目标感知方法 |
CN114037968A (zh) * | 2021-11-05 | 2022-02-11 | 荆州智达电动汽车有限公司 | 基于深度雷达点云和图像数据融合的车道线检测方法 |
CN114693836A (zh) * | 2022-03-09 | 2022-07-01 | 高德软件有限公司 | 道路要素矢量的生成方法和系统 |
Non-Patent Citations (1)
Title |
---|
尤小泉等: "结合分块Hough变换与Kalman预测的车道线检测方法", 《科学技术与工程》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115131761A (zh) * | 2022-08-31 | 2022-09-30 | 北京百度网讯科技有限公司 | 道路边界的识别方法、绘制方法、装置及高精地图 |
CN116309943A (zh) * | 2023-05-24 | 2023-06-23 | 联友智连科技有限公司 | 一种停车场语义地图路网构建方法、装置及电子设备 |
CN116309943B (zh) * | 2023-05-24 | 2023-08-08 | 联友智连科技有限公司 | 一种停车场语义地图路网构建方法、装置及电子设备 |
CN116955517A (zh) * | 2023-09-19 | 2023-10-27 | 高德软件有限公司 | 路口区域检测方法、装置、设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114863380B (zh) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114863380B (zh) | 车道线识别方法、装置及电子设备 | |
CN113902897B (zh) | 目标检测模型的训练、目标检测方法、装置、设备和介质 | |
CN110148196B (zh) | 一种图像处理方法、装置以及相关设备 | |
CN106997466B (zh) | 用于检测道路的方法和装置 | |
JP5721197B2 (ja) | 三次元地物データ生成装置、三次元地物データ生成方法、および、三次元地物データ生成プログラム | |
EP2849117B1 (en) | Methods, apparatuses and computer program products for automatic, non-parametric, non-iterative three dimensional geographic modeling | |
CN110866871A (zh) | 文本图像矫正方法、装置、计算机设备及存储介质 | |
CN110781756A (zh) | 基于遥感图像的城市道路提取方法及装置 | |
CN112819895A (zh) | 一种摄像机标定方法及装置 | |
Goga et al. | Fusing semantic labeled camera images and 3D LiDAR data for the detection of urban curbs | |
CN114722944A (zh) | 点云精度确定方法、电子设备及计算机存储介质 | |
CN114882316A (zh) | 目标检测模型训练方法、目标检测方法及装置 | |
CN112085778A (zh) | 基于超像素和形态学的倾斜摄影违法建筑检测方法及系统 | |
CN111105435B (zh) | 标志物匹配方法、装置及终端设备 | |
CN114283343A (zh) | 基于遥感卫星图像的地图更新方法、训练方法和设备 | |
CN117036457A (zh) | 一种屋顶面积的测量方法、装置、设备及存储介质 | |
CN116385994A (zh) | 一种三维道路线提取方法及相关设备 | |
CN114611635B (zh) | 一种对象的识别方法、装置、存储介质及电子装置 | |
JP2022511147A (ja) | 地理情報の生成を容易にするためのシステム及び方法 | |
CN115937449A (zh) | 高精地图生成方法、装置、电子设备和存储介质 | |
CN115797310A (zh) | 一种光伏电站组串倾角的确定方法及电子设备 | |
CN113920273B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
CN115995075A (zh) | 一种车辆自适应导航方法、装置、电子设备及存储介质 | |
CN114267027A (zh) | 一种图像处理方法和装置 | |
CN113112551A (zh) | 相机参数的确定方法、装置、路侧设备和云控平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |